Where communities thrive


  • Join over 1.5M+ people
  • Join over 100K+ communities
  • Free without limits
  • Create your own community
People
Repo info
Activity
    lukaszkuczynski
    @lukaszkuczynski
    to że łatwo da się zarządzać dżobami na flinku
    Maciej Próchniak
    @mproch
    czy dobrze rozumiem że masz własne dockery na flinka, kafkę i zk i chcesz nussnackera podpiąć?
    lukaszkuczynski
    @lukaszkuczynski
    tak jest
    mogę zrezygnować z dockera flinka, i zredefiniować mojego joba
    jak będzie taka potrzeba/będzie tak lepiej
    ale kafkę wolałbym zostawić bo już sobie hula
    Maciej Próchniak
    @mproch
    no jasne
    to jest tak, że wystarczy kontener który u nas w docker-compose nazywa się app
    przynajmniej w teorii :)
    lukaszkuczynski
    @lukaszkuczynski
    ok, on tam ma jakiś konf który pozwala skastomizować urle zk i kafka
    Maciej Próchniak
    @mproch
    no bo zostaje kwestia komunikacji z flinkiem. jeśli masz go skonfigurowanego tak jak my w demo - tj. HA z zk, to wystarczy podlinkować
    a jeśli nie - to trzeba podmienić konfigurację
    tak, w app/conf masz naszą konfigurację, namiary na flinka są w sekcji flinkConfig
    lukaszkuczynski
    @lukaszkuczynski
    szczerze to wiele czasu nie spędziłem na konfigurację flinka.. więc chyba mam jakoś standardowo go poustawianego
    Maciej Próchniak
    @mproch
    i w naszym demie wyglądają tak:

    flinkConfig {
    high-availability: "zookeeper"
    recovery.mode: "zookeeper"
    high-availability.zookeeper.quorum: "zookeeper:2181"
    high-availability.zookeeper.path.root: "/flinkPath"
    high-availability.zookeeper.path.namespace: "/flinkDemo"

    parallelism: 4
    jobManagerTimeout: 1m
    jarPath: "./code-assembly.jar"
    }

    lukaszkuczynski
    @lukaszkuczynski
    ok, ale gdyby chcieć skorzystać z waszego flinka to będę potrzebował zmodyfkiować ustawienia flinka, prawda?
    czekaj czekaj.. źle to zabrzmiało :)
    żeby Wasz flink łyknął moją kafkę..
    o , tak to miało zabrzmieć
    Maciej Próchniak
    @mproch
    oczywiście jest kwestia stworzenia własnego modelu - serwisów itd.
    lukaszkuczynski
    @lukaszkuczynski
    super, to jest to miejsce wcięcia..
    jeśli chodzi o samą apkę to które kontenery są potrzebne, tylko app ?
    Maciej Próchniak
    @mproch
    tak
    lukaszkuczynski
    @lukaszkuczynski
    ta apka nie ładuje czegoś do bazki? bo widziałem tam Wasz taki kontener z bazką
    Maciej Próchniak
    @mproch
    zasadniczo mamy embedowane h2 do trzymania danych o procesach:
    db {
    url: "jdbc:hsqldb:file:db/db;sql.syntax_ora=true"
    driver: "org.hsqldb.jdbc.JDBCDriver"
    user: "SA"
    password: ""
    connectionTimeout: 30000
    }
    lukaszkuczynski
    @lukaszkuczynski
    co to są procesy ?
    Maciej Próchniak
    @mproch
    diagramy deployowane na flinku
    lukaszkuczynski
    @lukaszkuczynski
    a więc przyda mi się ? :)
    Maciej Próchniak
    @mproch
    gdzieś nasze dane muszą siedzieć...
    lukaszkuczynski
    @lukaszkuczynski
    czyli potrzebne są kontenery app i db
    do I folloł ?
    Maciej Próchniak
    @mproch
    ale my nie mamy kontenera db
    lukaszkuczynski
    @lukaszkuczynski
    aha
    to tylko ustawienia
    ok, wszystko siedzi w środeczku jednego ..
    Maciej Próchniak
    @mproch
    dane siedzą w app, dla celów bardziej ambitnych niż quickstart pewnie wypada podpiąć jakiś volume dockerowy żeby nie szło do piachu zbyt często...
    lukaszkuczynski
    @lukaszkuczynski
    dobrze, dziękuję
    rozumiała sprawa
    będę się bawił w tygodniu, może będzie to jakieś rozwiązanie dla mnie.. a notyfikacje też macie? testowaliście?
    Maciej Próchniak
    @mproch
    jakie notyfikacje?
    na co?
    lukaszkuczynski
    @lukaszkuczynski
    na mail albo na Http endpoint, jako koniec procesu
    Maciej Próchniak
    @mproch
    można sobie dodać: https://github.com/TouK/nussknacker/blob/master/engine/example/src/main/scala/pl/touk/nussknacker/engine/example/service/ClientService.scala - tu jest pobieranie danych z zewnętrznych źródeł, jak dodasz taki serwis który ma jako wynik Future[Unit] to nada się w sam raz na maila albo wywołanie serwisu na koniec
    lukaszkuczynski
    @lukaszkuczynski
    świetnie
    Wasza pomoc jest niezbędna
    i pełna
    będziemy się bawić