by

Where communities thrive


  • Join over 1.5M+ people
  • Join over 100K+ communities
  • Free without limits
  • Create your own community
People
Repo info
Activity
    lukaszkuczynski
    @lukaszkuczynski
    szczerze to wiele czasu nie spędziłem na konfigurację flinka.. więc chyba mam jakoś standardowo go poustawianego
    Maciej Próchniak
    @mproch
    i w naszym demie wyglądają tak:

    flinkConfig {
    high-availability: "zookeeper"
    recovery.mode: "zookeeper"
    high-availability.zookeeper.quorum: "zookeeper:2181"
    high-availability.zookeeper.path.root: "/flinkPath"
    high-availability.zookeeper.path.namespace: "/flinkDemo"

    parallelism: 4
    jobManagerTimeout: 1m
    jarPath: "./code-assembly.jar"
    }

    lukaszkuczynski
    @lukaszkuczynski
    ok, ale gdyby chcieć skorzystać z waszego flinka to będę potrzebował zmodyfkiować ustawienia flinka, prawda?
    czekaj czekaj.. źle to zabrzmiało :)
    żeby Wasz flink łyknął moją kafkę..
    o , tak to miało zabrzmieć
    Maciej Próchniak
    @mproch
    namiary na kafkę są tylko tutaj: https://github.com/TouK/nussknacker/blob/master/demo/docker/app/conf/application.conf#L55
    oczywiście jest kwestia stworzenia własnego modelu - serwisów itd.
    lukaszkuczynski
    @lukaszkuczynski
    super, to jest to miejsce wcięcia..
    jeśli chodzi o samą apkę to które kontenery są potrzebne, tylko app ?
    Maciej Próchniak
    @mproch
    tak
    lukaszkuczynski
    @lukaszkuczynski
    ta apka nie ładuje czegoś do bazki? bo widziałem tam Wasz taki kontener z bazką
    Maciej Próchniak
    @mproch
    zasadniczo mamy embedowane h2 do trzymania danych o procesach:
    db {
    url: "jdbc:hsqldb:file:db/db;sql.syntax_ora=true"
    driver: "org.hsqldb.jdbc.JDBCDriver"
    user: "SA"
    password: ""
    connectionTimeout: 30000
    }
    lukaszkuczynski
    @lukaszkuczynski
    co to są procesy ?
    Maciej Próchniak
    @mproch
    diagramy deployowane na flinku
    lukaszkuczynski
    @lukaszkuczynski
    a więc przyda mi się ? :)
    Maciej Próchniak
    @mproch
    gdzieś nasze dane muszą siedzieć...
    lukaszkuczynski
    @lukaszkuczynski
    czyli potrzebne są kontenery app i db
    do I folloł ?
    Maciej Próchniak
    @mproch
    ale my nie mamy kontenera db
    lukaszkuczynski
    @lukaszkuczynski
    aha
    to tylko ustawienia
    ok, wszystko siedzi w środeczku jednego ..
    Maciej Próchniak
    @mproch
    dane siedzą w app, dla celów bardziej ambitnych niż quickstart pewnie wypada podpiąć jakiś volume dockerowy żeby nie szło do piachu zbyt często...
    lukaszkuczynski
    @lukaszkuczynski
    dobrze, dziękuję
    rozumiała sprawa
    będę się bawił w tygodniu, może będzie to jakieś rozwiązanie dla mnie.. a notyfikacje też macie? testowaliście?
    Maciej Próchniak
    @mproch
    jakie notyfikacje?
    na co?
    lukaszkuczynski
    @lukaszkuczynski
    na mail albo na Http endpoint, jako koniec procesu
    Maciej Próchniak
    @mproch
    można sobie dodać: https://github.com/TouK/nussknacker/blob/master/engine/example/src/main/scala/pl/touk/nussknacker/engine/example/service/ClientService.scala - tu jest pobieranie danych z zewnętrznych źródeł, jak dodasz taki serwis który ma jako wynik Future[Unit] to nada się w sam raz na maila albo wywołanie serwisu na koniec
    lukaszkuczynski
    @lukaszkuczynski
    świetnie
    Wasza pomoc jest niezbędna
    i pełna
    będziemy się bawić
    Maciej Próchniak
    @mproch
    dzięki :) będziemy pracować nad tym żeby pomoc nie była niezbędna, ale pisanie dokumentacji to trudna sprawa ;)
    lukaszkuczynski
    @lukaszkuczynski
    znam to skądś
    będę później raportował postęp prac
    lukaszkuczynski
    @lukaszkuczynski
    próba uruchomienia wywala błąd braku konfiga
    image.png
    a oto mój okrojony do granic możliwość compose
    image.png
    Maciej Próchniak
    @mproch
    dodaj do sekcji flinkConfig wpis processConfig: "processConfig" (pod jarPath). Niestety w masterze na githubie jest nowa wersja, która nie jest do końca kompatybilna z wydanymi paczkami :|
    lukaszkuczynski
    @lukaszkuczynski
    dzięki za pomoc, poszło dalej..
    image.png
    lukaszkuczynski
    @lukaszkuczynski
    mam też takie pytanie, czy katalog app nie mógłby trafić do dockerhub jako binarka, może uniknęlibyśmy wtedy problemów kompilacji lub wadliwych wyników po udanej kompilacji, i binarka zawierała by wszystko co trzeba poustawiane i przetestowane?
    Maciej Próchniak
    @mproch
    hmm... co do tego bledu, to wygląda jakbyś nie miał pliku z modelem - domyślnie CODE_LOCATION=/tmp/code-assembly.jar
    natomiast jeśli chodzi o katalog app i docker huba - pewnie się dorobimy czegoś takiego, natomiast to nie rozwiązuje problemów z jarem z modelem - on raczej powininen być na zewnątrz i konfiguracją