by

Where communities thrive


  • Join over 1.5M+ people
  • Join over 100K+ communities
  • Free without limits
  • Create your own community
People
Activity
    Kazuaki Ishizaki
    @kiszk
    了解です、ありがとうございます
    Sutou Kouhei
    @kou
    タイムテーブルが確定していないんですが、イベントページを公開しました！周囲への宣伝にご活用ください！
    https://speee.connpass.com/event/152887/
    Sutou Kouhei
    @kou
    @ueshin 見つけられなかったので日本に住んでいる英語を話す人にお願いしてもらえるとうれしいです！

    @kiszk TensorFlow/BigQuery Storage APIのユーザーも見つけられなかったのでTensorFlow + Arrowの話をお願いしたいです！技術的な詳細というよりも、ユーザー視点でどううれしいかみたいな感じでまとめてもらえるとうれしいです！こんなケースではこんなに速くなるみたいな見栄えがよいデータがあるとなおよしです！

    一旦、まとめてみて、どのくらい時間があるとちょうどよさそうか検討してもらえますか！？10-20分の間で調整できるとうれしいです！

    Sutou Kouhei
    @kou
    発表資料ですが、アスペクト比は16:9がオススメです！（4:3でも大丈夫です。）
    接続ケーブルはだいたいなんでもいけるので困ることはないはずです！
    Kazuaki Ishizaki
    @kiszk
    了解です、20分は行かないかと思います。
    Sutou Kouhei
    @kou
    わかりました！
    検討結果、お待ちしています！
    Sutou Kouhei
    @kou
    @ueshin ちょっとむずかしそうでしょうか！？
    Takuya UESHIN
    @ueshin
    確認しますー
    Sutou Kouhei
    @kou
    ありがとうございます！！！
    もし、むずかしそうだったらというのも考えてみました。
    11/19のSpark Meetup Tokyo #2 (Spark+AI Summit EU 2019)に参加する人の中に実は適切な人がいないかしら！というアイディアを思いついたのですが、11/19に探してもらえたりしますか！？
    https://spark-meetup-tokyo.connpass.com/event/153549/
    Sutou Kouhei
    @kou
    @maropu_twitter @kiszk ↑のアイディアって現実的なんでしょうか。。。！？
    龍一郎
    @K_Ryuichirou_twitter
    こんなことを元同僚氏が言っていたのでここに誘ってみました https://twitter.com/KUrushi_ml/status/1186511744409075712
    Kazuki Urushiyama
    @KUrushi
    誘われました、元同僚です
    Sutou Kouhei
    @kou

    @KUrushi TensorFlowのApache Arrow対応機能もBigQuery Storage APIのApache Arrow対応機能も評価してたしかに速くなることを確認済みだと聞いています！
    ユーザー視点で、Apache Arrowなしだとどのような課題があるか（なにをもっと速くしたいか）、Apache Arrowありでその課題がどのように解決されたか（どのくらい速くなったか）みたにな感じでまとめて話してもらえるとうれしいです！

    TensorFlowのApache Arrow対応機能自体は @kiszk が説明してくれる予定なので、そこはみんな知っている前提でまとめてもらって大丈夫です！

    Kazuki Urushiyama
    @KUrushi

    @kou 了解しました
    一つ確認をさせてください！

    ユーザー視点のでの話というのは、TensorFlow + BigQuery Storage API + Apache Arrowを組み合わせた時の話でいいのでしょうか?

    Sutou Kouhei
    @kou
    はい、その通りです！
    何分くらいあるとちょうどよさそうですか！？
    10分か15分のどちらかぐらいでしょうか！？
    Kazuki Urushiyama
    @KUrushi

    Connpassの"発表：TensorFlowとApache Arrowの連携評価事例"が5分だったので
    5~10分で収まる話にしようかなと思っていました

    というのも、私が試せたことは受託系の機械学習のPoCで出来る範囲であり、
    複数の機械学習のインフラ基盤となるようなものが
    ほとんどない状態でのものになります。
    (実力不足で申し訳ないです。。。)

    そのため、システム的には小規模のものになり、長い発表時間は必要ないのかなと

    Sutou Kouhei
    @kou
    わかりました！
    5分と10分だとどっちがよさそうですか！？
    5分目安で作ってもらって作ってみて5分だと溢れそうだなとわかったら10分にしますか！？
    Kazuki Urushiyama
    @KUrushi
    ひとまずは5分で終わらせるようにします。
    溢れそうなら早めに連絡して、10分にしてもらえるとありがたいです！
    Sutou Kouhei
    @kou
    ではそれでお願いします！
    connpassのページに発表者情報を載せたいのでどんな感じで載せればいいか考えてもらえますか！？
    発表者情報というのは「須藤功平/@ktou/株式会社クリアコード/Apache Arrow PMCメンバー/Red Data Toolsメンバー」みたいなやつです！
    Kazuki Urushiyama
    @KUrushi
    漆山和樹/@KUrushi_ml/ SENSY株式会社/Researcher(ML Engineer or Data Scientist)
    ちょっと職種が体制が移行する関係でまだ定まってないのでふわっとしてるので、こんな感じでお願いします
    Sutou Kouhei
    @kou
    そんな感じで入れておきました！
    変更したくなったら言ってください！
    Kazuaki Ishizaki
    @kiszk
    出張続きで発表時間を見積もる時間がないままですが、別途ユースケースを発表していただくなら、私は10分でいいかな、と思ったらすでにしていただいていますね。ありがとうございます。
    Sutou Kouhei
    @kou
    ではそんな感じで！
    発表者情報は http://ibm.co/kiszk を参考に「石崎一明/@kiszk/日本アイ・ビー・エム株式会社/Apache Sparkコミッター」にしておきました！
    こんな感じがいい！というのがあれば教えてください！更新しておきます！
    Takeshi Yamamuro
    @maropu_twitter
    （すいません仕事にかまけてみれてませんでした）Spark+Arrow結局いろいろあたったんですが、他社で発表したい人が見つからなかったので、私で良ければ発表できます（まだ枠がアレば
    Sutou Kouhei
    @kou
    ありがとうございます！
    では10分くらいでApach SparkからApache Arrowを使う方法（XaaSで使いたい人が多い気がするので、そういうので使うにはどうしたらいいかとかどのサービスだと使えるか・使えないかみたいなことも入れてもらえるといいんじゃないかと思っています！）と、どういうときにうれしいかということをまとめる感じでお願いします！狙うのは「Apache SparkでApache Arrowを使う人が増えること」です！
    Apache Sparkは使っているけどApache Arrowは知らない人想定のまとめ方でよいです！

    タイムテーブルの書き方はこんな感じでいいですか！？

    20:30 - 20:40 発表：Apache SparkとApache Arrowの連携 Takeshi Yamamuro/ @maropu /NTT/Apache Sparkコミッター

    Takeshi Yamamuro
    @maropu_twitter
    了解です、それで問題ないです
    Sutou Kouhei
    @kou
    では、そんな感じでお願いします！
    （ようやくプラグラムが確定した！やっほい！）
    Takeshi Yamamuro
    @maropu_twitter
    すいません、お手数おかけします。
    Sutou Kouhei
    @kou
    いえいえ、助かりました！
    一緒にApache Spark + Apache Arrowユーザーを増やしていきましょう！
    Takeshi Yamamuro
    @maropu_twitter
    良さそう
    もう参加者１００近いんですね
    Sutou Kouhei
    @kou
    そうですね！
    140くらいいくかなぁと思っていたんですが100どまりでした。
    ただ、実際にくるのは6割くらいだと思うので、当日会えるのは60人くらいだと思います。
    Kazuaki Ishizaki
    @kiszk
    所属はokです、ありがとうございます
    Sutou Kouhei
    @kou
    よかったです！
    Sutou Kouhei
    @kou
    @maropu_twitter @kiszk @KUrushi Apache Arrowイベントの開催が来週の水曜日に迫ってきました！（信じられない！）
    当日ですが、できれば事前に 接続チェックをして欲しいので、18:30-18:45くらいに会場に来てもらえると助かりま す！（接続チェックをしなくても死ぬわけじゃないのでムリなら発表時間までに来て もらえれば大丈夫です！くらいの話です！）
    Kazuaki Ishizaki
    @kiszk
    時間の件は了解です。
    Kazuki Urushiyama
    @KUrushi
    承知しました
    Takeshi Yamamuro
    @maropu_twitter
    了解です
    Kazuaki Ishizaki
    @kiszk
    到着が19時5分前くらいになりそうです、休憩時間にチェックします(win10)
    Sutou Kouhei
    @kou
    How about you ask your supervisor it directly?
    (It'll be difficult to explain it without context.)
    stevedanOgochu
    @stevedanOgochu
    we are supposed to receive data of a struct type from an ethercat driver, an I am suppose to use automatically convert that data streuture to the apache arrow model and be able to read and write from the transformed data. Does this make sense?
    @kou ?
    Sutou Kouhei
    @kou
    ethercat?
    https://en.wikipedia.org/wiki/EtherCAT ?
    stevedanOgochu
    @stevedanOgochu
    yes
    ethercat bascically sends frames of data from the master(computer) and the slaves which is the driver recieves those data
    stevedanOgochu
    @stevedanOgochu
    I have asked him and he has resolved it for me jajajajajaj, thank you though