Where communities thrive


  • Join over 1.5M+ people
  • Join over 100K+ communities
  • Free without limits
  • Create your own community
People
Activity
    Vito Jeng
    @vitojeng
    @iGene 是的
    Hubert Fan Chiang
    @hubertfc
    是的，七點半
    @iGene 有需要我們提早到嗎？
    iGene
    @iGene
    沒關係
    SDHE
    @shengdao
    我在018研討室了
    Hubert Fan Chiang
    @hubertfc
    辛苦了！講師好早到～^_^
    iGene
    @iGene
    我大概10-15分鐘之後到
    Vito Jeng
    @vitojeng
    抱歉。meetup 之後太忙了，想留言拖到現在。
    這次 meetup 感謝 @shengdao 的分享。
    地毯式地 run 一次所有的部份，覺得很有收獲。
    自己雖然也有用 SparkSQL, 但有些部份就是一直沒有用到。例如像 jdbc 的使用。還有 DataFrameReader & DataFrameWriter 的一些細節也看得更仔細了。
    Max Huang
    @sakanamax
    有當天簡報可以下載嗎?
    還是已經 commit 到 Github ?
    :)
    Vito Jeng
    @vitojeng
    連繫講者中, 明天應該可以 commit :)
    Max Huang
    @sakanamax
    恩
    感謝, 因為也要順便 commit 到 交大330
    :)
    SDHE
    @shengdao
    謝謝 @vitojeng 的鼓勵哦! 我準備在公司內部做簡單的介紹，宣傳ㄧ下我們的活動 😀😀，希望吸引有興趣的人
    Vito Jeng
    @vitojeng
    歡迎歡迎👏👏
    一起分享成長
    Max Huang
    @sakanamax
    歡迎 @shengdao :)
    Max Huang
    @sakanamax
    我同事之後也想去參加讀書會, 他有去Hadoop Conf 看 @vitojeng and @mathsigit 大大演講
    Vito Jeng
    @vitojeng
    community 需要大家一起加入. 一起 play & learning.
    @sakanamax 大大的同事應該也藏了很多好東西吧(還沒來就開始推坑了...XD)
    在台下有在台下的收獲, 在台上有在台上的收獲.
    自己也能讓某些人感到有幫助, 那種感覺自己是最大的收獲...個人感想.
    Vito Jeng
    @vitojeng
    meetup slide already push to github:
    https://github.com/spark-hsinchu/spark-cookbook-learning
    Stana
    @mathsigit
    沒錯！聽完 @shengdao 講一次SparkSQL後，真的有種複習的感覺！也會有另外的收穫與想法。因為以前自己看，還沒有實務經驗，等過一陣子再複習會有不同感受
    大家一起分享一起成長囉＾＾
    Max Huang
    @sakanamax
    謝謝 @vitojeng , 同步到 nctu330 github
    Hubert Fan Chiang
    @hubertfc
    @iGene １０／２６可以麻煩幫忙借教室嗎
    Hubert Fan Chiang
    @hubertfc
    @iGene 再次呼叫一下! 歹勢! 10/26有機會借到教室嗎? 不然就只好11月初囉!
    iGene
    @iGene
    上次沒看到抱歉
    馬上幫你處理
    @hubertfc 我借345研討室這樣可以直接分享手機4G
    那個禮拜我人不在臺灣我會請人幫你們開門
    Hubert Fan Chiang
    @hubertfc
    好喔! 感謝你! 那幫忙開門的同學聯絡方式可以mail給我嗎? 怕不小心有個誤差~
    我的mail: hubert@is-land.com.tw
    Hubert Fan Chiang
    @hubertfc
    http://www.meetup.com/Apache-Spark-Hsinchu/events/234933335/
    @/all 各位成員,這個月的聚會在 10/26 (下周三) 晚上0730 在交大工三館 345研討室喔!
    希望大家踴躍參加阿!! XD
    Max Huang
    @sakanamax
    感謝 @hubertfc ：）
    已報名
    Vito Jeng
    @vitojeng
    感謝 @hubertfc
    SDHE
    @shengdao
    感謝 @hubertfc , 很抱歉我暫時星期三沒辦法出席 ><" 下個月有機會跟上大家哦! 😃
    Wei Hao Lin
    @LinNeil7758_twitter

    請問，在使用spark sql時出現一個問題, 使用以下spark sql

    ====Spark sql 語法====
    val download = sqlContext.read.format("jdbc").options(
    Map("url" -> ConnectionStrings.SUPPORT_DATABASE,
    "dbtable" -> "DownloadLogs")).load()
    val dlog = download.where( download("file_name").===("Setup_3.0.8.exe").and(download("member_id").!==(0)))

    println( dlog.count())

    ====sql 語法====
    SELECT count(*)
    FROM DownloadLogs
    where file_name = 'Setup_3.0.8.exe'
    and member_id != 0
    GROUP BY file_name

    找出對應的檔案，spark sql總共有423筆，
    但是我使用sql server軟體select後有514筆，怎麼會有這種狀況?
    兩邊對不出來
    你們有遇過嗎 謝謝。

    Jesper Lundgren
    @cleaton
    I'm not sure why there's a difference but youcan try using spark's sql syntax. something like this:
    download.registerTempTable("logs")
sqlContext.sql("""SELECT count(*)
FROM logs
where file_name = 'Setup_3.0.8.exe'
and member_id != 0
GROUP BY file_name""").collect.foreach(println)
    Wei Hao Lin
    @LinNeil7758_twitter
    這個方法也使用過,比使用spark sql筆數更少，總共只有214筆，
    Jesper Lundgren
    @cleaton
    if you remove GROUP BY?
    Wei Hao Lin
    @LinNeil7758_twitter
    remove group by 很怪的是 db裡面有10/11~10/15日資料 ，但是spark sql只有到10/11前四筆後面10/12~10/15都沒有select出來。
    Vito Jeng
    @vitojeng
    可以試試這個 ?
    .where("file_name='Setup_3.0.8.exe' and member_id!=0 ")
    Wei Hao Lin
    @LinNeil7758_twitter
    感謝
    好的我試試