Where communities thrive


  • Join over 1.5M+ people
  • Join over 100K+ communities
  • Free without limits
  • Create your own community
People
Activity
    iGene
    @iGene
    已經借好了
    Hubert Fan Chiang
    @hubertfc
    @iGene 謝謝囉!
    Max Huang
    @sakanamax
    今天家中有點事情,不克參加, 望請見諒
    iGene
    @iGene
    @hubertfc 今天也是7:30嗎?
    Vito Jeng
    @vitojeng
    @sakanamax 難得缺席, 全勤破功了 XD
    @iGene 是的
    Hubert Fan Chiang
    @hubertfc
    是的,七點半
    @iGene 有需要我們提早到嗎?
    iGene
    @iGene
    沒關係
    SDHE
    @shengdao
    我在018研討室了
    Hubert Fan Chiang
    @hubertfc
    辛苦了!講師好早到~^_^
    iGene
    @iGene
    我大概10-15分鐘之後到
    Vito Jeng
    @vitojeng
    抱歉。meetup 之後太忙了,想留言拖到現在。
    這次 meetup 感謝 @shengdao 的分享。
    地毯式地 run 一次所有的部份,覺得很有收獲。
    自己雖然也有用 SparkSQL, 但有些部份就是一直沒有用到。例如像 jdbc 的使用。還有 DataFrameReader & DataFrameWriter 的一些細節也看得更仔細了。
    Max Huang
    @sakanamax
    有當天簡報可以下載嗎?
    還是已經 commit 到 Github ?
    :)
    Vito Jeng
    @vitojeng
    連繫講者中, 明天應該可以 commit :)
    Max Huang
    @sakanamax
    感謝, 因為也要順便 commit 到 交大330
    :)
    SDHE
    @shengdao
    謝謝 @vitojeng 的鼓勵哦! 我準備在公司內部做簡單的介紹,宣傳ㄧ下我們的活動 😀😀,希望吸引有興趣的人
    Vito Jeng
    @vitojeng
    歡迎歡迎👏👏
    一起分享成長
    Max Huang
    @sakanamax
    歡迎 @shengdao :)
    Max Huang
    @sakanamax
    我同事之後也想去參加讀書會, 他有去Hadoop Conf 看 @vitojeng and @mathsigit 大大演講
    Vito Jeng
    @vitojeng
    community 需要大家一起加入. 一起 play & learning.
    @sakanamax 大大的同事應該也藏了很多好東西吧(還沒來就開始推坑了...XD)
    在台下有在台下的收獲, 在台上有在台上的收獲.
    自己也能讓某些人感到有幫助, 那種感覺自己是最大的收獲...個人感想.
    Vito Jeng
    @vitojeng
    meetup slide already push to github:
    https://github.com/spark-hsinchu/spark-cookbook-learning
    Stana
    @mathsigit
    沒錯!聽完 @shengdao 講一次SparkSQL後,真的有種複習的感覺!也會有另外的收穫與想法。因為以前自己看,還沒有實務經驗,等過一陣子再複習會有不同感受
    大家一起分享一起成長囉^^
    Max Huang
    @sakanamax
    謝謝 @vitojeng , 同步到 nctu330 github
    Hubert Fan Chiang
    @hubertfc
    @iGene 10/26可以麻煩幫忙借教室嗎
    Hubert Fan Chiang
    @hubertfc
    @iGene 再次呼叫一下! 歹勢! 10/26有機會借到教室嗎? 不然就只好11月初囉!
    iGene
    @iGene
    上次沒看到抱歉
    馬上幫你處理
    @hubertfc 我借345研討室這樣可以直接分享手機4G
    那個禮拜我人不在臺灣我會請人幫你們開門
    Hubert Fan Chiang
    @hubertfc
    好喔! 感謝你! 那幫忙開門的同學聯絡方式可以mail給我嗎? 怕不小心有個誤差~
    我的mail: hubert@is-land.com.tw
    @/all 各位成員,這個月的聚會在 10/26 (下周三) 晚上0730 在交大工三館 345研討室喔!
    希望大家踴躍參加阿!! XD
    Max Huang
    @sakanamax
    感謝 @hubertfc :)
    已報名
    Vito Jeng
    @vitojeng
    感謝 @hubertfc
    SDHE
    @shengdao
    感謝 @hubertfc , 很抱歉我暫時星期三沒辦法出席 ><" 下個月有機會跟上大家哦! 😃
    Wei Hao Lin
    @LinNeil7758_twitter

    請問,在使用spark sql時出現一個問題, 使用以下spark sql

    ====Spark sql 語法====
    val download = sqlContext.read.format("jdbc").options(
    Map("url" -> ConnectionStrings.SUPPORT_DATABASE,
    "dbtable" -> "DownloadLogs")).load()
    val dlog = download.where( download("file_name").===("Setup_3.0.8.exe").and(download("member_id").!==(0)))

    println( dlog.count())

    ====sql 語法====
    SELECT count(*)
    FROM DownloadLogs
    where file_name = 'Setup_3.0.8.exe'
    and member_id != 0
    GROUP BY file_name

    找出對應的檔案,spark sql總共有423筆,
    但是我使用sql server軟體select後有514筆,怎麼會有這種狀況?
    兩邊對不出來
    你們有遇過嗎 謝謝。

    Jesper Lundgren
    @cleaton
    I'm not sure why there's a difference but youcan try using spark's sql syntax. something like this:
    download.registerTempTable("logs")
    sqlContext.sql("""SELECT count(*)
    FROM logs
    where file_name = 'Setup_3.0.8.exe'
    and member_id != 0
    GROUP BY file_name""").collect.foreach(println)
    Wei Hao Lin
    @LinNeil7758_twitter
    這個方法也使用過,比使用spark sql筆數更少,總共只有214筆,