Where communities thrive


  • Join over 1.5M+ people
  • Join over 100K+ communities
  • Free without limits
  • Create your own community
People
Activity
    Max Huang
    @sakanamax
    我同事之後也想去參加讀書會, 他有去Hadoop Conf 看 @vitojeng and @mathsigit 大大演講
    Vito Jeng
    @vitojeng
    community 需要大家一起加入. 一起 play & learning.
    @sakanamax 大大的同事應該也藏了很多好東西吧(還沒來就開始推坑了...XD)
    在台下有在台下的收獲, 在台上有在台上的收獲.
    自己也能讓某些人感到有幫助, 那種感覺自己是最大的收獲...個人感想.
    Vito Jeng
    @vitojeng
    meetup slide already push to github:
    https://github.com/spark-hsinchu/spark-cookbook-learning
    Stana
    @mathsigit
    沒錯!聽完 @shengdao 講一次SparkSQL後,真的有種複習的感覺!也會有另外的收穫與想法。因為以前自己看,還沒有實務經驗,等過一陣子再複習會有不同感受
    大家一起分享一起成長囉^^
    Max Huang
    @sakanamax
    謝謝 @vitojeng , 同步到 nctu330 github
    Hubert Fan Chiang
    @hubertfc
    @iGene 10/26可以麻煩幫忙借教室嗎
    Hubert Fan Chiang
    @hubertfc
    @iGene 再次呼叫一下! 歹勢! 10/26有機會借到教室嗎? 不然就只好11月初囉!
    iGene
    @iGene
    上次沒看到抱歉
    馬上幫你處理
    @hubertfc 我借345研討室這樣可以直接分享手機4G
    那個禮拜我人不在臺灣我會請人幫你們開門
    Hubert Fan Chiang
    @hubertfc
    好喔! 感謝你! 那幫忙開門的同學聯絡方式可以mail給我嗎? 怕不小心有個誤差~
    我的mail: hubert@is-land.com.tw
    @/all 各位成員,這個月的聚會在 10/26 (下周三) 晚上0730 在交大工三館 345研討室喔!
    希望大家踴躍參加阿!! XD
    Max Huang
    @sakanamax
    感謝 @hubertfc :)
    已報名
    Vito Jeng
    @vitojeng
    感謝 @hubertfc
    SDHE
    @shengdao
    感謝 @hubertfc , 很抱歉我暫時星期三沒辦法出席 ><" 下個月有機會跟上大家哦! 😃
    Wei Hao Lin
    @LinNeil7758_twitter

    請問,在使用spark sql時出現一個問題, 使用以下spark sql

    ====Spark sql 語法====
    val download = sqlContext.read.format("jdbc").options(
    Map("url" -> ConnectionStrings.SUPPORT_DATABASE,
    "dbtable" -> "DownloadLogs")).load()
    val dlog = download.where( download("file_name").===("Setup_3.0.8.exe").and(download("member_id").!==(0)))

    println( dlog.count())

    ====sql 語法====
    SELECT count(*)
    FROM DownloadLogs
    where file_name = 'Setup_3.0.8.exe'
    and member_id != 0
    GROUP BY file_name

    找出對應的檔案,spark sql總共有423筆,
    但是我使用sql server軟體select後有514筆,怎麼會有這種狀況?
    兩邊對不出來
    你們有遇過嗎 謝謝。

    Jesper Lundgren
    @cleaton
    I'm not sure why there's a difference but youcan try using spark's sql syntax. something like this:
    download.registerTempTable("logs")
    sqlContext.sql("""SELECT count(*)
    FROM logs
    where file_name = 'Setup_3.0.8.exe'
    and member_id != 0
    GROUP BY file_name""").collect.foreach(println)
    Wei Hao Lin
    @LinNeil7758_twitter
    這個方法也使用過,比使用spark sql筆數更少,總共只有214筆,
    Jesper Lundgren
    @cleaton
    if you remove GROUP BY?
    Wei Hao Lin
    @LinNeil7758_twitter
    remove group by 很怪的是 db裡面有10/11~10/15日資料 ,但是spark sql只有到10/11前四筆後面10/12~10/15都沒有select出來。
    Vito Jeng
    @vitojeng
    可以試試這個 ?
    .where("file_name='Setup_3.0.8.exe' and member_id!=0 ")
    Wei Hao Lin
    @LinNeil7758_twitter
    感謝
    好的我試試
    iGene
    @iGene
    @hubertfc 下禮拜二開門的人電話號碼:0929851012
    Max Huang
    @sakanamax
    感謝 @iGene
    Wei Hao Lin
    @LinNeil7758_twitter
    @vitojeng ,最後找到問題了,我把搜尋條件先轉成大寫後就正常的,筆數一樣。應該是sql server的存檔名稱問題。 :)
    Vito Jeng
    @vitojeng
    解決就好 :smile:
    JamJam
    @jaminglam
    哈嘍,大家好,想請教一個spark streaming的問題
    inStream.foreachRDD( rdd => {
        rdd.foreachPartition( iterator => {
            logInfo("test")
       })
    })
    在這會出現Task not serialization的問題。但我看foreach裡面并沒有unserialzed的referrence,請問大家有遇到過么?
    JamJam
    @jaminglam
    inStream is a DSream[((String, Int, String), Long)]
    sayuan
    @sayuan
    logInfo 裡怎麼寫的?
    JamJam
    @jaminglam
    logInfo 就是 org.apache.spark.Logging
    我只是直接CALL Logging的Function
    sayuan
    @sayuan
    在 foreachPartition 裡頭 import org.apache.spark.Logging.* 試試?
    JamJam
    @jaminglam
    thanks, I will have a try
    Jesper Lundgren
    @cleaton
    @jaminglam You are using a class or object as the parent?
    Jesper Lundgren
    @cleaton
    If it's a class you might have other class members that is not serializable but is pulled in when you try to use the member function.
    Vito Jeng
    @vitojeng
    Thanks @cleaton & @sayuan
    @jaminglam 或許你可以把較完整的 code & log 放上來, 這樣大家會比較清楚怎麼給建議.
    Max Huang
    @sakanamax
    晚上讀書會喔
    just reminder
    Vito Jeng
    @vitojeng
    感謝提醒
    Vito Jeng
    @vitojeng
    @sakanamax 請教一個 docker 方面的問題,
    當我在 clinet 用 ssh 連入一個 server 時, 有什麼指令可以簡單判斷這是不是一個 docker container ?