hubertfc/SparkHsinchu

Max Huang

@sakanamax

還是已經 commit 到 Github ?

Vito Jeng

@vitojeng

連繫講者中, 明天應該可以 commit :)

Max Huang

@sakanamax

恩

感謝, 因為也要順便 commit 到交大330

SDHE

@shengdao

謝謝 @vitojeng 的鼓勵哦! 我準備在公司內部做簡單的介紹，宣傳ㄧ下我們的活動 😀😀，希望吸引有興趣的人

Vito Jeng

@vitojeng

歡迎歡迎👏👏
一起分享成長

Max Huang

@sakanamax

歡迎 @shengdao :)

Max Huang

@sakanamax

我同事之後也想去參加讀書會, 他有去Hadoop Conf 看 @vitojeng and @mathsigit 大大演講

Vito Jeng

@vitojeng

community 需要大家一起加入. 一起 play & learning.
@sakanamax 大大的同事應該也藏了很多好東西吧(還沒來就開始推坑了...XD)

在台下有在台下的收獲, 在台上有在台上的收獲.
自己也能讓某些人感到有幫助, 那種感覺自己是最大的收獲...個人感想.

Vito Jeng

@vitojeng

meetup slide already push to github:
https://github.com/spark-hsinchu/spark-cookbook-learning

Stana

@mathsigit

沒錯！聽完 @shengdao 講一次SparkSQL後，真的有種複習的感覺！也會有另外的收穫與想法。因為以前自己看，還沒有實務經驗，等過一陣子再複習會有不同感受

大家一起分享一起成長囉＾＾

Max Huang

@sakanamax

謝謝 @vitojeng , 同步到 nctu330 github

Hubert Fan Chiang

@hubertfc

@iGene １０／２６可以麻煩幫忙借教室嗎

Hubert Fan Chiang

@hubertfc

@iGene 再次呼叫一下! 歹勢! 10/26有機會借到教室嗎? 不然就只好11月初囉!

iGene

@iGene

上次沒看到抱歉

馬上幫你處理

@hubertfc 我借345研討室這樣可以直接分享手機4G

那個禮拜我人不在臺灣我會請人幫你們開門

Hubert Fan Chiang

@hubertfc

好喔! 感謝你! 那幫忙開門的同學聯絡方式可以mail給我嗎? 怕不小心有個誤差~

我的mail: hubert@is-land.com.tw

Hubert Fan Chiang

@hubertfc

http://www.meetup.com/Apache-Spark-Hsinchu/events/234933335/

@/all 各位成員,這個月的聚會在 10/26 (下周三) 晚上0730 在交大工三館 345研討室喔!

希望大家踴躍參加阿!! XD

Max Huang

@sakanamax

感謝 @hubertfc ：）

已報名

Vito Jeng

@vitojeng

感謝 @hubertfc

SDHE

@shengdao

感謝 @hubertfc , 很抱歉我暫時星期三沒辦法出席 ><" 下個月有機會跟上大家哦! 😃

Wei Hao Lin

@LinNeil7758_twitter

請問，在使用spark sql時出現一個問題, 使用以下spark sql

====Spark sql 語法====
val download = sqlContext.read.format("jdbc").options(
Map("url" -> ConnectionStrings.SUPPORT_DATABASE,
"dbtable" -> "DownloadLogs")).load()
val dlog = download.where( download("file_name").===("Setup_3.0.8.exe").and(download("member_id").!==(0)))

println( dlog.count())

====sql 語法====
SELECT count(*)
FROM DownloadLogs
where file_name = 'Setup_3.0.8.exe'
and member_id != 0
GROUP BY file_name

找出對應的檔案，spark sql總共有423筆，
但是我使用sql server軟體select後有514筆，怎麼會有這種狀況?
兩邊對不出來
你們有遇過嗎謝謝。

Jesper Lundgren

@cleaton

I'm not sure why there's a difference but youcan try using spark's sql syntax. something like this:

download.registerTempTable("logs")
sqlContext.sql("""SELECT count(*)
FROM logs
where file_name = 'Setup_3.0.8.exe'
and member_id != 0
GROUP BY file_name""").collect.foreach(println)

Wei Hao Lin

@LinNeil7758_twitter

這個方法也使用過,比使用spark sql筆數更少，總共只有214筆，

Jesper Lundgren

@cleaton

if you remove GROUP BY?

Wei Hao Lin

@LinNeil7758_twitter

remove group by 很怪的是 db裡面有10/11~10/15日資料，但是spark sql只有到10/11前四筆後面10/12~10/15都沒有select出來。

Vito Jeng

@vitojeng

可以試試這個 ?

.where("file_name='Setup_3.0.8.exe' and member_id!=0 ")

Wei Hao Lin

@LinNeil7758_twitter

感謝

好的我試試

iGene

@iGene

@hubertfc 下禮拜二開門的人電話號碼：0929851012

Max Huang

@sakanamax

感謝 @iGene

Wei Hao Lin

@LinNeil7758_twitter

謝@vitojeng ，最後找到問題了，我把搜尋條件先轉成大寫後就正常的，筆數一樣。應該是sql server的存檔名稱問題。 :)

Vito Jeng

@vitojeng

解決就好 :smile:

JamJam

@jaminglam

哈嘍，大家好，想請教一個spark streaming的問題

inStream.foreachRDD( rdd => {
    rdd.foreachPartition( iterator => {
        logInfo("test")
   })
})

在這會出現Task not serialization的問題。但我看foreach裡面并沒有unserialzed的referrence，請問大家有遇到過么？

JamJam

@jaminglam

inStream is a DSream[((String, Int, String), Long)]

sayuan

@sayuan

logInfo 裡怎麼寫的？

JamJam

@jaminglam

logInfo 就是 org.apache.spark.Logging

我只是直接CALL Logging的Function

sayuan

@sayuan

在 foreachPartition 裡頭 import org.apache.spark.Logging.* 試試？

Where communities thrive

People

Repo info

Activity