共計(jì) 380 個(gè)字符,預(yù)計(jì)需要花費(fèi) 1 分鐘才能閱讀完成。
行業(yè)資訊
服務(wù)器
云計(jì)算
Spark API 編程中在 Spark 1.2 版本如何實(shí)現(xiàn)對(duì) Job 輸出結(jié)果進(jìn)行排序
Spark API 編程中在 Spark 1.2 版本如何實(shí)現(xiàn)對(duì) Job 輸出結(jié)果進(jìn)行排序,很多新手對(duì)此不是很清楚,為了幫助大家解決這個(gè)難題,下面丸趣 TV 小編將為大家詳細(xì)講解,有這方面需求的人可以來(lái)學(xué)習(xí)下,希望你能有所收獲。
從 wordcount 的輸出結(jié)果可以看出來(lái)結(jié)果是未經(jīng)排序的,如何對(duì) spark 的輸出結(jié)果進(jìn)行排序呢?
先對(duì) reduceByKey 的結(jié)果進(jìn)行 key,value 位置置換(數(shù)字,字符),然后再進(jìn)行數(shù)字排序,再將 key,value 位置置換后就是排序后的結(jié)果了,最終將結(jié)果存儲(chǔ)到 HDFS 中
可以發(fā)現(xiàn)我們成功對(duì)輸出結(jié)果進(jìn)行排序!
看完上述內(nèi)容是否對(duì)您有幫助呢?如果還想對(duì)相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章,請(qǐng)關(guān)注丸趣 TV 行業(yè)資訊頻道,感謝您對(duì)丸趣 TV 的支持。