Spark topN排序

源數(shù)據(jù)

cat source.txt
10,20,4,335,21,20,290,19022,12232,10,1,24,58,299,600

排序后

cat result
19022
12232
600
335
299
290
58
24
21
20

實(shí)現(xiàn)方法

spark-shell
val N=10
val hf= sc.textFile("file:///data/spark/top10.txt")
hf.flatMap(line=>line.split(',')).map(x=>(x.toInt,null)).sortByKey(false).take(N).foreach(x=>{println(x._1))


最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀(guān)點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

友情鏈接更多精彩內(nèi)容