mapreduce排序

今天做了一個(gè)有趣的事。

老公讓我還寫(xiě)前幾天寫(xiě)的wordcount代碼,我突然想到了官方的wordcount代碼的分析,hello world hello hadoop,第一個(gè)被讀入的單詞是hello,但是從map端出來(lái)的結(jié)果,hadoop是第一個(gè),因?yàn)樵趍ap端有個(gè)排序過(guò)程,進(jìn)而想到,如果string型都可以排序,那么int型更應(yīng)該可以,進(jìn)而想到之前老公讓我寫(xiě)過(guò)一個(gè)排序的MR,如果在這個(gè)MR里面,我什么都不做,只是讀數(shù)據(jù),然后把接受到的數(shù)據(jù)什么都不做的傳下去,最后在寫(xiě)出來(lái),是什么效果。

有了想法,改了代碼,結(jié)果出來(lái)了,如果什么都不做,出來(lái)的隨機(jī)數(shù)據(jù)是被排序過(guò)的。

但是,由于數(shù)據(jù)量比較大,一億條,所以處理速度比較慢,沒(méi)有具體記錄,但是感官上覺(jué)得,比自己寫(xiě)代碼慢。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 例子實(shí)現(xiàn)目標(biāo) 該代碼實(shí)現(xiàn)的是在輸入的數(shù)據(jù)對(duì)中,先以第一列由小到大排序,如果第一列值相等,以第二列由小到大排序。即:...
    VVictoriaLee閱讀 3,510評(píng)論 0 1
  • 目的這篇教程從用戶的角度出發(fā),全面地介紹了Hadoop Map/Reduce框架的各個(gè)方面。先決條件請(qǐng)先確認(rèn)Had...
    SeanC52111閱讀 1,840評(píng)論 0 1
  • 第一個(gè)MapReduce程序——WordCount [TOC] 一、MapReduce簡(jiǎn)介 1.1 MapRedu...
    小小少年Boy閱讀 971評(píng)論 0 7
  • 睡了一下午,姨媽痛好多了,終于神智恢復(fù),不由得拿起手機(jī),感慨一句:去他的工作,去他的愛(ài)情,在我強(qiáng)烈而又霸道的姨媽面...
    大大大白TWO閱讀 635評(píng)論 1 1
  • 譯注:這是一篇在Stack overflow上很熱的帖子。提問(wèn)者自稱已經(jīng)掌握了有關(guān)Python OOP編程中的各種...
    LazzMan閱讀 633評(píng)論 0 1

友情鏈接更多精彩內(nèi)容