今天做了一個(gè)有趣的事。
老公讓我還寫(xiě)前幾天寫(xiě)的wordcount代碼,我突然想到了官方的wordcount代碼的分析,hello world hello hadoop,第一個(gè)被讀入的單詞是hello,但是從map端出來(lái)的結(jié)果,hadoop是第一個(gè),因?yàn)樵趍ap端有個(gè)排序過(guò)程,進(jìn)而想到,如果string型都可以排序,那么int型更應(yīng)該可以,進(jìn)而想到之前老公讓我寫(xiě)過(guò)一個(gè)排序的MR,如果在這個(gè)MR里面,我什么都不做,只是讀數(shù)據(jù),然后把接受到的數(shù)據(jù)什么都不做的傳下去,最后在寫(xiě)出來(lái),是什么效果。
有了想法,改了代碼,結(jié)果出來(lái)了,如果什么都不做,出來(lái)的隨機(jī)數(shù)據(jù)是被排序過(guò)的。
但是,由于數(shù)據(jù)量比較大,一億條,所以處理速度比較慢,沒(méi)有具體記錄,但是感官上覺(jué)得,比自己寫(xiě)代碼慢。