Mapreduce運行步驟

? ? ? MapReduce的工作過程主要分為兩個階段:map階段和reduce階段。每個階段都是鍵值對最為輸入和輸出,而通常定義map函數(shù)和reduce函數(shù)。



比如一個氣象收集頻平臺,通過Map函數(shù)找出年份和氣溫,map主要是建立數(shù)據(jù)使用Reduce能夠在這個基礎(chǔ)上運行,并且初步進行數(shù)據(jù)清洗,比如去丟一些缺失的,不可靠的氣溫數(shù)據(jù)

比如下面輸入幾行示例輸入數(shù)據(jù)


對應(yīng)的是input的鍵值對<k1,v1>其中k1代表的是偏移量,而v1代表的是數(shù)據(jù)。

然后根據(jù)上面的input提取出年份和氣溫提取數(shù)據(jù)(粗體顯示)




最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容