初識MapReduce的八個步驟

Map階段2個步驟

第一步:設(shè)置inputFormat類,將我們的數(shù)據(jù)切分成key,value對,輸入到第二步

第二步:自定義map邏輯,處理我們第一步的輸入數(shù)據(jù),然后轉(zhuǎn)換成新的key,value對進行輸出

shuffle階段4個步驟

第三步:對輸出的key,value對進行分區(qū)

第四步:對不同分區(qū)的數(shù)據(jù)按照相同的key進行排序

第五步:對分組后的數(shù)據(jù)進行規(guī)約(combine操作),降低數(shù)據(jù)的網(wǎng)絡(luò)拷貝

第六步:對排序后的額數(shù)據(jù)進行分組,分組的過程中,將相同key的value放到一個集合當(dāng)中

reduce階段2個步驟

第七步:對多個map的任務(wù)進行合并,排序,編寫自己的reduce函數(shù)邏輯,對輸入的key,value對進行處理,轉(zhuǎn)換成新的key,value對進行輸出

第八步:設(shè)置outputformat將輸出的key,value對數(shù)據(jù)進行保存到文件中

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容