mapreduce的三大階段：

map階段：并行處理的階段
shuffle階段：從離開Mapper開啟到進(jìn)入Reduce之前的階段
reduce階段：匯總整理的階段
mapreduce的八大步驟

設(shè)置MapReduce的輸入InputFormat類型，默認(rèn)為TextInputFormat
自定義map函數(shù)，得到TextInputFormat的k1，v1；經(jīng)過(guò)處理后傳出k2，v2
分區(qū)--默認(rèn)根據(jù)k2決定map中的數(shù)據(jù)該發(fā)送到哪個(gè)reduce中
排序--默認(rèn)根據(jù)k2進(jìn)行字典排序
規(guī)約--默認(rèn)沒(méi)有此階段，是優(yōu)化手段，可以提前合并
分組--相同k2的value會(huì)放到同一個(gè)集合中
自定義reduce函數(shù)，講分組得到的k2，v2轉(zhuǎn)成k3，v3輸出
設(shè)置輸出的OutputFormat，默認(rèn)采用TextOutputFormat，將結(jié)果輸出到一個(gè)純文本文件中
————————————————
版權(quán)聲明：本文為CSDN博主「東城龐太師」的原創(chuàng)文章，遵循CC 4.0 BY-SA版權(quán)協(xié)議，轉(zhuǎn)載請(qǐng)附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/u011110301/article/details/104116052