在MapReduce整個(gè)過(guò)程可以概括為以下過(guò)程：

輸入 --> map --> shuffle --> reduce -->輸出

輸入文件會(huì)被切分成多個(gè)塊，每一塊都有一個(gè)map task

map階段的輸出結(jié)果會(huì)先寫(xiě)到內(nèi)存緩沖區(qū)，然后由緩沖區(qū)寫(xiě)到磁盤(pán)上。默認(rèn)的緩沖區(qū)大小是100M，溢出的百分比是0.8，也就是說(shuō)當(dāng)緩沖區(qū)中達(dá)到80M的時(shí)候就會(huì)往磁盤(pán)上寫(xiě)。如果map計(jì)算完成后的中間結(jié)果沒(méi)有達(dá)到80M，最終也是要寫(xiě)到磁盤(pán)上的，因?yàn)樗罱K還是要形成文件。那么，在往磁盤(pán)上寫(xiě)的時(shí)候會(huì)進(jìn)行分區(qū)和排序。一個(gè)map的輸出可能有多個(gè)這個(gè)的文件，這些文件最終會(huì)合并成一個(gè)，這就是這個(gè)map的輸出文件。

流程分析：

Map端：

1．每個(gè)輸入分片會(huì)讓一個(gè)map任務(wù)來(lái)處理，默認(rèn)情況下，以HDFS的一個(gè)塊的大小（默認(rèn)為64M）為一個(gè)分片，當(dāng)然我們也可以設(shè)置塊的大小。map輸出的結(jié)果會(huì)暫且放在一個(gè)環(huán)形內(nèi)存緩沖區(qū)中（該緩沖區(qū)的大小默認(rèn)為100M，由io.sort.mb屬性控制），當(dāng)該緩沖區(qū)快要溢出時(shí)（默認(rèn)為緩沖區(qū)大小的80%，由io.sort.spill.percent屬性控制），會(huì)在本地文件系統(tǒng)中創(chuàng)建一個(gè)溢出文件，將該緩沖區(qū)中的數(shù)據(jù)寫(xiě)入這個(gè)文件。

2．在寫(xiě)入磁盤(pán)之前，線程首先根據(jù)reduce任務(wù)的數(shù)目將數(shù)據(jù)劃分為相同數(shù)目的分區(qū)，也就是一個(gè)reduce任務(wù)對(duì)應(yīng)一個(gè)分區(qū)的數(shù)據(jù)。這樣做是為了避免有些reduce任務(wù)分配到大量數(shù)據(jù)，而有些reduce任務(wù)卻分到很少數(shù)據(jù)，甚至沒(méi)有分到數(shù)據(jù)的尷尬局面。其實(shí)分區(qū)就是對(duì)數(shù)據(jù)進(jìn)行hash的過(guò)程。然后對(duì)每個(gè)分區(qū)中的數(shù)據(jù)進(jìn)行排序，如果此時(shí)設(shè)置了Combiner，將排序后的結(jié)果進(jìn)行Combia操作，這樣做的目的是讓盡可能少的數(shù)據(jù)寫(xiě)入到磁盤(pán)。

3．當(dāng)map任務(wù)輸出最后一個(gè)記錄時(shí)，可能會(huì)有很多的溢出文件，這時(shí)需要將這些文件合并。合并的過(guò)程中會(huì)不斷地進(jìn)行排序和combia操作，目的有兩個(gè)：1.盡量減少每次寫(xiě)入磁盤(pán)的數(shù)據(jù)量；2.盡量減少下一復(fù)制階段網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量。最后合并成了一個(gè)已分區(qū)且已排序的文件。為了減少網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量，這里可以將數(shù)據(jù)壓縮，只要將mapred.compress.map.out設(shè)置為true就可以了。

4．將分區(qū)中的數(shù)據(jù)拷貝給相對(duì)應(yīng)的reduce任務(wù)。有人可能會(huì)問(wèn)：分區(qū)中的數(shù)據(jù)怎么知道它對(duì)應(yīng)的reduce是哪個(gè)呢？其實(shí)map任務(wù)一直和其父TaskTracker保持聯(lián)系，而TaskTracker又一直和JobTracker保持心跳。所以JobTracker中保存了整個(gè)集群中的宏觀信息。只要reduce任務(wù)向JobTracker獲取對(duì)應(yīng)的map輸出位置就ok了哦。

到這里，map端就分析完了。那到底什么是Shuffle呢？Shuffle的中文意思是“洗牌”，如果我們這樣看：一個(gè)map產(chǎn)生的數(shù)據(jù)，結(jié)果通過(guò)hash過(guò)程分區(qū)卻分配給了不同的reduce任務(wù).

Reduce端：

1．Reduce會(huì)接收到不同map任務(wù)傳來(lái)的數(shù)據(jù)，并且每個(gè)map傳來(lái)的數(shù)據(jù)都是有序的。如果reduce端接受的數(shù)據(jù)量相當(dāng)小，則直接存儲(chǔ)在內(nèi)存中（緩沖區(qū)大小由mapred.job.shuffle.input.buffer.percent屬性控制，表示用作此用途的堆空間的百分比），如果數(shù)據(jù)量超過(guò)了該緩沖區(qū)大小的一定比例（由mapred.job.shuffle.merge.percent決定），則對(duì)數(shù)據(jù)合并后溢寫(xiě)到磁盤(pán)中。

2．隨著溢寫(xiě)文件的增多，后臺(tái)線程會(huì)將它們合并成一個(gè)更大的有序的文件，這樣做是為了給后面的合并節(jié)省時(shí)間。其實(shí)不管在map端還是reduce端，MapReduce都是反復(fù)地執(zhí)行排序，合并操作，現(xiàn)在終于明白了有些人為什么會(huì)說(shuō)：排序是hadoop的靈魂。

3．合并的過(guò)程中會(huì)產(chǎn)生許多的中間文件（寫(xiě)入磁盤(pán)了），但MapReduce會(huì)讓寫(xiě)入磁盤(pán)的數(shù)據(jù)盡可能地少，并且最后一次合并的結(jié)果并沒(méi)有寫(xiě)入磁盤(pán)，而是直接輸入到reduce函數(shù)。