1.MapReduce定義
Mapreduce是一個(gè)分布式運(yùn)算程序的編程框架，是用戶(hù)開(kāi)發(fā)“基于hadoop的數(shù)據(jù)分析應(yīng)用”的核心框架。
Mapreduce核心功能是將用戶(hù)編寫(xiě)的業(yè)務(wù)邏輯代碼和自帶默認(rèn)組件整合成一個(gè)完整的分布式運(yùn)算程序，并發(fā)運(yùn)行在一個(gè)hadoop集群上。
2.MapReduce優(yōu)缺點(diǎn)
優(yōu)點(diǎn)
MapReduce易于編程。它簡(jiǎn)單的實(shí)現(xiàn)一些接口，就可以完成一個(gè)分布式程序，這個(gè)分布式程序可以分布到大量廉價(jià)的PC機(jī)器上運(yùn)行。也就是說(shuō)你寫(xiě)一個(gè)分布式程序，跟寫(xiě)一個(gè)簡(jiǎn)單的串行程序是一模一樣的。就是因?yàn)檫@個(gè)特點(diǎn)使得MapReduce編程變得非常流行。
良好的擴(kuò)展性。當(dāng)你的計(jì)算資源不能得到滿(mǎn)足的時(shí)候，你可以通過(guò)簡(jiǎn)單的增加機(jī)器來(lái)擴(kuò)展它的計(jì)算能力。
高容錯(cuò)性。MapReduce設(shè)計(jì)的初衷就是使程序能夠部署在廉價(jià)的PC機(jī)器上，這就要求它具有很高的容錯(cuò)性。比如其中一臺(tái)機(jī)器掛了，它可以把上面的計(jì)算任務(wù)轉(zhuǎn)移到另外一個(gè)節(jié)點(diǎn)上運(yùn)行，不至于這個(gè)任務(wù)運(yùn)行失敗，而且這個(gè)過(guò)程不需要人工參與，而完全是由 Hadoop內(nèi)部完成的。
適合PB級(jí)以上海量數(shù)據(jù)的離線(xiàn)處理。它適合離線(xiàn)處理而不適合在線(xiàn)處理。比如像毫秒級(jí)別的返回一個(gè)結(jié)果，MapReduce很難做到。
缺點(diǎn)
MapReduce不擅長(zhǎng)做實(shí)時(shí)計(jì)算、流式計(jì)算、DAG（有向無(wú)環(huán)圖）計(jì)算。
實(shí)時(shí)計(jì)算。MapReduce無(wú)法像Mysql一樣，在毫秒或者秒級(jí)內(nèi)返回結(jié)果。
流式計(jì)算。流式計(jì)算的輸入數(shù)據(jù)是動(dòng)態(tài)的，而MapReduce的輸入數(shù)據(jù)集是靜態(tài)的，不能動(dòng)態(tài)變化。這是因?yàn)镸apReduce自身的設(shè)計(jì)特點(diǎn)決定了數(shù)據(jù)源必須是靜態(tài)的。
DAG（有向無(wú)環(huán)圖）計(jì)算。多個(gè)應(yīng)用程序存在依賴(lài)關(guān)系，后一個(gè)應(yīng)用程序的輸入為前一個(gè)的輸出。在這種情況下，MapReduce并不是不能做，而是使用后，每個(gè)MapReduce作業(yè)的輸出結(jié)果都會(huì)寫(xiě)入到磁盤(pán)，會(huì)造成大量的磁盤(pán)IO，導(dǎo)致性能非常的低下。
3.MapReduce核心思想
分布式的運(yùn)算程序往往需要分成至少2個(gè)階段。
第一個(gè)階段的maptask并發(fā)實(shí)例，完全并行運(yùn)行，互不相干。
第二個(gè)階段的reduce task并發(fā)實(shí)例互不相干，但是他們的數(shù)據(jù)依賴(lài)于上一個(gè)階段的所有maptask并發(fā)實(shí)例的輸出。
MapReduce編程模型只能包含一個(gè)map階段和一個(gè)reduce階段，如果用戶(hù)的業(yè)務(wù)邏輯非常復(fù)雜，那就只能多個(gè)mapreduce程序，串行運(yùn)行。
4.MapReduce進(jìn)程
一個(gè)完整的mapreduce程序在分布式運(yùn)行時(shí)有三類(lèi)實(shí)例進(jìn)程：
MrAppMaster：負(fù)責(zé)整個(gè)程序的過(guò)程調(diào)度及狀態(tài)協(xié)調(diào)。
MapTask：負(fù)責(zé)map階段的整個(gè)數(shù)據(jù)處理流程。
ReduceTask：負(fù)責(zé)reduce階段的整個(gè)數(shù)據(jù)處理流程。
5.MapReduce編程規(guī)范
用戶(hù)編寫(xiě)的程序分成三個(gè)部分：Mapper，Reducer，Driver(提交運(yùn)行mr程序的客戶(hù)端)
Mapper階段
用戶(hù)自定義的Mapper要繼承自己的父類(lèi)
Mapper的輸入數(shù)據(jù)是KV對(duì)的形式（KV的類(lèi)型可自定義）
Mapper中的業(yè)務(wù)邏輯寫(xiě)在map()方法中
Mapper的輸出數(shù)據(jù)是KV對(duì)的形式（KV的類(lèi)型可自定義）
map()方法（maptask進(jìn)程）對(duì)每一個(gè)<K,V>調(diào)用一次
Reducer階段
用戶(hù)自定義的Reducer要繼承自己的父類(lèi)
Reducer的輸入數(shù)據(jù)類(lèi)型對(duì)應(yīng)Mapper的輸出數(shù)據(jù)類(lèi)型，也是KV
Reducer的業(yè)務(wù)邏輯寫(xiě)在reduce()方法中
Reducetask進(jìn)程對(duì)每一組相同k的<k,v>組調(diào)用一次reduce()方法
Driver階段
整個(gè)程序需要一個(gè)Drvier來(lái)進(jìn)行提交，提交的是一個(gè)描述了各種必要信息的job對(duì)象
