知識(shí)要點(diǎn)：
Hadoop Yarn概述
Yarn核心概念
Yarn執(zhí)行流程
Hadoop Yarn概述
Yarn是Yet Another Resource Negotiator的縮寫。
Yarn的基本思想是將資源管理和作業(yè)調(diào)度/監(jiān)視的功能分解為單獨(dú)的守護(hù)進(jìn)程。它是一個(gè)資源調(diào)度平臺(tái)，負(fù)責(zé)為運(yùn)行應(yīng)用程序提供運(yùn)算資源，相當(dāng)于一個(gè)分布式的操作系統(tǒng)，而MapReduce則相當(dāng)于運(yùn)行于操作系統(tǒng)之上的應(yīng)用程序。
在Yarn中，ResourceManager和NodeManager構(gòu)成了數(shù)據(jù)計(jì)算框架。ResourceManager是在系統(tǒng)中對(duì)所有應(yīng)用程序之間要使用的資源進(jìn)行調(diào)度。而NodeManager是每臺(tái)機(jī)器/節(jié)點(diǎn)的代理，負(fù)責(zé)容器，監(jiān)視其資源使用情況（CPU，內(nèi)存，磁盤，網(wǎng)絡(luò)）并將其報(bào)告給ResourceManager / Scheduler。
每個(gè)應(yīng)用程序ApplicationMaster實(shí)際上是一個(gè)特定的框架庫，其任務(wù)是協(xié)調(diào)來自ResourceManager的資源，并與NodeManager一起執(zhí)行和監(jiān)視任務(wù)。
Yarn主要由如下幾個(gè)組件構(gòu)成：
- ResourceManager
- NodeManager
- ApplicationMaster
- Container
Yarn核心概念
資源
ResourceManager
- 接受客戶端請(qǐng)求
- 接受NodeManager的狀態(tài)（資源和存活）
- 資源調(diào)度，主要包含：整個(gè)MR計(jì)算程序的資源調(diào)度，各個(gè)節(jié)點(diǎn)的資源和調(diào)度
NodeManager - 接收來自ResourceManager發(fā)來的命令
- 提供節(jié)點(diǎn)運(yùn)行提供MR程序所需要資源。
應(yīng)用
MRAppMaster - 協(xié)調(diào)程序向ResourceManager申請(qǐng)資源
- 啟動(dòng)MapTask和ReduceTask任務(wù)
- 監(jiān)控MapTask和ReduceTask運(yùn)行情況
ApplicationsManager - 所有應(yīng)用程序的管理者
- 負(fù)責(zé)調(diào)度應(yīng)用程序
Container（YarnChild）
抽象資源容器，LXC。給Task提供運(yùn)行時(shí)必要的資源類，如：內(nèi)存、CPU、網(wǎng)絡(luò)IO資源等。
Scheduler
負(fù)責(zé)任務(wù)的調(diào)度。Scheduler內(nèi)置中有三種調(diào)度模式：
FIFO
先進(jìn)先出模式。隊(duì)列模式，先進(jìn)先出的方式執(zhí)行提交的應(yīng)用程序。
FAIR
公平模式。對(duì)提交的應(yīng)用程序進(jìn)行資源公平劃分。
CAPACITY
能力模式。按需進(jìn)行配置給應(yīng)用程序進(jìn)行資源劃分。
Yarn執(zhí)行流程
