Hadoop 1.x 時(shí)使用 JobTracker 對(duì) MapReduce 任務(wù)進(jìn)行任務(wù)調(diào)度，但這樣導(dǎo)致一個(gè)結(jié)果，部署了 JobTracker 的節(jié)點(diǎn)只能夠支持 MapReduce 類(lèi)型的任務(wù)，當(dāng)需要運(yùn)行其他類(lèi)型的任務(wù)時(shí)，我們只能重新搭建一個(gè)計(jì)算集群去運(yùn)行。

在大數(shù)據(jù)開(kāi)發(fā)的過(guò)程中，我們會(huì)使用到不同的計(jì)算框架，如 Hadoop, Spark, Flink, Storm... 如果對(duì)于每一種計(jì)算框架，我們都需要去單獨(dú)的部署計(jì)算集群，這將是極大的資源浪費(fèi)。

為了讓各種類(lèi)型的任務(wù)能夠運(yùn)行在同一個(gè)計(jì)算集群上，Hadoop 2.x 引入了一個(gè)全新的 Module -- Yarn ( Yet Another Resource Manager )。

Yarn 對(duì)任務(wù)分配同具體計(jì)算邏輯進(jìn)行了解耦，對(duì)整個(gè)分布式任務(wù)做了兩種形式的抽象:

1. 資源抽象 -- NodeManager 將自身節(jié)點(diǎn)的內(nèi)存和 CPU 核數(shù)信息上報(bào)給 ResourceManager 進(jìn)行統(tǒng)一管理。當(dāng)需要運(yùn)行任務(wù)時(shí)，在 NodeManager 中啟動(dòng)擁有一定內(nèi)存和 CPU 核數(shù)的 Container 進(jìn)行進(jìn)行任務(wù)執(zhí)行。
2. 任務(wù)抽象 -- Yarn 將需要運(yùn)行的分布式任務(wù)抽象為 Application，放棄對(duì)任務(wù)執(zhí)行命令的介入，由 Client 自定義 的AppMaster 進(jìn)行資源申請(qǐng)和任務(wù)執(zhí)行，從而將自身同任務(wù)本身解耦，只負(fù)責(zé)資源調(diào)度，和具體任務(wù)類(lèi)型無(wú)關(guān)。

通過(guò)資源抽象，簡(jiǎn)化了 Yarn 管理集群資源的復(fù)雜度，將任務(wù)啟動(dòng)的調(diào)度策略簡(jiǎn)化成對(duì)各個(gè) NodeManager 中的資源分配問(wèn)題。簡(jiǎn)單來(lái)說(shuō)就是，Yarn 負(fù)責(zé)為 Application 提供所需要的內(nèi)存和 CPU 資源，并啟動(dòng)獨(dú)立進(jìn)程運(yùn)行分布式任務(wù)，但并不關(guān)心分布式任務(wù)的具體操作。

通過(guò)任務(wù)抽象，擴(kuò)展了 Yarn 的使用場(chǎng)景，將 Yarn 從單一的 MapReduce 任務(wù)調(diào)度系統(tǒng)擴(kuò)展成一個(gè)通用的任務(wù)調(diào)度程序。不同的使用場(chǎng)景下，只需要實(shí)現(xiàn)自己特定的 YarnApplication 即可運(yùn)行分布式任務(wù)。常用的一些大數(shù)據(jù)處理程序例如 Spark , Flink 等都支持通過(guò) Yarn 上進(jìn)行任務(wù)調(diào)度。

Yarn 的組件構(gòu)成

Yarn 架構(gòu)

Yarn 由三個(gè)組件構(gòu)成:

1. ResourceManager(RM) 負(fù)責(zé)管理和調(diào)度整個(gè) Yarn 集群的預(yù)算資源，同時(shí)使用和 Hdfs 中 NameNode 相同的代碼，基于 ZooKeeper 實(shí)現(xiàn) ActiveStandby 的高可用邏輯。
2. NodeManager(NM) 部署在各個(gè)任務(wù)執(zhí)行節(jié)點(diǎn)上，負(fù)責(zé)節(jié)點(diǎn)生命狀態(tài)的上報(bào)以及具體任務(wù)的運(yùn)行。
3. YarnClient(Client) 用戶(hù)創(chuàng)建 YarnApplication 后，通過(guò) YarnClient 提交給 RM 進(jìn)行任務(wù)調(diào)度執(zhí)行。

下文中三個(gè)組件的名稱(chēng)將會(huì)簡(jiǎn)寫(xiě)為 RM, NM 和 Client。

Yarn 作業(yè)類(lèi)型

之前有說(shuō)過(guò) Yarn 為了提高整個(gè)框架的通用性，將需要執(zhí)行的分布式任務(wù)抽象為 Application，同時(shí)引入 AppMaster 機(jī)制令 Yarn 同任務(wù)操作本身解耦。

Yarn 中的作業(yè)類(lèi)型分為兩類(lèi):

1. 普通任務(wù)類(lèi)型: 分布式任務(wù)的具體執(zhí)行者，當(dāng)從 RM 中申請(qǐng)到任務(wù)資源后，會(huì)在 NM 單獨(dú)啟動(dòng)的 Container 中運(yùn)行，負(fù)責(zé)執(zhí)行指定的計(jì)算任務(wù)。
2. AppMaster: 分布式任務(wù)的協(xié)調(diào)者，每個(gè) YarnApplication 提交到 RM 后，都會(huì)唯一的啟動(dòng)一個(gè) AppMaster，負(fù)責(zé)具體組織整個(gè)分布式任務(wù)，從 RM 中申請(qǐng)任務(wù)資源，并協(xié)調(diào)其他任務(wù)正常運(yùn)行。

AppMaster 中的協(xié)調(diào)代碼是由提交的 YarnApplication 中定義的，當(dāng)分布式任務(wù)開(kāi)始執(zhí)行時(shí)，通過(guò)不同的協(xié)調(diào)代碼可以實(shí)現(xiàn)不同的任務(wù)類(lèi)型，實(shí)現(xiàn)分布式任務(wù)的多樣化。同時(shí) AppMaster 和普通任務(wù)類(lèi)型一樣，運(yùn)行在 NM 節(jié)點(diǎn)中的 Container 中，它的協(xié)調(diào)過(guò)程是在 NM 節(jié)點(diǎn)上產(chǎn)生的，實(shí)現(xiàn)了不同 Application 資源的物理隔離，使得在邏輯上單個(gè) Application 不會(huì)對(duì)其他 Application 構(gòu)成影響。

總結(jié)

Yarn 同上一代的 JobTracker 相比，主要特點(diǎn)是將計(jì)算邏輯同資源分配解耦。自身只關(guān)注對(duì)任務(wù)所需要的資源進(jìn)行分配，具體的計(jì)算邏輯和資源請(qǐng)求計(jì)算交給 Application 自身完成。

剝離出計(jì)算邏輯后，Yarn 的職責(zé)更加單一，其他的計(jì)算框架也可以通過(guò)實(shí)現(xiàn) YarnApplication 完成自己的分布式計(jì)算任務(wù)，使得所有類(lèi)型的任務(wù)都可以在同一個(gè)計(jì)算集群中進(jìn)行，提升對(duì)整個(gè)計(jì)算集群資源的利用效率。