Yarn詳解

1.Yarn架構(gòu)設(shè)計(jì)（mr的提交到Y(jié)arn的流程）

RM：調(diào)度器 + APPS Manager
NM：
    Container(容器):
        1個NM --> 多個容器 --> 只能運(yùn)行一個task
                            APP Master | map task | reduce task
        1臺機(jī)器64G內(nèi)存  16核 --> 8個容器 --> 8G + 2核

        1臺機(jī)器64G內(nèi)存：DN + NM = 64*(75%~85%)
        數(shù)據(jù)本地化
        生產(chǎn)：
            DN：4G
            NM：50G

2.調(diào)優(yōu)

NM：
    yarn.nodemanager.resource.memory-mb：50 * 1024MB   (生產(chǎn)調(diào))
container：memory+cpu

Memory：

    任務(wù)計(jì)算最小是1024MB：
    yarn.scheduler.minimum-allocation-mb:  1024 1G-->2G-->3G   (生產(chǎn)調(diào))
    任務(wù)計(jì)算最多是8192MB，如果超過就kill：
    yarn.scheduler.maximum-allocation-mb:  8192<=50G           (生產(chǎn)調(diào))
    每次增加2048M，默認(rèn)是1024MB：
    yarn.scheduler.increment-allocation-mb: 2048  (CDH平臺)   
    增加到最大時執(zhí)行kill，默認(rèn)為true；    
    yarn.nodemanager.pmem-check-enabled:    true


    yarn.nodemanager.vmem-pmem-ratio    2.1      使用1G內(nèi)存 2.1虛擬內(nèi)存
    yarn.nodemanager.vmem-check-enabled true

    SWAP：硬盤做的，說白了，就是拿一個比如20G的盤作為內(nèi)存
    參數(shù)：http://blog.csdn.net/javastart/article/details/51375287

    高度計(jì)算
        1.不允許計(jì)算慢，允許掛掉：swap 沒有
        2.允許計(jì)算慢，不允許任務(wù)掛掉：swap 有

        vm.swappiness=0-100
        0:不是禁用，說明調(diào)用swap的積極性是最差的
        10：調(diào)用swap的積極性是稍微好點(diǎn)
        100：太積極

        生產(chǎn)：選擇2+vm.swappiness=10

CPU：

yarn.nodemanager.resource.cpu-vcores        -1
yarn.scheduler.minimum-allocation-vcores    1   
yarn.scheduler.maximum-allocation-vcores    4<=32    (生產(chǎn)調(diào))

vcore：虛擬核
1個物理核為2個虛擬核  CDH有個參數(shù)，一般默認(rèn)就行

http://blog.itpub.net/30089851/viewspace-2127851/
http://blog.itpub.net/30089851/viewspace-2127850/

JVM系列:

http://blog.itpub.net/30089851/cid-180723-abstract-1/

3.Yarn的常用命令

yarn application -list
yarn application -kill application_1513862674371_0003（App的id）

4.queue：隊(duì)列 見CDH （補(bǔ)充）

需求：
    1.項(xiàng)目：
        開發(fā)
        測試      開發(fā)/測試隊(duì)列
        部署生產(chǎn)    生產(chǎn)隊(duì)列 

        就是一套集群環(huán)境
    2.多個項(xiàng)目：
        項(xiàng)目1生產(chǎn)   隊(duì)列1 資源少點(diǎn)
        項(xiàng)目2生產(chǎn)   隊(duì)列2 資源多點(diǎn)
        就是一套集群環(huán)境

        開發(fā)和測試就是另外一套
    默認(rèn)：default

    調(diào)度：
        計(jì)算調(diào)度
        公平調(diào)度 Fair （生產(chǎn)）
    http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-fair-scheduler/

【來自@若澤大數(shù)據(jù)】