關(guān)于yarn的參數(shù)調(diào)整(yarn.nodemanager.vmem-pmem-ratio)

背景:

? ? ? ? 1、flink on yarn

? ? ? ? 2、某一天本人提交flink任務(wù),.原命令/bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024,正常啟動,我調(diào)大了-ytm為2048.程序一直報Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster,但實際上,整個集群內(nèi)存很充足,我就懵逼了。

? ? ? ? 3、開啟解惑之旅。

解惑記錄如下,希望同樣問題的小伙伴可以借鑒一下。

? ? ? ? 出現(xiàn)這個問題,我首先想到了我前幾天調(diào)的yarn參數(shù),yarn.nodemanager.vmem-pmem-ratio調(diào)了值為5,這個是虛擬內(nèi)存和真實物理內(nèi)存的比率,這參數(shù)默認值為2.1,我把yarn.nodemanager.vmem-pmem-ratio 調(diào)小為3.然后運行

./bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 2048 -ynm? xxxx? ? -d? -c? ? ? ? ? ? ?com.xxx.flink.app.xxxx? ? /var/apps/xxx-xxx.jar? ? 正常啟動。


有感:比如yarn-參數(shù) 一般是作為基礎(chǔ)參數(shù), yarn啟動之后一般不做修改,那就設(shè)置為偏小或者最小值? ,然后每次給作業(yè)job分配的時候就按實際的申請就可以了

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容