spark on yarn報錯 exit code 1的解決方式

spark submit on yarn 提交作業(yè)的時候,報錯


image.png

由于是本地搭建的偽分布機器,首先想到的是內存分配有問題.在yarn-size.xml中 將 虛擬內存,物理內存檢測關閉掉.如下:

<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>

但是問題還是沒有解決. 查看yarn ui 尋找問題.找到container的日志顯示
Failed while trying to construct the redirect url.....
解決方式:
1 .需要在 mapred-site.xml 增加 History服務
<property>
<name>mapreduce.jobhistory.address</name>
<value>localhost:10020</value>
</property>

<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>localhost:19888</value>
</property>

  1. 在yarn-site.xml 中配置
    <property>
    <name>yarn.log.server.url</name>
    <value>http://127.0.0.1:19888/jobhistory/logs</value>
    </property>

現(xiàn)在就能看到container報錯信息了. 原因是依賴沒有打包進入.


image.png
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成，瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發(fā)布，文章內容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。

友情鏈接更多精彩內容