spark集群安裝

生成rsa后,用
ssh-copy-id targetIP

spark ui訪問不了,考慮防火墻是否關(guān)閉
  service iptables stop
  chkconfig iptables off

配置免密碼登錄的目的是 spark通過ssh協(xié)議將遠(yuǎn)端的worker 啟動起來,所以得配。如果不想配,就自己在自己機子上起對應(yīng)的master 或 worker 不要用start-all

standalone
total-executor-core 給所有worker分配的總數(shù) 盡量打散 (目前這個) 或 盡量集中
executor-memory 給每一個worker分配的數(shù) memory per node

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容