生成rsa后,用
ssh-copy-id targetIP
spark ui訪問不了,考慮防火墻是否關(guān)閉
service iptables stop
chkconfig iptables off
配置免密碼登錄的目的是 spark通過ssh協(xié)議將遠(yuǎn)端的worker 啟動起來,所以得配。如果不想配,就自己在自己機子上起對應(yīng)的master 或 worker 不要用start-all
standalone
total-executor-core 給所有worker分配的總數(shù) 盡量打散 (目前這個) 或 盡量集中
executor-memory 給每一個worker分配的數(shù) memory per node