Spark集群不使用客戶(hù)端會(huì)出現(xiàn)的問(wèn)題,以及配置客戶(hù)端要注意的問(wèn)題

通過(guò)Master節(jié)點(diǎn)提交的Application到Spark集群中運(yùn)行。如果以后頻繁地使用Master節(jié)點(diǎn)來(lái)提交Application,那么會(huì)導(dǎo)致Master節(jié)點(diǎn)的性能與其它節(jié)點(diǎn)產(chǎn)生差異,產(chǎn)生差異的原因是利用master節(jié)點(diǎn)提交Application會(huì)占用Master節(jié)點(diǎn)的IO。產(chǎn)生差異后,整個(gè)Application執(zhí)行時(shí)間是由性能最差的服務(wù)器決定。


image.png

搭建Spark客戶(hù)端不占用整個(gè)Spark集群的io。

搭建Spark客戶(hù)端:將搭建好的Spark客戶(hù)端拷貝一份,不需要任何配置文件。
注意:在slaves中不要將client的節(jié)點(diǎn)配置在里面,如果配置了,就將客戶(hù)端節(jié)點(diǎn)作為Spark集群的一個(gè)角色,這是不合理的。
配置客戶(hù)端的目的是防止Spark集群節(jié)點(diǎn)之間產(chǎn)生差異,和負(fù)載均衡沒(méi)有關(guān)系。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀(guān)點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

友情鏈接更多精彩內(nèi)容