IP屬地:北京
標(biāo)題雖然說是搭建,實(shí)際只是想記錄下搭建過程中遇到的兩個(gè)問題。首先在本地創(chuàng)建Scala項(xiàng)目。 環(huán)境搭建: 首先通過IntelliJ IDEA建立S...
今天拿到了一個(gè)新的環(huán)境,準(zhǔn)備開始安裝ES。登錄集群后發(fā)現(xiàn)服務(wù)器全新,沒有ssh命令,并且發(fā)現(xiàn)yum install ssh是不行的。經(jīng)過查詢發(fā)現(xiàn)...
Spark作業(yè)性能調(diào)優(yōu)總結(jié)前段時(shí)間在集群上運(yùn)行Spark作業(yè),但是發(fā)現(xiàn)作業(yè)運(yùn)行到某個(gè)stage之后就卡住了,之后也不再有日志輸出。于是開始著手對...
今天在一個(gè)集群上通過spark-submit方式提交作業(yè),但發(fā)現(xiàn)作業(yè)在運(yùn)行不久后,控制臺的日志就停住不變了,一直到CRT的session超時(shí)也沒...