發(fā)簡(jiǎn)信
IP屬地：北京
-
Spark2.11 + Scala2.11.8環(huán)境搭建標(biāo)題雖然說是搭建，實(shí)際只是想記錄下搭建過程中遇到的兩個(gè)問題。首先在本地創(chuàng)建Scala項(xiàng)目。 環(huán)境搭建： 首先通過IntelliJ IDEA建立S...
-
Linux環(huán)境安裝SSH命令
今天拿到了一個(gè)新的環(huán)境，準(zhǔn)備開始安裝ES。登錄集群后發(fā)現(xiàn)服務(wù)器全新，沒有ssh命令，并且發(fā)現(xiàn)yum install ssh是不行的。經(jīng)過查詢發(fā)現(xiàn)...
-
Spark作業(yè)性能優(yōu)化
Spark作業(yè)性能調(diào)優(yōu)總結(jié)前段時(shí)間在集群上運(yùn)行Spark作業(yè)，但是發(fā)現(xiàn)作業(yè)運(yùn)行到某個(gè)stage之后就卡住了，之后也不再有日志輸出。于是開始著手對(duì)...
-
一次詭異的Spark作業(yè)卡住問題今天在一個(gè)集群上通過spark-submit方式提交作業(yè)，但發(fā)現(xiàn)作業(yè)在運(yùn)行不久后，控制臺(tái)的日志就停住不變了，一直到CRT的session超時(shí)也沒...