發(fā)簡(jiǎn)信
IP屬地：甘肅
-
為Spark Application指定不同的JDK版本
隨著企業(yè)內(nèi)部業(yè)務(wù)系統(tǒng)越來(lái)越多，基于JVM的服務(wù)，通常情況線上環(huán)境可能會(huì)有多套JDK跑不同的服務(wù)。大家都知道基于高版本的Java規(guī)范編寫的服務(wù)跑在...
-
合并Spark社區(qū)代碼的正確姿勢(shì)原創(chuàng)文章，轉(zhuǎn)載請(qǐng)保留出處 最近剛剛忙完Spark 2.2.0的性能測(cè)試及Bug修復(fù)，社區(qū)又要發(fā)布2.1.2了，國(guó)慶期間剛好有空，過(guò)了一遍2.1....
-
Spark 1.6升級(jí)2.x防踩坑指南
原創(chuàng)文章，謝絕轉(zhuǎn)載 Spark 2.x自2.0.0發(fā)布到目前的2.2.0已經(jīng)有一年多的時(shí)間了，2.x宣稱有諸多的性能改進(jìn)，相信不少使用Spark...
-
為效率而生:開源Mac版Google Authenticator認(rèn)證客戶端GoldenPassport
最近運(yùn)維同學(xué)為了提高安全性，用Google Authenticator對(duì)服務(wù)器加了雙重認(rèn)證，此后登錄服務(wù)器需要先輸入動(dòng)態(tài)密碼，在輸入服務(wù)器密碼。...
-
使用SBT編譯Spark子項(xiàng)目
前言 最近為了解決Spark2.1的Bug，對(duì)Spark的源碼做了不少修改，需要對(duì)修改的代碼做編譯測(cè)試，如果編譯整個(gè)Spark項(xiàng)目快的話，也得半...