發(fā)簡信
IP屬地：甘肅
-
為Spark Application指定不同的JDK版本
隨著企業(yè)內(nèi)部業(yè)務(wù)系統(tǒng)越來越多，基于JVM的服務(wù)，通常情況線上環(huán)境可能會有多套JDK跑不同的服務(wù)。大家都知道基于高版本的Java規(guī)范編寫的服務(wù)跑在...
-
合并Spark社區(qū)代碼的正確姿勢原創(chuàng)文章，轉(zhuǎn)載請保留出處 最近剛剛忙完Spark 2.2.0的性能測試及Bug修復(fù)，社區(qū)又要發(fā)布2.1.2了，國慶期間剛好有空，過了一遍2.1....
-
Spark 1.6升級2.x防踩坑指南
原創(chuàng)文章，謝絕轉(zhuǎn)載 Spark 2.x自2.0.0發(fā)布到目前的2.2.0已經(jīng)有一年多的時間了，2.x宣稱有諸多的性能改進，相信不少使用Spark...
-
為效率而生:開源Mac版Google Authenticator認證客戶端GoldenPassport
最近運維同學(xué)為了提高安全性，用Google Authenticator對服務(wù)器加了雙重認證，此后登錄服務(wù)器需要先輸入動態(tài)密碼，在輸入服務(wù)器密碼。...
-
使用SBT編譯Spark子項目
前言 最近為了解決Spark2.1的Bug，對Spark的源碼做了不少修改，需要對修改的代碼做編譯測試，如果編譯整個Spark項目快的話，也得半...