發(fā)簡信
IP屬地：四川
-
使用Spark讀取并分析二進制文件
需求 客戶希望通過spark來分析二進制文件中0和1的數(shù)量以及占比。如果要分析的是目錄，則針對目錄下的每個文件單獨進行分析。分析后的結(jié)果保存與被...
-
Spark中進行聚合時的特殊場景
在對數(shù)據(jù)進行統(tǒng)計分析時，如果對指標進行聚合運算，而待查詢的字段中還包含了維度，則原則上我們還需要按照維度字段進行分組。倘若這個聚合運算為sum函...
-
代碼診所續(xù)幾年前，我有機會負責一個項目的咨詢。團隊很小，目標是對舊有系統(tǒng)的后端用Java改寫，而團隊的開發(fā)人員全為C程序員。我的工作職責是負責項目設(shè)計、開...
-
代碼診所幾年前，我有機會負責一個項目的咨詢。團隊很小，目標是對舊有系統(tǒng)的后端用Java改寫，而團隊的開發(fā)人員全為C程序員。我的工作職責是負責項目設(shè)計、開...
-
繼續(xù)探索with語句
在上一篇博客《漂亮的with，魚與熊掌可以兼得》中，展現(xiàn)了with的優(yōu)雅之處，然而在比較with與|>時，言猶未盡，講得不夠透徹。 在那篇博客中...
-
推行TDD的思考
我在參與的開發(fā)項目以及咨詢項目中，都有實踐TDD的經(jīng)驗。直至今日，我仍然會在某些功能開發(fā)時采用TDD的方式實現(xiàn)功能。雖然沒有達到將TDD溶于開發(fā)...
-
漂亮的with，魚與熊掌可以兼得
假設(shè)要加載磁盤上的一個文件，并以二進制形式讀取文件的數(shù)據(jù)。若要從健壯性的角度考慮，需得考慮兩種異常情況： 加載文件失敗，例如給定的文件路徑并不存...
-
一次設(shè)計演進之旅需求背景： 我們需要實現(xiàn)對存儲在HDFS中的Parquet文件執(zhí)行數(shù)據(jù)查詢，并通過REST API暴露給前端以供調(diào)用。由于查詢的結(jié)果可能數(shù)量較大...
-
Scala中的map與collect
在Scala中，當我需要對集合的元素進行轉(zhuǎn)換時，自然而然會使用到map方法。而當我們在對tuple類型的集合或者針對Map進行map操作時，通常...