隨著Apache Parquet和Apache ORC等存儲格式以及Presto和Apache Impala等查詢引擎的發(fā)展，Hadoop生態(tài)系統(tǒng)有潛力作為面向分鐘級延時場景...
發(fā)簡信
IP屬地：上海
-
Hudi: Uber Engineering的Apache Hadoop增量處理框架
-
當你的才華還撐不起你的野心時<br>那你就應該靜下心來學習<br>當你的能力還駕馭不了你的目標時<br>那就應該沉下心來歷練<br>忘掉年齡限制，何事不能成？
-
Excel中構建SQL語句1、背景 實際生產中，我們經(jīng)常會面臨導入Excel數(shù)據(jù)到數(shù)據(jù)庫的需求，在沒有編寫導入程序，數(shù)據(jù)庫客戶端工具導入情況下。我們可以通過Excel本身的公式構建出sql語句，可復制...
-
-
花了半個月，終于把Python庫全部整理出來了，非常全面庫名稱簡介 Chardet 字符編碼探測器，可以自動檢測文本、網(wǎng)頁、xml的編碼。 colorama 主要用來給文本添加各種顏色，并且非常簡單易用。 Prettytable ...
-
幾年前踏入這個行業(yè)，培訓出生，大學非計算機專業(yè)，慢慢的成長到現(xiàn)在，其中的付出只有自己知道。這條路上我走過很多彎路，也慢慢看清前方在哪里。進一行精一行敬一行盡一行，不達目的，人生有憾。
-
Pyspark實戰(zhàn)指南
開始時間： 2019-11-26 預計時間7天。作者：托馬茲[美] 本書常用下載地址：1.RDD章節(jié)文件下載：http://tomdrabas.com/data/VS14M...
-
請指教。
-
Spark 解決數(shù)據(jù)傾斜的幾種常用方法
數(shù)據(jù)傾斜是大數(shù)據(jù)計算中一個最棘手的問題，出現(xiàn)數(shù)據(jù)傾斜后，Spark 作業(yè)的性能會比期望值差很多。數(shù)據(jù)傾斜的調優(yōu)，就是利用各種技術方案解決不同類型的數(shù)據(jù)傾斜問題，保證 Spar...
-
聞道無先后，術業(yè)無專攻<br><br><br>
-
gaohangwang@gmail.com
-
KUDU 介紹前言 近兩年，KUDU 在大數(shù)據(jù)平臺的應用越來越廣泛。在阿里、小米、網(wǎng)易等公司的大數(shù)據(jù)架構中，KUDU 都有著不可替代的地位。本文通過分析 KUDU 的設計， 試圖解釋為什么...
-
-
-
搭建金融信貸風控中的機器學習模型-(6)模型驗證、監(jiān)控與調優(yōu)
1.模型的區(qū)分度 評分模型的作用是通過分數(shù)將好壞樣本進行區(qū)分。理想情況下，所有非違約人群的分數(shù)均高于違約人群的分數(shù)。因此我們需要某些統(tǒng)計量來衡量好壞樣本的分數(shù)差異性，...
