隨著Apache Parquet和Apache ORC等存儲格式以及Presto和Apache Impala等查詢引擎的發(fā)展，Hadoop生態(tài)系統(tǒng)有潛力作為面向分鐘級延時場景...
發(fā)簡信
IP屬地：上海
-
Hudi: Uber Engineering的Apache Hadoop增量處理框架
-
當(dāng)你的才華還撐不起你的野心時<br>那你就應(yīng)該靜下心來學(xué)習(xí)<br>當(dāng)你的能力還駕馭不了你的目標(biāo)時<br>那就應(yīng)該沉下心來歷練<br>忘掉年齡限制，何事不能成？
-
Excel中構(gòu)建SQL語句1、背景 實際生產(chǎn)中，我們經(jīng)常會面臨導(dǎo)入Excel數(shù)據(jù)到數(shù)據(jù)庫的需求，在沒有編寫導(dǎo)入程序，數(shù)據(jù)庫客戶端工具導(dǎo)入情況下。我們可以通過Excel本身的公式構(gòu)建出sql語句，可復(fù)制...
-
-
花了半個月，終于把Python庫全部整理出來了，非常全面庫名稱簡介 Chardet 字符編碼探測器，可以自動檢測文本、網(wǎng)頁、xml的編碼。 colorama 主要用來給文本添加各種顏色，并且非常簡單易用。 Prettytable ...
-
幾年前踏入這個行業(yè)，培訓(xùn)出生，大學(xué)非計算機(jī)專業(yè)，慢慢的成長到現(xiàn)在，其中的付出只有自己知道。這條路上我走過很多彎路，也慢慢看清前方在哪里。進(jìn)一行精一行敬一行盡一行，不達(dá)目的，人生有憾。
-
Pyspark實戰(zhàn)指南
開始時間： 2019-11-26 預(yù)計時間7天。作者：托馬茲[美] 本書常用下載地址：1.RDD章節(jié)文件下載：http://tomdrabas.com/data/VS14M...
-
請指教。
-
Spark 解決數(shù)據(jù)傾斜的幾種常用方法
數(shù)據(jù)傾斜是大數(shù)據(jù)計算中一個最棘手的問題，出現(xiàn)數(shù)據(jù)傾斜后，Spark 作業(yè)的性能會比期望值差很多。數(shù)據(jù)傾斜的調(diào)優(yōu)，就是利用各種技術(shù)方案解決不同類型的數(shù)據(jù)傾斜問題，保證 Spar...
-
聞道無先后，術(shù)業(yè)無專攻<br><br><br>
-
gaohangwang@gmail.com
-
KUDU 介紹前言 近兩年，KUDU 在大數(shù)據(jù)平臺的應(yīng)用越來越廣泛。在阿里、小米、網(wǎng)易等公司的大數(shù)據(jù)架構(gòu)中，KUDU 都有著不可替代的地位。本文通過分析 KUDU 的設(shè)計， 試圖解釋為什么...
-
-
-
搭建金融信貸風(fēng)控中的機(jī)器學(xué)習(xí)模型-(6)模型驗證、監(jiān)控與調(diào)優(yōu)
1.模型的區(qū)分度 評分模型的作用是通過分?jǐn)?shù)將好壞樣本進(jìn)行區(qū)分。理想情況下，所有非違約人群的分?jǐn)?shù)均高于違約人群的分?jǐn)?shù)。因此我們需要某些統(tǒng)計量來衡量好壞樣本的分?jǐn)?shù)差異性，...
