發(fā)簡信
IP屬地：上海
-
Spark應(yīng)用運行流程
??Apache Spark是開源的、分布式的、集成計算引擎，支持在計算機(jī)集群上的并行數(shù)據(jù)計算。Spark支持多種被廣泛使用的編程語言（Pyth...
-
Python包之OS
參考：https://docs.python.org/3/library/os.html Python中對OS模塊的定位是：提供了使用操作系統(tǒng)的...
-
Python包之collections
collections提供了特殊的容器類型，可以作為Python內(nèi)建容器類型的替代選擇： 容器類型說明namedtuple()工廠函數(shù)，提供創(chuàng)建...
-
GBDT原理詳解及sklearn源碼解析
以下關(guān)于GBM和GBDT的理解來自經(jīng)典論文[greedy function approximation: a gradient boosting...
-
XGBoost原理詳解及系統(tǒng)優(yōu)化XGBoost，全稱“Extreme Gradient Boosting”，和GBDT一樣屬于Boosting類型的模型，也是一種加法模型。 1...
-
sparkContext的addFile和addPyFile
addFile(path, recursive=False) 把文件分發(fā)到集群中每個worker節(jié)點，然后worker會把文件存放在臨時目錄下，...