發(fā)簡信
IP屬地：北京
-
Spark之本地部署，編譯打包以及遠程提交Spark之本地部署，編譯打包以及遠程提交的條件和可行性： 1.條件：個人電腦主機（設為A）與集群服務器是處于同一個局域網(wǎng)內(nèi)（比如校園網(wǎng)）。集群中各個主機形成一個分布式計算環(huán)...
-
ValueError: Input X must be non-negative
這是使用word2vector + MultinomialNB訓練時會出現(xiàn)的一個問題。由于word2vector對文本數(shù)據(jù)集進行處理后，向量中出現(xiàn)了負值，而Multinomi...
-
MMLSpark+Spark：pyspark+lightGBM應用實踐MMLSpark[https://gitee.com/mirrors/MMLSpark/tree/master] ，即Microsoft Machine Learning f...
-
Kylin分布式分析型數(shù)據(jù)倉庫-集群部署步驟總結(jié)
集群部署Kylin分布式分析型數(shù)據(jù)倉庫步驟[https://blog.csdn.net/bensonrachel/article/details/115862767] 地址 ...
-
* coalesce 算子： 將N個分區(qū) 合并為 N-M個分區(qū)
* 分區(qū)合并(減少)，在filter后使用效果更佳，可以有效避免數(shù)據(jù)傾斜問題Spark+smile項目（一）：各種初探，包括文件讀寫，Bug解決等。
在IDEA構(gòu)建了一個spark+smile的maven項目，用起來還是有各種bug[http://www.itdecent.cn/p/9ae8abb6145e]。繼續(xù)記錄。...
-
//本機可以讀hdfs上的文件:hdfs://ares02:8020/user/XXXX/XXXX
Spark+smile項目（一）：各種初探，包括文件讀寫，Bug解決等。
在IDEA構(gòu)建了一個spark+smile的maven項目，用起來還是有各種bug[http://www.itdecent.cn/p/9ae8abb6145e]。繼續(xù)記錄。...
-
創(chuàng)建SparkSession之后，還是可以通過 spark.conf.set 來設置運行參數(shù)。spark.conf.set("spark.jars", "path/XXX.jar,")
Spark+smile項目（一）：各種初探，包括文件讀寫，Bug解決等。
在IDEA構(gòu)建了一個spark+smile的maven項目，用起來還是有各種bug[http://www.itdecent.cn/p/9ae8abb6145e]。繼續(xù)記錄。...
-
Spark+smile項目（一）：各種初探，包括文件讀寫，Bug解決等。在IDEA構(gòu)建了一個spark+smile的maven項目，用起來還是有各種bug[http://www.itdecent.cn/p/9ae8abb6145e]。繼續(xù)記錄。...
-
IDEA-scala：java.lang.NoClassDefFoundError：org / apache / commons / csv / CSVFormat and Static met...在IDEA構(gòu)建了一個spark+smile的maven項目，用起來還是有各種bug。 因為要讀文件，拋出了一個這樣的異常：java.lang.NoClassDefFoundE...
-
建立一個搜索引擎（信息檢索系統(tǒng)）的點點滴滴建立一個簡單搜索引擎的點點滴滴。 數(shù)據(jù)只作測試用，markdown一些細節(jié)和坑吧。記錄點點滴滴。 IDE平臺：eclipse；lucene3.6；jdk1.8；tomcat7...
-
我是三只小熊熊熊，一個幣圈的小韭菜，希望大家多多關(guān)照。
-
斜杠青年/偽醫(yī)生/偽專欄作家/偽攝影愛好者/偽古典音樂愛好者/偽旅行家/假裝文藝青年/客居英倫15年/精游43國家與地區(qū)/千萬博主/千萬小心加我好友/千萬。。。
-
-
-
Java架構(gòu)想進階的加QQ：2954948836免費獲取一份架構(gòu)學習視頻和架構(gòu)學習體系進階圖。<br>感謝大家對我的關(guān)注！
-
你我同行，讓前行的路上更精彩，微信：fan5159922
