發(fā)簡(jiǎn)信
IP屬地：北京
-
-
嗶哩嗶哩：李文舉說(shuō)
-
終身學(xué)習(xí)者、大學(xué)教師。稍微懂一點(diǎn)兒寫(xiě)作、演講、Python和機(jī)器學(xué)習(xí)。歡迎微信關(guān)注并置頂我的公眾號(hào)“玉樹(shù)芝蘭”(nkwangshuyi)。我已委托“維權(quán)騎士”（rightknights.com）為我的文章進(jìn)行維權(quán)行動(dòng)。
-
貌似2.0以后的版本都不需要partitionBy 了，hive建表的時(shí)候指定分區(qū)就可以，可以試試直接插入或用saveAsTable
Spark 寫(xiě)入數(shù)據(jù)到Hive分區(qū)表
0.登錄hive數(shù)據(jù)庫(kù)，這里采用beeline 1.創(chuàng)建數(shù)據(jù)庫(kù) 有兩種方式，可以在hive客戶端或beeline連接hive創(chuàng)建，也可以在spark中創(chuàng)建，以hive she...
-
Spark 基礎(chǔ)概念釋義
1.RDD：彈性分布式數(shù)據(jù)集，彈性體現(xiàn)在可以在磁盤和內(nèi)存間自由切換；基于lineage(血統(tǒng))的容錯(cuò)；task失敗特定次數(shù)重試；stage失敗重試；數(shù)據(jù)分片的高度彈性（rep...
-
永不止步 Keep Moving
-
學(xué)習(xí)筆記總結(jié)<br><br>github:<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Fxy2953396112" target="_blank">https://github.com/xy2953396112</a><br><br><br><br><br>
-
行到水窮處，坐看云起時(shí)<br>座右銘：Do not wait , just do it!
-
如何保證消息隊(duì)列的高可用和冪等性以及數(shù)據(jù)丟失，順序一致性（1）RabbitMQ的高可用性 RabbitMQ是比較有代表性的，因?yàn)槭腔谥鲝淖龈呖捎眯缘模覀兙鸵运麨槔又v解第一種MQ的高可用性怎么實(shí)現(xiàn)。 rabbitmq有三種模式...
-
專注于大數(shù)據(jù)平臺(tái)化、數(shù)據(jù)可觀測(cè)性和數(shù)據(jù)可視化
-
Mongo、Redis、Memcached對(duì)比及知識(shí)總結(jié)存儲(chǔ)原理（持久化） MongoMongo的數(shù)據(jù)將會(huì)保存在底層文件系統(tǒng)，因此存儲(chǔ)容量遠(yuǎn)大于redis和memcached。一個(gè)database中所有的collections以及...
-
新博客地址： <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fwww.zhihu.com%2Fpeople%2Fallwefantasy" target="_blank">https://www.zhihu.com/people/allwefantasy</a>
-
-
什么都要會(huì)一點(diǎn)，這樣裝起逼來(lái)才不會(huì)尷尬。
-
Nignx 配置反向代理
解決問(wèn)題：使用nignx完成http轉(zhuǎn)https和二級(jí)域名轉(zhuǎn)發(fā)，將已有http通信的web前端轉(zhuǎn)為https,包括主域和一個(gè)二級(jí)域名，這兩個(gè)domain解析到同一ip。Ngi...
-
Ubuntu 更新python2.7版本至最新
系統(tǒng)自帶的python2版本為python2.7.6，版本太低，需要更新至2.7最新，直接下載2.7.15更新后有各種問(wèn)題，在此記錄下整個(gè)過(guò)程。最后使用python源碼安裝，...
-
Spark 寫(xiě)入數(shù)據(jù)到Hive分區(qū)表
0.登錄hive數(shù)據(jù)庫(kù)，這里采用beeline 1.創(chuàng)建數(shù)據(jù)庫(kù) 有兩種方式，可以在hive客戶端或beeline連接hive創(chuàng)建，也可以在spark中創(chuàng)建，以hive she...
-
數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)分析、數(shù)據(jù)挖掘、算法研究、數(shù)據(jù)產(chǎn)品！
