發(fā)簡信
IP屬地：北京
-
精彩博客收集
1、Spark MLlib機(jī)器學(xué)習(xí)：黃美靈2、Spark 應(yīng)用：祝威廉3、Spark 系列：heayin1234、尚學(xué)堂 論壇5、尚學(xué)堂 公開課...
-
1、Catalyst源碼解讀之SqlParser本篇文章基于Spark1.6.1源碼解讀Catalyst下的SqlParser spark sql中可以分三種sql語句第一種DDL語句，DDL...
-
git 免密碼push pull在oschina上托管代碼的時(shí)候每次push都需要輸入用戶名和密碼，是一件非常麻煩的事情，下面介紹兩種非常簡單的方式可以省略用戶名和密碼的輸入 ...
-
IDEA閱讀kafka源碼環(huán)境搭建1.首先安裝gradle,并配置環(huán)境變量,gradle下載地址http://services.gradle.org/distributions,...
-
2 kafka的特性消息持久化和緩存Kafka高度依賴文件系統(tǒng)來存儲(chǔ)和緩存消息。一般的人都認(rèn)為“磁盤是緩慢的”，這使得人們對(duì)“持久化結(jié)構(gòu)提供具有競爭性的性能”這樣的...
-
1 kafka簡介簡介Apache Kafka是分布式發(fā)布-訂閱消息系統(tǒng)。它最初由LinkedIn公司開發(fā)，之后成為Apache項(xiàng)目的一部分。Kafka是一種快速...
-
Spark Streaming 中使用c3p0連接池操作mysql數(shù)據(jù)庫
在Spark Streaming的應(yīng)用程序中，有時(shí)候需要將計(jì)算結(jié)果保存到數(shù)據(jù)庫中，為了高效這里使用批量插入，結(jié)合c3po連接池，說明一下使用方法...
-
Spark Streaming源碼解析
目錄### Spark Streaming 透徹理解之一 通過案例對(duì)SparkStreaming透徹理解之 spark streaming運(yùn)行機(jī)...
-
16 Spark Streaming源碼解讀之?dāng)?shù)據(jù)清理
Spark Streaming程序的運(yùn)行，不斷的產(chǎn)生job，不斷的生成RDD、不斷的接收數(shù)據(jù)存儲(chǔ)數(shù)據(jù)，不斷的保存元數(shù)據(jù)等，如果不清理這些數(shù)據(jù)，內(nèi)...