發(fā)簡信
IP屬地：廣東
-
簡單實現(xiàn)并整合AOP和IOC
最近在看Spring的ioc和aop相關(guān)的知識點，看了一點官方的源碼，一知半解，只能說對這倆個東西有個宏觀的大致的了解，具體實現(xiàn)細節(jié)還是不是很清...
-
使用Curator去做分布式的實時參數(shù)配置
Curator簡介 Apache Curator是一個比較完善的ZooKeeper客戶端框架，通過封裝的一套高級API 簡化了ZooKeeper...
-
采用一致性Hash去搭建Redis多機系統(tǒng)
最近項目使用Redis緩存很多實時的數(shù)據(jù)，很多還是HashMap形式的，比較吃資源，查詢還比較頻繁，單機版的Redis性能上有點跟不上。節(jié)點上數(shù)...
-
NIO實現(xiàn)TCP文件傳輸最近這段時間學習了一下NIO，就想把FileChannel和SocketChannel方面的知識結(jié)合一下，于是就練習了這個基于NIO的TCP文件...
-
Structured Streaming自定義Output Sink到多個輸出源
最近有個需求，需要把我們Structured Streaming處理后的實時數(shù)據(jù)，發(fā)送到Redis一份。官網(wǎng)并沒有提供redis輸出方式。之前我...
-
重寫JdbcRDD實現(xiàn)條件查詢Mysql數(shù)據(jù)庫
雖然Spark使用關(guān)系型數(shù)據(jù)庫作為數(shù)據(jù)源的場景并不多，但是有時候我們還是希望能夠能夠從MySql等數(shù)據(jù)庫中讀取數(shù)據(jù)，并封裝成RDD。Spark官...
-
Zookeeper的認證方式
Zookeeper對權(quán)限的控制是節(jié)點級別的，而且不繼承，即對父節(jié)點設(shè)置權(quán)限，其子節(jié)點不繼承父節(jié)點的權(quán)限。Zookeeper提供了幾種認證方式 w...
-
flink學習(2)flink Streaming從kafka接收數(shù)據(jù)
今天測試今天嘗試了flink從kafka獲取數(shù)據(jù)的測試程序編寫，主要測試的kafka發(fā)送json的接收例子，嘗試了幾個kafka的Deseria...
-
flink學習(1)讀取文件并求和
今天嘗試了flink讀取文件的測試程序編寫，代碼比較簡單，途中遇到了一個問題，自定義封裝類型的時候編譯拋出如下異常： 這個問題是因為程序需要一個...