發(fā)簡信
IP屬地：廣東
-
簡單實(shí)現(xiàn)并整合AOP和IOC
最近在看Spring的ioc和aop相關(guān)的知識點(diǎn)，看了一點(diǎn)官方的源碼，一知半解，只能說對這倆個(gè)東西有個(gè)宏觀的大致的了解，具體實(shí)現(xiàn)細(xì)節(jié)還是不是很清...
-
使用Curator去做分布式的實(shí)時(shí)參數(shù)配置
Curator簡介 Apache Curator是一個(gè)比較完善的ZooKeeper客戶端框架，通過封裝的一套高級API 簡化了ZooKeeper...
-
采用一致性Hash去搭建Redis多機(jī)系統(tǒng)
最近項(xiàng)目使用Redis緩存很多實(shí)時(shí)的數(shù)據(jù)，很多還是HashMap形式的，比較吃資源，查詢還比較頻繁，單機(jī)版的Redis性能上有點(diǎn)跟不上。節(jié)點(diǎn)上數(shù)...
-
NIO實(shí)現(xiàn)TCP文件傳輸最近這段時(shí)間學(xué)習(xí)了一下NIO，就想把FileChannel和SocketChannel方面的知識結(jié)合一下，于是就練習(xí)了這個(gè)基于NIO的TCP文件...
-
Structured Streaming自定義Output Sink到多個(gè)輸出源
最近有個(gè)需求，需要把我們Structured Streaming處理后的實(shí)時(shí)數(shù)據(jù)，發(fā)送到Redis一份。官網(wǎng)并沒有提供redis輸出方式。之前我...
-
重寫JdbcRDD實(shí)現(xiàn)條件查詢Mysql數(shù)據(jù)庫
雖然Spark使用關(guān)系型數(shù)據(jù)庫作為數(shù)據(jù)源的場景并不多，但是有時(shí)候我們還是希望能夠能夠從MySql等數(shù)據(jù)庫中讀取數(shù)據(jù)，并封裝成RDD。Spark官...
-
Zookeeper的認(rèn)證方式
Zookeeper對權(quán)限的控制是節(jié)點(diǎn)級別的，而且不繼承，即對父節(jié)點(diǎn)設(shè)置權(quán)限，其子節(jié)點(diǎn)不繼承父節(jié)點(diǎn)的權(quán)限。Zookeeper提供了幾種認(rèn)證方式 w...
-
flink學(xué)習(xí)(2)flink Streaming從kafka接收數(shù)據(jù)
今天測試今天嘗試了flink從kafka獲取數(shù)據(jù)的測試程序編寫，主要測試的kafka發(fā)送json的接收例子，嘗試了幾個(gè)kafka的Deseria...
-
flink學(xué)習(xí)(1)讀取文件并求和
今天嘗試了flink讀取文件的測試程序編寫，代碼比較簡單，途中遇到了一個(gè)問題，自定義封裝類型的時(shí)候編譯拋出如下異常： 這個(gè)問題是因?yàn)槌绦蛐枰粋€(gè)...