在Flink中我們有時(shí)候需要分析數(shù)據(jù)1點(diǎn)到2點(diǎn)的范圍,可是經(jīng)過(guò)Region又比較慢，這時(shí)候我們就可以定制TableInputFormat來(lái)實(shí)現(xiàn)我們的需求了，我們還可以采用Fl...
發(fā)簡(jiǎn)信
IP屬地：廣東
-
Hbase - 自定義Rowkey規(guī)則 -
Gradle - 打包上傳Maven倉(cāng)庫(kù)打包步驟 生成gpg密鑰 上傳公鑰到兩臺(tái)服務(wù)器上keys.gnupg.net 與 keyserver.ubuntu.com ~/.gradle/gradle.properti...
-
Shipyard docker集群
如何使用Shipyard安裝一個(gè)docker的集群，以下為此文安裝過(guò)程，使用centos7作為測(cè)試系統(tǒng)。 安裝說(shuō)明 docker 安裝可參考官方安裝說(shuō)明 docker ins...
-
-
Centos7 - 添加開(kāi)機(jī)啟動(dòng)服務(wù)Centos7.x的版本的服務(wù)都是以systemctl start xxxx來(lái)啟動(dòng)的，如何制作自己的開(kāi)機(jī)啟動(dòng)腳本? 大豬就來(lái)帶大家如何實(shí)現(xiàn)一個(gè)自己的開(kāi)機(jī)啟動(dòng)服務(wù)。 大豬是參考...
-
Hbase - 表導(dǎo)出CSV數(shù)據(jù)
新鮮文章，昨天剛經(jīng)過(guò)線上驗(yàn)證過(guò)的，使用它導(dǎo)出了3億的用戶數(shù)據(jù)出來(lái)，花了半個(gè)小時(shí)，性能還是穩(wěn)穩(wěn)的，好了不吹牛皮了，直接上代碼吧。 MR 考查了Hbase的各種MR，沒(méi)有發(fā)現(xiàn)哪一...
-
Elasticsearch - token分析過(guò)程
有時(shí)候我們?cè)谑褂肊s作為搜索分析的時(shí)候,得出的結(jié)果并不是我們想要的,這時(shí)候我們會(huì)查詢一下Es會(huì)怎么拆解我們的字符，這里就可以用到Es的_analyze查看一下分解的token...
-
Gradle - 打包上傳Maven倉(cāng)庫(kù)
打包步驟 生成gpg密鑰 上傳公鑰到兩臺(tái)服務(wù)器上keys.gnupg.net 與 keyserver.ubuntu.com ~/.gradle/gradle.properti...
-
HDFS_DELEGATION_TOKEN 還原及解決方案HDFS_DELEGATION_TOKEN 這個(gè)BUG在很多文章中都出現(xiàn)著，講了很多原理，但是只給出了官方引用地扯，完全沒(méi)有給出如何解決，我們線上的業(yè)務(wù)就有著這樣的問(wèn)題，7天...
-
Flink - CEP監(jiān)控下單付款超時(shí)通知在電商領(lǐng)域通常會(huì)有這樣一種需要，如果客戶下單了，但是在10分鐘內(nèi)不付款，應(yīng)該需要通知客服，再由客服尋問(wèn)客戶為什么還沒(méi)有付款，從而提高付款效率，我們可以采用Flink - CE...
-
Linux - 多線程壓縮日志
這里有17個(gè)G的日志文件，使用多線程壓縮2分23秒即可壓縮完成3.2G的壓縮，6倍的壓縮比，普通壓縮則要使用7分50秒，整整多出了3倍，我們看看是怎么使用的。 使用方法 安裝...
-
Shipyard docker集群
如何使用Shipyard安裝一個(gè)docker的集群，以下為此文安裝過(guò)程，使用centos7作為測(cè)試系統(tǒng)。 安裝說(shuō)明 docker 安裝可參考官方安裝說(shuō)明 docker ins...
-
Java - VisualVM 安裝 plugins Visual GC
在Java VisualVM這款java性能分析及調(diào)優(yōu)工具如何加載插件？比如漂亮的Visual GC，大豬我比較喜歡這款漂亮的姑娘，當(dāng)然了，如果覺(jué)得這是阻止了小伙伴們的進(jìn)步，...
-
Scala - 反射動(dòng)態(tài)創(chuàng)建方法有時(shí)候我們想定義一個(gè)字符串的方法，然后通過(guò)scala的動(dòng)態(tài)創(chuàng)建class，然后反射調(diào)用方法，在很多情景下是在學(xué)有用的，比較動(dòng)態(tài)自定義spark的mapParations，當(dāng)然...
-
Java - jmx遠(yuǎn)程調(diào)優(yōu)java遠(yuǎn)程調(diào)優(yōu)可采用兩種方式進(jìn)行連接，jmx與jstatd,此文演示如何配置jmx進(jìn)行連接調(diào)優(yōu)。 配置指南 Demo1 不啟用認(rèn)證 Demo2 啟用用戶認(rèn)證 編輯./jmx...
-
SpringBoot 自動(dòng)生成API文檔
在做項(xiàng)目的時(shí)候，如果項(xiàng)目是前后分離的，后端一定要和前端或者是移動(dòng)端對(duì)接接口，那么問(wèn)題來(lái)了，接口是不是要自己寫(xiě)給他們看，一般的會(huì)采用Excel或者Word來(lái)寫(xiě)，高級(jí)一點(diǎn)的就采用...
-
Java 與 Scala 使用Maven混合編譯打包
在SpringBoot上使用spark的時(shí)候會(huì)遇到的混合編譯問(wèn)題，在java代碼中打包會(huì)找不到scala定義的包，即可參考使用如下配置。 使用配置
-
Gradle - 打包上傳Maven倉(cāng)庫(kù)
打包步驟 生成gpg密鑰 上傳公鑰到兩臺(tái)服務(wù)器上keys.gnupg.net 與 keyserver.ubuntu.com ~/.gradle/gradle.properti...