在Flink中我們有時(shí)候需要分析數(shù)據(jù)1點(diǎn)到2點(diǎn)的范圍,可是經(jīng)過(guò)Region又比較慢,這時(shí)候我們就可以定制TableInputFormat來(lái)實(shí)現(xiàn)我們的需求了,我們還可以采用Fl...
在Flink中我們有時(shí)候需要分析數(shù)據(jù)1點(diǎn)到2點(diǎn)的范圍,可是經(jīng)過(guò)Region又比較慢,這時(shí)候我們就可以定制TableInputFormat來(lái)實(shí)現(xiàn)我們的需求了,我們還可以采用Fl...
打包步驟 生成gpg密鑰 上傳公鑰到兩臺(tái)服務(wù)器上keys.gnupg.net 與 keyserver.ubuntu.com ~/.gradle/gradle.properti...
如何使用Shipyard安裝一個(gè)docker的集群,以下為此文安裝過(guò)程,使用centos7作為測(cè)試系統(tǒng)。 安裝說(shuō)明 docker 安裝可參考官方安裝說(shuō)明 docker ins...
Centos7.x的版本的服務(wù)都是以systemctl start xxxx來(lái)啟動(dòng)的,如何制作自己的開(kāi)機(jī)啟動(dòng)腳本? 大豬就來(lái)帶大家如何實(shí)現(xiàn)一個(gè)自己的開(kāi)機(jī)啟動(dòng)服務(wù)。 大豬是參考...
新鮮文章,昨天剛經(jīng)過(guò)線上驗(yàn)證過(guò)的,使用它導(dǎo)出了3億的用戶數(shù)據(jù)出來(lái),花了半個(gè)小時(shí),性能還是穩(wěn)穩(wěn)的,好了不吹牛皮了,直接上代碼吧。 MR 考查了Hbase的各種MR,沒(méi)有發(fā)現(xiàn)哪一...
有時(shí)候我們?cè)谑褂肊s作為搜索分析的時(shí)候,得出的結(jié)果并不是我們想要的,這時(shí)候我們會(huì)查詢一下Es會(huì)怎么拆解我們的字符,這里就可以用到Es的_analyze查看一下分解的token...
打包步驟 生成gpg密鑰 上傳公鑰到兩臺(tái)服務(wù)器上keys.gnupg.net 與 keyserver.ubuntu.com ~/.gradle/gradle.properti...
HDFS_DELEGATION_TOKEN 這個(gè)BUG在很多文章中都出現(xiàn)著,講了很多原理,但是只給出了官方引用地扯,完全沒(méi)有給出如何解決,我們線上的業(yè)務(wù)就有著這樣的問(wèn)題,7天...
在電商領(lǐng)域通常會(huì)有這樣一種需要,如果客戶下單了,但是在10分鐘內(nèi)不付款,應(yīng)該需要通知客服,再由客服尋問(wèn)客戶為什么還沒(méi)有付款,從而提高付款效率,我們可以采用Flink - CE...
這里有17個(gè)G的日志文件,使用多線程壓縮2分23秒即可壓縮完成3.2G的壓縮,6倍的壓縮比,普通壓縮則要使用7分50秒,整整多出了3倍,我們看看是怎么使用的。 使用方法 安裝...
如何使用Shipyard安裝一個(gè)docker的集群,以下為此文安裝過(guò)程,使用centos7作為測(cè)試系統(tǒng)。 安裝說(shuō)明 docker 安裝可參考官方安裝說(shuō)明 docker ins...
在Java VisualVM這款java性能分析及調(diào)優(yōu)工具如何加載插件?比如漂亮的Visual GC,大豬我比較喜歡這款漂亮的姑娘,當(dāng)然了,如果覺(jué)得這是阻止了小伙伴們的進(jìn)步,...
有時(shí)候我們想定義一個(gè)字符串的方法,然后通過(guò)scala的動(dòng)態(tài)創(chuàng)建class,然后反射調(diào)用方法,在很多情景下是在學(xué)有用的,比較動(dòng)態(tài)自定義spark的mapParations,當(dāng)然...
java遠(yuǎn)程調(diào)優(yōu)可采用兩種方式進(jìn)行連接,jmx與jstatd,此文演示如何配置jmx進(jìn)行連接調(diào)優(yōu)。 配置指南 Demo1 不啟用認(rèn)證 Demo2 啟用用戶認(rèn)證 編輯./jmx...
在做項(xiàng)目的時(shí)候,如果項(xiàng)目是前后分離的,后端一定要和前端或者是移動(dòng)端對(duì)接接口,那么問(wèn)題來(lái)了,接口是不是要自己寫(xiě)給他們看,一般的會(huì)采用Excel或者Word來(lái)寫(xiě),高級(jí)一點(diǎn)的就采用...
在SpringBoot上使用spark的時(shí)候會(huì)遇到的混合編譯問(wèn)題,在java代碼中打包會(huì)找不到scala定義的包,即可參考使用如下配置。 使用配置
打包步驟 生成gpg密鑰 上傳公鑰到兩臺(tái)服務(wù)器上keys.gnupg.net 與 keyserver.ubuntu.com ~/.gradle/gradle.properti...