項(xiàng)目背景 有個(gè)關(guān)于分布式鏈路追蹤呢項(xiàng)目,公司微服務(wù)460個(gè)左右,zipkin 日增數(shù)據(jù)約1.6T,約25億左右數(shù)據(jù)。 通過(guò)清洗,輸出不同5大維度...
投稿
項(xiàng)目背景 有個(gè)關(guān)于分布式鏈路追蹤呢項(xiàng)目,公司微服務(wù)460個(gè)左右,zipkin 日增數(shù)據(jù)約1.6T,約25億左右數(shù)據(jù)。 通過(guò)清洗,輸出不同5大維度...
心血來(lái)潮,寫篇文章記錄下個(gè)人大數(shù)據(jù)方面的經(jīng)歷。 0X01 背景 在2016年初,開(kāi)始接觸大數(shù)據(jù),那時(shí)候?qū)Υ髷?shù)據(jù)完全一篇空白。在此之前做了4年多的...
錯(cuò)誤方式 wget http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b844...
SQL開(kāi)發(fā)神器DataGrip配置要顯示的表。數(shù)據(jù)倉(cāng)庫(kù)龐大,數(shù)以萬(wàn)計(jì)的表,而具體到某個(gè)開(kāi)發(fā)任務(wù)中一般只涉及一小部分表。于是利用DG的Object...
現(xiàn)在所謂的大數(shù)據(jù),AI,之類其實(shí)都不是什么新鮮事物,只不過(guò)現(xiàn)在的人太能喊口號(hào)。這些無(wú)非是操作大量數(shù)據(jù),或者在大量數(shù)據(jù)基礎(chǔ)上構(gòu)建的應(yīng)用。說(shuō)白了,數(shù)...
數(shù)據(jù)倉(cāng)庫(kù)上下游表間數(shù)據(jù)質(zhì)量檢查產(chǎn)生于下游表生成過(guò)程中,也是下游表本身的數(shù)據(jù)質(zhì)量控制問(wèn)題,上下游的關(guān)系并不僅限于數(shù)據(jù)倉(cāng)庫(kù)各層數(shù)據(jù)表,還包括同一層的...
HBase? is the Hadoop database ,當(dāng)你需要random、realtime read/write 訪問(wèn)你的大表時(shí),特別...
1. 簡(jiǎn)介 當(dāng)RegionServer接收客戶的write請(qǐng)求后,會(huì)在memstore中不斷的堆積。直到達(dá)到flush閾值時(shí),便會(huì)flush到d...
HBase最新穩(wěn)定版本是2017年7月份的1.2.6版本。很多用戶還是0.92.x 。盡管版本不同,原理確是相似的。若覺(jué)得長(zhǎng),可挑重點(diǎn)看。下載地...
廢話不說(shuō),直接上模板,拿去,不謝。 公共參數(shù) key : 業(yè)務(wù)IDevent: 事件類型time: 事件事件,long類型dataFrom:數(shù)據(jù)...