項(xiàng)目背景 有個(gè)關(guān)于分布式鏈路追蹤呢項(xiàng)目，公司微服務(wù)460個(gè)左右，zipkin 日增數(shù)據(jù)約1.6T，約25億左右數(shù)據(jù)。 通過(guò)清洗，輸出不同5大維度...
投稿
收錄了9篇文章 · 45人關(guān)注
-
Hive處理25億數(shù)據(jù)之性能優(yōu)化
-
一個(gè)大數(shù)據(jù)小白到架構(gòu)的經(jīng)歷
心血來(lái)潮，寫篇文章記錄下個(gè)人大數(shù)據(jù)方面的經(jīng)歷。 0X01 背景 在2016年初，開(kāi)始接觸大數(shù)據(jù)，那時(shí)候?qū)Υ髷?shù)據(jù)完全一篇空白。在此之前做了4年多的...
-
Wget下載oracle JDK1.8出現(xiàn)tar解壓出錯(cuò)的問(wèn)題
錯(cuò)誤方式 wget http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b844...
-
DataGrip過(guò)濾顯示數(shù)據(jù)庫(kù)對(duì)象
SQL開(kāi)發(fā)神器DataGrip配置要顯示的表。數(shù)據(jù)倉(cāng)庫(kù)龐大，數(shù)以萬(wàn)計(jì)的表，而具體到某個(gè)開(kāi)發(fā)任務(wù)中一般只涉及一小部分表。于是利用DG的Object...
-
數(shù)據(jù)倉(cāng)庫(kù)知識(shí)體系現(xiàn)在所謂的大數(shù)據(jù)，AI，之類其實(shí)都不是什么新鮮事物，只不過(guò)現(xiàn)在的人太能喊口號(hào)。這些無(wú)非是操作大量數(shù)據(jù)，或者在大量數(shù)據(jù)基礎(chǔ)上構(gòu)建的應(yīng)用。說(shuō)白了，數(shù)...
-
數(shù)倉(cāng)數(shù)據(jù)質(zhì)量檢查
數(shù)據(jù)倉(cāng)庫(kù)上下游表間數(shù)據(jù)質(zhì)量檢查產(chǎn)生于下游表生成過(guò)程中，也是下游表本身的數(shù)據(jù)質(zhì)量控制問(wèn)題，上下游的關(guān)系并不僅限于數(shù)據(jù)倉(cāng)庫(kù)各層數(shù)據(jù)表，還包括同一層的...
-
Hbase 系列-架構(gòu)圖
HBase? is the Hadoop database ，當(dāng)你需要random、realtime read/write 訪問(wèn)你的大表時(shí)，特別...
-
HBASE 系列-Region是如何split的？
1. 簡(jiǎn)介 當(dāng)RegionServer接收客戶的write請(qǐng)求后，會(huì)在memstore中不斷的堆積。直到達(dá)到flush閾值時(shí)，便會(huì)flush到d...
-
HBASE 系列-入門
HBase最新穩(wěn)定版本是2017年7月份的1.2.6版本。很多用戶還是0.92.x 。盡管版本不同，原理確是相似的。若覺(jué)得長(zhǎng)，可挑重點(diǎn)看。下載地...
-
數(shù)據(jù)埋點(diǎn)就是這么簡(jiǎn)單
廢話不說(shuō)，直接上模板，拿去，不謝。 公共參數(shù) key : 業(yè)務(wù)IDevent: 事件類型time: 事件事件，long類型dataFrom:數(shù)據(jù)...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/509669/2.pic.jpg', '推薦專題《大數(shù)據(jù)平臺(tái)》（ 分享自 @簡(jiǎn)書(shū) ）','http://www.itdecent.cn/c/c61ef0656c66?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁(yè)面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}