上一篇 給初心者的數(shù)據(jù)倉庫元數(shù)據(jù)系統(tǒng)開發(fā)指南 主要是描述了元數(shù)據(jù)的基本概念和典型需求。實際的開發(fā)和使用中,還有個基本問題容易被混淆,關(guān)于元數(shù)據(jù)的...
加過一些數(shù)據(jù)開發(fā)的社群,經(jīng)常會有人問元數(shù)據(jù)系統(tǒng)怎么開發(fā),大概網(wǎng)上很難搜到相關(guān)的好文章。 什么是元數(shù)據(jù) 首先,元數(shù)據(jù)的概念,通常解釋為數(shù)據(jù)的數(shù)據(jù),...
今天團隊在討論過去一段時間的問題,有提到這么一個觀點:作為數(shù)據(jù)倉庫工程師,被動接了很多需求,數(shù)據(jù)的業(yè)務價值不明顯。 互聯(lián)網(wǎng)公司的業(yè)務變化快,經(jīng)常...
都說互聯(lián)網(wǎng)公司快,在大數(shù)據(jù)開發(fā)領(lǐng)域也是如此,數(shù)據(jù)倉庫的各ETL任務每天都有更新,而源頭的數(shù)據(jù)也是在不斷變化,需要保證快速更變的同時,保證系統(tǒng)穩(wěn)定...
數(shù)據(jù)倉庫的元數(shù)據(jù)系統(tǒng)需要實時獲取最新的Hive表結(jié)構(gòu),比如用戶新建了一張表或新加一個字段,希望能馬上在元數(shù)據(jù)系統(tǒng)里查詢到。 實時獲取數(shù)據(jù),無非是...
一張Hive計算完成后,開發(fā)者會希望知道計算結(jié)果是否符合預期,比如是否有臟數(shù)據(jù),是否數(shù)據(jù)量符合預期。這里就有兩個問題,一個是校驗什么,另一個是怎...
失信人,也就是俗稱的老賴,會認為是高風險或者低信用的用戶,在很多業(yè)務場景下需要做好監(jiān)控或行為限制。比如失信人賣貨,捐款跑路的風險比普通人高,又比...
敏感字段標注問題 數(shù)據(jù)倉庫里,多多少少會有一些敏感字段,比如用戶手機號、通信地址,一旦泄露危害很大。而數(shù)據(jù)倉庫需要盡可能方便讓用戶使用,同時又要...