開始之前,我們先聊下數(shù)據(jù)的分類吧。數(shù)據(jù)可以從多種維度進(jìn)行分類,但從數(shù)倉(cāng)開發(fā)角度看, 數(shù)據(jù)可以分為"結(jié)構(gòu)化數(shù)據(jù)"、"半結(jié)構(gòu)化數(shù)據(jù)"、"非結(jié)構(gòu)化數(shù)據(jù)...
使用Dataworks完成數(shù)倉(cāng)的離線全量+實(shí)時(shí)增量ETL可以有多種具體實(shí)現(xiàn)方案。筆者進(jìn)行了多種實(shí)踐,也大概了解到各種實(shí)踐方案的優(yōu)缺點(diǎn)?;貞洰?dāng)時(shí),...
開始之前,先聊下企業(yè)數(shù)據(jù)的整體架構(gòu)吧。一般來(lái)說(shuō),業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫(kù)有較大的生產(chǎn)壓力,大多數(shù)的做法是在企業(yè)生產(chǎn)庫(kù)后會(huì)追加1到2個(gè)只讀庫(kù),負(fù)責(zé)實(shí)時(shí)同步...
伴隨前臺(tái)業(yè)務(wù)系統(tǒng)的微服務(wù)化,各微應(yīng)用的數(shù)據(jù)存儲(chǔ)于各自微服務(wù)里,使得各業(yè)務(wù)系統(tǒng)之間數(shù)據(jù)的關(guān)聯(lián)分析、數(shù)據(jù)的全生命周期的分析愈發(fā)困難。這往往逼迫各互聯(lián)...
使用DataWorks開發(fā)過(guò)程中會(huì)存在各類配置,面對(duì)如此多的配置,如果不進(jìn)行規(guī)范化的約定,后期業(yè)務(wù)過(guò)程將面臨難以維護(hù),參數(shù)定義冗亂等問(wèn)題,在這里...
數(shù)據(jù)倉(cāng)庫(kù)主要包含數(shù)據(jù)集成、數(shù)據(jù)計(jì)算、數(shù)據(jù)服務(wù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)資產(chǎn)等模塊。在數(shù)倉(cāng)建設(shè)中,對(duì)數(shù)據(jù)開發(fā)者說(shuō)最主要工作在數(shù)據(jù)集成和數(shù)據(jù)計(jì)算,這2塊在Da...
Dataworks里的資源組分為"公共資源組"、"獨(dú)享資源組"。其中"公共資源組"是全租戶下使用,在任務(wù)高峰期會(huì)造成數(shù)據(jù)調(diào)度、數(shù)據(jù)同步延遲,因此...
從阿里巴巴在2018年底正式推出數(shù)據(jù)中臺(tái)這個(gè)概念后,數(shù)據(jù)中臺(tái)就如火如荼的啟航了。網(wǎng)絡(luò)上對(duì)"數(shù)據(jù)中臺(tái)概念"的理解,對(duì)"數(shù)據(jù)中臺(tái)架構(gòu)"的理解,這樣的...