IP屬地：江蘇
-
DataWorks實(shí)戰(zhàn)7-數(shù)據(jù)集成之?dāng)?shù)據(jù)同步詳解開始之前，我們先聊下數(shù)據(jù)的分類吧。數(shù)據(jù)可以從多種維度進(jìn)行分類，但從數(shù)倉(cāng)開發(fā)角度看， 數(shù)據(jù)可以分為"結(jié)構(gòu)化數(shù)據(jù)"、"半結(jié)構(gòu)化數(shù)據(jù)"、"非結(jié)構(gòu)化數(shù)據(jù)...
-
DataWorks實(shí)戰(zhàn)-數(shù)據(jù)集成之離線全量+實(shí)時(shí)增量ETL詳解
使用Dataworks完成數(shù)倉(cāng)的離線全量+實(shí)時(shí)增量ETL可以有多種具體實(shí)現(xiàn)方案。筆者進(jìn)行了多種實(shí)踐，也大概了解到各種實(shí)踐方案的優(yōu)缺點(diǎn)?；貞洰?dāng)時(shí)，...
-
Dataworks實(shí)戰(zhàn)5-數(shù)據(jù)集成之技術(shù)選型開始之前，先聊下企業(yè)數(shù)據(jù)的整體架構(gòu)吧。一般來(lái)說(shuō)，業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫(kù)有較大的生產(chǎn)壓力，大多數(shù)的做法是在企業(yè)生產(chǎn)庫(kù)后會(huì)追加1到2個(gè)只讀庫(kù)，負(fù)責(zé)實(shí)時(shí)同步...
-
Dataworks實(shí)戰(zhàn)4-業(yè)務(wù)流程模塊之?dāng)?shù)據(jù)集成概述
伴隨前臺(tái)業(yè)務(wù)系統(tǒng)的微服務(wù)化，各微應(yīng)用的數(shù)據(jù)存儲(chǔ)于各自微服務(wù)里，使得各業(yè)務(wù)系統(tǒng)之間數(shù)據(jù)的關(guān)聯(lián)分析、數(shù)據(jù)的全生命周期的分析愈發(fā)困難。這往往逼迫各互聯(lián)...
-
DataWorks實(shí)戰(zhàn)3-業(yè)務(wù)流程開發(fā)之約定配置
使用DataWorks開發(fā)過(guò)程中會(huì)存在各類配置，面對(duì)如此多的配置，如果不進(jìn)行規(guī)范化的約定，后期業(yè)務(wù)過(guò)程將面臨難以維護(hù)，參數(shù)定義冗亂等問(wèn)題，在這里...
-
DataWorks實(shí)戰(zhàn)2-業(yè)務(wù)流程的模塊規(guī)劃數(shù)據(jù)倉(cāng)庫(kù)主要包含數(shù)據(jù)集成、數(shù)據(jù)計(jì)算、數(shù)據(jù)服務(wù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)資產(chǎn)等模塊。在數(shù)倉(cāng)建設(shè)中，對(duì)數(shù)據(jù)開發(fā)者說(shuō)最主要工作在數(shù)據(jù)集成和數(shù)據(jù)計(jì)算，這2塊在Da...
-
Dataworks實(shí)戰(zhàn)1-資源組的規(guī)劃
Dataworks里的資源組分為"公共資源組"、"獨(dú)享資源組"。其中"公共資源組"是全租戶下使用，在任務(wù)高峰期會(huì)造成數(shù)據(jù)調(diào)度、數(shù)據(jù)同步延遲，因此...
-
使用Dataworks支撐數(shù)據(jù)中臺(tái)開發(fā)實(shí)踐
從阿里巴巴在2018年底正式推出數(shù)據(jù)中臺(tái)這個(gè)概念后，數(shù)據(jù)中臺(tái)就如火如荼的啟航了。網(wǎng)絡(luò)上對(duì)"數(shù)據(jù)中臺(tái)概念"的理解，對(duì)"數(shù)據(jù)中臺(tái)架構(gòu)"的理解，這樣的...