前言 長久以來，在YARN集群中部署Flink作業(yè)有兩種模式，即Session Mode和Per-Job Mode，而在Flink 1.11版本中，又引入了第三種全新的模式：...
發(fā)簡信
IP屬地：廣東
-
Flink on YARN的第三種部署模式：Application Mode -
數(shù)據(jù)倉庫系列之?dāng)?shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量一直是數(shù)據(jù)倉庫領(lǐng)域一個比較令人頭疼的問題，因?yàn)閿?shù)據(jù)倉庫上層對接很多業(yè)務(wù)系統(tǒng)，業(yè)務(wù)系統(tǒng)的臟數(shù)據(jù)，業(yè)務(wù)系統(tǒng)變更，都會直接影響數(shù)據(jù)倉庫的數(shù)據(jù)質(zhì)量。因此數(shù)據(jù)倉庫的數(shù)據(jù)質(zhì)量建設(shè)...
-
政務(wù)數(shù)據(jù)共享交換產(chǎn)品演化史字?jǐn)?shù)：約3300字 閱讀時間：約10分鐘 寫在前面 很抱歉這個領(lǐng)域是個讓人失望的領(lǐng)域。 說這個領(lǐng)域讓人失望，并不是產(chǎn)品或業(yè)務(wù)本身，而是在這個過程中，隨便一個點(diǎn)，都充滿了巨大的...
-
保證分布式系統(tǒng)數(shù)據(jù)一致性的6種方案問題的起源 在電商等業(yè)務(wù)中，系統(tǒng)一般由多個獨(dú)立的服務(wù)組成，如何解決分布式調(diào)用時候數(shù)據(jù)的一致性？ 具體業(yè)務(wù)場景如下，比如一個業(yè)務(wù)操作，如果同時調(diào)用服務(wù) A、B、C，需要滿足要么...
-
ZooKeeper 技術(shù)內(nèi)幕：數(shù)據(jù)的存儲(持久化機(jī)制)1. 數(shù)據(jù)分類 整體分為 3 類： 內(nèi)存數(shù)據(jù) 磁盤數(shù)據(jù)快照事務(wù)日志 下面是 ZooKeeper 啟動過程中，3 類數(shù)據(jù)之間的關(guān)系： 1.1. 內(nèi)存數(shù)據(jù) 關(guān)鍵點(diǎn)： ZK 的數(shù)據(jù)...
