簡介 最近有個項目要對接ZF的數(shù)據(jù)，數(shù)據(jù)庫為Oracle，由于采用OGG的方式同步費用很高，于是想到采用FlinkCDC的方式進行同步。 Install Oracle 本例采...
發(fā)簡信
IP屬地：上海
-
Flink CDC實戰(zhàn)之Oracle同步Mysql
-
PyFlink集群部署前言 前面講到flink實時計算用戶畫像的功能，flink需要調(diào)用python寫的算法庫，之前的兩種方案都存在各種各樣的問題，最后決定采用pyflink來開發(fā)。 一門新技術(shù)的...
-
Cpython簡單介紹
前言 上一篇介紹了Java采用Jython調(diào)用python程序的方式，但是問題是目前只支持python2.x，如果需要調(diào)用python3.x目前是無法做到的，所以想到另外一種...
-
Jython簡單介紹
前言 Jython(原 JPython)，是一個用 Java 語言寫的 Python 解釋器。由于python語法簡潔，寫起來快，而且目前有很多現(xiàn)成的算法庫，所以別的語言也想...
-
Flink CDC實戰(zhàn)之Mysql同步Hudi簡介 在業(yè)務(wù)開發(fā)過程中，mysql應(yīng)該是最常用的數(shù)據(jù)庫了。不同業(yè)務(wù)部門會有自己的mysql集群，為了解決數(shù)據(jù)孤島問題，我們必須對數(shù)據(jù)進行同步整合，為了提高數(shù)據(jù)同步的時效性，我...
-
基于混合云構(gòu)建調(diào)度平臺簡介 很多業(yè)務(wù)場景對數(shù)據(jù)的安全性要求很高，所以會采用私有云部署應(yīng)用，但是開發(fā)和運營需要在公有云操作，所以很多企業(yè)都采用公有云+私有云的架構(gòu)模式，本例對這種混合云的調(diào)度問題進行...
-
DataX擴展hudiwriter組件前言 最近公司啟動了一個規(guī)劃2年的項目，是做一個數(shù)據(jù)平臺。主要包括數(shù)據(jù)同步（實時/離線）、mapping（實時/離線）、數(shù)倉（實時/離線）、源數(shù)據(jù)管理、數(shù)據(jù)血緣、調(diào)度、BI等...
-
湖數(shù)據(jù)運維(Data Lake Ops)
前言 最近在做一個用戶畫像的項目，我主要負責(zé)數(shù)據(jù)模塊，架構(gòu)大概是： 首先從各業(yè)務(wù)庫和數(shù)倉接入數(shù)據(jù)，經(jīng)過mapping處理后統(tǒng)一存儲在hudi中，以database、table...
-
Flink CDC實戰(zhàn)之Mongo同步Mysql
簡介 面對復(fù)雜的業(yè)務(wù)場景，企業(yè)可能會選用不同的數(shù)據(jù)庫，這給業(yè)務(wù)之間數(shù)據(jù)交互，數(shù)據(jù)分析等帶來一定的困擾，對此，數(shù)據(jù)同步起到很重要的作用，目前業(yè)內(nèi)成熟的數(shù)據(jù)同步組件很多，支持實時...