大前天晚上，我寫了一篇文章，發(fā)布在了自媒體平臺上。 這篇文章，在頭條上數(shù)據(jù)很好，到今天有三萬多閱讀，收入15塊多；其次是百家號，有四千多閱讀，收入約11塊（所以為什么要給百家...
IP屬地：吉林
-
Flink CDC 原理、實(shí)踐和優(yōu)化CDC 變更數(shù)據(jù)捕獲技術(shù)可以將源數(shù)據(jù)庫的增量變動(dòng)記錄，同步到一個(gè)或多個(gè)數(shù)據(jù)目的。本文基于騰訊云 Oceanus 提供的 Flink CDC 引擎，著重介紹 Flink 在變更...
-
[Hudi學(xué)習(xí)筆記] Hudi 與Kudu、Hive Transactions、Hbase及Stream Processing的比較What is Hudi? Hudi是Hadoop Upserts anD Incrementals的縮寫，用于管理HDFS上的大型分析數(shù)據(jù)集存儲。 Hudi的主要目的是高效...
-
-
Kafka_讀寫流程kafka集群 寫 生產(chǎn)者和kafka集群之間的流程 1.生產(chǎn)者將數(shù)據(jù)封裝到ProducerRecord中,將ProducerRecord放到一個(gè) 中,當(dāng)該batch達(dá)到一定...
-
-
Hadoop-MapReduce運(yùn)行機(jī)制MapRduce是hadoop中的一個(gè)分布式計(jì)算工具,分為map階段和reduce階段其采用了一個(gè)分而治之的思想 以下一個(gè)例子作為演示,假設(shè)有一個(gè)涉及300M的文件(1.tx...
-
MR-YARN-HDFS 全流程總結(jié)客戶端提交MR程序,請求yarn的主角色 resource manage分配資源,運(yùn)行App master RM收到請求后,返回一個(gè)配置文件存儲路徑,任務(wù)id 客戶端將jo...
-
Flink SQL窗口表值函數(shù)（Window TVF）聚合實(shí)現(xiàn)原理淺析引子 表值函數(shù)（table-valued function, TVF），顧名思義就是指返回值是一張表的函數(shù)，在Oracle、SQL Server等數(shù)據(jù)庫中屢見不鮮。而在Fli...
