Flink CDC介紹 CDC全稱是Change Data Capture，捕獲變更數(shù)據(jù)，比如數(shù)據(jù)庫捕獲完整的變更日志記錄增、刪、改等，都可以稱為CDC。該功能被廣泛應(yīng)用于數(shù)...
發(fā)簡(jiǎn)信
IP屬地：廣東
-
Flink CDC實(shí)時(shí)數(shù)據(jù)入湖
-
Flink-算子（1）——DataSet
DataSet 一、Source算子 1. fromCollection fromCollection：從本地集合讀取數(shù)據(jù) 例： 2. readTextFile readTe...
-
Hive SQL(5)-lateral view 、explode 、reflect
使用explode函數(shù)將hive表中的Map和Array字段數(shù)據(jù)進(jìn)行拆分 lateral view用于和split、explode等UDTF一起使用的，能將一行數(shù)據(jù)拆分成多行...
-
Hive 的 left semi join 講解介紹 LEFT SEMI JOIN （左半連接）是 IN/EXISTS 子查詢的一種更高效的實(shí)現(xiàn)。 示例 可以改寫為 特點(diǎn) 1、left semi join 的限制是， JO...
-
一線大廠的分布式唯一 ID 生成方案是什么樣的？
一、前言 分布式系統(tǒng)中我們會(huì)對(duì)一些數(shù)據(jù)量大的業(yè)務(wù)進(jìn)行分拆，如：用戶表，訂單表。因?yàn)閿?shù)據(jù)量巨大一張表無法承接，就會(huì)對(duì)其進(jìn)行分庫分表。 但一旦涉及到分庫分表，就會(huì)引申出分布式系統(tǒng)...
-
Redis 實(shí)現(xiàn)限流-令牌桶-簡(jiǎn)單實(shí)現(xiàn)
基于Redis的令牌桶算法 令牌桶算法提及到輸入速率和輸出速率，當(dāng)輸出速率大于輸入速率，那么就是超出流量限制了。也就是說我們每訪問一次請(qǐng)求的時(shí)候，可以從Redis中獲取一個(gè)令...
-
數(shù)據(jù)分析之hive開窗函數(shù)（一）
溫馨提示 : 本文非小白科普文 開窗函數(shù)簡(jiǎn)介 MYSQL 暫時(shí)還未對(duì)開窗函數(shù)給予支持。 測(cè)試數(shù)據(jù) 01、count 開窗函數(shù) select username，product，...
-
數(shù)據(jù)分析之hive開窗函數(shù)（二）
FIRST_VALUE：取分組內(nèi)排序后，截止到當(dāng)前行，第一個(gè)值。LAST_VALUE：取分組內(nèi)排序后，截止到當(dāng)前行，最后一個(gè)值。LEAD(col，n，DEFAULT)：用于統(tǒng)...
-
Hive實(shí)現(xiàn)數(shù)據(jù)抽樣的三種方法
在大規(guī)模數(shù)據(jù)量的數(shù)據(jù)分析及建模任務(wù)中，往往針對(duì)全量數(shù)據(jù)進(jìn)行挖掘分析時(shí)會(huì)十分耗時(shí)和占用集群資源，因此一般情況下只需要抽取一小部分?jǐn)?shù)據(jù)進(jìn)行分析及建模操作。Hive提供了數(shù)據(jù)取樣 ...
