數(shù)據(jù)湖的基本特征 可以從數(shù)據(jù)和計算兩個層面進一步分析數(shù)據(jù)湖應(yīng)該具備哪些特征。在數(shù)據(jù)方面： “保真性”。數(shù)據(jù)湖中對于業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)都會存儲一份“一模一樣”的完整拷貝。與數(shù)據(jù)倉...
發(fā)簡信
IP屬地：廣東
-
數(shù)據(jù)湖的基本特征
-
什么是數(shù)據(jù)湖
一、什么是數(shù)據(jù)湖 數(shù)據(jù)湖是目前比較熱的一個概念，許多企業(yè)都在構(gòu)建或者計劃構(gòu)建自己的數(shù)據(jù)湖。但是在計劃構(gòu)建數(shù)據(jù)湖之前，搞清楚什么是數(shù)據(jù)湖，明確一個數(shù)據(jù)湖項目的基本組成，進而設(shè)計...
-
Flink——Exactly-Once
Apache Flink的Exactly-Once機制 Apache Flink是目前市場最受關(guān)注的流計算處理引擎，相較于Spark Streaming的依托Spark Co...
-
Spark——Exactly-Once
什么是Exactly-Once一致性語義 Apache Spark的Exactly-once機制 Apache Flink的Exactly-once機制 Exactly-On...
-
Flink-算子（1）——DataSet
DataSet 一、Source算子 1. fromCollection fromCollection：從本地集合讀取數(shù)據(jù) 例： 2. readTextFile readTe...
-
Spark-RDD算子調(diào)優(yōu)
1. RDD復(fù)用 在對RDD進行算子時，要避免相同的算子和計算邏輯之下對RDD進行重復(fù)的計算： 對上圖中的RDD計算架構(gòu)進行修改，得到如下圖所示的優(yōu)化結(jié)果： 2. 盡早fil...
-
Hive SQL(5)-lateral view 、explode 、reflect
使用explode函數(shù)將hive表中的Map和Array字段數(shù)據(jù)進行拆分 lateral view用于和split、explode等UDTF一起使用的，能將一行數(shù)據(jù)拆分成多行...
-
Hive SQL(4)-函數(shù)
聚合函數(shù) 注意：聚合操作時要注意null值count(*) 包含null值，統(tǒng)計所有行數(shù)count(id) 不包含null值min 求最小值是不包含null，除非所有值都是n...
-
Hive SQL(3)-DQL
單表查詢 注意：1、order by 會對輸入做全局排序，因此只有一個reducer，會導(dǎo)致當輸入規(guī)模較大時，需要較長的計算時間。2、sort by不是全局排序，其在數(shù)據(jù)進入...
-
Hive SQL(2)-DDL/DML
1、對數(shù)據(jù)庫的操作 創(chuàng)建數(shù)據(jù)庫: 修改數(shù)據(jù)庫: 說明：可以使用alter database 命令來修改數(shù)據(jù)庫的一些屬性。但是數(shù)據(jù)庫的元數(shù)據(jù)信息是不可更改的，包括數(shù)據(jù)庫的名稱...
-
Hive SQL(1)
第一部分： hive模糊搜索表：show tables like '*name*'; 查看表結(jié)構(gòu)信息：desc table_name; 查看分區(qū)信息：show partiti...
-
Flink CDC實時數(shù)據(jù)入湖
Flink CDC介紹 CDC全稱是Change Data Capture，捕獲變更數(shù)據(jù)，比如數(shù)據(jù)庫捕獲完整的變更日志記錄增、刪、改等，都可以稱為CDC。該功能被廣泛應(yīng)用于數(shù)...
-
Hive 的 left semi join 講解介紹 LEFT SEMI JOIN （左半連接）是 IN/EXISTS 子查詢的一種更高效的實現(xiàn)。 示例 可以改寫為 特點 1、left semi join 的限制是， JO...
-
一線大廠的分布式唯一 ID 生成方案是什么樣的？
一、前言 分布式系統(tǒng)中我們會對一些數(shù)據(jù)量大的業(yè)務(wù)進行分拆，如：用戶表，訂單表。因為數(shù)據(jù)量巨大一張表無法承接，就會對其進行分庫分表。 但一旦涉及到分庫分表，就會引申出分布式系統(tǒng)...
-
Redis 實現(xiàn)限流-令牌桶-簡單實現(xiàn)
基于Redis的令牌桶算法 令牌桶算法提及到輸入速率和輸出速率，當輸出速率大于輸入速率，那么就是超出流量限制了。也就是說我們每訪問一次請求的時候，可以從Redis中獲取一個令...
-
數(shù)據(jù)分析之hive開窗函數(shù)（一）
溫馨提示 : 本文非小白科普文 開窗函數(shù)簡介 MYSQL 暫時還未對開窗函數(shù)給予支持。 測試數(shù)據(jù) 01、count 開窗函數(shù) select username，product，...
-
數(shù)據(jù)分析之hive開窗函數(shù)（二）
FIRST_VALUE：取分組內(nèi)排序后，截止到當前行，第一個值。LAST_VALUE：取分組內(nèi)排序后，截止到當前行，最后一個值。LEAD(col，n，DEFAULT)：用于統(tǒng)...
-
Hive實現(xiàn)數(shù)據(jù)抽樣的三種方法
在大規(guī)模數(shù)據(jù)量的數(shù)據(jù)分析及建模任務(wù)中，往往針對全量數(shù)據(jù)進行挖掘分析時會十分耗時和占用集群資源，因此一般情況下只需要抽取一小部分數(shù)據(jù)進行分析及建模操作。Hive提供了數(shù)據(jù)取樣 ...
-
Hive 實踐 - 提高查詢效率的八條軍規(guī)
1、開啟FetchTask 一個簡單的查詢語句，是指一個沒有函數(shù)、排序等功能的語句，當開啟一個Fetch Task功能，就執(zhí)行一個簡單的查詢語句不會生成MapRreduce作...
-
關(guān)于Spark的Broadcast
問題：為什么 broadcast 只有 只讀 的變量？ 這就涉及一致性的問題，如果變量可以被更新，那么一旦變量被某個節(jié)點更新，其他節(jié)點要不要一塊更新？如果多個節(jié)點同時在更新，...