發(fā)簡(jiǎn)信
IP屬地：浙江
-
數(shù)據(jù)漂移的處理
數(shù)據(jù)漂移的處理 通常我們把從源系統(tǒng)同步進(jìn)人數(shù)據(jù)倉(cāng)庫(kù)的第一層數(shù)據(jù)稱為 ODS stag ing 層數(shù)據(jù)，阿里巴巴統(tǒng)稱為 ODS 。數(shù)據(jù)漂移是 O...
-
hive之存儲(chǔ)格式
今天給大家分享一個(gè)主題：Storage Format, 也就是存儲(chǔ)格式 我們先在 hive 里建張表，打開(kāi) hive 的控制臺(tái)，創(chuàng)建一個(gè)表cre...
-
hive調(diào)優(yōu)
hive調(diào)優(yōu) 一、fetch策略 hive.fetch.task.conversion現(xiàn)在版本默認(rèn)值是morenone：表示禁用，任何查詢都會(huì)走...
-
hive元數(shù)據(jù)
Hive元數(shù)據(jù)是什么？ 元數(shù)據(jù)，即解釋數(shù)據(jù)的數(shù)據(jù)。在Hive架構(gòu)中，數(shù)據(jù)庫(kù)/表內(nèi)實(shí)際數(shù)據(jù)存放在HDFS之類的分布式存儲(chǔ)系統(tǒng)中，但這些數(shù)據(jù)并不帶有...
-
Hive如何處理大量小文件
Hive如何處理大量小文件 小文件是如何產(chǎn)生的 1.動(dòng)態(tài)分區(qū)插入數(shù)據(jù)的時(shí)候，會(huì)產(chǎn)生大量的小文件，從而導(dǎo)致map數(shù)量的暴增2.數(shù)據(jù)源本身就包含有大...
-
常見(jiàn)sql種 lateral view用法：
常見(jiàn)sql種 lateral view用法： 1.question_option_id是數(shù)組存儲(chǔ)格式是字符串類型 2.question_opti...
-
spark常見(jiàn)錯(cuò)誤：
spark常見(jiàn)錯(cuò)誤：一：·21/07/22 18:34:48 ERROR MetricsSystem: Sink class org.apach...
-
阿里云常見(jiàn)錯(cuò)誤：
阿里云常見(jiàn)錯(cuò)誤： 2021-07-19 20:21:27 INFO Current task status:RUNNING 2021-07-19...
-
kafka
Kafka官網(wǎng) kafka.apache.org 1.官網(wǎng)的介紹 消息中間件 承上啟下 緩沖 穩(wěn)穩(wěn)的消費(fèi)flume-->kafka-->ss...