數(shù)據(jù)漂移的處理 通常我們把從源系統(tǒng)同步進(jìn)人數(shù)據(jù)倉(cāng)庫(kù)的第一層數(shù)據(jù)稱(chēng)為 ODS stag ing 層數(shù)據(jù)，阿里巴巴統(tǒng)稱(chēng)為 ODS 。數(shù)據(jù)漂移是 ODS 數(shù)據(jù)的一個(gè) 頑疾，通常是...
發(fā)簡(jiǎn)信
IP屬地：浙江
-
數(shù)據(jù)漂移的處理
-
hive之存儲(chǔ)格式
今天給大家分享一個(gè)主題：Storage Format, 也就是存儲(chǔ)格式 我們先在 hive 里建張表，打開(kāi) hive 的控制臺(tái)，創(chuàng)建一個(gè)表create table t(id ...
-
hive調(diào)優(yōu)
hive調(diào)優(yōu) 一、fetch策略 hive.fetch.task.conversion現(xiàn)在版本默認(rèn)值是morenone：表示禁用，任何查詢(xún)都會(huì)走mr（count好像不走）mi...
-
hive元數(shù)據(jù)
Hive元數(shù)據(jù)是什么？ 元數(shù)據(jù)，即解釋數(shù)據(jù)的數(shù)據(jù)。在Hive架構(gòu)中，數(shù)據(jù)庫(kù)/表內(nèi)實(shí)際數(shù)據(jù)存放在HDFS之類(lèi)的分布式存儲(chǔ)系統(tǒng)中，但這些數(shù)據(jù)并不帶有數(shù)據(jù)庫(kù)/表/字段之類(lèi)的描述信息...
-
Hive如何處理大量小文件
Hive如何處理大量小文件 小文件是如何產(chǎn)生的 1.動(dòng)態(tài)分區(qū)插入數(shù)據(jù)的時(shí)候，會(huì)產(chǎn)生大量的小文件，從而導(dǎo)致map數(shù)量的暴增2.數(shù)據(jù)源本身就包含有大量的小文件3.reduce個(gè)數(shù)...
-
-
常見(jiàn)sql種 lateral view用法：
常見(jiàn)sql種 lateral view用法： 1.question_option_id是數(shù)組存儲(chǔ)格式是字符串類(lèi)型 2.question_option_id是數(shù)組，存儲(chǔ)格式是數(shù)...
-
spark常見(jiàn)錯(cuò)誤：
spark常見(jiàn)錯(cuò)誤：一：·21/07/22 18:34:48 ERROR MetricsSystem: Sink class org.apache.spark.metrics...
-
阿里云常見(jiàn)錯(cuò)誤：
阿里云常見(jiàn)錯(cuò)誤： 2021-07-19 20:21:27 INFO Current task status:RUNNING 2021-07-19 20:21:27 INFO ...
-
kafka
Kafka官網(wǎng) kafka.apache.org 1.官網(wǎng)的介紹 消息中間件 承上啟下 緩沖 穩(wěn)穩(wěn)的消費(fèi)flume-->kafka-->ss/flink distribu...
-
2021-03-11
Spark初識(shí) spark幾種模式 local 下載下來(lái)后，不做什么配置 StandLone 了解即可·····Spark集群： 1個(gè)節(jié)點(diǎn) N個(gè)節(jié)點(diǎn) VS Had...
-
2021-03-10
HDFS常用API 在前面獲取文件系統(tǒng)的客戶(hù)端對(duì)象（里面都是配置文件） 在后面關(guān)閉流 將hdfs文件下載到本地 用流來(lái)實(shí)現(xiàn) //將hdfs文件下載到本地 刪除文件 讀取文件...
-
2021-03-07
spark初識(shí) 1.MapReduce map + reduce 開(kāi)發(fā)easy?一般情況下：map ==》（寫(xiě)入） 磁盤(pán) reduce ==>（寫(xiě)入） hdfs特殊;...
-
spark之RDD詳解----五大特性spark Github: https://github.com/apache/spark/[https://github.com/apache/spark/]RDD： 讓開(kāi)...
-
安裝mysql5.7
可以參考視頻鏈接： 視頻鏈接[https://www.bilibili.com/video/BV12b411N7Lv]視頻鏈接[https://www.bilibili.co...
-
Hadoop SecondNameNode工作機(jī)制、常用命令與常用設(shè)置1. SNN****（****secondNamenode****） 1.1****secondNamenode****工作機(jī)制 1.secondNamenode執(zhí)行chec...
-
linux生產(chǎn)常用筆記（二）
LInux筆記 1. 磁盤(pán) 1.1****df -h 它報(bào)告文件系統(tǒng)磁盤(pán)空間的使用情況。 真實(shí)的數(shù)據(jù)盤(pán) 2. 內(nèi)存 free -m：查看內(nèi)存使用情況 5058/7823 =6...
