更多精彩好文首發(fā),盡在公眾號《大數(shù)據(jù)階梯之路》我是Akin,給大家整理了一些hive函數(shù)的高級用法,作為Hive進階系列文章第四篇,其中有些SQL題目還是面試的重點考察用法,...
更多精彩好文首發(fā),盡在公眾號《大數(shù)據(jù)階梯之路》我是Akin,給大家整理了一些hive函數(shù)的高級用法,作為Hive進階系列文章第四篇,其中有些SQL題目還是面試的重點考察用法,...
更多精彩好文,盡在微信公眾號《大數(shù)據(jù)階梯之路》 一、數(shù)據(jù)倉庫工程師是什么 首先,我要聲明一點,數(shù)倉工程師不能有一個慣性思維,那便是把自己當(dāng)成一個SQL工程師,即網(wǎng)絡(luò)上調(diào)侃的:...
肝了幾個晚上,梳理總結(jié)了一份萬字長文超詳述hive企業(yè)級優(yōu)化文章,也整理了一份hive優(yōu)化總結(jié)思維導(dǎo)圖和hive優(yōu)化詳細PDF文檔,有需要可關(guān)注公眾號《大數(shù)據(jù)階梯之路》找小編...
更多精彩好文,盡在微信公眾號《大數(shù)據(jù)階梯之路》 一、數(shù)據(jù)湖是什么 數(shù)據(jù)湖相當(dāng)于一個匯集著來自各個異構(gòu)數(shù)據(jù)源的原生態(tài)數(shù)據(jù),不經(jīng)過加工清洗數(shù)據(jù),數(shù)據(jù)的格式也五花八門,結(jié)構(gòu)化和半結(jié)...
更多精彩好文,盡在微信公眾號《大數(shù)據(jù)階梯之路》 一、前言 大家好,我是Akin,考慮寫下這篇文章的時候我已在互聯(lián)網(wǎng)大數(shù)據(jù)領(lǐng)域工作了幾年,主要是給有意向從事大數(shù)據(jù)領(lǐng)域的朋友們一...
一、前言 hive優(yōu)化除了有hql語句邏輯優(yōu)化,hql參數(shù)調(diào)優(yōu)等等,還有一個不起眼的細節(jié)容易被忽視掉,那便是hive數(shù)倉模型表的存儲格式和壓縮方式,hive底層數(shù)據(jù)是依托在h...
大家好,本篇聊一下數(shù)倉建設(shè),講一下面試常遇到的主題域與主題劃分,更多精彩文章優(yōu)先從微信公眾號《大數(shù)據(jù)階梯之路》首發(fā),歡迎關(guān)注,公眾號回復(fù):大數(shù)據(jù)數(shù)倉資料,可以獲取大數(shù)據(jù)數(shù)倉相...
以下內(nèi)容多謝友友 @靜靜朵朵開[http://www.itdecent.cn/u/8198dc2d4bad] @紫陌君的店[http://www.itdecent.cn/...
反壓是什么 反壓是在實時數(shù)據(jù)處理中,數(shù)據(jù)管道某個節(jié)點上游產(chǎn)生數(shù)據(jù)的速度大于該節(jié)點處理數(shù)據(jù)速度的一種現(xiàn)象。反壓會從該節(jié)點向上游傳遞,一直到數(shù)據(jù)源,并降低數(shù)據(jù)源的攝入速度。這在流...
準備工作 安裝查看java的版本號,推薦使用java8。 安裝Flink 在Mac OS X上安裝Flink是非常方便的。推薦通過homebrew來安裝。 啟動Flink和進...
Homebrew是一款Mac OS上的軟件包管理工具,通過它可以很方便的安裝/卸載軟件工具等,類似于Linux下的apt-get,node的npm等包管理工具。 Homebr...
Sublime Text 3是Sublime Text 2的升級版。Sublime Text 是一款流行的文本編輯器軟件,有點類似于TextMate,跨平臺,可運行在Linu...
一、iTerm2簡介: Mac OS自帶的終端,用起來雖然有些不太方便,界面也不夠友好,iTerm2是一款相對比較好用的終端工具.iTerm2常用操作包括主題選擇、聲明高亮、...
終端輸入以下命令,會自動進行安裝,按照要求輸入密碼 安裝完成后打開finalShell,點擊文件夾圖標打開連接管理器,右鍵conn,新建SSH連接,輸入名稱、主機、用戶名及密...
0.自我介紹 答:1).簡單的自我介紹,突出自己優(yōu)勢 2).項目介紹 3).項目中承擔(dān)的工作和模塊。 4).長的帥或漂亮,前四條都可以忽略 1. 什么是數(shù)據(jù)倉庫?如何構(gòu)建...
“老鐵啊,我這有個微信公眾號,幫我排下版唄,文檔發(fā)過來了” “三篇,等下還有一篇,謝謝了” 習(xí)慣點開接受文件的我,一臉懵逼。有把大刀我就砍過去了。經(jīng)常收到朋友這樣的要求,開始...
前言 Presto是一款Facebook開源的MPP架構(gòu)的OLAP查詢引擎,可針對不同數(shù)據(jù)源執(zhí)行大容量數(shù)據(jù)集的一款分布式SQL執(zhí)行引擎。因為工作中接觸到Presto,研究它對...
Sublime Text 3 for Mac 不僅僅是一款代碼編輯神器,還是HTML和散文碼字中最好用的文本編輯器,一款具有代碼高亮、語法提示、自動完成且反應(yīng)快速的編輯器軟件...
背## 背景 為便于hive表數(shù)據(jù)上下游的管理(評估邏輯變更的影響、快速追溯數(shù)據(jù)來源),需要構(gòu)建hive字段級別的數(shù)據(jù)血緣,hive本身提供提供了一個用于打印數(shù)據(jù)血緣的鉤子類...
數(shù)倉分層 數(shù)倉簡介 1. 數(shù)據(jù)倉庫和數(shù)據(jù)庫的區(qū)別 數(shù)據(jù)倉庫: 數(shù)據(jù)量特別的大,TB~PB 級別會保留歷史數(shù)據(jù)一般使用 OLAP 分析(On-Line Analytical P...