0x00 前言 本文將會談一談在數(shù)據(jù)倉庫中拉鏈表相關(guān)的內(nèi)容，包括它的原理、設(shè)計、以及在我們大數(shù)據(jù)場景下的實現(xiàn)方式。 全文由下面幾個部分組成： 先...
投稿
收錄了8篇文章 · 2人關(guān)注
-
數(shù)據(jù)倉庫之拉鏈表設(shè)計(轉(zhuǎn))
-
hive之with cube、with rollup、grouping sets一：多維分組聚合背景 企業(yè)針對有些指標(biāo)，希望能夠支撐上鉆和下鉆來進行查看，這樣即可以滿足精細化分析，又可以滿足指標(biāo)概覽，當(dāng)然現(xiàn)在的一些可視化工具...
-
hive自定義函數(shù)
一：自定義UDF函數(shù) UDF函數(shù)的特點是：多參數(shù)/單參數(shù)-》單個返回值，并且多個參數(shù)是一行當(dāng)中的數(shù)據(jù)，不能實現(xiàn)跨行。常見的UDF函數(shù)有很多，比如...
-
Hive SQL的編譯過程（轉(zhuǎn)）
Hive是基于Hadoop的一個數(shù)據(jù)倉庫系統(tǒng)，在各大公司都有廣泛的應(yīng)用。美團數(shù)據(jù)倉庫也是基于Hive搭建，每天執(zhí)行近萬次的Hive ETL計算流...
-
hive動態(tài)分區(qū)總結(jié)
一：hive引入靜態(tài)分區(qū)的意義 目前主流離線數(shù)據(jù)倉庫都在使用hive，最初由谷歌工程師開發(fā)，后面貢獻給apache。使我們在處理大數(shù)據(jù)時，需要寫...
-
hive一次補跑數(shù)據(jù)遇到的坑
1.問題背景 介紹下這次遇到補數(shù)問題的背景。補數(shù)是數(shù)倉從事人員經(jīng)常會碰到的問題，比如修復(fù)了歷史錯誤的邏輯，需要修復(fù)歷史數(shù)據(jù)，這種行為稱之為補數(shù)，...
-
hive之行轉(zhuǎn)列與列轉(zhuǎn)行的實現(xiàn)
一：前言 在某些場景下比如報表的產(chǎn)出，為了更加易于理解，往往會行列互置這樣顯示，又或者我們需要將某個相同鍵的值，所屬的屬性進行合并顯示，這樣都會...
-
hive窗口函數(shù)總結(jié)
一：前言 根據(jù)官網(wǎng)的介紹，hive推出的窗口函數(shù)功能是對hive sql的功能增強，確實目前用于離線數(shù)據(jù)分析邏輯日趨復(fù)雜，很多場景都需要用到。以...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/1823774/timg.jpg', '推薦專題《hive》（ 分享自 @簡書 ）','http://www.itdecent.cn/c/eae591ace1c4?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}