發(fā)簡信
IP屬地：上海
-
Hive調(diào)優(yōu)之?dāng)?shù)據(jù)篇
數(shù)據(jù)文件的性能優(yōu)化包含文件格式、壓縮方式以及數(shù)據(jù)存儲等三個方面。 文件格式Hive 支持TEXT FILE, SEQUENCE FILE, AV...
-
Hive調(diào)優(yōu)之設(shè)計篇
從設(shè)計上來考慮HQL的優(yōu)化，會涉及到表設(shè)計、數(shù)據(jù)格式以及Job任務(wù)優(yōu)化等。 分區(qū)表設(shè)計Hive 分區(qū)是最有效的優(yōu)化查詢性能的方法之一。使用分區(qū)過...
-
Hive調(diào)優(yōu)之工具篇
HQL提供EXPLAIN和ANALYZE語句，用于檢查和確定查詢性能。另外Hive日志包含有足夠詳細的信息用于性能調(diào)查和問題確認(rèn)。 EXPLAI...
-
HQL之抽樣篇
由于數(shù)據(jù)量本身通常過于浩大，我們需要一部分?jǐn)?shù)據(jù)來加速數(shù)據(jù)分析過程。我們就需要運用抽樣技術(shù)來發(fā)現(xiàn)整個數(shù)據(jù)集的模式和趨勢。HQL中有三種抽樣技術(shù)：隨...
-
HQL聚集計算之窗口篇自Hive 0.11.0之后，窗口函數(shù)，作為一組可以以掃描多個輸入行作為輸入來計算和生成每一個返回值的特殊函數(shù)，正式進入HQL大家族。該組函數(shù)的...
-
HQL聚集計算之條件篇
自Hive 0.70之后，HAVING 子句可以用于對聚集結(jié)果進行條件過濾。該用法和SQL中類似，這樣我們就不需要把聚集語句作為子查詢來過濾相關(guān)...
-
HQL聚集計算之進階篇
HQL聚集函數(shù)可以使用GROUPING SETS, CUBE, 和ROLLUP等關(guān)鍵詞。 GROUPING SETS該子句等同于GROUP BY...
-
HQL聚集計算之基本篇
基本內(nèi)置聚集函數(shù)通常需要和GROUP BY子句一起使用。如果沒有使用GROUP BY子句，聚集函數(shù)會缺省按照整行所有列來進行聚集。 無GROUP...
-
HQL之函數(shù)使用
在HQL中，我們可以使用關(guān)系操作符、數(shù)學(xué)操作符、邏輯操作符、復(fù)合類型操作符以及復(fù)合類型構(gòu)建器。其中，關(guān)系操作符、數(shù)學(xué)操作符和邏輯操作符這三個操作...