發(fā)簡信
IP屬地：湖北
-
OLAP選型及使用場景背景 對于億級規(guī)模的數(shù)據(jù)量，使用傳統(tǒng)數(shù)據(jù)庫分析會(huì)比較低效且耗時(shí)。 這時(shí)就引入了OLAP引擎，本文以impala和spark為主進(jìn)行介紹。 OLA...
-
業(yè)務(wù)報(bào)表的開發(fā)流程
當(dāng)接到復(fù)雜的業(yè)務(wù)需求需要產(chǎn)出多張報(bào)表時(shí)，首先需要將需求理解透徹，然后梳理清楚包含哪些指標(biāo)，然后設(shè)計(jì)報(bào)表的物理存儲(chǔ)結(jié)構(gòu)。 具體從以下角度出發(fā)： 1...
-
售樓處說房子只剩幾套了是真的嗎？一篇短文告訴你答案！真真假假一查便知。 筆者以武漢為例說一下如何查證。 搜索武漢房管局，第一條就是，點(diǎn)擊即可。 找到辦事服務(wù)，點(diǎn)擊商品房項(xiàng)目查詢 找到你想要的樓盤 ...
-
hive 調(diào)優(yōu)匯總
1.使用explain查看執(zhí)行計(jì)劃 建表優(yōu)化 2.開啟動(dòng)態(tài)分區(qū)配置,使用分區(qū)過濾3.分桶表 語法優(yōu)化 a. 分區(qū)過濾和列過濾，減少數(shù)據(jù)量和降低讀...
-
Spark內(nèi)存管理
Spark UI 上面顯示的 Storage Memory 可用內(nèi)存其實(shí)等于 Execution 內(nèi)存和 Storage 內(nèi)存之和，也就是 us...
-
hive 常見問題匯總
hive timestamp 與impala顯示不一致 hive ''和null 不一致 導(dǎo)入hive \n\r 特殊字符 hive 動(dòng)態(tài)分區(qū)插入
-
《知音號》小游記
知音號里面的劇情是上世紀(jì)二三十年代的大武漢，船上有不同的角色，名伶、報(bào)童、商賈…… 你可以自由地穿梭在各個(gè)角落，在演員之間駐足，甚至與他們共舞對...
-
Flink Streaming SQL Join傳統(tǒng)的離線 Batch SQL （面向有界數(shù)據(jù)集的 SQL）有三種基礎(chǔ)的實(shí)現(xiàn)方式，分別是 Nested-loop Join(嵌套循環(huán))、Sort...
-
flink的時(shí)間語義和window,WartermarkWindow概述 streaming流式計(jì)算是一種被設(shè)計(jì)用于處理無限數(shù)據(jù)集的數(shù)據(jù)處理引擎，而無限數(shù)據(jù)集是指一種不斷增長的本質(zhì)上無限的數(shù)據(jù)集，而w...