前言 Java傳統(tǒng)的線程和操作系統(tǒng)中的線程是一一對應(yīng)關(guān)系,意味著創(chuàng)建一個Java線程的同時會創(chuàng)建出一個操作系統(tǒng)線程。這樣會帶來如下問題: 操作系統(tǒng)線程的創(chuàng)建代價很高,需要分配...
前言 Java傳統(tǒng)的線程和操作系統(tǒng)中的線程是一一對應(yīng)關(guān)系,意味著創(chuàng)建一個Java線程的同時會創(chuàng)建出一個操作系統(tǒng)線程。這樣會帶來如下問題: 操作系統(tǒng)線程的創(chuàng)建代價很高,需要分配...
前言 Kyuubi提供了兩個命令行工具:kyuubi-admin和kyuubi-ctl。這兩個工具的功能和用法非常相似,能夠獲取到Kyuubi server和engine的狀...
背景 對于億級規(guī)模的數(shù)據(jù)量,使用傳統(tǒng)數(shù)據(jù)庫分析會比較低效且耗時。 這時就引入了OLAP引擎,本文以impala和spark為主進(jìn)行介紹。 OLAP典型技術(shù)組件 impala是...
真真假假一查便知。 筆者以武漢為例說一下如何查證。 搜索武漢房管局,第一條就是,點(diǎn)擊即可。 找到辦事服務(wù),點(diǎn)擊商品房項目查詢 找到你想要的樓盤 查看樓盤表 預(yù)售情況一目了然,...
1.使用explain查看執(zhí)行計劃 建表優(yōu)化 2.開啟動態(tài)分區(qū)配置,使用分區(qū)過濾3.分桶表 語法優(yōu)化 a. 分區(qū)過濾和列過濾,減少數(shù)據(jù)量和降低讀取開銷 b. group by...
Spark UI 上面顯示的 Storage Memory 可用內(nèi)存其實(shí)等于 Execution 內(nèi)存和 Storage 內(nèi)存之和,也就是 usableMemory * sp...
hive timestamp 與impala顯示不一致 hive ''和null 不一致 導(dǎo)入hive \n\r 特殊字符 hive 動態(tài)分區(qū)插入
傳統(tǒng)的離線 Batch SQL (面向有界數(shù)據(jù)集的 SQL)有三種基礎(chǔ)的實(shí)現(xiàn)方式,分別是 Nested-loop Join(嵌套循環(huán))、Sort-Merge Join 和 H...