發(fā)簡(jiǎn)信
IP屬地：臺(tái)灣
-
Hive元數(shù)據(jù)升級(jí)工具源碼剖析——HiveSchemaTool1 背景 隨著公司業(yè)務(wù)的井噴式發(fā)展，數(shù)倉元數(shù)據(jù)也日益龐大，尤其是存在很多設(shè)計(jì)不合理的大分區(qū)表，導(dǎo)致一些元數(shù)據(jù)表（如PARTITIONS，PART...
-
記一次Hive任務(wù)hang住的問題(2)
1 背景 線上Hive任務(wù)偶爾出現(xiàn)hang住的現(xiàn)象.經(jīng)排查確認(rèn)是觸發(fā)了Hive的bug, 該bug在Hive-10569(https://iss...
-
記一次端口不釋放的問題
1 背景 一臺(tái)服務(wù)器的端口數(shù)是有限的資源，如果端口被大量占用則會(huì)存在未知的故障。案例：線上HiveServer2發(fā)生故障: 大量任務(wù)hang住,...
-
記一次Hive任務(wù)hang住的問題(1)
1 問題背景 beeline偶爾出現(xiàn)任務(wù)進(jìn)程卡住, 長(zhǎng)時(shí)間等待無響應(yīng)的情況.下面嘗試進(jìn)行分析及定位代碼位置. 2 分析步驟 2.1 首先定位進(jìn)程...
-
git push 時(shí)報(bào) Enter passphrase for /Users/Jeff_R/.ssh/id_rsa: 解決辦法1 背景 原因: 公鑰和私鑰出現(xiàn)錯(cuò)誤.解決方案: 重新配置公鑰和私鑰. 2 操作步驟 1 根據(jù)郵箱重新生成自己的公鑰和私鑰:下述命令一路回車即可...
-
教你如何新建一個(gè)NB的Maven工程通常我們看社區(qū)源碼或者下載社區(qū)代碼安裝后發(fā)現(xiàn)，社區(qū)工程通常有bin、conf、lib等目錄，從而代碼結(jié)構(gòu)十分清晰，如何做到的呢？ 首先，來看看我...
-
基于UGI鑒權(quán)的Hive Metastore Client 并發(fā)訪問方式
定義一個(gè)基類: 定義一個(gè)并發(fā)測(cè)試: 說明: 如果你的hive沒有UGI鑒權(quán),可以忽略或去除UGI鑒權(quán)部分.
-
Thrift架構(gòu)及源碼解讀1 Thrift基本用法 1.1 搭建thrift編譯環(huán)境 1.1.1 tar包下載 http://www.apache.org/dyn/clo...
-
實(shí)戰(zhàn):自己編譯JDK
在學(xué)習(xí)深入理解Java虛擬機(jī)的過程中，覺得自己編譯JDK是很酷的一件事。所以就嘗試一下，由于老版本編譯的教程數(shù)不勝數(shù)，也沒有挑戰(zhàn)性，所以本文挑戰(zhàn)...