感謝感謝，解決了
[解決]git-ssh: connect to host github.com port 22: Connection timed out最近在更新了本地代碼 node 版本后，提交代碼時報錯如下 $ git pull project developssh: connect to host github.com...
IP屬地：四川
-
-
參數(shù) --min-compaction-interval-seconds 是 compaction 的
如果是 clustering 的話應(yīng)該是：--min-clustering-interval-secondsHudi系列22:離線Clusting
一. 離線 Clustering 異步的 clustering 相對于 online 的 async clustering 資源隔離， 從未更加穩(wěn)定。 1.1 設(shè)置參數(shù) c...
-
Hive 大表數(shù)據(jù)導(dǎo)入 HBase
本文簡單介紹 HBase 的數(shù)據(jù)導(dǎo)入工具 ImportTSV 。通過一次將 hive 大表導(dǎo)入 HBase 的實戰(zhàn)案例，梳理期間遇到的問題，調(diào)研更優(yōu)的導(dǎo)入方式。本文著重關(guān)注：...
-
Linux 如何正確監(jiān)控 ulimit
1 統(tǒng)計占用文件句柄數(shù)常見誤區(qū) Linux 上運行的程序經(jīng)常能遇到 "max open files" 的報錯，這是由于 linux 對程序以及系統(tǒng)打開的 open file...
-
TBLS 這邊表里面寫錯了一個字段名
是 db_id 而不是 dbs_idHive MetaStore的結(jié)構(gòu)
本篇主要是介紹Hive在MySQL中存儲的源數(shù)據(jù)的表結(jié)構(gòu)。 Hive MetaStore 數(shù)據(jù)庫表結(jié)構(gòu)圖 TBLS 記錄數(shù)據(jù)表的信息 字段解釋TBL_ID在hive中創(chuàng)建表的...
-
豆瓣評分9.4，評論都說恨不能早點讀到這本書大部分人認識毛姆都是在那本著名的《月亮與六便士》中，從藝術(shù)家高更演化出的小說男主中認識了毛姆和他的文學(xué)創(chuàng)作。離開校園幾年，回頭看月亮這樣的小說，被小說中人物的性格迷住且深感驚...
-
[Hive] - Beeline 偶發(fā) Unable to read HiveServer2 uri from ZooKeeper 問題
1 問題 用戶有大量的并發(fā) beeline hive sql 任務(wù)，偶發(fā) Unable to read HiveServer2 uri from ZooKeeper 報錯。h...
-
如何給 HDFS 「減肥」之?dāng)?shù)據(jù)清理
Hadoop 平臺運行至今，前期處于放任自由的狀態(tài)，后期才開始稍加管控，指定相關(guān)數(shù)據(jù)使用規(guī)范。日積月累，數(shù)據(jù)規(guī)模越來越大，元數(shù)據(jù)暴增，Namenode rpc 頻繁超時告警...
-
[HBase] - 一次由 Hive HBase 外部表引發(fā)的讀性能問題1 問題 近期業(yè)務(wù)反饋 HBase GET 讀性能不佳，查看監(jiān)控，每天有幾個時間波段，GET P99 請求時延很高。 2 問題原因 定位有一個業(yè)務(wù)有 7 張 Hive HBa...
-
[HBase] - 讀懂 BucketCache 日志信息
這是 HBase regionserver 打印的一段 bucket cache 統(tǒng)計信息，里面有些指標(biāo)有點讓人摸不著頭腦。下面將通過提問的方式，結(jié)合實際業(yè)務(wù)與源碼逐一解釋各...
-
Before Sunrise - 第一次感受金屬樂現(xiàn)場1. 緣起 今年年初，在 B 站無意關(guān)注了一個成都騎摩托車摩旅去西藏的 UP 主，視頻拍的非常棒，幽默有趣，其中一期有一小段 BGM -《鹿柴》一下就打動到了我，了解了一下...
-
這里提一句，低版本的 spark （spark 2.1 以及以下） 不支持 hive udf 的 jar on hdfs。
hive sql的數(shù)倉遷移成spark sql，之前的UDF函數(shù)怎么辦?
前言 離線數(shù)倉之前的主力工具是hive，有一些處理需要寫udf實現(xiàn)，當(dāng)hive sql遷移成spark sql時。之前的udf函數(shù)該怎么辦呢，本文為自測并總結(jié)。結(jié)果寫在前面，...
-
[HBase] - 理解 HBase Rowkey 字典排序
我們都知道 HBase 的數(shù)據(jù)根據(jù) rowkey 字典序排序的，理解這個概念很重要。 先理解名詞 - 「字典序」 根據(jù) wiki 解釋： 在英文字典中，排列單詞的順序是先按照...
-
Zeppelin Phoenix 與 Trino jdk 版本不兼容問題1 問題 Zeppelin 部署 Trino 解釋器，升級了 jdk 11，升級后 phoenix 解釋器查詢報錯.查看 Zeppelin phoenix interpret...
-
跟你好像，加油加油
復(fù)盤「2018-2020」心路歷程——山重水復(fù)疑無路，柳暗花明又一村
最近同學(xué)在微信群中聊理財，提到了“定投指數(shù)基金”的概念，我不太懂，便自己了解了一下，竟無意中解開了我心中困擾了很久的一個心結(jié)。由于這段心路歷程讓我感受頗深，遂決定記錄下來，以...
-
[HBase] - Phoenix Scan 冷啟動慢的問題1.問題與現(xiàn)象 業(yè)務(wù)反饋 Phoniex 最近總是有 10 多秒的超時。我們測試的時候發(fā)現(xiàn) Phoenix Client（ JDBC ） 第一次查詢（基于 rowkey sc...
-
[HBase] - Memstore 為什么經(jīng)常 flush 小文件1. 問題 如下圖：日志中有很多 KB 級別的 memstore flush ，為何沒到配置的 256MB 就開始 flush ？ 2. 結(jié)論 這是由后臺定時刷新線程發(fā)起的刷...
