感謝感謝,解決了
[解決]git-ssh: connect to host github.com port 22: Connection timed out最近在更新了本地代碼 node 版本后,提交代碼時報錯如下 $ git pull project developssh: connect to host github.com...
感謝感謝,解決了
[解決]git-ssh: connect to host github.com port 22: Connection timed out最近在更新了本地代碼 node 版本后,提交代碼時報錯如下 $ git pull project developssh: connect to host github.com...
參數(shù) --min-compaction-interval-seconds 是 compaction 的
如果是 clustering 的話應(yīng)該是:--min-clustering-interval-seconds
Hudi系列22:離線Clusting一. 離線 Clustering 異步的 clustering 相對于 online 的 async clustering 資源隔離, 從未更加穩(wěn)定。 1.1 設(shè)置參數(shù) c...
本文簡單介紹 HBase 的數(shù)據(jù)導(dǎo)入工具 ImportTSV 。通過一次將 hive 大表導(dǎo)入 HBase 的實戰(zhàn)案例,梳理期間遇到的問題,調(diào)研更優(yōu)的導(dǎo)入方式。本文著重關(guān)注:...
1 統(tǒng)計占用文件句柄數(shù)常見誤區(qū) Linux 上運行的程序經(jīng)常能遇到 "max open files" 的報錯,這是由于 linux 對程序以及系統(tǒng)打開的 open file...
TBLS 這邊表里面寫錯了一個字段名
是 db_id 而不是 dbs_id
Hive MetaStore的結(jié)構(gòu)本篇主要是介紹Hive在MySQL中存儲的源數(shù)據(jù)的表結(jié)構(gòu)。 Hive MetaStore 數(shù)據(jù)庫表結(jié)構(gòu)圖 TBLS 記錄數(shù)據(jù)表的信息 字段解釋TBL_ID在hive中創(chuàng)建表的...
大部分人認識毛姆都是在那本著名的《月亮與六便士》中,從藝術(shù)家高更演化出的小說男主中認識了毛姆和他的文學(xué)創(chuàng)作。離開校園幾年,回頭看月亮這樣的小說,被小說中人物的性格迷住且深感驚...
1 問題 用戶有大量的并發(fā) beeline hive sql 任務(wù),偶發(fā) Unable to read HiveServer2 uri from ZooKeeper 報錯。h...
Hadoop 平臺運行至今,前期處于放任自由的狀態(tài),后期才開始稍加管控,指定相關(guān)數(shù)據(jù)使用規(guī)范。日積月累,數(shù)據(jù)規(guī)模越來越大,元數(shù)據(jù)暴增,Namenode rpc 頻繁超時告警...
1 問題 近期業(yè)務(wù)反饋 HBase GET 讀性能不佳,查看監(jiān)控,每天有幾個時間波段,GET P99 請求時延很高。 2 問題原因 定位有一個業(yè)務(wù)有 7 張 Hive HBa...
這是 HBase regionserver 打印的一段 bucket cache 統(tǒng)計信息,里面有些指標(biāo)有點讓人摸不著頭腦。下面將通過提問的方式,結(jié)合實際業(yè)務(wù)與源碼逐一解釋各...
1. 緣起 今年年初,在 B 站無意關(guān)注了一個成都騎摩托車摩旅去西藏的 UP 主,視頻拍的非常棒,幽默有趣,其中一期有一小段 BGM -《鹿柴》一下就打動到了我,了解了一下...
這里提一句,低版本的 spark (spark 2.1 以及以下) 不支持 hive udf 的 jar on hdfs。
hive sql的數(shù)倉遷移成spark sql,之前的UDF函數(shù)怎么辦?前言 離線數(shù)倉之前的主力工具是hive,有一些處理需要寫udf實現(xiàn),當(dāng)hive sql遷移成spark sql時。之前的udf函數(shù)該怎么辦呢,本文為自測并總結(jié)。結(jié)果寫在前面,...
我們都知道 HBase 的數(shù)據(jù)根據(jù) rowkey 字典序排序的,理解這個概念很重要。 先理解名詞 - 「字典序」 根據(jù) wiki 解釋: 在英文字典中,排列單詞的順序是先按照...
1 問題 Zeppelin 部署 Trino 解釋器,升級了 jdk 11,升級后 phoenix 解釋器查詢報錯.查看 Zeppelin phoenix interpret...
跟你好像,加油加油
復(fù)盤「2018-2020」心路歷程——山重水復(fù)疑無路,柳暗花明又一村最近同學(xué)在微信群中聊理財,提到了“定投指數(shù)基金”的概念,我不太懂,便自己了解了一下,竟無意中解開了我心中困擾了很久的一個心結(jié)。由于這段心路歷程讓我感受頗深,遂決定記錄下來,以...
1.問題與現(xiàn)象 業(yè)務(wù)反饋 Phoniex 最近總是有 10 多秒的超時。我們測試的時候發(fā)現(xiàn) Phoenix Client( JDBC ) 第一次查詢(基于 rowkey sc...
1. 問題 如下圖:日志中有很多 KB 級別的 memstore flush ,為何沒到配置的 256MB 就開始 flush ? 2. 結(jié)論 這是由后臺定時刷新線程發(fā)起的刷...