剛看到，??configloader就是去讀個(gè)配置文件內(nèi)容的值，代碼直接寫值就行。
Spark Structured Streaming寫Hive HBase Mysql組件版本 spark版本 2.3.1 (hdp) hadoop 3.1.1 (hdp) HDP hive 3.1.2 HBase 2.0.0 mysql 版本5.x 使用Sp...
發(fā)簡(jiǎn)信
IP屬地：上海
-
-
ES查詢新老數(shù)據(jù)速率差的問(wèn)題探析
問(wèn)題背景 在用戶的實(shí)際使用中發(fā)現(xiàn)，某一簡(jiǎn)單查詢，查詢一段時(shí)間內(nèi)符合要求的記錄，查詢老舊數(shù)據(jù)，響應(yīng)速度在1秒左右，而查詢包含最近數(shù)據(jù)的同類查詢則慢到十秒左右，且存在超時(shí)的現(xiàn)象。...
-
logger無(wú)法發(fā)送消息的問(wèn)題排查背景 logger是一個(gè)在Linux和Unix操作系統(tǒng)中使用的命令行工具，可以直接向系本地syslog文件或遠(yuǎn)程Syslog服務(wù)器發(fā)送消息。logger為寫日志提供了不同的選...
-
ES集群異常處理與進(jìn)階實(shí)踐
failed to execute pipeline for a bulk request問(wèn)題 客戶使用場(chǎng)景是使用第三方工具大批量往ES寫入數(shù)據(jù)，報(bào)錯(cuò)寫入失敗，需排查。 已知...
-
后續(xù)研究下離線測(cè)試流程
Esrally性能測(cè)試步驟與調(diào)優(yōu)
esrally一個(gè)對(duì)ElasticSearch做基準(zhǔn)性能測(cè)試的工具，是 elastic 官方開源的一款基于 python3 實(shí)現(xiàn)的針對(duì)ES 的壓測(cè)工具，ES官方也是基于 es...
-
Esrally性能測(cè)試步驟與調(diào)優(yōu)
esrally一個(gè)對(duì)ElasticSearch做基準(zhǔn)性能測(cè)試的工具，是 elastic 官方開源的一款基于 python3 實(shí)現(xiàn)的針對(duì)ES 的壓測(cè)工具，ES官方也是基于 es...
-
記ES集群磁盤I/O異常修復(fù)
用戶在例行巡檢過(guò)程發(fā)現(xiàn)es有data節(jié)點(diǎn)處于停止?fàn)顟B(tài)，進(jìn)行啟動(dòng)后，頁(yè)面進(jìn)度條顯示綠色已完成，但實(shí)際進(jìn)程啟動(dòng)失敗了。 排查節(jié)點(diǎn)日志，發(fā)現(xiàn)不能訪問(wèn)數(shù)據(jù)路徑，報(bào)錯(cuò)關(guān)鍵內(nèi)容如下：Un...
-
ES集群red狀態(tài)排查與恢復(fù)
原文轉(zhuǎn)自我的博客[https://kelvin-qzy.top/] 問(wèn)題描述 ElasticSearch開箱即用，本身并沒有太多需要配置、調(diào)整的參數(shù)，平時(shí)使用中最大的問(wèn)題應(yīng)該...
-
Impala常見問(wèn)題筆記
kerberos下怎么jdbc鏈接（kerberos）？jdbc url的寫法：jdbc:hive2://host:21050/;principal=hive/_HOST@B...
-
CAP定理20年回首：時(shí)代變了嗎？
前言 10年前的今天，Eric Brewer 博士發(fā)表CAP Twelve Years Later—How the 'Rules' Have Changed[https://...
-
現(xiàn)代數(shù)據(jù)棧，誰(shuí)主沉浮？歡迎訪問(wèn)我的博客[https://kelvin-qzy.top/]：https://kelvin-qzy.top[https://kelvin-qzy.top]2022年已經(jīng)...
-
Hudi + Spark3入門第一課
歡迎訪問(wèn)我的博客[https://kelvin-qzy.top/] Hudi + Spark3入門第一課 Apache Hudi 是下一代流數(shù)據(jù)湖平臺(tái)。Apache Hudi...
-
【原則——一旦做出決定，任何人都必須服從，即便個(gè)人可能有不同意見】讀后感
團(tuán)隊(duì)比個(gè)人更重要，要避免破壞既定路徑的行為。 這樣的規(guī)定確實(shí)是大部分團(tuán)隊(duì)執(zhí)行的標(biāo)準(zhǔn)，可是，一旦大部分人的決定是錯(cuò)誤的，那么，其后果將是非?？膳碌?。 很多時(shí)候這條原則適應(yīng)于常規(guī)...
-
于海外長(zhǎng)期飄搖，技術(shù)深度中毒，心系足球，籃球
-
kafka命令行超全總結(jié)https://juejin.cn/post/6844903829352382471#heading-7[https://juejin.cn/post/68449038293...
-
技術(shù)之路最公平也最殘酷的原因是：沒有捷徑，需要日積月累的積累，以及對(duì)技術(shù)持久的熱情。
-
