1. hudi寫完文件后同步hive元數(shù)據(jù)報(bào)錯(cuò)： sql直接在mysql的hive庫執(zhí)行是正常的 2. 把hive服務(wù)日志導(dǎo)出，發(fā)現(xiàn)如下錯(cuò)誤 原因：查看mysql所在的物理機(jī)...
發(fā)簡(jiǎn)信
IP屬地：山西
-
hudi報(bào)錯(cuò) FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
-
k8s自動(dòng)補(bǔ)全+資源大全
1. Kubectl添加自動(dòng)補(bǔ)全 2. 如果執(zhí)行命令遇到報(bào)錯(cuò) 解決方法：vim ~/.zshrc or vim ~/.bash_profile，添加以下內(nèi)容 3.k8s入門...
-
hudi:INSERT_OVERWRITE_TABLE failed with errors
spark 任務(wù)寫hudi error，但是異常沒有拋出。 降低driver log日志為TRACE級(jí)別，可以看到如下報(bào)錯(cuò) 原因：最后排查原因?yàn)閐ataframe中，數(shù)組類型...
-
java.lang.OutOfMemoryError: Direct buffer memory
ignite 服務(wù)重啟，查看錯(cuò)誤日志： 直接內(nèi)存是一種在堆外分配的內(nèi)存，它不受Java堆大小的限制。MaxDirectMemorySize參數(shù)可以通過在啟動(dòng)JVM時(shí)使用以下命...
-
spark 讀取到的mysql數(shù)據(jù)不一致的原因分析
使用spark查詢mysql的my_table表中，status字段的值為"active"的數(shù)據(jù) 第一次查詢： 結(jié)果：可以查詢到表中的數(shù)據(jù) 分析：where條件的過濾計(jì)算，會(huì)...
-
SchemaCompatibilityException: Unable to validate the rewritten record
spark 3.2.3hudi 0.11.0 spark 寫hudi，commit失敗。.hoodie目錄下，有commit.request和inflight，沒有commi...
-
k8s 出現(xiàn)異常unknownhostexception
生產(chǎn)環(huán)境，沒有進(jìn)行升級(jí)或修改配置，卻突然出現(xiàn)某些pod服務(wù)無法訪問hdfs的情況。拋出異常 unknownHostException 最終解決方法：重啟 k8s coreDn...
-
java.sql.SQLException: Failed to update some keys because they had been modified concurrently
重啟ignite后，遇到報(bào)錯(cuò)： Caused by: java.sql.SQLException: Failed to update some keys because th...
-
spark datetimeRebaseModeInRead
升級(jí)spark3遇到的問題 https://github.com/cjuexuan/mynote/issues/73[https://github.com/cjuexuan/...
-
java.math.BigDecimal cannot be cast to java.lang.Long
spark 讀取mysql 自增id，用getAsLong()方法解析報(bào)錯(cuò) 原因：mysql中id字段的類型為 unsigned bigint ，而不是 bigint 1. ...
-
spark on k8s 配置日志級(jí)別
場(chǎng)景：線上運(yùn)行報(bào)錯(cuò)，本地?zé)o法復(fù)線，需要臨時(shí)打開debug或trace級(jí)別日志，抓取錯(cuò)誤信息要求：只修改啟動(dòng)命令，不重新編譯打包 1.準(zhǔn)備log4j.properties配置文...
-
SIGKILL, possible container OOM (spark on k8s)
問題： spark driver 或者 executor pod頻繁被k8s kill。被kill前，查看spark ui，發(fā)現(xiàn)driver或者executor的gc根本不嚴(yán)...
-
class org.apache.ignite.spi.IgniteSpiException: Node with the same ID was found in node IDs histo...
ignite經(jīng)常每隔數(shù)小時(shí)就掛掉，手動(dòng)重啟也經(jīng)常出現(xiàn)無法啟動(dòng)成功 初步判斷，ignite中數(shù)據(jù)量暴增后出現(xiàn)網(wǎng)絡(luò)問題，增加超時(shí)時(shí)間 在ignite的配置文件中，在IgniteC...
-
The node may have crashed or be under too much load. This is probably a transient issue, so pleas...
presto 每隔一段時(shí)間就不可用，出現(xiàn) activeWorkers=0： 原因分析：應(yīng)該是adhoc_etl隊(duì)列的多個(gè)離線任務(wù)的大查詢并行執(zhí)行，worker負(fù)載高，頻繁gc...
-
k8s部署的presto的重啟方式
重啟presto后，發(fā)現(xiàn)sql查詢失敗，但是active worker數(shù)正常 pod log信息 原因分析：1.查看presto- 4和presto-5的日志，發(fā)現(xiàn)他們一直都...
-
hudi 要點(diǎn)備忘錄
1. hudi清理策略 代碼位置 1.1 策略一：KEEP_LATEST_FILE_VERSIONS 相關(guān)參數(shù)：hoodie.cleaner.fileversions.ret...
-
hudi 0.8 java.io.IOException: Not an Avro data file
hudi 0.8版本，在特殊條件下出現(xiàn)此問題 發(fā)生條件：1.由于hdfs磁盤滿，但是spark任務(wù)仍在寫hudi表。hudi表寫失敗后，會(huì)在.hoodie下寫一個(gè)rollba...
-
kafka參數(shù)：max.poll.interval.ms 和 session.timeout.ms
工作中，經(jīng)常會(huì)給kafka配置以下參數(shù)： session.timeout.ms: 檢查整個(gè)消費(fèi)者死亡超時(shí)時(shí)間 heartbeat.interval.ms: 心跳檢查超時(shí)時(shí)間...
-
shell 環(huán)境變量的作用域概述：shell變量的作用域，就是shell變量的有效范圍，在不同的作用域中，同名的變量不會(huì)相互干涉，就比如：A班級(jí)中有個(gè)叫小明的同學(xué)，B班級(jí)中也有一個(gè)叫小明的同學(xué)，由于他們...
-
hudi報(bào)錯(cuò)： Unable to alter table. The following columns have types incompatible with the existing co...
hudi 0.8，使用insert_overwrite_table模式覆寫hudi表。之前寫入正常，但hive由1.x升級(jí)到2.7.2后，報(bào)下面的錯(cuò)誤：Unable to a...