flume傳輸大文件異常Input length = 2

在使用flume spooling組件傳輸文件時,經(jīng)常會出現(xiàn)以下問題:

1.文件只能傳輸一部分。

2.第二次將文件放到flume的監(jiān)控目錄下時,不能傳輸文件,監(jiān)控目錄中的文件也不會被刪除。

3.flume重啟之后,文件才能繼續(xù)被傳輸。

原因:在Spooling傳輸文件的時候,出現(xiàn)了同時讀寫一個文件導(dǎo)致的問題。

異常:Uncaught exception in SpoolDirectorySource thread. Restart or reconfigure Flume to continue processing.

java.nio.charset.MalformedInputException: Input length = 2。

爆出下面的異常:


解決辦法:

1.將原始日志cp到安裝flume的同級目錄下(防止在第二步mv的時候,不是在同一個磁盤會出現(xiàn)上面的異常)。

2.使用mv到flume監(jiān)控目錄。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容