image.png
經(jīng)過分析，由實時計算pisces服務spark streamming 任務日志導致hdfs空間暴增。
image.png
.inprogress 結(jié)尾的為未完成任務
hdfs dfs -ls /user/spark/applicationHistory/ | grep application_ | grep -v '.inprogress$'|awk '{print $8}'
hdfs dfs -rm -f $(hdfs dfs -ls /user/spark/applicationHistory/ | grep application_ | grep -v '.inprogress$'|awk '{print $8}')
默認刪除入hdfs回收站，所以需要清理/user/hdfs/.Trash/* 內(nèi)容，才是釋放空間。
image.png
crontab -u hdfs -e
0 2 * * * sh hdfs dfs -rm -f $(hdfs dfs -ls /user/spark/applicationHistory/ | grep application_ |awk '{print $8}') && hdfs dfs -rm -r -f /user/hdfs/.Trash/*
此時空間已被正常清理，等待一會hdfs集群服務恢復正常。
image.png
image.png
