Hadoop常用命令
啟動HDFS集群：start-dfs.sh
image.png
啟動YARN集群：start-yarn.sh
image.png
命令啟動HDFS和YARN：start-all-sh
image.png
查看HDSF系統(tǒng)根目錄：hdfs dfs -ls /
image.png
創(chuàng)建文件夾：hdfs dfs -mkdir /a
創(chuàng)建文件.png
遞歸創(chuàng)建文件夾：`hdfs dfs -mkdir -p /aa/bb/cc
遞歸查看文件夾：hdfs dfs -ls -R /aa
遞歸創(chuàng)建文件.png
上傳文件：
hdsf dfs -put words.txt -/aa或 hdfs dfs -copyFromLocal words.txt /aa/bb
image.png
下載文件
hdfs dfs -get /aa/bb/words.txt ~/newdownloadwords.txt
download.png
合并下載
hdfs dfs -getmerge /aa/bb/word.txt /aa/words.txt ~/2words.txt
image.png
復制
hdfs dfs -cp /aa/words.txt /a
image.png
移動
hdfs dfs -mv /a/words.txt / /aa/bb/cc/強制刪除
hdfs dfs -rm -r /aa/words.yxt
image.png
HDFS操作命令 （HDFS操作命令幫助信息 hdfs dfs）
| 命令 | 說明 | 示例 |
|---|---|---|
| -mkdir | hdfs上創(chuàng)建目錄 | hdfs dfs -mkdir /data |
| -ls | 列出hdfs文件系統(tǒng)根目錄下的目錄和文件 | hdfs dfs -ls / |
| -ls -R | 列出hdfs文件系統(tǒng)所有的目錄和文件 | hdfs dfs -ls -R / |
| -put | 上傳文件或者從鍵盤輸入字符到hdfs | 將本地Linux的文件data.txt上傳到hdfs上 hdfs dfs -put data.txt /data/ |
| -moveFromLocal | 與put類似，命令執(zhí)行后源文件local src會被刪除 也可以從鍵盤讀入到hdfs file中 | hdfs -dfs -moveFromLocal data.txt /data/input |
| -copyToLocal | 復制 | |
| -get | 將hdfs中的文件被復制到本地 | hdfs dfs -get /data/input.txt /root/ |
| -rm | 每次可以刪除多個文件或目錄 | hdfs dfs -rm <hdfs file> 刪除多個文件 hdfs dfs -rm -r <hdfs file> ...刪除多個目錄 |
| -getmerge | 將hdfs指定目錄下所有文件排序后合并到local指定的文件中，文件不存在時會自動創(chuàng)建，文件存在時會覆蓋里面的內(nèi)容 | 將hdfs上/data/input目錄下的所有文件，合并到本地的a.txt文件中 hdfs dfs -getmerge /data/input/ /root/a.txt |
| -du | 顯示hdfs對應路徑下每個文件夾和文件的大小 | hdfs dfs -du / |
| -cp | 拷貝hdfs上的文件 | |
| -mv | 移動hdfs上的文件 | |
| -count | 統(tǒng)計hdfs對應路徑下的目錄個數(shù)，文件個數(shù)，文件總數(shù)大小 | |
| -text 、cat | 將文本文件或某些格式的非文本文件通過文本格式輸出 | |
| balancer | 如果管理員發(fā)現(xiàn)某些DataNode保存數(shù)據(jù)過多，某些DataNode保存數(shù)據(jù)相對較少，可以使用上述命令手冊啟動內(nèi)部的均衡過程。 |
HDFS管理命令 （HDFS管理命令幫助信息 hdfs dfsadmin）
| 命令 | 說明 | 示例 |
|---|---|---|
| -report | 顯示文件系統(tǒng)的基本數(shù)據(jù) | hdfs dfsadmin -report |
| -safemode | HDFS的安全模式命令 <enter /leave/get/wait> | hdfs dfsadmin -safemode enter / leave/get/wait |
