用戶名:50070
1,創(chuàng)建相關(guān)文件夾
hdfs dfs -mkdir -p? ?/user/root
2,傳輸文件
hdfs? dfs? ?-put? ? ?./hadoop-2.6.5.tar.gz? ? ? /user/root
3，定義block大小
hdfs? ? ?dfs? ? -D? ? dfs.blocksize=1048576? ? -put? ?test.txt
4，HA部署流程
2,3,4啟動(dòng)zookeeper? ?zkServer.sh start?
1,2,3? 啟動(dòng)? JNN? ??hadoop-daemon.sh start journalnode
1,? namenode? 格式化? ??hdfs namenode -format
1? namenode ，啟動(dòng)??hadoop-daemon.sh start namenode
2??hdfs namenode -bootstrapStandby? ? ?namenode 跟進(jìn)
1，格式化zkfc? ?hdfs zkfc -formatZK
4,啟動(dòng)zookeeper? ?zkCli.sh
1，start-dfs.sh? ?啟動(dòng)
5，Ha平常啟動(dòng)
2,3,4啟動(dòng)zookeeper? ?zkServer.sh start?
用完stop-dfs.sh
啟動(dòng)??start-dfs.sh
6，yarn? 啟動(dòng)
1，start-yarn.sh
3,4? ??yarn-daemon.sh start resourcemanager
resourcemanager? ?端口號(hào)8088
7，執(zhí)行jar包
hadoop jar? ? hadoop_mapreduce_example.jar? ?wordcount? ? ?/user/root/text.txt? ? ? /data/wc/output
hadoop_mapreduce_example.jar? 是jar包名字? ?wordcount 為里面的類? ??/user/root/text.txt 為被執(zhí)行文件? ??/data/wc/output? ?為輸出文件? 必須為空或不存在路徑
也可
hadoop jar? ? mywc.jar? hadoop_MR.mywc
若類中寫了輸入輸出路徑，則可不寫，? ? ?hadoop_MR為package名，mywc為class名??
8，查看輸出結(jié)果
hdfs? ? dfs? ? -ls??/data/wc/output
輸出會(huì)有SUCCESS，表明輸出是否成功? ? ?part -r-0000? ? r 表名是reduce文件? ? 0000表名是第0個(gè)reduce? ?
9，拷貝hdfs 到當(dāng)前
hdfs dfs -get? /data/wc/*? ? ? ./
10?
hdfs dfs -mkdir /class
hdfs dfs -put ./awk.txt/class??上傳文件
hdfs dfs -copyFromLocal-f ./awk.txt /class???覆蓋原文件
hdfs dfs-appendToFile ./text.txt /class/awk.txt? 將數(shù)據(jù)追加到原文件末尾
11
顯示HDFS中指定的文件的讀寫權(quán)限、大小、創(chuàng)建時(shí)間、路徑等信息:
hdfs dfs -ls -h /class/awk.txt
12
在HDFS中，將文件從源路徑移動(dòng)到目的路徑。
hdfs dfs -mv/class/awk.txt /data
