HDFS 操作

https://www.w3cschool.cn/hadoop/hadoop_hdfs_operations.html

https://www.w3cschool.cn/hadoop/hadoop_command_reference.html

您必須格式化配置的HDFS文件系統(tǒng),打開namenode(HDFS服務(wù)器),然后執(zhí)行以下命令。

$ hadoop namenode -format

將啟動(dòng)namenode以及數(shù)據(jù)節(jié)點(diǎn)作為集群。

$ start-dfs.sh

列出文件

$ $HADOOP_HOME/bin/hadoop fs -ls <args>

將數(shù)據(jù)插入HDFS:

1. 創(chuàng)建一個(gè)輸入目錄: $ $HADOOP_HOME/bin/hadoop fs -mkdir /user/input

2. 使用put命令將數(shù)據(jù)文件從本地系統(tǒng)傳輸并存儲(chǔ)到Hadoop文件系統(tǒng)。$ $HADOOP_HOME/bin/hadoop fs -put /home/file.txt /user/input

3. $ $HADOOP_HOME/bin/hadoop fs -ls /user/input

從HDFS檢索數(shù)據(jù)

1.cat命令查看HDFS中的數(shù)據(jù)。$ $HADOOP_HOME/bin/hadoop fs -cat /user/output/outfile

2.? ? ?使用get命令將文件從HDFS獲取到本地文件系統(tǒng)。$ $HADOOP_HOME/bin/hadoop fs -get /user/output/ /home/hadoop_tp/

關(guān)閉HDFS $ stop-dfs.sh

cp<src><dest>; mv; rm;

?put<localSrc><dest>,? ?copyFromlocal<localSrc><dest>

get<dest><localSrc>,coptToLocal<src><localDest>

getmerge<src><localDest> 檢索與HDFS中的路徑src匹配的所有文件,并將它們復(fù)制到由localDest標(biāo)識(shí)的本地文件系統(tǒng)中的單個(gè)合并文件。

moveFromLocal<localSrc><dest>: 系統(tǒng)復(fù)制到HDFS中的dest,成功時(shí)刪除本地副本。

moveToLocal

mkdir <path>

touchz<path> 在包含當(dāng)前時(shí)間的路徑上創(chuàng)建一個(gè)文件作為時(shí)間戳。如果文件在路徑中已存在,則失敗,除非文件已經(jīng)為0.

test -[ezd] <path>?如果路徑存在則返回1;具有零長(zhǎng)度;或者是目錄,否則為0。

stat [format]<path> 打印有關(guān)路徑的信息。格式是接受塊(%b),文件名(%n),塊大?。ǎ),復(fù)制(%r)和修改日期(%y,%Y)中的文件大小的字符串.

tail [-f] <file2name>?在stdout上顯示最后1KB的文件。

chmod [-R] mode,mode,... <path>...? ? ? ?更改與由路徑標(biāo)識(shí)的一個(gè)或多個(gè)對(duì)象關(guān)聯(lián)的文件權(quán)限...使用R.模式遞歸執(zhí)行更改是一個(gè)3位八進(jìn)制模式,或{augo} +/- {rwxX}。假設(shè)沒有指定范圍,并且不應(yīng)用umask。

chown [-R] [owner][:[group]] <path>...? ?設(shè)置由路徑標(biāo)識(shí)的文件或目錄的所屬用戶和/或組...如果指定了-R,則遞歸地設(shè)置所有者。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容