測(cè)試如何使用spark-submit來(lái)執(zhí)行編寫(xiě)的wordcount代碼。

1、先簡(jiǎn)單編寫(xiě)測(cè)試文本。

以空格分隔

2、將文本提交到hdfs上。

指令為：hadoop fs -put 本地路徑文件 hdfs文件路徑文件

ps：我的hdfs文件路徑為：/datas/wordcount

文件路徑

3、編寫(xiě)wordcount代碼

此代碼僅做簡(jiǎn)單輸出

4、使用maven的package打包，生成jar包，根據(jù)日志找到j(luò)ar包路徑

package打包

jar包路徑

5、將jar包上傳到linux指定目錄

jar包上傳的linux路徑

6、spark-submit提交指令

指令

此處要注意換行和傳入?yún)?shù)。最后一行的傳入?yún)?shù)為文件輸入路徑。參考代碼，為文章開(kāi)頭文本的保存路徑。

7、輸出結(jié)果

頁(yè)面輸出