ubuntu下安裝配置hadoop2.9

1、確保系統(tǒng)中安裝配置好jdk,配置了JAVA_HOME

2、去鏡像網(wǎng)站下載hadoop穩(wěn)定版

http://mirror.bit.edu.cn/apache/hadoop/common/

https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common

下載名稱為hadoop-2.9.0-src.tar.gzhadoop-2.9.0.tar.gz兩個(gè)文件,前面一個(gè)是源碼文件,后面是安裝包

3、解壓到/opt/hadoop目錄下

tar -zxvf hadoop-2.9.0.tar.gz

去/opt/hadoop/hadoop-2.9.0/etc/hadoop目錄下修改hadoop-env.sh文件

在export JAVA_HOME=${JAVA_HOME}下面添加

export?PATH=$PATH:/opt/hadoop/hadoop-2.9.0/bin

保存之后在命令行中使用source ./hadoop-env.sh

4、運(yùn)行hadoop自帶的wordcount例子

在hadoop-2.9.0目錄下新建文件夾input,在input下新建text.txt文件,里面隨意寫入一些單詞,空格間隔。

在hadoop-2.9.0目錄下執(zhí)行如下命令:

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.0.jar wordcount?input output

最后可以在output文件夾中看到統(tǒng)計(jì)單詞個(gè)數(shù)的結(jié)果

5、自己運(yùn)行打包wordcount代碼

在/opt/hadoop/hadoop-2.9.0/etc/hadoop/hadoop-env.sh中添加如下配置:

export CLASSPATH="/opt/hadoop/hadoop-2.9.0/share/hadoop/common/hadoop-common-2.9.0.jar:/opt/hadoop/hadoop-2.9.0/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.9.0.jar:/opt/hadoop/hadoop-2.9.0/share/hadoop/common/lib/commons-cli-1.2.jar:$CLASSPATH"

新建文件夾playground,在playground目錄下新建文件夾src和class

解壓src源碼,WordCount.java在目錄/opt/hadoop/src/hadoop-src-2.9.0/hadoop-mapreduce-project/hadoop-mapreduce-examples/src/main/java/org/apache/hadoop/examples目錄下,將WordCount.java拷貝到playground的src目錄下。

在playground目錄下執(zhí)行下面命令:

javac -d class/ src/WordCount.java

生成class文件

6、將生成的class文件打包成jar包

jar -cvf WordCount.jar ./WordCount*.class

7、運(yùn)行生成的jar包

hadoop jar WordCount.jar?org.apache.hadoop.examples.WordCount /opt/hadoop/hadoop-2.9.0/input /opt/hadoop/hadoop-2.9.0/output

運(yùn)行上述命令即可運(yùn)行wordcount程序,以后我們就可以修改wordcount.java的代碼,然后運(yùn)行測(cè)試了。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容