1、確保系統(tǒng)中安裝配置好jdk,配置了JAVA_HOME
2、去鏡像網(wǎng)站下載hadoop穩(wěn)定版
http://mirror.bit.edu.cn/apache/hadoop/common/
下載名稱為hadoop-2.9.0-src.tar.gz和hadoop-2.9.0.tar.gz兩個(gè)文件,前面一個(gè)是源碼文件,后面是安裝包
3、解壓到/opt/hadoop目錄下
tar -zxvf hadoop-2.9.0.tar.gz
去/opt/hadoop/hadoop-2.9.0/etc/hadoop目錄下修改hadoop-env.sh文件
在export JAVA_HOME=${JAVA_HOME}下面添加
export?PATH=$PATH:/opt/hadoop/hadoop-2.9.0/bin
保存之后在命令行中使用source ./hadoop-env.sh
4、運(yùn)行hadoop自帶的wordcount例子
在hadoop-2.9.0目錄下新建文件夾input,在input下新建text.txt文件,里面隨意寫入一些單詞,空格間隔。
在hadoop-2.9.0目錄下執(zhí)行如下命令:
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.0.jar wordcount?input output
最后可以在output文件夾中看到統(tǒng)計(jì)單詞個(gè)數(shù)的結(jié)果
5、自己運(yùn)行打包wordcount代碼
在/opt/hadoop/hadoop-2.9.0/etc/hadoop/hadoop-env.sh中添加如下配置:
export CLASSPATH="/opt/hadoop/hadoop-2.9.0/share/hadoop/common/hadoop-common-2.9.0.jar:/opt/hadoop/hadoop-2.9.0/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.9.0.jar:/opt/hadoop/hadoop-2.9.0/share/hadoop/common/lib/commons-cli-1.2.jar:$CLASSPATH"
新建文件夾playground,在playground目錄下新建文件夾src和class
解壓src源碼,WordCount.java在目錄/opt/hadoop/src/hadoop-src-2.9.0/hadoop-mapreduce-project/hadoop-mapreduce-examples/src/main/java/org/apache/hadoop/examples目錄下,將WordCount.java拷貝到playground的src目錄下。
在playground目錄下執(zhí)行下面命令:
javac -d class/ src/WordCount.java
生成class文件
6、將生成的class文件打包成jar包
jar -cvf WordCount.jar ./WordCount*.class
7、運(yùn)行生成的jar包
hadoop jar WordCount.jar?org.apache.hadoop.examples.WordCount /opt/hadoop/hadoop-2.9.0/input /opt/hadoop/hadoop-2.9.0/output
運(yùn)行上述命令即可運(yùn)行wordcount程序,以后我們就可以修改wordcount.java的代碼,然后運(yùn)行測(cè)試了。