一、切換到root用戶
su - root
二、關(guān)閉selinux：vim /etc/selinux/config
SELINUX=disabled
三、切換到hadoop用戶，配置免密登陸。
cd 進(jìn)入hadoop用戶的家目錄
ssh-keygen -t rsa [輸入完后連按4個(gè)回車(chē)]
ssh node100 [yes，輸入hadoop用戶的密碼]
ssh-copy-id node100 [輸入hadoop用戶的密碼]
四、解壓安裝jdk和hadoop
可新建一個(gè)module文件夾，將jdk與hadoop解壓到該文件夾下。
五、編輯環(huán)境變量：vim ~/.bash_profile
在文件末尾添加
JAVA_HOME=jdk所在文件夾名稱
HADOOP_HOME=hadoop所在文件夾名稱
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME
export HADOOP_HOME
export PATH
六、重新加載該文件，使環(huán)境變量生效
source ~/.bash_profile
java -version
hadoop version
七、修改hadoop的配置文件:cd /opt/module/hadoop-2.7.3/etc/hadoop
1.vim ./hadoop-env.sh
export JAVA_HOME=jdk所在文件夾名稱
2.vim ./mapred-env.sh
export JAVA_HOME=jdk所在文件夾名稱
3.vim ./yarn-env.sh
export JAVA_HOME=jdk所在文件夾名稱
4.vim ./core-site.xml
? ? ? ? <!-- 指定HDFS中NameNode的地址 -->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>fs.defaultFS</name>
? ? ? ? ? ? ? ? <value>hdfs://node100:9000</value>
? ? ? ? </property>
? ? ? ? <!-- 指定Hadoop運(yùn)行時(shí)產(chǎn)生文件的存儲(chǔ)目錄 -->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>hadoop.tmp.dir</name>
? ? ? ? ? ? ? ? <value>/opt/module/hadoopdata</value>
? ? ? ? </property>
5.vim ./hdfs-site.xml
? ? ? ? <!-- 指定HDFS副本的數(shù)量 -->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>dfs.replication</name>
? ? ? ? ? ? ? ? <value>1</value>
? ? ? ? </property>
? ? ? ? <!-- 指定Hadoop輔助名稱節(jié)點(diǎn)主機(jī)配置 -->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>dfs.namenode.secondary.http-address</name>
? ? ? ? ? ? ? ? <value>node100:50090</value>
? ? ? ? </property>
6.cp ./mapred-site.xml.template ./mapred-site.xml
vim ./mapred-site.xml
? ? <!-- 指定MR運(yùn)行在yarn上 -->
? ? <property>
? ? ? ? <name>mapreduce.framework.name</name>
? ? ? ? <value>yarn</value>
? ? </property>
7.vim ./yarn-site.xml
? ? ? ? <!-- Reducer獲取數(shù)據(jù)的方式 -->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>yarn.nodemanager.aux-services</name>
? ? ? ? ? ? ? ? <value>mapreduce_shuffle</value>
? ? ? ? </property>
? ? ? ? <!-- 指定YARN的ResourceManager的地址 -->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>yarn.resourcemanager.hostname</name>
? ? ? ? ? ? ? ? <value>node100</value>
? ? ? ? </property>
? ? ? ? <!-- 關(guān)閉虛擬內(nèi)存檢查 -->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>yarn.nodemanager.vmem-check-enabled</name>
? ? ? ? ? ? ? ? <value>false</value>
? ? ? ? </property>
八、格式化hadoop集群
hdfs namenode -format
九、啟動(dòng)/關(guān)閉hadoop集群
啟動(dòng)hadoop集群：start-all.sh
關(guān)閉hadoop集群：stop-all.sh
十一、驗(yàn)證集群
192.168.5.100:50070
192.168.5.100:8088
十二、Hadoop的wordcount
1.vim word.txt
hello python
hello java
hello scala
hello world
welcome to beijing
2.wordcount測(cè)試
hadoop fs -mkdir /test
hadoop fs -put ./word.txt /test
hadoop jar /opt/module/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /test/word.txt /output
hadoop fs -cat /output/part-r-00000
