天下熙熙,皆為利來,天下攘攘,皆為利往....趁著大數(shù)據(jù)的火熱,本人也開始了數(shù)據(jù)之路,以此記錄學(xué)習(xí)的歷程,希望能大勢(shì)面前分一碗小湯......
Hadoop的簡介在百度一搜一大堆,再貼在這里未免有湊字?jǐn)?shù)之嫌,所以就不展開說明,因此就從Hadoop的單機(jī)模式安裝開始:
注:此文是本人在多方嘗試后得出的結(jié)果,和網(wǎng)上的方法略有出入,因此,若讀者們?cè)诎惭b時(shí)出現(xiàn)錯(cuò)誤,請(qǐng)多加思考,畢竟不是每篇文章都適合每個(gè)人!!
所用工具 Centos7、jdk8、winscp、putty
首先 當(dāng)然是安裝jdk和配置環(huán)境變量,雖然網(wǎng)上不少文章提及,但是本人還是貼出來,以作加深印象之用
在官網(wǎng)下載Linux版本的jdk8

在/usr/目錄下創(chuàng)建java目錄
[root@localhost ~]# mkdir/usr/java
[root@localhost ~]# cd /usr/java
用winscp把壓縮包拉到j(luò)ava文件夾里,解壓
[root@localhost ~]# tar -zxvf jdk-8u161-linux-x64.tar.gz
配置jdk環(huán)境變量
[root@localhost ~]# vim /etc/profile

讓修改生效
[root@localhost ~]# source /etc/profile
驗(yàn)證jdk是否已安裝
[root@localhost java]# java -version

添加hadoop用戶
進(jìn)入管理員用戶
[root@localhost java]# su
添加Hadoop用戶
[root@localhost java]# useradd hadoop
設(shè)置密碼
[root@localhost java]# passwd hadoop
切換hadoop用戶
[root@localhost java]# su hadoop
配置ssh免密登錄
[hadoop@localhost java]# ssh-keygen -t rsa (一路回車)
[hadoop@localhost java]# cat .ssh/id_rsa.pub >> .ssh/authorized_keys
[hadoop@localhost java]# chmod 600 .ssh/authorized_keys
下載hadoop
[hadoop@localhost java]# wget http://labfile.oss.aliyuncs.com/hadoop-2.6.0.tar.gz
(此時(shí),hadoop壓縮包放在/home/hadoop/ 文件夾下)
解壓壓縮包
[hadoop@localhost java]# tar zxvf hadoop-2.6.0.tar.gz
在將解壓后的文件放到新的文件夾hdfs下(可不創(chuàng)建,只是為了方便)
[hadoop@localhost java]# mv hadoop-2.6.0 /home/hadoop/hdfs
(若原來有同名文件夾,先刪除 [hadoop@localhost java]# rm -r /home/hadoop/hdfs)
[hadoop@localhost java]# chmod 777 /home/hadoop/hdfs
配置 hadoop
進(jìn)入管理員用戶
[hadoop@localhost java]# su
同樣修改/etc/profile/ 文件
[root@localhost java]# vim /etc/profile/
最終結(jié)果是

測試hadoop 配置
[root@localhost java]# cd /home/hadoop/hdfs
[root@localhost hdfs]# mkdir ./input
[root@localhost hdfs]# cp ./etc/protocols ./input # 將此文件作為輸入文件
[root@localhost hdfs]# ./bin/hadoop jar ./share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.0-sources.jar wordcount input output
[root@localhost hdfs]# cat ./output/* # 查看運(yùn)行結(jié)果
成功運(yùn)行,則說明配置成功。
至此,單機(jī)安裝成功
本人初學(xué),若此文有不對(duì)的地方,請(qǐng)不吝指正
(轉(zhuǎn)載請(qǐng)指明出處)