數(shù)據(jù)之始--初窺Hadoop

天下熙熙,皆為利來,天下攘攘,皆為利往....趁著大數(shù)據(jù)的火熱,本人也開始了數(shù)據(jù)之路,以此記錄學(xué)習(xí)的歷程,希望能大勢(shì)面前分一碗小湯......

Hadoop的簡介在百度一搜一大堆,再貼在這里未免有湊字?jǐn)?shù)之嫌,所以就不展開說明,因此就從Hadoop的單機(jī)模式安裝開始:
注:此文是本人在多方嘗試后得出的結(jié)果,和網(wǎng)上的方法略有出入,因此,若讀者們?cè)诎惭b時(shí)出現(xiàn)錯(cuò)誤,請(qǐng)多加思考,畢竟不是每篇文章都適合每個(gè)人!!

所用工具 Centos7、jdk8、winscp、putty

首先 當(dāng)然是安裝jdk和配置環(huán)境變量,雖然網(wǎng)上不少文章提及,但是本人還是貼出來,以作加深印象之用

在官網(wǎng)下載Linux版本的jdk8


官網(wǎng)下載

在/usr/目錄下創(chuàng)建java目錄

[root@localhost ~]# mkdir/usr/java
[root@localhost ~]# cd /usr/java

用winscp把壓縮包拉到j(luò)ava文件夾里,解壓
[root@localhost ~]# tar -zxvf jdk-8u161-linux-x64.tar.gz

配置jdk環(huán)境變量
[root@localhost ~]# vim /etc/profile

文件中添加以上代碼

讓修改生效
[root@localhost ~]# source /etc/profile

驗(yàn)證jdk是否已安裝
[root@localhost java]# java -version

上圖即為成功

添加hadoop用戶
進(jìn)入管理員用戶
[root@localhost java]# su

添加Hadoop用戶
[root@localhost java]# useradd hadoop

設(shè)置密碼
[root@localhost java]# passwd hadoop

切換hadoop用戶
[root@localhost java]# su hadoop

配置ssh免密登錄

[hadoop@localhost java]# ssh-keygen -t rsa    (一路回車)
[hadoop@localhost java]# cat .ssh/id_rsa.pub >> .ssh/authorized_keys
[hadoop@localhost java]# chmod 600 .ssh/authorized_keys 

下載hadoop
[hadoop@localhost java]# wget http://labfile.oss.aliyuncs.com/hadoop-2.6.0.tar.gz

(此時(shí),hadoop壓縮包放在/home/hadoop/ 文件夾下)
解壓壓縮包
[hadoop@localhost java]# tar zxvf hadoop-2.6.0.tar.gz

在將解壓后的文件放到新的文件夾hdfs下(可不創(chuàng)建,只是為了方便)

[hadoop@localhost java]# mv hadoop-2.6.0 /home/hadoop/hdfs 
(若原來有同名文件夾,先刪除 [hadoop@localhost java]# rm -r /home/hadoop/hdfs)
[hadoop@localhost java]# chmod 777 /home/hadoop/hdfs

配置 hadoop
進(jìn)入管理員用戶
[hadoop@localhost java]# su
同樣修改/etc/profile/ 文件
[root@localhost java]# vim /etc/profile/
最終結(jié)果是

最終結(jié)果

測試hadoop 配置

[root@localhost java]# cd /home/hadoop/hdfs
[root@localhost hdfs]# mkdir ./input  
[root@localhost hdfs]# cp ./etc/protocols ./input   # 將此文件作為輸入文件  
[root@localhost hdfs]# ./bin/hadoop jar ./share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.0-sources.jar wordcount input output  
[root@localhost hdfs]# cat ./output/*          # 查看運(yùn)行結(jié)果

成功運(yùn)行,則說明配置成功。

至此,單機(jī)安裝成功

本人初學(xué),若此文有不對(duì)的地方,請(qǐng)不吝指正
(轉(zhuǎn)載請(qǐng)指明出處)

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容