學習hadoop搭建開發(fā)環(huán)境篇

1，安裝jdk1.8

由于Hadoop是java寫的，依賴java環(huán)境，搭建hadoop開發(fā)環(huán)境之前，需要安裝jdk。

版本選擇：hadoop2.9.0， jdk：1.8

網(wǎng)上有很多centos系統(tǒng)安裝jdk的方法，這里我選擇最簡單的yum安裝

安裝之前先檢查一下系統(tǒng)有沒有自帶open-jdk

命令：

rpm -qa |grep java

rpm -qa |grep jdk

rpm -qa |grep gcj

如果沒有輸出信息表示沒有安裝。

如果安裝可以使用rpm?-qa?|?grep?java?|?xargs?rpm?-e?--nodeps批量卸載所有帶有Java的文件

安裝1.8.0的所有文件

yum install java-1.8.0-openjdk* -y

檢查是否安裝成功

java -version

輸出版本信息表示安裝成功

2，下載hadoop

到官網(wǎng)hadoop.apache.org下載2.9.0版本的hadoop-2.9.0.tar.gz，然后移動到/opt目錄解壓

tar -xzf? hadoop-2.9.0.tar.gz

進入到hadoop目錄，更改配置文件

vi??? etc/hadoop/hadoop-env.sh

在最下面加入JAVA_HOME配置信息

export JAVA_HOME=/usr/

隨后可以執(zhí)行命令

bin/hadoop

查看有哪些命令參數(shù)

3，配置單機版?zhèn)畏植际絽?shù)

vi??? etc/hadoop/core-site.xml

vi? etc/hadoop/hdfs-site.xml

配置ssh免密碼登陸

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 0600 ~/.ssh/authorized_keys

格式化namenode

bin/hdfs namenode -format

啟動

sbin/start-dfs.sh

啟動的過程中碰到一個報錯：WARN util.NativeCodeLoader: Unable to load native-Hadooplibrary for your platform... using builtin-Javaclasses where applicable

我是在log配置文件中將其報錯隱藏->在etc/hadoop/log4j.propertie最底部加

瀏覽器訪問

http://localhost:50070/