Ubuntu 18.04 安裝 Hadoop系統(tǒng)環(huán)境

安裝ubuntu-server系統(tǒng)

安裝系統(tǒng)

選擇系統(tǒng)語言-English

1.png

鍵盤設(shè)置-Chinese

2.png

選擇操作Install ubuntu

3.png

設(shè)置網(wǎng)絡(luò)(這里選擇默認)

4.png

選擇Done

5.png
6.png

文件系統(tǒng)設(shè)置-選擇使用整個磁盤

7.png

選擇磁盤

8.png

選擇Done

9.png

選擇繼續(xù)Continue

10.png

配置文件設(shè)置

11.png
12.png

正在安裝

13.png

Reboot Now

14.png
15.png
16.png

安裝ssh環(huán)境

配置root用戶密碼

修改root用戶的初始密碼

sudo passwd
17.png

退出當前用戶,使用root登陸系統(tǒng)。

關(guān)閉防火墻

關(guān)閉防火墻

systemctl stop firewalld.service

開機不啟動防火墻

systemctl disable firewalld.service

查看防火墻狀態(tài)

ufw status

inactive狀態(tài)是防火墻關(guān)閉狀態(tài),active是開啟狀態(tài)。

配置root用戶遠程連接

(注:裝了ssh-server,如果未安裝,請先安裝)

apt-get install openssh-server

修改sshd_config

vim /etc/ssh/sshd_config

找到

# Authentication:
LoginGraceTime 120
PermitRootLogin without passwd
StrictModes yes

改成

# Authentication:
LoginGraceTime 120
PermitRootLogin yes
StrictModes yes

然后重啟SSH服務(wù)即可。

重啟過后通過shell連接:

18.png

設(shè)置ssh localhost 免密碼登錄

ssh localhost
exit

輸入密碼登錄本機和退出本機

19.png

在進行了初次登陸后,會在當前家目錄用戶下有一個.ssh文件夾,進入該文件夾下:

cd ~/.ssh/

使用rsa算法生成秘鑰和公鑰對:

ssh-keygen -t rsa
20.png

運行后一路回車就可以了,其中第一個是要輸入秘鑰和公鑰對的保存位置,默認是在:

.ssh/id_rsa

然后把公鑰加入到授權(quán)中:

cat ./id_rsa.pub >> ./authorized_keys

再次ssh localhost的時候就可以無密碼登陸了。

安裝jdk

解壓jdk

創(chuàng)建一個java的文件夾,用戶存放Java文件

mkdir /usr/local/java

通過ftp工具把下載好的jdk安裝包上傳到j(luò)ava文件夾下。

21.png

解壓:

cd /usr/local/java
tar -vxzf jdk-8u181-linux-x64.tar.gz

解壓成功后會在當前目錄下看到:

jdk1.8.0_181文件夾

然后刪除安裝包:

rm jdk-8u181-linux-x64.tar.gz

配置jdk

設(shè)置環(huán)境變量:

vim /etc/profile

在末尾添加:

JAVA_HOME=/usr/local/java/jdk1.8.0_181
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
export JAVA_HOME
export PATH

重新加載環(huán)境變量的配置文件:

source /etc/profile

檢測:

java -version
22.png

安裝Hadoop

解壓hadoop

創(chuàng)建一個hadoop的文件夾,用戶存放hadoop文件

mkdir /usr/local/hadoop

通過ftp工具把下載好的hadoop安裝包上傳到hadoop文件夾下。

解壓:

cd /usr/local/hadoop
tar -vxzf hadoop-2.7.7.tar.gz

解壓完成:

23.png

移動hadoop-2.7.7文件下的文件到當前的目錄

mv ./hadoop-2.7.7/* ./

刪除hadoop-2.7.7文件夾

rm -rf ./hadoop-2.7.7

查看文件夾的所有者以及用戶組,最重要的是擁有者是否是當前用戶

24.png

如果擁有者不是當前用戶,則修改為當前用戶:

sudo chown -R 當前用戶名 ./hadoop

配置hadoop

設(shè)置環(huán)境變量:

vim /etc/profile

在末尾添加:

JAVA_HOME=/usr/local/java/jdk1.8.0_181
HADOOP_HOME=/usr/local/hadoop
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME
export PATH
export HADOOP_HOME

重新加載環(huán)境變量的配置文件:

source /etc/profile

檢測:

hadoop version
25.png

修改配置文件

在core-site.xml 中添加

<!-- 指定HDFS老大(namenode)的通信地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://0.0.0.0:9000</value>
</property>
<!-- 指定hadoop運行時產(chǎn)生文件的存儲路徑 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
 </property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
</property>
26.png

在 hdfs-site.xml 中添加

<property>
    <name>dfs.data.dir</name>
    <value>/usr/local/hadoop/hdfs/data</value>
    <description>datanode上數(shù)據(jù)塊的物理存儲位置</description>
</property>

<!-- 設(shè)置hdfs副本數(shù)量 -->
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>
27.png

在 hadoop-env.sh 中更改 JAVA_HOME

注釋掉:

export JAVA_HOME=${JAVA_HOME}

添加:

export JAVA_HOME=/usr/local/java/jdk1.8.0_181

測試,啟動

格式化namenode:

hadoop namenode -format
28.png

啟動hdfs

start-all.sh
29.png

查看相應(yīng)的進程:

jps
30.png

確定5個進程全部啟動。

訪問測試:

10.168.1.129:50070
31.png

設(shè)置開機啟動

進入/etc/init.d/目錄下

cd /etc/init.d/

創(chuàng)建文件hadoop

vim hadoop

寫入開機啟動相關(guān)的腳本內(nèi)容

#!/bin/bash
#
# chkconfig: 2345 88 33
# description: Starts and stops Hadoop server

### BEGIN INIT INFO
# Required-Start:
# Required-Stop:
# Default-Start:        2 3 4 5
# Default-Stop:         0 1 6
# Short-Description:    Starts and stops Hadoop server
# Description:          Starts and stops Hadoop server
### END INIT INFO

start(){
    #
    # Start Hadoop
    #
    /usr/local/hadoop/sbin/start-all.sh
}
stop(){
    #
    # Stop Hadoop
    #
    /usr/local/hadoop/sbin/stop-all.sh
}

case "$1" in
    start)
        start
        exit $?
    ;;

    stop)
        stop
        exit $?
    ;;

    restart)
        #
        # Restart Hadoop
        #
        stop
        sleep 5
        start
        exit $?
    ;;

*)
echo "Usage hadoop start/stop/restart"
exit 1;;
esac

設(shè)置文件權(quán)限

chmod +x hadoop

添加到服務(wù)中

update-rc.d -f hadoop defaults

測試

service hadoop start

查看服務(wù)是否啟動成功

jps
7.png
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 文:瑜之初心 上篇文章大家都看了并評估了自己的胸椎活動度了嗎?接下來就直接上干貨,8個體式,講解加動圖,堅持練下來...
    瑜之初心閱讀 2,430評論 1 8
  • 不看朋友圈,估計今天也是這個主題。我是打卡了才知道,今天是高考日。 遠現(xiàn)在初一,五年后的今天,我還能如此淡定么?2...
    心理咨詢師萍閱讀 478評論 8 7
  • 關(guān)于昨天,我想說的是 一地的秋風掩埋了落葉 螞蟻在枯萎的路上 尋找零碎的月光 我在一片蛙鳴中 搜索青春的迷?!?...
    萬里西風烈閱讀 907評論 11 11

友情鏈接更多精彩內(nèi)容