D001.7 Docker搭建Hadoop集群(實(shí)踐篇)

0x00 教程內(nèi)容

  1. 環(huán)境及資源準(zhǔn)備
  2. 生成容器
  3. 檢驗(yàn)Hadoop

0x01 環(huán)境及資源準(zhǔn)備

1. 安裝Docker

請(qǐng)參考:D001.5 Docker入門(超級(jí)詳細(xì)基礎(chǔ)篇)的“0x01 Docker的安裝”小節(jié)

2. 準(zhǔn)備資源

根據(jù)文末總結(jié)的文件目錄結(jié)構(gòu),拷貝文章的資源,資源請(qǐng)參考:D001.6 Docker搭建Hadoop集群

0x02 生成容器

1. 生成樣本鏡像

a. 切換成root用戶(密碼:shaonaiyi)
su root

在這里插入圖片描述

b. 拷貝資源文件hadoop進(jìn)到docker_bigdata目錄(此處使用Xftp軟件)
mkdir docker_bigdata
在這里插入圖片描述

c. 生成樣本鏡像:shaonaiyi/hadoop
cd docker_bigdata/hadoop
docker build -t shaonaiyi/hadoop .
此過(guò)程時(shí)間根據(jù)自己網(wǎng)絡(luò)情況與自己裝docker時(shí)的配置有關(guān)(10分鐘左右)
在這里插入圖片描述

出現(xiàn)下圖表示成功:
在這里插入圖片描述

2. 創(chuàng)建bigdata網(wǎng)絡(luò)

a. 修改腳本權(quán)限
chmod 700 build_network.sh
b. 創(chuàng)建網(wǎng)絡(luò)
./build_network.sh
修改及創(chuàng)建后如圖:

在這里插入圖片描述

3. 啟動(dòng)容器

a. 修改腳本權(quán)限
cd config
chmod 700 start_containers.sh
b. 啟動(dòng)容器(映射的端口多的為master)
./start_containers.sh

在這里插入圖片描述

0x03 檢驗(yàn)Hadoop

1. 啟動(dòng)Hadoop

a. 查看啟動(dòng)的容器
docker ps
b. 進(jìn)入容器hadoop-maste(注意修改成自己的容器ID)
docker attach c49b5823737a
c. 修改腳本執(zhí)行權(quán)限
ll
chmod 700 start-hadoop.sh
d. 啟動(dòng)Hadoop集群
./start-hadoop.sh
執(zhí)行成功截圖為:

在這里插入圖片描述

2. Web UI界面查看

a. 切換終端,查看端口映射(可看到51070端口映射到docker的50070端口)
docker port hadoop-maste

在這里插入圖片描述

b. 在我們的windows系統(tǒng)執(zhí)行(ip:51070)
在這里插入圖片描述

2. 停止并刪除容器指令

a. 修改腳本權(quán)限
cd /home/shaonaiyi/docker_bigdata/hadoop/config/
chmod 700 stop_containers.sh
b. 刪除容器
./stop_containers.sh
c. 查看執(zhí)行的容器(沒(méi)有則表示刪除成功)
docker ps

在這里插入圖片描述

0xFF 總結(jié)

  1. 如需要獲取資源,除了參考上一篇博文,還可以加微信:shaonaiyi888獲取
  2. 本文為搭建Hadoop集群的實(shí)踐篇,注意分清Windows、Centos、Docker的層次關(guān)系
  3. 下一篇文章將會(huì)進(jìn)行Spark集群的搭建,D001.8 Docker搭建Spark集群(實(shí)踐篇)

作者簡(jiǎn)介邵奈一

大學(xué)大數(shù)據(jù)講師、大學(xué)市場(chǎng)洞察者、專欄編輯

公眾號(hào)、微博、CSDN邵奈一

本系列課均為本人:邵奈一 原創(chuàng),如轉(zhuǎn)載請(qǐng)標(biāo)明出處

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

友情鏈接更多精彩內(nèi)容