0x00 教程內(nèi)容
- 環(huán)境及資源準(zhǔn)備
- 生成容器
- 檢驗(yàn)Hadoop
0x01 環(huán)境及資源準(zhǔn)備
1. 安裝Docker
請(qǐng)參考:D001.5 Docker入門(超級(jí)詳細(xì)基礎(chǔ)篇)的“0x01 Docker的安裝”小節(jié)
2. 準(zhǔn)備資源
根據(jù)文末總結(jié)的文件目錄結(jié)構(gòu),拷貝文章的資源,資源請(qǐng)參考:D001.6 Docker搭建Hadoop集群
0x02 生成容器
1. 生成樣本鏡像
a. 切換成root用戶(密碼:shaonaiyi)
su root
b. 拷貝資源文件hadoop進(jìn)到docker_bigdata目錄(此處使用Xftp軟件)
mkdir docker_bigdata
c. 生成樣本鏡像:shaonaiyi/hadoop
cd docker_bigdata/hadoopdocker build -t shaonaiyi/hadoop .此過(guò)程時(shí)間根據(jù)自己網(wǎng)絡(luò)情況與自己裝docker時(shí)的配置有關(guān)(10分鐘左右)

出現(xiàn)下圖表示成功:

2. 創(chuàng)建bigdata網(wǎng)絡(luò)
a. 修改腳本權(quán)限
chmod 700 build_network.sh
b. 創(chuàng)建網(wǎng)絡(luò)
./build_network.sh
修改及創(chuàng)建后如圖:
3. 啟動(dòng)容器
a. 修改腳本權(quán)限
cd config
chmod 700 start_containers.sh
b. 啟動(dòng)容器(映射的端口多的為master)
./start_containers.sh
0x03 檢驗(yàn)Hadoop
1. 啟動(dòng)Hadoop
a. 查看啟動(dòng)的容器
docker ps
b. 進(jìn)入容器hadoop-maste(注意修改成自己的容器ID)
docker attach c49b5823737a
c. 修改腳本執(zhí)行權(quán)限
ll
chmod 700 start-hadoop.sh
d. 啟動(dòng)Hadoop集群
./start-hadoop.sh
執(zhí)行成功截圖為:
2. Web UI界面查看
a. 切換終端,查看端口映射(可看到51070端口映射到docker的50070端口)
docker port hadoop-maste
b. 在我們的windows系統(tǒng)執(zhí)行(ip:51070)
2. 停止并刪除容器指令
a. 修改腳本權(quán)限
cd /home/shaonaiyi/docker_bigdata/hadoop/config/
chmod 700 stop_containers.sh
b. 刪除容器
./stop_containers.sh
c. 查看執(zhí)行的容器(沒(méi)有則表示刪除成功)
docker ps

0xFF 總結(jié)
- 如需要獲取資源,除了參考上一篇博文,還可以加微信:shaonaiyi888獲取
- 本文為搭建Hadoop集群的實(shí)踐篇,注意分清Windows、Centos、Docker的層次關(guān)系
- 下一篇文章將會(huì)進(jìn)行Spark集群的搭建,D001.8 Docker搭建Spark集群(實(shí)踐篇)
作者簡(jiǎn)介:邵奈一
大學(xué)大數(shù)據(jù)講師、大學(xué)市場(chǎng)洞察者、專欄編輯
公眾號(hào)、微博、CSDN:邵奈一
本系列課均為本人:邵奈一 原創(chuàng),如轉(zhuǎn)載請(qǐng)標(biāo)明出處