1 阿里云服務(wù)器選配
首先附上官網(wǎng)鏈接：阿里云官網(wǎng)
點擊上邊鏈接，注冊后登陸官網(wǎng)，選擇產(chǎn)品選項，然后選擇云服務(wù)器ECS，就進入云服務(wù)器ECS購買界面。
進入云服務(wù)ECS購買界面，點擊立即購買，在界面中分為一鍵購買和自定義購買，如何對配置沒有概念，感覺太麻煩，推薦使用一鍵購買。本文以一鍵購買為例，主要是從以下幾個方面進行選購：
- 地域及可用性
- 實例規(guī)格
- 鏡像
- 網(wǎng)絡(luò)類型（公網(wǎng)帶寬）
- 購買數(shù)量（購買時長）
地域及可用性：選擇離自己比較近的地域，如我在上海，選擇華東2（上海），搭建hadoop集群的時候，購買的多臺服務(wù)器一定要選擇在同一個區(qū)域，避免后續(xù)配置麻煩。
實例規(guī)格： 選擇CPU，及CPU運行內(nèi)存，搭建hadoop集群的時候，master主機的運行內(nèi)存必須是2G以上，其他節(jié)點可以為1G。我選購的3臺云服務(wù)器的配置為：master：1 vCPU 2GiB，slave1：1 vCPU 1GiB，slave2：1 vCPU 1GiB。
鏡像：選擇服務(wù)器的系統(tǒng)和系統(tǒng)版本，系統(tǒng)可以選擇CentOS和Ubuntu，版本無要求，我選擇是 CentOS 8.0 64位。
網(wǎng)絡(luò)類型（公網(wǎng)帶寬）：選擇帶寬，1-200Mbps都可以選擇，我選擇是1Mbps。
-購買數(shù)量（購買時長）：選擇購買數(shù)量和購買時長之后，付完款，就可以登陸了。配置越高費用越高。我選擇的最低配置一個月：60元。
購買完成后，進入實例。選擇遠程登陸，輸入自己的密碼，即可進入系統(tǒng)。進入為命令行模式（黑窗口），不是圖形化界面。登陸云服務(wù)器的方法，可以通過官網(wǎng)登陸，也可以通過SecureCRT或者Xshell等軟件進行登陸，輸入的IP地址（外網(wǎng)IP地址）和密碼即可。
官網(wǎng)上的一個活動，有想法的可以參與一下。
阿里云大禮包領(lǐng)取
2 使用WEB界面訪問hadoop集群
使用WEB界面訪問HDFS和Yarn，該端口分別為50070和18088，這兩個端口在這個文件中hdfs-site.xml、yarn-site.xml設(shè)置的。忘記的可以參考上一篇文章：阿里云搭建hadoop集群
使用WEB界面訪問HDFS和Yarn的兩個條件：
- 關(guān)閉防火墻
- 云服務(wù)器安全組配置端口
關(guān)閉防火墻命令：
#查看防火墻開啟狀態(tài)
systemctl status firewalld
#關(guān)閉防火墻
systemctl stop firewalld
#禁止開機啟動防火墻
systemctl disable firewalld
#開啟防火墻
systemctl start firewalld
#設(shè)置開機啟動防火墻
systemctl enable firewalld
#重啟防火墻
systemctl restart firewalld
123456789101112
云服務(wù)器安全組配置端口：
進入控制臺，選擇自己已經(jīng)開通的云服務(wù)器ECS產(chǎn)品，選擇網(wǎng)絡(luò)與安全，點擊安全組，選擇配置規(guī)則，然后選擇手動添加，添加如上兩個端口。
WEB界面訪問HDFS和Yarn，直接在瀏覽器中輸入外網(wǎng)IP地址：50070訪問HDFS，外網(wǎng)IP地址：18088訪問Yarn。
3 hadoop集群驗證功能
HDFS功能測試：
上傳本地文件到HDFS根目錄，命令如下：
hdfs dfs -put spark-3.0.1-bin-hadoop3.2.tgz hdfs://master:9000 /
#也可去掉hdfs://master:9000，core-site.xml中設(shè)置的hdfs名字。
hdfs dfs -put spark-3.0.1-bin-hadoop3.2.tgz /
本地文件上傳到HDFS成功的話，會在web端Utilities下Browse the file system 中看到上傳的文件，以及文件備份數(shù)，文件塊大小，文件塊的存放位置。
Yarn功能測試
運行一個jar任務(wù)，計算pi（圓周率）大小，命令如下：
hadoop jar /usr/local/hadoop-3.2.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar pi 10 10
找到hadoop文件下的mapreduce例子運行，會在web端看到j(luò)ob歷史。
不求點贊 只求有用
本文由微信公眾號《大數(shù)據(jù)分析師知識分享》發(fā)布
