1、Hadoop的優(yōu)勢
????1)高可靠性
????????因為Hadoop假設(shè)計算元素和存儲會出現(xiàn)故障，因為它維護多個工作數(shù)據(jù)副本，在出現(xiàn)故障時可以對失敗的節(jié)點重新分布處理。
????2)高擴展性
????????在集群間分配任務數(shù)據(jù)，可方便的擴展數(shù)以千計的節(jié)點。
????3)高效性
????????在MapReduce的思想下，Hadoop是并行工作的，以加快任務處理速度。
????4)高容錯性
????????自動保存多份副本數(shù)據(jù)，并且能夠自動將失敗的任務重新分配。
2、Hadoop組成
HDFS :? 一個高可靠,高吞吐的分布式文件系統(tǒng)
MapReduce:? 一個分布式的離線并行計算框架。
YARN: 作業(yè)調(diào)度與集群資源管理的框架
Common:? 支持其他模塊的工具模塊(Configuration? RPC? 序列化機制? 日志操作).
2.1、HDFS架構(gòu)概述
????NameNode:存儲元數(shù)據(jù)
????DataNode:存儲數(shù)據(jù)的節(jié)點，會對數(shù)據(jù)塊進行校驗
????SecondaryNameNode: 監(jiān)控NameNode 的元數(shù)據(jù)，每隔一定的時間進行元數(shù)據(jù)的合并/
2.2、YARN架構(gòu)概述
????ResourceManager(rm)
????????處理客戶端請求、啟動/監(jiān)控ApplicationMaster、監(jiān)控NodeManager、資源分配與調(diào)度
????NodeManager(nm)
????????單個節(jié)點上的資源管理、處理來自ResourceManager的命令、處理來自ApplicationMaster的命令
????ApplicationMaster
????????數(shù)據(jù)切分、為應用程序申請資源，并分配給內(nèi)部任務、任務監(jiān)控與容錯
????Container
????????對任務運行環(huán)境的抽象，封裝了CPU、內(nèi)存等多維資源以及環(huán)境變量、啟動命令等任務運行相關(guān)的信息
2.3、MapReduce架構(gòu)概述
????MapReduce將計算過程分為兩個階段：Map和Reduce
????Map階段并行處理輸入數(shù)據(jù)
????Reduce階段對Map結(jié)果進行匯總
3. Hadoop運行環(huán)境搭建
? ? 3.1、關(guān)閉防火墻
????????關(guān)閉防火墻: systemctl stop firewalld.service
????????禁用防火墻: systemctl disable firewalld.service
????????查看防火墻: systemctl status firewalld.service
????????關(guān)閉Selinux: vi /etc/selinux/config
????????????將SELINUX=enforcing改為SELINUX=disabled
? ?3.2、修改IP
????Tab鍵補全
????????vi /etc/sysconfig/network-scripts/ifcfg-ens33
????????BOOTPROTO=static
????????ONBOOT=yes
????????IPADDR=192.168.X.51
????????GATEWAY=192.168.X.2
????????DNS1=8.8.8.8
????????DNS2=8.8.4.4
????????NETMASK=255.255.255.0
????vi /etc/resolv.conf
????????nameserver8.8.8.8
????????nameserver8.8.4.4
????????重啟網(wǎng)卡 : service network restart
????????修改主機名
????????????hostnamectl set-hostname 主機名
? ? ? 3.3、IP和主機映射
????????vi /etc/hosts
????????192.168.1.111 bigdata111
????????192.168.1.112 bigdata112
????????192.168.1.113 bigdata113
????windows的映射:C:\Windows\System32\drivers\etc 路徑下找到hosts并添加
????????192.168.1.111 bigdata111
????????192.168.1.112 bigdata112
????????192.168.1.113 bigdata113
????連接X Shell
????????輸入IP? 用戶名? 和密碼即可連接
? ? 3.4、安裝JDK
????????卸載現(xiàn)有JDK
? ? ? ? ? 查詢是否安裝Java相關(guān)軟件
????????rpm-qa|grepjava
????????如果安裝的版本低于1.7,卸載該JDK:
????????rpm -e 軟件包名
在/opt目錄下創(chuàng)建兩個子文件
mkdir/opt/mod /opt/soft
解壓JDK到/opt/module目錄下
tar-zxvfjdk-8u144-linux-x64.tar.gz-C/opt/module/
配置JDK環(huán)境變量
vi /etc/profile
exportJAVA_HOME=/opt/mod/jdk1.8.0_144
exportPATH=$PATH:$JAVA_HOME/bin
source /etc/profile? 刷新環(huán)境變量配置
測試JDK是否安裝成功
java -version
javaversion"1.8.0_144"
Java(TM)SERuntimeEnvironment(build1.8.0_144-b01)
JavaHotSpot(TM)64-BitServerVM(build25.144-b01,mixedmode)
安裝成功
