Fayson的github： https://github.com/fayson/cdhproject
推薦關(guān)注微信公眾號：“Hadoop實操”，ID：gh_c4c535955d0f，或者掃描文末二維碼。
1.組網(wǎng)配置
建議的Cloudera組網(wǎng)配置如下圖，主要包含數(shù)據(jù)網(wǎng)絡(luò)和管理網(wǎng)絡(luò)。
2.數(shù)據(jù)網(wǎng)絡(luò)
數(shù)據(jù)網(wǎng)絡(luò)是用于數(shù)據(jù)訪問的節(jié)點之間的私有集群數(shù)據(jù)互連，比如在集群內(nèi)的節(jié)點之間移動數(shù)據(jù)，或者將數(shù)據(jù)導(dǎo)入到CDH集群。CDH集群通常會連接到企業(yè)內(nèi)部的數(shù)據(jù)網(wǎng)絡(luò)。
需要2個TOR交換機(jī)：一個是用作帶外管理，一個是用于CDH的數(shù)據(jù)網(wǎng)絡(luò)。節(jié)點的帶外管理至少需要一個1GbE交換機(jī)。數(shù)據(jù)網(wǎng)絡(luò)的交換機(jī)一般為10GbE，具體取決于工作負(fù)載。
推薦的1GbE交換機(jī)是Lenovo RackSwitch G8052。10Gb以太網(wǎng)交換機(jī)可以提供額外的I/O帶寬，以獲得更好的性能。推薦的10GbE交換機(jī)是Lenovo System NetworkingRackSwitch 8272。
每個節(jié)點的兩個Broadcom 10GbE端口可以綁定后連接到G8272交換機(jī)，從而提高性能或配置HA。數(shù)據(jù)網(wǎng)絡(luò)可以配置為使用VLAN。
注：無論是工作節(jié)點還是管理節(jié)點，Cloudera都不支持multi-homing。
3.硬件管理網(wǎng)絡(luò)
硬件管理網(wǎng)絡(luò)是用于帶外硬件管理的1 GbE網(wǎng)絡(luò)。通過System x3650 M5服務(wù)器中的集成管理模塊II（IMM2），帶外管理可實現(xiàn)集群節(jié)點的硬件級管理，如節(jié)點部署，基本輸入/輸出系統(tǒng)（BIOS）配置，狀態(tài)和電源狀態(tài)。
Hadoop不依賴于IMM2。根據(jù)客戶要求，管理鏈接可以分隔到不同的VLAN或子網(wǎng)上。 管理網(wǎng)絡(luò)通常直接連接到客戶的管理網(wǎng)絡(luò)。
參考架構(gòu)需要一個1 Gb以太網(wǎng)TOR交換機(jī)用于硬件管理網(wǎng)絡(luò)。管理員還可以通過客戶管理網(wǎng)絡(luò)訪問集群中的所有節(jié)點，在第一章的圖中，管理鏈路連接到集成的1 GBaseT適配器上的專用IMM2端口。
4.多機(jī)架的網(wǎng)絡(luò)
以上談到的數(shù)據(jù)網(wǎng)絡(luò)的參考架構(gòu)配置是由單個網(wǎng)絡(luò)拓?fù)錁?gòu)成的。如果是多機(jī)架的架構(gòu)，還需要一個聯(lián)想RackSwitch G8316核心交換機(jī)。 在這種情況下，第二個Broadcom10 GbE端口可以連接到第二個Lenovo RackSwitch G8272。G8272的過載率（over-subscription ratio）是1：2.
下圖展示了當(dāng)CDH集群安裝在多個機(jī)架上時，如何配置網(wǎng)絡(luò)。每個機(jī)架的G8272交換機(jī)通過兩個聚合的40 GbE上行鏈路連接到核心G8316交換機(jī)。
注：為了簡化這個圖，圖中僅繪制了一個G8272，但是推薦使用兩個G8272并配置為HA。
跨機(jī)架的交換機(jī)推薦40GbE的，可以用Lenovo System NetworkingRackSwitch G8316。最佳實踐是為每個機(jī)架安裝冗余的核心交換機(jī)，以避免單點故障。在每個機(jī)架內(nèi)，G8052交換機(jī)可以選擇配置為具有兩個G8272交換機(jī)的上行鏈路，以允許通過G8316核心交換機(jī)在集群機(jī)架之間傳播管理VLAN。對于大型集群，推薦使用Lenovo System NetworkingRackSwitch G8332，因為每個40 Gb的端口的價格比G8316要更低。可以配置成許多機(jī)架能互相訪問網(wǎng)絡(luò)，但可能需要做一些特定的部署配置來滿足超過3個機(jī)架的快速尋址。
如果開始規(guī)劃的就是多機(jī)架的解決方案，或者隨著系統(tǒng)的擴(kuò)容后面慢慢的加入了一些機(jī)架，CDH管理服務(wù)相關(guān)的節(jié)點我們建議分開部署在不同的機(jī)架從而最大化容錯。
5.CDH其他網(wǎng)絡(luò)要求
Hadoop網(wǎng)絡(luò)要求：
1.所有的Hadoop服務(wù)器節(jié)點應(yīng)該是獨有的網(wǎng)絡(luò)，而不存在跟其他應(yīng)用程序的節(jié)點共享網(wǎng)絡(luò)I/O的情況。
2.每個服務(wù)器應(yīng)該都配置靜態(tài)IP。如果配置了動態(tài)IP，在機(jī)器重啟或者DNS租約過期時，機(jī)器的IP地址會改變，這將導(dǎo)致Hadoop服務(wù)故障。
3.專用TOR交換機(jī)。
4.專用的核心交換刀片或者核心交換機(jī)。
5.盡量保證應(yīng)用服務(wù)器與Hadoop“近”一些。
6.CDH只支持IPv4，不支持IPv6
7.機(jī)架之間的網(wǎng)絡(luò)連接速度應(yīng)該足夠快。
8.確保網(wǎng)絡(luò)接口對于集群中的所有節(jié)點應(yīng)該是一致的。（比如MTU設(shè)置應(yīng)該一樣）
9.關(guān)閉所有節(jié)點的Huge Page compaction
10.確保集群中的所有網(wǎng)絡(luò)連接都會被監(jiān)控，比如沖突和丟包問題。以方便后期進(jìn)行排障。
為天地立心，為生民立命，為往圣繼絕學(xué)，為萬世開太平。
推薦關(guān)注Hadoop實操，第一時間，分享更多Hadoop干貨，歡迎轉(zhuǎn)發(fā)和分享。
在這里插入圖片描述原創(chuàng)文章，歡迎轉(zhuǎn)載，轉(zhuǎn)載請注明：轉(zhuǎn)載自微信公眾號Hadoop實操
