HDFS（Hadoop Distributed File System）是一個(gè)分布式文件系統(tǒng)，專為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)。HDFS的架構(gòu)設(shè)計(jì)允許它在商用硬件上運(yùn)行，并提供高吞吐量的數(shù)據(jù)訪問。以下是HDFS的主要架構(gòu)組件：
1. **NameNode**：
? - NameNode是HDFS的主節(jié)點(diǎn)，負(fù)責(zé)管理文件系統(tǒng)的命名空間和客戶端對(duì)文件的訪問。它存儲(chǔ)了文件系統(tǒng)樹的元數(shù)據(jù)，包括文件和目錄的名稱、權(quán)限、時(shí)間戳、以及數(shù)據(jù)塊（Block）的映射信息。
2. **Secondary NameNode**：
? - Secondary NameNode并不是一個(gè)備份NameNode，而是輔助NameNode，主要用于合并編輯日志和文件系統(tǒng)映像，以減少NameNode在啟動(dòng)時(shí)需要加載的數(shù)據(jù)量。
3. **DataNode**：
? - DataNode是HDFS的工作節(jié)點(diǎn)，負(fù)責(zé)存儲(chǔ)實(shí)際的數(shù)據(jù)塊。每個(gè)數(shù)據(jù)塊可能在多個(gè)DataNode上存儲(chǔ)多個(gè)副本，以提供數(shù)據(jù)的高可用性和容錯(cuò)能力。
4. **JournalNode**（僅在使用HDFS HA配置時(shí)存在）：
? - JournalNode用于存儲(chǔ)NameNode的編輯日志，這些日志在HDFS HA配置中用于兩個(gè)NameNode（一個(gè)Active和一個(gè)Standby）的狀態(tài)同步。
5. **ZooKeeper**（在HDFS HA配置中使用）：
? - ZooKeeper用于管理NameNode之間的狀態(tài)，如故障檢測(cè)和Active-Standby切換。
6. **客戶端（Client）**：
? - 客戶端是與HDFS交互的應(yīng)用程序，它向NameNode發(fā)送讀寫請(qǐng)求，并與DataNode進(jìn)行數(shù)據(jù)傳輸。
7. **平衡器（Balancer）**：
? - Balancer是HDFS的一個(gè)守護(hù)進(jìn)程，負(fù)責(zé)在集群中重新平衡數(shù)據(jù)，確保所有DataNode上的存儲(chǔ)空間均勻使用。
8. **用戶界面（Web UI）**：
? - HDFS提供了一個(gè)基于Web的用戶界面，用于監(jiān)控集群狀態(tài)和性能。
9. **輔助服務(wù)**：
? - HDFS還可以與其他Hadoop生態(tài)系統(tǒng)組件（如YARN、MapReduce、Hive等）集成，提供數(shù)據(jù)存儲(chǔ)和管理服務(wù)。
### HDFS架構(gòu)的工作流程：
- **寫數(shù)據(jù)**：
? 1. 客戶端請(qǐng)求NameNode打開文件。
? 2. NameNode為文件分配新的數(shù)據(jù)塊，并告訴客戶端將數(shù)據(jù)塊寫入哪些DataNode。
? 3. 客戶端將數(shù)據(jù)塊寫入指定的DataNode。
? 4. DataNode將數(shù)據(jù)塊的副本復(fù)制到其他DataNode。
- **讀數(shù)據(jù)**：
? 1. 客戶端請(qǐng)求NameNode讀取文件。
? 2. NameNode返回?cái)?shù)據(jù)塊所在的DataNode信息。
? 3. 客戶端直接從DataNode讀取數(shù)據(jù)塊。
- **故障檢測(cè)與恢復(fù)**：
? 1. DataNode定期向NameNode發(fā)送心跳和塊報(bào)告。
? 2. 如果DataNode失敗，NameNode會(huì)從其他DataNode復(fù)制數(shù)據(jù)塊副本來替換丟失的數(shù)據(jù)。
HDFS的架構(gòu)設(shè)計(jì)考慮了大規(guī)模數(shù)據(jù)集的存儲(chǔ)和處理需求，通過分布式架構(gòu)和數(shù)據(jù)副本機(jī)制，提供了高可靠性和高吞吐量的數(shù)據(jù)訪問能力。
