如果大量客戶(hù)端對(duì) NameNode 發(fā)起高并發(fā)（比如每秒上千次）訪問(wèn)來(lái)修改元數(shù)據(jù)，此時(shí) NameNode 該如何抗?。?/p>
一、問(wèn)題分析
以大量add新文件到DataNode為例，NameNode需要將【add文件】record寫(xiě)入到編輯日志edits log文件（磁盤(pán)文件）中，并將edits log同步到JournalNode中。
- 【寫(xiě)磁盤(pán)】+【網(wǎng)絡(luò)傳輸】都是非常耗時(shí)的操作，是制約系統(tǒng)性能的主要因素；
- 若采用【多線程 + 加鎖 + 每次寫(xiě)磁盤(pán)和網(wǎng)絡(luò)傳輸】，那么NameNode肯定承受不住1000次/s的高并發(fā)請(qǐng)求；
二、解決方案
2.1 解決思路
方案【多線程 + 加鎖 + 每次寫(xiě)磁盤(pán)和網(wǎng)絡(luò)傳輸】的問(wèn)題在于，線程會(huì)出現(xiàn)阻塞，極大影響了效率。那么解決問(wèn)題的方向就在于【如何讓線程不阻塞】。
2.2 HDFS的方案：【加鎖 + 內(nèi)存雙緩沖 + 批量寫(xiě)磁盤(pán)和網(wǎng)絡(luò)傳輸】
2.2.1 加鎖 + 內(nèi)存雙緩沖
- 多線程搶占鎖??，搶到的將record先寫(xiě)入到內(nèi)存buffer中，隨后釋放??；
- 寫(xiě)buffer和讀buffer分離：內(nèi)存緩沖區(qū)分為兩部分，某一時(shí)刻，一部分用于寫(xiě)record到buffer中，另一部分用于將其中的records批量寫(xiě)入磁盤(pán)文件edits log或通過(guò)網(wǎng)絡(luò)傳輸?shù)絁ournalNode，互不阻塞；
- 一個(gè)讀寫(xiě)周期后，兩部分的buffer會(huì)交換位置；
- 將record寫(xiě)入內(nèi)存buffer是非常快的，微秒級(jí)別吧；
2.2.2 批量寫(xiě)磁盤(pán)和網(wǎng)絡(luò)傳輸
- 當(dāng)buffer中的records累積到一定數(shù)量后，再將它們batch寫(xiě)入磁盤(pán)文件edits log或通過(guò)網(wǎng)絡(luò)傳輸?shù)絁ournalNode；
- 減少磁盤(pán)IO和網(wǎng)絡(luò)傳輸頻次，以提高效率；
【內(nèi)存雙緩沖 + 批量寫(xiě)磁盤(pán)和網(wǎng)絡(luò)傳輸】
