HDFS集群有兩類(lèi)節(jié)點(diǎn)，并以管理者-工作者模式運(yùn)行，即一個(gè)NameNode(管理者)和多個(gè)DataNode(工作者)。
一、NameNode（NN）
——基于內(nèi)存存儲(chǔ) ：不會(huì)和磁盤(pán)發(fā)生交換
·只存在內(nèi)存中
·持久化
——NameNode主要功能
·接受客戶(hù)端的讀寫(xiě)服務(wù)
·收集DataNode匯報(bào)的Block列表信息
——NameNode保存metadata信息包括
·文件owership和permissions
·文件大小，時(shí)間
·（Block列表：Block偏移量），位置信息
·Block每副本位置（由DataNode上報(bào)）
二、NameNode持久化
——NameNode的metadate信息在啟動(dòng)后會(huì)加載到內(nèi)存
——metadata存儲(chǔ)到磁盤(pán)文件名為”fsimage”
——Block的位置信息不會(huì)保存到fsimage
——edits記錄對(duì)metadata的操作日志。。。redis
三、DataNode（DN）
——本地磁盤(pán)目錄存儲(chǔ)數(shù)據(jù)（Block），文件形式
——同時(shí)存儲(chǔ)Block的元數(shù)據(jù)信息文件
——啟動(dòng)DN時(shí)會(huì)向NN匯報(bào)block信息
——通過(guò)向NN發(fā)送心跳保持與其聯(lián)系（3秒一次），如果NN 10分鐘沒(méi)有收到DN的心跳，則認(rèn)為其已經(jīng)lost，并copy其上的block到其它DN
為回饋大家，想要學(xué)習(xí)java、Java架構(gòu)、大數(shù)據(jù)等技術(shù)的朋友，可以加我微信好友Nancy007001，免費(fèi)提供錄播資料供大家學(xué)習(xí)。
感謝大家的支持?。?！
本文為原創(chuàng)作品，禁止轉(zhuǎn)載！
