HDFS 分布式文件系統(tǒng)，存儲海量的數(shù)據(jù)
MapReduce 并行處理框架，實現(xiàn)任務(wù)分解和調(diào)度
高擴展，低成本，成熟的生態(tài)圈
設(shè)置環(huán)境變量
修改配置文件
core
map
hdfs
hadoop-env
slaves
hdfs的文件被分成塊進行存儲，hdfs塊的默認(rèn)大小是64M，塊是文件存儲處理的邏輯單元
namenode是管理節(jié)點，存放文件元數(shù)據(jù)(文件和數(shù)據(jù)塊的映射表，數(shù)據(jù)塊和數(shù)據(jù)節(jié)點的映射表)
datanode是hdfs的工作節(jié)點，存放數(shù)據(jù)塊
datanode定期向namenode發(fā)送心跳信息
二級namenode定期同步元數(shù)據(jù)映像文件和修改日志
hdfs特點：數(shù)據(jù)冗余，硬件容錯；流式的數(shù)據(jù)訪問(寫一次，讀多次)；存儲大文件
適用性和局限性：適合數(shù)據(jù)批量讀寫，吞吐量高；不適合交互式應(yīng)用，低延遲很難滿足；適合一次寫入，多次讀取；不支持多用戶并發(fā)寫相同文件
hadoop namenode -format
hadoop fs -ls /
hadoop fs -put src dst
hadoop dfsadmin -report
MapReduce 分而治之 map分，reduce合并
JOB 分成多個 TASK（MapTask和ReduceTask）
JobTracker 分成TaskTracker(MapTracker和ReduceTracker)
JobTracker：作業(yè)調(diào)度；分配任務(wù)、監(jiān)控任務(wù)執(zhí)行的狀態(tài)；監(jiān)控TaskTracker的狀態(tài)
TaskTracker：執(zhí)行任務(wù)；匯報任務(wù)狀態(tài)
MapReduce的容錯機制：重復(fù)執(zhí)行；推測執(zhí)行；