?編譯hadoop的文章:www.cnblogs.com/hanganglin/p/4349919.html
分布式系統(tǒng)
hadoop解決三個(gè)問題
海量數(shù)據(jù)的存儲(chǔ)（HDFS）
特點(diǎn)：1.分布式的集群結(jié)構(gòu)
? ? ? ? ? ? ?2.查詢，搜索，存儲(chǔ)（對外與客戶端打交道，對內(nèi)跟存儲(chǔ)節(jié)點(diǎn)打交道）
? ? ? ? ? ? ?3.備份（解決服務(wù)器掛掉數(shù)據(jù)丟失的風(fēng)險(xiǎn)）
? ? ? ? ? ? ?4.提供統(tǒng)一的Api
2.海量數(shù)據(jù)的計(jì)算（MapReduce）思想：分而治之
? ? ? ? ? ? ?1.Map（映射）計(jì)算
? ? ? ? ? ? ?2.Reduce（聚合）統(tǒng)計(jì)計(jì)算
? ? ? ? ? ? ?3.管理框架內(nèi)部的啟動(dòng)，銜接
3.集群資源的管理（YARN）
? ? ? ? ? ? ? 1.提供更好的管理集群資源，（分布式的管理）
? ? ? ? ? ? ? 2.ResourceManger(統(tǒng)一對外服務(wù)的節(jié)點(diǎn))
? ? ? ? ? ? ? 3.NodeManger（每個(gè)節(jié)點(diǎn)當(dāng)中的管理者）
Hadoop配置
目錄
/etc ? ? ? ? ? ?放置一些配置文件
/sbin ? ? ? ? ?啟動(dòng)的文件目錄
環(huán)境配置
/hadoop-2.6.4/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.7.0_79
/hadoop-2.6.4/etc/hadoop/core-site.xml
/hadoop-2.6.4/etc/hadoop/hdfs-site.xml
/hadoop-2.6.4/etc/hadoop/mapred-site.xml.template?
將上述文件復(fù)制一個(gè)在更改mapred-site.xml
/hadoop-2.6.4/etc/hadoop/yarn-site.xml
環(huán)境變量的配置
export HADOOP_HOME=/usr/local/hadoop-2.6.4
:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
集群的啟動(dòng)
格式化namenode（對namenode進(jìn)行初始化）
hadoop namenode? -format ? ??
/usr/local/hadoop-2.6.4/temp/dfs/name（默認(rèn)創(chuàng)建的目錄）
啟動(dòng)集群(hdfs) ?hadoop-daemon.sh start namenode
? ? ? ? ? ? ? ? ? ? ? ? ? ? hadoop-daemon.sh stop?namenode
? ? ? ? ? ? ? ? ? ? ? ? ? ? hadoop-daemon.sh start datanode
? ? ? ? ? ? ? ? ? ? ? ? ? ? hadoop-daemon.sh stop datanode
? ? ? ? ? ? ? ? ? ? ? ? ? ? hadoop-daemon.sh start secondarynamenode??
? ? ? ? ? ? ? ? ? ? ? ? ? ? hadoop-daemon.sh stop secondarynamenode
可以在瀏覽器中查看hdfs啟動(dòng)的狀態(tài) 192.168.255.32:50070
配置可以一鍵的啟動(dòng)和關(guān)閉
修改文件/usr/local/hadoop-2.6.4/etc/hadoop/slaves
添加主機(jī)名
啟動(dòng)（dfs）start-dfs.sh
關(guān)閉（dfs）stop-dfs.sh
啟動(dòng)集群yarn
（啟動(dòng)yarn集群）start-yarn.sh
（停止yarn集群）stop-yarn.sh
可以在瀏覽器中查看yarn啟動(dòng)的狀態(tài) 192.168.255.32:8088
