1、大數(shù)據時代背景
移動互聯(lián)、社交網絡、電子商務導致各種數(shù)據迅速膨脹并變大。
1 PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes?
1 EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes?
1 ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes?
1 YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes?
數(shù)據能為我們帶來什么？------商業(yè)價值
海量數(shù)據如何處理？------Hadoop
MapReduce------并行計算框架
BigTable------join耗費資源，列式存儲
創(chuàng)建者：Doug Cutting ? 棕黃色的大象
Hadoop安裝：
3臺虛擬機
集群模式
vim /etc/sysconfig/network ? ??修改主機名：HOSTNAME=h101
重啟虛擬機 ? ?init 6 ? ?
vim?/etc/sysconfig/network-scripts/ifcfg-eth0 ? ?修改虛擬機的主機IP?
service network restart ? 網卡生效
vim /etc/hosts ? 修改hosts做映射
輸入：192.168.16.101 h101
192.168.16.102 h102
192.168.16.103 h103
配置完后 ：ssh h102 ?直接跳到h102
創(chuàng)建Hadoop用戶：useradd hadoop
password hadoop
三臺虛擬機安裝JDK
tar -zxvf jdk.XX.tar.gz -C /usr/
配置環(huán)境變量 ?vim /etc/profile
讓環(huán)境變量生效 ?source?/etc/profile ?或者init 6
驗證環(huán)境變量生效 ?/usr/jdk1.7/bin/java -version
1、上傳并解壓Hadoop安裝包
2、在conf文件夾下的hadoop-env.sh ?最后一行添加
export JAVA_HOME=/usr/jdk1.7.0_25/
3、修改core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://h101:9000</value>
</property>
4、修改hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
5、修改mapred-site.
<property>
<name>mapred.job.tracker</name>
<value>h101:9001</value>
</property>
6、修改masters
localhost修改為主節(jié)點主機名：h101
7、修改slaves
localhost修改為從節(jié)點主機名：h102
h103
8、拷貝到其他兩個節(jié)點
scp -r /home/hadoop/hadoop-0.20.2-cdh3u5 ? h103:/home/hadoop/
9、授權：所有節(jié)點上的hadoop-0.20.2-cdh3u5目錄的所有者改為Hadoop用戶
chown hadoop.hadoop /usr/local/hadoop-0.20.2-cdh3u5/ -R
10、免密鑰操作配置SSH服務：Hadoop 用戶下
ssh-keygen -t rsa
ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub h101
ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub h102
ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub h103
11、namenode格式化：
cd ??/home/hadoop/hadoop-0.20.2-cdh3u5
bin/hadoop ?namenode -format
12、驗證
bin/start-all.sh ?開啟服務
jps查看進程：
分布式文件系統(tǒng)HDFS
hadoop2.0默認大小是128M。
Hadoop基本命令
$hadoop_home/bin/hadoop fs <args>
hadoop fs -ls/lsr uri
實際例子：./hadoop fs -ls hdfs://h101:9000/?
在主節(jié)點上可以簡寫成 ? ? ? ?./hadoop fs -ls /
cat ?顯示一個或多個文件內容到控制臺
put 將本地一個文件或多個文件導入HDFS
get 下載
打開安全模式：./hadoop dfsadmin -safemode enter
關閉安全模式：./hadoop dfsadmin -safemode leave
安全模式下不能刪除文件
刪除文件：./hadoop fs -rmr /a.txt
./hadoop dfsadmin -report
MapReduce介紹
