使用環(huán)境：

1、centos(6.4)

2、hadoop版本對比及選擇

????生產(chǎn)較多的CDH版本（CDH5.7.0）

??? 下載地址：課程整套CDH相關(guān)的軟件下載地址：http://archive.cloudera.com/cdh5/cdh/5/

????cdh-5.7.0?? 生產(chǎn)或者測試環(huán)境選擇對應(yīng)CDH版本時，一定要采用尾號是一樣的版本

為什么很多公司選擇Hadoop作為大數(shù)據(jù)平臺的解決方案？

1）源碼開源

2）社區(qū)活躍、參與者很多? Spark

3）涉及到分布式存儲和計算的方方面面：

Flume進(jìn)行數(shù)據(jù)采集

Spark/MR/Hive等進(jìn)行數(shù)據(jù)處理

HDFS/HBase進(jìn)行數(shù)據(jù)存儲

????????4) 已得到企業(yè)界的驗證

3、開發(fā)工具對比及選

??? ????IDEA（主要選選）

??????? Eclipse

4、環(huán)境使用方式

????完整版：鏈接: 鏈接:https://pan.baidu.com/s/1bqXFPIv? 密碼:s9xz

??? 下載下來解壓，導(dǎo)入到vmfusion 啟動

5、hadoop啟動-驗證

????/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/sbin

1）啟動hdfs

hadoop? fs -ls

??? 2）啟動yarn

????????./start-yarn.sh

??????? 驗證

6、hive啟動

????/home/hadoop/app/hive-1.1.0-cdh5.7.0/bin

??? ./hive

7、spark啟動

????/home/hadoop/app/spark-2.1.0-bin-2.6.0-cdh5.7.0/bin

./spark-shell --master local[2] --jars ~/software/mysql-connector-java-5.1.27-bin.jar