課程大綱
第一章：案例需求分析與設(shè)計(jì)
1. 全套課程內(nèi)容概述
2. 案例需求分析
3. 系統(tǒng)架構(gòu)設(shè)計(jì)
4. 系統(tǒng)數(shù)據(jù)流程設(shè)計(jì)
5. 集群資源規(guī)劃設(shè)計(jì)
第二章：linux環(huán)境準(zhǔn)備與設(shè)置
1. Linux系統(tǒng)常規(guī)設(shè)置
2. 克隆虛擬機(jī)并進(jìn)行相關(guān)的配置
3. 對(duì)集群中的機(jī)器進(jìn)行基本配置
第三章：Hadoop2.X分布式集群部署
1. Hadoop2.X版本下載及安裝
2. Hadoop2.X分布式集群配置
3. 分發(fā)到其他各個(gè)機(jī)器節(jié)點(diǎn)
4. HDFS啟動(dòng)集群運(yùn)行測(cè)試
5. YARN集群運(yùn)行MapReduce程序測(cè)試
6. 配置集群中主節(jié)點(diǎn)到各個(gè)機(jī)器的SSH無(wú)密鑰登錄
第四章：Zookeeper分布式集群部署
1. Zookeeper版本下載及安裝
2. 分布式集群配置及參數(shù)介紹
3. Zookeeper服務(wù)啟動(dòng)及測(cè)試
第五章：Hadoop2.X HA架構(gòu)與部署
1. HDFS-HA架構(gòu)原理介紹
2. HDFS-HA 詳細(xì)配置
3. HDFS-HA 服務(wù)啟動(dòng)及自動(dòng)故障轉(zhuǎn)移測(cè)試
4. YARN-HA架構(gòu)原理介紹
5. YARN-HA 詳細(xì)配置
6. YARN-HA 服務(wù)啟動(dòng)及自動(dòng)故障轉(zhuǎn)移測(cè)試?
第六章：HBase分布式集群部署與設(shè)計(jì)
1. 下載HBase版本并安裝
2. 分布式集群的相關(guān)配置
3. 啟動(dòng)依賴于Zookeeper和HDFS的兩個(gè)服務(wù)
4. 通過(guò)shell測(cè)試數(shù)據(jù)庫(kù)
5. 日志信息存儲(chǔ)需求分析及表的創(chuàng)建
第七章：Kafka分布式集群部署
1. 下載Kafka版本并安裝
2. Kafka集群配置
3. 啟動(dòng)Kafka依賴于Zookeeper的服務(wù)并進(jìn)行測(cè)試
第八章：Flume數(shù)據(jù)采集準(zhǔn)備
1. Flume節(jié)點(diǎn)服務(wù)設(shè)計(jì)
2. Flume版本下載安裝
3. Flume agent-1采集節(jié)點(diǎn)服務(wù)配置
4. Flume agent-2采集節(jié)點(diǎn)服務(wù)配置
第九章：Flume+HBase+Kafka集成與開(kāi)發(fā)
1. 下載Flume源碼并導(dǎo)入Idea開(kāi)發(fā)工具
2. 根據(jù)業(yè)務(wù)需求做采集入庫(kù)的程序設(shè)計(jì)
3. 自定義SinkHBase程序開(kāi)發(fā)
4. idea程序打包并部署
5. 官方Flume與HBase集成的參數(shù)介紹
6. Flume agent-3聚合節(jié)點(diǎn)與HBase集成的配置
7. 官方Flume與Kafka集成的參數(shù)介紹
8. Flume agent-3聚合節(jié)點(diǎn)與Kafka集成的配置
第十章：數(shù)據(jù)采集/存儲(chǔ)/分發(fā)完整流程測(cè)試
1. idea工具開(kāi)發(fā)數(shù)據(jù)生成模擬程序
2. 編寫啟動(dòng)Flume服務(wù)程序的shell腳本
3. 啟動(dòng)Flume采集相關(guān)的所有服務(wù)
4. 編寫腳本并啟動(dòng)Flume agent三臺(tái)采集節(jié)點(diǎn)服務(wù)
5. 編寫Kafka consumer執(zhí)行腳本并運(yùn)行
6. java開(kāi)發(fā)業(yè)務(wù)數(shù)據(jù)生成模擬器
7. 運(yùn)行模擬程序并通過(guò)HBase shell檢查數(shù)據(jù)
第十一章：MySQL安裝
1. 配置linux本地鏡像源
2. linux聯(lián)網(wǎng)安裝mysql數(shù)據(jù)庫(kù)
3. myql設(shè)置用戶連接權(quán)限
4. 分析業(yè)務(wù)需求并設(shè)計(jì)表結(jié)構(gòu)
5. 創(chuàng)建數(shù)據(jù)庫(kù)和與業(yè)務(wù)相關(guān)的表
第十二章：Hive與HBase集成進(jìn)行數(shù)據(jù)分析
1.Hive 概述
2.Hive 架構(gòu)設(shè)計(jì)
3.Hive 應(yīng)用場(chǎng)景
4.Hive 安裝部署
5.Hive與MySQL集成
6.Hive 服務(wù)啟動(dòng)與測(cè)試
7.根據(jù)業(yè)務(wù)創(chuàng)建表結(jié)構(gòu)
8.Hive與HBase集成進(jìn)行數(shù)據(jù)離線分析
第十三章：Cloudera HUE大數(shù)據(jù)可視化分析
1.Hue概述
2.Hue安裝部署
3.Hue基本配置與服務(wù)啟動(dòng)
4.Hue與HDFS集成
5.Hue與YARN集成
6.Hue與Hive集成
7.Hue與MySQL集成
8.Hue與HBase整合
9.對(duì)采集的數(shù)據(jù)進(jìn)行可視化分析
10.Hue使用的經(jīng)驗(yàn)總結(jié)
第十四章：Spark2.X環(huán)境準(zhǔn)備、編譯部署及運(yùn)行
1.Spark 概述
2.Spark 生態(tài)系統(tǒng)介紹
3.Spark2.X學(xué)習(xí)注意事項(xiàng)
4.Spark2.2源碼下載及編譯
5.Scala安裝及環(huán)境變量設(shè)置
6.Spark2.2本地模式運(yùn)行測(cè)試
7.Spark服務(wù)WEB監(jiān)控頁(yè)面
第十五章：基于IDEA環(huán)境下的Spark2.X程序開(kāi)發(fā)
1.Windows開(kāi)發(fā)環(huán)境配置與安裝
2.IDEA Maven工程創(chuàng)建與配置
3.開(kāi)發(fā)Spark Application程序并進(jìn)行本地測(cè)試
4.打Jar包并提交spark-submit運(yùn)行
第十六章：Spark2.X集群運(yùn)行模式
1.Spark幾種運(yùn)行模式介紹
2.Spark Standalone集群模式配置與運(yùn)行
3.Spark on YARN集群模式配置與運(yùn)行
第十七章：Spark2.X分布式彈性數(shù)據(jù)集
1.三大彈性分布式數(shù)據(jù)集介紹
2.Spark RDD概述與創(chuàng)建方式
3.Spark RDD五大特性
4.Spark RDD操作方式及使用
5.DataFrame創(chuàng)建方式及功能使用
6.DataSet創(chuàng)建方式及功能
7.數(shù)據(jù)集之前的對(duì)比與轉(zhuǎn)換
第十八章：Spark SQL快速離線數(shù)據(jù)分析
1.Spark SQL概述及特點(diǎn)
2.Spark SQL服務(wù)架構(gòu)
3.Spark SQL與Hive集成（spark-shell）
4.Spark SQL與Hive集成（spark-sql）
5.Spark SQL之ThirftServer和beeline使用
6.Spark SQL與MySQL集成
7.Spark SQL與HBase集成
第十九章：Spark Streaming實(shí)時(shí)數(shù)據(jù)分析
1.Spark Streaming功能介紹
2.NC服務(wù)安裝并運(yùn)行SparkStreaming
3.Spark Streaming服務(wù)架構(gòu)及工作原理
4.Spark Streaming編程模型
5.Spark Streaming讀取Socket流數(shù)據(jù)
6.Spark Streaming結(jié)果數(shù)據(jù)保存到外部數(shù)據(jù)庫(kù)
7.SparkStreaming與Kafka集成進(jìn)行數(shù)據(jù)處理
第二十章：Structrued Streaming業(yè)務(wù)數(shù)據(jù)實(shí)時(shí)分析
1.Structured Streaming 概述及架構(gòu)
2.Structured Streaming 編程模型
3.實(shí)時(shí)數(shù)據(jù)處理業(yè)務(wù)分析
4.Stuctured Streaming 與Kafka集成（一）
5.Stuctured Streaming 與Kafka集成（二）
6.Stuctured Streaming 與MySQL集成
7.基于結(jié)構(gòu)化流完成業(yè)務(wù)數(shù)據(jù)實(shí)時(shí)分析（一）
8.基于結(jié)構(gòu)化流完成業(yè)務(wù)數(shù)據(jù)實(shí)時(shí)分析（二）
9.基于結(jié)構(gòu)化流完成業(yè)務(wù)數(shù)據(jù)實(shí)時(shí)分析（三）
第二十一章：大數(shù)據(jù)Web可視化分析系統(tǒng)開(kāi)發(fā)
1.基于業(yè)務(wù)需求的WEB系統(tǒng)設(shè)計(jì)
2.下載Tomcat并創(chuàng)建Web工程
3.Web系統(tǒng)數(shù)據(jù)處理服務(wù)層開(kāi)發(fā)
4.基于WebSocket協(xié)議的數(shù)據(jù)推送服務(wù)開(kāi)發(fā)
5.基于Echart框架的頁(yè)面展示層開(kāi)發(fā)（一）
6.基于Echart框架的頁(yè)面展示層開(kāi)發(fā)（二）
7.工程編譯并打包發(fā)布
8.啟動(dòng)各個(gè)服務(wù)并展示最終項(xiàng)目運(yùn)行效果
下載地址：http://feixueteam.net/thread-2265-1-1.html
