總結(jié) | 最全的Spark基礎(chǔ)知識(shí)解答
2016-09-19中國統(tǒng)計(jì)網(wǎng)
1Spark基礎(chǔ)知識(shí)
1.Spark是什么?
UCBerkeley AMPlab所開源的類HadoopMapReduce的通用的并行計(jì)算框架。
dfsSpark基于mapreduce算法實(shí)現(xiàn)的分布式計(jì)算，擁有HadoopMapReduce所具有的優(yōu)點(diǎn);但不同于MapReduce的是Job中間輸出和結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的map reduce的算法。
2.Spark與Hadoop的對(duì)比(Spark的優(yōu)勢)
1、Spark的中間數(shù)據(jù)放到內(nèi)存中，對(duì)于迭代運(yùn)算效率更高
2、Spark比Hadoop更通用
3、Spark提供了統(tǒng)一的編程接口
4、容錯(cuò)性– 在分布式數(shù)據(jù)集計(jì)算時(shí)通過checkpoint來實(shí)現(xiàn)容錯(cuò)
5、可用性– Spark通過提供豐富的Scala, Java，Python API及交互式Shell來提高可用性
3.Spark有那些組件
1、Spark Streaming：支持高吞吐量、支持容錯(cuò)的實(shí)時(shí)流數(shù)據(jù)處理
2、Spark SQL， Data frames: 結(jié)構(gòu)化數(shù)據(jù)查詢
3、MLLib：Spark 生態(tài)系統(tǒng)里用來解決大數(shù)據(jù)機(jī)器學(xué)習(xí)問題的模塊
4、GraphX是構(gòu)建于Spark上的圖計(jì)算模型
5、SparkR是一個(gè)R語言包，它提供了輕量級(jí)的方式使得可以在R語言中使用 Spark
2DataFrame相關(guān)知識(shí)點(diǎn)
1.DataFrame是什么?
DataFrame是一種以RDD為基礎(chǔ)的分布式數(shù)據(jù)集，類似于傳統(tǒng)數(shù)據(jù)庫中的二維表格。
2.DataFrame與RDD的主要區(qū)別在于?
DataFrame帶有schema元信息，即DataFrame所表示的二維表數(shù)據(jù)集的每一列都帶有名稱和類型。這使得SparkSQL得以洞察更多的結(jié)構(gòu)信息，從而對(duì)藏于DataFrame背后的數(shù)據(jù)源以及作用于DataFrame之上的變換進(jìn)行了針對(duì)性的優(yōu)化，最終達(dá)到大幅提升運(yùn)行時(shí)效率的目標(biāo)。
反觀RDD，由于無從得知所存數(shù)據(jù)元素的具體內(nèi)部結(jié)構(gòu)，Spark Core只能在stage層面進(jìn)行簡單、通用的流水線優(yōu)化。
3.DataFrame 特性
1、支持從KB到PB級(jí)的數(shù)據(jù)量
2、支持多種數(shù)據(jù)格式和多種存儲(chǔ)系統(tǒng)
3、通過Catalyst優(yōu)化器進(jìn)行先進(jìn)的優(yōu)化生成代碼
4、通過Spark無縫集成主流大數(shù)據(jù)工具與基礎(chǔ)設(shè)施
5、API支持Python、Java、Scala和R語言
3RDD相關(guān)知識(shí)點(diǎn)
1.RDD，全稱為?
Resilient Distributed Datasets，意為容錯(cuò)的、并行的數(shù)據(jù)結(jié)構(gòu)，可以讓用戶顯式地將數(shù)據(jù)存儲(chǔ)到磁盤和內(nèi)存中，并能控制數(shù)據(jù)的分區(qū)。同時(shí)，RDD還提供了一組豐富的操作來操作這些數(shù)據(jù)。
2.RDD的特點(diǎn)?
它是在集群節(jié)點(diǎn)上的不可變的、已分區(qū)的集合對(duì)象。
通過并行轉(zhuǎn)換的方式來創(chuàng)建如(map, filter, join, etc)。
失敗自動(dòng)重建。
可以控制存儲(chǔ)級(jí)別(內(nèi)存、磁盤等)來進(jìn)行重用。
必須是可序列化的。
是靜態(tài)類型的。
3.RDD核心概念
Client：客戶端進(jìn)程，負(fù)責(zé)提交作業(yè)到Master。
Master:Standalone模式中主控節(jié)點(diǎn)，負(fù)責(zé)接收Client提交的作業(yè)，管理Worker，并命令Worker啟動(dòng)分配Driver的資源和啟動(dòng)Executor的資源。
Worker：Standalone模式中slave節(jié)點(diǎn)上的守護(hù)進(jìn)程，負(fù)責(zé)管理本節(jié)點(diǎn)的資源，定期向Master匯報(bào)心跳，接收Master的命令，啟動(dòng)Driver和Executor。
Driver： 一個(gè)Spark作業(yè)運(yùn)行時(shí)包括一個(gè)Driver進(jìn)程，也是作業(yè)的主進(jìn)程，負(fù)責(zé)作業(yè)的解析、生成Stage并調(diào)度Task到Executor上。包括DAGScheduler，TaskScheduler。
Executor：即真正執(zhí)行作業(yè)的地方，一個(gè)集群一般包含多個(gè)Executor，每個(gè)Executor接收Driver的命令Launch Task，一個(gè)Executor可以執(zhí)行一到多個(gè)Task。
4.RDD常見術(shù)語
DAGScheduler： 實(shí)現(xiàn)將Spark作業(yè)分解成一到多個(gè)Stage，每個(gè)Stage根據(jù)RDD的Partition個(gè)數(shù)決定Task的個(gè)數(shù)，然后生成相應(yīng)的Task set放到TaskScheduler中。
TaskScheduler：實(shí)現(xiàn)Task分配到Executor上執(zhí)行。
Task：運(yùn)行在Executor上的工作單元
Job：SparkContext提交的具體Action操作，常和Action對(duì)應(yīng)
Stage：每個(gè)Job會(huì)被拆分很多組任務(wù)(task)，每組任務(wù)被稱為Stage，也稱TaskSet
RDD：Resilient Distributed Datasets的簡稱，彈性分布式數(shù)據(jù)集，是Spark最核心的模塊和類
Transformation/Action：SparkAPI的兩種類型;Transformation返回值還是一個(gè)RDD，Action返回值不少一個(gè)RDD，而是一個(gè)Scala的集合;所有的Transformation都是采用的懶策略，如果只是將Transformation提交是不會(huì)執(zhí)行計(jì)算的，計(jì)算只有在Action被提交時(shí)才會(huì)被觸發(fā)。
DataFrame： 帶有Schema信息的RDD，主要是對(duì)結(jié)構(gòu)化數(shù)據(jù)的高度抽象。
DataSet：結(jié)合了DataFrame和RDD兩者的優(yōu)勢，既允許用戶很方便的操作領(lǐng)域?qū)ο?，又具有SQL執(zhí)行引擎的高效表現(xiàn)。
5.RDD提供了兩種類型的操作：
transformation和action
1，transformation是得到一個(gè)新的RDD，方式很多，比如從數(shù)據(jù)源生成一個(gè)新的RDD，從RDD生成一個(gè)新的RDD
2，action是得到一個(gè)值，或者一個(gè)結(jié)果(直接將RDD cache到內(nèi)存中)
3，所有的transformation都是采用的懶策略，就是如果只是將transformation提交是不會(huì)執(zhí)行計(jì)算的，計(jì)算只有在action被提交的時(shí)候才被觸發(fā)
6.RDD中關(guān)于轉(zhuǎn)換(transformation)與動(dòng)作(action)的區(qū)別
transformation會(huì)生成新的RDD，而后者只是將RDD上某項(xiàng)操作的結(jié)果返回給程序，而不會(huì)生成新的RDD;無論執(zhí)行了多少次transformation操作，RDD都不會(huì)真正執(zhí)行運(yùn)算(記錄lineage)，只有當(dāng)action操作被執(zhí)行時(shí)，運(yùn)算才會(huì)觸發(fā)。
7.RDD 與 DSM的最大不同是?
DSM(distributed shared memory)
RDD只能通過粗粒度轉(zhuǎn)換來創(chuàng)建，而DSM則允許對(duì)每個(gè)內(nèi)存位置上數(shù)據(jù)的讀和寫。在這種定義下，DSM不僅包括了傳統(tǒng)的共享內(nèi)存系統(tǒng)，也包括了像提供了共享 DHT(distributed hash table) 的 Piccolo 以及分布式數(shù)據(jù)庫等。
8.RDD的優(yōu)勢?
1、高效的容錯(cuò)機(jī)制
2、結(jié)點(diǎn)落后問題的緩和 (mitigate straggler)
3、批量操作
4、優(yōu)雅降級(jí) (degrade gracefully)
9.如何獲取RDD?
1、從共享的文件系統(tǒng)獲取，(如：HDFS)
2、通過已存在的RDD轉(zhuǎn)換
3、將已存在scala集合(只要是Seq對(duì)象)并行化 ，通過調(diào)用SparkContext的parallelize方法實(shí)現(xiàn)
4、改變現(xiàn)有RDD的之久性;RDD是懶散，短暫的。
10.RDD都需要包含以下四個(gè)部分
a.源數(shù)據(jù)分割后的數(shù)據(jù)塊，源代碼中的splits變量
b.關(guān)于“血統(tǒng)”的信息，源碼中的dependencies變量
c.一個(gè)計(jì)算函數(shù)(該RDD如何通過父RDD計(jì)算得到)，源碼中的iterator(split)和compute函數(shù)
d.一些關(guān)于如何分塊和數(shù)據(jù)存放位置的元信息，如源碼中的partitioner和preferredLocations0
11.RDD中將依賴的兩種類型
窄依賴(narrowdependencies)和寬依賴(widedependencies)。
窄依賴是指父RDD的每個(gè)分區(qū)都只被子RDD的一個(gè)分區(qū)所使用。相應(yīng)的，那么寬依賴就是指父RDD的分區(qū)被多個(gè)子RDD的分區(qū)所依賴。例如，map就是一種窄依賴，而join則會(huì)導(dǎo)致寬依賴
依賴關(guān)系分類的特性：
第一，窄依賴可以在某個(gè)計(jì)算節(jié)點(diǎn)上直接通過計(jì)算父RDD的某塊數(shù)據(jù)計(jì)算得到子RDD對(duì)應(yīng)的某塊數(shù)據(jù);
第二，數(shù)據(jù)丟失時(shí)，對(duì)于窄依賴只需要重新計(jì)算丟失的那一塊數(shù)據(jù)來恢復(fù);
Spark Streaming相關(guān)知識(shí)點(diǎn)
1.Spark Streaming的基本原理
Spark Streaming的基本原理是將輸入數(shù)據(jù)流以時(shí)間片(秒級(jí))為單位進(jìn)行拆分，然后以類似批處理的方式處理每個(gè)時(shí)間片數(shù)據(jù)
RDD 基本操作
常見的聚合操作：
count(*) 所有值不全為NULL時(shí)，加1操作
count(1) 不管有沒有值，只要有這條記錄，值就加1
count(col) col列里面的值為null，值不會(huì)加1，這個(gè)列里面的值不為NULL，才加1
sum求和
sum(可轉(zhuǎn)成數(shù)字的值) 返回bigint
avg求平均值
avg(可轉(zhuǎn)成數(shù)字的值)返回double
distinct不同值個(gè)數(shù)
count(distinct col)
按照某些字段排序
select col1,other... from table where conditio order by col1,col2 [asc|desc]
Join表連接
join等值連接(內(nèi)連接)，只有某個(gè)值在m和n中同時(shí)存在時(shí)。
left outer join 左外連接，左邊表中的值無論是否在b中存在時(shí)，都輸出;右邊表中的值，只有在左邊表中存在時(shí)才輸出。
right outer join 和 left outer join 相反。
Transformation具體內(nèi)容：
reduceByKey(func, [numTasks]) : 在一個(gè)(K，V)對(duì)的數(shù)據(jù)集上使用，返回一個(gè)(K，V)對(duì)的數(shù)據(jù)集，key相同的值，都被使用指定的reduce函數(shù)聚合到一起。和groupbykey類似，任務(wù)的個(gè)數(shù)是可以通過第二個(gè)可選參數(shù)來配置的。
join(otherDataset, [numTasks]) :在類型為(K,V)和(K,W)類型的數(shù)據(jù)集上調(diào)用，返回一個(gè)(K,(V,W))對(duì)，每個(gè)key中的所有元素都在一起的數(shù)據(jù)集
groupWith(otherDataset, [numTasks]) : 在類型為(K,V)和(K,W)類型的數(shù)據(jù)集上調(diào)用，返回一個(gè)數(shù)據(jù)集，組成元素為(K, Seq[V], Seq[W]) Tuples。這個(gè)操作在其它框架，稱為CoGroup
cartesian(otherDataset) : 笛卡爾積。但在數(shù)據(jù)集T和U上調(diào)用時(shí)，返回一個(gè)(T，U)對(duì)的數(shù)據(jù)集，所有元素交互進(jìn)行笛卡爾積。
flatMap(func) :類似于map，但是每一個(gè)輸入元素，會(huì)被映射為0到多個(gè)輸出元素(因此，func函數(shù)的返回值是一個(gè)Seq，而不是單一元素)
Case 1將一個(gè)list乘方后輸出
val input = sc.parallelize(List(1,2,3,4))
val result = input.map(x => x*x)
println(result.collect().mkString(","))
Case 2 wordcount
val textFile = sc.textFile(args(1))
val result = textFile.flatMap(line => line.split("\\s+")).map(word => (word, 1)).reduceByKey(_ + _)
println(result.collect().mkString(","))
result.saveAsTextFile(args(2))
Case 3 打印rdd的元素
rdd.foreach(println) 或者 rdd.map(println).
rdd.collect().foreach(println)
rdd.take(100).foreach(println)
spark SQL
Spark Streaming優(yōu)劣
優(yōu)勢：
1、統(tǒng)一的開發(fā)接口
2、吞吐和容錯(cuò)
3、多種開發(fā)范式混用，Streaming + SQL, Streaming +MLlib
4、利用Spark內(nèi)存pipeline計(jì)算
劣勢：
微批處理模式，準(zhǔn)實(shí)時(shí)
Storm結(jié)構(gòu)：
DStream
1.將流式計(jì)算分解成一系列確定并且較小的批處理作業(yè)
2.將失敗或者執(zhí)行較慢的任務(wù)在其它節(jié)點(diǎn)上并行執(zhí)行，執(zhí)行的最小單元為RDD的partition
3.較強(qiáng)的容錯(cuò)能力
spark stream example code
4日志系統(tǒng)
1.Flume
Flume是一個(gè)分布式的日志收集系統(tǒng)，具有高可靠、高可用、事務(wù)管理、失敗重啟等功能。數(shù)據(jù)處理速度快，完全可以用于生產(chǎn)環(huán)境。
Flume的核心是agent。
Agent是一個(gè)java進(jìn)程，運(yùn)行在日志收集端，通過agent接收日志，然后暫存起來，再發(fā)送到目的地。
Agent里面包含3個(gè)核心組件：source、channel、sink。
Source組件是專用于收集日志的，可以處理各種類型各種格式的日志數(shù)據(jù),包括avro、thrift、exec、jms、spoolingdirectory、netcat、sequencegenerator、syslog、http、legacy、自定義。source組件把數(shù)據(jù)收集來以后，臨時(shí)存放在channel中。
Channel組件是在agent中專用于臨時(shí)存儲(chǔ)數(shù)據(jù)的，可以存放在memory、jdbc、file、自定義。channel中的數(shù)據(jù)只有在sink發(fā)送成功之后才會(huì)被刪除。
Sink組件是用于把數(shù)據(jù)發(fā)送到目的地的組件，目的地包括hdfs、logger、avro、thrift、ipc、file、null、hbase、solr、自定義。
Apache Kafka是分布式發(fā)布-訂閱消息系統(tǒng)。
它最初由LinkedIn公司開發(fā)，之后成為Apache項(xiàng)目的一部分。Kafka是一種快速、可擴(kuò)展的、設(shè)計(jì)內(nèi)在就是分布式的，分區(qū)的和可復(fù)制的提交日志服務(wù)。
Apache Kafka與傳統(tǒng)消息系統(tǒng)相比，有以下不同：
1、它被設(shè)計(jì)為一個(gè)分布式系統(tǒng)，易于向外擴(kuò)展;
2、它同時(shí)為發(fā)布和訂閱提供高吞吐量;
3、它支持多訂閱者，當(dāng)失敗時(shí)能自動(dòng)平衡消費(fèi)者;
4、它將消息持久化到磁盤，因此可用于批量消費(fèi)
5分布式搜索
搜索引擎是什么?
搜索引擎是指根據(jù)一定的策略、運(yùn)用特定的計(jì)算機(jī)程序從互聯(lián)網(wǎng)上搜集信息，在對(duì)信息進(jìn)行組織和處理后，為用戶提供檢索服務(wù)，將用戶檢索相關(guān)的信息展示給用戶的系統(tǒng)。搜索引擎包括全文索引、目錄索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、門戶搜索引擎與免費(fèi)鏈接列表等。
Lucene是什么?
Lucene一個(gè)高性能、可伸縮的信息搜索庫，即它不是一個(gè)完整的全文檢索引擎，而是一個(gè)全檢索引擎的架構(gòu)，提供了完整的查詢引擎和索引引擎，部分文本分析引擎。
Elasticsearch是什么?
Elasticsearch一個(gè)高可擴(kuò)展的開源的全文本搜索和分析工具。
它允許你以近實(shí)時(shí)的方式快速存儲(chǔ)、搜索、分析大容量的數(shù)據(jù)。Elasticsearch是一個(gè)基于ApacheLucene(TM)的開源搜索引擎。無論在開源還是專有領(lǐng)域，Lucene可以被認(rèn)為是迄今為止最先進(jìn)、性能最好的、功能最全的搜索引擎庫。
ElasticSearch 有4中方式來構(gòu)建數(shù)據(jù)庫
最簡單的方法是使用indexAPI，將一個(gè)Document發(fā)送到特定的index，一般通過curltools實(shí)現(xiàn)。
第二第三種方法是通過bulkAPI和UDPbulkAPI。兩者的區(qū)別僅在于連接方式。
第四種方式是通過一個(gè)插件-river。river運(yùn)行在ElasticSearch上，并且可以從外部數(shù)據(jù)庫導(dǎo)入數(shù)據(jù)到ES中。需要注意的是，數(shù)據(jù)構(gòu)建僅在分片上進(jìn)行，而不能在副本上進(jìn)行。
ELK是一套常用的開源日志監(jiān)控和分析系統(tǒng)
包括一個(gè)分布式索引與搜索服務(wù)Elasticsearch，一個(gè)管理日志和事件的工具logstash，和一個(gè)數(shù)據(jù)可視化服務(wù)Kibana，logstash 負(fù)責(zé)日志的收集，處理和儲(chǔ)存，elasticsearch 負(fù)責(zé)日志檢索和分析，Kibana 負(fù)責(zé)日志的可視化。
6分布式數(shù)據(jù)庫
1.Hive是什么?
Hive是基于Hadoop的一個(gè)數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供類SQL查詢功能。本質(zhì)是將HQL轉(zhuǎn)換為MapReduce程序
2.Hive的設(shè)計(jì)目標(biāo)?
1、Hive的設(shè)計(jì)目標(biāo)是使Hadoop上的數(shù)據(jù)操作與傳統(tǒng)SQL相結(jié)合，讓熟悉SQL編程開發(fā)人員能夠輕松向Hadoop平臺(tái)遷移
2、Hive提供類似SQL的查詢語言HQL，HQL在底層被轉(zhuǎn)換為相應(yīng)的MapReduce操作
3、Hive在HDFS上構(gòu)建數(shù)據(jù)倉庫來存儲(chǔ)結(jié)構(gòu)化的數(shù)據(jù)，這些數(shù)據(jù)一般來源與HDFS上的原始數(shù)據(jù)，使用Hive可以對(duì)這些數(shù)據(jù)執(zhí)行查詢、分析等操作。
3.Hive的數(shù)據(jù)模型
Hive數(shù)據(jù)庫
內(nèi)部表
外部表
分區(qū)
桶
Hive的視圖
Hive在創(chuàng)建內(nèi)部表時(shí)，會(huì)將數(shù)據(jù)移動(dòng)到數(shù)據(jù)倉庫指向的路徑，若創(chuàng)建外部表，僅記錄數(shù)據(jù)所在的路徑，不對(duì)數(shù)據(jù)位置做任何改變，在刪除表的時(shí)候，內(nèi)部表的元數(shù)據(jù)和數(shù)據(jù)會(huì)被一起刪除，外部表只會(huì)刪除元數(shù)據(jù)，不刪除數(shù)據(jù)。這樣來說，外部表要比內(nèi)部表安全，數(shù)據(jù)組織液更加靈活，方便共享源數(shù)據(jù)。
4.Hive的調(diào)用方式
1、Hive Shell
2、Thrift
3、JDBC
4、ODBC
5.Hive的運(yùn)行機(jī)制
1、將sql轉(zhuǎn)換成抽象語法樹
2、將抽象語法樹轉(zhuǎn)化成查詢塊
3、將查詢塊轉(zhuǎn)換成邏輯查詢計(jì)劃(操作符樹)
4、將邏輯計(jì)劃轉(zhuǎn)換成物理計(jì)劃(M\Rjobs)
6.Hive的優(yōu)勢
1、并行計(jì)算
2、充分利用集群的CPU計(jì)算資源、存儲(chǔ)資源
3、處理大規(guī)模數(shù)據(jù)集
4、使用SQL，學(xué)習(xí)成本低
7.Hive應(yīng)用場景
1、海量數(shù)據(jù)處理
2、數(shù)據(jù)挖掘
3、數(shù)據(jù)分析
4、SQL是商務(wù)智能工具的通用語言，Hive有條件和這些BI產(chǎn)品進(jìn)行集成
8.Hive不適用場景
1、復(fù)雜的科學(xué)計(jì)算
2、不能做到交互式的實(shí)時(shí)查詢
9.Hive和數(shù)據(jù)庫(RDBMS)的區(qū)別
1、數(shù)據(jù)存儲(chǔ)位置。Hive是建立在Hadoop之上的，所有的Hive的數(shù)據(jù)都是存儲(chǔ)在HDFS中的。而數(shù)據(jù)庫則可以將數(shù)據(jù)保存在塊設(shè)備或本地文件系統(tǒng)中。
2、數(shù)據(jù)格式。Hive中沒有定義專門的數(shù)據(jù)格式，由用戶指定，需要指定三個(gè)屬性：列分隔符，行分隔符，以及讀取文件數(shù)據(jù)的方法。數(shù)據(jù)庫中，存儲(chǔ)引擎定義了自己的數(shù)據(jù)格式。所有數(shù)據(jù)都會(huì)按照一定的組織存儲(chǔ)。
3、數(shù)據(jù)更新。Hive的內(nèi)容是讀多寫少的，因此，不支持對(duì)數(shù)據(jù)的改寫和刪除，數(shù)據(jù)都在加載的時(shí)候中確定好的。數(shù)據(jù)庫中的數(shù)據(jù)通常是需要經(jīng)常進(jìn)行修改。
4、執(zhí)行延遲。Hive在查詢數(shù)據(jù)的時(shí)候，需要掃描整個(gè)表(或分區(qū))，因此延遲較高，只有在處理大數(shù)據(jù)是才有優(yōu)勢。數(shù)據(jù)庫在處理小數(shù)據(jù)是執(zhí)行延遲較低。
5、索引。Hive沒有，數(shù)據(jù)庫有
6、執(zhí)行。Hive是MapReduce，數(shù)據(jù)庫是Executor
7、可擴(kuò)展性。Hive高，數(shù)據(jù)庫低
8、數(shù)據(jù)規(guī)模。Hive大，數(shù)據(jù)庫小
hive代碼簡單例子：
創(chuàng)建一個(gè)名為”test“的table
create table students (name string,age int,city string,class string) row format delimited fields terminated by ',';
load data local inpath "/opt/students.txt" into table students;
create EXTERNAL table IF NOT EXISTS studentX (name string,age int,city string,class string) partitioned by (grade string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
alter table studentX add partition (grade='excellent') location '/testM/excellent/';
alter table studentX add partition (grade='good') location '/testM/good/';
alter table studentX add partition (grade='moderate') location '/testM/moderate/';
#加載數(shù)據(jù)
load data inpath "/testtry/studentsm.txt" into table studentX partition (grade='excellent');
load data inpath "/testtry/students.txt" into table studentX partition (grade='good');
show partitions studentX;
select * from studentX where grade='excellent';
表刪除操作：drop table students;
創(chuàng)建一個(gè)名為”test“的table
create table students (name string,age int,city string,class string) row format delimited fields terminated by ',';
load data local inpath "/bin/students.txt" into table students;
###
練習(xí):創(chuàng)建外部表，指定數(shù)據(jù)存放位置
create EXTERNAL table IF NOT EXISTS studentX (name string,age int,city string,class string) partitioned by (class string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
alter table test add partition (class='one') location '/testmore/one';
對(duì)表進(jìn)行查詢
Select * from students;
分區(qū)表操作
hive>create table students (name string,age int,city string,class string) partitioned by (class string) row format delimited fields terminated by ',';
hive>load data local inpath "students.txt" into table students partition (class='one');
hive>show partitions students;
hive>select * from students where grade='two';
查詢操作
group by、 order by、 join 、 distribute by、 sort by、 clusrer by、 union all
hive常見操作
Hbase 的模塊：
原子性(是指不會(huì)被線程調(diào)度機(jī)制打斷的操作，這種操作一旦開始，就一直運(yùn)行到結(jié)束，中間不會(huì)有任何contextswitch(切換到領(lǐng)一個(gè)線程))，一致性，隔離性，持久性
Region- Region用于存放表中的行數(shù)據(jù)
Region Server
Master
Zookeeper
HDFS
API
列式存儲(chǔ)格式 Parquet
Parquet 是面向分析型業(yè)務(wù)的列式存儲(chǔ)格式，由 Twitter 和 Cloudera 合作開發(fā)， 2015 年 5 月從 Apache 的孵化器里畢業(yè)成為 Apache 頂級(jí)項(xiàng)目，最新的版本是 1.8.0 。
列式存儲(chǔ)和行式存儲(chǔ)相比的優(yōu)勢 :
可以跳過不符合條件的數(shù)據(jù)，只讀取需要的數(shù)據(jù)，降低 IO 數(shù)據(jù)量。
壓縮編碼可以降低磁盤存儲(chǔ)空間。由于同一列的數(shù)據(jù)類型是一樣的，可以使用更高效的壓縮編碼(例如 Run Length Encoding 和 DeltaEncoding )進(jìn)一步節(jié)約存儲(chǔ)空間。
只讀取需要的列，支持向量運(yùn)算，能夠獲取更好的掃描性能。
Hive操作
Hive
7其他知識(shí)點(diǎn)
MLlib是spark的可以擴(kuò)展的機(jī)器學(xué)習(xí)庫，由以下部分組成：通用的學(xué)習(xí)算法和工具類，包括分類，回歸，聚類，協(xié)同過濾，降維。
數(shù)據(jù)分析常見模式：
1、Iterative Algorithms，
2、Relational Queries，
3、MapReduce，
4、Stream Processing
Scala的好處：
1、面向?qū)ο蠛秃瘮?shù)式編程理念加入到靜態(tài)類型語言中的混合體
2、Scala的兼容性—-能夠與Java庫無縫的交互
3、Scala的簡潔性—-高效，更不容易犯錯(cuò)
4、Scala的高級(jí)抽象
5、Scala是靜態(tài)類型—-類型推斷
6、Scala是可擴(kuò)展的語言
ElasticSearch 基礎(chǔ)代碼：
8基礎(chǔ)問答題
Q:你理解的Hive和傳統(tǒng)數(shù)據(jù)庫有什么不同?各有什么試用場景。
A:1、數(shù)據(jù)存儲(chǔ)位置。Hive是建立在Hadoop之上的，所有的Hive的數(shù)據(jù)都是存儲(chǔ)在HDFS中的。而數(shù)據(jù)庫則可以將數(shù)據(jù)保存在塊設(shè)備或本地文件系統(tǒng)中。
2、數(shù)據(jù)格式。Hive中沒有定義專門的數(shù)據(jù)格式，由用戶指定，需要指定三個(gè)屬性：列分隔符，行分隔符，以及讀取文件數(shù)據(jù)的方法。數(shù)據(jù)庫中，存儲(chǔ)引擎定義了自己的數(shù)據(jù)格式。所有數(shù)據(jù)都會(huì)按照一定的組織存儲(chǔ)。
3、數(shù)據(jù)更新。Hive的內(nèi)容是讀多寫少的，因此，不支持對(duì)數(shù)據(jù)的改寫和刪除，數(shù)據(jù)都在加載的時(shí)候中確定好的。數(shù)據(jù)庫中的數(shù)據(jù)通常是需要經(jīng)常進(jìn)行修改。
4、執(zhí)行延遲。Hive在查詢數(shù)據(jù)的時(shí)候，需要掃描整個(gè)表(或分區(qū))，因此延遲較高，只有在處理大數(shù)據(jù)是才有優(yōu)勢。數(shù)據(jù)庫在處理小數(shù)據(jù)是執(zhí)行延遲較低。
5、索引。Hive沒有，數(shù)據(jù)庫有
6、執(zhí)行。Hive是MapReduce，數(shù)據(jù)庫是Executor
7、可擴(kuò)展性。Hive高，數(shù)據(jù)庫低
8、數(shù)據(jù)規(guī)模。Hive大，數(shù)據(jù)庫小
Q:Hive的實(shí)用場景
A:1、Data Ingestion (數(shù)據(jù)攝取)
2、Data Discovery(數(shù)據(jù)發(fā)現(xiàn))
3、Data analytics(數(shù)據(jù)分析)
4、Data Visualization & Collaboration(數(shù)據(jù)可視化和協(xié)同開發(fā))
Q:大數(shù)據(jù)分析與挖掘方法論被稱為CRISP-DM方法是以數(shù)據(jù)為中心迭代循環(huán)進(jìn)行的六步活動(dòng)
A:它們分別是：商業(yè)理解、數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備、建立模型_、模型評(píng)估、結(jié)果部署_。
Q:數(shù)據(jù)分析挖掘方法大致包含 ( )：
A:1.分類 Classification
2.估計(jì)Estimation
3.預(yù)測Prediction
4. 關(guān)聯(lián)規(guī)則Association Rules
5. 聚類Cluster
6. 描述與可視化Description and Visualization
Q:在數(shù)據(jù)分析與挖掘中對(duì)數(shù)據(jù)的訪問性要求包括?
A:交互性訪問、批處理訪問_、迭代計(jì)算、數(shù)據(jù)查詢，HADOOP僅僅支持了其中批處理訪問，而Spark則支持所有4種方式。
Q:Spark作為計(jì)算框架的優(yōu)勢是什么?
A:1、Spark的中間數(shù)據(jù)放到內(nèi)存中，對(duì)于迭代運(yùn)算效率更高
2、Spark比Hadoop更通用
3、Spark提供了統(tǒng)一的編程接口
4、容錯(cuò)性– 在分布式數(shù)據(jù)集計(jì)算時(shí)通過checkpoint來實(shí)現(xiàn)容錯(cuò)
5、可用性– Spark通過提供豐富的Scala, Java，Python API及交互式Shell來提高可用性
End.
