http://spark.apache.org/docs/1.6.1/sql-programming-guide.html

DataFrames
在Spark中，DataFrame是一種以RDD為基礎(chǔ)的分布式數(shù)據(jù)集，類似于傳統(tǒng)數(shù)據(jù)庫(kù)中的二維表格。
DataFrame與RDD的主要區(qū)別在于，前者帶有schema元信息
即DataFrame所表示的二維表數(shù)據(jù)集的每一列都帶有名稱和類型，這使得Spark SQL得以洞察更多的結(jié)構(gòu)信息。
從而對(duì)藏于DataFrame背后的數(shù)據(jù)源以及作用于DataFrame之上的變換進(jìn)行了針對(duì)性的優(yōu)化，
最終達(dá)到大幅提升運(yùn)行時(shí)效率的目標(biāo)。反觀RDD，由于無(wú)從得知所存數(shù)據(jù)元素的具體內(nèi)部結(jié)構(gòu)，
Spark Core只能在stage層面進(jìn)行簡(jiǎn)單、通用的流水線優(yōu)化

Spark SQL Core
Spark SQL的核心是把已有的RDD，帶上Schema信息，然后注冊(cè)成類似sql里的“Table”，對(duì)其進(jìn)行sql查詢
這里面主要分兩部分：一是生成SchemaRDD，二十執(zhí)行查詢
正如RDD的各種變換實(shí)際上只是在構(gòu)造RDD DAG，DataFrame的各種變換同樣也是lazy的。
他們并不直接求出計(jì)算結(jié)果，而是將各種變換組裝成與RDD DAG類似的邏輯查詢計(jì)劃
如前所述，由于DataFrame帶有schema元信息，Spark SQL的查詢優(yōu)化器得以洞察數(shù)據(jù)和計(jì)算的精細(xì)結(jié)構(gòu)
從而施行具有很強(qiáng)針對(duì)性的優(yōu)化。隨后，經(jīng)過(guò)優(yōu)化的邏輯執(zhí)行計(jì)劃被翻譯為物理執(zhí)行計(jì)劃，并最終落實(shí)為RDD DAG。

#vi person.txt
1,tingting,23,80
2,ningning,25,90
3,ruhua,27,60
4,mimi,33,85
#hdfs dfs -put person.txt /
#hdfs dfs -cat /person.txt

scala> val line = sc.textFile("hdfs://hadoop21:9000/person.txt").map(_.split(","))
line: org.apache.spark.rdd.RDD[Array[String]] = MapPartitionsRDD[38] at map at <console>:24

scala> case class Person(id: Int, name: String, age: Int, faceValue: Int)
defined class Person

scala> val personRDD = line.map(x => Person(x(0).toInt,x(1), x(2).toInt,x(3).toInt))
personRDD: org.apache.spark.rdd.RDD[Person] = MapPartitionsRDD[39] at map at <console>:28

scala> val personDF = personRDD.toDF
personDF: org.apache.spark.sql.DataFrame = [id: int, name: string ... 2 more fields]

scala> personDF.show
+---+--------+---+---------+
| id|    name|age|faceValue|
+---+--------+---+---------+
|  1|tingting| 23|       80|
|  2|ningning| 25|       90|
|  3|   ruhua| 27|       60|
|  4|    mimi| 33|       85|
+---+--------+---+---------+