DataSet 的函數(shù)
Action 操作
1、?collect() ,返回值是一個(gè)數(shù)組，返回dataframe集合所有的行
2、?collectAsList() 返回值是一個(gè)java類型的數(shù)組，返回dataframe集合所有的行
3、?count() 返回一個(gè)number類型的，返回dataframe集合的行數(shù)
4、?describe(cols: String*) 返回一個(gè)通過(guò)數(shù)學(xué)計(jì)算的類表值(count, mean, stddev, min, and max)，這個(gè)可以傳多個(gè)參數(shù)，中間用逗號(hào)分隔，如果有字段為空，那么不參與運(yùn)算，只這對(duì)數(shù)值類型的字段。例如df.describe("age", "height").show()
5、?first() 返回第一行 ，類型是row類型
6、?head() 返回第一行 ，類型是row類型
7、?head(n:Int)返回n行? ，類型是row 類型
8、?show()返回dataframe集合的值 默認(rèn)是20行，返回類型是unit
9、?show(n:Int)返回n行，，返回值類型是unit
10、?table(n:Int) 返回n行? ，類型是row 類型
dataframe的基本操作
1、?cache()同步數(shù)據(jù)的內(nèi)存
2、?columns 返回一個(gè)string類型的數(shù)組，返回值是所有列的名字
3、?dtypes返回一個(gè)string類型的二維數(shù)組，返回值是所有列的名字以及類型
4、?explan()打印執(zhí)行計(jì)劃? 物理的
5、?explain(n:Boolean) 輸入值為 false 或者true ，返回值是unit? 默認(rèn)是false ，如果輸入true 將會(huì)打印 邏輯的和物理的
6、?isLocal 返回值是Boolean類型，如果允許模式是local返回true 否則返回false
7、?persist(newlevel:StorageLevel) 返回一個(gè)dataframe.this.type 輸入存儲(chǔ)模型類型
8、?printSchema() 打印出字段名稱和類型 按照樹狀結(jié)構(gòu)來(lái)打印
9、?registerTempTable(tablename:String) 返回Unit ，將df的對(duì)象只放在一張表里面，這個(gè)表隨著對(duì)象的刪除而刪除了
10、?schema 返回structType 類型，將字段名稱和類型按照結(jié)構(gòu)體類型返回
11、?toDF()返回一個(gè)新的dataframe類型的
12、?toDF(colnames：String*)將參數(shù)中的幾個(gè)字段返回一個(gè)新的dataframe類型的，
13、?unpersist() 返回dataframe.this.type 類型，去除模式中的數(shù)據(jù)
14、?unpersist(blocking:Boolean)返回dataframe.this.type類型 true 和unpersist是一樣的作用false 是去除RDD
集成查詢：
1、?agg(expers:column*) 返回dataframe類型 ，同數(shù)學(xué)計(jì)算求值
df.agg(max("age"), avg("salary"))
df.groupBy().agg(max("age"), avg("salary"))
2、?agg(exprs: Map[String, String])? 返回dataframe類型 ，同數(shù)學(xué)計(jì)算求值 map類型的
df.agg(Map("age" -> "max", "salary" -> "avg"))
df.groupBy().agg(Map("age" -> "max", "salary" -> "avg"))
3、?agg(aggExpr: (String, String), aggExprs: (String, String)*)? 返回dataframe類型 ，同數(shù)學(xué)計(jì)算求值
df.agg(Map("age" -> "max", "salary" -> "avg"))
df.groupBy().agg(Map("age" -> "max", "salary" -> "avg"))
4、?apply(colName: String) 返回column類型，捕獲輸入進(jìn)去列的對(duì)象
5、?as(alias: String) 返回一個(gè)新的dataframe類型，就是原來(lái)的一個(gè)別名
6、?col(colName: String)? 返回column類型，捕獲輸入進(jìn)去列的對(duì)象
7、?cube(col1: String, cols: String*) 返回一個(gè)GroupedData類型，根據(jù)某些字段來(lái)匯總
8、?distinct 去重 返回一個(gè)dataframe類型
9、?drop(col: Column) 刪除某列 返回dataframe類型
10、?dropDuplicates(colNames: Array[String]) 刪除相同的列 返回一個(gè)dataframe
11、?except(other: DataFrame) 返回一個(gè)dataframe，返回在當(dāng)前集合存在的在其他集合不存在的
12、?explode[A, B](inputColumn: String, outputColumn: String)(f: (A) ? TraversableOnce[B])(implicit arg0: scala.reflect.api.JavaUniverse.TypeTag[B]) 返回值是dataframe類型，這個(gè) 將一個(gè)字段進(jìn)行更多行的拆分
df.explode("name","names") {name :String=> name.split(" ")}.show();
將name字段根據(jù)空格來(lái)拆分，拆分的字段放在names里面
13、?filter(conditionExpr: String): 刷選部分?jǐn)?shù)據(jù)，返回dataframe類型 df.filter("age>10").show();? df.filter(df("age")>10).show();?? df.where(df("age")>10).show(); 都可以
14、?groupBy(col1: String, cols: String*) 根據(jù)某寫字段來(lái)匯總返回groupedate類型?? df.groupBy("age").agg(Map("age" ->"count")).show();df.groupBy("age").avg().show();都可以
15、?intersect(other: DataFrame) 返回一個(gè)dataframe，在2個(gè)dataframe都存在的元素
16、?join(right: DataFrame, joinExprs: Column, joinType: String)
一個(gè)是關(guān)聯(lián)的dataframe，第二個(gè)關(guān)聯(lián)的條件，第三個(gè)關(guān)聯(lián)的類型：inner, outer, left_outer, right_outer, leftsemi
df.join(ds,df("name")===ds("name") and? df("age")===ds("age"),"outer").show();
17、?limit(n: Int) 返回dataframe類型? 去n 條數(shù)據(jù)出來(lái)
18、?na: DataFrameNaFunctions ，可以調(diào)用dataframenafunctions的功能區(qū)做過(guò)濾 df.na.drop().show(); 刪除為空的行
19、?orderBy(sortExprs: Column*) 做alise排序
20、?select(cols:string*) dataframe 做字段的刷選 df.select($"colA", $"colB" + 1)
21、?selectExpr(exprs: String*) 做字段的刷選 df.selectExpr("name","name as names","upper(name)","age+1").show();
22、?sort(sortExprs: Column*) 排序 df.sort(df("age").desc).show(); 默認(rèn)是asc
23、?unionAll(other:Dataframe) 合并 df.unionAll(ds).show();
24、?withColumnRenamed(existingName: String, newName: String) 修改列表 df.withColumnRenamed("name","names").show();
25、?withColumn(colName: String, col: Column) 增加一列 df.withColumn("aa",df("name")).show();
