spark之map與flatmap的區(qū)別

spark的dataframe操作,其中map和flatmap挺繞頭的,其實要理解也很簡單,只需要記住一下即可:

  1. map是對dataframe的每一個row的操作。
  2. flatmap是先map,再扁平化。

具體示例我們可以看如下的例子:

val arr=sc.parallelize(Array("a1","b2","c3"))

使用map:

arr.map(x=>x).foreach(println)

輸出結果為:

c3
b2
a1

使用flatmap:

arr.flatMap(x=>x).foreach(println)

輸出結果為:

b
a
1
c
2
3

這里可以看到。flatMap首先是對元素進行映射,然后扁平化默認會分割成一個一個字母。

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成,瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發(fā)布,文章內容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關閱讀更多精彩內容

友情鏈接更多精彩內容