大綱
1、Scala的集合體系結構
2、List
3、LinkedList
4、Set
5、集合的函數式編程
6、函數式編程綜合案例：統(tǒng)計多個文本內的單詞總數

1、Scala的集合體系結構

• Scala中的集合體系主要包括：Iterable、Seq、Set、Map。其中Iterable是所有集合trait的根trai。這個結構與Java的集合體系非常相似。

• Scala中的集合是分成可變和不可變兩類集合的，其中可變集合就是說，集合的元素可以動態(tài)修改，而不可變集合的元素在初始化之后，就無法修改了。分別對應scala.collection.mutable和scala.collection.immutable兩個包。

• Seq下包含了Range、ArrayBuffer、List等子trait。其中Range就代表了一個序列，通?？梢允褂谩? to 10”這種語法來產生一個Range。 ArrayBuffer就類似于Java中的ArrayList。

2、List

• List代表一個不可變的列表

• List的創(chuàng)建，val list = List(1, 2, 3, 4)

• List有head和tail，head代表List的第一個元素，tail代表第一個元素之后的所有元素，list.head，list.tail

• List有特殊的::操作符，可以用于將head和tail合并成一個List，0 :: list

• ::這種操作符要清楚，在spark源碼中都是有體現(xiàn)的，一定要能夠看懂！

• 如果一個List只有一個元素，那么它的head就是這個元素，它的tail是Nil

• 案例：用遞歸函數來給List中每個元素都加上指定前綴，并打印加上前綴的元素

object scala_demo09 {
  def main(args: Array[String]): Unit = {
    val list = List(1, 2, 3, 4)
    decorator(list,"jpg")
  }


  def decorator(l: List[Int], prefix: String) {
    if (l != Nil) {
      println(prefix + l.head)
      decorator(l.tail, prefix)
    }
  }


}

打印：

jpg1
jpg2
jpg3
jpg4

3、LinkedList

• LinkedList代表一個可變的列表，使用elem可以引用其頭部，使用next可以引用其尾部

• val l = scala.collection.mutable.LinkedList(1, 2, 3, 4, 5); l.elem; l.next

• 案例：使用while循環(huán)將LinkedList中的每個元素都乘以2
  val list = scala.collection.mutable.LinkedList(1, 2, 3, 4, 5)
  var currentList = list
  while (currentList != Nil) {
  currentList.elem = currentList.elem * 2
  currentList = currentList.next
  }

• 案例：使用while循環(huán)將LinkedList中，從第一個元素開始，每隔一個元素，乘以2

object scala_demo09 {
  def main(args: Array[String]): Unit = {
    val list = scala.collection.mutable.LinkedList(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)
    var currentList = list
    var first = true
    while (currentList != Nil && currentList.next != Nil) {
      if (first) {
        currentList.elem = currentList.elem * 2;
        println(currentList.elem)
        first = false
      }
      currentList = currentList.next.next
      if (currentList != Nil) {
        currentList.elem = currentList.elem * 2
        println(currentList.elem)
      }
    }

  }
}

打?。?/p>

2
6
10
14
18

4、Set

• Set代表一個沒有重復元素的集合

• 將重復元素加入Set是沒有用的，比如val s = Set(1, 2, 3); s + 1; s + 4

• 而且Set是不保證插入順序的，也就是說，Set中的元素是亂序的，val s = new scala.collection.mutable.HashSetInt; s += 1; s += 2; s += 5

• LinkedHashSet會用一個鏈表維護插入順序，val s = new scala.collection.mutable.LinkedHashSetInt; i += 1; s += 2; s += 5

• SrotedSet會自動根據key來進行排序，val s = scala.collection.mutable.SortedSet("orange", "apple", "banana")

5、集合的函數式編程

• 集合的函數式編程非常重要

• 必須完全掌握和理解Scala的高階函數是什么意思，Scala的集合類的map、flatMap、reduce、reduceLeft、foreach等這些函數，就是高階函數，因為可以接收其他函數作為參數

• 高階函數的使用，也是Scala與Java最大的一點不同,因為Java里面是沒有函數式編程的，也肯定沒有高階函數，也肯定無法直接將函數傳入一個方法，或者讓一個方法返回一個函數

• 對Scala高階函數的理解、掌握和使用也是Scala最有誘惑力、最有優(yōu)勢的一個功能

• 此外，在Spark源碼中，有大量的函數式編程，以及基于集合的高階函數的使用,所以必須掌握，才能看懂spark源碼

• map案例實戰(zhàn)：為List中每個元素都添加一個前綴
  List("Leo", "Jen", "Peter", "Jack").map("name is " + _)

• faltMap案例實戰(zhàn)：將List中的多行句子拆分成單詞
  List("Hello World", "You Me").flatMap(_.split(" "))

• foreach案例實戰(zhàn)：打印List中的每個單詞
  List("I", "have", "a", "beautiful", "house").foreach(println(_))

• zip案例實戰(zhàn)：對學生姓名和學生成績進行關聯(lián)
  List("Leo", "Jen", "Peter", "Jack").zip(List(100, 90, 75, 83))

6、函數式編程綜合案例：統(tǒng)計多個文本內的單詞總數

• 使用scala的io包將文本文件內的數據讀取出來

val lines01 = scala.io.Source.fromFile("C://Users//Administrator//Desktop//test01.txt").mkString
val lines02 = scala.io.Source.fromFile("C://Users//Administrator//Desktop//test02.txt").mkString

• 使用List的伴生對象，將多個文件內的內容創(chuàng)建為一個List

val lines = List(lines01, lines02)

• 下面這一行才是我們的案例的核心和重點，因為有多個高階函數的鏈式調用，以及大量下劃線的使用，如果沒有透徹掌握之前的課講解的Scala函數式編程，那么下面這一行代碼，完全可能會看不懂
• 但是下面這行代碼其實就是Scala編程的精髓所在，就是函數式編程，也是Scala相較于Java等編程語言最大的功能優(yōu)勢所在
• 而且，spark的源碼中大量使用了這種復雜的鏈式調用的函數式編程
• 而且，spark本身提供的開發(fā)人員使用的編程api的風格，完全沿用了Scala的函數式編程，比如Spark自身的api中就提供了map、flatMap、reduce、foreach，以及更高級的reduceByKey、groupByKey等高階函數
• 如果要使用Scala進行spark工程的開發(fā)，那么就必須掌握這種復雜的高階函數的鏈式調用

lines.flatMap(_.split(" ")).map((_, 1)).map(_._2).reduceLeft(_ + _)