對(duì)于多次操作的RDD進(jìn)行持久化和Checkpoint操作

1.使用序列化的持久化級(jí)別

除了對(duì)多次使用的RDD進(jìn)行持久化操作之外，還可以進(jìn)一步優(yōu)化其性能。因?yàn)楹苡锌赡?，RDD的數(shù)據(jù)是持久化到內(nèi)存，或者磁盤中的。那么，此時(shí)，如果內(nèi)存大小不是特別充足，完全可以使用序列化的持久化級(jí)別，比如MEMORY_ONLY_SER、MEMORY_AND_DISK_SER等。使用RDD.persist(StorageLevel.MEMORY_ONLY_SER)這樣的語(yǔ)法即可。
這樣的話，將數(shù)據(jù)序列化之后，再持久化，可以大大減小對(duì)內(nèi)存的消耗。此外，數(shù)據(jù)量小了之后，如果要寫(xiě)入磁盤，那么磁盤io性能消耗也比較小。
對(duì)RDD持久化序列化后，RDD的每個(gè)partition的數(shù)據(jù)，都是序列化為一個(gè)巨大的字節(jié)數(shù)組。這樣，對(duì)于內(nèi)存的消耗就小的多了。但是唯一的缺點(diǎn)就是，獲取RDD數(shù)據(jù)時(shí)，需要對(duì)其進(jìn)行反序列化，會(huì)增大其性能開(kāi)銷。
因此，對(duì)于序列化的持久化級(jí)別，還可以進(jìn)一步優(yōu)化，也就是說(shuō)，使用Kryo序列化類庫(kù)，這樣，可以獲得更快的序列化速度，并且占用更小的內(nèi)存空間。但是要記住，如果RDD的元素（RDD<T>的泛型類型），是自定義類型的話，在Kryo中提前注冊(cè)自定義類型。