整合Kafka到Spark Streaming——代碼示例和挑戰(zhàn) - stark_summer的專欄 - 博客頻道 - CSDN.NET
http://blog.csdn.net/stark_summer/article/details/44038247
作為一個實時大數(shù)據(jù)處理工具， Spark Sreaming 近日一直被廣泛關(guān)注，與 Apache Storm 的對比也經(jīng)常出現(xiàn)。但是依我說，缺少與Kafka整合，任何實時大數(shù)據(jù)處理工具都是不完整的，因此我將一個示例Spark Streaming應(yīng)用程序添加到 kafka-storm-starter ，并且示范如何從Kafka讀取，以及如何寫入到Kafka。在這個過程中，我還使用Avro作為數(shù)據(jù)格式，以及Twitter Bijection進(jìn)行數(shù)據(jù)序列化。

在任何Spark應(yīng)用程序中，一旦某個Spark Streaming應(yīng)用程序接收到輸入數(shù)據(jù)，其他處理都與非streaming應(yīng)用程序相同。也就是說，與普通的Spark數(shù)據(jù)流應(yīng)用程序一樣，在Spark Streaming應(yīng)用程序中，你將使用相同的工具和模式。更多詳情可見Level of Parallelism in Data Processing 文檔。