當(dāng)使用sparkstreaming處理流式數(shù)據(jù)的時候，它的數(shù)據(jù)源搭檔大部分都是Kafka，尤其是在互聯(lián)網(wǎng)公司頗為常見。 當(dāng)他們集成的時候我們需要重點(diǎn)考慮就是如果程序發(fā)生故障，...
發(fā)簡信
IP屬地：北京
-
關(guān)于SparkStreaming的checkpoint的弊端
-
spark源碼閱讀-KafkaUtils代碼-Direct方式
KafkaUtils 用于創(chuàng)建一個從Kafka Brokers 拉取數(shù)據(jù)的輸入數(shù)據(jù)流。之前有一個文章介紹了sparkstream創(chuàng)建kafka的數(shù)據(jù)流有兩種方式，一種是Rec...
-
SparkStreaming之寫數(shù)據(jù)到Kafka
本文主要記錄使用SparkStreaming從Kafka里讀取數(shù)據(jù)，并使用Redis保存Offset，并監(jiān)聽Redis中的某個Key是否存在來停止程序，將讀取到的數(shù)據(jù)轉(zhuǎn)換為j...
-
sparkStreaming與kafka整合
sparkStreaming與kafka的整合 //基于Direct方式整合kafka package spark.com.test.day04 import kafka.s...
-
Hadoop面試復(fù)習(xí)系列——HDFS（一）轉(zhuǎn)載自：https://cloud.tencent.com/developer/article/1031641https://my.oschina.net/freelili/...
-
大數(shù)據(jù)面試題、經(jīng)驗(yàn)分享及新手問答整理原文地址：http://www.aboutyun.com/thread-9581-1-1.html **筆試類型： **1、 java基礎(chǔ)類：2、 linux基礎(chǔ)： **面試...
