當(dāng)使用sparkstreaming處理流式數(shù)據(jù)的時(shí)候，它的數(shù)據(jù)源搭檔大部分都是Kafka，尤其是在互聯(lián)網(wǎng)公司頗為常見。 當(dāng)他們集成的時(shí)候我們需要重點(diǎn)考慮就是如果程序發(fā)生故障，...
發(fā)簡信
IP屬地：北京
-
關(guān)于SparkStreaming的checkpoint的弊端
-
spark源碼閱讀-KafkaUtils代碼-Direct方式
KafkaUtils 用于創(chuàng)建一個(gè)從Kafka Brokers 拉取數(shù)據(jù)的輸入數(shù)據(jù)流。之前有一個(gè)文章介紹了sparkstream創(chuàng)建kafka的數(shù)據(jù)流有兩種方式，一種是Rec...
-
SparkStreaming之寫數(shù)據(jù)到Kafka
本文主要記錄使用SparkStreaming從Kafka里讀取數(shù)據(jù)，并使用Redis保存Offset，并監(jiān)聽Redis中的某個(gè)Key是否存在來停止程序，將讀取到的數(shù)據(jù)轉(zhuǎn)換為j...
-
sparkStreaming與kafka整合
sparkStreaming與kafka的整合 //基于Direct方式整合kafka package spark.com.test.day04 import kafka.s...
-
終身學(xué)習(xí)者、大學(xué)教師。稍微懂一點(diǎn)兒寫作、演講、Python和機(jī)器學(xué)習(xí)。歡迎微信關(guān)注并置頂我的公眾號“玉樹芝蘭”(nkwangshuyi)。我已委托“維權(quán)騎士”（rightknights.com）為我的文章進(jìn)行維權(quán)行動。
-
-
尋找遠(yuǎn)程工作機(jī)會。。。
-
Hadoop面試復(fù)習(xí)系列——HDFS（一）轉(zhuǎn)載自：https://cloud.tencent.com/developer/article/1031641https://my.oschina.net/freelili/...
-
大數(shù)據(jù)面試題、經(jīng)驗(yàn)分享及新手問答整理原文地址：http://www.aboutyun.com/thread-9581-1-1.html **筆試類型： **1、 java基礎(chǔ)類：2、 linux基礎(chǔ)： **面試...
-
Hadoop/Spark大數(shù)據(jù)面試總結(jié)
1. 簡答說一下hadoop的map-reduce編程模型 首先map task會從本地文件系統(tǒng)讀取數(shù)據(jù)，轉(zhuǎn)換成key-value形式的鍵值對集合 使用的是hadoop內(nèi)置的...
-
Kafka Partition存儲機(jī)制與高吞吐率原理
一、Topic定義與Partition存儲機(jī)制 Topic在邏輯上可以被認(rèn)為是一個(gè)管道，每條生產(chǎn)/消費(fèi)都必須指明Topic，也就是指定這條消息應(yīng)該在哪條管道進(jìn)行傳輸。 為了使...
-
Kafka partition的數(shù)量問題
kafka的每個(gè)topic都可以創(chuàng)建多個(gè)partition，partition的數(shù)量無上限，并不會像replica一樣受限于broker的數(shù)量，因此partition的數(shù)量可...
-
-
2019別再互聯(lián)網(wǎng)寒冬了，有那時(shí)間還不如刷幾道Java面試題天天互聯(lián)網(wǎng)寒冬，其實(shí)哪里有什么互聯(lián)網(wǎng)寒冬，只不過是你穿的少而已，有那個(gè)時(shí)間去關(guān)心互聯(lián)網(wǎng)寒冬會倒下多少人，還不如來刷幾道Java面試題！ 話不多說，直接開干，下面分享我用業(yè)余時(shí)...
-
十年架構(gòu)師教你：如何搞定計(jì)算機(jī)網(wǎng)絡(luò)面試（終結(jié)篇）
本文接上期內(nèi)容。 TCP 協(xié)議如何保證可靠傳輸 1、應(yīng)用數(shù)據(jù)被分割成 TCP 認(rèn)為最適合發(fā)送的數(shù)據(jù)塊。 2、TCP 給發(fā)送的每一個(gè)包進(jìn)行編號，接收方對數(shù)據(jù)包進(jìn)行排序，把有序數(shù)...
