當(dāng)使用sparkstreaming處理流式數(shù)據(jù)的時(shí)候，它的數(shù)據(jù)源搭檔大部分都是Kafka，尤其是在互聯(lián)網(wǎng)公司頗為常見(jiàn)。 當(dāng)他們集成的時(shí)候我們需要重點(diǎn)考慮就是如果程序發(fā)生故障，...
發(fā)簡(jiǎn)信
IP屬地：北京
-
關(guān)于SparkStreaming的checkpoint的弊端
-
spark源碼閱讀-KafkaUtils代碼-Direct方式
KafkaUtils 用于創(chuàng)建一個(gè)從Kafka Brokers 拉取數(shù)據(jù)的輸入數(shù)據(jù)流。之前有一個(gè)文章介紹了sparkstream創(chuàng)建kafka的數(shù)據(jù)流有兩種方式，一種是Rec...
-
SparkStreaming之寫(xiě)數(shù)據(jù)到Kafka
本文主要記錄使用SparkStreaming從Kafka里讀取數(shù)據(jù)，并使用Redis保存Offset，并監(jiān)聽(tīng)Redis中的某個(gè)Key是否存在來(lái)停止程序，將讀取到的數(shù)據(jù)轉(zhuǎn)換為j...
-
sparkStreaming與kafka整合
sparkStreaming與kafka的整合 //基于Direct方式整合kafka package spark.com.test.day04 import kafka.s...
-
終身學(xué)習(xí)者、大學(xué)教師。稍微懂一點(diǎn)兒寫(xiě)作、演講、Python和機(jī)器學(xué)習(xí)。歡迎微信關(guān)注并置頂我的公眾號(hào)“玉樹(shù)芝蘭”(nkwangshuyi)。我已委托“維權(quán)騎士”（rightknights.com）為我的文章進(jìn)行維權(quán)行動(dòng)。
-
-
尋找遠(yuǎn)程工作機(jī)會(huì)。。。
-
Hadoop面試復(fù)習(xí)系列——HDFS（一）轉(zhuǎn)載自：https://cloud.tencent.com/developer/article/1031641https://my.oschina.net/freelili/...
-
大數(shù)據(jù)面試題、經(jīng)驗(yàn)分享及新手問(wèn)答整理原文地址：http://www.aboutyun.com/thread-9581-1-1.html **筆試類(lèi)型： **1、 java基礎(chǔ)類(lèi)：2、 linux基礎(chǔ)： **面試...
-
Hadoop/Spark大數(shù)據(jù)面試總結(jié)
1. 簡(jiǎn)答說(shuō)一下hadoop的map-reduce編程模型 首先map task會(huì)從本地文件系統(tǒng)讀取數(shù)據(jù)，轉(zhuǎn)換成key-value形式的鍵值對(duì)集合 使用的是hadoop內(nèi)置的...
-
Kafka Partition存儲(chǔ)機(jī)制與高吞吐率原理
一、Topic定義與Partition存儲(chǔ)機(jī)制 Topic在邏輯上可以被認(rèn)為是一個(gè)管道，每條生產(chǎn)/消費(fèi)都必須指明Topic，也就是指定這條消息應(yīng)該在哪條管道進(jìn)行傳輸。 為了使...
-
Kafka partition的數(shù)量問(wèn)題
kafka的每個(gè)topic都可以創(chuàng)建多個(gè)partition，partition的數(shù)量無(wú)上限，并不會(huì)像replica一樣受限于broker的數(shù)量，因此partition的數(shù)量可...
-
-
2019別再互聯(lián)網(wǎng)寒冬了，有那時(shí)間還不如刷幾道Java面試題天天互聯(lián)網(wǎng)寒冬，其實(shí)哪里有什么互聯(lián)網(wǎng)寒冬，只不過(guò)是你穿的少而已，有那個(gè)時(shí)間去關(guān)心互聯(lián)網(wǎng)寒冬會(huì)倒下多少人，還不如來(lái)刷幾道Java面試題！ 話(huà)不多說(shuō)，直接開(kāi)干，下面分享我用業(yè)余時(shí)...
-
十年架構(gòu)師教你：如何搞定計(jì)算機(jī)網(wǎng)絡(luò)面試（終結(jié)篇）
本文接上期內(nèi)容。 TCP 協(xié)議如何保證可靠傳輸 1、應(yīng)用數(shù)據(jù)被分割成 TCP 認(rèn)為最適合發(fā)送的數(shù)據(jù)塊。 2、TCP 給發(fā)送的每一個(gè)包進(jìn)行編號(hào)，接收方對(duì)數(shù)據(jù)包進(jìn)行排序，把有序數(shù)...
