kafka持久化

? ? ? ?今天改寫之前的項(xiàng)目,由于之前對(duì)于kafka的認(rèn)知不足,簡(jiǎn)單的以為是和rabbitmq都是amqp的一種實(shí)現(xiàn),結(jié)果大錯(cuò)特錯(cuò),那么這篇日志來記錄下今天學(xué)習(xí)的成果

? ? ? ?根據(jù)百度百科的信息,Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng),它可以處理消費(fèi)者規(guī)模的網(wǎng)站中的所有動(dòng)作流數(shù)據(jù)。 這種動(dòng)作(網(wǎng)頁瀏覽,搜索和其他用戶的行動(dòng))是在現(xiàn)代網(wǎng)絡(luò)上的許多社會(huì)功能的一個(gè)關(guān)鍵因素。 這些數(shù)據(jù)通常是由于吞吐量的要求而通過處理日志和日志聚合來解決。 對(duì)于像Hadoop的一樣的日志數(shù)據(jù)和離線分析系統(tǒng),但又要求實(shí)時(shí)處理的限制,這是一個(gè)可行的解決方案。Kafka的目的是通過Hadoop的并行加載機(jī)制來統(tǒng)一線上和離線的消息處理,也是為了通過集群來提供實(shí)時(shí)的消費(fèi)。

? ? ? ?首先是ampq和kafka對(duì)于消息信息持久化的不同,ActiveMQ消息持久化方式,分別是:文件、mysql數(shù)據(jù)庫(kù)、oracle數(shù)據(jù)庫(kù)。而kafka則是把數(shù)據(jù)以追加日志的形式存在了磁盤上。這樣的優(yōu)勢(shì)就在于讀操作不會(huì)阻塞寫操作和其他操作(因?yàn)樽x和寫都是追加的形式,都是順序的,不會(huì)亂,所以不會(huì)發(fā)生阻塞),數(shù)據(jù)大小不對(duì)性能產(chǎn)生影響;沒有容量限制(相對(duì)于內(nèi)存來說)的硬盤空間建立消息系統(tǒng);線性訪問磁盤,速度快,可以保存任意一段時(shí)間!

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • Kafka入門經(jīng)典教程-Kafka-about云開發(fā) http://www.aboutyun.com/threa...
    葡萄喃喃囈語閱讀 10,981評(píng)論 4 54
  • 本文轉(zhuǎn)載自http://dataunion.org/?p=9307 背景介紹Kafka簡(jiǎn)介Kafka是一種分布式的...
    Bottle丶Fish閱讀 5,583評(píng)論 0 34
  • Design 1. Motivation 我們?cè)O(shè)計(jì)Kafka用來作為統(tǒng)一的平臺(tái)來處理大公司可能擁有的所有實(shí)時(shí)數(shù)據(jù)源...
    BlackManba_24閱讀 1,640評(píng)論 0 8
  • 背景介紹 Kafka簡(jiǎn)介 Kafka是一種分布式的,基于發(fā)布/訂閱的消息系統(tǒng)。主要設(shè)計(jì)目標(biāo)如下: 以時(shí)間復(fù)雜度為O...
    高廣超閱讀 13,043評(píng)論 8 167
  • 小蝌蚪的腳丫拔呀拔 褪去了小尾巴 長(zhǎng)成了大青蛙 蠶寶寶的絲線纏呀纏 鉆出了蛹被子 蛻成了蛾姑娘 小寶寶爬呀爬 咿咿...
    褚鳶兒閱讀 263評(píng)論 4 4

友情鏈接更多精彩內(nèi)容