(11)Kafka分區(qū)數(shù)只加不減(2)

topic創(chuàng)建后,可修改分區(qū)數(shù)、配置等,功能由kafka-topics.sh腳本中alter指令提供。

一、如何增加主題分區(qū)數(shù)?

例:主題topic-config,分區(qū)數(shù)1改3

告警信息:"topic有key時(不null),根據(jù)key計(jì)算分區(qū)就有所影響"。1發(fā)往一個分區(qū);3原本發(fā)分區(qū)0,可能發(fā)分區(qū)1或2。

減少分區(qū)報(bào)出InvalidPartitionException異常:

二、為什么不支持減少分區(qū)?

1、不可靠:

? ??1)存現(xiàn)有分區(qū)尾部,時間戳不遞增,Spark、Flink需時間戳(事件時間)組件受影響

? ??2)分散插入,復(fù)制占用很大資源,復(fù)制期間,可用性、順序性、事務(wù)性、狀態(tài)機(jī)切換問題

2、如真要實(shí)現(xiàn),創(chuàng)建分區(qū)數(shù)小topic,現(xiàn)有復(fù)制過去

3、但分區(qū)副本數(shù)可減少,用kafka-reassign-partition.sh腳本實(shí)現(xiàn)

https://mp.weixin.qq.com/s/oMNR2mAffS5pP576o5sbgQ

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 主題作為消息的歸類,可以再細(xì)分為一個或多個分區(qū),分區(qū)可以看作對消息的二級歸類。分區(qū)的劃分不僅為Kafka提供了可伸...
    rookie_yuqi閱讀 1,098評論 0 0
  • 0 消息隊(duì)列使用場景 消息通訊 異步處理 應(yīng)用解耦 流量削峰 日志處理 1 消息中間件怎么保證消息冪等性/一致性?...
    allen鍋閱讀 750評論 0 0
  • Kafka官網(wǎng):http://kafka.apache.org/入門1.1 介紹Kafka? 是一個分布式流處理系...
    it_zzy閱讀 4,012評論 3 53
  • Kafka 概述 Kafka 最初是由 LinkedIn 即領(lǐng)英公司基于 Scala 和 Java 語言開發(fā)的分布...
    you的日常閱讀 524評論 1 1
  • 今天感恩節(jié)哎,感謝一直在我身邊的親朋好友。感恩相遇!感恩不離不棄。 中午開了第一次的黨會,身份的轉(zhuǎn)變要...
    余生動聽閱讀 10,852評論 0 11

友情鏈接更多精彩內(nèi)容