本文盤點下到Kafka 2.4.1版本以來的一些亮點,這些亮點或筆者實際中踩過的坑、或可能將來會在實踐中使用、或個人關(guān)注的,點擊官方發(fā)布日志連接查看全貌。
0.11.0.3
0.11.0.2于2017年11月17日發(fā)布;0.11.0.3于2018年6月2日發(fā)布修訂版本。
其中修復(fù)了0.11.0.2以前的一個BUG,該Bug曾導(dǎo)致過生產(chǎn)事故;即堆內(nèi)存不能正?;厥眨l繁Full GC。詳見:Kafka(0.11.0.2版本)堆內(nèi)存不能正常回收問題分析【實戰(zhàn)筆記】[KAFKA-6307]
1.0.0
1.0.0于2017年11月1日發(fā)布;1.0.1于2018年3月5日發(fā)布;1.0.2于2018年6月8日發(fā)布。
增強各個組件的穩(wěn)定性。可以容忍JBOD磁盤故障,故障時不再導(dǎo)致broker崩潰,會保留可用磁盤上的日志文件。[KAFKA-4763]
冪等生產(chǎn)者或者我們要保證消息順序性時需要設(shè)置max.in.flight.requests.per.connection=1;1.0.0之后可以最大設(shè)置為5,從而提升投遞性能。[KAFKA-5494]
1.0.0官方發(fā)布日志
1.0.1官方發(fā)布日志
1.0.2官方發(fā)布日志
1.1.0
1.1.0于2018年3月28日發(fā)布;1.1.1于2018年6月19日發(fā)布
1.1.0通過將同步方式修改為異步方式,提升了KafkaI使Controller的shutdown速度;由于Controller性能的改進促使集群可以支持20萬個分區(qū)。[KIP-227]
Apache Kafka Supports 200K Partitions Per Cluster
Apache Kafka支持單集群20萬分區(qū)
增加了對單broker日志目錄之間的數(shù)據(jù)遷移,例如:一個broker下掛了多個磁盤,當(dāng)各個分區(qū)出現(xiàn)不均衡時,1.1.0之后支持該broker磁盤將分區(qū)遷移實現(xiàn)數(shù)據(jù)均衡。[KAFKA-5163]
1.1.0官方發(fā)布日志
1.1.1官方發(fā)布日志
2.0.0
2.0.0于2018年6月30日發(fā)布;2.0.1于2018年11月9日發(fā)布;增加了主題前綴或通配符的ACL的支持,從而簡化了大型安全部署中的訪問控制管理。[KAFKA-6841]
支持OAuth 2.0認(rèn)證[KAFKA-6562]
2.0.0官方發(fā)布日志
2.0.1官方發(fā)布日志
2.1.0
2.1.0于2018年11月20日發(fā)布;2.1.1于2019年2月15日發(fā)布。
支持Zstandard壓縮算法
[KAFKA-4514]
2.1.0官方發(fā)布日志
2.1.1官方發(fā)布日志
2.2.0
2.2.0于2019年3月22日發(fā)布;2.2.1于2019年6月1日發(fā)布;2.2.2于2019年12月1日發(fā)布。
改進消費組管理,默認(rèn)group.id為null,以前為空字符串。[KAFKA-6774]
2.3.0
2.3.0于2019年6月25日發(fā)布;2.3.1于2019年10月24日發(fā)布。
提供命令查看哪些topic的分區(qū)小于最小ISR的數(shù)量。[KAFKA-7236]
2.4.0
2.4.0于2019年12月16日發(fā)布;2.4.1于2020年3月12日發(fā)布。
允許消費者從最近的副本(follower)獲取數(shù)據(jù) [KAFKA-8443]
跨機房數(shù)據(jù)同步引擎MirrorMaker 2.0 [KAFKA-7500]
升級ZooKeeper到3.5.7該版本fix了21個issue [KAFKA-9515]
作者老梁,哈啰出行高級技術(shù)專家,參與了《RocketMQ技術(shù)內(nèi)幕》審稿工作。專注后端中間件方向,已陸續(xù)發(fā)表RocketMQ系列、Kafka系列、gRPC系列、Sentinel系列、Java NIO系列。其中RocketMQ系列已發(fā)表40余篇。源碼、實戰(zhàn)、原理、調(diào)優(yōu)期待與你一起學(xué)習(xí)。

