arm平臺(tái)kafka性能測試

部署方式

生產(chǎn)者測試

分區(qū)數(shù)

測試過程

1. 新建一個(gè)擁有3個(gè)分區(qū)、1個(gè)副本的主題；
2. 新建一個(gè)擁有6個(gè)分區(qū)、1個(gè)副本的主題；
3. 新建一個(gè)擁有15個(gè)分區(qū)、1個(gè)副本的主題；
4. 新建一個(gè)擁有24個(gè)分區(qū)、1個(gè)副本的主題；
5. 新建一個(gè)擁有30個(gè)分區(qū)、1個(gè)副本的主題；
6. 向擁有3個(gè)分區(qū)、1個(gè)副本的主題中發(fā)送相同數(shù)量的消息記錄，查看性能變化；
7. 向擁有6個(gè)分區(qū)、1個(gè)副本的主題中發(fā)送相同數(shù)量的消息記錄，查看性能變化；
8. 向擁有15個(gè)分區(qū)、1個(gè)副本的主題中發(fā)送相同數(shù)量的消息記錄，查看性能變化；
9. 向擁有24個(gè)分區(qū)、1個(gè)副本的主題中發(fā)送相同數(shù)量的消息記錄，查看性能變化；
10. 向擁有30個(gè)分區(qū)、1個(gè)副本的主題中發(fā)送相同數(shù)量的消息記錄，查看性能變化。

測試命令

#創(chuàng)建topic
#根據(jù)測試條件更改參數(shù)--partitions

./bin/kafka-topics.sh \
    --create  \
    --zookeeper 172.32.150.250:2181 172.32.150.251:2181 172.32.150.252:2181 \
    --topic testproducer \
    --partitions XX \
    --replication-factor 1  

#創(chuàng)建生產(chǎn)者
#消息長度1024
./bin/kafka-producer-perf-test.sh \
    --num-records 5000000  \
    --topic testproducer  \
    --record-size 1024 \
    --throughput  -1 \
    --producer-props bootstrap.servers=172.32.150.250:9092,172.32.150.251:9092,172.32.150.252:9092 acks=-1

#消息長度2048
./bin/kafka-producer-perf-test.sh \
    --num-records 5000000  \
    --topic testproducer  \
    --record-size 2048 \
    --throughput  -1 \
    --producer-props bootstrap.servers=172.32.150.250:9092,172.32.150.251:9092,172.32.150.252:9092 acks=-1

#刪除topic
./bin/kafka-topics.sh \
    --delete \
    --zookeeper 172.32.150.250:2181 172.32.150.251:2181 172.32.150.252:2181 \
    --topic testproducer

測試結(jié)果

測試結(jié)論

當(dāng)partition個(gè)數(shù)為broker數(shù)的5倍左右時(shí)性能較好。

副本數(shù)

測試過程

1. 新建一個(gè)擁有15個(gè)分區(qū)、1個(gè)副本的主題；
2. 新建一個(gè)擁有15個(gè)分區(qū)、2個(gè)副本的主題；
3. 新建一個(gè)擁有15個(gè)分區(qū)、3個(gè)副本的主題；

測試命令

參考之前分區(qū)數(shù)測試相關(guān)命令。

測試結(jié)果

測試結(jié)論

當(dāng)副本數(shù)為1時(shí)性能最佳，增加副本后性能下降明顯。