kafka簡單介紹
Kafka 是 LinkedIn 開源的一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，kafka的誕生就是為了處理海量日志數(shù)據(jù)，所以kafka處理消息的效率非常高，即使是非常普通的硬件也可以支持每秒數(shù)百萬的消息。
kafka 天然支持集群負(fù)載均衡，使用 zookeeper 進(jìn)行分布式協(xié)調(diào)管理。不支持事務(wù)，有一定概率丟失消息。
kafka 的特點(diǎn)，決定了使用場景：日志中間件。
下載docker鏡像
zookeeker: docker pull zookeeper:latest
kafka: docker pull wurstmeister/kafka:latest
創(chuàng)建并啟動(dòng)容器
先啟動(dòng)zookeeper:
docker run -d --name zookeeper --publish 2181:2181 \
--volume /etc/localtime:/etc/localtime \
zookeeper:latest
zookeeper啟動(dòng)完成后再啟動(dòng)kafka:
docker run -d --name kafka --publish 9092:9092 \
--link zookeeper \
--env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 \
--env KAFKA_ADVERTISED_HOST_NAME=kafka所在宿主機(jī)的IP \
--env KAFKA_ADVERTISED_PORT=9092 \
--volume /etc/localtime:/etc/localtime \
wurstmeister/kafka:latest
向kafka發(fā)送測試消息
運(yùn)行 docker ps，找到kafka的 CONTAINER ID，運(yùn)行 docker exec -it ${CONTAINER ID} /bin/bash，進(jìn)入kafka容器。
進(jìn)入kafka默認(rèn)目錄 /opt/kafka_2.11-0.10.1.0，運(yùn)行 bin/kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 1 --partitions 1 --topic test，創(chuàng)建一個(gè) topic 名稱為 test。
運(yùn)行 bin/kafka-topics.sh --list --zookeeper zookeeper:2181 查看當(dāng)前的 topic 列表。
運(yùn)行一個(gè)消息生產(chǎn)者，指定 topic 為剛剛創(chuàng)建的 test ， bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test，輸入一些測試消息。
運(yùn)行一個(gè)消息消費(fèi)者，同樣指定 topic 為 test， bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning，可以接收到生產(chǎn)者發(fā)送的消息。
最后
kafka 環(huán)境已經(jīng)搭建完成，接下來我們要對之前的工程進(jìn)行改造，使用 log4j2 的 kafka appender 把日志統(tǒng)一輸出到 kafka 日志中間件。
日志導(dǎo)入 kafka 之后，接下來的處理就比較靈活了，可以用不同功能的消費(fèi)者訂閱感興趣的 topic，進(jìn)行日志分析。例如：使用 kafka 作為 storm 的數(shù)據(jù)來源 spout，進(jìn)行流式處理；訂閱 kafka 中需要做離線統(tǒng)計(jì)處理的 topic，把數(shù)據(jù)保存到數(shù)據(jù)庫，一般是 mongodb 或 hbase 這種數(shù)據(jù)結(jié)構(gòu)松散的 nosql 數(shù)據(jù)庫；又或者可以使用 flume 或 logstash 這種管道工具，把數(shù)據(jù)導(dǎo)入到其他的系統(tǒng)，比如 elasticsearch、 solr 等。
kafka 作為最常用的日志中間件，可以把分散的日志集中到一處，并做緩沖處理，再和其他開源工具進(jìn)行集成，對數(shù)據(jù)做進(jìn)一步處理，是日志統(tǒng)計(jì)系統(tǒng)的基礎(chǔ)組件。
