kafka_2.11-0.11.0.1集群搭建
本文搭建一个三节点的Kafka集群。该集群有三个Zookeeper、三个Kafka Broker。
一、准备工作
解压kafka安装包,获得如下目录:
1
2unzip kafka_2.11-0.11.0.1.zip
kafka_2.11-0.11.0.1Kafka目录结构:
1
2cd kafka_2.11-0.11.0.1
tree -L 1展示如下内容:
1
2
3
4
5
6
7
8.
├── LICENSE
├── NOTICE
├── bin
├── config
├── libs
├── logs
└── site-docs
二、搭建Zookeeper集群
将目录切换到
Kafka
的config
目录,要修改的主要是server.properties以及zookeeper.properties两个配置文件。1
2server.properties kafka配置文件
zookeeper.properties zookeeper配置文件对Kafka感兴趣的童鞋们可前往 https://www.cnblogs.com/jun1019/p/6256371.html 了解Kafka常用配置属性详解。
修改
zookeeper.properties
:1
2
3
4
5
6
7
8initLimit=10
syncLimit=5
dataDir=/Users/apple/Desktop/zookeeper # zookeeper的快照存储地址
clientPort=2181 # zookeeper端口
maxClientCnxns=0 # 单个客户端与单台服务器之间的连接数的限制
IP1:2888:3888 # server.x中的x要与myid中的数字一致,2888用于follower与leader之间的数据同步与其他通信;3888用于leader选举时的通信。 =
IP2:2889:3889 =
IP3:2890:3890 =Zookeeper配置详解可参考:http://blog.csdn.net/lengzijian/article/details/9226867
将目录切换到
dataDir
目录,并创建myid文件,内容分别是1、2、3。注意myid的内容要与server.x
中的x相一致。1
2cd /Users/apple/Desktop/zookeeper
vim myid三台机器都配置好
zookeeper.properties
并创建myid
文件后,即可进行测试。依次在三台机器上执行如下命令,即可启动Zookeeper集群。1
2cd kafka_2.11-0.11.0.1 # 切换到你的Kafka目录
nohup bin/zookeeper-server-start.sh config/zookeeper.properties &观察启动日志,确认启动无误。
三、搭建Kafka集群
搭建完Zookeeper集群后,Kafka集群的搭建就完成了一大半。下面我们来搭建Kafka集群:
在Kafka的config目录下创建文件
server-cluster.properties
,在其中填写如下内容:1
2
3
41 # kafka broker的id,三个节点不能相同 =
listeners=PLAINTEXT://:9094 # kafka所使用的端口
/tmp/kafka-logs # kafka日志路径 =
xxx,yyy,zzz # Zookeeper集群的地址列表,IP:PORT的形式,多个用,分隔 =当然,这里
server-cluster.properties
名称不是强制的,你可以叫其他名字;不仅如此,也可直接修改server.properties
。依次在三台机器执行如下命令,启动Kafka
1
2cd kafka_2.11-0.11.0.1 # 切换到你的Kafka目录
bin/kafka-server-start.sh config/server-cluster.properties &观察启动日志,确认启动无误。
四、验证Kafka集群正常工作
创建一个Topic,其中的xxx、yyy、zzz是Zookeeper的地址,形式为IP:PORT
1
bin/kafka-topics.sh --create --zookeeper xxx,yyy,zzz --replication-factor 3 --partitions 1 --topic my-replicated-topic
我们现在已经搭建了一个Kafka集群,并创建了一个Topic,但我们如何知道每个broker在做什么呢?可使用
describe topics
命令:1
2
3
4bin/kafka-topics.sh --describe --zookeeper xxx,yyy,zzz --topic my-replicated-topic
Topic:my-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs:
Topic: my-replicated-topic Partition: 0 Leader: 1 Replicas: 1,3,2 Isr: 1,3,2其中,第一行是对所有partition的摘要,每个附加行给出了每个partition的详情,这里只有一个partition,所以只有一行。
leader是负责给定partition所有读写的节点,每个节点将称为partition随机选择部分的leader。
replicas是复制此partition日志的节点列表,无论它们是否leader,即使它们处于活动状态。
isr是一组
in-sync
副本,这是replicas列表的子集,这些副本当前活动,并被引导到leader。笔者按:isr常被翻译成“副本同步队列”。
leader、replicas、isr可参考:https://www.cnblogs.com/mengyou0304/p/4836555.html
创建一个生产者:
1
bin/kafka-console-producer.sh --broker-list kafka集群地址列表 --topic my-replicated-topic
地址为IP:PORT的形式,多个用逗号分隔
另启一个窗口,创建消费者:
1
bin/kafka-console-consumer.sh --bootstrap-server kafka地址 --from-beginning --topic my-replicated-topic
kafka地址为IP:PORT的形式,为Kafka集群中的任意一个节点。
在生产者窗口输入任意文字,看在消费者窗口能否接收。如果能正常接收,说明Kafka集群搭建成功。
五、界面管理
参考笔者博客Kafka Manager管理Kafka集群:http://www.itmuch.com/work/kafka-manager/
六、参考文档
- Kafka官方文档:http://kafka.apache.org/quickstart
- Kafka 0.9集群搭建文档:http://blog.csdn.net/gongxinju/article/details/53415051
评论系统未开启,无法评论!