zookeeper集群安装 集群机器:192.168.218.213,192.168.218.214,192.168.218.215 使用版本:kafka_2.11-0.9.0.1.tgz,z
zookeeper集群安装
集群机器:192.168.218.213,192.168.218.214,192.168.218.215
使用版本:kafka_2.11-0.9.0.1.tgz,zookeeper-3.4.6.tgz
以下图片三台或更多的机器都配置相同:
- 配置主机名
- 配置zoo.cfg
- 启动3台机器和查询选举状态: ./zkServer.sh start
kafka集群:
在kafka配置config文件下配置修改 service.properties:
broker.id=1 #各个Broker机器是唯一的,需修改对应数据存储路径下的meta.properties的version对应
num.partitions=3 ,topic分区可在创建topic的时候指定,默认是1
host.name=192.168.218.213
default.replication.factor=2 分区因子,创建时指定,不可大于broker节点个数,参见FQA
zookeeper.connect=192.168.218.213:2181,192.168.218.214:2181,192.168.218.215:2181
启动: bin/kafka-server-start.sh ../config/server.properties &
测试:
1 创建topic
./kafka-topics.sh --create --zookeeper 192.168.218.215:2181 --replication-factor 2 --partition 2 --topic testpartitionedproducer
./kafka-topics.sh --create --zookeeper 192.168.218.213:2181 --replication-factor 2 --partition 1 --topic testproducer
./kafka-topics.sh --create --zookeeper 192.168.218.215:2181 --replication-factor 2 --partition 3 --topic ztestproducer
./kafka-topics.sh --create --zookeeper 192.168.218.215:2181 --replication-factor 3 --partition 3 --topic xtestproducer
2 消费端模拟:可在集群下的任意kafka下进行
./kafka-console-consumer.sh --zookeeper 192.168.218.215:2181 --from-beginning --topic kafkamonitor-partitionedproducer(topic名称)
3 监控:KafkaOffsetMonitor
4 生产者模拟:http://blog.csdn.net/dabokele/article/details/52373960