Kafka集群环境搭建大数据qq39380737的博客-

Kafka集群环境搭建

1.安装kafka集群，要确保安装zookeeper集群zookeeper安装方式

2. Kafka安装

3台虚拟机均进行以下操作：

2.1 解压下载好的kafka压缩包并重命名

cd /usr/local wget http://mirror.bit.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz  tar -zxvf kafka_2.11-1.0.0.tgz mv kafka_2.12-0.11.0.0 kafka 

2.2 修改配置文件

vi ./kafka/config/server.properties 

需要修改的内容如下(192.168.223.140)

broker.id=1 listeners=PLAINTEXT://192.168.223.140:9092 zookeeper.connect=192.168.223.140:2181,192.168.223.141:2181,192.168.223.142:2181 

2.3 添加环境变量
（1） 在系统环境中配置kafka的路径

vi /etc/profile 

（2）添加环境变量

#kafka export KAFKA_HOME=/usr/local/kafka PATH=${KAFKA_HOME}/bin:$PATH export PATH 

（3）使修改完的环境变量生效

 source /etc/profile 

2.4 克隆虚拟机
       我们选择克隆虚拟机，每一台都去执行上述命令，很繁琐，我们可以选择克隆虚拟机节约时间
虚拟机克隆方法

（1）需要修改的内容如下(192.168.223.141)

broker.id=2 listeners=PLAINTEXT://192.168.223.141:9092 zookeeper.connect=192.168.223.140:2181,192.168.223.141:2181,192.168.223.142:2181 

（2）需要修改的内容如下(192.168.223.142)

broker.id=3 listeners=PLAINTEXT://192.168.223.142:9092 zookeeper.connect=192.168.223.140:2181,192.168.223.141:2181,192.168.223.142:21811 

注意：kafka的broker.id和zookeeper中的myid,没有任何关系，只要保证在集群中唯一即可

3.Kafka集群环境测试

3.1验证zookeeper集群有没有问题

3.1.1 开启3台虚拟机的zookeeper程序  /usr/local/zookeeper/bin/zkServer.sh start  3.1.2 开启成功后查看zookeeper集群的状态  /usr/local/zookeeper/bin/zkServer.sh status  出现Mode:follower或是Mode:leader则代表成功  3.1.3在后台开启3台虚拟机的kafka程序(cd /usr/local/kafka) ./bin/kafka-server-start.sh -daemon config/server.properties 

连接任意一台zookeeper服务器，能看到一下信息，说明zookeeper集群没有问题

3.2验证kafka集群有没有问题
创建topic和查询所有topic

cd /usr/local/kafka/ 

1. 在其中一台虚拟机(192.168.223.142)创建主题，不建议写localhost,同时主题已经存在也会报错

bin/kafka-topics.sh --create --zookeeper 192.168.223.142:2181 --replication-factor 1 --partitions 1 --topic test 

2. 查询所有主题

bin/kafka-topics.sh --list --zookeeper 192.168.223.142:2181 

3.生产者和消费者
创建 producer(生产者): 测试生产消息

bin/kafka-console-producer.sh --broker-list 192.168.223.142:9092 -topic test 

创建 consumer(消费者): 测试消费

bin/kafka-console-consumer.sh --bootstrap-server 192.168.223.142:9092 -topic test --from-beginning 

kafka相关原理、参数解析以及springboot整合kafka请参考本篇文章