准备工作:准备三台虚拟机,分别下载kafka,跟zookeeper(注意zookeeper版本选择最好跟kafka对应,可以去kafka/lib/查看自带的zk的版本,然后去下载对应的版本号),我的版本分别使用的是kafka_2.10-0.10.2.1,zookeeper-3.4.9。
- 先部署zk
-
解压zk,并创建一个文件夹存放数据。
-
修改/zookeeper-3.4.9/conf下的zoo.cfg文件
-
修改一下日志输出的位置,修改zookeeper-3.4.9/bin/zkEnv.sh,以及zookeeper-3.4.9/conf下的log4j.properties
- 在你开始创建的文件夹里面创建myid文件并写入你的zk的id数值
-
启动zk
- 其他机器是同样的步骤进行配置
- 部署kafka
-
解压kafka,并创建一个存放数据的文件夹
2.修改kafka/config/server.properties
3.启动kafka
4.其他机器也是同样的步骤
分布式部署kafka完毕,可以进行produce跟consume了