docker 中安装kafka
在安装kafka之前需要先安装zookeeper,因为kafka 启动会将元数据保存在 zookeeper 中,zookeeper是一种分布式协调服务,可以再分布式系统中共享配置,协调锁资源,提供命名服务。
zookeeper 安装
- 在docker中拉取zookeeper 镜像
docker pull wurstmeister/zookeeper
- 运行zookeeper 服务
docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name zookeeper -p 2181:2181 wurstmeister/zookeeper
- 查看docker 下是否正常运行zookeeper 服务
docker ps
kafka 安装
- 拉取kafka镜像
docker pull wurstmeister/kafka
- 运行kafka
KAFKA_ZOOKEEPER_CONNECT=192.168.11.129:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.11.129:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 wurstmeister/kafka
-e KAFKA_BROKER_ID=0 在kafka集群中,每个kafka都有一个BROKER_ID来区分自己
-e KAFKA_ZOOKEEPER_CONNECT=192.168.11.129:2181/kafka 配置zookeeper管理kafka的路径
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.11.129:9092 把kafka的地址端口注册给zookeeper
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 配置kafka的监听端口
-v /etc/localtime:/etc/localtime 容器时间同步虚拟机的时间
查看kafka是否运行正常
- 进入kafka容器
docker exec -it kafka /bin/bash
- 进入kafka的bin目录下:
cd /opt/kafka_2.13-2.8.1/bin
- 创建一个新主题(test-kafka)来存储事件
./kafka-topics.sh --create --topic test-kafka --bootstrap-server localhost:9092
- 显示新主题:test-kafka 的分区信息
./kafka-topics.sh --describe --topic test-kafka --bootstrap-server localhost:9092
- 测试消费消息
./kafka-console-consumer.sh --topic test-kafka --from-beginning --bootstrap-server localhost:9092
- 测试生产消息
./kafka-console-producer.sh --topic test-kafka --bootstrap-server localhost:9092