1 资源
| 资源信息 | 版本号 | 备注 |
|---|---|---|
| 服务器 | Centos7 | IP: 192.168.51.4 |
| JRE | 1.8 | 如果已安装请忽略 |
| kafka | 2.12-2.1.0 | IP: 192.168.51.4 |
| zookeeper | 3.4.10 | IP: 192.168.51.4 |
JRE-1.8 下载：https://download.csdn.net/download/qq_15769939/12115544
CSDN kafaka下载：https://download.csdn.net/download/qq_15769939/16100116
官网地址：kafaka下载：http://kafka.apache.org/downloads
2 JDK安装
zookeeper是需要依赖于JDK环境的，如果未安装，可参考博文：
Centos7 离线安装和配置jre1.8：https://blog.csdn.net/qq_15769939/article/details/112749984
ZK zookeeper单机安装与配置：https://blog.csdn.net/qq_15769939/article/details/115262156
3 安装与配置
3.1 上传服务器
将文件上传到服务器的 /opt/module/software/kafka 目录
[root@localhost software]# cd /opt/module/software/kafka/
[root@localhost kafka]# ll
总用量 53912
-rw-r--r--. 1 root root 55201797 3月 25 15:46 kafka_2.12-2.1.0.tgz.zip
3.2 解压到指定目录
[root@localhost kafka]# unzip kafka_2.12-2.1.0.tgz.zip
[root@localhost kafka]# tar -zxvf kafka_2.12-2.1.0.tgz -C /usr/local
[root@localhost kafka]# cd /usr/local
[root@localhost local]# mv kafka_2.12-2.1.0/ kafka_2.12
3.3 修改配置
[root@localhost conf]# vi /usr/local/kafka_2.12/config/server.properties
## 修改配置：
broker.id=0
port=9092
host.name=192.168.51.4
advertised.host.name=192.168.51.4
log.dirs=/usr/local/kafka_2.12/kafka-logs
num.partitions=2
zookeeper.connect=192.168.51.4:2181
创建日志目录
[root@localhost conf]# mkdir /usr/local/kafka_2.12/kafka-logs
3.4 测试启动
3.4.1 启动 kafka
[root@localhost conf]# /usr/local/kafka_2.12/bin/kafka-server-start.sh /usr/local/kafka_2.12/config/server.properties &
3.4.2 查看进程
[root@localhost local]# jps -l
85465 kafka.Kafka
3.4.3 停止 kafka
[root@localhost bin]# /usr/local/kafka_2.12/bin/kafka-server-stop.sh /usr/local/kafka_2.12/config/server.properties &
4 常用命令
4.1 创建topic主题
# 创建topic主题命令：（创建名为test的topic， 1个分区分别存放数据，数据备份总共1份）
kafka-topics.sh --zookeeper 192.168.1.46:2181 --create --topic topic1 --partitions 1 --replication-factor 1
- --zookeeper 为zookeeper服务列表地址配置项，这里任意指定zookeeper其中一个服务列表地址即可
- --create 命令后 --topic 为创建topic 并指定 topic name
- --partitions 为指定分区数量配置项
- --replication-factor 为指定副本集数量配置项
4.2 查看topic列表
kafka-topics.sh --zookeeper 192.168.51.4:2181 --list
4.3 发送数据
kafka-console-producer.sh --broker-list 192.168.51.4:9092 --topic topic-test
4.4 接收数据
kafka-console-consumer.sh --bootstrap-server 192.168.51.4:9092 --topic topic-test --from-beginning
4.5 删除topic
kafka-topics.sh --zookeeper 192.168.51.4:2181 --delete --topic topic-test
4.6 查看消费进度
kafka-consumer-groups.sh --bootstrap-server 192.168.51.4:9092 --describe --group group1
- -describe --group 为订阅组， 后面指定 group name
5 相关信息
- 博文不易，辛苦各位猿友点个关注和赞，感谢
