0x00 介绍
是一个分布式消息队列。
官网地址：https://kafka.apache.org/intro
0x01 安装
1.1 安装ZooKeeper
需要先安装ZooKeeper，官网地址：https://zookeeper.apache.org/
ZooKeeper下载地址：https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz
- 解压：
tar -xvf apache-zookeeper-3.6.3-bin.tar.gz -C /opt
- 修改配置文件
将数据保存下来，不放到临时目录，其中ZK_HOME是ZooKeeper的安装主目录
cd $ZK_HOME/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
# 修改： dataDir=/opt/temp/zookeeper
- 启动ZooKeeper
./zkServer.sh start
启动成功
- 关闭ZooKeeper
./zkServer.sh stop
1.2 安装Kafka
Kafka各个版本下载地址：https://kafka.apache.org/downloads
我们选择https://www.apache.org/dyn/closer.cgi?path=/kafka/2.8.0/kafka_2.13-2.8.0.tgz
- 解压
tar -xvf kafka_2.13-2.8.0.tgz -C /opt
- 配置环境变量（可选）
为了方便使用可以配置环境变量
export KAFKA_HOME=/opt/kafka_2.13-2.8.0
1.3 单节点单broker部署
- 修改配置文件
$KAFKA_HOME/config/server.properties
内容如下：
broker.id=0
listeners=PLAINTEXT://:9092
host.name=localhost
log.dirs=/opt/temp/kafka-logs
zookeeper.connect=localhost:2181
- 启动Kafka
export KAFKA_HOME=/opt/kafka_2.13-2.8.0
cd $KAFKA_HOME/bin
./kafka-server-start.sh $KAFKA_HOME/config/server.properties
//后台进程启动
./kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties
启动
- 创建Topic
副本系数为1，topic名称为hello_topic1，其中9092端口是在config/server.properties中配置listeners的那个端口
./kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic hello_topic1
- 查看所有Topic
./kafka-topics.sh --list --zookeeper localhost:2181
showlist
- 查看单独某一个Topic
./kafka-topics.sh --describe --topic hello_topic1 --bootstrap-server localhost:9092
describe
- 生产消息
9092端口是在config/server.properties中配置listeners的那个端口，可以把这个消息存放的地址
./kafka-console-producer.sh --broker-list localhost:9092 --topic hello_topic1
sendMessage
- 消费消息
--from-beginning表示从头到尾开始消费，不加的话是不会消费启动之前放到broker中的记录
./kafka-console-consumer.sh --bootstrap-server localhost:2181 --topic hello_topic1 --from-beginning
image.png
1.4 单节点多broker部署
- 配置文件
一个server.properties就相当于一个broker
cd $KAFKA_HOME/config/
cp server.properties server-1.properties
cp server.properties server-2.properties
cp server.properties server-3.properties
各个配置文件的内容如下：
server-1.properties内容如下：
log.dirs=/opt/temp/kafka-logs-1
listeners=PLAINTEXT://:9093
broker.id=1
zookeeper.connect=localhost:2181
server-2.properties内容如下：
log.dirs=/opt/temp/kafka-logs-1
listeners=PLAINTEXT://:9094
broker.id=2
zookeeper.connect=localhost:2181
server-3.properties内容如下：
log.dirs=/opt/temp/kafka-logs-1
listeners=PLAINTEXT://:9095
broker.id=3
zookeeper.connect=localhost:2181
- 启动Kafka
export KAFKA_HOME=/opt/kafka_2.13-2.8.0
cd $KAFKA_HOME/bin
kafka-server-start.sh -daemon $KAFKA_HOME/config/server-1.properties &
kafka-server-start.sh -daemon $KAFKA_HOME/config/server-2.properties &
kafka-server-start.sh -daemon $KAFKA_HOME/config/server-3.properties &
- 创建Topic
./kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 3 --partitions 1 --topic hello_topic2
- 生产消息
./kafka-console-producer.sh --broker-list localhost:9093,localhost:9094,localhost:9095 --topic hello_topic2
- 消费消息
./kafka-console-consumer.sh --bootstrap-server localhost:2181 --topic hello_topic2 --from-beginning
