1.kafka 的安装部署
可以去看kafka的快速入门：http://kafka.apache.org/quickstart
(1)下载安装包
https://www.apache.org/dyn/closer.cgi?path=/kafka/2.1.0/kafka_2.11-2.1.0.tgz(2)安装过程
tar -zxvf 解压安装包(3)kafka 目录介绍
- /bin 操作 kafka 的可执行脚本
- /config 配置文件
- /libs 依赖库目录
- /logs 日志数据目录
(4)启动/停止 kafka
- 需要先启动 zookeeper，如果没有搭建 zookeeper 环境，可以直接运行kafka 内嵌的 zookeeper
启动命令： bin/zookeeper-server-start.sh config/zookeeper.properties & - 进入 kafka 目录，运行 bin/kafka-server-start.sh ｛-daemon 后台启动｝ config/server.properties
- 进入 kafka 目录，运行 bin/kafka-server-stop.sh config/server.properties
2.kafka 的基本操作
创建topic
/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
Replication-factor 表示该 topic 需要在不同的 broker 中总共保存几份副本，replication-factor 表示只保存一个副本
Partitions 分区数
查看 topic
./kafka-topics.sh --list --zookeeper localhost:2181
查看 topic 属性
./kafka-topics.sh --describe --zookeeper localhost:2181 --topic test
消费消息
./kafka-console-consumer.sh –bootstrap-server localhost:9092 --topic test
--from-beginning
发送消息
./kafka-console-producer.sh --broker-list localhost:9092 --topic test
3.安装集群环境
这一部分可以参考：http://kafka.apache.org/quickstart#quickstart_multibroker
官网的是在一台机子中复制了kafka的broker的服务端的配置文件，然后启动指定了不同的配置文件来进行启动
在搭建集群的时候可以选择三台机器作为一个集群搭建，然后在启动一个zookeeper作为协调服务
- 修改 server.properties 配置
- 修改 server.properties. broker.id=0
集群中的broker的id不能重复，需要设置不一样的节点id - 修改 server.properties 修改成本机 IP
advertised.listeners=PLAINTEXT://192.168.11.153:9092
3.修改zookeeper的地址
zookeeper.connect=localhost:2181
zookeeper的为具体的实际的zookeeper部署的ip地址
- 修改其他的机子的server.properties的配置
- 启动zookeeper
sh zkServer.sh start - 分别启动三台kafka
bin/kafka-server-start.sh -daemon config/server.properties - 查看zookeeper的注册的brokder的节点是否全部启动
ls /brokers/ids
当 Kafka broker 启动时，它会在 ZK 上注册自己的 IP 和端口号，客户端就通过这个 IP和端口号来连接
