一、Kafka命令
1.1 启动命令
启动和关闭节点上的kafka服务，-daemon表示在后台启动
bin/kafka-server-start.sh -daemon config/server.properties
bin/kafka-server-stop.sh
指定zookeeper，因为需要先在zk上创建节点，kafka controller监控目录下有新文件，会创建新的topic，进行分区和副本均衡，选举leader然后将信息发送到zk中，同时每个broker都会缓存在metadatacache文件中，即zk和每台服务器上都有topic元数据。
1.2 常用命令
-
查看所有的topic
bin/kafka-topics.sh --zookeeper bigdata1:2181 --list -
创建一个名为first，分区数为3，副本数为2的topic
bin/kafka-topics.sh --zookeeper bigdata1:2181 --create --topic first --partitions 3 --replication-factor 2 -
查看名为first的topic的具体参数
bin/kafka-topics.sh --zookeeper bigdata1:2181 --describe --topic first分别表示topic名、分区号、该分区leader所在的brokerid、副本号、副本所在brokerid、可以同步的副本所在的brokerid
image.png -
修改分区数或副本数（分区数只能增不能减，副本数可增可减）
bin/kafka-topics.sh --zookeeper bigdata1:2181 --alter --topic first --partitions 5在bigdata1的logs文件夹中可以查看该节点存储的副本文件first-n（n表示分区号）。分区0存储在broker0、1上，分区2存储在broker2、0上，分区3存储在broker0、2上、分区4存储在broker1、0上。综上，bigdata1存储了分区0、2、3、4的副本，与logs中的first副本文件对应。
image.pngimage.png -
删除topic
bin/kafka-topics.sh --zookeeper bigdata1:2181 --delete --topic first如果在server.properties中将 delete.topic.enable=true，那么删除时就会将原数据删除。否则只会删除zk上的节点，原数据不会删除。
-
清除topic中的数据
kafka中并没有清除topic数据的命令，但是可以通过设置数据过期时间为1s来清除数据；bin/kafka-topics.sh --zookeeper bigdata1:2181 --alter --topic test --config retention.ms=1000之后记得将该配置项置为默认
bin/kafka-topics.sh --zookeeper bigdata1:2181 --alter --topic test --delete-config retention.ms -
生产数据到topic中
bin/kafka-console-producer.sh --broker-list bigdata2:9092,bigdata3:9092 --topic first -
从topic中读取数据
bin/kafka-console-consumer.sh --bootstrap-server bigdata1:9092 --topic first [from-beginning]可以指定消费组的offset，默认是latest
-
指定分区读取
bin/kafka-console-consumer.sh --bootstrap-server bigdata1:9092 --topic first [from-beginning] --partitiion 0 -
指定消费者配置文件
bin/kafka-console-consumer.sh --bootstrap-server bigdata1:9092 --topic first [from-beginning] --consumer.config config/consumer.properties -
从指定分区的指定offset未知开始读取数据
bin/kafka-console-consumer.sh --bootstrap-server bigdata1:9092 --topic compass-edb-sales-test --offset 3677600 --partition 0 -
展示当前正在消费的消费者组的信息
bin/kafka-consumer-groups.sh --bootstrap-server bigdata1:9092 --list查询消费情况
bin/kafka-consumer-groups.sh --describe --bootstrap-server bigdata1:9092 --group groupnameimage.png -
监控某一消费者消费了哪些topic（一个消费者组可以消费多个topic）
bin/kafka-consumer-groups.sh --bootstrap-server hadoop102:9092 --describe --group idimage.png这两个脚本直接从服务器上获取元数据，得到leader的信息；底层也是调用生产者和消费者的api。
- 指定消费者组和消费者
①通过在命令中配置参数
②通过在命令中指定配置文件bin/kafka-console-consumer.sh --bootstrap-server 192.168.101.179:9092 --consumer-property group.id=custom_items_model_185 --consumer-property num.consumer.fetchers=5 --topic items-modelbin/kafka-console-consumer.sh --bootstrap-server 192.168.101.179:9092 --consumer-property consumer.config=[consumerConfigPath] --topic items-model
具体配置可以参考官网Apache Kafka
- 重置消费者组的offset
①重置到最早
②重置到最晚bin/kafka-consumer-groups.sh --bootstrap-server bigdata1:9092 --group groupname --reset-offsets --all-topics --to-earliest --execute
③重置到指定位置bin/kafka-consumer-groups.sh --bootstrap-server bigdata1:9092 --group groupname --reset-offsets --all-topics --to-earliest --execute
④重置到某个时间之后的最小的offsetbin/kafka-consumer-groups.sh --bootstrap-server bigdata1:9092 --group groupname --reset-offsets --to-offset 2000 --executebin/kafka-consumer-groups.sh --bootstrap-server bigdata1:9092 --group groupname --reset-offsets --to-datetime 2019-09-15T00:00:00.000 --execute
- 手动设置offset
停止consumer后，设置group=3，topic=test的offset为1524510
bin/kafka-consumer-groups.sh --bootstrap-server hadoop102:9092 --group 3 --topic test --execute --reset-offsets --to-offset 1524510
1.3 不常用命令
-
如新增了节点，需要重新分配分区，将数据均衡。资源消耗很大。
编辑需要重新分配的topic{ "topics": [{ "topic":"dwd_device_feiyan_log_event" }], "version": 1 }然后执行命令
bin/kafka-reassign-partitions.sh --zookeeper 192.168.101.193:2181 --topics-to-move-json-file /tmp/topic-generate.json --broker-list "0,1,2" --generate生成执行计划，保存为kafka-repartition.json文件
{"version":1,"partitions":[{"topic":"dwd_device_feiyan_log_event","partition":0,"replicas":[1],"log_dirs":["any"]},{"topic":"dwd_device_feiyan_log_event","partition":2,"replicas":[0],"log_dirs":["any"]},{"topic":"dwd_device_feiyan_log_event","partition":1,"replicas":[2],"log_dirs":["any"]}]}执行该计划
bin/kafka-reassign-partitions.sh --zookeeper 192.168.101.193:2181 --reassignment-json-file /tmp/kafka-repartition.json --execute查看执行进度
[root@cos-bigdata-test-flink-01 kafka_2.12-2.4.1]# bin/kafka-reassign-partitions.sh --zookeeper 192.168.101.193:2181 --reassignment-json-file /tmp/kafka-repartition.json --verify Status of partition reassignment: Reassignment of partition dwd_device_feiyan_log_event-0 completed successfully Reassignment of partition dwd_device_feiyan_log_event-2 completed successfully Reassignment of partition dwd_device_feiyan_log_event-1 completed successfully -
修改副本数和副本位置
只需要修改上面生成的计划，在replicas中添加或修改brokerId，在log_dirs中添加对应数量的配置，即可以修改副本数量和位置{"version":1,"partitions":[{"topic":"dwd_device_feiyan_log_event","partition":0,"replicas":[1,2],"log_dirs":["any","any"]},{"topic":"dwd_device_feiyan_log_event","partition":2,"replicas":[0,1],"log_dirs":["any","any"]},{"topic":"dwd_device_feiyan_log_event","partition":1,"replicas":[2,0],"log_dirs":["any","any"]}]} -
每一个partition的leader的重新选举。
preferred-replica-election.sh将leader分布在不同节点上，缓解压力。一台leader挂了，其他副本会成为leader，可能会在同一个broker有多个leader，原leader上线后变成follower，需要重新选举，将leader的分别变为均匀状态（这两个指令需要json格式的文件指定分配计划）。
-
查看Kafka集群中节点是否正常
# 进入zookeeper客户端 bin/zkCli.sh # 查询Kafka注册的节点 ls /brokers/ids -
切换leader
bin/kafka-preferred-replica-election.sh --bootstrap-server bigdata1:9092
1.4 压测
压测写入
./kafka-producer-perf-test.sh --topic test --num-records 1000000 --record-size 1000 --throughput -1 --producer-props bootstrap.servers=bigdata1:9092
--num-records 总共需要发送的消息数，本例为1000000
--record-size 每个记录的字节数，本例为1000
--throughput 每秒钟发送的记录数，如果为-1，表示不限流。
压测消费
./kafka-consumer-perf-test.sh --zookeeper bigdata1:2181 --topic test --fetch-size 1048576 --messages 1000000 --threads 1
--fetch-size 指定每次fetch的数据的大小，本例为1048576，也就是1M
--messages 总共要消费的消息个数，本例为1000000，100w
1.5 数据查询
1、存储位置
kafka数据的存储位置，在config/server.properties中的log.dirs中配置；
2、分区与存储方式的关系
partition是以文件的形式存储在文件系统中，比如，创建了一个名为kafkaData的topic，有4个partition，那么在Kafka的数据目录中(由配置文件中的log.dirs指定的)中就有这样4个目录: kafkaData-0， kafkaData-1，kafkaData-2，kafkaData-3，其命名规则为<topic_name>-<partition_id>，里面存储的分别就是这4个partition的数据。
3、每个数据目录的子目录都有xx.index ，xx.log ，xx.timeindex三个文件组成
4、数据消费查询原理
注意：Messagexxxx抽象表示某条消息具体内容；.log的第二列和.index的第一列表示数据文件中的绝对位置，也就是打开文件并移动文件指针需要指定的地方；
如果我们想要读取offset=368776的message（如图），步骤如下：
(1)查找segment file
00000000000000000000.index表示最开始的文件，起始偏移量(offset)为0.第二个文件00000000000000368769.index的消息量起始偏移量为368770 = 368769 + 1.同样，第三个文件00000000000000737337.index的起始偏移量为737338=737337 + 1，其他后续文件依次类推，以起始偏移量命名并排序这些文件，只要根据offset 二分查找文件列表，就可以快速定位到具体文件。
当offset=368776时定位到00000000000000368769.index|log
(2)通过segment file查找message
通过第一步定位到segment file，当offset=368776时，依次定位到00000000000000368769.index的元数据物理位置和00000000000000368769.log的物理偏移地址，然后再通过00000000000000368769.log顺序查找直到offset=368776为止。
5、segment file中索引文件与数据文件的对应关系
segment的索引文件中存储着大量的元数据，数据文件中存储着大量消息，索引文件中的元数据指向对应数据文件中的message的物理偏移地址。以索引文件中的6，1407为例，在数据文件中表示第6个message（在全局partition表示第368775个message），以及该消息的物理偏移地址为1407。
6、Kafka高效文件存储设计特点
(1)Kafka把topic中一个parition大文件分成多个小文件段，通过多个小文件段，就容易定期清除或删除已经消费完文件，减少磁盘占用。
(2)通过索引信息可以快速定位message和确定response的最大大小。
(3)通过index元数据全部映射到memory，可以避免segment file的IO磁盘操作。
(4)通过索引文件稀疏存储，可以大幅降低index文件元数据占用空间大小
