名词解释
- Broker
Kafka集群包含一个或多个服务器，这种服务器被称为broker。
- Topic
每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处）。
- Partition
Parition是物理上的概念，每个Topic包含一个或多个Partition。
- Producer
负责发布消息到Kafka broker
- Consumer
消息消费者，向Kafka broker读取消息的客户端。
- Consumer Group
每个Consumer属于一个特定的Consumer Group（可为每个Consumer指定group name，若不指定group name则属于默认的group）。
物理拓扑图
如上图所示，一个典型的Kafka集群中包含若干Producer（可以是web前端产生的Page View，或者是服务器日志，系统CPU、Memory等），若干broker（Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高），若干Consumer Group，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker，Consumer使用pull模式从broker订阅并消费消息。
分布式Kafka搭建
-
ZooKeeper
Kafka通过ZooKeeper管理。每个Kafka server都有一个broker id，在配置文件server.properties中配置：
# The id of the broker. This must be set to a unique integer for each broker. broker.id=0启动Kafka后，在ZooKeeper上创建节点位于：/brokers/ids。查看某个broker得到如下结果：
[zk: localhost:2181(CONNECTED) 7] get /brokers/ids/0 {"listener_security_protocol_map":{"PLAINTEXT":"PLAINTEXT"},"endpoints":["PLAINTEXT://orisonchan:9092"],"jmx_port":-1,"host":"orisonchan","timestamp":"1517127677270","port":9092,"version":4}其中，endpoint可在server.properties配置：
# The address the socket server listens on. It will get the value returned from java.net.InetAddress.getCanonicalHostName() if not configured. # FORMAT: # listeners = listener_name://host_name:port # EXAMPLE: # listeners = PLAINTEXT://your.host.name:9092 # listeners=PLAINTEXT://:9092 # Hostname and port the broker will advertise to producers and consumers. If not set, # it uses the value for "listeners" if configured. Otherwise, it will use the value # returned from java.net.InetAddress.getCanonicalHostName(). # advertised.listeners=PLAINTEXT://your.host.name:9092可以看到，默认监听producer端口和广播给consumer端口都是9092。
Topic&Partition
Topic在逻辑上可以被认为是一个queue，每条消费都必须指定它的Topic，可以简单理解为必须指明把这条消息放进哪个queue里。为了使得Kafka的吞吐率可以线性提高，物理上把Topic分成一个或多个Partition，每个Partition在物理上对应一个文件夹，该文件夹下存储这个Partition的所有消息和索引文件。
命令行创建topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test
–zookeeper：指定ZooKeeper地址。
–topic：topic名。
-
–partitions：分区数。
如果没有指定分区数，则以shell所在的机器的server.properties的num.partitions参数为准。
-
–replication-factor：副本份数。
如果有3个partition，3个副本份数，则总共会有9份文件夹。
KafkaTemplate创建topic
KafkaTemplate是Java API，一般在Spring中或者Spring的某些产品如Spring Data或SpringBoot使用。
在KafkaTemplate中没有创建topic的API，只要使用send方法发送至Kafka，Kafka发现并没有对应的topic，就会使用默认的num.partitions来创建topic。
