概述
Kafka目前被定义为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性被广泛使用。
1、消息系统：Kafka和传统的消息中间件都具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能。于此同时，Kafka还提供了大部分消息中间件难以实现的消息顺序性保障以及回溯消费的功能。
2、存储系统：Kafka将消息持久化到磁盘，相较于其他基于内存的系统而言，其有效降低了消息丢失的风险。也是得益于Kafka的消息持久化功能和多副本机制，我们可以把Kafka作为长期的数据存储系统来使用。
3、流式处理平台：Kafka不仅为每个流式处理框架提供了可靠的数据来源，还提供了一个完整的流式处理类库，比如窗口、连接、变换和聚合等各类操作。
1.1、基本概念
zookeeper：负责Kafka集群元数据的管理、控制器的选举等操作
producer：生产者，发送消息的一方，负责创建消息，然后将其投递到Kafka中
consumer：消费者，消息接收的一方，消费者连接Kafka并接收数据，进行相应的业务逻辑处理。
broker：服务代理节点。对于Kafka而言，broker可以简单看作一个独立的Kafka实例或者Kafka服务节点。大多数情况下也可以将broker看作是一台Kafka服务器，前提是这服务器只部署了一个Kafka实例。一个或多个broker组成了一个Kafka集群。
此外，Kafka还有两个特别重要的概念，topic以及partition。
topic是一个逻辑上的概念，它可以细分为多个分区，一个分区只属于单个主题。同一topic下不同分区所包含的信息是不一样的，分区在存储层面可以看作一个可追加的日志（Log）文件，消息被追加到分区日志文件的时候都会分配一个特定的偏移量（offset）。offset是消息在分区中的唯一标识，Kafka通过它来保证消息在分区内的顺序性，不过offset并不跨域分区，所以，Kafka只保证分区有序而不保证topic有序。
一般，在存储上，一个分区一个文件夹，命名规则是“topic名称-分区序号”。
文件内部，包括多个log日志。
每一条消息在发送到broker之前，会根据分区规则选择存储到哪个分区。如果一个topic只有一个分区，那么分区存储的文件所在的机器的I/O将会成为这个topic的性能瓶颈，而分区解决了这个问题，通过增加分区数量可以实现水平扩展。
Kafka还为分区引入了多副本（Replica）机制，通过增加副本数量可以提高容灾能力。Kafka通过多副本机制实现了故障的自动转移，当Kafka集群中某个broker失效时仍然能保证服务可用。
Kafka消费端也具备一定的容灾能力。Consumer通过拉（pull）的方式从服务端拉取消息，并且保存消费的具体位置。当消费者宕机再恢复上线之后，可以通过之前保存的消费位置重现消费，当然也可以选择从头开始消费。
1.2、重要概念
AR（Assign Replicas）：分区中所有副本统称，包括leader副本在内
ISR（In-Sync Replicas）：所有与leader副本保持一定程度同步的副本，包括leader副本。消息会先发送到leader，然后follower才会从leader拉取消息进行同步。所谓的“一定程度”是可以设置的
OSR（Out-of-Sync Replicas）：与leader副本滞后的副本集合
AR=ISR+OSR
leader副本负责维护和跟踪ISR集合中所有follower副本的之后情况，如果滞后，负责从ISR中剔除。如果OSR中有follower副本追上来，leader负责将其加入ISR。
HW（High Watermark）：高水位，标识了一个特定的消息偏移量，消费者只能拉取到这个offset之前的消息。
LEO（Log End Offset）：标识当前日志文件中下一条待写入消息的offset。
当前，HW为8，表示消费者只能消费0-7之间的消息。LEO为13，LEO的大小等于日志分区中最后一条消息的offset+1.
分区ISR集合中每个副本都会维护自身的LEO，而ISR集合中最小的LEO就是分区的HW，对消费而言，只能消费HW之前的消息。
重要：Kafka的复制机制既不是完全的同步复制，也不是单纯的异步复制。事实上，同步复制要求所有能工作的follower副本都能复制完，这条消息才会被认为已提交，这种复制方式极大的影响了性能。而在异步复制方式下，follower副本异步地从leader副本复制数据，数据只要被leader副本写入就被认为已经成功提交。在这种情况下，如果follower副本都还没有复制完而落后于leader副本，而leader副本突然宕机，则会造成数据丢失。Kafka使用这种ISR的方式有效地权衡了数据可靠性和性能之间的关系。
