Kafka是什么

Kafka是一种分布式流事件处理平台，严格意义上不是一个纯消息队列，但是可以胜任消息队列的所有任务。

主要的应用场景

• 消息队列：用作高吞吐量的消息系统，将消息从一个系统传递到另一个系统。
• 日志收集：集中收集日志数据，然后通过Kafka传递到实时监控系统或存储系统。
• 流计算：处理实时数据流，将数据传递给实时计算系统
• 事件溯源：记录事件发生的历史，以便稍后进行数据回溯或重新处理。

Kafka的基本组件

生产者（Producer)

Producer 是生产者，负责创建消息并将其发送到 Kafka 主题（Topic）。 同时Producer 可以配置消息的分区策略，从而控制消息发送到在哪个分区中。 Producer 可以配置不同的持久化与可靠性策略。

消费者（Consumer)

Consumer 是消费者，负责从 Kafka 主题中读取消息，通过订阅一个或多个 Topic，动态地拉取消息进行处理。Consumer 通常属于一个 Consumer Group，同一个 Group 中的各 Consumer 可以分配处理特定分区的数据，实现并行处理。

消息代理（Broker)

Broker是 Kafka 的核心，用于消息存储和管理。每个 Kafka 集群可以包含一个或多个 Broker，负责接收、存储、以及发送数据。

协调器（ZooKeeper)

Zookeeper用于 Kafka 的分布式协调和管理任务， 确保 Kafka 集群的高可用性和一致性。

• Broker 注册 ：在 Zookeeper 上会有一个专门 用来进行 Broker 服务器列表记录 的节点。每个 Broker 在启动时，都会到 Zookeeper 上进行注册，即到 /brokers/ids 下创建属于自己的节点。每个 Broker 就会将自己的 IP 地址和端口等信息记录到该节点中去
• Topic 注册 ：在 Kafka 中，同一个 Topic 的消息会被分成多个分区 并将其分布在多个 Broker 上， 这些分区信息及与 Broker 的对应关系 也都是由 Zookeeper 在维护。比如我创建了一个名字为 my-topic 的主题并且它有两个分区，对应到 zookeeper 中会创建这些文件夹：
• 负载均衡：Kafka 通过给特定 Topic 指定多个 Partition, 而各个 Partition 可以分布在不同的 Broker 上, 这样便能提供比较好的并发能力。 对于同一个 Topic 的不同 Partition，Kafka 会尽力将这些 Partition 分布到不同的 Broker 服务器上。当生产者产生消息后也会尽量投递到不同 Broker 的 Partition 里面。当 Consumer 消费的时候，Zookeeper 可以根据当前的 Partition 数量以及 Consumer 数量来实现动态负载均衡。

Kafka的基本概念

Topic（主题）

Topic是用来区分和隔离不同类型消息的单位。每一个 Topic 都有一个名称，生产者将消息发送到某个特定的 Topic 上，而消费者从某个特定的 Topic 接收消息。

主要作用

• 消息分类：Kafka 通过 Topic 来对消息进行分类管理，生产者和消费者通过 Topic 来组织和订阅消息。
• 隔离数据：不同业务或模块的数据可以通过不同的 Topic 隔离开，保证数据之间的独立性和安全性。
• 分区并行：每个 Topic 可以有多个分区，消息会被分布到不同分区上，实现并行处理，提升系统的吞吐量和伸缩性。

Partition（分区）

Partition 是指一个Topic中的一个分区。Kafka 主题可以划分为多个分区，每个分区是一个有序的、不可变的消息序列。不同分区中的消息是并行地存储和处理的，这使得 Kafka 能够实现高吞吐量。

主要作用

• 并行处理 ：更多的分区可以让多个消费者实例并行处理消息，从而提升系统的吞吐量。
• 负载均衡 ：通过增加分区数量，可以更好地分配负载，避免某个节点成为瓶颈。
• 数据局部性 ：分区可以分布在不同的代理节点上，提高数据的可用性和可靠性。

Consumer Group（消费者组）

Consumer Group 是一组消费者（Consumer），它们共同协作来消费一个或多个主题（Topic）中的消息。每个Consumer Group都有一个唯一的标识符。所有属于同一组的消费者会协同工作，以保证一个组内的每条消息仅会被消费一次。

• 每个Consumer Group内的每个消费者独立消费不同的分区（Partition）中的数据，一个分区只能被一个Consumer消费。
• 即使有多个消费者在同一个组内消费同一个Topic，Kafka也会确保每条消息只会被组内的其中一个消费者处理。这样极大地提高了消费的并发能力和处理速度，保证了消息的高效处理。
• Consumer Group可以实现负载均衡。当有新的消费者加入或离开组时，Kafka会自动均衡分区的消费，将需要消费的分区重新分配给现存的消费者。

分区的分配规则

生产者分配规则

• 开发者手动指定partition
• 指定 key（Kafka 自动 hash 取模）
  • 相同 key 会落到同一个 partition（实现“局部有序”）
  • key 不同的消息可能落到不同 partition，接近均匀分布
• 既不指定 key，也没 partition（默认轮询 Round-Robin）

消费者分配规则

发生在 Consumer Group 内部 的事情。每个 Topic 下有多个 Partition，Kafka 会把这些分区 均匀地分配给组内的消费者。

Kafka 默认的消费者分区分配策略是

• Range ：按 partition 序号分组（容易不均）
• RoundRobin ：分区轮着分
• Sticky（默认）：尽可能稳定地分区（减少重平衡影响），和 RoundRobin 类似，但尽量保持和上一次分配一致