人社局网站建设站长资源平台
Kafka 消费者组
- Consumer数
- 位移
- 重平衡
消费者组 (Consumer Group) : 可扩展且容错性的消费者机制
- 一个组内可能有多个消费者 (Consumer Instance) : 共享一个公共 ID (Group ID)
- 组内的所有消费者协调消费订阅主题 (Subscribed Topics) 的所有分区 (Partition)
- 每个分区只能由同个消费者组内的一个 Consumer 消费
Consumer Group 的特性：
- Consumer Group ：有 n 个 Consumer。一个 Consumer 可能是进程或线程
- Group ID (字符串) : 标识唯一 Consumer Group
- Consumer Group 订阅的主题的单个分区，只能由组内的某个 Consumer 消费
两种消息引擎模型 ：
- 俩种的伸缩性 (scalability) 都差
- 点对点模型 : 消费队列 : 消息一被消费，就从队列中删除，只能被一个 Consumer 消费
- 发布/订阅模型 : 允许消息被多个 Consumer 消费
Consumer Group ：
- 解决伸缩性 (scalability) 差问题
- 消息队列模型 ：所有实例都属于同一个 Group
- 发布 / 订阅模型 ：所有实例分别属于不同的 Group
Consumer Group 伸缩性 ：
- Consumer Group 订阅了多个主题后，组内的每个实例不要求一定要订阅主题的所有分区，它只会消费部分分区中的消息
- Consumer Group 之间彼此独立，互不影响，它们能够订阅相同的一组主题而互不干涉
- Broker 端的消息留存机制，Kafka 的 Consumer Group 能规避伸缩性差的问题
Consumer数
Consumer Group 下理想 Consumer 数 ：
- Consumer 数 = 该 Group 订阅主题的分区总数
例子 ：
- 一个 Consumer Group 订阅了 3 个主题
- A、B、C 的分区数分别是1 , 2 , 3 ，该 Group 的总分区数是 6
- 为该 Group 设置 6 个 Consumer ，能最大限度实现高伸缩性
设置 > 或 < 6 :
- 设 3 个 Consumer，每个 Consumer 平均消费 2 个分区 (6/3)
- 设 8 个 Consumer，有 2 (8 – 6) 个 Consumer 无法被分配分区，处于空闲状态
- 生产中，不推荐设 Consumer 数 > 总分区数，多余的 Consumer 会浪费资源
位移
Kafka 管理位移 :
- 消费位置信息 : 位移 (Offset) : 消费者在消费时 ，记录消费条数
- Offset 类似于一组 KV 对 ：Key : 分区；V : Consumer 消费该分区的最新位移
- 用 Java 类似结构 (Map<TopicPartition, Long>) : TopicPartition : 一个分区，Long : 位移的类型
Kafka 有新旧 Consumer ：
- 新旧 Consumer 的管理位移方式不一样
- 老 Consumer Group 把位移放在 ZK , 减少 Broker 开销
- 新 Consumer Group 把位移放在
__consumer_offsets主题
ZK 不适合频繁的写更新
- Consumer Group 的位移更新是频繁操作
- 大量写操作会拖慢 ZK 集群的性能
重平衡
Rebalance ：
- 协议规定 Group 下的所有 Consumer 怎么分配订阅 Topic 的每个分区
- Rebalance 时，Group 下所有的 Consumer 都要一起参与
Rebalance 触发条件 :
- 组内成员数变化 : 有新 Consumer 加入/离开组或 Consumer 异常被踢出组
- 订阅主题数变化 : 新创的主题 , 被 Group 订阅了 , 该 Group 就会 Rebalance
- 订阅主题的分区数变化 : 增加主题的分区数，订阅该主题的所有 Group 会 Rebalance
Rebalance 的 3 种分配策略 :
- 都是为了公平分配 : 每个 Consumer 分配平均的分区数
- 如 : 一个 Group 内有 10 个 Consumer，要消费 100 个分区，理想的分配策略 : 每个 Consumer 平均分配 10 个分区
- 当有分配倾斜，就会忙死/闲死
Group 发生 Rebalance ：
- 设某个 Group 有两个 Consumer，如 : A/B
- 当 C 加入时，会触发 Rebalance，并按照分配策略重新为 A、B 和 C 分配分区
- Rebalance 后的公平分配 : 每个 Consumer 消费 2 个分区
Rebalance 对 Consumer Group 消费影响大
- Rebalance 类似 JVM 的 STW
- Rebalance 时，所有 Consumer 都会停止消费，等待 Rebalance 完成