kafka 发布的消息只能到一个 partition 吗？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 2699 天前的主题，其中的信息可能已经有所发展或是发生改变。

kafka 发送一个消息只能到一个 partition 吗

这意思只能被一个消费者消费？

Kafka

bin

usr

3 条回复 • 2017-08-09 09:54:31 +08:00

triffic

2017-08-07 11:41:52 +08:00

第一个问题：是的，但这个 partition 会在多台 server 上 replication ；
第二个问题：不是，
http://kafka.apache.org/0110/images/consumer-groups.png
如果消费者在同一个消费者 group，那么这个消息只会被消费者组中的某一个消费者消费；
如果消费者不在同一个消费者 group，同时又都订阅了这个 topic，那么这个消息会被多个消费者组中的消费者消费。
所以「消息只能被一个消费者消费」不准确。

参考![Kafka]<http://kafka.apache.org/intro>

guyeuro

2017-08-08 13:21:26 +08:00

@triffic

topic 下的一个分区只能被同一个 consumer group 下的一个 consumer 线程来消费
假如某 topic 分到了 A,B,C 三个分区
那么订阅了这个 topic 的一个 consumer group 下的一个 consumer 可以同时从这三个分区上消费这个 topic 的消息吗？

triffic

2017-08-09 09:54:31 +08:00

@guyeuro 可以的