Il est étrange que je ne puisse pas facilement trouver cette information en ligne, mais je ne pouvais pas. Donc, ma question est que j'ai un sujet Kafka. Je veux 2 groupes de consommateurs indépendamment les uns des autres consomment des messages de ce sujet. Donc, ce que je veux, c'est que les deux groupes de consommateurs puissent voir et consommer tous les messages indépendamment les uns des autres. Pour être encore plus clair, je ne veux pas que certains messages soient consommés par un groupe de consommateurs, et que certains messages soient consommés par l'autre groupe; Non, je veux que les 2 groupes consomment des messages comme si l'autre groupe n'existait même pas.Kafka: Un sujet peut-il être consommé par plusieurs groupes de consommateurs indépendants?
Répondre
Oui, plusieurs consommateurs/groupes de consommateurs peuvent consommer des messages d'un sujet indépendamment. Le décalage pour chaque consommateur (ou groupe de consommateurs) est conservé séparément. Vous pouvez exécuter kafka.tools.ConsumerOffsetChecker pour afficher les décalages pour tout groupe de consommateurs sur un sujet comme indiqué ci-dessous:
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --topic test --zookeeper localhost:2181 --group testgroup
Notez que lorsque (qui offset) un consommateur commence à lire les messages d'un sujet est contrôlé par auto .offset.reset configuration. S'il est réglé sur le plus petit, le nouveau consommateur commencera à partir du début du sujet (le plus petit) ou à partir de la fin du sujet (s'il est défini sur le plus grand).
Oui, des groupes de consommateurs distincts sont complètement indépendants, de sorte qu'ils voient tous les messages.
La partition de ressources (rubriques/partitions) se produit uniquement dans des groupes.
Je ne suis pas sûr de comprendre ce que vous entendez par "Partitionnement de ressources (sujets/partitions) uniquement dans les groupes". Le partitionnement et les réplications de chaque sujet ne peuvent pas changer par groupe de consommateurs; C'est décidé quand vous créez le sujet lui-même. – user1888243
Je voulais dire l'attribution de partitions aux consommateurs, car dans un groupe, un seul consommateur peut être assigné à une partition. –