Kafka - groupes de consommateurs synchronisés

Question

J'essaie de me faire une idée des consommateurs de Kafka et j'aimerais savoir si le cas d'utilisation suivant peut être résolu en utilisant Kafka.

Mon cas d'utilisation est essentiellement celui-ci:

J'ai un flux que je voudrais être consommé en synchronisation par plusieurs consommateurs. En d'autres termes, j'ai un premier consommateur qui commence à consommer le flux, puis un autre consommateur arrive plus tard. J'aimerais que ce deuxième consommateur commence à consommer le flux à l'offset où est actuellement le premier consommateur.

Je sais que j'ai besoin d'avoir les consommateurs dans deux groupes différents. Mais il est clair pour moi:

• sur la façon ou s'il est possible de coordonner les groupes contrebalancées
• si je me attends à un temps d'attente pour la tâche telle coordination

Answer 1

Vous n'avez pas besoin de deux différents groupes, tous les consommateurs peuvent cocher un sujet. Ou autant qu'ils aiment, d'ailleurs.

décalage

Les messages sont identifiés par leur généralement la date d'arrivée, de sorte que tous les clients ont besoin de dire au producteur « ma dernière visite à 10h00, donnez-moi tous les nouveaux messages ». Donc, tout ce que chaque client doit garder en mémoire, c'est quand le sujet individuel a été vérifié en dernier.

latence

c'est une sorte de "la portée" à ce stade. Bien sûr, il y aura temps d'attente, mais cela dépend de l'environnement, comme « combien de consommateurs », « combien de sujets », « format », etc.

aussi bien que votre usecase être résolu en utilisant kafka

En bref: oui. "Un consommateur peut-il continuer là où il en reste un autre", les consommateurs pourraient échanger le dernier index entre eux, bien sûr cela nécessiterait une certaine synchronisation interne. Kafka lui-même ne se soucie pas des consommateurs, donc il ne se tiendra pas au courant de l'indice le plus récent. Vous devez faire le travail. Une autre possibilité consisterait à consommer réellement les messages (par exemple, les supprimer de la file une fois consommés), de sorte que chaque fois qu'un autre consommateur atteint la file d'attente, il est garanti de recevoir les messages d'un autre consommateur. Bien sûr, cela dépend de votre utilisation, pouvez-vous réellement supprimer vos messages de la file d'attente.

Answer 2

Ce n'est pas un problème traité directement par kafka (le groupe de consommateurs consiste à distribuer des partitions entre les membres, pas à attribuer le même décalage), mais vous pouvez faire quelque chose pour cela. Vous pourriez simplement créer un autre sujet, où consumer1 posterait un offset ou une copie du message lu (donc vous auriez besoin de bth consumer et producer pour cela), et votre autre consommateur synchronisé réagirait contre ceci - bien sûr il y aurait un peu de latence pour ça.

Quel est votre cas d'utilisation derrière cela? Pourquoi ne pouvez-vous pas consommer différemment? Ne pourriez-vous pas plutôt avoir un consommateur, qui enverrait alors le message lu à différents processus, afin qu'ils soient effectivement synchronisés?Que voulez-vous dire par synchronized: consumer2 (et 3 et plus) ne consomment que le même message que consumer1 (ie ne peut pas consommer plus vite, ce que je suppose dans les deux solutions précédentes) possible, il serait vraiment mieux de connaître la raison derrière cela, peut-être il ya une meilleure façon de traiter les données