2017-09-28 4 views
0

Je suis un débutant de printemps nuage de flux avec Kafka et je me demandais quelque chose sur le concept de celui-ci. Dans mon application, lorsque la source envoie un message à Kafka Binder en streaming, les données ne s'empilent pas ... Je peux voir la source de données travaille dans Kafka consommateur qui n'est pas réellement consommer, juste pour vérifier que les données sort vraiment.Spring Cloud Stream avec Kafka liant et comment faire la queue des données à partir de la source

Cependant, la chose est que je ne pouvais pas consommer des données empilées au récepteur (l'auditeur du processeur). Il ne peut consommer que les données diffusées depuis la source en temps quasi réel. Laissez-moi vous donner un exemple.

Pour le producteur,

data1, data2, data3, data4, data5, ... (streaming for producer) 

Pour le consommateur, il serait commencé quand données4 est produit. Ensuite, ma demande serait d'obtenir des données à partir des données 4 ...

data4, data5, data6, .... (streaming for consumer) 

Comme je connais le concept de Kafka, data1, données2, data3 devrait être en attente d'un consommateur, mais il ne fonctionne pas pour moi. Qu'est-ce que je sais que quelque chose ne va pas et toute idée à propos de résoudre cela?

Répondre

0

Vous devez montrer votre configuration.

Consommateurs anonymes (ceux sans spring.cloud.stream.bindings.xxx.group) commencent à consommer à la fin du sujet (au moment où ils sont démarrés), donc va probablement "manquer" certains messages.

Les consommateurs ayant un group (qui n'ont jamais consommé) commencent au début; les consommateurs ayant un group (qui ont déjà consommé) partent de l'endroit où ils se sont arrêtés.

+0

Ceci est si clair et je viens de chercher ce que signifie un groupe à Kafka. Tu as fait ma journée. Merci beaucoup. Pour donner des informations aux personnes qui luttent avec lui comme moi, les données peuvent être dépassées une fois que vous ajoutez un groupe dans le même canal. Je vous recommande d'utiliser le groupe même si vous n'avez qu'un sujet et un consommateur. À votre santé! – sunsets