Nous avons besoin de trier les enregistrements consommés dans spark streaming de kafka partie consommateur. Est-il possible de connaître tous les enregistrements publiés sont consommés en kafka consommateur?Kafka consommateur besoin de connaître tous les messages reçus à partir du sujet
Vous pouvez utiliser KafkaConsumer#endOffsets(...) pour obtenir les décalages de la fin de journalpar partition. Bien sûr, gardez à l'esprit que la fin de log se déplace aussi longtemps que de nouvelles données sont écrites par un consommateur. Ainsi, pour obtenir des "compensations finales", vous devez être sûr qu'il n'y a pas de producteur en cours ...
Merci Matthias, Veuillez noter que ceci est en streaming. Donc, le producteur fonctionne continuellement. – Rajan
Si le producteur fonctionne en continu, je ne comprends pas votre question en premier ... Comment définiriez-vous "connaître tous les enregistrements publiés sont consommés" si vous ajoutez de manière permanente de nouveaux messages dans le journal? –
Vous voulez savoir s'il est possible de voir tous les offsets consommés à partir d'un sujet Kafka? –