Erreur Kafka pour les sujets auxquels je ne suis pas abonné

Question

J'ai vu un avertissement kafka pour les sujets auxquels mon instance actuelle n'est pas abonnée. Nous utilisons le même courtier kafka, et chaque dev a son propre sujet. Cependant, nous utilisons tous le même groupeID/clientid par défaut spécifié dans un fichier de propriétés.

2017-06-27T11:48:35.20-0400 [APP/PROC/WEB/0]OUT 2017-06-27 15:48:35,195 WARN [NetworkClient] - [kafka-coordinator-heartbeat-thread | ingestion-matching-kafka-consumer-group] - Error while fetching metadata with correlation id 154274 : {to-process-yi=UNKNOWN_TOPIC_OR_PARTITION, to-process-shawn=UNKNOWN_TOPIC_OR_PARTITION} 
2017-06-27T11:48:35.34-0400 [APP/PROC/WEB/0]OUT 2017-06-27 15:48:35,339 INFO [PdfXmlMatcherTask] - [scheduler-1] - 
2017-06-27T11:48:35.34-0400 [APP/PROC/WEB/0]OUT 2017-06-27 15:48:35,340 INFO [PdfXmlMatcherTask] - [scheduler-1] - Checking messages... 
2017-06-27T11:48:35.41-0400 [APP/PROC/WEB/0]OUT 2017-06-27 15:48:35,412 WARN [NetworkClient] - [scheduler-1] - Error while fetching metadata with correlation id 154275 : {to-process-yi=UNKNOWN_TOPIC_OR_PARTITION, to-process-shawn=UNKNOWN_TOPIC_OR_PARTITION} 

Est-ce normal? Ai-je besoin d'identifiants de groupe/client distincts, même si chaque personne a son propre sujet? Deuxièmement, je ne suis pas très sûr de ce que cette erreur signifie: le thread coordinateur heart-beat n'a pas pu récupérer les métadonnées pour 2 sujets, mais ces sujets existent, c'est juste que les consommateurs pour ces sujets ne sont pas en cours d'exécution. Client.id - est utile pour les demandes de traçage, devrait être unique à chaque client (mais pas obligatoire)

Answer 1

groupid - ceci s'applique uniquement aux consommateurs. Par votre courte description, vous voulez probablement chaque consommateur dans son propre groupe.

Je vous suggère de lire ce que ConsumerGroups sont pour: «échelles Kafka consommation de sujet en distribuant des partitions au sein d'un groupe de consommateurs, ce qui est un ensemble de consommateurs partageant un identifiant de groupe commun » https://www.confluent.io/blog/tutorial-getting-started-with-the-new-apache-kafka-0-9-consumer-client/

UNKNOWN_TOPIC_OR_PARTITION est une erreur que le courtier retourne exactement quand un sujet ou une partition n'existe pas. c'est un erro que le client de Kafka traite comme répréhensible.

Si vous pensez que le sujet existe, veuillez vérifier deux fois. Il peut également arriver que le sujet existe mais qu'un producteur ou un consommateur cible directement une partition inexistante d'un sujet existant.