ERREUR org.apache.kafka.common.errors.InvalidReplicationFactorException

Question

J'ai un cluster à 2 nœuds avec 2 kafka-broker (1 dans chaque) mais quand j'essaie de générer un kafka-topic avec un facteur de réplication = 2:

bin/kafka-topics.sh --create --zookeeper bigdata:2181 --replication-factor 2 --partitions 1 --topic programaCsd 

Je reçois l'erreur:

Error while executing topic command : replication factor: 2 larger than available brokers: 1 
[2017-09-14 10:12:43,872] ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: replication factor: 2 larger than available brokers: 1 
(kafka.admin.TopicCommand$) 

En Ambari je peux voir les deux courtiers kafka-correctement installés et fonctionnent.

Une idée pourquoi cela se passe-t-il?

Merci.

Answer 1

Enfin, la solution consistait à supprimer complètement le service et les courtiers kafka et à les ajouter à nouveau avec les deux courtiers en même temps avec la configuration souhaitée. Après le déploiement, vous pouvez changer l'identifiant du courtier dans chaque nœud dans /kafka-logs/meta.properties. Avant de réinstaller Kafka, il est préférable de supprimer tous les sujets dans le système afin qu'il n'y ait pas de leaders ou de réplicas non valides.

Answer 2

Il semble que vos courtiers kafka ne travaillent pas ensemble en tant que groupe. Vous pouvez vérifier cela en ayant un peu plus près à votre Zookeeper:

Utilisez le shell Zookeeper: bin/zookeeper-shell.sh bigdata:2181

Pour la liste de tous Brooker ids: ls /brokers/ids

Vous devriez voir quelque chose comme "[1001, 1002] "en fonction de la façon dont vous définissez les brookerids sur server.properties (voir la propriété broker.id).

Si vous obtenez un seul ID que votre courtier ne se connaissent pas.