Indique si le courtier kafka conserve l'ensemble de réplication au lieu de partitions?

Question

De la documentation de Kafka et d'autres blogs que j'ai lus, j'ai conclu qu'un kafka-courtier consiste en une partition de sujets. Here Il est dit qu'un courtier Kafka ne détient qu'une seule partition. Je n'ai qu'un courtier dans mon système, mais je peux créer un sujet avec 3 partitions et 1 facteur de réplication. J'ai également essayé de créer un sujet avec 3 partitions et 3 facteurs de réplication avec un seul courtier. Il renvoie l'erreur ci-dessous

Error while executing topic command : replication factor: 3 larger than available brokers: 1 [2017-10-21 15:35:25,928] ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: replication factor: 3 larger than available brokers: 1 (kafka.admin.TopicCommand$).

J'ai donc une requête. Si Kafka-broker détient la réplication au lieu d'une partition?

2. Si je crée 3 partitions avec un seul courtier, que se passe-t-il?
3. Dans un tel cas de 1 courtier, 1 réplique et 3 partition, combien de partitions de kafka-broker peuvent contenir?

Quelqu'un, s'il vous plaît expliquer ce qui se passe ici.

Answer 1

La publication à laquelle vous faites référence ne dit pas qu'un courtier peut stocker une seule partition. Il dit simplement que la partition n'est pas séparable entre les courtiers (sujet est). En fait, je gère un courtier avec des milliers de partitions. Donc, pour vos questions:

1. Les courtiers de Kafka tiennent beaucoup de cloisons. La réplication permet de stocker plusieurs copies de partitions sur le cluster.
2. Si vous créez un sujet avec 3 partitions sur un cluster à nœud unique, le courtier conservera les données pour toutes les partitions. La réplication n'est pas possible car elle nécessite plus de nœuds.
3. Tous.