Division de données de rubrique

Je souhaite diviser un sujet en plusieurs sujets, en fonction de champs spécifiques dans les données. Est-il possible de faire de telles opérations dans le streaming lui-même? Ou devrais-je écrire typiquement Consumer et Producer?Division de données de rubrique

Exemple:

Sujet d'entrée: Les données avec des attributs A (valeurs AAA, BBB, CCC), B, C, D et E

Sujets de sortie: 3 sujets avec Nom AAA, BBB et CCC avec les mêmes données que dans l'entrée du sujet

salutations, Lukas

Source

2017-09-22 Lukas

Possible duplication de [Connexion dynamique d'un flux d'entrée Kafka à plusieurs flux de sortie] (https://stackoverflow.com/questions/41796207/dynamically-connecting-a-kafka-input-stream-to-multiple-output-streams –

Vous pouvez utiliser branch() method dans votre flux pour le diviser en plusieurs flux. Que chaque flux peut écrire dans son propre sujet.

Source

2017-09-22 10:51:40

Je veux diviser en plusieurs flux dynamiquement, donc il n'est pas possible d'utiliser la méthode de branchement, parce que je devrais connaître les critères de division avant. Je dois diviser le flux entrant en centaines d'autres flux. Je pense que je peux seulement utiliser le consommateur et le producteur pour faire ceci. – Lukas

Salut Lukas, pour autant que je connaisse les flux, vous pouvez archiver un tel comportement uniquement en utilisant la propre paire de consommateurs-producteurs. En outre, jetez un oeil à api à faible lvl de flux, peut-être dans le processeur de l'évier, vous pouvez définir les fonctionnalités nécessaires. –

Division de données de rubrique

Répondre

Questions connexes