Que dois-je utiliser: Kafka Stream ou Kafka consommateur api ou Kafka connecter

Question

Je voudrais savoir ce qui serait le mieux pour moi: Kafka flux ou Kafka consommateur api ou Kafka connect? Je souhaite lire les données du sujet, puis effectuer un traitement et écrire dans la base de données. Donc j'ai écrit des consommateurs mais je sens que je peux écrire l'application de flux de Kafka et utiliser son processeur avec état pour effectuer des changements et l'écrire dans une base de données qui peut éliminer mon code consommateur et écrire uniquement du code DB.

bases de données que je veux insérer mes dossiers sont: HDFS - (insérer JSON brut) MSSQL - (traité JSON)

Une autre option est Kafka connecter mais j'ai trouvé il n'y a pas de support JSON dès maintenant pour évier hdfs et connecteur évier jdbc (je ne veux pas écrire en avro) et la création de schéma est également difficile pour les messages imbriqués complexes.

Ou devrais-je écrire Kafka connect personnalisé pour ce faire.

Alors avez-vous besoin d'avis sur si je devrais écrire Kafka consommateur ou Kafka flux ou Kafka connecter? Et quoi de mieux en termes de performances et moins de frais généraux?

Answer 1

Bienvenue dans le débordement de la pile! S'il vous plaît prendre le tout https://stackoverflow.com/tour

S'il vous plaît faire des messages avec une question précise, ne demandant pas d'avis - ce qui rend le site plus clair, et les opinions ne sont pas des réponses (et soumis aux préférences de chaque personne). Demander "Comment utiliser Kafka-connect avec json" - ou alors, correspondrait à ce site.

Aussi, s'il vous plaît montrer quelques recherches.

---

Moins les frais généraux serait kafka consommateur - flux de kafka et kafka connecter consommateur l'utilisation de kafka, vous serez toujours en mesure de faire moins de frais généraux, mais aussi perdre tous les avantages (tolérance aux pannes, faciles d'utilisation, le support , etc)

Tout d'abord, cela dépend de ce que votre traitement est. Agrégation? Compte? Validation? Ensuite, vous pouvez utiliser les flux kafka pour effectuer le traitement et écrire le résultat dans un nouveau sujet, au format souhaité.

Ensuite, vous pouvez utiliser kafka connect pour envoyer les données à votre base de données. Vous n'êtes pas obligé d'utiliser Avro, vous pouvez utiliser un autre format pour la clé/valeur, voir

Kafka Connect HDFS Sink for JSON format using JsonConverter

Kafka Connect not outputting JSON