Kafka-Connect vs Filebeat & Logstash

Je cherche à consommer de Kafka et enregistrer des données dans Hadoop et Elasticsearch. J'ai vu 2 façons de le faire actuellement: en utilisant Filebeat pour consommer de Kafka et l'envoyer à ES et en utilisant le framework Kafka-Connect. Il existe un module Kafka-Connect-HDFS et Kafka-Connect-Elasticsearch.Kafka-Connect vs Filebeat & Logstash

Je ne sais pas lequel utiliser pour envoyer des données en continu. Bien que je pense que si je veux à un moment donné prendre des données de Kafka et les placer dans Cassandra, je peux utiliser un module Kafka-Connect pour cela mais aucune fonctionnalité n'existe pour Filebeat.

Source

2016-09-12 Adrian

Je ne comprends pas pourquoi Filebeat est utilisé ici. Il lit les fichiers, pas les messages TCP de Kafka. Logstash –

Kafka Connect peut gérer les données de streaming et est un peu plus flexible. Si vous allez simplement à élastique, Filebeat est une intégration propre pour les sources de journal. Cependant, si vous allez de Kafka à un certain nombre de puits différents, Kafka Connect est probablement ce que vous voulez. Je recommande de vérifier le hub de connecteur pour voir quelques exemples de connecteurs open source à votre disposition actuellement http://www.confluent.io/product/connectors/

Source

2016-09-12 23:39:29 dawsaw

Le truc, c'est que je suis d'accord avec toi mais je n'ai aucune évidence pourquoi un moyen est meilleur que l'autre. Pourriez-vous élargir votre réponse un peu? – Adrian

La divulgation complète, je viens à ce point de vue kafka. Je pense que Kafka Connect est généralement plus flexible et connectable pour traiter les données Kafka en provenance ou à destination d'un autre magasin de données. Filebeat se spécialise dans le déplacement de données en élastique, ce qui fait que ce n'est pas un objectif général. – dawsaw

Existe-t-il des informations sur les performances entre ces options? – imehl

Kafka-Connect vs Filebeat & Logstash

Répondre

Questions connexes