remplacement de splunk avec canal ou kafka

Question

J'ai besoin de votre aide avec une suggestion. Dans le scénario actuel, nous avons une application sur le cloud et via splunk nous avons la possibilité d'afficher le journal. Je pense à l'implémenter en utilisant nos outils Big Data comme Flume/Kafka dans lesquels je peux prendre des données de logs en temps réel depuis le cloud (actuellement prises par Splunk) et les mettre à la disposition de nos HDFS. Peu concernent ici

1. est possible ce sens et faire?
2. pour la recherche de journal (même capacité comme Splunk)
   

quel outil peut-on utiliser?

Answer 1

Si vous souhaitez simplement déplacer des journaux dans HDFS, vous pouvez utiliser Flume avec un récepteur HDFS.
Il y a aussi quelques autres options disponibles comme -

Logstash

Vous pouvez utiliser d'autres framework comme ElasticSearch et Kibana d'avoir plus de fonctionnalités disponibles pour les journaux.