Système de journal distribué

Question

J'ai besoin de stocker les journaux dans un système de fichiers distribué.

Disons que j'ai beaucoup de types de journaux. Chaque type de journal est enregistré dans le fichier. Mais ce fichier peut être énorme, il doit donc être distribué sur plusieurs nœuds (avec réplication pour la durabilité des données).

Ces fichiers doivent prendre en charge les opérations d'ajout/obtention.

Existe-t-il un système distribué répondant à mes besoins?

Merci!

Answer 1

Combinez un NAS avec une base de données non-SQL comme MongoDB et vous aurez une grande tolérance aux pannes et distribuée.

Bien sûr, sans plus de détails spécifiques comme la quantité de données, la structure des logs (ou leur absence), etc., il est vraiment difficile de recommander un vrai produit. Par exemple, si par «énorme» vous voulez dire 2 To ou moins, et que les données sont très structurées, alors un serveur SQL normal dans un environnement en cluster à 2 machines pour un basculement fera très bien l'affaire.

Cependant, si vous entendez par «énorme» un niveau de données exabyte ou plus et/ou des données non structurées, plusieurs périphériques NAS volumineux (et très coûteux) sont nécessaires. Sur lequel vous exécutez une série de bases de données non-SQL qui sont regroupés pour Fail/plus et/ou de relations multi-maîtres ...

Answer 2

Je recommande Flume, un journal tirant l'infrastructure des gens à Cloudera:

http://github.com/cloudera/flume

Vous pouvez également essayer de Scribe Facebook:

http://github.com/facebook/scribe

Answer 3

Vous pouvez utiliser Logstash pour recueillir les journaux et les centraliser avec un Elasticsearch cluster. Les journaux locaux peuvent être des fichiers journaux de roulement, de sorte qu'ils restent petits. En outre, vous pouvez utiliser Graylog2 pour analyser et afficher vos journaux.