stockage journal avec `fonctionnalité -f` queue

Question

je besoin d'une « chose » assis sur un hôte écoutant du texte des journaux à partir d'une source (fluentd) que je peux interroger pour:

• journaux stockés pendant un temps donné fenêtre
• journaux stockés avec un simple filtrage (semblable à grep)
• alimentation en direct (semblable à tail -f)

Mon idée actuelle est d'avoir fluentd d'envoyer des journaux à un SGBDR vieux plaine (Postgres) Ach ieve les deux premiers, mais je ne connais pas de solution toute faite pour le troisième. Je ne suis pas en train d'en écrire un moi-même, mais je ne peux pas croire que personne ne l'a déjà fait :-)

Aussi, n'hésitez pas à suggérer un stockage différent, je ne suis pas marié à Postgres, c'est juste quelque chose d'extraordinaire de ma tête.

Answer 1

Vous pouvez essayer l'écriture MongoDB output plugin dans des collections plafonnées, qui prennent en charge une sorte de tail -f avec des curseurs MongoDB disponibles.

Ils ont même un script mongo-tail pour aider avec cela dans le dépôt de plugin GitHub. En utilisant ceci avec le dernier plugin MongoDB sur Fluentd v0.12 - qui a quelques fonctionnalités pratiques sur l'écurie Fluentd - vous devrez peut-être appliquer un correctif de bogue (qui attend d'être appliqué en amont) pour vous assurer que les collections sont couvertes sont correctement créés et la queue fonctionne bien - voir https://github.com/fluent/fluent-plugin-mongo/pull/91.