La meilleure solution NoSQL pour la journalisation

Question

Je travaille sur un projet qui enregistre beaucoup d'informations sur les spectateurs à partir d'une plateforme de streaming en ligne. Le problème aujourd'hui avec la solution MySQL est qu'il est trop lent à interroger, et ainsi de suite. Même avec la mise à l'échelle et un meilleur réglage des performances, cela fonctionnera maintenant car il y a juste beaucoup de données en temps réel qui sont écrites/lues.

Quelle sera la bonne (la meilleure) solution NoSQL pour moi?

supplémentaire:

• Nous utilisons actuellement des services Web Amazon, où nous nos données.
• Avec l'API Java, et une solution open source est préférée.
• Objet orienté.

Answer 1

Pas exactement une solution NoSQL, mais avez-vous regardé Scribe (à partir de Facebook)? Vous pouvez utiliser http://code.google.com/p/scribe-log4j/ pour écrire de Java

Answer 2

Je passer un peu de temps à regarder ces options:

• Cassandra
• MongoDB
• Hadoop

Toutes ces solutions ont leurs avantages et par contre, mais leurs wikis devraient fournir suffisamment d'informations pour vous aider à démarrer.

Answer 3

Le premier défi que vous pouvez avoir est de savoir comment collecter une grande quantité de données de manière fiable avec facilité de gestion. Il es un collectionneur de journal open-source tels que la mise en œuvre syslog, Fluentd, Scribe et Flume :)

Le gros problème est de savoir comment stocker et traiter les données. Comme vous l'avez souligné, l'utilisation de la solution NoSQL fonctionne très bien, mais vous devez choisir parmi eux en fonction de votre volume de données.

Dans un premier temps, vous pouvez utiliser MongoDB pour stocker toutes vos données, mais à un certain moment, vous vous retrouvez à l'aide Apache Hadoop à l'architecte une architecture extrêmement évolutive.

Le poing ici est que vous devriez avoir une couche de journalisation distribuée qui résume le backend de stockage, et choisir la bonne solution NoSQL pour le volume de données.

Voici quelques liens pour mettre les logs Apache dans MongoDB, ou Hadoop HDFS de Fluentd.

• Store Apache Logs into MongoDB
• Fluentd + HDFS: Instant Big Data Collection