Nous utilisons MongoDB pour stocker des journaux quotidiens de statistiques sur 10s de milliers d'éléments dans notre base de données - la collection est actuellement proche de 100 millions d'enregistrements. Ces données sont utiles pour l'exploration de données, mais sont rarement consultées. Nous l'avons récemment déplacé de notre base de données principale MySQL vers une base de données Mongo; ceci s'est avéré ne pas être idéal - Mongo est optimisé pour des lectures rapides, gardant tous ses index en mémoire, et l'index sur cette table est très grand. Quel est un bon moyen de stocker de grandes quantités de données pour les grandes écritures quotidiennes, mais les lectures peu fréquentes? Nous envisageons une installation séparée de MySQL sur un système séparé. Une autre possibilité pourrait être une solution NoSQL qui n'a pas besoin d'un index gardé en mémoire.Solution de base de données pour les grands ensembles de données rarement consultés
1
A
Répondre
0
Vous avez raison, un nosql est bon pour la lecture rapide de données simples. Puisqu'il faudra interroger et éventuellement faire des opérations relationnelles sur ces données, je recommanderais une installation mysql séparée pour cela.
Vous souhaiterez minimiser les index SQL pour les écritures rapides.
+0
Dépend de l'implémentation de "nosql" dont il est question. –
Questions connexes
- 1. Android ListView pour les grands ensembles de données
- 2. Algorithme de tri pour les grands ensembles de données
- 3. grands cadres de sous-ensembles de données
- 4. Doctrine avec de grands ensembles de données
- 5. SQL pour les grands ensembles de données à l'échelle
- 6. Alternative aux vecteurs pour les grands ensembles de données? C++
- 7. Stockage pour les grands ensembles de données maillés
- 8. Gestion de grands ensembles de données de grille en JavaScript
- 9. Traitement rapide de grands ensembles de données dans les graphiques
- 10. Chargement de grands ensembles de données avec AngularJS
- 11. Data Import/Export de grands ensembles de données avec .net
- 12. Stockage de grands ensembles de données de niveau session?
- 13. Référencement de plusieurs feuilles avec de grands ensembles de données
- 14. lecture grands ensembles de données et écrire pour exceller
- 15. Qu'est-ce qu'un système de gestion de base de données efficace pour modifier rarement les données?
- 16. Visualisation de grands ensembles de données avec Hadoop
- 17. Interrogation de grands ensembles de données dans Cassandra
- 18. SQLite: création de plusieurs tables ou filtrage d'une base de données pour les grands ensembles de données
- 19. Suggestion pour écrire fréquemment, lire rarement la base de données
- 20. Gestion de grands ensembles de données (objet) avec PHP
- 21. Gestion de grands ensembles de données avec PHP/Drupal
- 22. gestion/compression de grands ensembles de données dans plusieurs tables
- 23. Tracer de grands ensembles de données en 3D avec WPF?
- 24. Comment calculer des valeurs moyennes de grands ensembles de données
- 25. Interrogation de grands ensembles de données RDF sur la mémoire
- 26. Adobe Air/Flex filtrant de grands ensembles de données
- 27. DC et crossfilter avec de grands ensembles de données
- 28. comment analyser de grands ensembles de données en utilisant RDFLib?
- 29. Boucle imbriquée à travers 2 grands ensembles de données
- 30. Conception de base de données - grands champs
Avez-vous déjà utilisé le moteur de stockage Archive dans mysql? Il est destiné directement aux données rarement référencées. http://dev.mysql.com/tech-resources/articles/storage-engine.html – DeaconDesperado
"Qu'est-ce qu'un bon moyen de stocker de grandes quantités de données pour les grandes écritures quotidiennes," - un serveur de base de données, avec un bon matériel et installer correctement –
Envisagez de déplacer les anciennes données vers un entrepôt OLAP (même s'il ne s'agit que d'un autre MySQL) en utilisant des outils ETL, par exemple. Cela peut également influencer (ou être influencé par) tout retrait ou mise en forme de données qui doit se produire, etc. –