J'évalue une base de données pour mon prochain projet. Je veux stocker toutes les villes du monde (2,5 millions) et enregistrer les prévisions météorologiques pour chaque ville chaque jour. Vous pouvez donc imaginer que l'ensemble de données deviendra assez rapide.Base de données pour gérer une énorme quantité de données
J'ai également besoin d'effectuer des requêtes de géo - obtenez-moi la ville et la température pour cette journée dans cette boîte de délimitation. Jusqu'à présent, j'ai regardé hbase et couchdb. Hbase a semblé intéressant, mais l'exigence de matériel pour la production est trop chère pour moi (une présentation a dit que vous avez besoin de 5 serveurs séparés). Je voudrais garder les coûts aussi bas que possible, c'est mon projet personnel.
Alors, quelles autres options ai-je? Est-ce que mongo peut gérer cette quantité de données? Rien d'autre?
TL; DR Les exigences sont
- grande quantité de données
- boîte englobante rapide des requêtes
- exigences matérielles bas/bon marché
- optimisé pour la lecture, mais doit gérer insert de 2 , 5 millions d'enregistrements par jour
Combien de données ajoutez-vous réellement? Ça ne me semble pas beaucoup. Correctement normalisé, vous pourriez voir une addition de 2.5M * 15 octets de données chaque jour. ~ 50MB. environ 30 jours de données prenant 1G. Une année vaut le coup à 12G, prendre 15G pour les approximations et d'autres choses. MySQL peut gérer cela, (pour un projet d'école 1 an est assez bon non?). – Jai