Je travaille sur un système qui devra stocker beaucoup de données de température. Je pourrais potentiellement stocker 5 échantillons par seconde ou plus.Outil le plus efficace pour stocker des échantillons de température fréquents
Je l'ai fait dans le passé avec une base de données mysql relativement simple et les performances sont devenues insupportables. Les inserts n'étaient pas trop mauvais, mais avaient une charge notable. Les requêtes, cependant, pourraient prendre quelques minutes.
À l'époque, j'avais environ 50 Go de données, ce qui est ridicule. Je peux penser à plusieurs façons de compresser ou de jeter les données sans perdre d'informations critiques, mais c'est un problème complètement différent. Je voudrais choisir un outil/base de données optimisé pour ce type de données, de préférence multi plate-forme (au minimum, linux/C++).
RRD (Round Robin Database) semble construit pour ce genre de chose, mais il semble conçu plus pour le traitement des données que pour le stocker.
Quels sont les autres outils disponibles?
Edit: plus d'info ...
Ce sera en cours d'exécution sur un système embarqué (un Raspberry Pi) donc un outil idéal a faible surcharge de calcul, faible empreinte mémoire, et quelques dépendances.
Le stockage ne doit pas nécessairement être sur le même périphérique. Je suppose que la croissance pourrait atteindre jusqu'à 500 000 échantillons par heure dans un cas extrême, artificiel. Plus probablement, il y aura environ 20k échantillons par heure.
L'accès à Internet ne doit pas être présumé.
Vous pouvez vous intéresser à NoSQL ou au partitionnement. Je ne vois pas pourquoi MySQL ne serait pas capable de gérer cette quantité de données. – Kermit