Base de données/stockage de données pour un volume élevé de transactions simples

Question

J'ai écrit une application PHP qui nécessite le stockage de millions d'entiers compris entre 0 et 10 000 000 inclus. Chaque nombre est incrémenté de un très fréquemment (en moyenne 100 valeurs sont mises à jour toutes les secondes) et lu très fréquemment (20 000 lectures par seconde). Les chiffres sont réinitialisés à 0 tous les soirs, hebdomadaires, mensuels ou annuels.

J'ai un assez bon contrôle sur MySQL mais il me semble que c'est un peu exagéré et pas très efficace dans le processus.

Quelqu'un a-t-il déjà dû faire face à ce problème et/ou pourrait-il faire la lumière sur un système de stockage de données approprié?

Answer 1

En fonction de la quantité de mémoire dont vous disposez et de la durée de conservation, vous pouvez utiliser le cache APC ou memcache. memcache a une belle opération d'incrémentation, donc c'est fou de le faire.

BTW, vous avez dit que vous avez besoin de lectures 20K. Et vous le faites en PHP? sur un serveur ou sur un cluster? On dirait que vous avez besoin de conseils architecturaux ..... :)

S'il s'agit d'une application Web, vous allez utiliser un cluster. Et si ce n'est pas une application web, je vous suggérerais de le refaire dans quelque chose qui n'est pas PHP. Java, C++ et C# me viennent à l'esprit.