Enregistrer des millions de fichiers sur Windows

Question

Mon système permettra d'économiser ~ 20-40 millions de fichiers image Chaque fichier est 150-300KB
Mon application s'exécutera sur Windows Server 2012 R2 et les fichiers seront sauvegardés sur le stockage (ne pas savoir lequel encore)
Mon application est écrit en C#

Mes exigences sont les suivantes:
- Le système supprime constamment les anciens fichiers et enregistrer de nouveaux fichiers (environ 100K fichiers par jour)
- Les images les plus récentes seront être automatiquement affiché aux utilisateurs sur les applications web et wpf
- I besoin d'un accès rapide aux fichiers récents (la semaine dernière) à des fins de rapport

Quelle est la meilleure pratique pour stocker/organiser ce nombre de fichiers?

Answer 1

Larges questions beaucoup? Si vous demandez comment les organiser pour un accès efficace, il est un peu plus difficile de répondre sans connaître la raison pour laquelle vous stockez autant de fichiers. Laissez-moi vous expliquer: Disons que vous stockez une tonne de fichiers journaux. Les chances sont vos utilisateurs seront les plus intéressés par les journaux de la dernière semaine. Le stockage de vos données sur disque de manière à ce que vous puissiez facilement accéder aux fichiers par jour (par exemple, aaaa-mm-jj.log) accélère l'accès à un journal de jour spécifique.

Maintenant, pensez plutôt à un annuaire téléphonique et vous accédez aux noms de personnes. Bien le stocker au moment où vous avez inséré ce nom dans le répertoire ne va vraiment pas vous aider à obtenir le résultat que vous voulez rapidement. Mieux vaut proposer un meilleur algorithme de tri. Essentiellement regarder comment vos données seront accessibles, essayez de le trier d'une manière logique de sorte que vous pouvez faire un algorithme de recherche binaire ou un meilleur algorithme sur celui-ci.

Je vous recommande fortement de reformuler votre question afin qu'elle soit plus claire.