Y a-t-il un problème de collage d'énormes quantités de fichiers dans un seul compartiment S3?

Question

J'ai une énorme quantité (700.000+) de fichiers (environ 50kb sur avg) Je vais stocker sur S3. Je ne suis pas sûr si je devrais les coller tous dans un seau (ce qui est bien en ce qui me concerne), ou les diviser en petits seaux. Je suis seulement inquiet que cela puisse prendre plus de temps pour que S3 serve les fichiers s'ils sont tous dans un seul seau, quelque chose comme si vous colliez trop de choses dans un répertoire Unix. Est-ce un souci, devrais-je les casser dans plus de seaux, ou juste faire la chose la plus directe et les coller dans 1 seau?

Answer 1

Je n'ai pas stocké autant d'objets moi-même, mais un grand nombre d'objets (même dans un seul compartiment) est exactement le genre de tâche que S3 a été conçu pour gérer. Récupérer une liste complète des objets dans ces compartiments sera évidemment une tâche assez importante, mais cela ne devrait pas nuire à la capacité de S3 à chercher les clés et à retourner les objets que vous avez placés là.

Vous devez savoir que certains outils (par exemple, les outils graphiques pour «parcourir» S3 ou certains outils qui suppriment le godet après avoir retiré chaque objet) ne le gèrent pas bien que S3 soit OK. C'est juste quelque chose à savoir.