2012-04-27 5 views
4

Possible en double:
Notification of new S3 objects
Get notified when user uploads to an S3 bucket?Comment détecter les modifications dans Amazon S3?

Quelle est la façon la plus efficace pour détecter les changements dans Amazon S3? Un certain nombre de boîtes distribuées doivent synchroniser les fichiers locaux avec S3. Chaque boîte doit se synchroniser avec une partie d'un compartiment S3. Parfois, les fichiers sont déposés dans un compartiment à partir d'une source externe, et les boîtes ne le sauront donc pas.

Je pourrais écrire un script qui explore continuellement tous les fichiers sur S3 et notifie la case appropriée quand il y a un changement, mais cela sera lent et coûteux. (Il y aura des millions de fichiers). J'ai pensé à activer la journalisation dans le seau, mais il faut beaucoup de temps pour que les journaux soient écrits, et je voudrais être notifié des changements assez rapidement.

D'autres idées?

+6

Rejoignez le reste d'entre nous en suppliant Amazon pour ajouter des notifications SNS lorsque les clés changent dans un compartiment S3. Ils écoutent les clients et si suffisamment de gens crient assez fort ... –

+1

Donc votre accès au seau S3 n'est pas contrôlé par votre code? N'importe qui peut utiliser n'importe quel client pour déposer un fichier n'importe où? Je voudrais aborder ce premier ... – GalacticJello

Répondre

0

Amazon fournit un moyen de notification des incidents de seau (comme on le voit here), mais le seul événement actuellement pris en charge est le s3: ReducedRedundancyLostObject. Je crains que les seules façons de faire ce que vous voulez, aujourd'hui, soient d'interroger (ou d'explorer, comme vous l'avez dit) ou de modifier les clients qui téléchargent des fichiers dans votre ou vos seaux (si vous êtes en contrôle de leur code) afin de notifier vos boîtes chaque fois que des éléments sont téléchargés/modifiés.