Comment conserver uniquement le dernier nombre "N" de fichiers/objets dans le compartiment S3 en utilisant le script bash ou d'autres méthodes

Question

J'utilise le compartiment S3 pour stocker mes fichiers journaux d'applications Web. Maintenant, j'ai besoin de savoir s'il existe une option disponible, pour conserver les 20 derniers fichiers seulement, peu importe quand ils sont créés. Je ne peux pas utiliser l'option d'expiration automatique S3 car j'ai toujours besoin des 20 derniers fichiers dans mon seau.

Answer 1

Option 1: -

a) Utiliser S3 Service de notification et lambda de déclenchement pour chaque objet Mettre dans S3

---

b) la liste des objets seau à l'aide sdk boto python et stocker le valeurs (clé, date modifiée) dans la liste. C) trier la liste par date/heure et supprimer les anciennes 21 données de données d'enregistrement.

Option 2: -

a) Configurer SQS dans le service de notification et lambda de déclenchement pour chaque objet mis.

---

b) Planifiez un service lambda en fonction de vos besoins.

---

c) liste les objets seau à l'aide python Boto sdk et stocker dans la liste des valeurs (modifiées clés, date). D) Triez la liste par date/heure et supprimez les anciennes 21 données d'enregistrement.

Selon vos besoins, vous devez choisir l'option 1 (ou) l'option 2.

Si votre écriture de fichiers/lecture/téléchargement dans le seau S3 sont de durée d'utilisation intensive choisir l'option 1
Si votre écriture de fichiers/lire/télécharger ne sont pas opération de temps intensive choisir l'option 2.