Comment copier des fichiers et des répertoires vers EBS à partir d'un montage de compartiment S3 avec s3fs

Question

J'ai un montage de compartiment S3 en tant que volume dans une instance EC2 avec S3FS. J'ai créé avec PHP une structure de répertoire avec plus de 20Go maintenant. À l'instant où S3FS est épuisant la mémoire d'instance et le téléchargement est vraiment lent, donc je veux déplacer tous les fichiers à un EBS attaché à la même instance.

J'ai essayé S3CMD mais il y a quelques incompatibilités puisque S3FS crée des objets de taille nulle dans le compartiment avec le même nom que les répertoires.

Également essayé d'écrire un script pour copier récursivement la structure en sautant ces objets de taille nulle.

Aucune travaillée.

Quelqu'un at-il essayé de le faire? Merci d'avance pour votre aide.

Answer 1

@hernangarcia Ne vous compliquez pas les choses, utilisez wget récursif wget -r suivi de l'url du point final du godet. Vous pouvez télécharger tout le contenu sur un volume EBS. Aussi, ma suggestion n'est pas de stocker tous ces fichiers qui sont comme 20 Go sur le volume racine de l'instance, mais d'y attacher un autre volume, puis de stocker tous ces fichiers dans ce volume supplémentaire et si vous avez un volume IOPS élevé. que les opérations seront plus rapides.