Flux dd stdout de ec2 à s3

En essayant d'économiser de l'argent sur les instantanés EBS, l'idée est de prendre des copies manuelles des systèmes de fichiers (en utilisant dd) et de les stocker manuellement dans S3 pour lifecycle IA et Glacier.Flux dd stdout de ec2 à s3

Les travaux suivants fins pour des fichiers plus petits (testé avec 1 Go), mais plus grand (~ 800GB), après environ 40 Go, tout ralentit à une exploration et ne se termine jamais

sudo dd if=/dev/sdb bs=64M status=progress | aws s3 cp - s3://my-bucket/sdb_backup.img --sse AES256 --storage-class STANDARD_IA

L'exécution de ce à partir d'un m4. par exemple 4XLARGE (16 vcpu, 64Go RAM)

pas exactement pourquoi il est ramper à l'arrêt, ou que ce soit la meilleure façon de résoudre ce problème (systèmes de fichiers de stockage manuellement sur la classe de stockage s3 Infrequent d'accès)

Des pensées?

Merci!

Source

2017-08-11 tkwargs

Avez-vous vérifié qu'il ne crée pas un gros fichier temporaire quelque part? Que diriez-vous de l'utilisation de CPU du processus 'aws'? D'après mon expérience, les gros téléchargements ne sont pas bien gérés par aws-cli. J'ai écrit mon propre utilitaire pour le faire, il y a plusieurs années, bien que je ne fasse plus de téléchargement en continu, car les volumes EBS 'sc1' et les disques éphémères fournissent un espace temporaire rentable pour la mise en scène de gros téléchargements. –

Avez-vous regardé votre facture AWS, les frais de stockage des snapshots ... et avez-vous comparé combien ils vous facturaient par rapport à la taille totale de tous vos snapshots? Vous pouvez courir après des économies imaginaires. Dans une région, j'ai presque 92 000 Go de snapshots (92 To) mais EBS ne me facture que 10 300 Go (10,3 To). La déduplication et la compression fournies par les clichés EBS signifient que je paie effectivement 0,0056 $/gigaoctet ... un peu plus de 1/10e du prix de liste. Dans une autre région, le ratio n'est pas aussi élevé, il est donc de 0,0126 $/Go. Vous n'êtes pas mieux à moins que vous ne déduisiez et ne compressiez vous-même. –

Va vérifier cette @ Michael-sqlbot. Merci! – tkwargs

Ce n'est pas une bonne idée car les snapshots sont incrémentiels, donc vous dépenserez plus à partir des prochaines instantanés faits à la main.

Si vous voulez toujours de cette façon, envisagez le téléchargement en plusieurs parties (morceaux jusqu'à 5 Go).

Source

2017-08-11 20:58:45 Putnik

Si vous souhaitez copier des fichiers sur Amazon S3, la méthode la plus simple est d'utiliser le AWS Command-Line Interface (CLI):

aws s3 sync dir s3://my-bucket/dir

Comme alternative à Accès Standard-Infrequent, vous pouvez créer une politique de cycle de vie sur le seau S3 pour déplacer les fichiers vers Glacier. (Cela vaut la peine pour le stockage à long terme, mais pas pour le court terme en raison de frais de demande plus élevés.)

Source

2017-08-11 22:41:07

Vous pouvez utiliser quelque chose comme goofys pour rediriger la sortie vers S3. J'ai personnellement testé avec des fichiers jusqu'à 1 To.

Source

2017-08-15 22:13:04 khc

Flux dd stdout de ec2 à s3

Répondre

Questions connexes