AWS CLI S3 Arrêt de la copie sans erreur

Je tente de télécharger un gros fichier CSV (100 Go) de S3 dans un lecteur monté sur une instance EC2.AWS CLI S3 Arrêt de la copie sans erreur

J'ai téléchargé AWS-CLI et utilisé la commande: aws s3 cp s3://bucket/file.csv . --region=us-east-1 et tout semble bien fonctionner et télécharge environ 70 Go de données, puis tout à coup il semble s'arrêter et existe sans aucun message ou erreur, en supprimant la partie du fichier qu'il a créé.

Completed 642 of 916 part(s) with 1 file(s) remaining

puis tout s'arrête. Pourquoi cela pourrait-il être et comment puis-je contourner ce problème? J'ai essayé d'utiliser s3cmd get mais il arrive trop tard et devient très lent au point où il arrête de télécharger quoi que ce soit.

Des idées? Problème de réseau? problème de disque? Problème d'API?

Merci

Source

2015-11-20 Mo.

Qu'est-ce que '--version' de la CLI utilisez-vous? Il y avait la version 1.9.8 hier qui incluait un correctif pour l'échec silencieux en cas de problèmes d'OS (https://github.com/aws/aws-cli/issues/1645). – jamesls

aws-cli/1.2.9 :( J'ai utilisé 'apt-get install' pour Ubuntu –

nous travaillons sur un [fix] (https://github.com/minio/mc/issues/1455) pour ceci pour l'outil [mc] (https://github.com/minio/mc) –

Sinon, vous pouvez essayer https://github.com/minio/mc qui implémente les téléchargements réactivables et les téléchargements.

En outre, il fournit également des sessions pour votre opération en cours, en cas d'erreurs, il enregistre gracieusement la session et vous pouvez continuer à l'endroit où il s'était arrêté. Est écrit en Golang et publié sous Apache license v2. S'il vous plaît nous fournir des commentaires.

Source

2015-12-01 02:33:19 Harshavardhana

AWS CLI S3 Arrêt de la copie sans erreur

Répondre

Questions connexes