Je suis à la recherche du moyen le plus rapide pour transférer ~ 100.000 images d'un serveur à mon seau Amazon S3. Est-ce que ce serait de faire une boucle sur chaque image et de faire une demande PUT séparée? J'espérais qu'il y avait un moyen plus rapide, mais je n'ai rien trouvé.Transfert de 100 000 images vers S3. Quel est le moyen le plus rapide?
Vous ne connaissez pas S3, mais s'il n'y a pas d'outil de chargement groupé, vous pouvez peut-être accélérer les choses en bouclant vos images dans plusieurs processus parallèles, jusqu'à ce que vous atteigniez votre connexion réseau maximale.
Vous pouvez essayer d'utiliser le contrôle de chargement par lots Image Uploader. Ou si c'est une tâche ponctuelle, je considère utiliser Amazon sample. Quoi qu'il en soit, si vous voulez utiliser la requête PUT/POST pour le téléchargement, un fichier par requête - est la restriction API d'Amazon et il me semble qu'il n'y a rien à faire.
Peut-être essayer le courrier postal?
Nous (CloudOpt) construit une solution pour optimiser le transfert de données dans Amazon S3 appelé CloudOptimizer. Il utilise la déduplication symétrique, la compression et un tas d'autres techniques. Jetez un coup d'oeil et laissez-moi savoir ce que vous pensez. J'aimerais avoir vos commentaires.
s3funnel. Je l'ai utilisé la semaine dernière pour transférer environ 3 000 000 images vers S3. Il est multi-thread, donc tend à être très rapide. J'ai testé un certain nombre d'outils commerciaux et open source, et s3funnel est de loin le meilleur OMI.
Je ne vois pas comment pointer s3funnel dans un répertoire - avez-vous manuellement construit une liste de vos 3 000 000 fichiers? –
Je n'ai pas utilisé s3funnel depuis un moment - l'outil awscli a maintenant des options de synchronisation S3, donc je l'ai utilisé à la place. –
IIRC correctement, j'avais seulement besoin de transférer des fichiers à la racine du seau dans ce cas. –
Quel est le problème avec ftp? –
@Robert Massaioli FTP n'est pas supporté par S3. –