J'ai des fichiers qui doivent être extraits quotidiennement via AWS s3 CLI. Je le fais pour ~ 80 fichiers mais ils ont des informations statiques en plus d'une date dynamique que je résous, mais maintenant nous introduisons un nouveau type. Le nom du nouveau type:Extraction de fichiers spécifiques à l'aide d'AWS CLI avec --include
ACR_{{randomInt}}_YYYY_MM_DD_ThiFil.csv
Actuellement, j'utiliser un fichier batch pour sauver la date d'hiers en% de% hier et cela fonctionne en faisant
aws s3 cp s3://~~~directorystuff/ACR_StaticInfo_%yesterday%_ThiFil.csv C:\localDirStuff~~~\ACR_StaticInfo_%yesterday%_ThiFil.csv
Cela fonctionne à cause de la info statique Avec le randomInt (dont j'ai besoin d'exister dans le fichier final aussi), j'ai des problèmes. Je sais AWS SLI utilise --include pour remplacer le manque de fonctionnalité générique, mais je reçois un stream is not seekable chaque fois que j'essaie. Ce que je suis en train de faire - n'est pas évolutif du tout - je tire récursivement le répertoire entier et efface tout ce qui ne l'est pas aujourd'hui. Je hais cette méthode et il n'est pas extensible du tout.
Comment utiliser AWS CLI pour gérer uniquement les fichiers dont j'ai besoin?
Note: Le randomInt changera chaque semaine et chaque jour aura 30-40 différents, c'est pourquoi je ne peux pas garder un tableau à filtrer pour tirer chacun.
Mise à jour
J'ai aussi essayé aws s3 cp C:\localDir\ s3://remoteDir --include "2017-10-12" et je reçois toujours le stream is not seekable