copier des données spécifiques dans un compartiment s3 à l'aide d'un pipeline de données

Question

J'ai téléchargé un fichier JSON dans un compartiment aws s3, car le fichier JSON est sous forme de clé et de valeur, je souhaite copier uniquement des données de clés spécifiques dans un autre compartiment s3 utilisant le pipeline de données aws. Pour faire cette opération, que dois-je ajouter dans la définition du pipeline. Quelqu'un avec une idée serait vraiment appréciable. Merci!

Answer 1

pipeline de données peut exécuter tout type de script shell par leur ShellCommandActivity: http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-shellcommandactivity.html

Vous pouvez configurer une activité shell qui va tirer des données de s3 (en utilisant la capacité de « scène »), exécutez un script personnalisé, et repoussez les données à s3.