AWS Datapipeline to Ruby Code

Question

Je suis en train de prendre en charge un ensemble de pipelines de données sur AWS. Ils sont tous construits à l'aide de l'éditeur graphique AWS. Les pipelines deviennent complexes et mon but est de les déplacer vers le code et de les avoir versionnés. Nous sommes un magasin de rubis donc outre la pierre gemme AWS, y a-t-il un autre outil ou cadre que je devrais utiliser pour faire cela? Toutes les ressources, blogs, docs que je peux suivre seraient utiles et faciles à suivre (aws docs pourrait être mieux).

Answer 1

Datapipeline prend en charge un format de définition JSON. Le format est décrit dans ces liens:

• Pipeline Definition File Syntax
• Pipeline Object Reference

de l'architecte, vous pouvez exporter vos pipelines existants JSON en suivant les instructions here.

Engagez ces fichiers JSON à votre contrôle de code source, et exécutez/migration/les déployer en utilisant l'AWS CLI comme ceci:

aws datapipeline create-pipeline --name mydpl --unique-id mydpl 
aws datapipeline put-pipeline-definition --pipeline-id df-xxxxxxxxxx --pipeline-definition file:///mydpl.json 
aws datapipeline activate-pipeline --pipeline-id df-xxxxxxxxxx