N'importe quoi dans AWS Data Pipeline pour arrêter l'exécution d'une certaine activité avec un script de prise de décision?

nous avons 5 tuyaux dans notre pipeline de données qui exécutent sur la base suivante: tuyau 1 - tuyau 4 = base quotidienne tuyau 5 - fin du mois.N'importe quoi dans AWS Data Pipeline pour arrêter l'exécution d'une certaine activité avec un script de prise de décision?

Nous envisageons une option pour créer un pipeline séparé pour le tuyau 5 car il n'a aucune dépendance sur les autres tuyaux. Y a-t-il un moyen possible d'exécuter tous les tuyaux sauf le canal 5 avec une variable de décision comme dans OOZIE qui peut ignorer l'exécution du canal 5 et terminer le pipeline sans le statut "error"/"Waiting on dependencies "?

Source

2017-03-06 akash sharma

Il est probablement préférable de créer plusieurs pipelines et de les paramétrer selon des horaires différents. Si vous souhaitez pimenter les choses, vous pouvez utiliser la planification Cloudwatch et AWS Lambda pour planifier la création/suppression de pipeline d'une manière cron. Vous pouvez également utiliser les fonctions AWS Step pour définir le flux de travail de chaque composant.

Source

2017-04-01 23:58:32 Fernando

merci Fernanndo. nous avons implémenté la même chose que celle que vous avez suggérée ici ... mais le vrai problème était: je dois exécuter 4 branches d'un pipeline et arrêter l'exécution d'une seule branche. nous n'avons pas non plus compris quoi que ce soit et créé un pipeline de séparation pour la 5ème branche. –

N'importe quoi dans AWS Data Pipeline pour arrêter l'exécution d'une certaine activité avec un script de prise de décision?

Répondre

Questions connexes