Impossible d'ajouter l'activité AWS DataPipeline à l'aide d'awscli

Question

J'ai beaucoup de tables DynamoDB pour configurer les sauvegardes dans Data Pipeline. Je suis capable de passer un fichier json via la ligne de commande aws pour 1 ou 2 tables, ce qui signifie que le fichier JSON fonctionne.

Cependant, quand je passe un grand JSON (avec 50-100 tables DynamoDB) pour DataPipeline d'installation, je reçois cette erreur:

An error occurred (InvalidRequestException) when calling the PutPipelineDefinition operation: Web service limit exceeded: Exceeded maximum number of objects allowed per pipeline

je peux créer chaque JSON par table DynamoDB. Mais le problème est que le précédent DataPipeline est écrasé par le prochain JSON.

La commande AWS J'utilise est:

aws datapipeline put-pipeline-definition --pipeline-id df-XXXXXXXXXXXXX --pipeline-definition file:///home/varun/Desktop/df-XXXXXXXXXXXXX.json

Ma principale question: Est-il possible, pas remplacer l'activité datapipeline, si je suis à l'aide-pipeline définition mis avec plusieurs JSON?

Edit: 1. Je dispose d'un pipeline de données comme indiqué ci-dessous

2. Le ci-dessous sont les noeuds de données et de l'activité (sauvegarde) à l'intérieur du pipeline de données:

je dois créer plusieurs (lire ~ 50) activités et des noeuds de données en utilisant JSON. Le json travaille pour 1 activité, mais pour le second, il écrase celui existant.

Answer 1

Pour chaque JSON, vous devez créer un pipeline distinct:

aws datapipeline create-pipeline --pipeline-name mytable --unique-id mytable 
aws datapipeline put-pipeline-definition --pipeline-id <ID from previous command> --pipeline-definition file://mytable.json