AWS Data Pipeline DynamoDB vers S3 vers Redshift y compris JsonPaths

Question

Je connais la copie standard de DynamoDB vers Redshift, mais cela ne fonctionne que pour les schémas sans Maps et Lists. J'ai plusieurs tables ddb avec des cartes et des listes et j'ai besoin d'utiliser jsonpaths pour faire l'importation vers Redshift. Donc, ma question est, puis-je planifier une sauvegarde de DynamoDB à S3, puis lorsque la sauvegarde est terminée, exécutez l'importation à Redshift, y compris la config jsonpaths? J'imagine que c'est un processus en deux phases. Ou puis-je créer un seul pipeline de données qui effectue la sauvegarde et l'importation?

Vous pouvez également utiliser AWS ou est-ce que je dois raccorder un événement (SNS) pour notifier l'importation que la sauvegarde est terminée?

Answer 1

AWS dispose désormais de quelques services pouvant exécuter des tâches. Vous pouvez gérer votre flux de travail d'importation en utilisant AWS step functions. AWS Lambda functions correspondant à chaque étape de votre flux de travail d'importation peut générer AWS Batch jobs, où le premier travail sauvegardera votre table DynamoDB en S3 et le second travail importera vers Redshift à l'aide de la configuration jsonpaths.

Answer 2

Vous pouvez faire un Dynamo à RS copier, mais les schémas de deux doivent correspondre exactement AFAIK (je have'nt encore essayé)

Cependant, vous pouvez configurer deux/pipeline unique pour configurer une sauvegarde de DDB à S3 et de S3 à RS. DDB prend la sauvegarde comme des objets JSON vous aurez donc besoin config jsonpath à insérer dans votre RS

Exemple col1 (nombre) - 0 col2 (String) - x votre sauvegarde ressemblerait { "col1": { "n ":" 0 "}," col2 ": {" s ":" x "}} votre jsonpath pour obtenir 0 devrait être comme $ .col1.n

Vous pouvez utiliser des modèles prédéfinis de pipelines de données si vous configurez 2 pipelines, mais vous devez construire votre propre ou commencer avec un modèle et construire dessus si vous voulez utiliser un pipeline

Vous pouvez connecter un snsAlarm en cas d'échec ou de réussite du pipeline.