2017-10-13 12 views
0

Nous essayons de passer de Pentaho Kettle à Apache AIrflow pour faire ETL et centraliser tous les processus de données sous 1 outil.Déplacer des données de Postgres/MySQL à S3 en utilisant Airflow

Nous utilisons Kettle pour lire quotidiennement les données des bases de données Postgres/Mysql et déplacer les données vers S3 -> Redshift.

Quelle est la manière la plus simple de le faire? Je ne vois pas l'opérateur qui pourrait le faire directement; Dois-je utiliser l'opérateur MySQL/Postgres pour mettre les données dans un fichier local, et l'opérateur S3 pour déplacer les données vers S3?

Merci

Répondre