Chargement des données de S3 vers PostgreSQL RDS

Question

Nous prévoyons d'utiliser PostgreSQL RDS dans un environnement AWS. Il y a quelques fichiers dans S3 que nous aurons besoin de charger chaque semaine. Je ne vois aucune option dans la documentation AWS où nous pouvons charger des données de S3 vers PostgreSQL RDS. Je vois que c'est possible pour Aurora mais ne trouve rien pour PostgreSQL. Toute aide sera appréciée.

Answer 1

Une option consiste à utiliser AWS Data Pipeline. C'est essentiellement un script JSON qui vous permet d'orchestrer le flux de données entre les sources sur AWS.

AWS propose un modèle permettant de déplacer des données entre S3 et MySQL. Vous pouvez le trouver here. Vous pouvez facilement suivre ceci et échanger les paramètres MySQL avec ceux associés à votre instance Postgres. Data Pipeline recherche simplement RDS comme type et ne fait pas de distinction entre les instances MySQL et Postgres. Est également pris en charge par le pipeline de données, de sorte que vous pouvez automatiser vos transferts de fichiers hebdomadaires.

Pour commencer ceci:

• Aller au service pipeline de données dans votre console AWS
• Sélectionnez "Construire à partir du modèle" sous la source
• Sélectionnez le modèle "Charger S3 à la table MySQL"
• Remplissez le reste des champs et créez le pipeline

De là, vous pouvez suivre la progression du pipeline dans la console!