Le moyen le plus simple de migrer des données d'Aurora à S3 dans Apache ORC ou Apache Parquet

Question

Athena est belle. Pour l'utiliser, à notre échelle, nous devons le rendre moins cher et plus performant, ce qui signifierait sauvegarder nos données dans les formats ORC ou Parquet.

Quelle est la manière la plus simple de migrer une base de données Aurora complète vers S3, en la transformant dans l'un de ces formats?

DMS et données Pipeline semblent vous y moins l'étape de transformation ...

Answer 1

La transformation étape peut être fait avec python, voici un échantillon: https://github.com/awslabs/aws-big-data-blog/tree/master/aws-blog-spark-parquet-conversion

Voir cet article: http://docs.aws.amazon.com/athena/latest/ug/partitions.html

Je voudrais essayer DMS pour créer initialement les données dans s3 et ensuite utiliser le python ci-dessus.