Vidage des données de bigquery à postgresql

Question

J'ai environ 3Go de table 4-5 dans google bigquery et je veux exporter ces tables vers Postgres. En lisant les documents que j'ai trouvés, je dois suivre les étapes suivantes.

1. créer un travail qui va extraire des données au format CSV dans le compartiment Google.
2. Du stockage google au stockage local.
3. Parse tous CSV à la base de données

Ainsi, dans l'étape ci-dessus est-il un moyen efficace de faire tout cela. Je sais que les étapes 1 et 2 ne peuvent ignorer aucune chance d'efficacité, mais à l'étape 3 de la lecture en ligne, j'ai trouvé que cela prendrait 2-3 heures pour faire ce processus.

Quelqu'un peut-il me suggérer un moyen efficace de faire

Answer 1

Faire un exemple de projet et voir ce que les temps que vous obtenez, si vous pouvez accepter ces moments, il est trop tôt pour optimiser. Je vois tout cela est possible dans environ 3-5 minutes si vous avez un accès Internet 1Gbit et un serveur fonctionnant sur SSD.