Postgres vidage de parties de tables seulement pour un instantané de développement

Question

En production, notre base de données a une taille de quelques centaines de gigaoctets. Pour le développement et les tests, nous devons créer des instantanés de cette base de données qui sont fonctionnellement équivalents, mais qui n'ont que 10 ou 20 Go de taille.

Le défi réside dans le fait que les données de nos entités métier sont réparties sur plusieurs tables. Nous voulons créer une sorte d'instantané filtré afin que seulement certains des entités soient inclus dans la sauvegarde. De cette façon, nous pouvons obtenir de nouveaux snapshots tous les mois pour le développement et les tests.

Par exemple, disons que nous avons des entités qui ont ces nombreuses à plusieurs relations:

• Société a N Divisions
• Division a N employés
• employé a N présence enregistrements

Il y a peut-être 1000 entreprises, 2500 divisions, 175000 employés et des dizaines de millions d'enregistrements de présence. Nous voulons une façon réplicable de tirer, disons, les 100 premières entreprises et toutes ses divisions constituantes, les employés et les registres de présence.

Nous utilisons actuellement pg_dump pour le schéma, puis exécutez pg_dump avec --disable-triggers et --data-only pour extraire toutes les données des tables plus petites. Nous ne voulons pas avoir à écrire des scripts personnalisés pour extraire une partie des données car nous avons un cycle de développement rapide et nous craignons que les scripts personnalisés soient fragiles et susceptibles d'être périmés.

Comment pouvons-nous faire cela? Existe-t-il des outils tiers permettant de retirer des partitions logiques de la base de données? Comment s'appellent ces outils?

Un conseil général a également apprécié!

Answer 1

Sur vos tables plus grandes que vous pouvez utiliser la commande Copier pour retirer des sous-ensembles ...

COPY (SELECT * FROM mytable WHERE ...) TO '/tmp/myfile.tsv' 

COPY mytable FROM 'myfile.tsv' 

https://www.postgresql.org/docs/current/static/sql-copy.html

Vous devriez envisager de maintenir un ensemble de données de développement plutôt que de simplement tirer un sous-ensemble de votre production. Dans le cas où vous écrivez des tests unitaires, vous pouvez utiliser les mêmes données que celles requises pour les tests, en essayant d'atteindre tous les cas d'utilisation possibles.

Answer 2

Je ne connais aucun logiciel qui le fait déjà, mais je peux penser à 3 solutions alternatives. Malheureusement, ils nécessitent tous un codage personnalisé.

1. Recréez toutes les tables dans un schéma distinct, puis copiez dans ces tableaux que le sous-ensemble de données que vous souhaitez vider, en utilisant INSERT INTO copy.tablename SELECT * FROM tablename WHERE ... et vidage.

2. Ecrivez votre propre script pour le vidage de données sous forme d'instructions SQL. J'ai utilisé cette approche dans le passé et cela n'a pris que quelque chose comme 20-30 lignes de PHP.

3. Modifier pg_dump afin qu'il accepte une condition avec le commutateur -t lors du vidage d'une seule table.

Answer 3

http://jailer.sourceforge.net/ fait cela.