Postgres parallèle/efficace charge énorme quantité de données psycopg

Question

Je veux charger plusieurs lignes à partir d'un fichier CSV.
Les fichiers contiennent des données telles que "article_name, article_time, start_time, end_time"

Il y a une contrainte sur la table: pour le même nom d'article, je ne sais pas insérez une nouvelle ligne si le nouvel article_time tombe dans une plage existante [heure_début, heure_finale] pour le même article.
soit: ne pas insérer la ligne y si elle existe [start_time_x, end_time_x] pour lesquels time_article_y intérieur intervalle [start_time_x, end_time_x], avec Article_ name_ y = x Article_ name_

• J'ai essayé avec psycopg en sélectionnant les noms d'articles existants en vérifiant manuellement s'il y a chevauchement -> trop long
• J'ai réessayé avec psycopg, cette fois en mettant une condition 'exclure en utilisant ...' et en essayant d'insérer avec la spécification "sur le conflit ne fait rien" (de sorte qu'il n'échoue pas) mais encore trop long
• J'ai essayé la même chose mais cette fois en essayant d'insérer de nombreuses valeurs à chaque appel d'exécution (psycopg): ça s'est un peu amélioré (1M lignes traitées en presque 10minutes), mais toujours pas aussi vite qu'il faut pour la quantité de données que j'ai (500M +)
• J'ai essayé de paralléliser en appelant le même script de fois, sur des fichiers différents, mais le calendrier n'a pas obtenu mieux, je suppose à cause des verrous sur la table chaque fois que nous voulons écrire quelque chose

Est-il possible de créer une serrure uniquement sur lignes contenant le même article_name? (et pas un verrou sur toute la table?)
Pourriez-vous s'il vous plaît aider avec une idée pour rendre ce parallélisable et/ou plus de temps efficace?

Beaucoup de gens remercie

Answer 1

Votre idée avec la contrainte d'exclusion et INSERT ... ON CONFLICT est bon.

Vous pouvez améliorer la vitesse comme suit:

• tout faire en une seule transaction.

• Comme Vao Tsun suggéré, peut-être COPY les données dans une table de transfert d'abord et le faire avec une seule instruction SQL.

• Supprime tous les index sauf la contrainte d'exclusion de la table dans laquelle vous modifiez les données et les recréer lorsque vous avez terminé. Accélérez l'insertion en désactivant l'autovacuum et en augmentant max_wal_size (ou checkpoint_segments sur les anciennes versions de PostgreSQL) pendant le chargement des données.