Insertion incrémentielle efficace dans postgresql

Question

J'utilise une base de données pour représenter une liste de fichiers et certaines métadonnées associées à chacun d'entre eux. J'ai besoin de mettre à jour régulièrement cette liste de fichiers, en ajoutant seulement les nouveaux fichiers et en supprimant les fichiers qui n'existent plus (je ne dois pas toucher les lignes existantes dans le tableau car je perdrais les métadonnées associées).

Mes requêtes actuelles ne prennent que quelques secondes lorsque j'ai environ 10000 fichiers, mais prennent une heure avec ma table actuelle de 150000 fichiers.

Après quelques recherches sur Internet, je suis le processus suivant:

1. Peupler une table "NewFiles" avec les résultats de l'analyse
2. DELETE FROM files WHERE path NOT IN (SELECT path FROM newfiles);
3. INSERT INTO files (SELECT * FROM newfiles WHERE path NOT IN (SELECT path FROM files));

J'ai aussi des index:

CREATE INDEX "files_path" ON "files" ("path"); 
CREATE INDEX "files_path_like" ON "files" ("path" varchar_pattern_ops); 
CREATE INDEX "files_path" ON "newfiles" ("path"); 
CREATE INDEX "files_path_like" ON "newfiles" ("path" varchar_pattern_ops); 

(J'utilise principalement ces index pour la recherche dans la base de données; mon application a un moteur de recherche dans les fichiers.)

Chacune de ces deux requêtes prend plus d'une heure quand j'ai 150000 fichiers. Comment puis-je optimiser cela?

Merci.

Answer 1

Essayez NOT EXISTS au lieu de NOT IN, comme dans:

DELETE FROM files WHERE NOT EXISTS 
    (SELECT 1 FROM newfiles WHERE newfiles.path=files.path); 

Aussi, si newfiles est peuplée chaque fois à partir de zéro, assurez-vous que vous ANALYZE newfiles avant d'émettre une requête qui utilise, de sorte que l'optimiseur peut fonctionner avec bonnes statistiques.

Si cela ne résout pas, essayez EXPLAIN ou EXPLAIN ANALYZE sur vos requêtes pour avoir le plan d'exécution et l'ajouter à la question.