Quel est le moyen le plus efficace de soustraire une liste à une autre?

Question

J'essaie de soustraire List_1 (50k lignes) de List_2 (100k lignes), quand un élément de List_1 correspond exactement à un élément de List_2. J'utilise grep, plus précisément:

grep -v -f List_1.csv List_2.csv > Magic_List.csv

Je sais que ce n'est pas la façon la plus efficace de le faire, mais ce qui est? sed? awk? comm? SQL? Comment pourrais-je accomplir cela de la manière la plus efficace possible?

Answer 1

C'est l'un des moyens les plus efficaces à mon humble avis, vous devez ajouter -F si:

grep -Fvf List_1.csv List_2.csv > Magic_List.csv 

Answer 2

La façon la plus efficace est d'utiliser une structure de données arborescente ou une fonction de hachage pour la liste 2 et pour chaque article de la première recherche de liste dans votre trie.

Answer 3

Vous devrez le référencer pour trouver la méthode la plus efficace. Ceci est, cependant, ce que comm est pour, donc je suppose que ce serait un joli outil.

comm -13 List_1.csv List_2.csv > Magic_List.csv