diff deux gros fichiers en Python

Question

J'ai deux gros fichiers texte, près de 2 Go chacun. J'ai besoin de quelque chose comme diff f1.txt f2.txt. Est-il possible de faire cette tâche rapidement en python? La norme difflib est trop lente. Je suppose qu'il y a un moyen plus rapide, car difflib est entièrement implémenté en Python.

Answer 1

Que diriez-vous d'utiliser difflib de façon à ce que votre script puisse gérer de gros fichiers? Ne chargez pas les fichiers en mémoire, mais parcourez les fichiers des fichiers et diff en morceaux. Pour par exemple 100 lignes à la fois.

import difflib 

d = difflib.Differ() 

f1 = open('bigfile1') 
f2 = open('bigfile2') 

b1 = [] 
b2 = [] 

for n, lines in enumerate(zip(f1,f2)): 
    if not (n % 100 == 0): 
     b1.append(lines[0]) 
     b2.append(lines[1]) 
    else: 
     diff = d.compare("".join(b1), "".join(b2)) 
     b1 = [] 
     b2 = [] 
     print ''.join(list(diff)) 

diff = d.compare("".join(b1), "".join(b2)) 
print ''.join(list(diff)) 
f1.close() 
f2.close()