zip() alternative pour itération à travers deux iterables

Question

J'ai deux grands fichiers texte (~ 100 Go) qui doivent être itérés simultanément. Zip fonctionne bien pour les fichiers plus petits, mais j'ai découvert qu'il fait en fait une liste de lignes à partir de mes deux fichiers. Cela signifie que chaque ligne est stockée en mémoire. Je n'ai pas besoin de faire quoi que ce soit avec les lignes plus d'une fois.

handle1 = open('filea', 'r'); handle2 = open('fileb', 'r') 

for i, j in zip(handle1, handle2): 
    do something with i and j. 
    write to an output file. 
    no need to do anything with i and j after this. 

est-il une alternative à zip() qui agit comme un générateur qui me permettra de itérer ces deux fichiers sans utiliser> 200 Go de RAM?

Answer 1

itertools a une fonction izip qui fait que

from itertools import izip 
for i, j in izip(handle1, handle2): 
    ... 

Si les fichiers sont de tailles différentes, vous pouvez utiliser izip_longest, comme izip arrêtera le fichier plus petit.

Answer 2

Quelque chose comme ça? Wordy, mais il semble que ce soit ce que vous demandez.

Il peut être ajusté pour faire des choses comme une fusion appropriée pour faire correspondre les clés entre les deux fichiers, ce qui est souvent plus nécessaire que la fonction zip simpliste. En outre, cela ne tronque pas, ce qui est ce que l'algorithme SQL OUTER JOIN, encore une fois, différent de ce que fait zip et plus typique des fichiers.

with open("file1","r") as file1: 
    with open("file2", "r" as file2: 
     for line1, line2 in parallel(file1, file2): 
      process lines 

def parallel(file1, file2): 
    if1_more, if2_more = True, True 
    while if1_more or if2_more: 
     line1, line2 = None, None # Assume simplistic zip-style matching 
     # If you're going to compare keys, then you'd do that before 
     # deciding what to read. 
     if if1_more: 
      try: 
       line1= file1.next() 
      except StopIteration: 
       if1_more= False 
     if if2_more: 
      try: 
       line2= file2.next() 
      except StopIteration: 
       if2_more= False 
     yield line1, line2 

Answer 3

Si vous voulez tronquer au plus court fichier:

handle1 = open('filea', 'r') 
handle2 = open('fileb', 'r') 

try: 
    while 1: 
     i = handle1.next() 
     j = handle2.next() 

     do something with i and j. 
     write to an output file. 

except StopIteration: 
    pass 

finally: 
    handle1.close() 
    handle2.close() 

Else

handle1 = open('filea', 'r') 
handle2 = open('fileb', 'r') 

i_ended = False 
j_ended = False 
while 1: 
    try: 
     i = handle1.next() 
    except StopIteration: 
     i_ended = True 
    try: 
     j = handle2.next() 
    except StopIteration: 
     j_ended = True 

     do something with i and j. 
     write to an output file. 
    if i_ended and j_ended: 
     break 

handle1.close() 
handle2.close() 

Ou

handle1 = open('filea', 'r') 
handle2 = open('fileb', 'r') 

while 1: 
    i = handle1.readline() 
    j = handle2.readline() 

    do something with i and j. 
    write to an output file. 

    if not i and not j: 
     break 
handle1.close() 
handle2.close() 

Answer 4

Vous pouvez utiliser izip_longest comme celui-ci au pad le fichier plus court avec des lignes vides

en python 2,6

from itertools import izip_longest 
with handle1 as open('filea', 'r'): 
    with handle2 as open('fileb', 'r'): 
     for i, j in izip_longest(handle1, handle2, fillvalue=""): 
      ... 

ou python3.1

from itertools import izip_longest 
with handle1 as open('filea', 'r'), handle2 as open('fileb', 'r'): 
    for i, j in izip_longest(handle1, handle2, fillvalue=""): 
     ... 

Answer 5

Pour python3, izip_longest est en fait zip_longest.

from itertools import zip_longest 

for i, j in izip(handle1, handle2): 
    ...