Comment obtenir la différence entre deux listes en fonction des sous-chaînes withing chaque chaîne dans les listes séparées

Question

J'ai deux longue liste, l'un à partir d'un fichier journal qui contient des lignes formatées comme

201001050843 blah blah blah <email@site.com> blah blah

et un second fichier en format csv. J'ai besoin de générer une liste de toutes les entrées dans le fichier 2 qui ne contiennent pas d'adresse e-mail dans le fichier journal, tout en conservant le format csv.

Exemple
fichier journal contient:

201001050843 blah blah blah <email@site.com> blah blah 
201001050843 blah blah blah <email2@site.com> blah blah 

Fichier2 contient:

156456,bob,sagget,email@site.com,4564456 
156464,bob,otherguy,email@anothersite.com,45644562 

la sortie doit être:

156464,bob,otherguy,email@anothersite.com,45644562 

Actuellement je prends les e-mails du journal et la charge dans une autre liste avec:

sent_emails =[] 
for line in sent: 
    try: 
     temp1= line.index('<') 
     temp2 = line.index('>') 
     sent_emails.append(line[temp1+1:temp2]) 
    except ValueError: 
     pass 

Et puis comparer à file2 avec soit:

lista = mail_lista.readlines() 
for line in lista: 
    temp = line.split() 
    for thing in temp: 
     try: 
      if thing.index('@'): 
       if thing in sent_emails: 
        lista.remove(temp) 
     except ValueError: 
      pass 
newa.writelines(lista) 

ou:

for line in mail_listb: 
    temp = line.split() 
    for thing in temp: 
     try: 
      if thing.index('@'): 
       if thing not in sent_emails: 
        newb.write(line) 
     except ValueError: 
      pass 

Toutefois, les deux reviennent tous fichier2!

Merci pour toute aide que vous pouvez donner. Merci pour les recommandations pour les ensembles, il a fait une différence de vitesse plus grande que j'aurais pensé possible. Manière d'aller des tables de hachage! J'utiliserai plus souvent des décors à partir de maintenant.

Answer 1

Vous pouvez créer l'ensemble des e-mails comme vous le faites, puis:

# emails is a set of emails 
for line in fileinput.input("csvfile.csv",inplace =1): 
    parts = line.split(',') 
    if parts[3] not in emails: 
     print line 

Cela ne fonctionne que si l'e-mail dans le fichier CSV est toujours à la position 4.

fileinput en place permet l'édition .

Et d'utiliser un ensemble pour les courriels au lieu d'une liste comme Aaron l'a dit, non seulement en raison de la rapidité, mais aussi pour éliminer les doublons.

Answer 2

line.split() se sépare en espaces blancs. Utilisez line.split(',') à la place.

Aussi: L'ordre des lignes est-il important? Si non, alors vous devriez vraiment utiliser un set() au lieu d'une liste. Cela rendra le code beaucoup plus rapide.

Answer 3

Voici une autre façon, avec une vérification minimaliste de la position de l'adresse email.

import fileinput 
emails=[] 
for line in open("file1"): 
    start=line.find("<") 
    end=line.find(">") 
    if start != -1 and end !=-1: 
     emails.append(line[start+1:end]) 

for line in fileinput.FileInput("file2",inplace=1): 
    p = line.split(",") 
    for item in p: 
     if "@" in item and item not in emails: 
      print line.strip() 

sortie

$ ./python.py 
156464,bob,otherguy,email@anothersite.com,45644562