Comment puis-je supprimer les lignes en double d'un fichier?

Question

J'ai un fichier avec une colonne. Comment supprimer des lignes répétées dans un fichier?

Answer 1

Si vous êtes sur * nix, essayez d'exécuter la commande suivante:

sort <file name> | uniq 

Answer 2

Sur Unix/Linux, utilisez la commande uniq, selon la réponse de David Locke, ou sort, selon le commentaire de William Pursell.

Si vous avez besoin d'un script Python:

lines_seen = set() # holds lines already seen 
outfile = open(outfilename, "w") 
for line in open(infilename, "r"): 
    if line not in lines_seen: # not a duplicate 
     outfile.write(line) 
     lines_seen.add(line) 
outfile.close() 

Mise à jour: Le sort/uniq combinaison supprimera les doublons mais renvoyer un fichier avec les lignes triées, qui peuvent ou peuvent ne pas être ce que vous voulez. Le script Python ci-dessus ne va pas réorganiser les lignes, mais simplement supprimer les doublons. Bien sûr, pour que le script ci-dessus puisse également être trié, il suffit d'omettre le outfile.write(line) et, immédiatement après la boucle, de faire outfile.writelines(sorted(lines_seen)).

Answer 3

uniqlines = set(open('/tmp/foo').readlines()) 

cela vous donnera la liste des lignes uniques.

écrit que revenir à un certain dossier serait aussi facile que:

bar = open('/tmp/bar', 'w').writelines(set(uniqlines)) 

bar.close() 

Answer 4

obtenir toutes vos lignes dans la liste et faire un ensemble de lignes et vous avez terminé. par exemple,

>>> x = ["line1","line2","line3","line2","line1"] 
>>> list(set(x)) 
['line3', 'line2', 'line1'] 
>>> 

et écrire le contenu dans le fichier.

Answer 5

Voici ma solution

if __name__ == '__main__': 
f = open('temp.txt','w+') 
flag = False 
with open('file.txt') as fp: 
    for line in fp: 
     for temp in f: 
      if temp == line: 
       flag = True 
       print('Found Match') 
       break 
     if flag == False: 
      f.write(line) 
     elif flag == True: 
      flag = False 
     f.seek(0) 
    f.close() 

Answer 6

Python One liners:

python -c "import sys; lines = sys.stdin.readlines(); print ''.join(sorted(set(lines)))" <InputFile> OutputFile 

Answer 7

Vous pouvez faire:

import os 
os.system("awk '!x[$0]++' /path/to/file > /path/to/rem-dups") 

Ici Vous utilisez bash en python :)

Vous avez également un autre moyen:

with open('/tmp/result.txt') as result: 
     uniqlines = set(result.readlines()) 
     with open('/tmp/rmdup.txt', 'w') as rmdup: 
      rmdup.writelines(set(uniqlines)) 

Answer 8

Son une resucée de ce qui est déjà dit ici - ici ce que je l'utilise.

import optparse 

def removeDups(inputfile, outputfile): 
     lines=open(inputfile, 'r').readlines() 
     lines_set = set(lines) 
     out=open(outputfile, 'w') 
     for line in lines_set: 
       out.write(line) 

def main(): 
     parser = optparse.OptionParser('usage %prog ' +\ 
         '-i <inputfile> -o <outputfile>') 
     parser.add_option('-i', dest='inputfile', type='string', 
         help='specify your input file') 
     parser.add_option('-o', dest='outputfile', type='string', 
         help='specify your output file') 
     (options, args) = parser.parse_args() 
     inputfile = options.inputfile 
     outputfile = options.outputfile 
     if (inputfile == None) or (outputfile == None): 
       print parser.usage 
       exit(1) 
     else: 
       removeDups(inputfile, outputfile) 

if __name__ == '__main__': 
     main() 

Answer 9

ajouter à la réponse de Locke @ David, avec les systèmes * nix vous pouvez exécuter

sort -u messy_file.txt > clean_file.txt 

qui va créer clean_file.txt la suppression des doublons dans l'ordre alphabétique.

Answer 10

Si quelqu'un est à la recherche d'une solution qui utilise un hachage et est un peu plus flashy, ce que j'utilise actuellement:

def remove_duplicate_lines(input_path, output_path): 

    if os.path.isfile(output_path): 
     raise OSError('File at {} (output file location) exists.'.format(output_path)) 

    with open(input_path, 'r') as input_file, open(output_path, 'w') as output_file: 
     seen_lines = set() 

     def add_line(line): 
      seen_lines.add(hash(line)) 
      return line 

     output_file.writelines((add_line(line) for line in input_file 
           if hash(line) not in seen_lines)) 

Cette fonction est parfaitement efficace que le hachage est calculé deux fois, mais , Je suis sûr que la valeur est mise en cache.