UnicodeDecodeError lors de la lecture des mots du dictionnaire fichier avec un script Python simple,

Question

première fois faire Python dans un certain temps, et je vais avoir du mal à faire une analyse simple d'un fichier quand je lance le script suivant avec Python 3.0.1,

with open("/usr/share/dict/words", 'r') as f: 
    for line in f: 
     pass 

Je reçois cette exception:

Traceback (most recent call last): 
    File "/home/matt/install/test.py", line 2, in <module> 
    for line in f: 
    File "/home/matt/install/root/lib/python3.0/io.py", line 1744, in __next__ 
    line = self.readline() 
    File "/home/matt/install/root/lib/python3.0/io.py", line 1817, in readline 
    while self._read_chunk(): 
    File "/home/matt/install/root/lib/python3.0/io.py", line 1565, in _read_chunk 
    self._set_decoded_chars(self._decoder.decode(input_chunk, eof)) 
    File "/home/matt/install/root/lib/python3.0/io.py", line 1299, in decode 
    output = self.decoder.decode(input, final=final) 
    File "/home/matt/install/root/lib/python3.0/codecs.py", line 300, in decode 
    (result, consumed) = self._buffer_decode(data, self.errors, final) 
UnicodeDecodeError: 'utf8' codec can't decode bytes in position 1689-1692: invalid data 

la ligne dans le fichier, il explose sur est « argentin », ce qui ne semble pas être inhabituel en aucune façon.

Mise à jour: J'ajouté,

encoding="iso-8559-1" 

à l'appel open(), et il résolu le problème. Pouvez-vous vérifier pour vous assurer qu'il est valide UTF-8?

Answer 1

Comment avez-vous déterminé à partir de "position 1689-1692" quelle ligne dans le fichier sur lequel il a explosé? Ces nombres seraient des offsets dans le morceau qu'il essaie de décoder. Vous auriez dû déterminer quel morceau c'était - comment?

Essayez ceci à l'invite interactive:

buf = open('the_file', 'rb').read() 
len(buf) 
ubuf = buf.decode('utf8') 
# splat ... but it will give you the byte offset into the file 
buf[offset-50:60] # should show you where/what the problem is 
# By the way, from the error message, looks like a bad 
# FOUR-byte UTF-8 character ... interesting 

Answer 2

Une façon de le faire est donnée à this SO question:

iconv -f UTF-8 /usr/share/dict/words -o /dev/null 

Il y a d'autres façons de faire la même chose.