Écrire au fichier UTF-8 en Python

Question

Je suis vraiment confondu avec le codecs.open function. Quand je fais:

file = codecs.open("temp", "w", "utf-8") 
file.write(codecs.BOM_UTF8) 
file.close() 

Il me donne l'erreur

UnicodeDecodeError: 'ascii' codec can't decode byte 0xef in position 0: ordinal not in range(128)

Si je fais:

file = open("temp", "w") 
file.write(codecs.BOM_UTF8) 
file.close() 

Il fonctionne très bien.

Question Pourquoi la première méthode échoue-t-elle? Et comment puis-je insérer le bom? Si la deuxième méthode est la bonne façon de le faire, à quoi bon utiliser codecs.open(filename, "w", "utf-8")?

Answer 1

Je crois que le problème est que codecs.BOM_UTF8 est une chaîne d'octets, pas une chaîne Unicode. Je soupçonne que le gestionnaire de fichiers essaie de deviner ce que vous voulez vraiment dire en se basant sur "Je suis censé écrire Unicode en tant que texte encodé en UTF-8, mais vous m'avez donné une chaîne d'octets!"

Essayez d'écrire la chaîne Unicode pour la marque d'ordre d'octet (ie Unicode U + FEFF) directement, de sorte que le fichier code juste que UTF-8:

import codecs 

file = codecs.open("lol", "w", "utf-8") 
file.write(u'\ufeff') 
file.close() 

(Cela semble donner la bonne réponse - un fichier avec des octets EF BB BF.)

EDIT: suggestion de S. Lott d'utiliser "utf-8-sig" comme l'encodage est une meilleure que d'écrire explicitement la nomenclature vous-même, mais je vais laisser cette réponse ici comme il explique ce qui n'allait pas avant.

Answer 2

lire ce qui suit: http://docs.python.org/library/codecs.html#module-encodings.utf_8_sig

Est-ce que ce

with codecs.open("test_output", "w", "utf-8-sig") as temp: 
    temp.write("hi mom\n") 
    temp.write(u"This has ♭") 

Le fichier résultant est UTF-8 avec la nomenclature prévue.

Answer 3

@ S-Lott donne la bonne procédure, mais en expansion sur les questions Unicode, l'interpréteur Python peut fournir plus d'idées.

Jon Skeet est juste (inhabituel) sur le module codecs - il contient des chaînes d'octets:

>>> import codecs 
>>> codecs.BOM 
'\xff\xfe' 
>>> codecs.BOM_UTF8 
'\xef\xbb\xbf' 
>>> 

Choisir une autre petite bête, le BOM a un nom standard Unicode, et il peut être entré comme:

>>> bom= u"\N{ZERO WIDTH NO-BREAK SPACE}" 
>>> bom 
u'\ufeff' 

Il est également accessible via unicodedata:

>>> import unicodedata 
>>> unicodedata.lookup('ZERO WIDTH NO-BREAK SPACE') 
u'\ufeff' 
>>> 

Answer 4

J'utilise le fichier * commande nix pour convertir un fichier charset inconnu dans un fichier utf-8

# -*- encoding: utf-8 -*- 

# converting a unknown formatting file in utf-8 

import codecs 
import commands 

file_location = "jumper.sub" 
file_encoding = commands.getoutput('file -b --mime-encoding %s' % file_location) 

file_stream = codecs.open(file_location, 'r', file_encoding) 
file_output = codecs.open(file_location+"b", 'w', 'utf-8') 

for l in file_stream: 
    file_output.write(l) 

file_stream.close() 
file_output.close()