Collage des caractères ISO-8859-1 en Python IDLE - IDLE les modifie

Question

J'ai quelques lignes dans un document texte que j'essaie de remplacer/supprimer. Le document est dans le codage de caractères ISO-8859-1.

Lorsque j'essaie de copier cette ligne dans mon script Python pour la remplacer, elle ne correspondra pas. Si je réduis la ligne et supprimer jusqu'à la première guillemet "il remplacera bien

-à-dire

desc = [x.replace('Random text “^char”:', '') for x in desc] 

Cela correspond pas si je rentre..

desc = [x.replace('Random text :', '') for x in desc] 

Il J'ai vérifié que ce n'est pas le symbole^ Clairement, Python IDLE n'utilise pas le même jeu de caractères que mon fichier texte et change le symbole quand je le colle dans le script. mon script pour chercher cette ligne si elle ne gère pas le même cha coureurs?

Answer 1

Malheureusement, il n'y a pas de moyen infaillible de déterminer l'encodage d'un document en texte brut, bien qu'il existe des paquets qui peuvent faire de très bonnes suppositions en analysant le contenu du document. Un module tiers populaire pour la détection d'encodage est chardet. Ou vous pouvez utiliser manuellement des essais et des erreurs avec certains encodages populaires et voir ce qui fonctionne. Une fois que vous avez déterminé le codage correct, l'opération de remplacement elle-même est simple en Python 3. L'idée de base est de passer le codage à la fonction open, de sorte que vous pouvez écrire des objets chaîne Unicode dans le fichier, ou lire Objets de chaîne Unicode du fichier. Voici une courte démo. Cela fonctionnera correctement si le codage de votre terminal est défini sur UTF-8. Je l'ai testé sur Python 3.6.0, à la fois dans le shell Bash et dans idle3.6.

fname = 'test.txt' 
encoding = 'cp1252' 

data = 'This is some Random text “^char”: for testing\n' 
print(data) 

# Save the text to file 
with open(fname, 'w', encoding=encoding) as f: 
    f.write(data) 

# Read it back in 
with open(fname, 'r', encoding=encoding) as f: 
    text = f.read() 

print(text, text == data) 

# Perform the replacement 
target = 'Random text “^char”:' 

out = text.replace(target, 'XXX') 
print(out) 

sortie

This is some Random text “^char”: for testing 

This is some Random text “^char”: for testing 
True 
This is some XXX for testing