Supprimer le formatage html ">" du fichier texte en utilisant Python csv.reader

Question

J'ai un fichier texte avec; utilisé comme délimiteur. Le problème est qu'il a une certaine mise en forme de texte html, comme > évidemment; Cela provoque des problèmes. Le fichier texte est volumineux et je n'ai pas de liste de ces chaînes html, il y a beaucoup d'exemples différents tels que $amp;. Comment puis-je les supprimer tous en utilisant python. Le fichier contient une liste de noms, d'adresses, de numéros de téléphone et de quelques autres champs. Je cherche le module

Answer 1

La façon la plus rapide est probablement d'utiliser les sans-papiers, mais jusqu'à présent stable méthode unescape dans HTMLParser:

import HTMLParser 
s= HTMLParser.HTMLParser().unescape(s) 

Notez ce sera nécessairement la sortie d'une chaîne Unicode, donc si vous avez des octets non-ASCII là vous devra d'abord s.decode(encoding).

Answer 2

crap.html.remove (textfile) Jetez un oeil sur le code de here:

import re, htmlentitydefs 

## 
# Removes HTML or XML character references and entities from a text string. 
# 
# @param text The HTML (or XML) source text. 
# @return The plain text, as a Unicode string, if necessary. 

def unescape(text): 
    def fixup(m): 
     text = m.group(0) 
     if text[:2] == "&#": 
      # character reference 
      try: 
       if text[:3] == "&#x": 
        return unichr(int(text[3:-1], 16)) 
       else: 
        return unichr(int(text[2:-1])) 
      except (ValueError, OverflowError): 
       pass 
     else: 
      # named entity 
      try: 
       text = unichr(htmlentitydefs.name2codepoint[text[1:-1]]) 
      except KeyError: 
       pass 
     return text # leave as is 
    return re.sub("&#?\w+;", fixup, text) 

Bien sûr, cela ne prend en charge les entités HTML. Vous pouvez avoir d'autres points-virgules dans le texte qui gâchent votre analyseur CSV. Mais je suppose que vous savez déjà que ...

MISE À JOUR: prise ajoutée pour possible OverflowError.

Answer 3

Sur la plupart des systèmes Unix (y compris Mac OS X), vous pouvez recoder le fichier texte d'entrée avec:

recode html.. file_with_html.txt 

Cette remplace & gt; par ">", etc.

Vous pouvez appeler ceci via le module de sous-processus de Python, par exemple.