python [lxml] - nettoyage des balises HTML

Question

from lxml.html.clean import clean_html, Cleaner 
    def clean(text): 
     try:   
      cleaner = Cleaner(scripts=True, embedded=True, meta=True, page_structure=True, links=True, style=True, 
         remove_tags = ['a', 'li', 'td']) 
      print (len(cleaner.clean_html(text))- len(text)) 
      return cleaner.clean_html(text) 
     except: 
      print 'Error in clean_html' 
      print sys.exc_info() 
      return text 

J'ai assemblé le code (moche) ci-dessus en tant qu'initiations initiales en territoire python. J'essaie d'utiliser le nettoyeur lxml pour nettoyer quelques pages html, donc à la fin, je suis juste parti avec le texte et rien d'autre - mais essayez comme je le fais, le ci-dessus ne semble pas fonctionner comme tel, je suis toujours à gauche avec une quantité substial de balisage (et il ne marche pas semble être cassé html), et en particulier des liens qui ne sont pas enlevés se, malgré les args j'utiliser dans remove_tags et links=True

une idée ce qui se passe, peut-être Im aboyant le mauvais arbre avec lxml? Je pensais que c'était la voie à suivre avec l'analyse html en python?

Answer 1

Je pense que vous devriez vérifier Beautiful Soup. Utilisez les conseils de this article et dépouiller les éléments HTML de la manière suivante:

from BeautifulSoup import BeautifulSoup 

''.join(BeautifulSoup(page).findAll(text=True)) 

Où page est votre chaîne de HTML.

Si vous avez besoin de précisions, vous pouvez consulter la plongée dans l'étude de cas sur Python HTML parsing.

Answer 2

Je ne sais pas si cette méthode existait au moment que vous avez fait votre question, mais si vous passez par

document = lxml.html.document_fromstring(html_text) 
raw_text = document.text_content() 

Cela devrait vous revenir tout le contenu du texte dans le document html, moins toutes les balises.

Answer 3

solution

de David concaténer le texte sans séparateur:

import lxml.html 
    document = lxml.html.document_fromstring(html_string) 
    # internally does: etree.XPath("string()")(document) 
    print document.text_content() 

mais celui-ci m'a aidé - concaténation la façon dont je avais besoin:

from lxml import etree 
    print "\n".join(etree.XPath("//text()")(document))