Python expression régulière pour plusieurs balises

Question

Je voudrais savoir comment récupérer tous les résultats de chaque balise <p>.

import re 
htmlText = '<p data="5" size="4">item1</p><p size="4">item2</p><p size="4">item3</p>' 
print re.match('<p[^>]*size="[0-9]">(.*?)</p>', htmlText).groups() 

Résultat:

('item1',) 

ce que je dois:

('item1', 'item2', 'item3') 

Answer 1

La réponse est regex extrêmement fragile. Voici une preuve (et un exemple BeautifulSoup en cours de fonctionnement).

from BeautifulSoup import BeautifulSoup 

# Here's your HTML 
html = '<p data="5" size="4">item1</p><p size="4">item2</p><p size="4">item3</p>' 

# Here's some simple HTML that breaks your accepted 
# answer, but doesn't break BeautifulSoup. 
# For each example, the regex will ignore the first <p> tag. 
html2 = '<p size="4" data="5">item1</p><p size="4">item2</p><p size="4">item3</p>' 
html3 = '<p data="5" size="4" >item1</p><p size="4">item2</p><p size="4">item3</p>' 
html4 = '<p data="5" size="12">item1</p><p size="4">item2</p><p size="4">item3</p>' 

# This BeautifulSoup code works for all the examples. 
paragraphs = BeautifulSoup(html).findAll('p') 
items = [''.join(p.findAll(text=True)) for p in paragraphs] 

Utilisez BeautifulSoup.

Answer 2

Vous pouvez utiliser re.findall comme ceci:

import re 
html = '<p data="5" size="4">item1</p><p size="4">item2</p><p size="4">item3</p>' 
print re.findall('<p[^>]*size="[0-9]">(.*?)</p>', html) 
# This prints: ['item1', 'item2', 'item3'] 

Modifier: ... mais la de nombreux commentateurs ont souligné, en utilisant des expressions régulières pour analyser HTML est généralement une mauvaise idée.

Answer 3

Pour ce type de problème, il est recommandé d'utiliser un analyseur DOM, non regex.

Je l'ai vu Beautiful Soup souvent recommandé pour Python

Answer 4

Alternativement, xml.dom.minidom analysera votre HTML si,

• ... il est wellformed
• ... vous intégrez dans un seul élément racine.

Par ex,

>>> import xml.dom.minidom 
>>> htmlText = '<p data="5" size="4">item1</p><p size="4">item2</p><p size="4">item3</p>' 
>>> d = xml.dom.minidom.parseString('<not_p>%s</not_p>' % htmlText) 
>>> tuple(map(lambda e: e.firstChild.wholeText, d.firstChild.childNodes)) 
('item1', 'item2', 'item3') 

Answer 5

soupe Belle est certainement la voie à suivre avec un problème comme celui-ci. Le code est plus propre et plus facile à lire. Une fois que vous l'avez installé, obtenir tous les tags ressemble à ceci.

from BeautifulSoup import BeautifulSoup 
import urllib2 

def getTags(tag): 
    f = urllib2.urlopen("http://cnn.com") 
    soup = BeautifulSoup(f.read()) 
    return soup.findAll(tag) 


if __name__ == '__main__': 
    tags = getTags('p') 
    for tag in tags: print(tag.contents) 

Ceci affichera toutes les valeurs des points p.