Decomposing HTML pour lier le texte et la cible

Question

Étant donné un lien HTML comme

<a href="urltxt" class="someclass" close="true">texttxt</a> 

comment puis-je isoler l'URL et le texte?

Mises à jour

J'utilise soupe Belle, et je suis incapable de comprendre comment faire.

j'ai fait

soup = BeautifulSoup.BeautifulSoup(urllib.urlopen(url)) 

links = soup.findAll('a') 

for link in links: 
    print "link content:", link.content," and attr:",link.attrs 

je reçois

*link content: None and attr: [(u'href', u'_redirectGeneric.asp?genericURL=/root /support.asp')]* ... 
... 

Pourquoi suis-je manque le contenu?

edit: élaboré sur 'collé' comme le conseille :)

Answer 1

Utilisez Beautiful Soup. Le faire vous-même est plus difficile qu'il n'y paraît, vous ferez mieux d'utiliser un module éprouvé.

EDIT:

Je pense que vous voulez:

soup = BeautifulSoup.BeautifulSoup(urllib.urlopen(url).read()) 

Par ailleurs, il est une mauvaise idée d'essayer d'ouvrir l'URL là, comme si ça ne va pas, il pourrait devenir laid.

EDIT 2:

Cela devrait vous montrer tous les liens dans une page:

import urlparse, urllib 
from BeautifulSoup import BeautifulSoup 

url = "http://www.example.com/index.html" 
source = urllib.urlopen(url).read() 

soup = BeautifulSoup(source) 

for item in soup.fetchall('a'): 
    try: 
     link = urlparse.urlparse(item['href'].lower()) 
    except: 
     # Not a valid link 
     pass 
    else: 
     print link 

Answer 2

Voici un exemple de code, montrant obtenir les attributs et le contenu des liens:

soup = BeautifulSoup.BeautifulSoup(urllib.urlopen(url)) 
for link in soup.findAll('a'): 
    print link.attrs, link.contents 

Answer 3

Bien que je suppose que les autres pourraient être correct en vous indiquant d'utiliser Beautiful Soupe, ils pourrait pas pas, et en utilisant une bibliothèque externe pourrait être massivement over-the-top à vos fins. Voici une regex qui fera ce que vous demandez.

/<a\s+[^>]*?href="([^"]*)".*?>(.*?)<\/a>/ 

Voici ce qu'il correspond:

'<a href="url" close="true">text</a>' 
// Parts: "url", "text" 

'<a href="url" close="true">text<span>something</span></a>' 
// Parts: "url", "text<span>something</span>" 

Si vous voulez obtenir juste le texte (par exemple: « textsomething » dans le second exemple ci-dessus), je venais de courir un autre regex sur il pour dépouiller quelque chose entre les parenthèses pointues.

Answer 4

On dirait que vous avez deux questions là-bas:

1. link.content s, non link.content
2. attrs est un dictionnaire, pas une chaîne. Il contient des paires de valeurs clés pour chaque attribut dans un élément HTML. lien.attrs ['href'] vous obtiendra ce que vous semblez rechercher, mais vous voudrez l'emballer dans un chèque au cas où vous rencontreriez un tag sans attribut href.