Caractères supplémentaires Extrait avec XPath et Python (html)

Question

J'utilise XPath avec scrapy pour extraire du texte à partir de balises html en ligne, mais quand je le fais, je reçois des caractères supplémentaires. Un exemple est d'essayer d'extraire un nombre, comme "204" à partir d'un tag <td> et obtenir [u'204']. Dans certains cas, c'est bien pire. Par exemple en essayant d'extraire "1 - Mathoverflow" et d'obtenir à la place [u'\r\n\t\t 1 \u2013 MathOverflow\r\n\t\t ']. Y at-il un moyen d'empêcher cela, ou couper les chaînes de sorte que les caractères supplémentaires ne sont pas une partie de la chaîne? (en utilisant des éléments pour stocker les données). Il semble que cela a quelque chose à voir avec le formatage, alors comment puis-je obtenir xpath pour ne pas prendre ce genre de choses?

Answer 1

Qu'est-ce que la ligne de regard de code comme ça retourne [u'204']? Il semble que ce qui est renvoyé est une liste Python contenant une chaîne unicode avec la valeur que vous voulez. Rien là-bas - juste un indice. En ce qui concerne les retours de chariot, les sauts de ligne et les onglets, comme Wai Yip Tung vient de répondre, la bande les enlèvera.

probablement

my_answer = item1['Title'][0].strip() 

Ou si vous attendez plusieurs matchs

for ans_i in item1['Title']: 
    do_something_with(ans_i.strip()) 

Answer 2

Utilisez la bande() pour supprimer les espaces blancs avant et arrière.

>>> u'\r\n\t\t 1 \u2013 MathOverflow\r\n\t\t '.strip() 
u'1 \u2013 MathOverflow' 

Answer 3

La fonction standard XPath normalize-space() a exactement l'effet recherché.

Il supprime les espaces de début et de fin et remplace tout espace intérieur par un seul espace.

Ainsi, vous pouvez utiliser:

normalize-space(someExpression)