Les outils scrapy et chrome ne renvoient pas les mêmes valeurs

Question

J'apprends le scrapy et je joue avec sa coque pour le moment. Comme un exercice simple, je voudrais extraire les images de la salle visible de ce site: https://www.gumtree.com/flats-houses/london. Après avoir tiré la coquille:

scrapy shell "https://www.gumtree.com/flats-houses/london" 

J'utilise la simple commande suivante qui est censé faire le travail:

response.xpath("//div[@class='listing-side']/div[@class='listing-thumbnail']/img/@src").extract() 

Mais cependant, il retourne une liste d'éléments 30, 25 valeurs dont sont des chaînes vides. J'ai d'abord pensé qu'il devait y avoir quelque chose qui n'allait pas avec mon xpath donc je l'ai testé avec des outils de chrome et je dois dire que ça fonctionne comme un charme renvoyant une liste complète d'URL d'image. Tout comme prévu. Mais pourquoi scrapy ne fait pas la même chose alors?

EDIT:

Oh désolé, en fait dans le cas de ce site, pour commencer une coquille doit émettre la commande suivante:

shell -s USER_AGENT="Mozila/5.0" "https://www.gumtree.com/flats-houses/london" 

En d'autres termes, l'agent utilisateur doit être spécifié.

Answer 1

Essayez de le faire de cette façon:

listings = response.xpath("//div[@class='listing-thumbnail']") 
images = [listing.xpath('.//img/@src').extract()[1] for listing in listings] 

'images' est une liste avec toutes les images annonces.

Answer 2

Pas moyen. Il y a une solution pour vous. La façon dont vous vous attendiez. Essayez ceci:

for item in response.xpath("//img[@itemprop='image'][not(@aria-hidden)]/@src").extract(): 
    print(item) 

Et l'aide du sélecteur css:

for item in response.css("[itemprop='image']:not([aria-hidden])::attr(src)").extract(): 
    print(item)