crawler Python ne fonctionne pas

Question

Je voudrais saisir tout lien nom commercial sur (http://mokorea.com/yp_business_list_major.php?cat=4)

Voici mon code Python:

from __future__ import unicode_literals 

import requests 
from scrapy.selector import Selector 

def fetch_page(url): 
    '''1. 웹페이지 다운로드''' 
    r = requests.get(url) 
    return r.text 

def upso_list_from_listpage(url): 
    '''2.목록 페이`enter code here`지에서 강의 링크등 추출''' 
    html = fetch_page(url) 
    sel = Selector(text=html) 
    upso_list = sel.xpath('//*[@id="List_0"]/div[4]').extract() 
    #upso_list = sel.css('.container results .talk-link .media__message a::attr(herf)').extract() 
    return upso_list 
from pprint import pprint 
pprint(upso_list_from_listpage('http://mokorea.com/yp_business_list_major.php?cat=4')) 

et je tente de lancer py sur rapide, rien montrant en haut

Tout commentaire serait utile.

Answer 1

C'est une page générée par AJAX.

Vous pouvez utiliser cette link par exemple et le sélecteur de XPath comme ceci:

sel.xpath('//*[@id="List_0"]/div[4]/span/a/text()').extract() 

ici vous obtiendrez le texte de la première ligne. Après cela, vous devez:

1. par Itérer ids div ("List_0", "Liste_1" etc) pour obtenir une autre ligne.
2. Analyze paramètres GET dans le lien inclus, les corriger et la boucle que vous voulez (spécialement page)