Suivez les liens de redirection dans scrapy

Question

Comment je peux définir cela? J'ai écrit handle_httpstatus_list = [301, 302, 303], mais scrapy ne suit pas les nouveaux liens, il a juste commencé à enregistrer des fichiers vides de pages.

P.S. L'anglais n'est pas ma langue maternelle. Exile-moi pour ça.

Answer 1

Vous devrez également mentionner dont_redirect = true dans votre demande:

meta = {'dont_redirect': True, "handle_httpstatus_list" : [301, 302, 303]} 

Cordialement

Answer 2

Scrapy ne gère réoriente par défaut, ce qui signifie que le RedirectMiddleware est activé dans le cadre DOWNLOADER_MIDDLEWARES et le réglage REDIRECT_ENABLED est mis à True.