2017-07-15 2 views
1

Je suis en train de télécharger le code source de ce site: http://www.autotrader.ca/cars/bmw/3%20series/qc/montr%C3%A9al/?kwd=335I&prx=100&prv=Quebec&loc=Montreal%2c+QC&trans=Automatic&body=Sedan&sts=New-Used&yRng=2013%2c2014&hprc=True&wcp=True&inMarket=advancedSearchwget erreur 403 interdit

J'ai essayé à la fois wget et curl, mais je continue à avoir erreur 403 interdit Y at-il moyen de contourner cette erreur?

+0

S'il vous plaît noter que stackoverflow est sur les questions aroound développement de code . Pourriez-vous être plus précis quant à la raison pour laquelle cela est lié au code? Aussi, peut-être que les caractères spéciaux sont incorrectement écrits sur votre ligne de commande? – Fabien

+0

Im essayant de créer un webcrawler pour rechercher autotrader pour trouver une voiture, et j'ai besoin d'obtenir le code source html, et c'est la méthode la plus simple je suis tombé sur –

Répondre

0

Votre site a besoin d'en-tête Accept-Language, il est utilisé pour renvoyer un contenu différent en fonction de la langue utilisée, vous aurez également besoin de changer l'agent utilisateur:

curl -s -L -c 'cookies.txt' \ 
    -H 'Accept-Language: en-US,en;q=1.0' \ 
    -H 'User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.109 Safari/537.36' \ 
    'http://www.autotrader.ca/cars/bmw/3%20series/qc/montr%c3%a9al/?kwd=335I&prx=100&prv=Quebec&loc=Montreal%2c+QC&trans=Automatic&body=Sedan&sts=New-Used&yRng=2013%2c2014&hprc=True&wcp=True&inMarket=advancedSearch' 
+0

Cela a fonctionné parfaitement! Merci –