1
J'essaie d'utiliser Shell Scrapy pour explorer les pages Web avant d'écrire le crawlé lui-même. Une chose que je trouve qu'il est très difficile de lire la sortie shell Scrappy. Y at-il de toute façon pour rendre la sortie jolie impression?Jolie sortie d'impression avec Scrapy Shell
Par exemple, l'exécution du shell avec la commande
scrapy shell http://www.dmoz.org/Computers/Programming/Languages/Python
puis la commande avec le shell:
response.css("ul.directory.dir-col > li > a::attr('href')")
Vous pouvez voir la sortie est tout doté en ligne, difficile à lire. Le format de sortie du shell Scrapy est-il JSON? Comment le rendre lisible?
pouvez-vous coller votre sortie shell? qu'attendez-vous à la place? '.css()' produira un 'SelectorList' qui peut être un peu obscur, mais vous pouvez utiliser' .extract() 'dans la liste des sélecteurs et obtenir des données réelles –
peut-être avec ipython (' pip install ipython') – eLRuLL
avec '.extract()', la sortie est meilleure (toutes les URL sont toujours dans une ligne mais plus lisibles que la liste de sélection. – hanaZ