Scrapy: commande pour écraser précédent fichier d'exportation

Question

Set-up

exporter mes données vers un fichier .csv par la commande standard dans le Terminal (Mac OS), par exemple

scrapy crawl spider -o spider_ouput.csv 

---

Problème

Lors de l'exportation d'une nouvelle spider_output.csv Scrapy au joint spider_output.csv existant.

Je peux penser à deux solutions,

1. Commande Scrapy Ecrasement au lieu de append
Terminal
2. commande pour supprimer l'existant spider_output.csv avant ramper

J'ai lu que (à ma surprise) Scrapy actuellement isn't able à faire 1. Certaines personnes ont proposé workarounds, mais je ne peux pas sembler obtenir it au travail.

J'ai trouvé un answer à la solution 2, mais je ne peux pas le faire fonctionner non plus.

Quelqu'un peut-il m'aider? Peut-être y a-t-il une troisième solution à laquelle je n'ai pas pensé?

Answer 1

Il y a un problème ouvert avec scrapy pour cette fonction: https://github.com/scrapy/scrapy/issues/547

Il y a quelques solutions proposées dans le fil d'émission:

scrapy runspider spider.py -t json --nolog -o - > out.json 

Ou tout simplement supprimer la sortie avant de lancer araignée scrapy:

rm data.jl; scrapy crawl myspider -o data.jl