J'ai un site Web que je télécharge 2-3 Mo de données brutes à partir de ce qui alimente ensuite un processus ETL pour le charger dans mon magasin de données. Malheureusement, le fournisseur de données est le Département américain de l'Ag (USDA) et ne permet pas le téléchargement via FTP. Ils exigent que j'utilise un formulaire Web pour sélectionner les éléments que je veux, cliquez sur 2-3 écrans et finalement cliquer pour télécharger le fichier. Je voudrais automatiser ce processus de téléchargement. Je ne suis pas un développeur web mais il semble que je devrais pouvoir utiliser un outil pour me dire exactement ce que put/get/magic va de la requête finale au serveur. Si j'avais un outil qui disait «passez ces paramètres à cette URL et attendez une réponse», je pourrais alors pirater quelque chose ensemble dans Perl pour automatiser ce processus.Reverse engineering Un formulaire Web
Je me rends compte que si j'ai déconstruit toutes les 5 de leurs pages et lu le JavaScript inclus et tapé mes soins ensemble 3 fois je pourrais obtenir cette information de ce que j'ai accès. Mais je veux un chemin plus rapide et plus direct qui ne nécessite pas d'analyser manuellement tous leurs JS. Retraitement de la dernière question: Existe-t-il un outil ou une méthode qui montrera clairement quelle était la demande de demande finale envoyée à partir d'un formulaire Web et comment elle a été structurée?
Après quelques mois, je suis passé à Tamper Data add on pour Firefox. Merci John! –