Par où commencer avec un bot web?

Question

Je veux simplement créer un script automatique qui peut fonctionner (de préférence) sur un serveur web, et simplement "clique" sur un objet d'une page web. Je suis novice en Python ou dans n'importe quelle autre langue, alors j'ai pensé que j'irais ici pour demander par où commencer! Cela peut sembler vouloir que le script scams des publicités ou faire quelque chose d'illégal, mais c'est simplement d'interagir avec un autre site Web.

Answer 1

Je recommande la bibliothèque Python mechanize. Il est conçu pour agir comme un navigateur simulé. Je l'ai utilisé pour piloter plusieurs interfaces web depuis le script.

Answer 2

Je vous recommande d'utiliser le contrôle WebBrowser du package .NET. Vous pouvez accéder à tous les éléments DOM et interagir pleinement avec n'importe quel site Web. Voici un bref article

Si vous préférez encore python, mechanize pourrait être un bon moyen de le faire.

Answer 3

Je commencerais probablement par Twill - vous pouvez utiliser son langage de script ou API Python.

Answer 4

Il ne doit pas nécessairement être en Python, je l'ai vu en PHP et en Perl, et vous pouvez probablement le faire dans de nombreuses autres langues. L'approche générale est:

1) Vous donnez une URL à votre application et elle envoie une requête HTTP à cette URL. Je pense que j'ai vu cela avec php/wget. Probablement beaucoup d'autres façons de le faire. 2) Scannez la réponse HTTP pour les autres URL que vous voulez "cliquer" (en leur envoyant des requêtes HTTP), puis envoyez-leur des requêtes. L'analyse des liens nécessite généralement une certaine compréhension des expressions régulières (si vous n'êtes pas familier avec les expressions régulières, rafraîchissez-le, c'est important;)).