Quel est le bon outil pour automatiser l'actualisation + gommage d'une page derrière une connexion?

Question

Un ami vient de me demander si je pouvais l'aider à automatiser quelque chose qui prend beaucoup de son temps. Il classe les essais en ligne, donc il y a un site Web auquel il se connecte et il s'assoit sur une page pour le rafraîchir jusqu'à ce que des données apparaissent (de nouveaux essais à noter). Au lieu de faire cela, il aimerait simplement être averti quand il y a de nouveaux objets qui requièrent son attention.

Aucune API ne fonctionne et une connexion est requise pour accéder au site Web. À votre avis, quel est le bon outil pour ce travail?

Je vais poster mon idée comme une réponse, mais je suis curieux de savoir ce que tout le monde suggère.

Editer: Il exécute Windows (Windows Vista). Le navigateur n'a pas vraiment d'importance tant que le site s'exécute dedans.

Answer 1

Mon idée est d'écrire un script pour le plug-in Greasemonkey de Firefox. Fondamentalement, il se connecter à la page et activer le script qui serait constamment actualiser et frotter le site pour de nouveaux éléments. Si certains sont trouvés, il affiche un message et joue un bruit (ou quelque chose comme ça).

Je n'ai jamais travaillé avec Greasemonkey auparavant, mais il semble que quelque chose comme ça devrait être assez simple.

Answer 2

Vous pouvez écrire un petit script Ruby en utilisant Waitr (see) qui utilisera en fait un navigateur et vous permettra de rayer des données, ou scrubyt, (examples).

Voici à quoi ressemble scrubyt. Je vous recommande de faire quelque chose comme générer un e-mail ou un message instantané, mais peut faire ce que vous voulez. Planifiez-le pour exécuter dans CRON quelque part - la beauté de cette approche est peu importe si son ordinateur est allumé, le navigateur est ouvert, etc.

#simple ebay example 

require 'rubygems' 
require 'scrubyt' 

ebay_data = Scrubyt::Extractor.define do 

    fetch 'http://www.ebay.com/' 
    fill_textfield 'satitle', 'ipod' 
    submit 

    record "//table[@class='nol']" do 
     name "//td[@class='details']/div/a" 
    end 
end 

puts ebay_data.to_xml