En utilisant le service de Google App Engine Cron pour extraire des données à partir d'une URL

Question

je dois gratter une page Web simple qui a le texte suivant:

Valeur = 29 Temps = 128769

Les valeurs changent fréquemment.

Je veux extraire la valeur (29 dans ce cas) et la stocker dans une base de données. Je veux gratter cette page toutes les 6 heures. Je ne suis pas intéressé à afficher la valeur n'importe où, je suis juste intéressé par le cron. J'espère que j'ai fait sens.

S'il vous plaît informez-moi si je peux accomplir cela en utilisant App Engine de Google.

Merci!

Answer 1

S'il vous plaît informez-moi si je peux accomplir cela en utilisant Google App Engine.

Sûr! Par exemple, en Python, urlfetch (avec l'URL comme argument) pour obtenir le contenu, puis un simple re.search(r'Value=(\d+)').group(1) (si le contenu est aussi simple que vous le montrez) pour obtenir la valeur, et un db.put pour le stocker. Voulez-vous que les détails de Python soient épelés, ou préférez-vous Java?

Modifier: urllib/urllib2 serait également réalisable (GAE les supporte maintenant).

Alors cron.yaml devrait être quelque chose comme:

cron: 
- description: refresh "value" 
    url: /refvalue 
    schedule: every 6 hours 

et app.yaml quelque chose comme:

application: valueref 
version: 1 
runtime: python 
api_version: 1 

handlers: 
- url: /refvalue 
    script: refvalue.py 
    login: admin 

Vous avez sans doute d'autres entrées dans l'une ou les deux, bien sûr, mais c'est le sous-ensemble nécessaire pour "rafraîchir la valeur". Une possible refvalue.py peut-être:

import re 
import wsgiref.handlers 

from google.appengine.ext import db 
from google.appengine.ext import webapp 
from google.appengine.api import urlfetch 

class Value(db.Model): 
    thevalue = db.IntegerProperty() 
    when = db.DateTimeProperty(auto_now_add=True) 

class RefValueHandler(webapp.RequestHandler): 
    def get(self): 
    resp = urlfetch.fetch('http://whatever.example.com') 
    mo = re.match(r'Value=(\d+)', resp.content) 
    if mo: 
     val = int(mo.group(1)) 
    else: 
     val = None 
    valobj = Value(thevalue=val) 
    valobj.put() 

def main(): 
    application = webapp.WSGIApplication(
    [('/refvalue', RefValueHandler),], debug=True) 
    wsgiref.handlers.CGIHandler().run(application) 

if __name__ == '__main__': 
    main() 

Selon ce que le reste de votre application web est en train de faire, vous aurez probablement envie de déplacer le class Value dans un fichier séparé (par exemple models.py avec d'autres modèles) qui bien sûr vous aurez alors avoir à importer (à partir de ce fichier .py et d'autres qui font quelque chose d'intéressant avec toutes vos valeurs sauvegardées). Ici, j'ai pris en compte certaines anomalies possibles (pas de Value= trouvé sur la page cible) mais pas d'autres (le serveur de la page cible ne répond pas ou donne une erreur); il est difficile de savoir exactement quelles anomalies vous devez considérer et ce que vous voulez faire si elles se produisent (ce que je fais ici est très simplement l'enregistrement None comme la valeur à l'heure de l'anomalie, mais vous voudrez peut-être faire plus ... ou moins - je vous laisse le soin de le faire! -)