optimisation de script python pour le moteur d'application

Question

j'ai le script suivant j'utilise des données ferraille de mon site Web uni et l'insérer dans un GAE Db

from mechanize import Browser 
from BeautifulSoup import BeautifulSoup 
import re 
import datetime 

__author__ = "Nash Rafeeq" 

url = "http://webspace.apiit.edu.my/schedule/timetable.jsp" 
viewurl = "http://localhost:8000/timekeeper/intake/checkintake/" 
inserturl = "http://localhost:8000/timekeeper/intake/addintake/" 
print url 
mech = Browser() 
try: 
    page = mech.open(url) 
    html = page.read() 
except Exception, err: 
    print str(err) 
#print html 
soup = BeautifulSoup(html) 
soup.prettify() 
tables = soup.find('select') 
for options in tables: 
    intake = options.string 
    #print intake 
    try: 
     #print viewurl+intake 
     page = mech.open(viewurl+intake) 
     html = page.read() 
     print html 
     if html=="Exist in database": 
      print intake, " Exist in the database skiping" 
     else: 
      page = mech.open(inserturl+intake) 
      html = page.read() 
      print html 
      if html=="Ok": 
       print intake, "added to the database" 
      else: 
       print "Error adding ", intake, " to database" 
    except Exception, err: 
     print str(err) 

je me demande quelle serait la meilleure façon d'optimiser ce script donc je peux l'exécuter sur les serveurs du moteur de l'application. comme il est, il râpe maintenant plus de 300 entrées et prendre plus de 10 minutes pour insérer toutes les données sur ma machine locale

le modèle qui est utilisé pour stocker les données

class Intake(db.Model): 
    intake=db.StringProperty(multiline=False, required=True) 
    #@permerlink  
    def get_absolute_url(self): 
     return "/timekeeper/%s/" % self.intake 
    class Meta: 
     db_table = "Intake" 
     verbose_name_plural = "Intakes" 
     ordering = ['intake'] 

Answer 1

Divide and conquer.

1. Faites une liste des tâches (par exemple urls Gratter/parse)
2. Ajouter vos tâches dans une file d'attente (appengine taskqueue api, amazon sqs, ...)
3. Process votre file d'attente

Answer 2

La première chose vous devez réécrire votre script pour utiliser directement la banque de données App Engine. Une grande partie du temps que vous dépensez est sans doute parce que vous utilisez des requêtes HTTP (deux par entrée!) Pour insérer des données dans votre banque de données. L'utilisation directe du magasin de données avec batch puts devrait réduire de quelques ordres de grandeur votre temps d'exécution.

Si votre code d'analyse est encore trop lent, vous pouvez découper le travail en blocs et utiliser le task queue API pour effectuer le travail dans plusieurs requêtes.

Answer 3

salut selon la Tosh et nick i ont modifié le script comme ci-dessous

from google.appengine.api import urlfetch 
from BeautifulSoup import BeautifulSoup 
from timkeeper.models import Intake 
from google.appengine.ext import db 

__author__ = "Nash Rafeeq" 

url = "http://webspace.apiit.edu.my/schedule/timetable.jsp" 
try: 
    page = urlfetch.fetch(url) 
    #print html 
    soup = BeautifulSoup(page.content) 
    soup.prettify() 
    tables = soup.find('select') 
    models=[] 
    for options in tables: 
     intake_code = options.string 
     if Intake.all().filter('intake',intake_code).count()<1: 
      data = Intake(intake=intake_code) 
      models.append(data) 
    try: 
     if len(models)>0: 
      db.put(models) 
     else: 
      pass 
    except Exception,err: 
     pass 
except Exception, err: 
    print str(err) 

suis-je sur la bonne voie? Aussi, je ne suis pas vraiment sûr de savoir comment obtenir ce à invoquer sur un calendrier (une fois par semaine) quelle serait la meilleure façon de le faire?

et merci pour les réponses rapides