en utilisant des files d'attente de tâches pour planifier l'extraction/l'analyse d'un certain nombre de flux dans appengine python

Question

Disons que j'avais plus de 10 000 flux que je voulais chercher/analyser périodiquement. Si la période était de 1h, ce serait 24x10000 = 240 000 fetchs.

La limite actuelle de 10k de l'API labs taskqueue empêcherait l'un de de définir une tâche par récupération. Comment alors ferait-on cela?

Mise à jour: re: récupération nur par tâche: étant donné le délai de 30 secondes par demande à un moment donné, cela atteindrait un plafond. existe-t-il de toute façon pour le paralelliser de sorte que chaque tasqueue initie un tas de récupérations parallèles asynchrones dont chacune prendrait moins de 30 secondes pour terminer, mais le lot pourrait prendre plus de

Answer 1

2 extractions par tâche? 3?

Answer 2

Groupez les extractions, donc au lieu de mettre en file d'attente 1, vous allez en file d'attente, par exemple, une unité de travail qui effectue 10 extractions.

Answer 3

est ici l'API asynchrone urlfetch:

http://code.google.com/appengine/docs/python/urlfetch/asynchronousrequests.html

ensemble d'un tas de demandes avec un délai raisonnable (vous donner une certaine marge sous votre délai d'attente, de sorte que si une demande expire vous avez encore le temps de traiter les autres). Ensuite, attendez chacun tour à tour et traitez-les à mesure qu'ils se terminent.

Je n'ai pas utilisé cette technique moi-même dans GAE, vous êtes donc seul à trouver des pièges non évidents. Malheureusement, il ne semble pas y avoir d'appel de style select() dans l'API pour attendre la fin de la première de plusieurs demandes.