Attendre le résultat d'un service Web externe dans une tâche

Question

Je dois écrire un tas de tâches où chaque tâche doit interroger un service Web externe. Le service Web répond toujours avec un statut 202 ACCEPTED et pointe dans l'en-tête Location vers l'URI où le résultat peut être interrogé. Le temps nécessaire à ce service Web pour fournir le résultat peut varier de 2 secondes à une minute. Je me demandais quelle était la meilleure approche pour programmer ma tâche de céleri. Pour l'instant j'envoie la demande et commence une boucle while jusqu'à ce que je Pöll avec succès le résultat, par exemple:

while True: 
    result = poll_webservice() 
    if result: 
     break 
    else: 
     time.sleep(5) 

[ continue with the rest of the task ] 

Bien que cela fonctionne certainement il semble très brut pour moi et aussi je bloquer le travailleur de céleri jusqu'à ce que le résultat est sondé. Y a-t-il une meilleure approche?

Answer 1

Vous tuez sûrement vos ressources. Il suffit d'interroger votre service Web externe et enregistrer l'URI à interroger (utiliser un cache ou un db). Ensuite, vous pouvez avoir un periodic task qui recueille les résultats, si prêt ...

Answer 2

Je penserais à un céleri tâche qui interroge l'emplacement fourni par la réponse 202. Si elle est complétée, alors elle la traite, sinon elle se re-file elle-même (ou une copie de lui-même) pendant un certain temps plus tard.

Pour les points bonus, si vous avez beaucoup de ces tâches, vous pouvez augmenter le temps entre les sondages chaque fois que la réponse n'est pas prête.

Answer 3

Comment utiliser task.retry?

@task(max_retries=100) 
def poll_webservice_task(url): 
    result = poll_webservice(url) 
    if result: 
     return result 
    poll_webservice_task.retry(countdown=5)