Ajout d'un argument de délai à la file d'attente de python Queue.join()

Question

Je souhaite pouvoir joindre() la classe de la file d'attente mais attendre après un certain temps si l'appel n'est pas encore retourné. Quelle est la meilleure façon de le faire? Est-il possible de le faire en sous-classant la file d'attente \ en utilisant la métaclasse?

Answer 1

Subclassing Queue est probablement le meilleur moyen. Quelque chose comme cela devrait fonctionner (non testé):

def join_with_timeout(self, timeout): 
    self.all_tasks_done.acquire() 
    try: 
     endtime = time() + timeout 
     while self.unfinished_tasks: 
      remaining = endtime - time() 
      if remaining <= 0.0: 
       raise NotFinished 
      self.all_tasks_done.wait(remaining) 
    finally: 
     self.all_tasks_done.release() 

Answer 2

Tout d'abord, vous devez vous assurer que tous vos fils de travail dans la sortie de file d'attente avec task_done()

Pour mettre en œuvre une fonctionnalité de délai d'attente avec Queue, vous pouvez envelopper le code de la file d'attente dans un thread et ajouter un délai d'attente pour cette discussion à l'aide Thread.join([timeout])

exemple non testé pour décrire ce que je suggère

def worker(): 
    while True: 
     item = q.get() 
     do_work(item) 
     q.task_done() 

def queuefunc(): 
    q = Queue() 
    for i in range(num_worker_threads): 
     t = Thread(target=worker) 
     t.setDaemon(True) 
     t.start() 

    for item in source(): 
     q.put(item) 

    q.join()  # block until all tasks are done 

t = Thread(target=queuefunc) 
t.start() 
t.join(100) # timeout applies here 

Answer 3

La méthode join() est tout au sujet d'attente pour toutes les tâches à accomplir. Si vous ne vous inquiétez pas si les tâches ont effectivement terminé, vous pouvez interroger périodiquement le nombre de tâches inachevées:

stop = time() + timeout 
while q.unfinished_tasks and time() < stop: 
    sleep(1) 

Cette boucle existera soit lorsque les tâches sont effectuées ou lorsque le délai d'attente est écoulé.

Raymond