Python multiprocessing.dummy et deepdish ne fonctionnent pas ensemble

Question

J'ai un problème avec le package multiprocessing.dummy et deepdish pour écrire des fichiers h5 compressés. Ce est ce que je fais:

import deepdish as dd 
from multiprocessing.dummy import Pool 

def writeThings(args): 
    path, np_array = args 
    dd.io.save(path, {'arr': np_array}, compression='blosc') 

p = Pool(4) 
p.map(writeThings, all_np_arrays_and_paths) 

Tout fonctionne très bien quand je commente la DeepDish commande retirerai. Il semble que dd crée un certain type de fichiers corrompus sur Windows et Python détecte cette erreur, et se bloque juste. Est-ce que quelqu'un sait comment réparer ceci? Merci beaucoup.

Answer 1

Pour clarifier les choses, les chemins sont distincts les uns des autres, donc j'écrire dans des fichiers différents. Cependant, cette fonction simple ne fonctionne toujours pas. Cependant, si j'Embed ce dans une classe threading.Thread qui a une serrure et autour de la commande dd.io.save avec lock.acquire et après l'écriture du fichier lock.release tout fonctionne bien.

Voici un extrait de code pour tout le monde:

import threading 

class writeThings(threading.Thread): 
    def __init__(self, args, lock): 
     super().__init__() 
     self.args = args 
     self.lock = lock 

    def run(self): 
     while self.args: 
      path, np_array = self.args.pop() 
      # Give this thread unique writing rights 
      self.lock.acquire() 
      dd.io.save(path, {"arr": np_array}, compression='blosc') 
      self.lock.release() 

lock = threading.Lock() 
n_threads = 4 
threads = [] 

for i in range(n_threads): 
    threads.append(writeThings(args_junk[i],lock)) 

for i in range(n_threads): 
    threads[i].start() 

for i in range(n_threads): 
    threads[i].join()