Copie simultanée d'un fichier sur plusieurs chemins

Question

Je transfère chaque jour un fichier de 150-200mb vers plusieurs emplacements (lecteurs partagés situés à travers le monde). Le problème est que chaque transfert (en utilisant shutil) prend probablement 100-700 secondes et que chacun doit se terminer pour que le prochain commence. Il faut maintenant une heure pour transférer certains fichiers si je le fais de cette façon. Ma solution temporaire consistait à créer un fichier .py distinct à exécuter pour chaque emplacement afin qu'ils puissent être exécutés simultanément, mais ce n'est pas idéal.

Comment puis-je plonger dans la programmation multi-thread? Je voudrais exécuter tous les transferts à la fois mais je n'ai aucune expérience avec cela.

Une simple recherche Google m'a atterri avec:

https://docs.python.org/3/library/concurrent.futures.html.

import shutil 
with ThreadPoolExecutor(max_workers=4) as e: 
    e.submit(shutil.copy, 'src1.txt', 'dest1.txt') 
    e.submit(shutil.copy, 'src2.txt', 'dest2.txt') 
    e.submit(shutil.copy, 'src3.txt', 'dest3.txt') 
    e.submit(shutil.copy, 'src4.txt', 'dest4.txt') 

Est-ce que quelqu'un peut me diriger dans la bonne direction? J'ai eu l'intention d'apprendre à faire les choses en parallèle pendant un moment maintenant mais je n'ai jamais réussi à le faire.

Answer 1

Voici un exemple de travail qui fait ce que vous voulez. Notez qu'il ne peut pas être plus rapide qu'un seul à la fois si le goulot d'étranglement est la bande passante du réseau.

from concurrent.futures import ThreadPoolExecutor 
import os 
import shutil 
import time 
from threading import Lock 

src_dir = './test_src' 
src_files = 'src1.txt', 'src2.txt', 'src3.txt', 'src4.txt' 
dst_dir = './test_dst' 
print_lock = Lock() 

_print = print # save original 
def print(*args, **kwargs): 
    """Prevents concurrent printing.""" 
    with print_lock: 
     _print(*args, **kwargs) 

def copy_file(src_file): 
    src_file = os.path.join(src_dir, src_file) 
    print('starting transfer of "{}"'.format(src_file)) 
    shutil.copy2(src_file, dst_dir) 
    print('transfer of "{}" completed'.format(src_file)) 

with ThreadPoolExecutor(max_workers=4) as e: 
    jobs = [e.submit(copy_file, src_file) for src_file in src_files] 

while any(job.running() for job in jobs): 
    time.sleep(.1) 
print('done')