Python zip plusieurs répertoires dans un fichier zip

Question

J'ai un répertoire haut ds237 qui a plusieurs sous-répertoires sous comme ci-dessous:

ds237/ ├── dataset_description.json ├── derivatives ├── sub-01 ├── sub-02 ├── sub-03 ├── sub-04 ├── sub-05 ├── sub-06 ├── sub-07 ├── sub-08 ├── sub-09 ├── sub-10 ├── sub-11 ├── sub-12 ├── sub-13 ├── sub-21 ├── sub-22 ├── sub-23 ├── sub-24 ├── sub-25 ├── sub-26 ├── sub-27 ├── sub-28 ├── sub-29

Je suis en train de créer plusieurs fichiers zip (avec des noms de zip appropriés) à partir de ds237 selon la taille des fichiers zip. sub01-01.zip: contain sub-01 to sub-07 sub08-13.zip : it contains sub08 to sub-13

J'ai écrit une logique qui crée une liste des sous-répertoires [sub-01,sub-02, sub-03, sub-04, sub-05]. J'ai créé la liste afin que la taille totale de tous les sous-répertoires de la liste ne soit pas> 5gb.

Ma question: est comment puis-je écrire une fonction zip ces sous-répertoires (qui sont dans une liste) dans un fichier zip destination nom propre. Fondamentalement, je veux écrire une fonction comme suit:

def zipit([list of subdirs], 'path/to/zipfile/sub*-*.zip'):

I i Linux atteins généralement en: « zip -r compriment/sub01-08.zip DS237/sous-0 [1-8] '

Answer 1

en regardant https://stackoverflow.com/a/1855118/375530, vous pouvez réutiliser la fonction de cette réponse pour ajouter un répertoire à un ZipFile.

import os 
import zipfile 


def zipdir(path, ziph): 
    # ziph is zipfile handle 
    for root, dirs, files in os.walk(path): 
     for file in files: 
      ziph.write(os.path.join(root, file), 
         os.path.relpath(os.path.join(root, file), 
             os.path.join(path, '..'))) 


def zipit(dir_list, zip_name): 
    zipf = zipfile.ZipFile(zip_name, 'w', zipfile.ZIP_DEFLATED) 
    for dir in dir_list: 
     zipdir(dir, zipf) 
    zipf.close() 

La fonction zipit doit être appelé avec votre liste pré-Chunked et un nom donné. Vous pouvez utiliser la mise en forme de chaîne si vous souhaitez utiliser un nom de programme (par exemple, "path/to/zipfile/sub{}-{}.zip".format(start, end)).

Answer 2

vous pouvez utiliser subprocess appeler « zip » et passer les chemins comme arguments

Answer 3

Ce qui suit vous donnera le fichier zip avec un premier dossier ds100:

import os 
import zipfile  

def zipit(folders, zip_filename): 
    zip_file = zipfile.ZipFile(zip_filename, 'w', zipfile.ZIP_DEFLATED) 

    for folder in folders: 
     for dirpath, dirnames, filenames in os.walk(folder): 
      for filename in filenames: 
       zip_file.write(
        os.path.join(dirpath, filename), 
        os.path.relpath(os.path.join(dirpath, filename), os.path.join(folders[0], '../..'))) 

    zip_file.close() 


folders = [ 
    "/Users/aba/ds100/sub-01", 
    "/Users/aba/ds100/sub-02", 
    "/Users/aba/ds100/sub-03", 
    "/Users/aba/ds100/sub-04", 
    "/Users/aba/ds100/sub-05"] 

zipit(folders, "/Users/aba/ds100/sub01-05.zip") 

Par exemple sub01-05.zip aurait une structure similaire à:

ds100 
├── sub-01 
| ├── 1 
|  ├── 2 
| ├── 1 
| ├── 2 
├── sub-02 
    ├── 1 
     ├── 2 
    ├── 1 
    ├── 2