Télécharger un fichier zip en utilisant io.Pipe() lecture/écriture golang

Question

J'essaie de diffuser des octets d'un fichier zip en utilisant la fonction io.Pipe() dans golang. J'utilise le lecteur de tuyaux pour lire les octets de chaque fichier dans le fichier zip, puis les diffuser et utiliser le graveur pour écrire les octets dans l'objet de réponse.

func main() { 
    r, w := io.Pipe() 
// go routine to make the write/read non-blocking 
    go func() { 

    defer w.Close() 

    bytes, err := ReadBytesforEachFileFromTheZip() 
    err := json.NewEncoder(w).Encode(bytes) 
    handleErr(err) 
    }() 

Ceci n'est pas une implémentation fonctionnelle mais une structure de ce que j'essaie d'atteindre. Je ne veux pas utiliser ioutil.ReadAll car le fichier va être très volumineux et Pipe() m'aidera à éviter de mettre toutes les données en mémoire. Quelqu'un peut-il aider avec une implémentation de travail en utilisant io.Pipe()?

Answer 1

Je l'ai fait fonctionner en utilisant golang io.Pipe(). Le Pipewriter écrit un octet sur le canal dans les morceaux et le lecteur pipeReader de l'autre extrémité. La raison de l'utilisation d'un go-routine est d'avoir une opération d'écriture non bloquante alors que des lectures simultanées se produisent depuis le tuyau.

Remarque: Il est important de fermer le graveur de tube (w.Ferme()) pour envoyer EOF sur le flux sinon il ne fermera pas le flux.

func DownloadZip() ([]byte, error) { 
    r, w := io.Pipe() 

    defer r.Close() 
    defer w.Close() 

    zip, err := os.Stat("temp.zip") 
    if err != nil{ 
     return nil, err 
    } 

    go func(){ 

     f, err := os.Open(zip.Name()) 
     if err != nil { 
      return 

     } 

     buf := make([]byte, 1024) 
     for { 
      chunk, err := f.Read(buf) 
      if err != nil && err != io.EOF { 
       panic(err) 
      } 
      if chunk == 0 { 
       break 
      } 

      if _, err := w.Write(buf[:chunk]); err != nil{ 
       return 
      } 

     } 

     w.Close() 
    }() 

    body, err := ioutil.ReadAll(r) 
    if err != nil { 
     return nil, err 
    } 
    return body, nil 

} 

Veuillez me faire savoir si quelqu'un d'autre a une autre façon de le faire.