GCS - DataCorruption: incompatibilité checksum lors du téléchargement

Question

J'utilise le client de python google-cloud pour télécharger un fichier de Google Cloud Storage (GCS), obtenir l'erreur suivante:

File "/deploy/app/scanworker/storagehandler/gcshandler.py" line 62 in download_object 
blob.download_to_file(out_file) 

File "/usr/local/lib/python3.5/dist-packages/google/cloud/storage/blob.py" line 464 in download_to_file self._do_download(transport, file_obj, download_url, headers) 

File "/usr/local/lib/python3.5/dist-packages/google/cloud/storage/blob.py" line 418 in _do_download 
download.consume(transport) 

File "/usr/local/lib/python3.5/dist-packages/google/resumable_media/requests/download.py" line 169 in consume  

self._write_to_stream(result) 

File "/usr/local/lib/python3.5/dist-packages/google/resumable_media/requests/download.py" line 132 in _write_to_stream [args] [locals] 
raise common.DataCorruption(response, msg) 


DataCorruption: Checksum mismatch while downloading: 

https://www.googleapis.com/download/storage/v1/b/<my-bucket>/o/<my-object>?alt=media 

The X-Goog-Hash header indicated an MD5 checksum of: 

fdn2kKmS4J6LCN6gfmEUVQ== 

but the actual MD5 checksum of the downloaded contents was: 

C9+ywW2Dap0gEv5gHoR1UQ== 

J'utilise le code suivant pour télécharger le blob de GCS:

bucket_name = '<some-bucket>' 
service_account_key = '<path to json credential file>' 
with open(service_account_key, 'r') as f: 
    keyfile = json.load(f) 
    project_id = keyfile['project_id'] 

credentials = service_account.Credentials.from_service_account_file(service_account_key) 
client = storage.Client(project=project_id, 
         credentials=credentials) 
bucket = client.get_bucket(bucket_name) 

blob_name = '<name of blob>' 
download_path = "./foo.obj" 
blob = bucket.blob(blob_name) 
with open(download_path, "w") as out_file: 
    blob.download_to_file(out_file) # it fails here 

Quelques infos:

• En utilisant python3
• en cours d'exécution dans un Ubuntu 16.04 contenant Docker dans Kubernetes
• en utilisant la version de la bibliothèque cliente google-Cloud 0.27.0 téléchargé avec pika

, je ne peux pas sembler aussi reproduire l'erreur sur mon ordinateur de bureau local, le téléchargement du mêmes fichiers qui ont échoué à partir de mon conteneur Docker.

Est-ce une erreur avec la bibliothèque cliente? Ou pourrait-il être un problème de réseau? Essayé de télécharger des fichiers différents, tous donnant la même erreur de Kubernetes. Le même code a fonctionné pendant des mois sans problème, voyant seulement cette erreur maintenant.

Edit:

Reconstruction du conteneur Docker du même code que semble avant d'avoir résolu le problème. Je suis toujours curieux de savoir ce qui a causé l'erreur en premier lieu.

Édition 2: Nous utilisons circleci pour déployer la webapp en production. Maintenant, il semble que l'image construite sur circleci échoue, alors que la construction localement semble fonctionner. Comme il est contenu dans un conteneur Docker, c'est vraiment bizarre, peu importe d'où nous le construisons?

Edit 3: Se connecter en même récipient dans Kubernetes donnant l'erreur ci-dessus, j'ai essayé de courir gsutil cp gs:/<bucket>/<blob-name> foo.obj Ce couru sans aucun problème

Answer 1

Comme indiqué dans le commentaire de Mike: Ce fut un problème avec la version 0.3.0 de la bibliothèque google-resumable-media. (Voir le problème ici: https://github.com/GoogleCloudPlatform/google-resumable-media-python/issues/34)

En spécifiant google-resumable-media==0.2.3 dans notre pip requirements.txt a fait le travail!

La raison pour laquelle l'erreur n'apparaissait pas dans l'image Docker créée à partir de mon bureau était que j'avais des images en cache avec l'ancienne version de google-resumable-media.