Meilleure façon de stocker des images pour le projet Google Cloud Machine Learning?

Question

J'exécute un projet Machine Learning en utilisant Google Cloud Platform avec Tensorflow et Keras. J'ai environ 30 000 images PNG dans mon jeu de données. Quand je l'exécute localement, Keras a de grands utilitaires pour charger des images mais Google Cloud Services doit utiliser certaines librairies telles que tensorflow.file_io (voir: Load numpy array in google-cloud-ml job) pour lire des fichiers depuis un compartiment GC.

Quelle est la meilleure façon de charger les images à partir d'un compartiment Google Cloud Storage? En ce moment, je les enregistre sous forme d'octets et je les lise depuis un fichier, mais ce serait bien de pouvoir charger les images directement depuis le seau GC.

Merci,

Answer 1

Ce message pourrait vous aider.

Tensorflow multithreading image loading

Il utilise la nouvelle API tf.data.Dataset pour charger directement des images comme il est, d'une manière performante. Ainsi, vous pouvez stocker des fichiers individuels plutôt qu'un seul fichier ... bien que ce soit possible, un seul fichier peut donner une meilleure performance, si vous utilisez quelque chose comme un fichier TFRecord contenant une image par enregistrement.

Espérons que ça aide!