tensorflow Dataset.from_tensor_slices prend trop de temps

Question

je le code suivant:

data = np.load("data.npy") 
print(data) # Makes sure the array gets loaded in memory 
dataset = tf.contrib.data.Dataset.from_tensor_slices((data)) 

Le fichier est "data.npy" 3.3 Go. La lecture du fichier avec numpy prend quelques secondes, mais la ligne suivante qui crée l'objet de jeu de données tensorflow prend des âges à exécuter. Pourquoi donc? Que fait-il sous le capot?

Answer 1

cette answer citant:

np.load d'un npz retourne juste un chargeur de fichier, pas les données réelles. C'est un "chargeur paresseux", chargeant le tableau particulier seulement quand on y accède.

C'est pourquoi c'est rapide.

Edit 1: pour développer un peu plus cette réponse, une autre citation de tensorflow's documentation:

Si toutes vos données d'entrée tenir dans la mémoire, la façon la plus simple de créer une Dataset d'eux est de convertir les à tf.Tensor objets et utiliser Dataset.from_tensor_slices().

Cela fonctionne bien pour un petit ensemble de données, mais gaspille de la mémoire --- parce que le contenu du tableau sera copié plusieurs fois --- et peut atteindre la limite de 2 Go pour le tampon de protocole tf.GraphDef.

Le lien montre également comment le faire efficacement.