Le fichier HDF5 est chargé plusieurs fois lors de la formation du jeu de données en utilisant Caffe

Question

Je forme un jeu de données en utilisant des fichiers hdf5 et le journal indique que le fichier hdf5 est chargé 3 fois. Je me demandais pourquoi est-ce?

Pour la formation J'utilise 4 GPUs

0830 10:51:06.050088 24335 hdf5_data_layer.cpp:79] Loading list of HDF5 filenames from: /train_h5_list.txt 
I0830 10:51:06.055855 24336 hdf5_data_layer.cpp:79] Loading list of HDF5 filenames from: /train_h5_list.txt 
I0830 10:51:06.066175 24335 hdf5_data_layer.cpp:93] Number of HDF5 files: 8259 
I0830 10:51:06.071753 24336 hdf5_data_layer.cpp:93] Number of HDF5 files: 8259 
I0830 10:51:06.878861 24337 hdf5_data_layer.cpp:79] Loading list of HDF5 filenames from: /train_h5_list.txt 
I0830 10:51:06.900501 24337 hdf5_data_layer.cpp:93] Number of HDF5 files: 8259 

Answer 1

Pour autant que je l'ai découvert est que si vous utilisez plusieurs GPUs les fichiers hdf5 sont chargés plusieurs fois pour chaque GPU! Cela peut entraîner des problèmes tho et je ne recommanderais pas d'utiliser plusieurs GPUs lors de la formation avec hdf5 fichiers