formation multi-GPU en utilisant tf.slim prend plus de temps que seul GPU

Question

Je suis ResNet50 réglage fin du jeu de données CIFAR10 en utilisant un script train_image_classifier.py de tf.slim:

python train_image_classifier.py \      
    --train_dir=${TRAIN_DIR}/all \               
    --dataset_name=cifar10 \                
    --dataset_split_name=train \               
    --dataset_dir=${DATASET_DIR} \               
    --checkpoint_path=${TRAIN_DIR} \              
    --model_name=resnet_v1_50 \               
    --max_number_of_steps=3000 \               
    --batch_size=32 \                  
    --num_clones=4 \                  
    --learning_rate=0.0001 \                
    --save_interval_secs=10 \                
    --save_summaries_secs=10 \                
    --log_every_n_steps=10 \                 
    --optimizer=sgd 

Pour 3k étapes, l'exécution de ce sur une seul GPU (Tesla M40) dure environ 30mn, lors de l'exécution sur GPU 4 prend 50 mn. (La précision est similaire dans les deux cas: ~ 75% et ~ 78%).

Je sais que l'une des causes possibles de retard dans les configurations multi-GPU est le chargement des images, mais dans le cas de tf.slim, il utilise le processeur pour cela. Des idées de ce qui pourrait être le problème? Je vous remercie!

Answer 1

1. Vous ne deviendrez pas plus rapide Lorsque vous définissez num_clones pour utiliser multi gpu. Parce que mince formera batch_size * données num_clones scission dans chacun de vos GPU. Après cela, calculez chaque perte par div num_clones et additionnez la perte totale. (https://github.com/tensorflow/models/blob/master/research/slim/deployment/model_deploy.py)
2. Lorsque le goulot d'étranglement CPU deviennent, d'un pipeline d'entrée ne peut pas produit de données tant pour le train. Ensuite, vous obtiendrez 4 fois lentement lorsque vous définissez num_clones = 4. (https://www.tensorflow.org/performance/performance_guide)