tensorflow mince multi-GPU ne peut pas fonctionner

Question

Actuellement, j'utilise tensorflow slim pour former le modèle de scrach. Si je suis juste l'instruction ici https://github.com/tensorflow/models/tree/master/slim#training-a-model-from-scratch, tout est OK.

Cependant, je veux utiliser multi GPU, donc je définis --num_clones = 2 ou 4, les deux ne fonctionnent pas. Le résultat est que les deux sont bloqués à global_step/sec: 0. Ils ne peuvent pas continuer. Vous pouvez voir l'image résultat ici error result

DATASET_DIR=/tmp/imagenet 
TRAIN_DIR=/tmp/train_logs 
python train_image_classifier.py \ 
--num_clones=4 \ 
--train_dir=${TRAIN_DIR} \ 
--dataset_name=imagenet \ 
--dataset_split_name=train \ 
--dataset_dir=${DATASET_DIR} \ 
--model_name=inception_v3 

quelqu'un L'espoir peut me aider, merci à l'avance. Par ailleurs, j'utilise tensorflow 1.1 & python 35 sur Ubuntu 16.04. Si vous avez besoin de plus d'informations, s'il vous plaît faites le moi savoir.

Answer 1

Votre problème ressemble à une expérience que j'avais après être passé d'une configuration mono-GPU à une configuration multi-GPU en utilisant tf-slim. J'ai observé que le travail du serveur de paramètres prenait le nom 'localhost', qui était en conflit avec le nom de travail par défaut assigné par model_deploy à mon unité centrale. Je vous suggère d'inspecter les noms de périphériques en suivant la section "Logging Device placement" de this tensorflow.org article. Il explique comment imprimer les noms de périphériques sur la console pour chaque opération. Vous pouvez ensuite transmettre le nom du travail en tant qu'argument au paramètre ps_job_name de DeployConfig() et poursuivre l'apprentissage.