S'assurer que Caffe utilise plusieurs GPU

Question

Je suis novice dans l'utilisation des réseaux de neurones d'entraînement. J'ai accès au cluster GPU et j'affine une version d'Alex-Net pour la classification des scènes.

J'ai actuellement accès à deux GPU et je veux les utiliser tous les deux pour la formation. La commande nvidia-smi me donne l'identifiant des GPU (qui sont 0 et 1).

Voici comment je la formation d'utiliser les deux processeurs graphiques:
caffe.set_mode_gpu()
caffe.set_device ([0,1])

Est-ce la bonne façon de l'utiliser?

Answer 1

Python vous permet de choisir un seul GPU en utilisant set_device(). Le multi-GPU est uniquement supporté sur l'interface C++. Le drapeau --gpu utilisé à cette fin est discuté here. Les GPU à utiliser pour la formation peuvent être définis avec l'indicateur --gpu sur la ligne de commande de l'outil Caffe. Par exemple,

build/tools/caffe train --solver=models/bvlc_alexnet/solver.prototxt --gpu=0,1 

formera sur les GPU 0 et 1.

Answer 2

Dans le terminal, vous pouvez taper comme ça:

python yourpythonfile.py CUDA_VISIBLE_DEVICES=0, 1