Exemple de TensorFlow simple chargement d'une copie d'un modèle sur chaque GPU qui est disponible

Je cherche à transférer d'une structure d'apprentissage de machine de production différente à TensorFlow. Dans notre système actuel de formation et d'inférence, nous chargeons des copies de notre modèle sur autant de GPU que sur la machine. Je voudrais conserver cette façon d'équilibrer la charge pour le moment. Où puis-je trouver un exemple simple de chargement d'une copie d'un modèle TF sur chaque GPU disponible sur une machine?Exemple de TensorFlow simple chargement d'une copie d'un modèle sur chaque GPU qui est disponible

Source

2017-10-16 empty

Voici un exemple de https://github.com/rafaljozefowicz/lm/blob/master/language_model.py#L21

Vous enveloppez votre code de création de modèle en fonction _forward, puis appelez une fois pour chaque GPU

for i in range(hps.num_gpus): 
     with tf.device(assign_to_gpu(i, ps_device)), tf.variable_scope(tf.get_variable_scope(), 
                     reuse=True if i > 0 else None): 
      loss = self._forward(i, xs[i], ys[i], ws[i]) 
      losses += [loss] 
      if mode == "train": 
       cur_grads = self._backward(loss, summaries=(i == hps.num_gpus - 1)) 
       tower_grads += [cur_grads] 

    self.loss = tf.add_n(losses)/len(losses)

Source

2017-10-16 18:52:13

Je suppose que je ne comprends pas cet exemple. On dirait que le forward se propage sur un GPU puis sur un autre GPU. En série. Je veux exécuter les modèles sur les GPU en parallèle. – empty

L'exemple forward propage 8 modèles sur 8 gpus en parallèle, puis additionne leurs pertes –

Je ne vois pas de multithreading ici. Où se manifeste le parallélisme? – empty

Exemple de TensorFlow simple chargement d'une copie d'un modèle sur chaque GPU qui est disponible

Répondre

Questions connexes