Tensorflow - Profilage en temps réel - Comprendre ce qui limite le système

Question

J'essaie de comprendre pourquoi chaque itération de train prend environ 1,5 s. J'ai utilisé la méthode de traçage décrite here. Je travaille sur un GPU TitanX Pascal. Mes résultats semblent très étranges, il semble que chaque opération soit relativement rapide et que le système reste inactif la plupart du temps entre les opérations. Comment puis-je comprendre à partir de ce qui limite le système? Il semble toutefois que lorsque je réduis drastiquement la taille du lot, les écarts se referment, comme on peut le voir ici.

Malheureusement, le code est très compliqué et je ne peux pas poster une petite version de ce qui a le même problème

Est-il possible de comprendre le profileur ce qui prend l'espace dans les espaces entre opérations?

Merci!

EDIT:

Sur CPU ony Je ne vois pas ce comportement:

Je dirigeais une

Answer 1

Voici quelques suppositions, mais il est difficile de dire sans autonome reproduction que je peux exécuter et déboguer.

• Est-il possible que vous n'ayez plus de mémoire GPU? Un signal de ceci est si vous voyez des messages de journal du formulaire Allocator ... ran out of memory pendant l'entraînement. Si vous n'avez plus de mémoire GPU, l'allocateur se désactive et attend dans l'espoir de plus devient disponible. Cela pourrait expliquer les grandes lacunes inter-opérateurs qui disparaissent si vous réduisez la taille du lot.

• Comme le suggère Yaroslav dans un commentaire ci-dessus, que se passe-t-il si vous exécutez le modèle uniquement sur le processeur? À quoi ressemble la chronologie?

• Est-ce un travail de formation distribué ou un travail sur une seule machine? S'il s'agit d'un travail distribué, une version mono-machine présente-t-elle le même comportement?

• Appelez-vous souvent session.run() ou eval(), ou une seule fois par étape d'entraînement? Chaque appel run() ou eval() va drainer le pipeline GPU, donc pour l'efficacité, vous devez généralement exprimer votre calcul comme un grand graphe avec un seul appel run(). (Je doute que ce soit votre problème, mais je le mentionne pour l'exhaustivité.)