Supposons que j'ai 10 machines avec 2 GPU chacune et que je veux exécuter un cluster distribué TensorFlow. Combien de serveurs de paramètres dois-je allouer aux maîtres VS?Qu'est-ce qu'un bon rapport entre les serveurs de paramètres et les maîtres dans le flux tensoriel distribué?
Une bonne heuristique consiste à allouer le plus petit nombre de serveurs de paramètres afin que la bande passante réseau ne devienne pas un goulot d'étranglement. Par exemple, supposons que vous ayez 10 millions de paramètres et que chaque étape de calcul dure 1 seconde. Cela signifie qu'à chaque seconde un travailleur envoie un vecteur de mise à jour des paramètres de 40 Mo et reçoit le même vecteur de paramètres de taille. Chaque travailleur a donc besoin d'une bande passante duplex de 320 Gbps. Supposons que vous avez 10 travailleurs. Avec un serveur à un seul paramètre, votre serveur PS nécessitera une bande passante de 3,2 Gbit/s.
Maintenant, supposons que vos cartes réseau sont capables de 1 Gbps full-duplex. Pour éviter de saturer les cartes ethernet, vous aurez besoin d'au moins 4 serveurs de paramètres.