Dois-je utiliser le MPS (MULTI-PROCESS SERVICE) lorsque j'utilise CUDA6.5 + MPI?

Question

par le lien est écrit: https://docs.nvidia.com/deploy/pdf/CUDA_Multi_Process_Service_Overview.pdf

1,1. Vue d'ensemble

1.1.1. MPS

Le service multi-process (MPS) est une implémentation alternative, binaire-compatible de l'interface de programmation d'application CUDA (API). L'architecture d'exécution MPS est conçu pour de manière transparente permettent aux applications CUDA multi-processus coopératif , généralement des emplois MPI, à utiliser les capacités Hyper-Q sur les dernières NVIDIA (Kepler-base) Tesla et les GPU Quadro. Hyper-Q permet de traiter simultanément les noyaux CUDA sur le même GPU; Cela peut améliorer les performances lorsque la capacité de calcul du GPU est sous-utilisée par un processus d'application unique.

1. Dois-je utiliser le MPS (SERVICE MULTIPROCÉDÉS) lors de l'utilisation CUDA6.5 + MPI (OpenMPI/IntelMPI), ou puis-je pas utiliser MPS avec perdu un peu de performance, mais sans les erreurs?

2. Si je pas utiliser MPS, ce que cela signifie que tous mes MPI-processus sur un seul serveur exécuteront leur GPU-noyau-fonctions de manière séquentielle (non simultanée) sur une seule carte GPU, mais tous les autres le comportement restera le même?

Answer 1

1. MPS n'est pas nécessaire d'utiliser MPI

2. Si vous n'utilisez pas MPS, mais vous lancez plusieurs MPI rangs par nœud (ie par GPU), alors si vous avez Compute mode défini par défaut, l'activité de votre GPU se sérialisera. Si vous avez défini votre mode de calcul sur EXCLUSIVE_PROCESS ou EXCLUSIVE_THREAD, vous obtiendrez des erreurs lorsque plusieurs rangs MPI tentent d'utiliser un seul GPU.

La documentation CUDA MPS est disponible here.