Les fonctions du noyau cublas seront-elles automatiquement synchronisées avec l'hôte?

Question

Juste une question générale sur cublas. Pour un thread unique, s'il n'y a pas de transfert de mémoire de GPU à CPU (par exemple cublasGetVector), les fonctions du noyau de cublas (par exemple cublasDgemm) seront-elles automatiquement synchronisées avec l'hôte?

cublasDgemm(); 
//cublasGetVector(); 
    host_functions() 

En outre, qu'en est-il entre deux appels de noyau adjacents? Et, qu'en est-il d'un transfert synchronisé n'impliquant pas la mémoire globale utilisée dans le noyau précédent?

cublasDgemm(...gA...gB...gC); 
cublasGetVector(...gD...D...); 

Answer 1

Non, l'API CUBLAS est, à l'exception de quelques routines de niveau 1 qui renvoient une valeur scalaire, asynchrone. Les routines de niveau 3 comme cublasDgemm ne bloquent pas l'hôte, vous devez appeler une routine d'API de blocage comme un transfert de mémoire synchrone ou un appel de synchronisation hôte-GPU explicite pour vous assurer que l'appel CUBLAS est terminé.