CUDA: vecteurs addition et vecteurs taille

Question

j'ai mesuré la bande passante lors de l'exécution d'un noyau faisant une addition entre deux vecteurs:

__global__ void add(float *a, float *b, float *c, int n) 
{ 
    int tid = blockIdx.x*blockDim.x + threadIdx.x; 

    while (tid < n) 
    { 
     c[tid] = a[tid] + b [tid]; 
     tid += blockDim.x * gridDim.x; 
    } 
} 

je tout d'abord lance une fois le noyau, de sorte qu'il est chargé sur l'appareil, et à côté , Je mesure 10 itérations de l'exécution du noyau.

La bande passante est de loin mieux quand mon vectors'length est 1000000 à 1000.

Pourquoi?

Merci.

Answer 1

Les GPU ont une bande passante de mémoire très élevée (bonne) et très haute latence de la mémoire (mauvaise). Il faut plusieurs centaines de cycles pour qu'une demande de mémoire soit satisfaite, mais il peut y avoir beaucoup de requêtes en vol qui sont pipelinées.

Si vous ajoutez seulement 1000 éléments, ce que vous mesurez réellement est la latence de la mémoire. Avec des vecteurs beaucoup plus gros, il y aura suffisamment de blocs de threads qui, quand on est bloqué en mémoire, le GPU peut passer à un autre bloc de threads dont la requête de mémoire est en cours de saturation. Avec eux, vous mesurez la bande passante.