En NumPy, les tableaux plus grands sont créés plus rapidement?

Question

Est-ce une chose de cache, comme le suggère le temps?

In [55]: timeit a = zeros((10000, 400)) 
100 loops, best of 3: 3.11 ms per loop 

In [56]: timeit a = zeros((10000, 500)) 
The slowest run took 13.43 times longer than the fastest. This could mean that an intermediate result is being cached. 
100000 loops, best of 3: 3.43 µs per loop 

Essayé de le tromper, mais il ne fonctionne pas:

In [58]: timeit a = zeros((10000, 500+random.randint(100))) 
The slowest run took 13.31 times longer than the fastest. This could mean that an intermediate result is being cached. 
100000 loops, best of 3: 4.35 µs per loop 

Answer 1

La raison n'est pas mise en cache mais que numpy crée juste un espace réservé à la place du tableau complet. Ceci peut être facilement vérifié en surveillant votre utilisation de la RAM lorsque vous faites quelque chose comme ceci:

a = np.zeros((20000, 20000), np.float64) 

Cela n'alloue pas 20k * 20k * 8byte ~ 3 Go sur mon ordinateur (mais peut-être dépendant de l'OS car np.zeros utilise le Fonction C calloc). Mais soyez prudent car la plupart des opérations sur ce tableau (par exemple a += 5) alloueront immédiatement cette mémoire! Assurez-vous que vous utilisez une taille appropriée par rapport à votre RAM afin que vous remarquiez l'augmentation de RAM sans l'utiliser trop. En fin de compte, cela ne fait que retarder l'allocation de la matrice, dès que vous travaillez avec elle, le timing combiné d'allocation et de fonctionnement devrait être comme prévu (linéaire avec le nombre d'éléments). Il semble que vous utilisez IPython de sorte que vous pouvez utiliser un bloc-timeit %%timeit:

%%timeit 
a = np.zeros((10000, 400)) 
a += 10 
# => 10 loops, best of 3: 30.3 ms per loop 

%%timeit 
a = np.zeros((10000, 800)) 
a += 10 
# => 10 loops, best of 3: 60.2 ms per loop