Python/Numpy MemoryError

Question

Fondamentalement, j'obtiens une erreur de mémoire en python lorsque j'essaie d'effectuer une opération algébrique sur une matrice numpy. La variable u, est une grande matrice de double (dans le cas contraire c'est une matrice de doubles de 288x288x156.) Je n'obtiens cette erreur que dans ce cas, mais je suis capable de le faire sur d'autres grandes matrices. Voici l'erreur Python:

Traceback (most recent call last): 

File "S:\3D_Simulation_Data\Patient SPM Segmentation\20 pc 
t perim erosion flattop\SwSim.py", line 121, in __init__ 
    self.mainSimLoop() 

File "S:\3D_Simulation_Data\Patient SPM Segmentation\20 pc 
t perim erosion flattop\SwSim.py", line 309, in mainSimLoop 
    u = solver.solve_cg(u,b,tensors,param,fdHold,resid) # Solve the left hand si 
de of the equation Au=b with conjugate gradient method to approximate u 

File "S:\3D_Simulation_Data\Patient SPM Segmentation\20 pc 
t perim erosion flattop\conjugate_getb.py", line 47, in solv 
e_cg 

u = u + alpha*p 

MemoryError 

u = u + alpha*p est la ligne de code qui échoue.

alpha est juste un double, tandis que u et r sont les grandes matrices décrites ci-dessus (les deux de la même taille).

Je ne sais pas grand-chose sur les erreurs de mémoire en particulier en Python. Toute idée/conseils pour résoudre ce problème serait très apprécié!

Merci

Answer 1

Réécrire

p *= alpha 
u += p 

et cela utilisera beaucoup moins de mémoire. Alors que p = p*alpha alloue une toute nouvelle matrice pour le résultat de p*alpha, puis rejette le vieux p; p*= alpha fait la même chose en place.

En général, avec les grandes matrices, essayez d'utiliser l'affectation op=.

Answer 2

Votre matrice a 288x288x156 = 12.939.264 entrées, qui pour double pourrait venir sur 400Mo en mémoire. numpy en lançant un MemoryError à vous signifie simplement que dans la fonction que vous appelez la mémoire nécessaire pour effectuer l'opération n'était pas disponible à partir du système d'exploitation. Si vous pouvez travailler avec des matrices creuses, cela pourrait vous faire économiser beaucoup de mémoire.

Answer 3

Un autre conseil que j'ai trouvé pour éviter les erreurs de mémoire est de contrôler manuellement garbage collection. Lorsque les objets sont supprimés ou vont de notre portée, la mémoire utilisée pour ces variables n'est pas libérée jusqu'à ce qu'une récupération de place soit effectuée. J'ai trouvé avec une partie de mon code en utilisant de grands tableaux numpy que j'obtiens un MemoryError, mais que je peux éviter ceci si j'insère des appels à gc.collect() aux endroits appropriés.

Vous ne devriez regarder dans cette option que si l'utilisation des opérateurs de style "op =" etc. ne résout pas votre problème car ce n'est probablement pas la meilleure pratique de codage d'avoir des appels gc.collect() partout.