cython memoryviews tranches sans GIL

Question

Je veux libérer le GIL afin de paralléliser la boucle dans Cython, où différentes tranches de visions de mémoire sont passées à une certaine fonction à l'intérieur de la boucle. Le code ressemble à ceci:

cpdef void do_sth_in_parallel(bint[:,:] input, bint[:] output, int D): 
    for d in prange(D, schedule=dynamic, nogil=True): 
      ouput[d] = some_function_not_requiring_gil(x[d,:]) 

Ce n'est pas possible, car la sélection de la tranche x [d ,:], semble exiger GIL. En cours d'exécution cython -a, et en utilisant une boucle normale, je reçois le code ci-dessous. Comment cela peut-il être fait en C pur?

 __pyx_t_5.data = __pyx_v_x.data; 
     __pyx_t_5.memview = __pyx_v_x.memview; 
     __PYX_INC_MEMVIEW(&__pyx_t_5, 0); 
     { 
    Py_ssize_t __pyx_tmp_idx = __pyx_v_d; 
    Py_ssize_t __pyx_tmp_shape = __pyx_v_x.shape[0]; 
    Py_ssize_t __pyx_tmp_stride = __pyx_v_x.strides[0]; 
    if (0 && (__pyx_tmp_idx < 0)) 
     __pyx_tmp_idx += __pyx_tmp_shape; 
    if (0 && (__pyx_tmp_idx < 0 || __pyx_tmp_idx >= __pyx_tmp_shape)) { 
     PyErr_SetString(PyExc_IndexError, "Index out of bounds (axis 0)"); 
     __PYX_ERR(0, 130, __pyx_L1_error) 
    } 
     __pyx_t_5.data += __pyx_tmp_idx * __pyx_tmp_stride; 
} 

__pyx_t_5.shape[0] = __pyx_v_x.shape[1]; 
__pyx_t_5.strides[0] = __pyx_v_x.strides[1]; 
    __pyx_t_5.suboffsets[0] = -1; 

__pyx_t_6.data = __pyx_v_u.data; 
     __pyx_t_6.memview = __pyx_v_u.memview; 
     __PYX_INC_MEMVIEW(&__pyx_t_6, 0); 
     __pyx_t_6.shape[0] = __pyx_v_u.shape[0]; 
__pyx_t_6.strides[0] = __pyx_v_u.strides[0]; 
    __pyx_t_6.suboffsets[0] = -1; 

Answer 1

Les œuvres suivantes pour moi:

from cython.parallel import prange 

cdef bint some_function_not_requiring_gil(bint[:] x) nogil: 
    return x[0] 

cpdef void do_sth_in_parallel(bint[:,:] input, bint[:] output, int D): 
    cdef int d 
    for d in prange(D, schedule=dynamic, nogil=True): 
      output[d] = some_function_not_requiring_gil(input[d,:]) 

Les deux principaux changements que je devais faire étaient x-input (parce qu'il est en supposant qu'il peut trouver x comme un objet python à la portée mondiale) à corriger l'erreur

Conversion en Python objet pas autorisé sans gil

et en ajoutant cdef int d pour forcer le type de d et corriger l'erreur

Coercion de Python intérdits sans GIL

(J'ai aussi créé un exemple some_function_not_requiring_gil mais je suppose que cela est assez évident)

Answer 2

solution qui fonctionne pour moi:

accéder à la tranche de tableau en utilisant

input[d:d+1, :] 

au lieu de

input [d,:] 

Et passer un tableau 2D.