Conversion d'une fonction de coefficient de corrélation de NumPy à Dask

Question

J'essaie d'évaluer dask en convertissant une méthode de thunder (en utilisant Spark), à la version numpy équivalente, mais je ne suis pas sûr comment écrire cela en utilisant dask/distributed .

le tonnerre, je peux prendre une pile d'images, le convertir en une série, et en corrélation contre certains signaux:

imgs = thunder.images.fromrandom((10, 900, 900)) 
series = imgs.toseries() 
signal = series[5, 5, :] 
correlated = series.correlate(signal) 

La version numpy ressemble à ceci:

series = numpy.random.rand(900, 900, 10) 
signal = series[5, 5, :] 

reshaped = series.reshape(900 * 900, 10) 

correlated = numpy.asarray(
    map(lambda x: numpy.corrcoef(x, signal)[0, 1], reshaped)) 
) 
final = correlated.reshape(900, 900) 

Je Je cherche quelques conseils sur la façon de le convertir en quelque chose pour distribué en particulier.

Answer 1

Peut-être quelque chose comme ce qui suit?

import dask.array as da 
import numpy as np 

imgs = da.random.random((10, 900, 900), chunks=(1, 900, 900)) 
reshaped = imgs.reshape((10, 900 * 900)) 

Si vous vouliez établir une corrélation entre vos images les uns contre les autres

result = da.corrcoef(reshaped) 
result.compute() 

ou contre un autre signal de

signal = np.random.random(900 * 900) 
result = reshaped.map_blocks(np.corrcoef, signal, dtype=signal.dtype) 
result.compute() 

Cependant, je ne suis pas très familier avec votre application, de sorte que le la réponse ci-dessus peut être erronée.