matrice de covariance pondérée en numpy

Question

Je veux calculer la covariance C de n mesures de p quantités, où chaque mesure de quantité individuelle est donné son propre poids. C'est-à-dire, mon tableau de poids W a la même forme que mon tableau de quantité Q (n par p). La fonction native np.cov() ne prend en charge que les poids donnés à des mesures individuelles (c'est-à-dire, un vecteur de longueur n).

Je peux initialiser une matrice p par p et la parcourir, mais si p est grande, alors c'est un processus très lent.

Depuis Q est connu pour avoir une moyenne nulle pour chaque quantité (colonne de Q), la formule explicite pour chaque élément de C est

C[i,j] = np.sum(
    Q[:, i] * Q[:, j] * W[:, i] * W[:, j])/np.sum(W[:, i] * W[:, j]) 

Si je réarrange le numérateur être Q[:, i] * W[:, i] * Q[:, j] * W[:, j], il semble que je devrait être capable de multiplier et de sommer les colonnes de Q * W, puis de faire le dénominateur de la même manière (sauf en utilisant W * W).

Y a-t-il un moyen de le faire avec np.einsum()?

Pour les tests, nous allons définir les éléments suivants:

C = array([[ 1. , 0.1 , 0.2 ], # set this beforehand, to test whether 
      [ 0.1 , 0.5 , 0.15], # we get the correct result 
      [ 0.2 , 0.15, 0.75]]) 

Q = array([[-0.6084634 , 0.16656143, -1.04490324], 
      [-1.51164337, -0.96403094, -2.37051952], 
      [-0.32781346, -0.19616374, -1.32591578], 
      [-0.88371729, 0.20877833, -0.52074272], 
      [-0.67987913, -0.84458226, 0.02897935], 
      [-2.01924756, -0.51877396, -0.68483981], 
      [ 1.64600477, 0.67620595, 1.24559591], 
      [ 0.82554885, 0.14884613, -0.15211434], 
      [-0.88119527, 0.11663335, -0.31522598], 
      [-0.14830668, 1.26906561, -0.49686309]]) 

W = array([[ 1.01133857, 0.91962164, 1.01897898], 
      [ 1.09467975, 0.91191381, 0.90150961], 
      [ 0.96334661, 1.00759046, 1.01638749], 
      [ 1.04827001, 0.95861001, 1.01248969], 
      [ 0.91572506, 1.09388218, 1.03616461], 
      [ 0.9418178 , 1.07210878, 0.90431879], 
      [ 1.0093642 , 1.00408472, 1.07570172], 
      [ 0.92203074, 1.00022631, 1.09705542], 
      [ 0.99775598, 0.01000000, 0.94996408], 
      [ 1.02996389, 1.01224303, 1.00331465]]) 

Answer 1

Vous pouvez utiliser la matrice de multiplication très efficace avec np.dot -

QW = Q*W 
C = QW.T.dot(QW)/W.T.dot(W) 

Answer 2

Après un peu plus d'expérimentation, je trouve que les travaux suivants:

A = np.einsum('ki,kj->ij', Q*W, Q*W) 
B = np.einsum('ki,kj->ij', W, W) 
C = A/B