calculer la moyenne et la variance avec une itération

Question

J'ai un itérateur de chiffres, par exemple un objet fichier:

f = open("datafile.dat") 

maintenant je veux calculer:

mean = get_mean(f) 
sigma = get_sigma(f, mean) 

Quelle est la meilleure mise en œuvre? Supposons que le fichier soit grand et que je veuille éviter de le lire deux fois.

Answer 1

Si vous voulez itérer une fois, vous pouvez écrire votre fonction somme:

def mysum(l): 
    s2 = 0 
    s = 0 
    for e in l: 
     s += e 
     s2 += e * e 
    return (s, s2) 

et utiliser le résultat dans votre fonction sigma.

Modifier: maintenant, vous pouvez calculer la variance comme ceci: (s2 - (s * s)/N)/N

En tenant compte du commentaire de @Adam Bowen,
garder à l'esprit que si nous utilisons mathématique astuces et transformer les formules originales
nous pouvons dégrader les résultats.

Answer 2

Créer une liste à partir de l'itérable ou utiliser itertools.tee().

Answer 3

Je ne suis pas sûr qu'il y ait beaucoup de choix.

Dans tous les cas, vous devrez itérer deux fois, car l'écart type nécessitera l'information moyenne sur chaque valeur.

Si vous avez assez de mémoire, vous pouvez gagner sur l'accès E/S en chargeant votre fichier en mémoire lors de la première itération mais c'est à propos de cela IMO.

Answer 4

Vous avez deux solutions

1. Faites une liste de votre iterator et en boucle autant de fois que vous le souhaitez. L'inconvénient est que tout sera en mémoire, donc pas adapté si votre fichier est grand. Utilisation simple de itertools.tee aussi vous ne sauvera pas

2. Il n'y a pas d'autre solution, à moins , vous n'avez pas besoin de passer la sortie de get_mean à get_sigma, parce que dans ce cas, ils ne peuvent être en série, mais si vous supprimez cette restriction, vous pouvez exécuter les deux fonctions en utilisant des fils parallèles et utiliser itertools.tee d'avoir deux itérateurs d'un

Answer 5

Je pense que Nick D a la bonne réponse. Si vous souhaitez calculer la moyenne et la variance dans un balayage du fichier (et si vous ne voulez pas vraiment que deux fonctions soient appelées l'une après l'autre), vous pouvez collecter la somme des valeurs et des valeurs. leurs carrés et ils utilisent de telles sommes (avec le nombre d'éléments lus) pour calculer à la fois la moyenne et la variance.

Il y a quelques problèmes de stabilité numérique, mais l'idée dans

http://en.wikipedia.org/wiki/Computational_formula_for_the_variance

est l'ingrédient de base dont vous avez besoin. Quelques détails sont à

http://en.wikipedia.org/wiki/Algorithms_for_calculating_variance

où je vous suggère de lire le « algorithme Naïf ».

Hope this helps,

Massimo

Answer 6

Comme je pense qu'il ya de bons éléments dispersés dans plusieurs réponses, je voudrais résumer:

• Si votre fichier est trop grand pour si vous voulez une bonne précision dans la variance, vous devez lire le fichier deux fois (en un passage, la variance est la différence entre deux grands nombres, ce qui n'est pas précis en raison des limitations du nombre à virgule flottante). Notez que votre système d'exploitation est susceptible de fournir une accélération automatique pour la lecture du second fichier, car il peut encore être en RAM pendant la deuxième passe. Si vous ne tenez pas compte de la précision de la variance, vous pouvez simplement parcourir une fois le fichier et calculer les quantités suggérées par Nick D, avec les détails fournis dans le commentaire d'Adam Bowen.

Answer 7

Vous pouvez calculer les deux en une passe. Voir:

http://www.johndcook.com/standard_deviation.html

Answer 8

Vous pouvez utiliser la carte réduire d'une manière élégante de la mode

échantillon est la liste que vous voulez obtenir sa variance

échantillon = [a, b, c, .. .]

mean = float(reduce(lambda x,y : x+y, sample))/len(sample) 

variance = reduce(lambda x,y: x+y, map(lambda xi: (xi-mean)**2, sample))/ len(sample) 

Dans une ligne succincte du code:

variance = reduce(lambda x,y: x+y, map(lambda xi: (xi-(float(reduce(lambda x,y : x+y, sample))/len(sample)))**2, sample))/ len(sample)