Utilisation du module stats.kstest de Scipy pour les tests d'adéquation

Question

J'ai lu les articles existants sur ce module (et les documents Scipy), mais je ne comprends toujours pas comment utiliser le module kstest de Scipy pour faire du bien test d'ajustement lorsque vous disposez d'un ensemble de données et d'une fonction appelable.

Le PDF Je veux tester mes données contre ne fait pas partie des distributions standard de scipy.stats, donc je ne peux pas appeler simplement utiliser quelque chose comme:

kstest(mydata,'norm') 

où mydata est un tableau Numpy . Au lieu de cela, je veux faire quelque chose comme:

kstest(mydata,myfunc) 

où 'myfunc' est la fonction appelable. Cela ne fonctionne pas - ce qui n'est pas surprenant, car kstest ne sait pas quelle est l'abscisse pour le tableau 'mydata' afin de générer les fréquences théoriques correspondantes en utilisant 'myfunc'. Supposons que les fréquences de 'mydata' correspondent aux valeurs de la variable aléatoire est le tableau 'abscisse'. Alors j'ai pensé que je pourrais peut-être utiliser stats.ks_2samp:

ks_2samp(mydata,myfunc(abscissa)) 

mais je ne sais pas si c'est statistiquement valide. (Sidenote: kstest et ks_2samp s'attendent-ils à ce que les réseaux de fréquences soient normalisés, ou veulent-ils les fréquences absolues?)

Dans tous les cas, étant donné que le test KS à un échantillon est censé être utilisé pour la qualité de test d'ajustement, je dois supposer qu'il y a un moyen de le faire avec kstest directement. Comment est-ce que tu fais ça?

Answer 1

Certains exemples peuvent faire la lumière sur la façon d'utiliser scipy.stats.kstest. Permet d'abord d'établir certaines données de test, par ex. normalement distribués avec une moyenne 5 et écart-type 10:

>>> data = scipy.stats.norm.rvs(loc=5, scale=10, size=(1000,)) 

Pour exécuter kstest sur ces données que nous avons besoin d'une fonction f(x) qui prend un tableau de quantiles et renvoie la valeur correspondante de la fonction de densité cumulative. Si nous réutilisons la fonction cdf de scipy.stats.norm nous pourrions faire:

>>> scipy.stats.kstest(data, lambda x: scipy.stats.norm.cdf(x, loc=5, scale=10)) 
(0.019340993719575206, 0.84853828416694665) 

ci-dessus devrait être lancée avec la forme plus pratique:

>>> scipy.stats.kstest(data, 'norm', args=(5, 10)) 
(0.019340993719575206, 0.84853828416694665) 

Si nous avons uniformément données distribuées, il est facile de construire la fonction de répartition à la main:

>>> data = np.random.rand(1000) 
>>> scipy.stats.kstest(data, lambda x: x) 
(0.019145675289412523, 0.85699937276355065) 

Answer 2

que pour ks_2samp, il teste l'hypothèse nulle que les deux échantillons sont prélevés de même distribution de probabilité.

vous pouvez le faire par exemple:

>>> from scipy.stats import ks_2samp 
>>> import numpy as np 
>>> 

où x, y sont deux instances de numpy.array:

>>> ks_2samp(x, y) 
(0.022999999999999909, 0.95189016804849658) 

première valeur est la statistique de test, et la deuxième valeur est la valeur p. si la valeur p est inférieure à 95 (pour un niveau de signification de 5%), cela signifie que vous ne pouvez pas rejeter l'hypothèse nulle selon laquelle les deux distributions d'échantillons sont identiques.