Détection de valeurs aberrantes de grande dimension en utilisant python

Question

Quelqu'un peut-il me diriger vers une implémentation robuste en python d'algorithmes tels que Robust-PCA ou Angle Based Outlier Detection (ABOD)? J'ai essayé quelques implémentations en python de Robust-PCA, mais elles se sont avérées très gourmandes en mémoire, et le programme s'est écrasé. Mon jeu de données est de 60 000 X 900 flotteurs. R a une implémentation de ABOD, mais je veux m'en tenir à python.

Answer 1

La détection des valeurs aberrantes est très importante, il y a beaucoup de publications de recherche traitant de cela. L'évolutivité de l'algorithme basé sur la densité n'est pas vraiment performante. J'ai utilisé PCA pour réduire la dimension, et la méthode du facteur aberrant local.

Vous pouvez trouver une version bien mis en œuvre pour les données massives à: https://github.com/damjankuznar/pylof/blob/master/lof.py

HTH