Implémentation SVM, les scikits apprennent à réduire le temps d'exécution, le plus rapide svm

Question

Je travaille avec scikit-learn sur la construction de modèles prédictifs avec les SVM. J'ai un ensemble de données avec environ 5000 exemples et environ 700 fonctionnalités. Je suis 5 fois la validation croisée avec une recherche de grille 18 x 17 sur mon ensemble d'entraînement, puis en utilisant les paramètres optimaux pour mon ensemble de test. les passages prennent beaucoup plus de temps que prévu et j'ai remarqué ce qui suit:

1) Certaines itérations d'entraînement SVM semblent prendre seulement une minute, tandis que d'autres peuvent durer jusqu'à 15 minutes. Est-ce prévu avec des données et des paramètres différents (C et gamma, j'utilise le noyau rbf)?

2) J'essaie d'utiliser python 64 bits sur Windows pour profiter de la mémoire supplémentaire, mais tous mes processus python semblent atteindre 1 Go dans mon gestionnaire de tâches, je ne sais pas si cela a quelque chose à voir avec le temps d'exécution.

3) J'utilisais 32 bits avant et fonctionnant sur à peu près le même jeu de données, et je me souviens (même si je n'ai pas économisé les résultats), il était un peu plus rapide. J'ai utilisé une version tierce de scikit-learn pour les fenêtres 64 bits, donc je ne sais pas s'il vaut mieux essayer ça sur python 32 bits? (source http://www.lfd.uci.edu/~gohlke/pythonlibs/)

Toutes les suggestions sur la façon dont je peux réduire le temps d'exécution seraient grandement appréciées. Je pense que la réduction de l'espace de recherche de ma recherche de grille sera utile, mais comme je ne suis pas sûr de la gamme de paramètres optimaux, j'aimerais la garder aussi grande que possible. S'il y a aussi des implémentations SVM plus rapides, faites-le moi savoir, et je pourrais essayer.

Addendum: Je suis retourné et essayé à nouveau la version 32 bits. C'est beaucoup plus rapide pour une raison quelconque. Il a fallu environ 3 heures pour arriver à l'endroit où la version 64 bits est arrivé en 16 heures. Pourquoi y aurait-il une telle différence?

Answer 1

1) Ceci est attendu: un petit gamma et une petite régularisation sélectionneront plus de vecteurs de support, d'où le modèle sera plus complexe et plus long à ajuster.

2) Il y a un argument cache_size qui sera transmis à la bibliothèque libsvm sous-jacente. Toutefois, en fonction de vos données, libsvm peut ou non utiliser tout le cache disponible.

3) Aucune idée. Si vous exécutez des expériences plus ponctuelles sur les deux plates-formes, veuillez rapporter vos résultats sur les listes de diffusion du projet. Cela pourrait mériter une enquête plus approfondie.

Vérifiez d'abord que vous avez normalisé vos fonctions (par exemple, supprimez la fonction de moyenne et d'échelle par des variances si vos données sont un tableau numérique dense). Pour les données éparses, il suffit de mettre à l'échelle les fonctions (ou d'utiliser une transformation TF-IDF pour les données textuelles par exemple). Voir le preprocessing section de la doc.

Ensuite, vous devriez commencer par une grille grossière (avec de grandes étapes logarithmiques), disons une grille 3x3, puis vous concentrer sur les zones intéressantes en réexécutant une grille 3x3 sur cette zone. En général, la grille des paramètres SVM Cx gamma est quite smooth.

Answer 2

SGD est très rapide, mais 1) linéaire, et non RBF, 2) paramètres alpha eta0 ... que je ne sais pas comment faire varier: plus à l'expert, O. Grisel.

32 vs 64 bits python (? Quel matériel, quelle version py), Je ne sais pas, mais cela pourrait être utile d'une question générale sur le SO - il doit y avoir des suites de référence. Pouvez-vous voir l'utilisation du processeur> 90%, compter les garbage collection?

Answer 3

Si vous pouvez vous permettre cela, envisager d'utiliser LinearSVC: SVCs basée libsvm-ont la complexité de la formation entre O(n_features * n_samples^2) et O(n_features * n_samples^3), tandis que LinearSVC (basé sur liblinear) a O(n_features*n_samples) la complexité de la formation et O(n_features) complexité de test.