Spark MLlib - Formation filtrage collaboratif avec rétroaction implicite - avertissements étranges

Question

Je suis en train de construire le modèle Collaborative filtering sur les commandes de l'utilisateur et d'obtenir des résultats utiles avec ALS.train() mais je voudrais essayer ALS.trianImplicit() mais trianImplicit() est prédis seulement des zéros sur le même ensemble de données qui ASL.train() Je recevais des prédictions correctes.

Lorsque vous utilisez ALS.trianImplicit() pour former le modèle que je recevais les avertissements suivants:

15/09/01 15:39:29 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS 
15/09/01 15:39:29 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS 

Cela signifie-t qu'il était une erreur et non mises en garde et le modèle ne pouvait pas former quoi que ce soit à cause des bibliothèques manquantes?

Answer 1

Comme @eliasah a souligné ces avertissements un non-critique, mais peut ralentir les performances. L'utilisation de BLAS natif peut entraîner une amélioration considérable des performances. Il y a quelques instructions sur https://github.com/amplab/ml-matrix/blob/master/EC2.md sur comment configurer Spark + BLAS sur EC2.

Si votre cluster est en cours d'exécution Ubuntu, vous pouvez installer les packages suivants:

libblas3gf 
libblas-doc 
libblas-dev 

liblapack3gf 
liblapack-doc 
liblapack-dev 

Cependant, certaines personnes ont signalé une meilleure performance de l'utilisation http://www.openblas.net/ vous pouvez essayer d'installer que sur vos travailleurs. Vous devrez également inclure com.github.fommil.netlib avec votre application (Spark utilise actuellement la version 1.1.2).