Comment obtenir les probabilités de classification de MultilayerPerceptronClassifier?

Question

Cela semble plus lié à: How to get the probability per instance in classifications models in spark.mllib

Je fais une tâche de classification avec spark ml, en construisant un classificateur MultilayerPerceptron. Une fois que je construis un modèle, je peux obtenir une classe prédite avec un vecteur d'entrée, mais je ne peux pas obtenir la probabilité pour chaque classe de sortie. La liste ci-dessus indique que NaiveBayesModel prend en charge cette fonctionnalité à partir de Spark 1.5.0 (using a predictProbabilities method). Je voudrais obtenir à cette fonctionnalité pour le MLPC. Y a-t-il un moyen de le pirater pour obtenir mes probabilités? Sera-t-il inclus dans 1.6.2?

Answer 1

Si vous jetez un coup d'oeil à this line in the MLPC source code, vous pouvez voir que le MLPC fonctionne à partir d'un TopologyModel sous-jacent qui fournit la méthodeque je cherche. Le MLPC décode le Vector résultant en une seule étiquette.

Je suis en mesure d'utiliser le modèle MLPC formé pour créer une nouvelle TopologyModel en utilisant ses poids:

MultilayerPerceptronClassifier trainer = new MultilayerPerceptronClassifier()...; 
MultilayerPerceptronClassificationModel model = trainer.fit(trainingData); 
TopologyModel topoModel = FeedForwardTopology.multiLayerPerceptron(model.layers(), true).getInstance(model.weights()); 

Answer 2

Je pense que la réponse est Non

Le MultilayerPerceptronClassifier n'est pas probabiliste. Lorsque les poids (et tout biais) sont définis après l'entraînement, la classification pour une entrée donnée sera toujours la même. Ce que vous demandez vraiment, je pense, c'est "si je devais ajuster les poids par certaines perturbations aléatoires d'une ampleur donnée, quelle serait la probabilité que la classification soit la même que sans les réglages?"

Vous pouvez effectuer un calcul de probabilité ad hoc en recyclant le perceptron (avec différentes conditions de départ choisies au hasard) et avoir une idée de la probabilité de diverses classifications.

Mais je ne pense pas que cela fait vraiment partie du comportement attendu d'un MLPC.