Vous obtiendrez une précision de conjecture

Question

J'essaie actuellement de trouver la prononçabilité d'une liste de mots en utilisant this SO question

Le code suivant est la suivante:

import random 
def scramble(s): 
    return "".join(random.sample(s, len(s))) 

words = [w.strip() for w in open('/usr/share/dict/words') if w == w.lower()] 
scrambled = [scramble(w) for w in words] 

X = words+scrambled 
y = ['word']*len(words) + ['unpronounceable']*len(scrambled) 

from sklearn.model_selection import train_test_split 
X_train, X_test, y_train, y_test = train_test_split(X, y) 

from sklearn.pipeline import Pipeline 
from sklearn.feature_extraction.text import CountVectorizer 
from sklearn.naive_bayes import MultinomialNB 

text_clf = Pipeline([ 
    ('vect', CountVectorizer(analyzer='char', ngram_range=(1, 3))), 
    ('clf', MultinomialNB()) 
    ]) 

text_clf = text_clf.fit(X_train, y_train) 
predicted = text_clf.predict(X_test) 

from sklearn import metrics 
print(metrics.classification_report(y_test, predicted)) 

Ce sorties avec des mots au hasard ce

>>> text_clf.predict("scaroly".split()) 
['word'] 

J'ai vérifié le scikit documentation mais je n'arrive toujours pas à trouver comment je l'aurais imprimer le score du mot d'entrée.

Answer 1

Essayez sklearn.pipeline.Pipeline.predict_proba:

>>> text_clf.predict_proba(["scaroly"]) 
array([[ 5.87363027e-04, 9.99412637e-01]]) 

Il retourne la probabilité d'une entrée donnée (dans ce cas, "scaroly") appartient à la classe sur laquelle le modèle on vous entraîne. Il y a donc 99,94% de chance que "scaroly" soit prononçable.

A l'inverse, le mot gallois pour « nouveau » est susceptible imprononçable: « score »

>>> text_clf.predict_proba(["newydd"]) 
array([[ 0.99666533, 0.00333467]])