Quantification de non-déterminisme dans des expériences CS

Question

Heyall,

Je travaille sur ma thèse de maîtrise ès sciences en informatique. Plus précisément, je fais des recherches sur les effets de l'ajustement des hyperparamètres des modèles sémantiques distributifs lorsqu'ils sont utilisés comme caractéristiques dans les analyseurs syntaxiques de dépendances. J'utilise word2vec, un logiciel d'intégration de mots basé sur le réseau neuronal non déterministe. Afin de pouvoir valider mes résultats, je dois quantifier le degré de non-déterminisme dans mes modèles. Je pense cependant que cette question peut être posée à un niveau plus abstrait - quel test puis-je utiliser pour quantifier le degré de non-déterminisme dans un modèle statistique? Disons, par exemple, que je reçois les résultats suivants lors de l'exécution de la même expérience cinq fois:

89.5, 89.7, 89.4, 89.5, 89.9 

Comment puis-je déterminer « comment la non-déterministe » mon système est et l'utiliser comme une base pour accepter ou rejeter les résultats de futures expériences?

Answer 1

Si par test vous entendez un test de signification ou d'hypothèse, ces tests sont inutiles et vous pouvez les ignorer.

La méthode appropriée pour quantifier l'incertitude dans l'analyse du langage ou toute autre chose est d'exprimer l'incertitude comme probabilité. Dans le contexte de l'analyse du langage, cela signifie construire une distribution de probabilité sur les manières possibles d'analyser une phrase donnée.

Si vous devez prendre des décisions, vous devez fournir des données supplémentaires exprimant les préférences par rapport aux résultats (fonctions d'utilitaire). La probabilité et l'utilité sont combinées via l'hypothèse dite d'utilité espérée: la meilleure action est celle qui maximise l'utilité espérée.

Une introduction utile à ces concepts, en utilisant l'exemple de nombreux champs, est "Making Hard Decisions" par Robert Clemen. Plus spécifique à votre problème, une recherche sur le Web pour l'analyse grammaticale probabiliste se traduit par de nombreux résultats.

Vous pourriez être intéressé par cette question sur stats.stackexchange.com. Il pourrait déjà y avoir des réponses à des questions connexes.