2017-04-11 9 views
1

Je ne sais toujours pas comment évaluer une tâche pour le marquage, y compris le marquage POS ou tout autre marquage de séquence. Je ne sais surtout pas comment calculer la précision, le rappel et le score F1 de ces tâches. J'ai alors trouvé un script nommé conlleval.perl et nous pouvons l'utiliser directement pour l'évaluation. Mais je ne connais pas le langage perl et je ne comprends toujours pas comment P, R, F1 sont calculés dans les tâches de marquage. Est-ce que quelqu'un peut me le dire?Comment comprendre le script conlleval.perl pour évaluer le marquage?

+0

Y a-t-il une question ici? Peut-être que si vous montriez du code. – xxfelixxx

+0

Il n'y a pas de question dans le code. Je ne sais pas comment comprendre le calcul de la précision, du rappel et du score F1 quand j'évalue le marquage de la séquence B-I-O. – hoestelan

+0

Peut-être un lien au script? Sinon, il n'y a aucun moyen de clarifier les calculs pour vous. – xxfelixxx

Répondre

0

Il y a une définition simple dans un livre Comprendre la langue parlée: Systèmes pour extraire des informations sémantiques du discours (par Gokhan Tur, Renato De Mori), chapter 3.1.5 Evaluation metrics:

Précision = Nombre de fentes de référence correctement détectée par SLU/# de fentes totales détectées par SLU

Rappel = nombre de fentes de référence détectés correctement par SLU/# de fentes total des références

F1 = 2 x Précision x Rappel/(Précision + Recall)

Note: pour l'ensemble des mesures conlleval utilise micro averaging.