Je ne sais toujours pas comment évaluer une tâche pour le marquage, y compris le marquage POS ou tout autre marquage de séquence. Je ne sais surtout pas comment calculer la précision, le rappel et le score F1 de ces tâches. J'ai alors trouvé un script nommé conlleval.perl et nous pouvons l'utiliser directement pour l'évaluation. Mais je ne connais pas le langage perl et je ne comprends toujours pas comment P, R, F1 sont calculés dans les tâches de marquage. Est-ce que quelqu'un peut me le dire?Comment comprendre le script conlleval.perl pour évaluer le marquage?
1
A
Répondre
0
Il y a une définition simple dans un livre Comprendre la langue parlée: Systèmes pour extraire des informations sémantiques du discours (par Gokhan Tur, Renato De Mori), chapter 3.1.5 Evaluation metrics:
Précision = Nombre de fentes de référence correctement détectée par SLU/# de fentes totales détectées par SLU
Rappel = nombre de fentes de référence détectés correctement par SLU/# de fentes total des références
F1 = 2 x Précision x Rappel/(Précision + Recall)
Note: pour l'ensemble des mesures conlleval utilise micro averaging.
Y a-t-il une question ici? Peut-être que si vous montriez du code. – xxfelixxx
Il n'y a pas de question dans le code. Je ne sais pas comment comprendre le calcul de la précision, du rappel et du score F1 quand j'évalue le marquage de la séquence B-I-O. – hoestelan
Peut-être un lien au script? Sinon, il n'y a aucun moyen de clarifier les calculs pour vous. – xxfelixxx