Meilleure méthode d'évaluation pour la traduction automatique en temps réel?

Question

Je suis conscient qu'il existe de nombreuses méthodes différentes comme BLEU, NIST, METEOR, etc. Elles ont toutes leurs avantages et leurs inconvénients, et leur efficacité diffère d'un corpus à l'autre. Je m'intéresse à la traduction en temps réel, afin que deux personnes puissent avoir une conversation en tapant quelques phrases à la fois et en les faisant traduire immédiatement.

De quel type de corpus cela correspondrait-il? Le texte serait-il considéré trop court pour une évaluation correcte par la plupart des méthodes conventionnelles? Le fait que le locuteur change constamment rendrait-il le contexte plus difficile?

Answer 1

Ce que vous demandez, appartient au domaine de confiance Estimation, de nos jours (au sein de la communauté de traduction automatique (MT)) mieux connu sous estimation de la qualité, à savoir « attribuer un score à la sortie MT sans accès à une traduction de référence ".

Pour l'évaluation MT (en utilisant UEBL, NIST ou METEOR) dont vous avez besoin:

1. Une traduction hypothèse (sortie MT)
2. Une traduction de référence (à partir d'un ensemble de test)

En votre cas (traduction en temps réel), vous n'avez pas (2). Vous devrez donc estimer les performances de votre système, en fonction des caractéristiques de votre phrase source et de la traduction de vos hypothèses, et des connaissances que vous avez sur le processus MT.

Un système de base de 17 caractéristiques est décrite dans:

• Specia, L., Turchi, M., Cancedda, N., Dymetman, M., & Cristianini, N. (2009b). Estimation de la qualité au niveau de la phrase des systèmes de traduction automatique. 13e Conférence de l'Association européenne pour la traduction automatique, (pp. 28-37)
• que vous pouvez trouver here

Estimation de la qualité est un sujet de recherche active. Les avancées les plus récentes peuvent être suivies sur les sites web des Conférences WMT. Recherchez les tâches partagées Estimation de la qualité, par exemple http://www.statmt.org/wmt17/quality-estimation-task.html