C# Reconnaissance vocale - Est-ce ce que l'utilisateur a dit?

Question

J'ai besoin d'écrire une application qui utilise un moteur de reconnaissance vocale - soit le vista intégré, soit un tiers - qui peut afficher un mot ou une phrase, et reconnaître quand l'utilisateur le lit (ou une approximation de celui-ci). Je dois également pouvoir basculer rapidement entre les langues, sans changer la langue du système d'exploitation.

Les utilisateurs utiliseront le système pendant de très courtes périodes. L'application doit fonctionner sans l'obligation de former d'abord le moteur de reconnaissance aux voix des utilisateurs.

Ce serait également fantastique si cela pouvait fonctionner sur Windows XP ou les versions inférieures de Windows Vista.

Facultativement, le système doit pouvoir lire les informations sur l'écran à l'utilisateur, dans la langue sélectionnée par l'utilisateur. Je peux contourner cette spécification en utilisant des voix-off pré-enregistrées, mais la méthode préférée serait d'utiliser un moteur de synthèse vocale.

Quelqu'un peut-il recommander quelque chose pour moi?

Answer 1

Si le moteur est ce que vous demandez au sujet alors j'ai trouvé (méfiez-vous, je suis juste la liste, je n'ai pas essayé l'un d'entre eux):

Lumenvox engine

vous avez également la SAPI SDK de Microsoft lui-même, je n'ai essayé pour le texte à la parole, mais selon sa définition:

le SDK inclut également les moteurs librement du texte de synthèse vocale (TTS) distribuable (en chinois anglais américain et simplifié) et moteurs de reconnaissance vocale (SR) (en anglais américain, Simp chinois simplifié et japonais).

Answer 2

Dragon Naturally Speaking SDK pourrait être utile de regarder. This project semblait intéressant.

Je n'ai pas à jouer avec l'un d'entre eux.

Answer 3

Découvrez les nouvelles bibliothèques de classe vocale dans .NET 3,5

http://msdn.microsoft.com/en-us/library/system.speech.recognition.speechrecognizer.aspx

de documentation générale pour SR et TTS

http://msdn.microsoft.com/en-us/library/system.speech.recognition.aspx http://msdn.microsoft.com/en-us/library/system.speech.synthesis.aspx

Answer 4

La synthèse vocale est disponible avec le Speech API. Personnellement, j'aurais probablement besoin de Vista et utiliser les interfaces managées pour System.Speech.SpeechRecognition et System.Speech.Synthesis.TtsEngine, mais un P/Invoke devrait être possible dans les API non managées si vous avez vraiment besoin du support de XP.

Answer 5

Soyez averti que vous n'obtiendrez pas de bons résultats si vous n'avez pas besoin d'entraînement en premier. La reconnaissance de la parole est une application statistique de la phonétique, un domaine qui est assez franc sur le fait qu'il y a tellement de variations dans le signal que c'est presque un miracle que tout le monde puisse comprendre ce que quelqu'un d'autre dit. Un moteur de reconnaissance vocale prêt à l'emploi tendra vraisemblablement vers un accent plus général de l'anglais, mais échouera lamentablement à quelque chose de légèrement différent.

C'est pourquoi l'entraînement est si important. Nous pouvons bien faire en surimposant avec facilité, surtout si nous réduisons l'espace problème. Mais créer une solution d'apprentissage automatique extensible? Là réside toujours le frottement.

Cela étant dit, considérons Sphinx-4. Il est une solution impromptu écrit en Java disponible à http://cmusphinx.sourceforge.net/sphinx4/

Answer 6

Une question similaire a été posée sur Joel on Software un certain temps. Vous pouvez utiliser l'espace de noms System.Speech.Recognition pour ce faire ... avec certaines limitations. Ajoutez System.Speech (devrait être dans le GAC) à votre projet. Voici quelques exemples de code pour une application WinForms:

public partial class Form1 : Form 
{ 
    SpeechRecognizer rec = new SpeechRecognizer(); 

    public Form1() 
    { 
    InitializeComponent(); 
    rec.SpeechRecognized += rec_SpeechRecognized; 
    } 

    void rec_SpeechRecognized(object sender, SpeechRecognizedEventArgs e) 
    { 
    lblLetter.Text = e.Result.Text; 
    } 

    void Form1_Load(object sender, EventArgs e) 
    { 
    var c = new Choices(); 
    for (var i = 0; i <= 100; i++) 
     c.Add(i.ToString()); 
    var gb = new GrammarBuilder(c); 
    var g = new Grammar(gb); 
    rec.LoadGrammar(g); 
    rec.Enabled = true; 
    } 

On reconnaît les nombres de 1 à 100, et affiche le numéro résultant de la forme. Vous aurez besoin d'un formulaire avec une étiquette appelée lblLetter dessus.

System.Speech ne fonctionne qu'avec une liste prédéfinie de mots ou de phrases; ce n'est pas exactement NaturallySpeaking, que ce soit en matière de polyvalence ou de qualité de reconnaissance. Mais vous n'avez pas besoin de le former à la voix de l'utilisateur, et si vous n'avez que quelques petites choses que l'utilisateur peut dire, cela fonctionne raisonnablement bien. Et c'est gratuit! (si vous avez Visual Studio)

Cela ne fonctionnera pas bien si vous utilisez des phrases très courtes; J'ai fait un programme pour que mon enfant dise des lettres de l'alphabet et les voit à l'écran, mais ça ne marche pas très bien puisque beaucoup de lettres se ressemblent (surtout de la bouche d'un enfant de quatre ans). En ce qui concerne les options plus flexibles ... eh bien, il y a le NaturallySpeaking mentionné ci-dessus, qui a un SDK. Mais vous devez contacter les ventes pour obtenir n'importe quel type d'accès, et aucun prix n'est répertorié, donc il apparaît comme l'un de ceux "Combien cela coûte-t-il? genre de choses. Il ne semble pas y avoir d'option "télécharger et jouer avec". Pour ce qui est de la synthèse vocale, System.Speech.Synthesis est encore plus simple que la reconnaissance vocale: j'ai écrit un petit programme pour me laisser taper, appuyer sur Entrée et lire le texte à haute voix. vieux se hypnotisé par elle :) ("papa, je veux Tawk à da Wobot.")

Answer 7

[note: J'étais le responsable du développement de l'API de reconnaissance vocale gérée dans .NET 3.0].

System. La parole fait partie de .NET 3.0, elle est donc disponible sur Vista et XP. Dans Vista, vous avez l'avantage supplémentaire d'avoir un moteur de reconnaissance vocale pré-installé par le système d'exploitation. Sur XP, vous avez le choix entre: utiliser le SDK SAPI 5.1 avec un moteur très ancien (mais cela pourrait marcher assez bien pour votre scénario de commande et de contrôle), installez Office 2003 qui installe une version plus récente du logiciel de reconnaissance. Il existe également quelques moteurs de reconnaissance de la parole compatibles SAPI 5.

Si vous devez changer de langue, vous devez utiliser la classe System.Speech.Recognition.SpeechRecognitionEngine qui vous permet de choisir le moteur SR pour la langue que vous devez prendre en charge. Notez que les moteurs sont définis par un ensemble de langues qu'ils prennent en charge (ils utilisent peut-être le même fichier binaire, en remplaçant uniquement les fichiers de données pour prendre en charge d'autres langues).

Donnez votre avis si vous avez besoin d'en savoir plus.

Philipp

Answer 8

Essayez Microsoft Speech Server, que je pense est maintenant partie de Office Communication Server 2007. Il contient un moteur SR/TTS, une API C# et des outils qui s'intègrent à Visual Studio.

Answer 9

Avant ce module de référence « Discours »

Constaté que l'exemple de code publié par Kyralessa le 22 octobre ne fonctionne pas pour moi, mais une version légèrement révisée a fait. Lorsque vous ajoutez des chaînes dans l'objet Choices, utilisez des mots anglais en texte intégral et non des nombres. Semble que le moteur de reconnaissance vocale MS ne peut pas reconnaître les nombres par eux-mêmes.

J'ai marqué ces modifications avec quelques commentaires ajoutés à l'exemple précédent.

public partial class Form1 : Form 
{ 
    SpeechRecognizer rec = new SpeechRecognizer(); 

    public Form1() 
    { 
    InitializeComponent(); 
    rec.SpeechRecognized += rec_SpeechRecognized; 
    } 

    void rec_SpeechRecognized(object sender, SpeechRecognizedEventArgs e) 
    { 
    lblLetter.Text = e.Result.Text; 
    } 

    void Form1_Load(object sender, EventArgs e) 
    { 
    var c = new Choices(); 

    // Doens't work must use English words to add to Choices and 
    // populate grammar. 
    // 
    //for (var i = 0; i <= 100; i++) 
    // c.Add(i.ToString()); 

    c.Add("one"); 
    c.Add("two"); 
    c.Add("three"); 
    c.Add("four"); 
    // etc... 

    var gb = new GrammarBuilder(c); 
    var g = new Grammar(gb); 
    rec.LoadGrammar(g); 
    rec.Enabled = true; 
    } 

Answer 10

Ceci est l'article du magazine MSDN qui a d'abord abordé l'utilisation des API System.Speech pour Vista. Certains d'entre eux sont obsolètes car l'API a changé entre la version bêta (lorsque l'article a été écrit) et la version de Vista, mais c'est toujours l'une des meilleures ressources que j'ai trouvées et couvre une bonne introduction à l'espace de noms System.Speech . Voir http://msdn.microsoft.com/en-us/magazine/cc163663.aspx

Answer 11

Eh bien, cette question a déjà beaucoup de bonnes réponses, mais je pense qu'il est important de mettre à jour avec quelques informations de la documentation 2016 les réponses de Rob Segal et Philipp Schmid pointant vers ce bel exemple de code:

https://msdn.microsoft.com/en-us/library/office/system.speech.recognition.speechrecognitionengine.aspx

Il n'a pas utilisé le logiciel de reconnaissance partagé de Windows (Le petit Windows Mic qui apparaît au milieu de l'écran), il utilise une belle application SpeechRecognitionEngine qui n'a pas besoin de repères visuels. L'interface utilisateur est complètement à votre contrôle.