1

La vérité du terrain que nous savons est utilisé pour re-former le CNL ou R & R.approche resitue formation pour NLC ou R & R

La vérité du terrain est une donnée de formation au niveau de la question.

par exemple.

« Comment chaud est-il aujourd'hui?, La température »

La question « comment chaud est-il aujourd'hui? » est donc classé dans la classe "température".

Une fois l'application terminée, de vraies questions d'utilisateur seront reçues. Certains sont identiques (c'est-à-dire que la question des vrais utilisateurs est la même que celle de la vérité au sol), certains sont des termes similaires, d'autres sont de nouvelles questions. Supposons que l'application possède une boucle de rétroaction pour savoir si la classe (pour NLC) ou la réponse (pour R & R) est pertinente ou non.

About the new questions, the approach seems to just add the them to the ground truth, which is then used to re-train the NLC/R&R? 
For the questions with similar terms, do we just add them like the new questions, or do we just ignore them, given that similar terms can also be scored well even similar terms are not used to train the classifier? 
In the case of the same questions, there seems nothing to do on the ground truth for NLC, however, to the R&R, are we just increase or decrease 1 for the relevance label in the ground truth? 

La question principale ici est, en bref, à ce que l'approche re-formation est pour NLC & R & R ...

Répondre

4

Une fois que votre demande est passée en direct, vous devriez revoir périodiquement vos commentaires connectez-vous pour les opportunités d'amélioration. Pour NLC, si des textes sont mal classés, vous pouvez ajouter ces textes à l'ensemble d'apprentissage et les recycler afin d'améliorer votre classificateur.

Il n'est pas nécessaire de capturer toutes les variantes imaginables d'une classe, tant que votre classificateur renvoie des réponses acceptables.

Vous pouvez utiliser les exemples supplémentaires de classes de votre journal pour assembler un ensemble de textes de test qui ne figurent pas dans votre ensemble d'apprentissage. L'exécution de cet ensemble de tests lorsque vous effectuez des modifications vous permet de déterminer si une modification a provoqué ou non une régression par inadvertance. Vous pouvez exécuter ce test en appelant le classificateur à l'aide d'un client REST ou via le toolkit Beta Natural Language Classifier.

0

Une approche solide de recyclage devrait recevoir des commentaires des utilisateurs en direct. Votre test et la validation de tout NLC recyclé (ou R & R d'ailleurs) devraient être guidés par certains des principes que James Ravenscroft a décrits ici (https://brainsteam.co.uk/2016/03/29/cognitive-quality-assurance-an-introduction/).

The answer par @davidgeorgeuk est correct, mais ne parvient pas à étendre la pensée à la conclusion que vous recherchez. J'aurais un ensemble mensuel d'activités où je passerais par les journaux d'application où les utilisateurs REAL indiquent que vous ne classifiez pas les choses correctement, et incorporent également de nouvelles classes à votre classificateur. Je voudrais réorganiser une deuxième instance de NLC avec les nouvelles données, et passer par les scénarios de test décrits ci-dessus. Une fois que vous êtes satisfait d'avoir AMÉLIORÉ votre modèle, je passerais mon code à la nouvelle instance NLC, et l'ancienne instance NLC serait votre instance de "sauvegarde", et celle que vous utiliseriez pour cet exercice le mois prochain. Il s'agit simplement d'appliquer une approche DevOps simple à la gestion de vos instances NLC. Vous pouvez étendre ceci à un développement, AQ, scénario de production si vous le souhaitez.