Comment décomposer des données de conversation en paires de (Contexte, Réponse)

Question

J'utilise le modèle Gensim Doc2Vec, en essayant de grouper des parties d'une conversation de support client. Mon objectif est de donner à l'équipe de support des suggestions de réponse automatique.

Figure 1: montre une conversation d'échantillons où la question de l'utilisateur est ANSWERED la ligne suivante de conversation, le rendant facile d'extraire les données:

^{pendant la conversation "bonjour" et « Nos bureaux sont situés à New York » devrait être suggéré}

---

Figure 2: décrit une conversation où les questions et les réponses ne sont pas synchronisés

^{pendant la conversation "bonjour" et "Nos bureaux sont situés à New York" devrait être suggéré}

---

Figure 3: décrit une conversation où le contexte de la réponse est construit au fil du temps, et à des fins de classification (je suppose) certaines des lignes sont redondantes.

^{pendant la conversation "voici un lien pour le compte d'essai gratuit" devrait être proposé}

---

J'ai les données suivantes par ligne de conversation (simplifiée):
qui a écrit la ligne (utilisateur ou agent), le texte, l'horodatage

J'utilise t il code suivant pour former mon modèle:

from gensim.models import Doc2Vec 
from gensim.models.doc2vec import TaggedLineDocument 
import datetime 

print('Creating documents',datetime.datetime.now().time()) 
context = TaggedLineDocument('./test_data/context.csv') 

print('Building model',datetime.datetime.now().time()) 

model = Doc2Vec(context,size = 200, window = 10, min_count = 10, workers=4) 
print('Training...',datetime.datetime.now().time()) 

for epoch in range(10): 
    print('Run number :',epoch) 
    model.train(context) 

model.save('./test_data/model') 

Q: Comment dois-je structurer mes données de formation et ce que heuristiques pourrait être appliquée afin d'extraire des données brutes?

Answer 1

Pour former un modèle, je commencerais par concaténer des séquences consécutives de messages. Ce que je ferais est, en utilisant les horodatages, concaténer les messages sans n'importe quel message entre de l'autre entité.

Par exemple:

Hello 
I have a problem 
I cannot install software X 
             Hi 
             What error do you get? 

serait:

Hello I have a problem I cannot install software X 
             Hi What error do you get? 

Je formerait un modèle avec des phrases dans ce format.Je ferais cela parce que je suppose que les conversations ont un «sujet unique» tout le temps entre les interactions des entités. Et dans ce scénario suggérant un seul message Hi What error do you get? serait totalement bien.

Regardez également les données. Si les questions des utilisateurs sont généralement à condamnation unique (comme dans les exemples), la détection des phrases pourrait être très utile. Dans ce cas, j'appliquerais la détection de phrase sur les chaînes concaténées (nltk pourrait être une option) et n'utiliserait que des questions à une seule personne pour l'entraînement. De cette façon, vous pouvez éviter le problème de désynchronisation lorsque vous entraînez le modèle au prix d'une réduction de la taille de l'ensemble de données.

D'autre part, je voudrais vraiment envisager de commencer avec une méthode très simple. Par exemple, vous pouvez marquer des questions par tf-idf et, pour obtenir une suggestion, vous pouvez prendre la question la plus similaire dans votre jeu de données par rapport à une métrique (par exemple la similarité cosinus) et suggérer la réponse à cette question. Cela fonctionnera très mal dans les phrases avec des informations de contexte (par exemple how do you do it?) mais peut bien fonctionner dans des phrases comme where are you based?. Ma dernière suggestion est parce que traditional methods perform even better than complex NN methods when the dataset is small. Quelle est la taille de votre jeu de données?

Comment vous formez une méthode NN est également crucial, il y a beaucoup d'hyper-paramètres, et les désintéressent correctement peut être difficile, c'est pourquoi avoir une base avec une méthode simple peut vous aider beaucoup à vérifier comment Eh bien, vous faites. Dans cet autre paper ils comparent les différents hyper-paramètres pour doc2vec, peut-être que vous le trouvez utile.

Modifier: une option complètement différente serait de former un modèle pour «lier» des questions avec des réponses. Mais pour cela, vous devez marquer chaque question manuellement avec la réponse correspondante et ensuite former un modèle d'apprentissage supervisé sur ces données. Cela pourrait potentiellement généraliser, mais avec l'effort supplémentaire d'étiqueter manuellement les phrases et pourtant cela ne me semble pas un problème facile.