textsum ne converge pas

Question

J'ai appris la somme de texte pendant 5 jours avec les paramètres recommandés dans la page du projet. J'utilise un ensemble de formation avec plus de 3 millions de paires article-résumé. Au début running_average_loss diminuer lentement d'environ 9 à environ 4, mais après cela, running_average_loss change de valeur dans une large gamme, il peut être aussi élevé que plus de 5, mais parfois peut être aussi bas que 1. Et je teste le modèle avec un article dans le jeu d'apprentissage, mais la sortie est loin du résumé référencé, je suis confus. Quelqu'un peut-il partager son expérience?

Je suis confondu avec les questions suivantes

1. running_average_loss est inférieure à 10 chaque fois que je cours, est-il normal?
2. Est-il trop ajusté puisque running_average_los s varie dans une large gamme et n'a aucun signe de convergence?
3. Combien de temps faudra-t-il pour former un bon modèle ou quand arrêter la formation? Y a-t-il un signe à indiquer pour arrêter la formation?

Answer 1

Je ne pense pas que vous avez fait assez de formation, car à partir du graphique de son dire 50K étapes et même avec la taille des lots de 64 au maximum réseau vu 50K * 64 échantillons. C'est beaucoup plus petit que 3 millions d'échantillons que vous avez. Le réseau n'a même pas vu tous les échantillons une fois. Vous avez donc besoin de plusieurs itérations à travers les mêmes échantillons pour mieux converger.

La perte 1 sera une perte raisonnablement bonne je crois, si vous considérez la perte moyenne. Je pense que votre réseau fonctionne avec une perte de softmax échantillonnée. Je suis intéressé de savoir où vous avez obtenu 3 millions d'échantillons.