2010-01-27 7 views
1

La nécessité d'avoir une partie de l'ensemble de formation utilisé comme données de vérification est simple, mais je ne suis pas vraiment clair sur comment et à quel stade de la formation devrait-il être incopéré? Est-ce à la fin de la formation (après avoir atteint un bon minimum pour les données d'entraînement)? Si oui, que faut-il faire si les données de vérification donnent une grosse erreur?Où vont les données de vérification lors de la formation d'un ANN?

Est-ce tout au long de la formation (continuez de chercher un minimum alors que les erreurs pour les données d'entraînement et de vérification ne sont pas satisfaisantes)? Peu importe ce que j'essaie, il semble que le réseau éprouve des difficultés à apprendre à la fois la formation et la vérification lorsque l'ensemble de vérification atteint une certaine taille (je me souviens avoir lu quelque part que 70% de formation rester coincé à un plus petit), alors qu'il n'a aucun problème à apprendre les mêmes données lorsqu'il est utilisé entièrement pour l'entraînement.

Répondre

1

L'important est que votre ensemble de vérification ne doit pas avoir de retour sur la formation. Vous pouvez tracer le taux d'erreur sur l'ensemble de vérification, mais l'algorithme d'entraînement peut uniquement utiliser le taux d'erreur sur le jeu d'apprentissage pour se corriger.

+0

Je suis partie d'accord. La question est de savoir comment utiliser les données de vérification. – sold

+0

Pour le traçage. Et votre "alors que les erreurs ne sont pas satisfaisantes" aurait créé une boucle de rétroaction. – Tobu

+0

Que puis-je faire si le réseau ne fonctionne pas correctement lors de la vérification? – sold

1

L'ensemble de données de validation est principalement utilisé pour un arrêt précoce.

  1. Former un réseau pour l'époque i sur les données de test. Laisser tester eerror être e (t, i).
  2. Évaluer le réseau sur l'ensemble de validation. Soit cela e (v, i).
  3. Si e (v, i)> e (v, i-1) arrête l'entraînement. Else goto 1.

Il vous permet de voir, lorsque le réseau overfits, ce qui signifie qu'il modélise les spécificités des données de test trop. L'idée est qu'avec un ANN, vous voulez obtenir une bonne généralisation de la formation des données à des données invisibles. L'ensemble de validation vous aide à déterminer quand le point est atteint quand il se spécialise trop sur les données d'entraînement.

+2

parfois comme un critère d'arrêt, nous cherchons X époques consécutives d'aggravation d'erreur sur l'ensemble de validation, au lieu de s'arrêter après le premier (pour éviter la sur-sensibilité) – Amro

+0

Oui, vous êtes là. :) – bayer

Questions connexes