Réseau unique - sorties multiples, ou plusieurs réseaux - sortie unique?

Question

Lors de la conception d'un réseau de neurones avec plusieurs sorties, existe-t-il une différence conceptuelle (autre que l'efficacité de calcul) entre un seul réseau avec plusieurs sorties et plusieurs réseaux ayant chacun une seule sortie? Bien que les neurones de sortie du même réseau ne s'affectent pas "à la volée", ils affectent l'entraînement, puisque l'erreur de chaque sortie se propage en retour et affecte les poids de la couche cachée, qui à son tour affectent la valeur des autres sorties.

Y a-t-il des problèmes qui sont mieux résolus de toute façon? Intuitivement, je dirais qu'un seul réseau convient mieux aux problèmes où une seule sortie devrait être active à la fois (OCR), où plusieurs réseaux s'adaptent mieux aux problèmes où plusieurs sorties peuvent être actives simultanément (c.-à-d. dans l'entrée, où plusieurs d'entre eux peuvent être présents simultanément). Mais c'est une simple intuition. Est-ce que ça tient pratiquement?

Answer 1

La différence conceptuelle, comme vous l'avez noté vous-même, est la formation conjointe par rapport à l'entraînement séparé. Je pense que les gens trouvent que dans la plupart des cas, la formation conjointe aide si les problèmes sont liés (par exemple si toutes les sorties concernent la reconnaissance des caractères). Donc, je pense que dans les deux problèmes, vous mentionnez que la formation conjointe vous aidera, peu importe si plusieurs sorties peuvent être actives simultanément.

Un cas où l'entraînement articulaire n'aiderait pas et blesserait probablement est lorsque les tâches ne sont pas du tout liées, par ex. si une sortie est sur 'character a' et une autre sur 'sound x'.