Est-il possible de faire une classification par pixel où chaque pixel a plusieurs étiquettes?

Question

En utilisant un CNN, je voudrais prendre une image où chaque pixel est annoté avec 3 étiquettes. Quelque chose comme ceci:

0,1 (not object/object) 
0,1,2,3... (Class of object, eg cat,dog) 
0,1,2,3...(Object Number of given class eg, 2nd instance of cat) 

En d'autres termes donné une image de plusieurs chats et chiens CNN génèrerait qu'un pixel donné est d'un objet, cet objet est un chat et il appartient à la deuxième instance de chat l'image (en comptant à partir du coin supérieur gauche par exemple). Est-ce possible de faire avec un seul CNN ou devrais-je combiner plusieurs CNN pour obtenir ce résultat?

EDIT: Je dois noter que je comprends que je dois d'abord former le CNN avec des images annotées où chaque pixel a déjà 2 ou 3 étiquettes comme ci-dessus.

Answer 1

Vous devriez vous pencher sur les réseaux neuronaux entièrement convolutionnels. Fondamentalement, ce sont des CNN sans couche Fully Connected, ils contiennent à la place des couches de déconvolution. Ainsi, étant donné une image de taille NxN, il produit une image de taille NxN, chaque pixel ayant une étiquette pour lui-même, qui a une application directe dans la segmentation sémantique.