Je comprends les réseaux de neurones avec un nombre quelconque de couches cachées peut approximer la fonction non linéaire, mais peut-il même prédire certaines fonctions spéciales, en particulier faire la même chose que certaines méthodes statistiques? Supposons que la règle statistique pour un problème de classification soit la suivante. Pour un ensemble d'entraînement input X_train et output Y_train, nous calculons la moyenne géométrique (c'est-à-dire le centre de X_train pour une classe particulière) de X_train appartenant à chaque classe particulière. Par conséquent, pour chaque classe, nous avons un centre de X. Maintenant, pour les données de test, nous estimons les étiquettes de classe en trouvant la plus courte distance euclidienne aux centres formés. Par exemple, en supposant que l'entraînement nous donne des centres comme suit: (-1,1,1) -> 0, (1,1,1) -> 1. Alors pour une donnée de test (-0.8,0.5,1), puisqu'elle est plus proche de (-1,1,1), elle devrait appartenir à la classe 0.Can Neural Networks ou tout autre algorithme d'apprentissage supervisé peut-il apprendre des méthodes statistiques spéciales?
Le problème est que je ne sais pas s'il y a un apprentissage supervisé méthode peut faire les stratégies ci-dessus. Je l'appellerais «k-means supervisé». La méthode KNN est similaire mais trouve l'étiquette basée sur N-points les plus proches plutôt que sur la moyenne de tous les points d'entraînement.
Je me demande si les réseaux de neurones peuvent le faire. Ou est-ce que je manque d'autres techniques d'apprentissage qui peuvent réellement faire la stratégie ci-dessus? Que se passe-t-il si la stratégie statistique que j'essaie d'apprendre est plus complexe, par exemple en incluant à la fois le centre et la covariance?