Quelle est la fiabilité du réseau de neurones en termes de problèmes de sécurité? Toute distribution de sortie?

Question

Je travaille pour l'industrie automobile, où la fiabilité de l'inférence de la machine est la question cruciale en raison de poursuites judiciaires tout cela. Le réseau de neurones (NN) est très populaire maintenant, mais qu'en est-il de la fiabilité? Ils disent, il a été testé sur 1000 données de tests. Eh bien ce n'est pas assez, que diriez-vous de 10000 ou plus? Que pouvez-vous dire à propos des données non testées ou invisibles?

Je ne veux pas seulement soulever un problème de manque de données, mais aussi sa nature de boîte noire de NN. J'ai trouvé le processus gaussien "plus sûr" puisque la sortie peut être dérivée comme une sorte de distribution (bien que cela dépend du noyau que vous choisissez), et au moins je sais que les données invisibles retourneront la même prédiction que les données similaires. Qu'en est-il de NN? une belle distribution de sortie? Puis-je supposer sans risque d'obtenir un résultat continu de NN en tant que données d'entrée modifiées? Merci.

sujet similaire How to prove the reliability of a predictive model to executives?

Answer 1

Il est difficile de dire comment un réseau de neurones se produira sur des données invisibles. Comme vous l'avez dit, un réseau de neurones est une boîte noire, mais cela ne le rend pas toujours peu fiable.

Pour qu'un réseau de neurones voit vraiment les modèles et ne fasse que sur-équiper les données, vous devez implémenter le décrochage. Cela empêche le surajustement et stimule la détection de (grands) motifs dans l'ensemble de données. Deuxièmement, vous devez implémenter un test . Cela vous indiquera dans quelle mesure un réseau neuronal fonctionne sur des données pour lesquelles il n'est pas formé. Donc, si vous avez 1000 échantillons, vous utilisez 800 pour la formation et 200 pour les tests. Après avoir formé le réseau avec ces 800 échantillons, vous testez le réseau sur les 200 échantillons non vus.

En outre, vous pouvez générer certains échantillons: faire des échantillons à partir de laquelle vous attendez une certaine sortie.

Mais oui, il est difficile de prédire comment le réseau de neurones fonctionnera sur 10000 autres échantillons. Par exemple, vous ne savez pas si ces 10000 échantillons partagent le même modèle avec les 1000 petits échantillons sur lesquels vous les avez formés.