utilisation de la structure de données d'algorithmes d'apprentissage automatique pour stocker des informations (mémoire)

Question

DISCLAIMER: Je suis assez nouveau au champ d'apprentissage de la machine, alors pardonnez-moi si mes questions sont en quelque sorte naïf ... Je l'ai déjà cherché sur Internet sur ce sujet et ne trouve rien d'intéressant alors je demande ici ....

Je me demande si un algorithme ML peut être considéré comme un moyen de stocker des données? Il existe des programmes qui "contiennent" des milliers de décimales de PI (par exemple https://www.quora.com/What-is-the-smallest-C-program-generating-pi-without-using-the-math-library): d'une certaine manière c'est une version "compressée" des premiers milliers de décimaux de PI, non?

De la même manière ML (par exemple Deep Neural Net) semble stocker des informations. Pouvons-nous mesurer le nombre de bits stockés dans un réseau neuronal profond? Pouvons-nous utiliser la structure de données des algorithmes ML pour compresser les informations et les récupérer plus tard (même si elles ne sont pas exactes à 100%)? ...

Y a-t-il des papiers (pas trop techniques) qui traitent de ces possibilités?

Merci :)

Answer 1

Dans le lien que vous postet l'ensemble des informations (infinitly long) de PI est stocké, non seulement 1000 décimales. Mais il faudrait un temps/des itérations infinis pour tout avoir ;-).

À votre question: Comme vous l'avez mentionné, l'information des apprenants/classificateurs sur les données avec lesquelles vous les formez. Mais leur but n'est pas de récupérer les données d'origine, mais de classifier/évaluer de nouvelles données. Donc, avec précaution, je dis: "Non, nous ne compressons pas simplement les données avec des algorithmes AI et ne pouvons pas récupérer l'original". Un exemple particulier serait l'algorithme K-Nearest-Neighbor. Ici, vous pouvez restaurer les données d'origine, mais c'est parce que ce n'est pas compressé, mais juste sauvegardé sous forme de points de données hyperdimensionnels. La partie la plus difficile de votre question est de savoir comment nous pourrions quantifier l'information stockée dans un classificateur (Deep Neural Network). Si vous avez un Hopfield-Network (qui sauvegarde et reconnaît les images/modèles, mais qui n'est pas un réseau neuronal profond), vous pouvez quantifier l'information en comptant les motifs enregistrés et leur taille. Pour un arbre de décision, vous pouvez compter les règles (et le gain d'information de chaque règle peut-être). Pour un réseau de neurones, vous pouvez prendre le nombre de neurones et peut-être l'entropie de chacun ou de tous. Mais comme vous le voyez, il est vraiment difficile de répondre à une question pour spécifier les informations stockées dans un algorithme d'apprentissage.

J'espère que je pourrais répondre à certaines de vos questions un peu.

Cheers