Apprentissage par renforcement profond par rapport à l'apprentissage par renforcement

Question

Quelle est la différence entre deep l'apprentissage par renforcement et l'apprentissage par renforcement? Je sais essentiellement ce qu'est l'apprentissage par renforcement, mais que signifie le terme concret profond dans ce contexte?

Merci beaucoup pour votre aide.

Answer 1

Apprentissage par renforcement

Dans l'apprentissage de renforcement, un agent essaie de trouver la meilleure action donnée un État.

E.g. dans le jeu vidéo Pac-Man, l'état serait le monde du jeu 2D dans lequel vous êtes, les objets environnants (pac-dots, ennemis, murs, etc.), et l'action se déplacerait dans cet espace 2D (monter/descendre/gauche droite). Donc, compte tenu de l'état du monde du jeu, l'agent doit choisir la meilleure action pour maximiser les récompenses. Par l'essai et l'erreur d'apprentissage par renforcement, il accumule des «connaissances» à travers ces paires (state, action), comme dans, il peut dire s'il y aurait une récompense positive ou négative étant donné une paire (state, action). Appelons cette valeur Q(state, action).

Une façon rudimentaire pour stocker cette connaissance serait une table comme ci-dessous

state | action | Q(state, action) 
--------------------------------- 
    ... | ... | ... 

L'espace (state, action) peut être très grand

Cependant, quand le jeu se complique, l'espace de connaissances peut devenir énorme et il ne devient plus possible de stocker tous les (state, action) paires. Si vous y pensez en termes bruts, même un état légèrement différent est toujours un état distinct (par exemple, une position différente de l'ennemi passant par le même couloir). Vous pouvez utiliser quelque chose qui peut généraliser la connaissance au lieu de stocker et en recherchant chaque petit état distinct.

Donc, ce que vous pouvez faire est de créer un réseau de neurones, par exemple. prédit la récompense pour une entrée (state, action) (ou choisir la meilleure action donnée un état, mais vous aimez regarder)

Approximation la valeur Q avec un réseau de neurones

Donc ce que vous avez effectivement un NN "cerveau intelligent", qui prédit la valeur Q, basée sur l'entrée (state, action). C'est beaucoup plus traitable que de stocker toutes les valeurs possibles comme nous l'avons fait dans le tableau ci-dessus.

Q = neural_network.predict(state, action) 

profonde Neural Networks

Pour pouvoir faire pour les jeux compliqués, le NN peut avoir besoin d'être « profond », ce qui signifie quelques couches cachées peut ne pas suffire pour capturer tous les détails complexes de cette connaissance, d'où l'utilisation de NN profonds (beaucoup de couches cachées).

Les couches supplémentaires cachées permettent au réseau de proposer en interne des fonctionnalités qui peuvent l'aider à apprendre et à généraliser des problèmes complexes qui auraient pu être impossibles sur un réseau peu profond.

clôture mots

En bref, le réseau de neurones profond permet l'apprentissage par renforcement à appliquer à des problèmes plus importants. Vous pouvez utiliser n'importe quel approximateur de fonction au lieu d'un NN pour approximer Q, et si vous choisissez NNs, il ne doit pas être absolument un absolument. C'est juste que les chercheurs ont eu beaucoup de succès en les utilisant récemment.