Est-il possible de créer un nouvel environnement de gym dans OpenAI?

Question

J'ai une mission pour faire un agent IA qui apprendra à jouer à un jeu vidéo en utilisant ML. Je veux créer un nouvel environnement dans OpenAI parce que je ne veux pas travailler sur un environnement existant. Comment puis-je créer un nouvel environnement. Aussi, est-il un autre moyen que je peux commencer à développer en faisant AI Agent pour jouer à un jeu vidéo spécifique sans l'aide de OpenAI? Je suis débutant dans ce domaine, donc toute aide/direction de départ sera appréciée.

Answer 1

C'est définitivement possible. Ils le disent dans la page Documentation, proche de la fin.

https://gym.openai.com/docs

Quant à la façon de le faire, vous devriez regarder le code source des environnements existants pour l'inspiration. Son disponible en github:

https://github.com/openai/gym#installation

La plupart de leurs environnements dans lesquels ils ne mettent pas en œuvre à partir de zéro, mais plutôt créé une enveloppe autour des environnements existants et ont donné tout une interface qui est pratique pour l'apprentissage de renforcement.

Si vous voulez faire votre propre, vous devriez probablement aller dans cette direction et essayer d'adapter quelque chose qui existe déjà à l'interface du gymnase. Bien qu'il y ait de bonnes chances que cela prenne beaucoup de temps.

Il existe une autre option qui peut être intéressante pour votre usage. Il est Univers

https://universe.openai.com/

de OpenAI Il peut intégrer des sites Web afin que vous formez vos modèles sur les jeux Kongregate, par exemple. Mais l'univers n'est pas aussi facile à utiliser que Gym.

Si vous êtes un débutant, je vous recommande de commencer par une implémentation de vanille dans un environnement standard. Après avoir passé les problèmes avec les bases, passez à incrémenter ...

Answer 2

Voir mon banana-gym pour un environnement extrêmement petit.

Créer de nouveaux environnements

Voir la page principale du dépôt:

https://github.com/openai/gym/tree/master/gym/envs#how-to-create-new-environments-for-gym

Les étapes sont les suivantes:

1. Créer un nouveau référentiel avec une structure PIP-package

Il devrait ressembler à ceci

gym-foo/ 
    README.md 
    setup.py 
    gym_foo/ 
    __init__.py 
    envs/ 
     __init__.py 
     foo_env.py 
     foo_extrahard_env.py 

Pour le contenu de celui-ci, suivez le lien ci-dessus. Les détails qui ne sont pas mentionnés ici sont surtout comment devraient ressembler certaines fonctions dans foo_env.py. En regardant des exemples et au gym.openai.com/docs/ aide.Voici un exemple:

class FooEnv(gym.Env): 
    metadata = {'render.modes': ['human']} 

    def __init__(self): 
     pass 

    def _step(self, action): 
     """ 

     Parameters 
     ---------- 
     action : 

     Returns 
     ------- 
     ob, reward, episode_over, info : tuple 
      ob (object) : 
       an environment-specific object representing your observation of 
       the environment. 
      reward (float) : 
       amount of reward achieved by the previous action. The scale 
       varies between environments, but the goal is always to increase 
       your total reward. 
      episode_over (bool) : 
       whether it's time to reset the environment again. Most (but not 
       all) tasks are divided up into well-defined episodes, and done 
       being True indicates the episode has terminated. (For example, 
       perhaps the pole tipped too far, or you lost your last life.) 
      info (dict) : 
       diagnostic information useful for debugging. It can sometimes 
       be useful for learning (for example, it might contain the raw 
       probabilities behind the environment's last state change). 
       However, official evaluations of your agent are not allowed to 
       use this for learning. 
     """ 
     self._take_action(action) 
     self.status = self.env.step() 
     reward = self._get_reward() 
     ob = self.env.getState() 
     episode_over = self.status != hfo_py.IN_GAME 
     return ob, reward, episode_over, {} 

    def _reset(self): 
     pass 

    def _render(self, mode='human', close=False): 
     pass 

    def _take_action(self, action): 
     pass 

    def _get_reward(self): 
     """ Reward is given for XY. """ 
     if self.status == FOOBAR: 
      return 1 
     elif self.status == ABC: 
      return self.somestate ** 2 
     else: 
      return 0 

Utilisez votre environnement

import gym 
import gym_foo 
env = gym.make('MyEnv-v0') 

Exemples

1. https://github.com/openai/gym-soccer
2. https://github.com/openai/gym-wikinav
3. https://github.com/alibaba/gym-starcraft
4. https://github.com/endgameinc/gym-malware
5. https://github.com/hackthemarket/gym-trading
6. https://github.com/tambetm/gym-minecraft
7. https://github.com/ppaquette/gym-doom
8. https://github.com/ppaquette/gym-super-mario
9. https://github.com/tuzzer/gym-maze