Monte Carlo Recherche: Adversaire se déplace avant SCTM arbre frontière

Question

étapes de l'algorithme MCTS sont:

1. Sélection
2. Expansion
3. Simulation
4. rétropropagation

Ma question concerne la troisième étape, simulation. Nous avons développé notre arbre de décision avec un nouveau nœud et simulons les mouvements restants jusqu'à la fin du jeu. Cette simulation peut être divisé en deux parties:

1. tourne dans lequel nous utiliser la politique de notre arbre de décision
2. tours dans lequel mis se déplace au hasard pour les deux joueurs (ou utiliser une alternative spécifique du jeu politique par défaut)

Une visualisation de la ligne d'arbre SCTM qui sépare les deux phases est à la figure 1 de cette publication: http://www.ru.is/faculty/yngvi/pdf/FinnssonB09a.pdf

Je suis confus au sujet de la première partie. Pour simuler le jeu, nous prenons d'abord notre politique d'arbre dans le premier nœud, puis l'adversaire se déplace, puis nous prenons un autre mouvement de politique d'arbre, et ainsi de suite, jusqu'à atteindre le nœud créé à l'étape 2 de l'algorithme. Quels mouvements laissons-nous l'adversaire faire entre nos mouvements de politique d'arbre avant que nous atteignions la ligne d'arbre? Un adversaire au hasard pourrait faire un mouvement qui nous empêche de prendre notre prochain mouvement de politique d'arbre. Ou y a-t-il un autre malentendu de ma part?

Answer 1

Le nouveau nœud se trouve en bas d'un arbre de décision. Cet arbre de décision représente les mouvements pour les deux joueurs. Lorsque vous êtes à un nœud dans l'arbre, l'arbre contient une séquence exacte de mouvements qui se terminent dans cette position.

Les mouvements restants sont simulés en fonction de l'étape de lecture.

En pratique, un ordinateur n'aura normalement pas besoin de continuer à simuler les mouvements de la phase un. Au lieu de cela, il ne fera que mettre en cache la position au niveau du noeud et peut ensuite démarrer la simulation de lecture à plusieurs reprises à partir de ce point.