matrice donnée de transition pour la chaîne de Markov 5 états, trouver premier temps de passage et de temps de récurrence

Question

matrice de transition pour une chaîne de Markov:

0.5 0.3 0.0 0.0 0.2 
0.0 0.5 0.0 0.0 0.5 
0.0 0.4 0.4 0.2 0.0 
0.3 0.0 0.2 0.0 0.5 
0.5 0.2 0.0 0.0 0.3 

Ceci est une matrice de transition d'états {1,2,3,4,5}. Les états {1,2,5} sont récurrents et les états {3,4} sont transitoires. Comment puis-je (sans utiliser l'astuce de la matrice fondamentale):

• Calculer le nombre prévu d'étapes nécessaires pour premier retour à l'état 1, conditionné à partir de l'état 1
• Calculer le nombre prévu d'étapes nécessaires pour la première atteindre l'un des états {1,2,5}, conditionnés à partir de l'état 3.

Answer 1

Si vous ne souhaitez pas utiliser la matrice fondamentale, vous pouvez faire deux choses:

1. Créez une fonction qui simule la chaîne de Markov jusqu'à ce que la condition d'arrêt soit remplie et qui renvoie le nombre d'étapes. Prenez la moyenne sur un grand nombre de pistes pour obtenir les attentes.
2. Introduire des états d'absorption fictifs dans votre matrice de transition et calculer de manière répétée p = Pp où p est un vecteur avec 1 dans l'indice de départ et 0 ailleurs. Avec un peu de comptabilité, vous pouvez obtenir les valeurs attendues que vous voulez.