chaînes markov état de distribution stationnaire sur l'état init

Question

En tant que propriété de la chaîne de Markov, la distribution stationnaire a été largement utilisé dans de nombreux domaines tels que page_rank etc.

Cependant, puisque la distribution est juste une propriété sur la transition matrice et n'a rien à voir avec l'état init de la chaîne markov.

Alors, quelle est la condition de la matrice de transition qui fait que l'état init n'a rien à voir avec la chaîne markov, de sorte qu'il finira par arriver à la distribution stationnaire après la ième itération.

Answer 1

Les chaînes de Markov ne sont pas garanties d'avoir des distributions stationnaires uniques. Par exemple, considérons une chaîne de Markov à deux états où la matrice de transition est la matrice d'identité. Cela signifie que quel que soit l'état initial, il ne change jamais. Donc, dans ce cas, il n'y a pas de distribution stationnaire indépendante du cas initial.

Lorsqu'il existe une distribution stationnaire, à moins que l'état initial ne soit la distribution stationnaire, la distribution stationnaire n'est atteinte qu'à la limite lorsque n tend vers l'infini. Donc, l'itération n + 1 sera plus proche que l'itération n, mais quelle que soit la taille de n, elle ne sera jamais réellement la distribution stationnaire. Cependant, à des fins pratiques (c'est-à-dire à la limite de la précision des nombres à virgule flottante dans les ordinateurs), l'état stationnaire peut être atteint après une poignée d'itérations.

Answer 2

Le graphique sous-jacent doit être fortement connecté et apériodique. Si vous voulez trouver la distribution stationnaire d'une chaîne de Markov périodique en exécutant simplement une chaîne, ajoutez des transitions "stay put" avec une probabilité constante à chaque nœud et redimensionnez les autres transitions de manière appropriée.