Estimation par rapport à l'optimisation numérique directe de la fonction de vraisemblance pour estimer le modèle de Markov-Switching/HMM de haute dimension

Question

J'estime actuellement un modèle de Markov-commutation avec beaucoup de paramètres en utilisant l'optimisation directe de la fonction log-vraisemblance (par l'algorithme avant-arrière)). Je fais l'optimisation numérique en utilisant l'algorithme génétique de matlab, car d'autres approches comme les algorithmes (principalement basés sur le gradient ou simplex) dans fmincon et fminsearchbnd n'étaient pas très utiles, étant donné que la fonction de vraisemblance est non seulement maxima et est fortement non linéaire. L'algorithme génétique semble fonctionner très bien. Cependant, je prévois d'augmenter encore la dimension du problème. J'ai lu sur un algorithme EM pour estimer les modèles de Markov-commutation. D'après ce que je comprends cet algorithme libère une séquence de valeurs croissantes de log-likelhood. Il semble donc approprié d'estimer des modèles avec de très nombreux paramètres.

Ma question est de savoir si l'algorithme EM est adapté à mon application impliquant de nombreux paramètres (peut-être mieux adapté que l'algorithme génétique). La vitesse n'est pas la principale limite (l'algorithme génétique est déjà extrêmement lent) mais il faudrait que j'aie une certaine certitude pour me rapprocher de l'optimum global et ne pas tomber dans l'un des nombreux optima locaux. Avez-vous de l'expérience ou des suggestions à ce sujet?

Answer 1

L'algorithme EM trouve des optima locaux et ne garantit pas qu'ils sont des optima globaux. En fait, si vous commencez avec un HMM où l'une des probabilités de transition est zéro, cette probabilité ne changera jamais de zéro, parce que ces transitions apparaîtront seulement avec l'attente zéro dans l'étape d'attente, donc ces points de départ n'ont aucun espoir de trouver un optimum global qui n'a pas cette probabilité de transition zéro.

La solution de contournement standard pour cela est de commencer à partir d'une variété de différents paramètres de paramètres aléatoires, choisir les optima les plus élevés trouvés, et espérer le meilleur. Vous pourriez être légèrement rassuré si une proportion significative des analyses convergeait vers le même optimum local (ou équivalent), sur la base de la théorie peu fiable selon laquelle on trouverait quelque chose de meilleur à partir d'au moins la même fraction de démarrages aléatoires. aurait montré jusqu'à maintenant.

Je ne l'ai pas expliquée en détail, mais l'algorithme EM résout un ensemble de problèmes si général que je m'attends à ce que s'il trouve l'optimum global, il soit capable de trouver la solution NP-complete problèmes avec une efficacité sans précédent.