mises à jour dans l'inférence variationnelle champ moyen

Question

Je me demande si ELBO devrait augmenter de façon monotone que chaque mise à jour du paramètre variationnelle Q_i? Je comprends qu'il devrait augmenter à chaque itération, mais est-ce aussi vrai dans une itération pour chaque q_i? Merci!

Answer 1

Oui, c'est également vrai. Pense que c'est une méthode d'ascension coordonnée:

q_i^t = argmax_{q_i} \cal{L}(q_1^{t}, ...,q_{i-1}^{t}, q_i, q_{i+1}^{t-1}, ..., q_n^{t-1}). 

donc vous maximisez en permanence.