Dans le modèle LDA, comment les paramètres multinomiaux (thêta) sont-ils tirés du poids antérieur de Dirichlet (alpha)?

Question

Je suis un étudiant de première année qui étudie le modèle LDA (Latent Dirichlet Allocation) de nos jours. Mais, j'ai fait face à un problème.

Comment le thêta est-il tiré de l'alpha?

thêta ~ Dir (alpha)

Selon ma compréhension courte, la thêta variable est un vecteur avec sa longueur K et ses composantes représentent les proportions de sujets dans un document. Et, les theta sont différents les uns des autres pour chaque document. Et, au niveau du corpus, l'alpha est toujours un vecteur K alors que le thêta est une matrice de taille M (# de docs) par K (nombre de sujets).

Première question: Ce que j'ai mentionné ci-dessus est vrai?

Deuxième question: Si vrai, sur les documents, comment les différents thetas (vecteurs K) peuvent-ils être tirés de la même distribution de Dirichlet?

Answer 1

Première réponse: Oui, vous avez tout à fait raison.

Deuxième réponse: L'alpha est un vecteur K, comme vous l'avez mentionné. Lorsque nous prenons un échantillon de la distribution de Dirichlet, nous obtenons un autre vecteur K. Les valeurs elles-mêmes dépendraient des valeurs de alpha, mais elles sont toutes égales à 1 (c'est ainsi qu'on peut les considérer comme les proportions de tous les sujets dans un même document). Nous échantillonnons une fois par document, pour obtenir des vecteurs M - c'est ainsi que nous obtenons la matrice MxK thêta.

La longueur du vecteur obtenu à partir de l'échantillonnage de la distribution de Dirichlet dépend de la longueur de son paramètre, alpha.