Calculer TCM non pondéré basé sur des mots-clés en utilisant text2vec dans R?

Question

J'essaye de calculer une matrice de co-occurrence de terme-term (ou TCM) d'un corpus en utilisant le text2vec dans R (puisqu'il a un backend parallèle gentil). J'ai suivi this tutorial, mais tout en inspectant certains exemples de jouets, j'ai remarqué que la fonction create_tcm effectue une sorte de mise à l'échelle ou de pondération sur les valeurs de co-occurrence à terme terme. Je sais qu'il utilise des skip-grams en interne, mais la documentation ne mentionne pas comment il les met à l'échelle - clairement, les termes/les unigrammes plus lointains sont pondérés plus bas.

Voici un exemple:

tcmtest = function(sentences){ 
    tokens <- space_tokenizer(sentences) 
    it = itoken(tokens, progressbar = FALSE) 
    vocab <- create_vocabulary(it, ngram = c(ngram_min = 1L, ngram_max = 1L)) 
    vectorizer <- vocab_vectorizer(vocab, grow_dtm = FALSE, skip_grams_window = 5L) 
    return(create_tcm(it, vectorizer)) 
} 

> tcmtest(c("a b", "a b c")) 
3 x 3 sparse Matrix of class "dgTMatrix" 
    b c a 
b . 1 2.0 
c . . 0.5 
a . . . 
> tcmtest(c("a b", "c a b")) 
3 x 3 sparse Matrix of class "dgTMatrix" 
    b c a 
b . 0.5 2 
c . . 1 
a . . . 
> tcmtest(c("a b", "c a a a b")) 
3 x 3 sparse Matrix of class "dgTMatrix" 
    b c  a 
b . 0.25 2.833333 
c . . 1.833333 
a . . . 

Question: est-il possible de désactiver ce comportement, de sorte que chaque terme/unigramme dans la fenêtre saut-gramme est traité de manière égale? C'est-à-dire que si un terme apparaît à l'intérieur de la fenêtre contextuelle d'un autre terme deux fois dans un corpus, il doit indiquer "2" dans la matrice TCM. Question de bonification: comment la mise à l'échelle par défaut fonctionne-t-elle quand même? Si vous ajoutez plus de "a" au dernier exemple, alors la valeur b-c semble diminuer linéairement, alors que la valeur b-a augmente réellement - bien que plus d'occurrences ou "a" apparaissent plus loin de "b".

Answer 1

MISE À JOUR 2017-02-01 Pushed update to github - vous pouvez désormais spécifier vecteur pondération directement dans create_tcm.

La fonction de pondération est définie here. Si vous avez besoin de poids égal pour chaque terme dans la fenêtre, vous devez régler la fonction de pondération pour revenir toujours 1 (clone juste repo, la définition de la fonction de changement et construire des paquets de la source avec devtools ou R CMD build):

inline float weighting_fun(uint32_t offset) { 
    return 1.0; 
} 

Cependant plusieurs les gens ont déjà demandé cette fonctionnalité et j'inclurai probablement cette option dans la prochaine version.