Mahout Log Vraisemblance similitude de comportement métrique

Question

Le problème que je suis en train de résoudre est de trouver la bonne mesure de similarité, heuristique rescorer et le niveau de filtration pour mes données. (J'utilise le 'niveau de filtrage' pour indiquer le nombre d'évaluations qu'un utilisateur ou un élément doit avoir associé à celui-ci pour l'intégrer à la base de données de production).

Configuration
J'utilise le goût de cornac cadre de filtrage collaboratif. Mes données se présentent sous la forme de triplets où l'évaluation d'un objet est contenue dans l'ensemble {1,2,3,4,5}. J'utilise un recommandeur itemBased sur une métrique de similarité logLikelihood. Je filtre les utilisateurs qui évaluent moins de 20 éléments du jeu de données de production. RMSE semble bon (1.17ish) et il n'y a pas de recouvrement de données en cours, mais il y a un comportement étrange qui n'est pas souhaitable et qui ressemble à une erreur.

Question

First Call - Générer une liste 'articles' top sans information de l'utilisateur. Pour ce faire, je l'utilise, ce que j'appelle, un Centré Somme:

for i in items 
for r in i's ratings 
    sum += r - center 

where center = (5+1)/2 , if you allow ratings in the scale of 1 to 5 for example 

J'utilise une somme centrée au lieu des notations moyennes pour générer une liste d'articles haut principalement parce que je veux que le nombre d'évaluations qu'un élément a reçu pour intégrer le classement.

Deuxième appel - Je demande 9 articles similaires à chacun des articles les plus élevés retournés dans le premier appel. Pour chaque article haut que j'ai demandé pour des articles similaires, 7 des 9 articles similaires retournés sont les mêmes (que les articles similaires retournés pour les autres articles)!

Est-il temps d'essayer une nouvelle notation? Peut-être multiplier la similarité de deux jeux par (nombre d'articles co-notés)/x, où x est accordé (environ 50 ou quelque chose pour commencer).

Merci à l'avance les gars

Answer 1

Vous demandez 50 articles similaires à un certain point X. Ensuite, vous chercher des 9 articles similaires pour chacun de ces 50. Et la plupart d'entre eux sont les mêmes. Pourquoi est-ce surprenant? Les éléments similaires doivent être similaires aux mêmes éléments.

Qu'est-ce qu'une somme "centrée"? Le classement par somme plutôt que par la moyenne vous donne toujours un résultat relativement similaire si le nombre d'éléments dans la somme pour chaque calcul est à peu près similaire.

Quel problème tentez-vous de résoudre? Parce que rien de tout cela ne semble avoir une incidence sur le système de recommandation que vous décrivez et que vous utilisez. La similarité logarithmique n'est même pas fondée sur les notations.