2015-11-13 2 views
7

Selon les auteurs de 1, 2 et 3, Rappel est le pourcentage des éléments pertinents sélectionnés sur tous les éléments pertinents dans le référentiel, tandis que Precision est le pourcentage d'éléments pertinents parmi ceux sélectionnés par la requête.Rappel, le taux Rappel @ k et la précision dans la recommandation top-k

Par conséquent, en supposant utilisateur U obtient un top- k liste recommandée des articles, ils seraient quelque chose comme:

Rappel = (Relevant_Items_Recommended dans top- k) / (Relevant_Items)

Precision = (Relevant_Items_Recommended en feuilles supérieure k) / (k _Items_Recommended)

Jusqu'à que tout partiel est clair mais je ne comprends pas la différence entre eux et taux Recall @ k. Comment serait la formule pour calculer taux de rappel @ k?

+1

Vous avez directement mis @K dans le calcul de la précision simple et du rappel pour évaluer la prédiction, ce qui peut prêter à confusion. La règle est simple - si vous essayez de mesurer uniquement la prédiction RATING - utilisez la précision et le rappel simples sur l'ensemble du résultat recommandé. Si vous êtes intéressé par la prédiction de mesure RANKING, alors vous êtes plus intéressé à savoir comment bien dire top-5 effectue (premier écran de carrousel de recommandation), puis top-10 (deuxième écran) et ainsi de suite. Parce que dans le second cas, vous êtes plus intéressé par la façon dont votre solution a ordonné l'ensemble des réponses - résultats classés. –

+0

Merci beaucoup @ Bartłomiej Twardowski. Donc, juste je faisais ce taux @ k déjà? –

+0

Oui, si vous êtes en train de tronquer au dessus de l'élément k et en calculant seulement p/r dessus. –

Répondre

6

Enfin, j'ai reçu une explication du Prof. Yuri Malheiros (paper 1). Bien que le taux de rappel @k comme cité dans les documents cités dans les questions semblait être les métriques normales de rappel, mais appliqué dans un k, ils ne sont pas les mêmes. Cette mesure est également utilisé dans paper 2, paper 3 et paper 3

Le taux de rappel @k est un pourcentage qui dépend des tests effectués, à savoir, le nombre de recommandations et chaque recommandation est une liste d'éléments, certains articles seront être correct et d'autres pas. Si nous avons fait 50 recommandations différentes, appelons-le R (quel que soit le nombre d'éléments pour chaque recommandation), pour calculer le taux de rappel est nécessaire d'examiner chacune des 50 recommandations. Si, pour chaque recommandation, au moins un élément recommandé est correct, vous pouvez incrémenter une valeur, dans ce cas, appelons-la N. Afin de calculer le taux de rappel @R, il est nécessaire de faire le N/R.

+0

Je pense que vous avez fait une erreur là-bas, vous avez décrit la précision @ k à nouveau. Rappeler @ k signifie que vous comptez les documents pertinents parmi les premiers-k et que vous les divisez par le nombre total de documents pertinents dans le dépôt. Voir https://ils.unc.edu/courses/2013_spring/inls509_001/lectures/10-EvaluationMetrics.pdf – Chris