comparaison de coefficients kappa (accords d'intercodeur) sur des données catégorielles

Question

J'ai une liste de 282 éléments qui ont été classés par 6 codeurs indépendants en 20 catégories.

Les 20 catégories sont définies par des mots (exemple "perceptuel", "évaluation", etc.).

Les 6 codeurs ont un statut différent: 3 d'entre eux sont des experts, 3 sont des novices.

J'ai calculé tous les kappas (et alphas) ​​entre chaque paire de codeurs, et le kappa global parmi les 6 codeurs, et les kappas entre les 3 experts et entre les 3 novices.

Maintenant je voudrais vérifier s'il y a une différence significative entre les accords interrater réalisés par les experts vs ceux réalisés par les novices (dont kappa est en effet plus faible).

Comment aborderiez-vous cette question et signalez-vous les résultats?

merci!

Answer 1

Vous pouvez au moins simplement obtenir le Kappa de Cohen et son sd dans R (< - de loin la meilleure option à mon avis). Le package PresenceAbsence a une fonction Kappa (voir? Kappa).

Vous pouvez obtenir le paquet avec la install.packages("PresenceAbsence") régulière, puis passer une matrice de confusion, i.e. .:

# we load the package 
library(PresenceAbsence) 
# a dummy confusion matrix 
cm <- matrix(round(runif(16, 0, 10)), nrow=4) 
Kappa(cm) 

vous obtiendrez le Kappa et son sd. Autant que je sache, il y a des limites au test en utilisant la métrique Kappa (par exemple, voir https://en.wikipedia.org/wiki/Cohen 's_kappa # Signification_et_magnitude).