Comment interpréter la sortie de TukeyHSD dans R? (en relation avec le modèle de régression sous-jacent)

Question

J'ai construit un modèle de régression linéaire simple avec 'Score' comme variable dépendante, et 'Activity' comme indépendant. 'Activity' a 5 niveaux: 'listen' (niveau de référence), 'read1', 'read2', 'watch1', 'watch2'.

Call: 
lm(formula = Score ~ Activity) 

Residuals: 
    Min  1Q Median  3Q  Max 
-22.6154 -8.6154 -0.6154 7.1346 31.3846 

Coefficients: 
       Estimate Std. Error t value Pr(>|t|)  
(Intercept)  41.615  2.553 16.302 <2e-16 *** 
Activityread1  6.385  7.937 0.804 0.4254  
Activityread2 20.885  9.552 2.186 0.0340 * 
Activitywatch1 3.885  4.315 0.900 0.3728  
Activitywatch2 -11.415  6.357 -1.796 0.0792 . 
--- 
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 13.02 on 45 degrees of freedom 
Multiple R-squared: 0.1901, Adjusted R-squared: 0.1181 
F-statistic: 2.64 on 4 and 45 DF, p-value: 0.04594 

Afin d'obtenir toutes les comparaisons par paires, j'ai effectué un test TukeyHSD, dont la sortie, je vais avoir du mal à interpréter. Alors que la sortie du modèle montre que le seul effet significatif que nous avons est dû au contraste entre 'listen' et 'read2', les résultats de TukeyHSD donnent que le seul contraste significatif existe entre 'watch2' et 'read2'. Qu'est-ce que ça veut dire?

> TukeyHSD(aov(mod4), "Activity") 
 
    Tukey multiple comparisons of means 
 
    95% family-wise confidence level 
 

 
Fit: aov(formula = mod4) 
 

 
$Activity 
 
        diff  lwr  upr  p adj 
 
read1-listen 6.384615 -16.168371 28.937602 0.9279144 
 
read2-listen 20.884615 -6.256626 48.025857 0.2034549 
 
watch1-listen 3.884615 -8.376548 16.145779 0.8952957 
 
watch2-listen -11.415385 -29.477206 6.646437 0.3885969 
 
read2-read1 14.500000 -19.264610 48.264610 0.7397464 
 
watch1-read1 -2.500000 -26.031639 21.031639 0.9981234 
 
watch2-read1 -17.800000 -44.811688 9.211688 0.3466391 
 
watch1-read2 -17.000000 -44.959754 10.959754 0.4278714 
 
watch2-read2 -32.300000 -63.245777 -1.354223 0.0368820 
 
watch2-watch1 -15.300000 -34.569930 3.969930 0.1783961

Answer 1

Dans votre résumé de modèle initial, Estimate est montrant la différence estimée moyenne pour chaque groupe par rapport à la moyenne du groupe « écouter » (40,615). Le groupe "read2", ayant le plus grand décalage (+20,885) par rapport au groupe "listen", est appelé significatif avec p = .0340 lorsque seules ces 4 comparaisons sont calculées. Puisque TUKEYHSD effectue toutes les comparaisons par paire pour les moyennes de groupe (pas seulement au niveau de référence "écoute"), il effectue également des ajustements de valeur p pour tenir compte de tous ces tests supplémentaires. Raison en être, si vous avez effectué 20 comparaisons sur des données aléatoires, vous vous attendez à ce qu'un (1/20 ou .05) soit appelé significatif avec p < .05 simplement parce qu'il fait autant de tests. Avec l'ajustement de valeur p pris en compte, votre comparaison significative à l'origine entre "listen-read2" n'est plus considérée comme significative. Mais la plus grande différence entre "watch2 - read2" (-32.3), qui n'a pas été testé dans le résumé du modèle original, est assez grande pour être considérée comme significative avec p = .03688 même après avoir fait tous les ajustements de comparaison supplémentaires.

Espérons que cela aide, vous pouvez en savoir plus sur le problème de la comparaison multiple here . Et voir pour la mise en œuvre de R des méthodes les plus populaires.