Comment récupérer les réponses réelles du travailleur à un test de qualification mturk?

Question

J'ai un test de qualification que j'aimerais ajuster. S'il y a des questions souvent oubliées, je vais envisager de les remplacer ou d'ajouter des éclaircissements.

Le test fait partie d'un type de qualification. Le travailleur reçoit le test automatiquement après avoir terminé avec un score de bonnes réponses. Mes HIT exigent un score minimum sur le type de qualification à accepter.

Je ne vois pas de vue dans l'interface utilisateur du demandeur pour voir les réponses réelles du travailleur.

GetQualificationsForQualificationType renvoie uniquement l'état et la valeur (score), bien que la réponse à l'exemple documentation ait des réponses. J'ai essayé les appels Java et WS. Le sdk a également un getQualificationRequests() mais il renvoie null pour ce type de qualification. Il renvoie un tableau de QualificationRequest. Cette classe a getTest() et getAnswer() méthodes, mais je ne vois pas ce qu'il reviendrait. Il me semble que les demandes de qualification ne concernent que celles qui n'ont pas été testées, lesquelles sont accordées manuellement.

Quelqu'un sait comment obtenir les chiffres réels? Merci!

Answer 1

Il n'y a aucun moyen de le faire si vous utilisez une AnswerKey. Il existe deux stratégies générales pour contourner ce:

1. ne définissez pas la qualification à autogranted (ou l'utilisation d'une clé de réponse). Vous pouvez ensuite utiliser l'opération GetQualificationRequests pour afficher les réponses aux questions individuelles. Cela peut ne pas fonctionner si vous voulez qualifier rapidement beaucoup de travailleurs, bien que vous puissiez écrire un script pour interroger de nouvelles demandes et les approuver en fonction des réponses, tout en enregistrant les réponses aux tests de qualification localement. (Ils ne sont plus disponibles auprès de MTurk une fois que la qualification a été accordée.)

2. Vous pouvez spécifier vos scores de qualification de sorte que chaque score identifie de manière unique un modèle de réponses. Un moyen simple de le faire est quelque chose comme un test de qualification de trois questions qui note chaque question séparément par un facteur de dix:

   a. Q1: correct = 1, incorrect = 0

   b. Q2: correct = 10, incorrect = 0

   c. Q3: correct = 100, incorrect = 0

Ensuite des scores de 1, 10 ou 100 indiquent 1 réponse correcte. 11, 101 ou 110 indiquent deux bonnes réponses, et des dizaines de 111 indiquent trois réponses correctes. Vous pouvez utiliser le comparateur In pour vos exigences de qualification pour ensuite exiger, par exemple, qu'un travailleur ait un score "In" 11, 101, 110 ou 111 si vous souhaitez qu'il ait deux réponses correctes ou plus.

Il existe évidemment d'autres modèles de notation qui produiraient de manière similaire des modèles de scores uniques.