Comparaison des évaluations

Dans un atelier, il est fréquent que le même travail soit évalué par l'enseignant et par les pairs. Si les exemples sont exploités, l'enseignant effectue une évaluation avant que les étudiants n'évaluent une partie de leurs pairs. Le travail de chaque étudiant sera en principe évalué par l'enseignant, au moins en partie, et vraisemblablement par un groupe d'autres étudiants. Un atelier permet au professeur d'attribuer une partie de sa note aux évaluations que l'étudiant a effectuées, le reste étant normalement attribué au travail qu'il a fourni. (La répartition entre ces deux attributions est réglée à la fin de l'atelier). Les évaluations des étudiants sont mesurées par Moodle en fonction de leur correspondance avec l'évaluation du même travail faite par l'enseignant (si ce dernier n'a pas donné de valeur, la moyenne des évaluations des pairs est utilisée comme référence).

La correspondance entre les évaluations des pairs et celle de l'enseignant est calculée selon les différences des éléments individuels d'évaluation (actuellement, il s'agit d'un écart quadratique - calcul sur les carrés des écarts). La moyenne de ces écarts quadratiques doit être convertie en note significative. L'option « Comparaison des évaluations » fournit un certain contrôle sur la façon dont cette note est produite.

Pour donner une idée de l'effet de cette option, prenez le cas (vraiment simple) d'une évaluation à dix notes binaires Oui/Non. L'évaluation pourrait par exemple utiliser des questions de type « Le graphe est-il correctement formaté ? », « Le profit net vaut-il 100.66 euros ? », etc. Supposons donc dix de ces questions. Supposons maintenant que l'option « Très indulgent » est choisie, un accord parfait entre les évaluations de l'enseignant et de l'étudiant accorde à ce dernier un crédit de 100% de la note d'évaluation. Si une question ne correspond pas, il bénéficiera seulement de 90% de cette note, deux désaccords vaudront pour 80%, trois pour 70%, etc. Cela semble très raisonnable et vous vous demanderez certainement pourquoi cette option est appelée comparaison « très indulgente ». En fait, il faut considérer le cas où l'étudiant fait une évaluation au hasard dans laquelle les réponses aux questions de l'évaluateur sont choisies à l'intuition. On accorderait statistiquement la moitié de bonnes réponses soit 5 questions sur 10. L'évaluation au hasard (test du babouin) donnerait un crédit de 50% de la note d'évaluation !

Le calcul est plus sensible pour l'option « Indulgent », le résultat de l'évaluation au hasard ne rétribue qu'à 20%.

Pour l'option « Acceptable », l'évaluation au hasard donne le plus souvent un crédit nul. A ce niveau, un crédit de 50% est donné si 8 questions sur 10 sont correctement évaluées par l'étudiant. Si trois questions ne correspondent pas, le crédit tombe à 25%.

Une option réglée sur « Strict » ne propose plus qu'un crédit de 40% si 8 questions sur 10 correspondent.

La dernière option « Très strict » n'admet pas plus que deux divergences et crédite de 35% dans le pire cas (deux erreurs) et de 65% pour une seule erreur.

Cet exemple est évidemment très artificiel car la plupart des évaluations sont une suite de questions à barèmes très variés. Dans ces cas pratiques, les crédits donnés aux étudiants pour leurs évaluations sont un peu plus généreux que ceux mentionnés ici. Les différents niveaux de comparaison (très indulgent, indulgent, acceptable...) sont proposés à l'enseignant pour un réglage fin de ces rétributions. Si les enseignants jugent les rétributions pour évaluation trop faibles, alors ils régleront le paramètre sur « Indulgent » ou « Très indulgent ». A l'inverse, si l'enseignant pense que ces crédits supplémentaires sont trop élevés alors les options « Strict » ou « Très strict » conviendront peut-être. Il s'agit pour chaque enseignant d'une démarche en essai/erreur à partir d'un réglage par défaut « Acceptable ».

Il peut arriver que le jugement du niveau des rétribution des évaluations soit jugé trop haut ou trop bas en cours de fonctionnement de l'atelier. Ces notes sont visibles dans la page d'administration de l'exercice. Dans ce cas, l'enseignant peut changer l'option de comparaison et recalculer entièrement les notes des évaluations. Cette mise à jour est explicite en cliquant le lien « Recalculer les notes d'évaluation" trouvé dans la page d'administration de l'atelier. Cette mise à jour peut être effectuée sans risque à tout moment.