Analyse des évaluations

Cette analyse permet d'examiner les évaluations faites sur les exemples, comme sur celles effectuées durant la phase d'évaluation par les pairs. Elle tente de sélectionner les meilleures parmi les évaluations d'étudiants et d'enseignants. Ces « bonnes » évaluations sont alors utilisées dans le calcul de la note finale.

L'analyse est meilleure si les évaluations de l'enseignant sont disponibles. Ces évaluations peuvent servir de références par rapport auxquelles celles des étudiants peuvent être jugées. L'enseignant n'a pas besoin d'évaluer chaque exemple et chaque travail, mais pour que l'analyse soit significative, il est mieux d'avoir de la part de l'enseignant plus d'évaluations celles faites par la moyenne des étudiants. Plus il y a d'évaluations faites par l'enseignant, plus les résultats de l'analyse seront fiables.

L'analyse se fait habituellement à plusieurs reprises, en changeant à chaque fois une ou plusieurs options. L'analyse est contrôlée par trois options apparaissant en haut de la page.

1. L'option « Coefficient des évaluations de l'enseignant » permet de fixer le poids des évaluations faites par l'enseignant en comparaison avec celles des étudiants, lors de la phase d'analyse d'erreurs. Si l'enseignant désire que sa propre stratégie d'évaluation domine celles des étudiants, alors il devrait être parmi tous ceux qui ont donné des notes celui ayant l'erreur moyenne la plus faible dans la « Table d'erreurs ». Si l'enseignant n'est pas en tête de liste, on augmente prgressivement le coefficient de ses évaluations jusqu'à ce qu'il ait la plus petite erreur moyenne. En conséquence, les évaluations de l'enseignant sont dominantes et celles des étudiants qui évaluent comme lui se retrouvent aussi dans la partie supérieure de la liste de la Table d'erreurs. Les étudiants situés au bas de la liste sont ceux qui évaluent d'une façon différente de celle de l'enseignant (ou de celle des étudiants du haut de la liste).
   Plus l'enseignant a effectué d'évaluations, moins l'on aura besoin d'utiliser cette option pour forcer l'enseignant à apparaître au haut de la liste. Il est à remarquer que cette option n'applique pas un coefficient aux évaluations de l'enseignant lors du calcul des notes finales. Dans ce calcul, les évaluations de l'enseignant ont le même poids que celles des étudiants. Ainsi par exemple, si un travail d'étudiant est noté 41% par l'enseignant et 45% et 55% par ses pairs, la note finale de ce travail sera de (41% + 45% + 55%) / 3, c'est-à-dire 47%.
2. L'option « Coefficient de la performance d'évaluation » est utilisée dans le calcul de la note finale. Pour calculer la « performance d'évaluation » d'un étudiant, une formule simple est utilisée : c'est le rapport entre le nombre des « bonnes » évaluations d'un étudiant et le nombre maximum de celles qu'il peut effectuer. Si par exemple la consigne demande aux étudiants d'évaluer 3 travaux d'exemples et 5 travaux de pairs, et que l'étudiant évalue au total 7 travaux et qu'une évaluation parmi celles-ci est rejetée lors de l'analyse (voir ci-dessous), sa performance d'évaluation est alors de (7 - 1)/8, c'est-à-dire 75%. La note finale d'un étudiant est une moyenne pondérée de sa performance d'évaluation et de la note de son propre travail (ou du meilleur, s'il a rendu plusieurs travaux). Le coefficient de la note du travail est toujours 1. Donc si vous choisissez de régler cette option sur 0.5, cela signifie que la performance d'évaluation aura pour la note finale la moitié de la valeur de la note du travail.
3. L'option « Nombre d'évaluations à rejeter » détermine le nombre des évaluations à rejeter lors du calcul des notes finales. Ce nombre peut être fixé de deux façons.
   • Selon la façon dont la performance d'évaluation est calculée et si aucune évaluation n'est rejetée, chaque étudiant pourrait obtenir la note maximale en évaluant tous les travaux qui lui sont soumis. Si l'enseignant désire avoir une moyenne plus raisonnable, il peut, en réglant par exemple cette option à 30%, faire en sorte que la moyenne des performances d'évaluation soit d'environ 70% (pour autant bien sûr que tous les étudiants aient évalué tous les travaux qui leur étaient soumis).
   • Autrement, le nombre d'évaluations à rejeter peut être fixé de telle manière que les Erreurs moyennes (quatrième colonne de la Table d'erreurs) des « bonnes » évaluations restantes demeurent en deçà d'une valeur raisonnable. Par exemple, on pourrait penser que toutes les évaluations des étudiants devraient se situer (en moyenne) dans un intervalle de 20%. Dans ce cas, l'analyse est répétée en ajustant à chaque fois le nombre d'évaluations à rejeter, jusqu'à ce que les valeurs de cette colonne soient dans cette limite.

En plus de la Table d'erreur, l'analyse énumère les notes de toutes les évaluations et les notes finales données aux étudiants. Cette table devrait être examinée pour s'assurer que les résultats sont raisonnables. En particulier si un grand nombre d'évaluations sont rejetées, certains travaux pourraient restés sans évaluation et la note finale de l'étudiant beaucoup trop basse. L'analyse affiche le nombre de travaux remis au haut de la page et également juste avant le « Tableau des notes ». Ces deux nombres devraient être égaux. S'il y a un ou plusieurs travaux sans évaluation et que l'enseignant ne veut pas diminuer le nombre d'évaluations à rejeter, ces travaux doivent alors être évalués par l'enseignant et l'analyse répétée. Il est essentiel que tous les travaux remis soient évalués au moins une fois lors de la dernière phase de l'analyse, c'est-à-dire lorsque les notes finales sont calculées.

Il existe un équilibre entre le nombre d'évaluations rejetées et les notes finales. Plus il y a d'évaluations rejetées, et plus les notes finales risqueront d'être basses. Cependant, si les évaluations médiocres ne sont pas rejetées, les étudiants pourraient se plaindre de la qualité des évaluations qui leur sont données et qui comptent dans la note finale de leur travail. Si l'enseignant a fait suffisamment d'évaluations de façon à dominer l'analyse pas trop artificiellement, une valeur raisonnable du pourcentage d'évaluations à rejeter se situe entre 15% et 30%.

Il est à remarquer que cette analyse prend du temps, car elle comprend un processus itératif. De longs délais sont donc à prévoir.