Using Item Response Theory To Assess Changes in Student Performance Based on Changes in Question Wording, Kimberly D. Schurmeier, Charles H. Atwood, Carrie G. Shepler, Gary J. Lautenschlager Journal of Chemical Education, vol 87(11) 2010 pp 1268–1272 (Article) DOI: 10.1021/ed100422c - Résumé de S.S., 2010-2011. Article d'intérêt didactique
Cette étude a été réalisée sur 5 années de données sur base d’évaluation d’étudiants en Chimie Générale à l’Université de Géorgie en utilisant l’analyse IRT. L’IRT est une méthode pour l’analyse et la notation des tests, questionnaires et autres instruments de mesures des capacités (compétences). L’IRT est basé sur l’idée que la probabilité qu’une réponse à une question soit correcte est une fonction mathématique de la personne et de certains paramètres tels que la difficulté, discrimination, pseudoestimation. Par rapport au CTT (classical test theory), l’analyse IRT est indépendante des individus évalués et des items d’évaluation utilisés. L’IRT assigne à chaque étudiant un niveau de capacité (à chaque question est aussi attribué un niveau de difficulté).
La formulation de la question est vitale dans la composition d’une bonne évaluation, pour certains sujets, il peut déterminer la difficulté de la question. En effet, de petit changements, tel que la substitution d’un seul mot peut changer une question relativement facile en une plus difficile et vice-versa. Voici des exemples pour plusieurs sujets de chimie générale.
Les élèves réussissent à différents niveaux une évaluation, ces niveaux sont paramétrisés par la capacité IRT (theta), l’IRT attribue des aptitudes aux élèves selon leur performance à l’évaluation. Ces groupes de compétence sont plus précisément décrit comme les élèves avec un très grand (A), grand (B), moyen (C), bas (D) et très bas (F) taux de réussite dans le cours de chimie générale.
Au premier examen du second semestre, il a été posé :
« Un échantillon sec de gaz avec une masse totale de 1.000g consiste en 0.700g de chlore et 0.300g d’oxygène. Calculer la pression totale (en atm) quand cet échantillon est dans un flacon de a L et à b °C. On suppose qu’il n’y a pas de réaction qui a lieu entre les deux gaz (a et b sont des variables numériques) »
Pour cet examen seulement les élèves de niveau A et B peuvent répondre correctement à cette question.
A l’examen final pour ce cours :
« Quelle est la pression exercée par un mélange de 14.0 grammes de N2, 71.0 grammes de Cl2 et 16.0 grammes de He dans un container de 50.0L à 0°C ? »
Cette fois 96,9% des étudiants ont répondus correctement à la question.
Il y a 3 différences dans ces 2 questions.
Une réponse choix multiple rendrait apparemment la question plus facile, parce que les étudiants peuvent deviner. Cependant, dans l’analyse CTT la deuxième question devrait être plus difficile !
Plusieurs facteurs peuvent contribuer à distinguer les changements de performance des étudiants sur ces deux questions :
Il y a aussi la possibilité que pour la question 1 les étudiants C et D ont oublié que chlore et oxygène sont des gaz diatomique, menant à l’utilisation de masse molaire fausse et calculant la pression totale incorrectement.
En supportant cette dernière option, les réponses des étudiants dans la base de données sont analysées. Les étudiants qui ont oublié que le chlore et l’oxygène sont diatomiques mais calculé le reste du problème correctement auront une réponse qui est 2X la réponse correcte.
Ce qui signifie que 76% de nos étudiants ont répondu correctement à la question ou leur réponse était un facteur 2 plus grand que la réponse correcte.
Il a été demandé de choisir les molécules polaires dans une liste de molécules (AsF5, PCl3, CO2, CF4 ou SiH4) (question 3). Cette question discrimine entre les élèves haut F et bas F. Cependant, si deux concepts apparemment reliés sont mis ensemble dans une question, ceci est un paramètre de discrimination qui augmente dramatiquement.
La question 4 demande aux étudiants de choisir parmi cette liste (H2O, NH3, PF5, CHCl3 et aucun de ceux-ci), celui qui est non polaire mais contient des liaisons polaires. Cette question adresse directement à une fausse conception que plusieurs étudiants ont tenu que les molécules sont polaires parce qu’ils ont des liaisons polaires. Ceci force les étudiants à adresser deux termes apparemment contradictoires, polaire et non polaire. Seul nos élèves A et les très bon B répondent à cette question correctement. Conclusions
Il est important de réaliser que des changements subtils dans la formulation des questions peuvent avoir des impacts significatifs dans la performance des étudiants. Par exemple, dans la première question, les formules moléculaires des molécules de gaz diatomiques paraissent triviales pour un expert, mais ne le sont pas forcément pour un novice. Dans la deuxième question, on constate que combiner dans une même question deux concepts apparemment distincts (polarité d’une liaison et polarité moléculaire) augmente énormément la difficulté de la liaison. La formulation minutieuse des questions est impérative dans la conception des évaluations !