no way to compare when less than two revisions
Différences
Ci-dessous, les différences entre deux révisions de la page.
— | teaching:biblio-10.1021-ed100422c [2015/11/12 15:30] (Version actuelle) – créée villersd | ||
---|---|---|---|
Ligne 1: | Ligne 1: | ||
+ | ====== Utilisation de la théorie de réponses aux items (IRT) pour évaluer les changements de performance des étudiants basés sur les changements dans la formulation des questions ====== | ||
+ | [[http:// | ||
+ | |||
+ | Cette étude a été réalisée sur 5 années de données sur base d’évaluation d’étudiants en Chimie Générale à l’Université de Géorgie en utilisant l’analyse IRT. L’IRT est une méthode pour l’analyse et la notation des tests, questionnaires et autres instruments de mesures des capacités (compétences). L’IRT est basé sur l’idée que la probabilité qu’une réponse à une question soit correcte est une fonction mathématique de la personne et de certains paramètres tels que la difficulté, | ||
+ | |||
+ | La formulation de la question est vitale dans la composition d’une bonne évaluation, | ||
+ | Voici des exemples pour plusieurs sujets de chimie générale. | ||
+ | |||
+ | Les élèves réussissent à différents niveaux une évaluation, | ||
+ | |||
+ | ===== 1) Problème de loi des gaz ===== | ||
+ | Au premier examen du second semestre, il a été posé : | ||
+ | < | ||
+ | Pour cet examen seulement les élèves de niveau A et B peuvent répondre correctement à cette question. | ||
+ | |||
+ | A l’examen final pour ce cours : | ||
+ | < | ||
+ | Cette fois 96,9% des étudiants ont répondus correctement à la question. | ||
+ | |||
+ | Il y a 3 différences dans ces 2 questions. | ||
+ | |||
+ | * Une est que la question donnée durant le semestre (1) était une question réponse libre, alors que la question dans le final était un choix multiple. | ||
+ | * La seconde différence est que dans la question 2, l’échantillon consistait en 3 gaz plutôt que 2 employé dans la question 1. | ||
+ | * Finalement, la question 1 utilisait les mots chlore et oxygène, alors que la seconde question utilisait les notations. | ||
+ | |||
+ | Une réponse choix multiple rendrait apparemment la question plus facile, parce que les étudiants peuvent deviner. Cependant, dans l’analyse CTT la deuxième question devrait être plus difficile ! | ||
+ | |||
+ | Plusieurs facteurs peuvent contribuer à distinguer les changements de performance des étudiants sur ces deux questions : | ||
+ | |||
+ | * la première est que les étudiants ont finalement acquis la connaissance de cette loi des gaz à ce point que le problème devient facile. | ||
+ | * Une autre possibilité est que les étudiants reconnaissent ce type de problème de par leur précédent examen. | ||
+ | |||
+ | Il y a aussi la possibilité que pour la question 1 les étudiants C et D ont oublié que chlore et oxygène sont des gaz diatomique, menant à l’utilisation de masse molaire fausse et calculant la pression totale incorrectement. | ||
+ | |||
+ | En supportant cette dernière option, les réponses des étudiants dans la base de données sont analysées. Les étudiants qui ont oublié que le chlore et l’oxygène sont diatomiques mais calculé le reste du problème correctement auront une réponse qui est 2X la réponse correcte. | ||
+ | |||
+ | * 32,2% des étudiants ont entrés des réponses entre 0,9 et 1,1 X la réponse correcte. Ils répondent donc correctement. | ||
+ | * 43,8% des étudiants qui sont entre 1,9 et 2,1 X la réponse correcte | ||
+ | * 3,1% des étudiants choisissent une réponse qui était de 1,4 à 1,6 X la réponse correcte. | ||
+ | * moins de 3% pour les autres rapports. | ||
+ | |||
+ | Ce qui signifie que 76% de nos étudiants ont répondu correctement à la question ou leur réponse était un facteur 2 plus grand que la réponse correcte. | ||
+ | |||
+ | ===== 2) Polarité moléculaire ===== | ||
+ | Il a été demandé de choisir les molécules polaires dans une liste de molécules (AsF5, PCl3, CO2, CF4 ou SiH4) (question 3). Cette question discrimine entre les élèves haut F et bas F. Cependant, si deux concepts apparemment reliés sont mis ensemble dans une question, ceci est un paramètre de discrimination qui augmente dramatiquement. | ||
+ | |||
+ | La question 4 demande aux étudiants de choisir parmi cette liste (H2O, NH3, PF5, CHCl3 et aucun de ceux-ci), celui qui est non polaire mais contient des liaisons polaires. Cette question adresse directement à une fausse conception que plusieurs étudiants ont tenu que les molécules sont polaires parce qu’ils ont des liaisons polaires. Ceci force les étudiants à adresser deux termes apparemment contradictoires, | ||
+ | Conclusions | ||
+ | |||
+ | Il est important de réaliser que des changements subtils dans la formulation des questions peuvent avoir des impacts significatifs dans la performance des étudiants. Par exemple, dans la première question, les formules moléculaires des molécules de gaz diatomiques paraissent triviales pour un expert, mais ne le sont pas forcément pour un novice. Dans la deuxième question, on constate que combiner dans une même question deux concepts apparemment distincts (polarité d’une liaison et polarité moléculaire) augmente énormément la difficulté de la liaison. La formulation minutieuse des questions est impérative dans la conception des évaluations ! | ||
+ | |||