Modélisation, élaboration et évaluation des rapports à visée diagnostique des données du PIRLS 2011
Soutenance de thèse de Dan Thanh Duong Thi, sous la direction de recherche de Nathalie Loye (Département d'administration et fondements de l'éducation.)
Réumé
Cette étude s'inscrit dans l'approche diagnostique cognitive (ADC) dont la finalité est de fournir aux enseignants des rétroactions fines et détaillées sur les forces et les faiblesses cognitives des élèves à travers des rapports diagnostiques compréhensibles et interprétables. Elle a été menée dans le but de répondre aux grands besoins des enseignants de recevoir des informations diagnostiques à partir des tests à grande échelle et de combler le manque des recherches empiriques sur l'élaboration et l'évaluation des rapports diagnostiques. Plus précisément, notre étude vise à : (1) modéliser des données de 4762 élèves canadiens ayant pris le test PIRLS 2011 et (2) élaborer et évaluer des rapports diagnostiques destinés aux enseignants à partir des résultats des modélisations.
Afin de répondre au premier objectif, des habiletés sous-jacentes jugées nécessaires pour répondre aux 35 items du PIRLS 2011 ont été identifiées à partir du cadre de référence de l'élaboration du PIRLS 2011 et avec un panel d'experts comprenant trois membres. Deux matrices Q1 et Q2, représentant les liens entre les items et ces habiletés, ont été ensuite élaborées. Avec ces deux matrices Q, nous avons modélisé des données avec les modèles DINA et G-DINA permettant d'évaluer l'ajustement des modèles aux données et d'estimer la qualité diagnostique des items ainsi que les profils de maitrise des habiletés des élèves.
Quant au deuxième objectif de l'étude, un panel d'experts de cinq membres ont élaboré trois formats de rapports à partir d’un profil-type. L'évaluation des rapports a été effectuée auprès de 98 enseignants au primaire, des conseillers pédagogiques et des orthopédagogues à l'aide d'un questionnaire administré en ligne portant sur la préférence, l'évaluation de la qualité et de la compréhension des rapports.
Les résultats obtenus nous suggèrent un format de rapport de préférence des participants, ce qui s'explique par la familiarité du type de graphique présenté. Cette préférence est constante peu importe des informations contextuelles. Les participants ont une évaluation très positive de la qualité des rapports, ce qui ne varie pas selon les variables contextuelles. Par contre, une différence significative se trouve entre l'évaluation de la qualité et la préférence des rapports. Les participants qui évaluent leur format préféré ont des perceptions plus positives. Quant à la compréhension, des participants ont une très bonne compréhension de trois formats de rapports. Le groupe comprennent mieux les rapports sont ceux dont l'évaluation de la qualité est plus positive.
Les résultats de l'étude mettent en évidence la possibilité de recevoir des rétroactions plus fines et détaillées sur les forces et les faiblesses des élèves des épreuves à grande échelle à travers des rapports accessibles, fiables et compréhensibles. Notre étude est la première qui applique un cadre de référence de l'élaboration et de l'évaluation des rapports dans une approche diagnostique cognitive et contribue donc à favoriser le soutien de l'apprentissage en lecture au primaire.
