Mauvaise copie : « Le Questionnaire à Choix Multiples », Un article de Wikipédia, l’Encyclopédie Libre.
Article paru le 16 juil, 2010
WIKIPÉDIA, l’encyclopédie libre est devenue la référence encyclopédique sur Internet la plus facile d’accès et la plus consultée au monde. L’autorégulation de sa très large communauté pluri-linguiste permet aujourd’hui un contenu de relativement bonne qualité, bien qu’il faille rester prudent vis-à-vis des informations qui y sont rédigées.L’article en français disponible sur le « Questionnaire à choix multiples » (consulté le 11 Juillet 2010) est un exemple des plus frappants. Quelle surprise de voir la violence avec laquelle les auteurs prennent à total contrepied le rôle du wikipédien lorsqu’il s’agit de QCM. A défaut de rédiger un article collaboratif éclairé, les auteurs s’allient pour faire émerger un point de vue : celui dominant spécifiquement en France d’une minorité opposée au QCM qui semble au surplus ignorer tout de son « chat noir ».
Nous proposons de mener l’enquête pour voir ce que nous apprend cet article sur ce point de vue « français » au sujet des QCM.
1. Le questionnaire à choix multiples : définition de Wikipédia et remarques contrastives
Pour la clarté de la présentation de notre critique, nous citerons la définition disponible sur WIKIPÉDIA, que nous identifierons en bleu, soulignant ce avec quoi nous ne sommes pas d’accord et ferons nos remarques en vert.
Nous encadrerons en rouge sans autre commentaire les expressions péjoratives ou partisanes qui « parlent » d’elles-mêmes.
L’article commence ainsi :
Un questionnaire à choix multiples (ou QCM) est un questionnaire dans lequel sont proposées plusieurs réponses pour chaque question. Une ou plusieurs de ces réponses sont correctes.
Jusque là tout va bien.
Il peut être utile dans un didacticiel sommaire à la Crowder.
Encore faut-il savoir ce que cela signifie. CROWDER soutient l’idée qu’il faut laisser une erreur se manifester pour permettre à celui qui l’a commise de pouvoir l’analyser et la rectifier. Un didacticiel basé sur ce fondement propose à l’élève une question avec plusieurs réponses. Parmi ces réponses, une ou plusieurs est juste ; les autres sont des distracteurs dont la pertinence doit être mesurée. Cela peut se faire par l’observation des erreurs récurrentes en cours, ou bien au moyen d’un QCM test avec lequel pourra être mesuré le degré de crédibilité d’un distracteur [1].
Utilisé comme moyen d'évaluation massive,
Dans les pays étrangers, le QCM est également utilisé pour évaluer et suivre le travail d'élèves sur des effectifs plus réduits (à l'échelle d'une classe dans le secondaire par exemple).
cet expédient fait bénéficier le correcteur d'un traitement rapide et facile à automatiser.
Qu’est ce qui autorise les auteurs à traiter d’"expédient" un système de contrôle qui a produit la majorité des NOBEL actuels (en majorité anglo-saxons) et qui est largement présent dans tous les systèmes éducatifs.
(il existe depuis très longtemps des masques de correction perforés à l'emplacement des bonnes réponses : il suffit de compter les trous noircis).
Là, les « auteurs » montrent qu’ils n’ont simplement jamais conçu, ni corrigé un seul QCM, ni surtout réfléchit à ce qu’ils écrivent, car avec la « technique de correction » telle que décrite, il suffirait de cocher toutes les cases pour avoir la note maximale.
Le candidat ne peut pas donner de réponses personnelles et peut choisir ses réponses au hasard. De plus, il n'a pas à justifier sa réponse. Ainsi, un QCM permet rarement d'évaluer le raisonnement du candidat : c'est le degré zéro de l'analyse de réponse.
Le raisonnement du candidat peut être évalué, de même que tout type de compétences : il suffit pour cela de construire la question adaptée. Pour attester du bon raisonnement du candidat, on peut par exemple construire une question comportant un objet à analyser dans le libellé de la question (graphique, carte géographique, tableau…). Voilà deux exemples simples :
.jpg)
Corrigé : Il faut additionner les chiffres figurant sur les cartes des deux premières colonnes pour obtenir la somme de la troisième avec la carte C. La carte D peut induire le candidat en erreur puisque le calcul donne une valeur juste, mais la couleur changeant dans les deux premières lignes, la réponse C s’impose pour respecter la même « logique ».
.jpg)
Corrigé : Il s’agit d’établir la relation logique entre les deux énoncés fournis dans le libellé. La réponse C peut induire le candidat en erreur puisqu’il s’agit d’une réponse potentiellement possible, mais dont on ne peut affirmer la réponse juste ici compte tenu du manque d’informations fournies dans le libellé.
Les deux exemples présentés ici montrent bien qu’il est nécessaire pour le candidat d’analyser le libellé de la question et de raisonner pour pouvoir trouver la réponse juste.
Autre défaut majeur, en particulier pour les systèmes informatisés : la possibilité de passer plusieurs fois le même QCM ouvre la voie au succès par répétition, même si on ne comprend rien.
Pourquoi aborder ce point de manière négative ? Le fait de pouvoir repasser un QCM bien conçu, c’est-à-dire comprenant un corrigé sur chaque réponse, peut au contraire permettre à l’élève d’assimiler des connaissances, en s’y exerçant régulièrement.
Il existe une abondante littérature destinée à se prémunir contre une partie de ces défauts.
Soyons sérieux, cette « littérature » s’intéresse à faciliter les apprentissages et à assurer une évaluation objective et précise des acquis, non à chasser des « défauts ». Les auteurs la connaissent-ils ? Aucune référence n’est proposée (voir par exemple : "Writing multiple choice item which require comprehension", "Designing and Managing MCQs" ou "Improving Multiple-Choice Test").
au moment de la conception :
- augmenter le nombre de réponses proposées à chaque question
4 ou 5 propositions maximum suffisent, il n’est en général pas utile d’en ajouter plus.
- introduire un distracteur (réponse plausible et attirante mais fausse pour tromper le truqueur) augmenter le nombre de réponses proposées à chaque question
Il ne s’agit pas de tromper « le truqueur ». Il s’agit de vérifier que l’élève a bien assimilé la réponse juste.
- poser la même question sous des formes différentes, ou basées sur des interdépendances, espérant que le truqueur donnera des réponses incohérentes qui le démasqueront.
Il ne s’agit pas de piéger ni de démasquer le « truqueur ». Il s’agit surtout de s’assurer que l’élève a bien compris la réponse. Pour cela, l’enseignant peut effectivement concevoir des ensembles de questions à mettre en regard afin de contrôler qu’il n’y a pas de contradictions dans les réponses de l’élève.
- veiller à un ordre aléatoire des réponses : ne pas mettre la bonne toujours à la même place…
au moment de l'évaluation :
Ou plutôt au moment de l’analyse des résultats ?
On propose souvent une formule tenant compte des probabilités :
Exemple simpliste :
10 questions à deux réponses dont une de juste. On ne tiendra compte que des réponses justes au-delà de la cinquième, considérant qu'un score de 5 peut être le fruit du hasard.
Comment peut-on décréter cela ? Que fait-on alors des élèves en difficultés réelles ? Certes, le hasard peut jouer. Il convient donc d’une part de ne pas chercher à introduire de pièges dans la conception des questions. L’objectif est avant tout de vérifier que l’élève a compris et de lui apporter une aide le cas échéant. D’autre part, il est nécessaire de baliser le questionnaire (au moyen d’ensembles de questions de contrôle par exemple) de manière à ne pas fausser l’analyse des résultats. Pour ce qui est de l’analyse des résultats, les technologies permettent de faciliter cela (consultez le tutoriel du module proposé par NEOPTEC).
Ceci est cependant difficile à mettre en place lorsque le nombre de réponses possibles par question est variable.
On remarquera que ces techniques sont semblables à celles utilisées dans les enquêtes et les sondages.
Non. Cela est vrai pour les questions de contrôle, par contre cela est faux à plusieurs autres niveaux. Une question pédagogique définit une réponse juste et une réponse fausse. A l’inverse, une question de satisfaction ou d’information posée dans une enquête ne contient ni réponse juste, ni réponse fausse. Ainsi, le barème associé à la question dans l’un et l’autre cas diffère.
Dans la plupart des examens ou concours, une bonne réponse entraîne une bonification de points, et une mauvaise réponse entraîne un malus de points, généralement inférieur à la bonification apportée par une bonne réponse. L'absence de réponse est quant à elle généralement sans effet sur la note. Il est ainsi possible d'obtenir une note négative. Notez que ce genre de questionnaires sont communément appelés "qcm à coefficient de sécurité".
En France, le questionnaire à choix multiples est utilisé en université, et depuis juin 2004 pour une partie de l'épreuve de mathématiques au baccalauréat. Il est aussi utilisé dans les concours d'entrée des grandes écoles après le baccalauréat.
Nous ajoutons que le principal avantage du QCM est de permettre de créer une base de travail pédagogique en perpétuelle évolution. L’évaluation basée sur la dissertation demande un travail répétitif et individualisé à chaque correction. Cela ne permet pas de façon pragmatique de réutiliser (et donc d’améliorer) le contenu des explications aux élèves. Les QCM peuvent s’enrichir de chaque nouvelle expérience pour permettre :
- d’améliorer un distracteur qui permette de mieux saisir les difficultés de compréhension
- d’améliorer le corrigé de la question par des retours d’information en fonction de la réponse choisie (« feedback »).
De plus, ce travail d’amélioration a l’avantage de pouvoir se faire de façon collaborative. Et à l’image d’internet (et de Wikipédia), nous pouvons imaginer la puissance d’un tel outil d’évaluation.
Mais le fait de disposer d’un tel outil, permettrait d’avoir un regard objectif sur la qualité de l’évaluation d’un professeur, ce qui constitue peut-être le principal frein à la pratique de cette technique…
2. L’opposition au QCM : une spécificité à la française
2.1. Une différence culturelle notoire
Que ce soit en anglais, allemand, italien ou dans toutes les langues disponibles, la page de définition du QCM sur WIKIPÉDIA est radicalement différente de la page francophone : mieux fournie, elle propose une définition juste, expose les avantages et inconvénients de la technique. Des liens sont également disponibles pour donner un aperçu des outils qui permettent de créer et de corriger des QCM.
En Français, l’article comporte de nombreuses erreurs et adopte surtout un point de vue très majoritairement négatif. Dans la communauté francophone, les canadiens ont pourtant largement recours à la technique du QCM. Cela s’explique sans doute par l’influence de la culture américaine. En France, une imperméabilité la plus totale règne autour du mépris du QCM et la page de WIKIPÉDIA semble faire la chasse à tout outil professionnel du domaine.
2.2. Aucune régulation de la part de la communauté francophone
L’historique des modifications de l’article sur Wikipédia nous permet d’étudier les évolutions du document. L’article a été créé le 18 septembre 2004 à l’état d’ébauche (simple définition) et les dernières modifications datent du 5 juillet 2010. 77 modifications intermédiaires ont été réalisées par une cinquantaine d’auteurs différents.
En remontant dans cet historique, on s’aperçoit que l’article est en l’état actuel depuis le 20 juin 2006. Depuis 4 ans, le peu de modifications apporté à la page n’a fait qu’améliorer le style ou rectifier certaines phrases trop floues. Il est frappant de voir qu’aucun ne s’est étonné du parti pris explicite de cet article. Cela rend manifeste :
- le peu d’intérêt manifesté à l’égard du QCM par beaucoup de français ;
- l’absence de connaissances à ce sujet ;
- l’absence de toute volonté d’apprendre ce qu’est un QCM, à quoi il sert et comment il se conçoit.
2.3. La prédominance historique de l’Art de la Parole et de la Rhétorique en France
Les pratiques d’enseignement en France se sont construites sur la base des enseignements des Sept Arts Libéraux. Deux parties partagent ces enseignements :
- le Trivium (= Pouvoir de la langue, se compose de la Grammaire, la Dialectique, la Rhétorique) d’un côté ;
- le Quadrivium (la science des mathématiques qui se compose de l’arithmétique, la musique, la géométrie et l’astronomie) de l’autre.
Les pratiques d’évaluation qui vont se développer au 17ème siècle seront d’abord orales, comprenant par exemple le chant, la récitation par cœur, la lecture, l’écriture et le calcul. Ce n’est que bien plus tard avec la massification des effectifs dans les établissements scolaires que l’évaluation des connaissances va se faire par écrit.
Le Baccalauréat créé en 1808, verra apparaître sa première épreuve écrite en 1830 pour la composition française ou traduction ou la traduction d’un auteur classique, alors que les autres disciplines continueront à être évaluées à l’oral.La transition des épreuves orales vers les épreuves écrites pour l’ensemble des matières se fera sur le modèle de l’oral avec des questions ouvertes ainsi que par la dissertation. Ainsi, le rôle privilégié accordé à la manière de s’exprimer du candidat reste un critère d’évaluation déterminant dans les pratiques d’évaluation en France.
Pour autant, l’Art de s’exprimer à l’oral comme à l’écrit n’est plus enseigné aujourd’hui et les connaissances enseignées sont finalement moins évaluées que le savoir-faire de la rédaction. L’élargissement des méthodes d’évaluation apparaît donc plus que nécessaire dans ces pratiques pour le moins conservatrices.
3. Pour conclure
Le QCM présente en effet des opportunités reconnus pour l’ensemble des systèmes éducatifs des pays voisins. Il ne représente toutefois pas un mode d’évaluation unique mais s’inscrit dans un continuum entre l’oral, la dissertation ou l’exercice pratique. Pour autant, ce moyen reste le grand absent des pratiques en France et subit même la critique collective et unanime de ses réfractaires.
Le QCM joue pourtant un rôle essentiel dans le processus d’apprentissage de l’élève, lui permettant de vérifier sa compréhension et son assimilation du cours. Pour l’enseignant, le QCM permet d’une part de vérifier que les élèves ont bien compris son cours ; d’autre part de pouvoir isoler les connaissances du cours dans un devoir rédactionnel ou à l’oral.
En effet, la correction d’un devoir rédactionnel entraîne un nécessaire recours à la technique du QCM pour pouvoir identifier les connaissances restituées et attribuer les points correspondant. Sans cela, la correction portera tout au mieux sur le style de la rédaction et fournira un simple avis de la part du correcteur sur le devoir.
La compétence de l’enseignant pour la conception de questions à choix multiples sur son cours est donc essentielle pour lui permettre de cibler ses attentes, faciliter sa correction et favoriser son impartialité pour toute forme d’évaluation (oral, rédactionnel, cas pratique…). Par conséquent, il serait de bon ton que les français, chez qui les performances des élèves se dégradent depuis plusieurs années, acceptent de s’ouvrir aux techniques et aux outils éprouvés pour l’évaluation pédagogique.
Jean-Pierre MOUSSETTE,
Camille CAPELLE.
Ressources :
Manuel des Annexes : réalisation d'un questionnaire automatisable et présentation des barèmes de notation, NEOPTEC.
Publié dans Ethnographie, Tests de mesureMots-clefs :compréhension distracteur feedback pédagogie QCM Wikipedia
Bonjour :) Pourquoi, plutôt que de rédiger cette (très bonne à mon avis) critique d'un (à mon avis très mauvais) article, ne l'avez-vous pas directement modifié ?
Je souhaite dans un premier temps pointer du doigt le fait que le QCM, qui possède pourtant des avantages reconnus pour l'évaluation formative, n'est que très peu utilisé en France… Cette technique si elle était pratiquée à grande échelle et de manière régulière, permettrait pourtant d'établir un réel suivi des connaissances des élèves, de détecter leurs difficultés et d'aider à y remédier.
Je cherche donc à comprendre ce qui fait que les enseignants s'intéressent aussi peu à ce type de techniques pédagogiques…