Quentin Vidal
OCDE
Perspectives de l’OCDE sur l’éducation numérique 2023
Vers un écosystème numérique efficace
OECD Digital Education Outlook
Abstract
Ce chapitre propose une vue d'ensemble de la numérisation des évaluations nationales ou centrales dans les pays et juridictions de l'OCDE. Il examine les perspectives qu’ouvrent les nouvelles technologies et les données intelligentes en matière de transformation des pratiques d'évaluation, puis les compare à ce que les pays et juridictions exploitent réellement dans le cadre de ce virage numérique. Évoluant entre ce qui est possible et ce qui se fait en pratique, ce chapitre explique pourquoi la majorité des tests à l'échelle du système sont désormais numérisés, tandis que les examens à enjeu élevé pour les élèves restent principalement sur support papier. Enfin, il émet plusieurs recommandations à l'intention des responsables politiques afin qu'ils puissent se doter d'un écosystème d'évaluation numérique efficace.
Dans un paysage de l'enseignement en constante évolution, la définition des politiques et pratiques éducatives s'appuie essentiellement sur une évaluation efficace des résultats d'apprentissage des élèves ainsi que sur l'évaluation permanente de la capacité des systèmes d’éducation à fournir un enseignement de qualité et à assurer l'égalité des chances pour tous.
Il existe deux principaux types d'évaluation à l'échelle individuelle et de la classe, à savoir les évaluations formatives et les évaluations sommatives. Les évaluations formatives sont un processus continu qui consiste à évaluer et à fournir un retour d’information sur l’apprentissage des élèves tout au long de leur parcours scolaire. Elles visent à suivre les progrès des élèves afin de leur proposer des pistes d'amélioration et d'orienter les décisions pédagogiques pour améliorer les résultats d'apprentissage. Dans les pays et juridictions où les évaluations formatives constituent déjà une pratique intégrée au sein de la classe, les enseignants utilisent généralement des questionnaires, des exercices, des projets ou des discussions en classe pour mesurer les progrès des élèves. Les évaluations sommatives permettent, quant à elles, de mesurer les résultats d'apprentissage globaux des élèves pour déterminer, à la fin d'une période d'apprentissage définie, le niveau de maîtrise d'objectifs d'apprentissage spécifiques. Pouvant revêtir la forme d'un examen final ou de fin d'année, elles englobent cependant toutes sortes d'évaluations, y compris celles données par les enseignants, qui ont essentiellement pour but d’évaluer l'apprentissage des élèves. C'est ce type d'évaluation qui fait l'objet de ce chapitre.
Dans l'ensemble d'un système d’éducation, les pays et juridictions ont souvent recours aux évaluations sommatives pour évaluer les principaux résultats d'apprentissage des élèves ainsi que la qualité et l'équité de leur système éducatif. Au niveau central ou de la juridiction, ces évaluations peuvent prendre la forme d'un examen ou d'un test. On fait souvent passer les examens à la fin de l'enseignement primaire ou secondaire. Ils constituent des épreuves à enjeu élevé pour les élèves, car ils déterminent leur passage au niveau d'enseignement supérieur ou leur procurent une qualification avant leur entrée sur le marché du travail. Parmi les autres types d'évaluation à l'échelle du système figurent les tests standardisés qui visent à mesurer les compétences de cohortes entières d'élèves dans des matières spécifiques, telles que la compréhension de l'écrit, les mathématiques ou les sciences. Les pays et juridictions peuvent administrer ces tests à l'aide d'une méthode fondée sur le recensement, selon laquelle tous les élèves de cohortes données sont évalués dans les mêmes matières, ou en utilisant un échantillonnage probabiliste, où seul un échantillon représentatif d'élèves est évalué dans chaque matière.
La numérisation ouvre des perspectives, mais présente également des défis pour l’administration des examens et des tests. Les évaluations numérisées (ou informatisées) se caractérisent par leur adaptabilité, en permettant de personnaliser le niveau de difficulté des questions en fonction des réponses apportées pour évaluer les compétences de manière plus précise (voir l'Encadré 4.1). Grâce à diverses méthodes, elles permettent d'évaluer des compétences traditionnelles ou nouvelles. Des rétroactions immédiates donnent aux élèves la possibilité d’identifier les domaines qu'ils maîtrisent et ceux dans lesquels ils éprouvent des difficultés, favorisant ainsi un apprentissage plus précis et plus personnalisé. Générée à partir de l'examen des données de journal, l'analyse de l’apprentissage offre des informations dont la portée va au-delà des résultats finaux de l'évaluation, car, outre le fait de savoir si un élève a donné la bonne réponse, elle permet de comprendre le processus de réflexion qu'il a suivi (OECD, 2021[1]). Les évaluations numériques sont également souples et accessibles, elles s’adaptent à diverses situations d'apprentissage et ont notamment contribué à garantir la continuité des évaluations lors de la crise du COVID-19 et des fermetures d'établissement qui ont eu lieu dans le monde entier (OECD, 2020[2]). Enfin, elles s'avèrent parfois rentables, grâce à une réduction des dépenses liées à l'automatisation (de certaines composantes du processus de notation, par exemple), à la reproduction ainsi qu'à une baisse des coûts d'impression et de diffusion. Toutefois, l'expérience nous apprend que la mise au point d'évaluations numériques valides, fiables et équitables peut ne pas être rentable lorsqu'il s'agit d'évaluer des construits simples (Buckley et al., 2021[3]).
La conversion numérique des évaluations présente toutefois des défis pour les pays et les juridictions. La fiabilité de l'infrastructure technologique, la protection des données et les mesures de sécurité ainsi que les inégalités d'accès face à la fracture numérique, sont autant d'obstacles (voir (Fragoso, 2023[4])). De surcroît, la conception d'items d'évaluation numérique fiables, valides et conformes aux objectifs éducatifs est un processus complexe, à plus forte raison lorsqu’il s’agit d'examens à enjeu élevé qui nécessitent l'adoption de solutions innovantes pour répondre aux problèmes de tricherie. Le passage aux évaluations numériques impose donc de disposer d'une solide infrastructure numérique qui inclut toutes les personnes qui la composent. La formation initiale et le développement professionnel des enseignants sont la base d'une bonne conception et d'une mise en œuvre efficace (voir (Foster, 2023[5])).
Les évaluations numériques présentent des avantages et des inconvénients. Parmi les avantages les plus évidents figurent la possibilité d'une correction et de retours d'information rapides, avec une réduction des erreurs et des biais humains, et le fait qu'elles permettent d’alléger, au moins en partie, la charge de travail des enseignants (Leaton Gray et Kucirkova, 2021[6]). Les tests adaptatifs ou les dispositifs perfectionnés permettant de suivre les progrès scolaires sur une longue période constituent d'autres avantages plus techniques (Veldkamp et Sluijter, 2019[7]). S'agissant des défis à relever, citons notamment ceux relatifs à la collecte, à l'utilisation et au stockage des données (Timmis et al., 2015[8]). Des questions éthiques se posent également en matière d'inégalité, car on ne peut tenir pour acquis que l'ensemble des enseignants et des élèves dispose des compétences nécessaires pour utiliser les logiciels/dispositifs technologiques. Cela peut se refléter dans les résultats d'évaluation des élèves (Wyatt-Smith, Lingard et Heck, 2021[9]). D'autres défis se posent concernant certaines évaluations améliorées par la technologie. Par exemple, la correction d’évaluations à l'aide d'algorithmes peut s'avérer moins transparente et difficilement vérifiable, notamment dans le cas de l'apprentissage automatique (correction des dissertations des élèves) (Veldkamp et Sluijter, 2019[7]).
En Angleterre (Royaume-Uni), l'Office of Qualifications and Examinations Regulation (Ofqual) s'est penché sur les cas de la Finlande, d'Israël et de la Nouvelle-Zélande dans le cadre de son examen sur l'informatisation des épreuves (Ofqual, 2020[10]). Selon cette étude, une mise en œuvre fructueuse va obligatoirement de pair avec une forte propension au risque. Les diverses parties prenantes doivent en effet reconnaître et accepter que certains problèmes peuvent survenir et comprendre qu'une partie du processus repose sur l'apprentissage par la pratique. Dans ce contexte, chaque pays et juridiction a adopté une méthode différente. Par exemple, la Nouvelle-Zélande a utilisé une approche progressive basée sur le volontariat. Si la mise en œuvre a demandé plus de temps, elle a également permis à l'opinion publique d'évoluer de façon à garantir une vision favorable de la part des futurs utilisateurs. Les problèmes techniques ont pu facilement être surmontés grâce à la possibilité de revenir aux épreuves sur papier. La double administration des évaluations, dans leurs versions papier et informatisée, est néanmoins l'inconvénient de cette approche avec le risque de favoriser ou défavoriser injustement certains groupes d'élèves. Les biais liés au mode d'administration des épreuves peuvent, à terme, nuire à la comparaison des performances (McClelland et Cuevas, 2020[11]) ; (Kolen et Brennan, 2014[12]) ; (Sandene et al., 2005[13]). Un autre exemple est celui de l'Australie qui a mené un important programme de recherche et développement, tant en amont de l'informatisation de ses tests NAPLAN qu'au cours du processus.
Les épreuves adaptatives se révèlent efficaces, car les élèves ne gaspillent ni leur temps ni leur énergie à répondre à des questions dont le niveau de difficulté est trop faible ou trop élevé pour eux. Dans la mesure où les participants répondent uniquement aux items adaptés à leur niveau de compétence, la durée de l'évaluation peut être écourtée par rapport à une évaluation de type linéaire et les délais d'administration peuvent, le cas échéant, être plus souples en raison de la personnalisation des épreuves (Veldkamp et Sluijter, 2019[7]). En parallèle, d'après certaines études internationales, les participants font état d'un sentiment de découragement après avoir passé des épreuves adaptatives, ce qui peut amoindrir leur motivation et leur sentiment d'efficacité personnelle à l'égard de l'apprentissage (Kimura, 2017[14]). En outre, les évaluations adaptatives nécessitent de disposer d'une importante banque d'items, entraînant une hausse des coûts de développement (OECD, 2013[15]). La récente percée dans le domaine de l’IA générative (de texte) pourrait toutefois permettre d'alléger certains de ces coûts à l'avenir. Par ailleurs, il pourrait s'avérer compliqué d'expliquer aux élèves et à leurs parents pourquoi tous les élèves ne sont pas évalués de la même manière et comment les résultats obtenus devraient être interprétés (Somers, 2021[16]).
Source : tiré de l'ouvrage (OECD, 2023[17]) intitulé « Strengthening the design and implementation of the standardised student assessment reform of the Flemish Community of Belgium » (Renforcer la conception et la mise en œuvre dans la Communauté flamande de Belgique de la réforme sur les évaluations standardisées des élèves), OECD Education Policy Perspectives, N° 72, Éditions OCDE, Paris, https://doi.org/10.1787/85250f4c-en.
Ce chapitre donne une vue d'ensemble du recours toujours plus important aux outils numériques pour administrer divers types d'évaluations. La première section porte sur la numérisation des tests standardisés, avec une analyse des motivations qui amènent les pays et juridictions à passer d'une administration sur papier à une version informatisée et une présentation des défis à relever. La deuxième section est axée sur les examens numériques (à enjeu élevé) et explique les raisons pour lesquelles ils sont moins souvent numérisés que les tests. La troisième section propose enfin un tour d'horizon des systèmes numériques développés par les pays et les juridictions pour favoriser l'administration, la notation et le traitement de plusieurs évaluations qu'elles soient ou non numérisées. En conclusion, le chapitre propose une réflexion sur les tendances en matière de numérisation des évaluations, il fait le point sur les transformations (jusqu'à présent limitées) que la numérisation a entraînées, puis il imagine ce que les pays pourraient faire à l’avenir pour profiter des avantages innovants qu’offrent les évaluations numériques.
Notre analyse comparative porte sur 29 pays et juridictions de l’OCDE, qui ont été invités à répondre à une enquête sur l'éducation et l'infrastructure numériques. Leurs réponses ont été validées lors de réunions organisées avec chaque équipe nationale puis enrichies à l'aide de recherches documentaires pour décrire, dans chaque cas, l'infrastructure d'éducation numérique et sa gouvernance (voir la publication connexe (OECD, 2023[18])). La majorité des pays et juridictions ayant pris part à notre collecte de données ont mis au point des outils numériques pour évaluer les élèves ou contribuer à leur évaluation (voir le Graphique 4.1). Sur les 29 pays et juridictions à l'étude, 18 (soit près des deux tiers) administrent à l'échelle du système des tests standardisés intégralement ou partiellement numérisés, dont deux pays fédéraux dans lesquels l'ensemble ou la quasi-totalité des États ou autorités régionales évalue les élèves à leur niveau. Par ailleurs, 7 pays et juridictions ont procédé à la numérisation partielle ou totale de certains de leurs examens à enjeu élevé, et 16 ont élaboré des outils numériques pour faciliter l'administration des évaluations, indépendamment de leur format.
Remarque: N=29
Numérisation des tests standardisés
Les tests standardisés des systèmes d’éducation sont généralement le premier type d’évaluation que les pays et juridictions ont numérisé et le type d’évaluation numérisée (et administrée par les pouvoirs publics) le plus courant en 2024. Ces tests sont souvent assez courts et d'ordinaire composés de questions fermées pour faciliter une participation des élèves et une notation généralisée à l'échelle du système dans chaque juridiction. Administrés de manière cyclique et répétée dans le temps (dans leur intégralité ou partiellement), ils visent à évaluer les tendances de quelques résultats clés limités, en littératie (dans la ou les langues nationales), en numératie et, parfois (comme en Italie, en Norvège et en Suède), dans d'autres matières telles que l'anglais en tant que langue étrangère. Si ces tests peuvent représenter un enjeu pour un établissement et son personnel, ce n'est pas le cas pour l'élève (ou très peu), car les résultats sont uniquement analysés à l'échelle de la classe, de l'établissement ou de la juridiction. C'est pour toutes ces raisons que les tests standardisés semblent plus faciles à numériser que les examens traditionnels.
Couverture numérique dans les pays et principales caractéristiques
Ces deux dernières décennies, un nombre croissant de systèmes éducatifs ont déployé leur propre test standardisé pour l'évaluation des acquis des élèves. Ces tests nationaux standardisés sont passés dans la plupart des pays au sein de l'OCDE, y compris dans ceux dont la gouvernance de l'éducation est fortement décentralisée et assurée par les autorités régionales ou locales (respectivement, dans les pays fédéraux et les pays nordiques).
Selon les données tirées de l'ouvrage de l'OCDE Regards sur l’éducation 2023, les tests nationaux ou centraux sont plus fréquents dans l'enseignement primaire et le premier cycle de l'enseignement secondaire que dans le deuxième cycle de l'enseignement secondaire (OECD, 2023[19]). En effet, 80 % des pays et juridictions à l’étude dans cet ouvrage (soit 33 des 39 pays et juridictions dont les données sont disponibles) en font au moins passer un dans l’enseignement primaire. La proportion est du même ordre dans le premier cycle de l’enseignement secondaire (32 pays et juridictions). Il n’en va pas de même dans le deuxième cycle de l’enseignement secondaire, où ces tests ne sont administrés que dans 14 pays et juridictions, soit moins de 40 % d’entre eux. Les tests nationaux ou centraux sont programmés dans différentes années d’études de l’enseignement primaire et secondaire. On les fait souvent passer 6 et 9 ans après le début de l’enseignement primaire (c’est le cas dans 19 pays et juridictions). Avant 2023, la dernière fois que les informations sur les tests centraux ou nationaux mis en place par les pays ont été collectées date de 2015, pour la publication de Regards sur l'éducation. Les deux éditions de l'ouvrage ont toutefois permis de recueillir des données sur le recours à la technologie numérique pour les tests nationaux ou centraux dans trois matières : la compréhension de l'écrit, l’expression écrite et la littérature ; les mathématiques ; et les sciences naturelles. Entre 2015 et 2023, le nombre de pays et juridictions ayant numérisé leurs tests nationaux ou centraux pour au moins un niveau d’enseignement a presque triplé, passant de 8 à 21. La numérisation des épreuves a été particulièrement marquée au cours des cinq dernières années, comme au Canada et en France depuis 2019, et en Corée et en Hongrie depuis 2022. Plusieurs autres systèmes prévoient également un processus de numérisation dans les années à venir, comme la Communauté française de Belgique ou l’Allemagne.
Sauf indication contraire, la suite du chapitre portera uniquement sur les 29 pays et juridictions ayant participé à la collecte des données réalisée spécialement pour l'ouvrage Perspectives de l’OCDE sur l’éducation numérique 2023.
Remarque: N=29
Sur les 29 systèmes d’éducation pour lesquels nous disposons de données comparables, 24 administrent des tests nationaux ou centraux, dont 18 sont partiellement ou entièrement numérisés, soit près des deux tiers de l'ensemble des pays et juridictions à l'étude, et trois quarts de ceux disposant de tests standardisés, comme le montre le Graphique 4.2. La partie gauche du Tableau 4.1 ci-dessous résume les informations relatives aux tests organisés à l'échelle centrale ou nationale.
Remarques:
✓ = indique que certaines composantes des évaluations (tests ou examens) sont numérisées.
✓+ = indique que certaines composantes de l'évaluation numérique (pas forcément la composante principale) intègrent une fonctionnalité innovante, telles que des épreuves adaptatives. Toutes les autres évaluations numériques ont recours à des épreuves uniformes.
✗ = indique l'existence d'une évaluation centrale ou nationale non numérisée.
* = indique que l'évaluation est administrée à un niveau infranational (p. ex. province, État, région).
1 : au Danemark, seule la composante facultative du test national des compétences Folkeskolen intègre des fonctionnalités adaptatives.
2 : en Angleterre (Royaume-Uni), les principaux tests standardisés sont les évaluations nationales basées sur les programmes d'enseignement administrées à la fin des niveaux 1 et 2. Ces évaluations ne sont pas numérisées.
Sur les 29 pays et juridictions pour lesquels nous disposons de données comparables, deux pays fédéraux ont procédé à la numérisation des tests standardisés qu'ils administrent ou coordonnent au niveau fédéral. Au Canada, toutes les provinces mettent en œuvre le Programme pancanadien d’évaluation (PPCE) qui s'adresse à tous les élèves scolarisés en 8e année (enseignement secondaire) et évalue leur niveau en compréhension de l'écrit, en mathématiques et en sciences. Dans les 10 provinces travaillant en partenariat avec le Conseil des ministres de l'Éducation du Canada (CMEC), on a sélectionné des échantillons d’élèves pour leur faire passer ce test afin que les résultats soient représentatifs de leur province. Outre ce, la majorité des provinces et territoires organisent également leur propre test selon une approche de recensement et parfois à l'aide de moyens numériques. Aux États-Unis, le test National Assessment of Educational Progress (NAEP) est intégralement informatisé : toutes les matières sont évaluées par l'intermédiaire d'une série de questions à réponses choisies, et le support numérique est également utilisé pour certains items qu'il serait compliqué d'administrer autrement, comme les tâches interactives basées sur des scénarios (lors de l'évaluation des compétences en technologie et ingénierie de 2018). La majorité (si ce n'est l'ensemble) des États et districts américains procède à des tests standardisés numériques. Au Mexique, autre pays fédéral, les tests standardisés étaient administrés à cet échelon et les résultats étaient ensuite conservés et transférés vers le Sistema Integral de Resultados de las Evaluaciones (SIRE), un système mis en œuvre en 2016 et connecté au système d'information scolaire fédéral, le SIGE (voir (Vincent-Lancrin et González-Sancho, 2023[20])). Ces tests ont cependant été interrompus.
Les pays nordiques ont depuis longtemps déjà procédé à la numérisation de leur test standardisé. En Finlande, le Centre d'évaluation de l'enseignement (FINEEC) évalue des échantillons d'élèves scolarisés en 3e et 9e année (enseignement primaire et secondaire) sélectionnés de manière aléatoire pour assurer le suivi et l'évaluation du système d’éducation. En 2014, le FINEEC avait lancé une première expérimentation en numérisant certaines composantes des tests nationaux, avant d'opter en 2017 pour une numérisation complète avec l'instauration de sa propre plateforme d'évaluation numérique, Koda. Dans le cadre de son Plan national pour l'évaluation de l'éducation 2020-2023, la Finlande prévoyait de développer de nouveaux systèmes et de nouvelles méthodes d'évaluation pour proposer des tâches plus diversifiées et permettre la notation automatique. En Suède, l'Agence nationale pour l'éducation a également procédé à la numérisation du test administré à l'échelle nationale aux élèves de 6e et 9e année (enseignement primaire et secondaire). Depuis 2018, les questions ouvertes à réponses longues proposées dans le cadre de l'évaluation des langues suédoise et anglaise sont également informatisées. À l'horizon 2026, l'objectif est d'avoir entièrement numérisé la majorité des évaluations nationales et de les administrer via un environnement numérique unique qui permettra d'identifier directement les élèves, de concevoir des évaluations innovantes, d’automatiser la notation et de disposer d'outils de visualisation des résultats.
Quelques pays et juridictions encouragent activement le développement d'évaluations à l'approche conceptuelle innovante. Aux États-Unis, le ministère fédéral de l'Éducation promeut la mise en œuvre d'une évaluation innovante en incitant les organismes étatiques chargés de l'éducation à adhérer au programme AIDA (Innovative Assessment Demonstration Authority) et à améliorer les évaluations au niveau des États. Depuis 2018, la Louisiane, le New Hampshire, la Caroline du Nord et la Géorgie ont rejoint le programme qui les a habilités à créer et exploiter un système d'évaluations innovantes dans leurs établissements publics1.
Toutefois, les évaluations uniformes, où les mêmes items sont administrés à tous les élèves, sont aujourd'hui encore bien plus courantes que les évaluations adaptatives, où le degré de difficulté des items varie selon les aptitudes des élèves. Les épreuves informatisées sont uniformes dans 18 des 39 pays et juridictions à l’étude et ne sont adaptatives qu’en Australie (dans le test national de littératie et de numératie), au Danemark (uniquement dans les épreuves facultatives de sciences naturelles, d’anglais et de danois [deuxièmes langues]), en France (dans le test d'admission en deuxième cycle de l'enseignement secondaire) et en Écosse (Royaume-Uni) (dans le test national standardisé) (OECD, 2023[21]).
Si la possibilité de mettre en œuvre des éléments d'évaluation innovants constitue l'un des avantages de la numérisation des évaluations, la majorité des pays et juridictions n'en tire pas encore pleinement parti. À l'inverse, certains pays les adoptent avant de faire machine arrière en revenant à des formes d'évaluation plus traditionnelles (mais néanmoins numériques). Au Danemark, depuis 2022 et la mise en œuvre du test national de compétences Folkeskolen en compréhension de l'écrit et en mathématiques, la composante obligatoire des tests nationaux n'est plus adaptative. En effet, suite à des plaintes formulées par les chercheurs en éducation, les responsables des deux côtés de l'échiquier politique et une partie de l'opinion publique, le pays a décidé de revenir aux évaluations linéaires de sorte que tous les élèves répondent aux mêmes questions dans le même ordre. Les élèves ont indiqué être confrontés à un niveau de stress plus important face aux premières questions des évaluations adaptatives, car leurs enseignants les avaient prévenus que celles-ci détermineraient le reste de l'évaluation ainsi que leur résultat final. Par ailleurs, les enseignants ont eu du mal à expliquer pourquoi les élèves pouvaient se voir administrer différentes évaluations et comment les parents devaient interpréter les résultats. Jusqu'à l'année scolaire 2025/26, les élèves pourront toujours passer l'ancien test national adaptatif sur une base volontaire pour les matières suivantes : biologie, géographie, chimie, physique, anglais et danois en tant que deuxièmes langues.
La majorité des pays et juridictions qui font passer des tests standardisés sur papier prévoient d'en numériser au moins une partie en 2024. Par exemple, le Japon a pour objectif de numériser (plusieurs composantes de) son évaluation nationale des aptitudes scolaires (Zenkoku Gakuryoku Gakushuu Joukyou Chousa) d'ici à 2025. Tous les élèves scolarisés en dernière année de l'enseignement primaire et du premier cycle de l’enseignement secondaire passent ce test national standardisé à faible enjeu chaque année en mathématiques et en langue japonaise. De même, le Brésil envisage d'informatiser en 2024 son Système d'évaluation de l'enseignement fondamental (SAEB), en commençant par les élèves scolarisés en dernière année de l'enseignement primaire, et ce, jusqu'à la 3e année du deuxième cycle de l'enseignement secondaire (OECD, 2021[22]).
Enfin, les pays et juridictions qui ne disposent pas de tels tests standardisés à l'échelle centrale ou nationale, mais qui prévoient d'en développer, en envisagent généralement l’administration numérique dès le départ. Par exemple, d’ici 2024, la Communauté flamande de Belgique vise à élaborer et mettre en œuvre un test standardisé numérique pour favoriser le suivi des résultats d'apprentissage, générer des données à des fins de recherche et contribuer à l’amélioration de la qualité et de la responsabilité du système d’éducation. Ce test portera dans un premier temps sur les mathématiques et la langue néerlandaise. L’administration informatisée de ce test permettra de sélectionner de façon aléatoire trois compétences à évaluer dans une liste de dix compétences présentée à un établissement (par exemple, la théorie des nombres, la géométrie et les statistiques, dans le cas des mathématiques). Chaque élève de l'établissement en question sera évalué sur deux compétences choisies au hasard parmi les trois sélectionnées (par exemple, la théorie des nombres et les statistiques). Cette numérisation du test offrira ainsi la possibilité de couvrir l'ensemble des compétences, tout en limitant la lourdeur des tests pour les élèves comme pour les établissements2.
Convertir les résultats des évaluations en données formatives
La numérisation des évaluations simplifie la conservation, le transfert et la consultation des résultats des élèves à l'échelle du système. La possibilité de relier ces résultats à l'identifiant longitudinal propre à chaque élève fournit aux responsables politiques, aux administrateurs scolaires, aux chefs d’établissement et aux enseignants des informations détaillées sur les résultats d'un élève tout au long de son parcours scolaire. Cela n'est toutefois possible que pour les évaluations portant sur d'importantes cohortes d'élèves. Les évaluations administrées à partir d'un échantillonnage probabiliste fournissent néanmoins aux établissements et aux enseignants un point de comparaison à l'échelle nationale ou de la juridiction (à condition que les élèves puissent être évalués à l'aide d'épreuves comparables).
Parfois, les systèmes d’information scolaire (SIS) intègrent les résultats des élèves aux évaluations standardisées ou permettent d'y accéder facilement (voir (Vincent-Lancrin et González-Sancho, 2023[20])).
Sur les 29 systèmes d’éducation dont les données sont comparables, 15 peuvent relier l'identifiant unique d'un élève aux résultats obtenus à l’évaluation standardisée (voir le Tableau 4.1).
Certains systèmes d’information scolaire reposent essentiellement sur la gestion des résultats des tests standardisés. En Angleterre (Royaume-Uni), les résultats obtenus par les élèves aux tests nationaux standardisés sont transférés vers le système d'analyse de la performance des établissements (Analyse School Performance, ASP), un système d’information scolaire développé en collaboration avec le Bureau des normes dans l'enseignement (Ofsted) et depuis géré indépendamment3. Il aide les acteurs du secteur de l’éducation à examiner et comparer la performance des élèves à l'échelle locale et nationale, et à prévoir ainsi des plans d'amélioration des établissements. L'ASP vise principalement à aider les établissements à identifier leurs points forts et leurs domaines de performance (à partir des résultats de leurs élèves). Il contient également d'autres informations provenant de diverses sources, notamment des données sur le recensement, les examens et la performance collectées directement par le ministère anglais de l'Éducation ou transférées à ce dernier depuis d'autres sources. Le système propose des tableaux et des graphiques pour illustrer la performance et les progrès des établissements, en ventilant les résultats en fonction d'un ensemble de facteurs contextuels et caractéristiques des élèves (groupe ethnique, niveau de pauvreté, etc.). Les établissements peuvent à leur tour sélectionner des données pertinentes depuis la plateforme pour personnaliser leur propre rapport. Le type d'information accessible aux utilisateurs finaux depuis ce système dépend de leur rôle, par exemple les administrateurs et conseillers scolaires ne seront pas autorisés à consulter des données portant sur des élèves particuliers.
Aux États-Unis, les résultats obtenus par les élèves au test standardisé sont habituellement intégrés aux systèmes d'information longitudinaux des États (ou juridictions) sous forme de données. Par contraste, il arrive souvent que les pays européens ne conservent pas dans leur système d'information scolaire les données sur les résultats des élèves, ce qui restreint leur utilisation à des fins de recherche uniquement. Cela peut s'expliquer par des motifs institutionnels ou de confidentialité. Ainsi, en Italie et au Luxembourg, l'évaluation nationale est administrée par, respectivement, un organisme public particulier (INVALSI) et l'Université du Luxembourg (LUCET), sans que ces deux instances soient rattachées au ministère de l'Éducation (ou de l'Enseignement supérieur) qui gère le système national d’information. Dans les pays et juridictions où il est impossible d'accéder directement aux données depuis le système d'information scolaire (comme en Hongrie, en Italie, au Luxembourg et en Nouvelle-Zélande), les résultats aux évaluations standardisées sont généralement reliés à l'identifiant unique des élèves et on peut, par conséquent, les retrouver en croisant les données. Une fois les résultats correctement agrégés pour préserver l'anonymat, ils sont mis à la disposition des enseignants, des établissements, des parents et des chercheurs.
La Hongrie est un bon exemple de pays dans lequel l'évaluation des élèves fait partie intégrante du système d'information scolaire utilisé au niveau national, même si les résultats ne sont désormais plus directement disponibles dans le système. La Hongrie a commencé à collecter des informations en 2001 par l'intermédiaire de son Évaluation nationale des compétences de base, mais c’est seulement en 2007, avec l'instauration d'un identifiant propre à chaque élève, que le système a permis d'assurer un suivi longitudinal entre les différentes années d’études. Depuis 2010, le pays s'est efforcé de convertir ces données en informations exploitables pour les professionnels de l'éducation. Des rapports individuels sont par ailleurs disponibles sur chaque élève et les rapports d'ensemble sur les établissements peuvent être consultés par le public. Les chefs d’établissement peuvent se connecter à la base de données via le logiciel d'analyse FIT (FIT elemző szoftver) pour générer des rapports comparatifs personnalisés concernant leur établissement et leurs élèves, et établir des comparaisons avec des établissements similaires. En outre, l'Autorité scolaire, organisme rattaché au ministère de l'Intérieur, propose un service d'experts-conseils dans ses centres pédagogiques régionaux pour aider les établissements et les enseignants à comprendre les résultats et à les utiliser. En 2022, la littératie, les mathématiques, les sciences naturelles et les langues ont été évaluées, et le champ d'application des informations collectées est en passe d'être élargi (avec l'histoire et la culture numérique). Le système a également pris en compte davantage d'années d’études pour inclure les élèves de la 4e à la 11e année. Cet élargissement génère des résultats dans une nouvelle structure de données et exigera une mise à jour du logiciel d'analyse FIT. Actuellement, la communication des résultats fait également l'objet d'une révision.
Enfin, dans certains pays et juridictions, les résultats obtenus aux évaluations standardisées sont accessibles depuis les systèmes d’information scolaire utilisés dans les établissements (désignés sous le nom de systèmes de gestion de l'apprentissage dans ce rapport). Au Danemark, les élèves du deuxième cycle de l'enseignement secondaire passent les évaluations numériques sur la plateforme Netprøver, qui permet de manière automatique de détecter les cas de plagiats, d'attribuer aux élèves les notes données par les examinateurs habilités et de les transférer vers le système de gestion de l'apprentissage de leur établissement. En Nouvelle-Zélande, les relevés tabulaires des résultats des élèves à l'évaluation administrée dans le cadre de l'outil e-asTTle peuvent facilement être intégrés au système de gestion de l'apprentissage des établissements, associant ainsi les informations tirées des évaluations personnalisées aux données opérationnelles et administratives des établissements. Conçu à l'origine à des fins d'évaluation formative, l'outil e-asTTle a la capacité de traduire les résultats des évaluations en rétroactions rapides et faciles à interpréter à l'intention des enseignants et des chefs d’établissement, à l'aide d'une série de données graphiques. Ces données font état de la progression des élèves, de leurs points forts et de leurs points faibles, et permettent de comparer la performance des élèves, des classes ou des établissements par rapport aux exigences des programmes d'enseignement, des moyennes nationales, ou en tenant compte d'autres facteurs tels que le sexe, le groupe ethnique, la langue ou le milieu socio-économique. Citons, par exemple, le relevé du parcours d'apprentissage individuel qui offre des informations sur les points forts et les lacunes de chaque élève. Une autre application relie les résultats obtenus aux évaluations au site What Next, un centre de ressources classées qui aide les enseignants et les apprenants à cibler le matériel d'apprentissage approprié. Sans le recours à un outil numérique, il serait impossible de fournir des retours d'information personnalisés en temps réel.
Numérisation des examens des élèves
Dans ce rapport, on entend par examens les évaluations sommatives administrées aux élèves à des moments décisifs de leur parcours d'apprentissage, comme la fin d'une année d'études ou d'un cycle. Ces examens représentent un enjeu élevé pour les élèves, car ils peuvent influer sur la trajectoire scolaire, l'accès à l'enseignement supérieur, les débouchés professionnels, ou le droit de bénéficier d'une bourse d’études ou de se voir attribuer une certification. En outre, ils sont souvent administrés à tous les élèves au même moment. Pour toutes ces raisons, les examens se déroulent généralement dans un environnement plus contrôlé que celui des évaluations du système. Ils imposent en effet de prendre des mesures plus strictes pour éviter toute forme de tricherie et veiller à ce que tous les participants bénéficient des mêmes conditions d’examen. Ces examens peuvent également couvrir un plus large éventail de contenus et de compétences, car ils visent à évaluer un ensemble complet de savoirs et savoir-faire dans plusieurs matières. Par rapport aux tests nationaux, la numérisation des examens semble plus complexe tant d'un point de vue politique que technique.
La numérisation des examens à enjeu élevé pour les élèves présente d'autres avantages. Elle permet notamment une conception innovante de l’évaluation qui, à terme, pourrait favoriser l'évaluation de nouveaux types de compétences, notamment les compétences numériques. S'agissant des évaluations numériques nationales, les examens numérisés peuvent permettre d'obtenir les résultats plus rapidement et pourraient même servir de tests de fin de cycle à l'échelle nationale, à condition que les pouvoirs publics assurent la fiabilité, la validité et l'équité du processus d'évaluation.
Couverture numérique dans les pays
Sur les 29 systèmes d’éducation pour lesquels nous disposons de données comparables, 7 pays (soit 24 %) ont en partie numérisé certains de leurs examens à enjeu élevé pour les élèves (le Danemark, l'Estonie, la Finlande, l'Italie, la Lettonie, la Lituanie et la Nouvelle-Zélande). Dans 5 d'entre eux, cette numérisation concerne l'examen de fin d'études secondaires (voir les colonnes de droite du tableau 4.1). Dans d'autres pays et juridictions, seules les matières généralement administrées sur ordinateur, comme le codage, sont numérisées.
Au Danemark, les élèves passent leurs examens de fin de cycle sur la plateforme Testogprøver dans l'enseignement primaire et le premier cycle de l'enseignement secondaire, et sur la plateforme Netprøver pour ce qui est du deuxième cycle de l'enseignement secondaire. En Finlande, l'examen de fin d'études secondaires est intégralement numérisé (voir l'Encadré 4.2). En Estonie, les élèves de l'enseignement secondaire passent leurs examens en présentiel sur la plateforme en ligne Eksamite Infosüsteem (EIS). Ce système permet également aux établissements d'inscrire les élèves aux examens, de créer un calendrier des examens et de gérer d'autres aspects du processus en fournissant des outils pour imprimer les examens en cas de version papier-crayon, pour administrer les examens de manière numérique dans le cas contraire et pour procéder au traitement des résultats. En Italie, certaines composantes des examens de fin d'année à enjeu élevé dans le deuxième cycle de l'enseignement secondaire et la filière professionnelle sont administrées en ligne. Pour faciliter la gestion du processus d'examens, le ministère a développé deux applications pour l'enseignement secondaire et la filière professionnelle, respectivement, la Commissione Web et la Gestione Esami ITS.
Le fruit d'un partenariat public-privé
En 2012, la Finlande a décidé de numériser les examens d’entrée dans l'enseignement supérieur que passent les élèves à la fin de l'enseignement secondaire. À l'aide de fonds publics, le ministère a acheté les services d'une entreprise privée spécialisée dans les produits numériques pour développer une plateforme fonctionnant avec le système d'exploitation Linux gratuit et en accès libre. En 2016, après quatre années de recherche et développement, les premiers examens numériques ont été organisés dans des matières comptant un nombre de candidats peu élevé, à savoir la géographie, la philosophie et la langue allemande. En 2019, le pays avait procédé à la numérisation de l'ensemble des examens d'entrée à l'université.
Pour passer ces examens, les candidats peuvent utiliser leur propre ordinateur portable ou en emprunter un auprès de leur établissement ; indépendamment de l'option choisie, tous les élèves ont accès au système d'exploitation Linux à l'aide d'une clé USB distribuée avant le début des épreuves par le Conseil chargé des examens. Dans cet environnement autonome et restreint, les candidats ne peuvent accéder ni à leurs fichiers locaux ni à Internet, mais uniquement aux matériels et logiciels préinstallés. Pour minimiser d'éventuelles difficultés techniques, rien n'est stocké dans le cloud et tant les évaluations que les réponses des élèves sont enregistrées sur des serveurs locaux hors ligne.
L’apport du ministère : un outil numérique, le renforcement des capacités et un programme de formation
Pour soutenir les établissements dans ce virage numérique, le Conseil chargé des examens d'entrée à l'université a mis au point le système numérique Abitti pour l'administration des examens. Ce système propose des instructions et des conseils sur l'administration des examens numériques et permet aux enseignants et aux élèves de se familiariser avec l'environnement numérique en amont de l'examen. La numérisation des examens s'est accompagnée d'un important programme de formation assuré par le ministère selon une approche en cascade : 50 enseignants du pays ont reçu une formation sur l’utilisation de la plateforme lors d'une série d'ateliers afin qu'ils puissent à leur tour promouvoir cette conversion numérique et diffuser leurs connaissances auprès de leurs pairs.
Remarque : Examens numériques d'entrée à l'université : https://www.ylioppilastutkinto.fi/en/matriculation-examination/digital-matriculation-examination
D'autres pays et juridictions prévoient de numériser les examens de leurs élèves dans un futur proche. En 2024, l'Autriche expérimente un examen numérique d'entrée à l'université (Digitale Reifeprüfung) dans les établissements fédéraux du deuxième cycle de l'enseignement secondaire (filière professionnelle comprise). Ce processus de numérisation ira de pair avec le lancement imminent d'un système de certification numérique. En Angleterre (Royaume-Uni), tous les principaux conseils en charge des examens testent l'administration numérique pour les examens de fin du premier et du deuxième cycle de l'enseignement secondaire, respectivement GSCE et A-levels.
Par rapport à leurs tests nationaux ou centraux, peu de pays et juridictions ont, en 2024, numérisé les examens destinés aux élèves. Cela s'explique en partie par le fait que tous les pays n'organisent pas d'examens de fin d'études ou de fin de cycle à l'échelle nationale ou de la juridiction. Mais on peut également avancer d'autres explications.
En premier lieu, il peut s'avérer moins avantageux de numériser les examens que les tests nationaux. Les examens de fin de cycle peuvent couvrir un plus large éventail de matières, car ils visent à évaluer les connaissances et la maîtrise des élèves concernant des cycles d'apprentissage spécifiques, ce qui réduit les gains découlant de l'automatisation et de la reproduction au fil du temps.
En deuxième lieu, les examens représentent un enjeu élevé pour les élèves. Dans le passé, les tentatives d’innover dans ces examens, d'une manière ou d'une autre, ont suscité une levée de boucliers de la part des acteurs de l'éducation et du grand public. Les normes culturelles et les mentalités peuvent inciter à conserver les examens dans leur version papier-crayon traditionnelle, car un grand nombre d'acteurs dont les élèves, les parents, les professionnels de l’éducation et les employeurs peuvent avoir des réserves quant à la validité et la fiabilité des examens numériques. On invoque aussi fréquemment les problèmes techniques, d'équité et de sécurité. Pour numériser les examens, les pays et juridictions doivent développer une infrastructure numérique solide qui prévoit des mesures strictes en matière de sécurité (contre la tricherie, le piratage, etc.), un accès équitable pour tous les élèves où qu'ils soient ainsi qu'un niveau de compétences informatiques équivalent chez tous les élèves. Cette infrastructure doit aussi faire preuve de fiabilité face aux défaillances techniques et matérielles. Il convient également de disposer de suffisamment d’espaces dotés d'installations électriques et de réseaux pour permettre à de nombreux élèves de passer les évaluations au même moment. Par ailleurs, cette conversion numérique exige souvent de modifier le format des examens et de débattre socialement de cette évolution.
Néanmoins, si le processus est généralement plus lent que pour de simples évaluations des systèmes, il est probable que de plus en plus de pays et juridictions procèdent à la numérisation de leurs examens nationaux, étant donné l'importance des « compétences numériques » dans la majorité des programmes. La conversion numérique des examens au format papier-crayon exige non seulement une planification à long terme, mais également des investissements dans une infrastructure physique sécurisée et adéquate qui tient compte de la connectivité et des équipements informatiques dans les établissements (ou les centres d'examens).
Outils numériques à l'appui des évaluations
Les pays et juridictions ont mis au point un ensemble de systèmes numériques pour favoriser l'administration de leurs évaluations, qu'il s'agisse d'évaluations systémiques (à faible enjeu) ou d'examens (à enjeu élevé). Ces systèmes proposent généralement un environnement numérique pour administrer les évaluations numériques, mais peuvent également contribuer à l'administration des évaluations papier-crayon (par exemple, pour l'inscription, la répartition et le taux d’achèvement des évaluations) ou faciliter les processus de notation et de transfert des notes vers d'autres registres ou systèmes numériques. Enfin, certains systèmes de soutien ont aussi été développés pour permettre une surveillance des élèves à distance lors des évaluations.
Couverture numérique dans les pays
Sur les 29 pays et juridictions pour lesquels nous disposons de données comparables, 16 (soit plus de la moitié) ont élaboré des outils numériques pour faciliter l'administration des évaluations, indépendamment de leur format et du fait qu'il s'agisse de tests, d'évaluations formatives ou d'examens à enjeu élevé (voir le Tableau 4.2).
Remarque: N=29
Offrir un environnement propice aux évaluations numériques
Par définition, les évaluations numériques sont administrées sur une plateforme numérique. Les pays et juridictions qui ont intégralement numérisé leurs tests nationaux (ou sont en passe de le faire) fournissent un environnement numérique pour soutenir l'administration de ces tests et leur réalisation. Au Luxembourg, dans le cadre du test national Épstan, tous les élèves d'une année d'études spécifique passent les épreuves informatiques sur la plateforme Oasys qui a été mise au point par l'Université du Luxembourg (LUCET) en étroite collaboration avec le ministère. En Suède, conformément à l'objectif visant à numériser la plupart des tests nationaux à l'horizon 2026, l'Agence nationale de l’éducation a développé le système numérique Service des examens (Skolverkets provtjänst) pour administrer les évaluations, qui fournit un environnement unique pour l'identification des élèves ainsi que pour la conception, la passation, la notation (automatique ou manuelle) et les résultats des évaluations.
En Hongrie, plusieurs outils numériques sont utilisés pour l'administration, la gestion et l'analyse des tests standardisés. Les établissements sont tenus de recourir à un système de collecte et de gestion des données pour les mesures nationales (Országos mérések adatbegyűjtő és -kezelő rendszere) afin, non seulement, d'organiser et de gérer l'évaluation (s'assurer, par exemple, que tous les élèves participent le jour J aux épreuves qui leur correspondent), mais également d'anonymiser les résultats à l'aide d'identifiants. Les élèves peuvent ensuite accéder à leurs résultats préliminaires via un autre logiciel (Tehetsegkapu), avant la publication des résultats définitifs sous forme de relevés automatisés sur un site créé à cet effet (FIT-jelentések). De leur côté, les établissements accèdent aux résultats préliminaires sur leur propre plateforme (intézményi gyorsvisszajelző). Par la suite, les acteurs de l'éducation peuvent se servir du logiciel FIT (FIT elemző szoftver) pour analyser les résultats de l'évaluation.
On retrouve de tels outils de soutien dans les pays et juridictions qui ont numérisé des composantes de leurs examens administrés à l'échelle centrale. C'est par exemple le cas du NECIS en Lituanie, un système open source en ligne assuré par TAO4. Ce système sert à administrer plusieurs composantes des évaluations nationales, réalisées en ligne pour ce qui est des mathématiques et de la langue lituanienne, ainsi que certaines composantes des examens de fin de deuxième cycle de l'enseignement secondaire (formation professionnelle comprise). Après une phase pilote, l'objectif consiste à numériser intégralement les deux types d'évaluations à l'horizon 2026 afin de pouvoir les administrer, les passer et les noter en ligne via des systèmes numériques similaires au NECIS. Le système Abitti en Finlande (voir l'encadré 4.2) permet également de soutenir et de surveiller l'administration des examens d'entrée à l'université. En Italie, le ministère a développé l'application Commissione Web pour les examens de l'enseignement secondaire et l'application Gestione Esami ITS pour les examens nationaux de la filière professionnelle. Au Danemark, le ministère gère l'administration des tests et des examens que les élèves passent sur les plateformes Testogprøver et Netprøver, à l'aide de l'outil XPRS.
Faciliter la conception des évaluations données par les enseignants
Parallèlement à la numérisation des évaluations réalisées à l'échelle du système, les pays et juridictions ont élaboré des outils d'évaluation numériques au profit des enseignants. Cette catégorie va des banques publiques d'items d’évaluation aux outils flexibles permettant aux enseignants de concevoir leurs propres évaluations formatives ou sommatives et de les administrer à leurs élèves.
En Tchéquie, la plateforme InspIS SET a d'abord été développée pour l'administration du test numérique standardisé à l'échelle nationale. Les établissements et les enseignants peuvent toutefois l'utiliser pour administrer leurs propres évaluations en ligne, en utilisant leurs propres items ou en en sélectionnant dans la banque publique, qui sera d'ailleurs bientôt enrichie par des items tirés des évaluations internationales. Au Brésil, les outils numériques facilitent l'administration du Système d'évaluation de l'enseignement fondamental (SAEB), test national standardisé en version papier-crayon qui mesure les compétences en littératie et en mathématiques. Si l'insuffisance de l'infrastructure numérique et les contraintes logistiques ont compliqué la numérisation de ce test, les autorités fédérales ont fourni aux États et aux établissements des outils numériques pour faciliter son administration en version papier, notamment en ce qui concerne les questions de logistique et de financement. À l'instar de la plateforme tchèque, les enseignants peuvent mettre à profit certains de ces outils pour leurs propres évaluations, en ayant recours à des banques d'items (la BNI, par exemple), ou pour la notation des dissertations. Certains de ces outils sont gérés par les autorités locales ou fédérales, tandis que d'autres sont achetés auprès de contractants privés pour la durée de l'évaluation5.
Certains pays et juridictions fournissent à l'échelle centrale des outils numériques pour les évaluations formatives données par les enseignants. Au Chili, l'outil DIA est disponible en ligne et peut être librement utilisé par les établissements qui souhaitent évaluer les connaissances des élèves dans des matières fondamentales ainsi que leurs compétences socio-émotionnelles. Cet outil est un exemple d'évaluation numérique formative conçue pour être administrée par les enseignants à trois moments de l'année scolaire : au commencement, avec une évaluation diagnostique, ensuite à mi-parcours avec une évaluation de suivi, puis en fin d'année avec une évaluation terminale. Si cet outil est disponible pour toutes les années d'études, il est davantage utilisé dans les établissements d'enseignement primaire. En Nouvelle-Zélande, l'instance chargée des qualifications (NZQA) fournit depuis 2002 l'Outil d'évaluation de l'enseignement et de l'apprentissage (e-asTTle). Il s'agit d'une plateforme éducative qui permet aux professionnels de l’éducation de concevoir des tests standardisés et conformes aux programmes d'enseignement en compréhension de l'écrit, en expression écrite et en mathématiques, en langues anglaise ou maorie, et destinés aux élèves de l'enseignement primaire et secondaire. Une importante banque d'items calibrés permet aux enseignants de personnaliser les évaluations en fonction des besoins spécifiques de leur classe. Contrairement à d'autres systèmes d'évaluations assistées par ordinateur, l'outil e-asTTle a également été conçu pour mettre l'accent sur les évaluations formatives. Ces deux exemples d'évaluations numériques diffèrent des ressources d'auto-évaluation présentées au chapitre 5 (Yu, Vidal et Vincent-Lancrin, 2023[23]), car elles sont censées être administrées par les enseignants tout en bénéficiant d'une participation à grande échelle qui permet de comparer les établissements et les conseils d'établissement. Les ressources d'auto-évaluation peuvent être consultées et utilisées par des particuliers.
Faciliter l'administration des évaluations papier-crayon
Les pays et juridictions ont également mis au point des outils numériques pour faciliter l'administration des évaluations papier-crayon. Au Chili, les autorités publiques mettent à disposition des outils numériques en ce sens pour les tests papier-crayon (appelés SIMCE, Sistema de Medición de la Calidad de la Educación) à l'échelle nationale. Ces outils comprennent des plateformes en ligne de notation des items et des dispositifs numériques pour la lecture et le traitement des données. Au Luxembourg, le ministère impose aux établissements d'utiliser deux outils numériques distincts pour gérer l'administration des deux examens de fin de cycle : l'outil PFS pour l'examen marquant la fin de l'enseignement primaire et l'outil BAC pour celui concernant la fin de l'enseignement secondaire. Ces deux outils sont dotés de fonctionnalités qui facilitent les inscriptions et les notations des élèves ainsi que le suivi de leurs sessions d'examen.
Enfin, dans les systèmes éducatifs où on fait passer les tests standardisés à des échantillons probabilistes d'élèves (comme c'est souvent le cas), les autorités de l'éducation peuvent fournir aux administrateurs scolaires régionaux et au personnel des établissements des outils numériques pour les aider à administrer ces tests. En France, par exemple, plusieurs tests standardisés coexistent : CEDRE (mathématiques et littératie), LSE (compétence en lecture sur écran), Socle CE1 (mathématiques et littératie en 2e année), Socle Sixième (mathématiques et littératie en 6e année), ainsi que TIMMS et PISA. Toutes les épreuves sont administrées à des échantillons d'élèves sélectionnés de manière aléatoire. Pour aider les établissements à savoir quelles évaluations faire passer à quels élèves, le ministère a mis au point un outil numérique appelé Application de Suivi des Passations (ASP).
Faciliter la notation des examens et le transfert des notes
Les outils numériques permettent également de faciliter la notation des examens papier-crayon. Ils peuvent favoriser les processus de notation collaborative ainsi que la communication automatique des notes aux autorités de l'éducation responsables des examens.
En France, le ministère a développé la plateforme Cyclades pour faciliter la notation de son examen de fin d'études secondaires en version papier-crayon. Depuis juin 2021, pour les examens de fin d’études secondaires et autres examens à enjeu élevé, les établissements numérisent les feuilles-réponses remplies manuellement par les élèves, puis les enseignants notent les copies de leurs élèves en ligne, annotent le document et laissent des commentaires que les élèves peuvent consulter presque immédiatement après le processus de validation. Cela permet, en principe, d'éviter d'éventuelles pertes de feuilles-réponses, mais pourrait également au fil du temps donner lieu à l'analyse automatique de ces feuilles-réponses.
En Irlande, les examens de fin d’études secondaires sont également administrés dans une version papier-crayon. La Commission nationale des examens (chargée des évaluations à enjeu élevé de l'enseignement secondaire) utilise une plateforme numérique pour faciliter leur notation. Pour les examens à faible enjeu, le Centre irlandais pour la recherche dans l'enseignement (ERC) propose également des services de codage automatique aux établissements qui font passer le test standardisé Drumcondra (facultatif) en version papier.
Surveiller les examens
Les systèmes de surveillance sont un type d'outil numérique moins fréquemment proposé par les autorités de l'éducation dans l'administration des évaluations. Ils servent à surveiller les élèves lors des évaluations en ligne (ou des évaluations numériques hors-ligne), en les empêchant de tricher ou de mener des activités non autorisées lors d'un examen à distance (et parfois d'un examen informatisé). En cas d'examen ou d'épreuve à distance, ils peuvent veiller à l'intégrité de l'évaluation, grâce à des méthodes telles que la surveillance vidéo ou bien la détection des mouvements de la souris, des frappes sur le clavier ou des activités à l'écran. Dans de nombreux pays et juridictions, le recours à des systèmes de surveillance en éducation est jugé intrusif et soulève des préoccupations en matière de vie privée (Nigam et al., 2021[24]).
La Lettonie utilise un système de surveillance basé sur l'IA (ProctorEdu) pour surveiller les élèves de l'enseignement secondaire qui participent aux Olympiades scolaires, une série de concours à faible enjeu organisés dans tout le pays. Les fonctionnalités de ce système sont notamment l'enregistrement vidéo et audio ainsi que des activités à l'écran, la vérification biométrique de l'identité des utilisateurs et le suivi des comportements en temps réel lors des sessions d'examen. Les candidats peuvent ouvrir une session et passer l'évaluation indépendamment du moment, du lieu ou de l'appareil utilisé, et de façon synchrone ou asynchrone. En 2024, le système ne concerne pas les examens nationaux à enjeu élevé.
Les exemples danois et finlandais présentés ci-dessus illustrent une forme de surveillance numérique plus limitée pour les examens en présentiel : le système ne fait que restreindre l'environnement informatique, tandis que la surveillance de l'examen à proprement parler se fait en personne, comme ce serait le cas pour des épreuves papier-crayon. On peut imaginer que ce mode de surveillance deviendra plus fréquent afin de limiter les utilisations de l'IA générative, jusqu'à ce que de nouveaux types d'évaluations soient élaborés et testés.
De plus en plus de pays et juridictions procèdent à la numérisation des évaluations qu'ils administrent à l'échelle centrale ou de la juridiction. Capables d'adaptation et de personnalisation, les évaluations numériques permettent de mesurer les compétences des élèves d’une manière que les versions papier-crayon ne permettent pas. Elles peuvent également alimenter l'analyse de l’apprentissage et fournir la souplesse nécessaire pour autoriser des examens à distance dans certaines conditions. Enfin, elles améliorent la rentabilité des processus d'évaluation grâce à l'automatisation (du processus de notation, par exemple) et de réplication au fil du temps, et réduisent les coûts d'administration à long terme. Des modes d'évaluations plus innovants peuvent toutefois s'avérer coûteux à mettre en œuvre et ne pas être appropriés pour les examens à enjeu élevé. La validité, la fiabilité et la sécurité de ces évaluations suscitent des préoccupations. Elles peuvent également soulever des problèmes d'équité, au regard de la fracture numérique existante en termes de matériel, de logiciels et de compétences humaines. Le processus de numérisation peut également engendrer des coûts de transition et créer une dépendance au sentier qui peut être plus compliquée à interrompre que dans le cas d'évaluations ou d'examens papier-crayon.
Numériser tout d’abord les éléments les plus simples
Les tests à faible enjeu sont deux fois plus souvent numérisés que les examens. Sur les 29 systèmes d’éducation pour lesquels nous disposons de données comparables, 18 ont numérisé certaines composantes de leur test standardisé et 7 d'entre eux ont également numérisé certaines composantes de leur examen. Aucun pays ne s'est lancé dans la numérisation des examens à enjeu élevé sans avoir expérimenté en parallèle celle des tests à faible enjeu.
Ce chapitre avance quatre raisons principales pour expliquer pourquoi les examens sont moins souvent numérisés que les tests. Premièrement, la numérisation des tests standardisés à faible enjeu s'avère moins complexe que celle des examens. Deuxièmement, étant donné que les examens représentent un enjeu plus élevé pour les élèves et les familles, les tentatives d'innovation suscitent une opposition politique plus forte de la part des acteurs de l'éducation. Troisièmement, étant donné que les examens constituent un enjeu élevé et doivent être équitables, les mettre en œuvre dans un environnement éducatif qui n'est pas numérisé s’avère compliqué, ce qui pourrait se produire au fur et à mesure que les pays et juridictions développent les compétences numériques des élèves. Enfin, la transition vers les examens numériques pour des cohortes entières d'élèves nécessite souvent des investissements plus importants dans l'infrastructure numérique, y compris dans la formation et la culture numérique des enseignants et du personnel des établissements.
Notre collecte de données comparatives porte également à croire que les pays et juridictions commencent généralement par la numérisation de leurs tests, comme première étape vers une éventuelle numérisation des examens, le cas échéant. En passant des tests papier-crayon aux tests numériques, les pays ont dû renforcer leur infrastructure numérique dans les établissements, les centres d'évaluation ou directement chez les élèves.
Qu'ils aient ou non numérisé leurs tests nationaux, les pays ont mis au point des outils numériques pour faciliter l'administration des évaluations. En effet, 16 des 29 systèmes d'éducation à l'étude utilisent de tels outils. La majorité des outils servent à offrir un environnement numérique pour l’administration des tests numériques ou, dans une moindre mesure, des examens numériques. Certains outils peuvent également contribuer à l'administration des évaluations papier-crayon (par exemple, pour l'inscription des élèves, la répartition des tâches et le taux d’achèvement des évaluations) ou faciliter les processus de notation et de transfert des notes vers d'autres registres ou systèmes numériques. Seule la Lettonie utilise un système de surveillance numérique basé sur l'IA pour les évaluations à faible enjeu.
Une conversion numérique sans transformation profonde ?
En 2024, les pays et juridictions qui avaient numérisé des composantes de leur test pour les élèves n'avaient souvent que peu utilisé les possibilités innovantes offertes par les évaluations numériques. La majorité des évaluations numériques ont répliqué les contenus et la structure conceptuelle des évaluations papier-crayon qu'elles ont remplacées. Pratiquement aucune évaluation n'utilise des techniques d'évaluation adaptative, et encore moins des jeux, des simulations et des formats basés sur des scénarios. Le Danemark a tenté d'intégrer des fonctionnalités adaptatives à son test standardisé à faible enjeu, avant que les responsables politiques ne décident de revenir à une conception traditionnelle au vu de l'opposition de l'opinion publique.
Même les fonctionnalités numériques les plus innovantes, telles que les environnements d'évaluation numériques ou les systèmes de surveillance, ne sont souvent utilisées que pour répliquer les conditions d'une évaluation papier-crayon traditionnelle administrée en classe. En 2024, les avantages de la numérisation des évaluations résident principalement dans la simplification des processus d'administration, de gestion des données et, parfois, de notation. Les croisements de données les plus fréquents ont lieu avec les systèmes d'information scolaire des juridictions (ou les registres centraux des élèves).
Perspectives : les prochaines étapes
Relever les défis techniques. Il faut respecter plusieurs conditions techniques préalables dans le cadre des évaluations numériques, notamment un accès à suffisamment d'appareils compatibles ainsi qu'à une connexion assez fiable à Internet ou à un réseau local. En outre, les établissements doivent avoir suffisamment de personnel possédant les compétences nécessaires à la mise en œuvre et l'utilisation continue des évaluations informatiques ainsi que d'espaces dotés d'installations électriques et de réseaux pour permettre à de nombreux élèves de passer les évaluations au même moment. Ils doivent aussi pouvoir compter sur une infrastructure informatique solide pour gérer les risques liés à la sécurité. La possibilité de passer les évaluations hors ligne peut contribuer à minimiser certains de ces risques, mais les établissements auront alors besoin de plus de temps et de conseils pour l'installation préalable des logiciels, ce qui réduira l'utilisation des outils numériques et diminuera le niveau d'adaptabilité des évaluations. Les pays souhaitant respecter ces exigences devront prévoir un plan de financement initial et des coûts de maintenance permanents.
Davantage d'éléments d'évaluation innovants. Le passage aux évaluations numériques offre des possibilités d'intégrer plus d'éléments innovants dans le processus d'évaluation. Notre collecte de données révèle toutefois que du chemin reste encore à faire. Il se peut que les nouvelles évaluations qui seront conçues dès le départ pour être administrées au format numérique intègrent plus d'éléments innovants que les évaluations principalement élaborées pour remplacer les versions papier-crayon. La prochaine génération d'évaluations numériques pourrait favoriser, entre autres, le déploiement d'expériences d’apprentissage personnalisées, l'utilisation de fonctionnalités adaptatives tenant compte du niveau des élèves et le recours à un processus de notation automatique permettant aux élèves de bénéficier de retours d'information plus rapides et d'accéder immédiatement à leurs résultats. Les pays tenteront de transformer leurs pratiques d'évaluation pour récolter les fruits de la transformation numérique du secteur de l'éducation.
Un éventail plus large de contenus. En 2024, la majorité des évaluations numériques élaborées et administrées par les pays et juridictions sont une version numérique de leurs tests standardisés et mesurent principalement le niveau des élèves en littératie et numératie. Ce type d'évaluation permet toutefois d'évaluer un plus large éventail de matières et de compétences, dont des matières traditionnellement enseignées dans les programmes (autres que la littératie et les mathématiques) ainsi qu'un ensemble plus vaste de connaissances, de compétences, d'attitudes et de valeurs. Les pays désireux d'intégrer une composante sur les compétences numériques dans les activités de formation initiale et continue des enseignants ou dans les exigences des programmes devraient également s'efforcer de mesurer ces compétences afin de vérifier que tous les acteurs de l'éducation les maîtrisent. La numérisation des évaluations constitue à la fois un moyen d'y parvenir et une fin en soi.
Une meilleure intégration au sein de l'écosystème d'évaluation des pays. Les pays et juridictions peuvent réfléchir sur la façon de mieux intégrer leurs évaluations numériques au sein de leur écosystème d'évaluation global, dans lequel les différents acteurs de l'éducation ont accès à diverses ressources d'évaluation, comme les précédents examens ou un échantillon d'items pouvant servir aux enseignants pour créer leur propre évaluation ou aux élèves à des fins d'auto-évaluation. Elles peuvent aussi être rapidement intégrées dans les systèmes de certification numérique des pays.
Un meilleur croisement des données avec d'autres systèmes d'information scolaire. Pour passer une évaluation numérique, les élèves doivent généralement s'identifier en ligne ou sur une plateforme numérique à l'aide d'un identifiant unique, sauf lorsque les évaluations sont administrées à un échantillon d'élèves, auquel cas les résultats sont agrégés. Cette identification permet de conserver et de transférer les résultats des élèves et, en cas d'identifiant longitudinal, de suivre les progrès et la trajectoire des élèves au fil du temps. Ce croisement de données a généralement lieu via les systèmes d’information scolaire et permet aux établissements et aux enseignants de comparer les résultats de leurs élèves avec ceux d'autres établissements ou classes (similaires). En outre, les résultats des élèves aux évaluations numériques sont immédiatement et automatiquement exploitables par les systèmes d'alerte précoce qui peuvent contribuer à identifier les élèves susceptibles de décrocher, par exemple (voir (Vidal, 2023[25])).
Un accès aux données plus facile et plus complet à des fins de recherche. Par rapport aux versions papier-crayon, les évaluations numériques offrent plus d'avantages en termes d'accessibilité et d'analyse des données. Avec les évaluations numériques ou les outils numériques facilitant l'administration des évaluations papier-crayon, les résultats des élèves peuvent être automatiquement notés et conservés sous forme électronique, ce qui permet d'y accéder facilement et rapidement. En s'appuyant sur une gouvernance des données appropriée pour limiter les risques liés à la confidentialité et la protection des données (voir (Vincent-Lancrin et González-Sancho, 2023[26])), ces capacités numériques rationalisent le processus de recherche qui devient alors plus efficace et plus fiable par rapport à un traitement manuel d'une telle quantité de données sur papier. De surcroît, si ces données sont associées à l'identifiant unique des élèves (parfois longitudinal), elles peuvent alors fournir des renseignements encore plus précieux pour les chercheurs lorsqu'elles sont couplées à d'autres informations sur les établissements et les élèves conservées dans d'autres bases de données.
Références
[3] Buckley, J. L. Colosimo, R. Kantar, M. McCall et E. Snow (2021), « Game-based assessment for education », dans OECD Digital Education Outlook 2021 : Pushing the Frontiers with Artificial Intelligence, Blockchain and Robots, OECD Publishing, Paris, https://doi.org/10.1787/9289cbfd-en.
[5] Foster, N. (2023), « Teacher digital competences: formal approaches to their development », dans OECD Digital Education Outlook 2023. Towards an Effective Digital Education Ecosystem, OECD Publishing, https://doi.org/10.1787/c74f03de-en.
[4] Fragoso, T. (2023), « Hardware: the provision of connectivity and digital devices », dans OECD Digital Education Outlook 2023. Towards an Effective Digital Education Ecosystem, OECD Publishing, https://doi.org/10.1787/c74f03de-en.
[14] Kimura, T. (2017), « The impacts of computer adaptive testing from a variety of perspectives », Journal of Educational Evaluation for Health Professions, vol. 14, p. 12, https://doi.org/10.3352/jeehp.2017.14.12.
[12] Kolen, M. et R. Brennan (2014), Test Equating, Scaling, and Linking, Springer New York, New York, NY, https://doi.org/10.1007/978-1-4939-0317-7.
[6] Leaton Gray, S. et N. Kucirkova (2021), « AI and the human in education: Editorial », London Review of Education, vol. 19/1, https://doi.org/10.14324/lre.19.1.10.
[11] McClelland, T. et J. Cuevas (2020), A comparison of computer based testing and paper and pencil testing in mathematics assessment.
[24] Nigam, A. et al. (2021), « A Systematic Review on AI-based Proctoring Systems: Past, Present and Future », Education and Information Technologies, vol. 26/5, pp. 6421-6445, https://doi.org/10.1007/s10639-021-10597-x.
[18] OECD (2023), Country Digital Education Ecosystems and Governance. A companion to Digital Education Outlook 2023, OECD Publishing, https://doi.org/10.1787/906134d4-en.
[19] OECD (2023), Education at a Glance 2023: OECD Indicators, OECD Publishing, Paris, https://doi.org/10.1787/e13bef63-en.
[17] OECD (2023), « Strengthening the design and implementation of the standardised student assessment reform of the Flemish Community of Belgium », OECD Education Policy Perspectives, n° 72, OECD Publishing, Paris, https://doi.org/10.1787/85250f4c-en.
[21] OECD (2023), « What assessments and examinations of students are in place? », dans Education at a Glance 2023 : OECD Indicators, OECD Publishing, Paris, https://doi.org/10.1787/dfccf5a6-en.
[22] OECD (2021), « National assessment reform: Core considerations for Brazil », OECD Education Policy Perspectives, n° 34, OECD Publishing, Paris, https://doi.org/10.1787/333a6e20-en.
[1] OECD (2021), OECD Digital Education Outlook 2021: Pushing the Frontiers with Artificial Intelligence, Blockchain and Robots, OECD Publishing, Paris, https://doi.org/10.1787/589b283f-en.
[2] OECD (2020), « Remote online exams in higher education during the COVID-19 crisis », OECD Education Policy Perspectives, n° 6, OECD Publishing, Paris, https://doi.org/10.1787/f53e2177-en.
[15] OECD (2013), Synergies for Better Learning: An International Perspective on Evaluation and Assessment, OECD Reviews of Evaluation and Assessment in Education, OECD Publishing, Paris, https://doi.org/10.1787/9789264190658-en.
[10] Ofqual (2020), Online and On-screen Assessment in High Stakes, Sessional Qualifications: A Review of the Barriers to Greater Adoption and How These Might Be Overcome, https://assets.publishing.service.gov.uk/government/uploads/system/upl.
[13] Sandene, B. et al. (2005), Online Assessment in Mathematics and Writing: Reports from the NAEP Technology-Based Assessment Project, https://files.eric.ed.gov/fulltext/ED485780.pdf.
[16] Somers, G. (2021), Feasibility Study into the Introduction of Central Assessments in Flanders: Legal-technical Aspects (Lot 3).
[8] Timmis, S., P. Broadfoot, R. Sutherland et A. Oldfield (2015), « Rethinking assessment in a digital age: opportunities, challenges and risks », British Educational Research Journal, vol. 42/3, pp. 454-476, https://doi.org/10.1002/berj.3215.
[7] Veldkamp, B. et C. Sluijter (dir. pub.) (2019), Theoretical and Practical Advances in Computer-based Educational Measurement, Springer International Publishing, Cham, https://doi.org/10.1007/978-3-030-18480-3.
[25] Vidal, Q. (2023), « Digital assessment », dans OECD Digital Education Outlook. Towards an Effective Digital Education Ecosystem, OECD Publishing, https://doi.org/10.1787/c74f03de-en.
[26] Vincent-Lancrin, S. et C. González-Sancho (2023), « Data and technology governance: fostering trust in the use of data », dans OECD Digital Education Outlook 2023. Towards an Effective Digital Education Ecosystem, OECD Publishing, https://doi.org/10.1787/c74f03de-en.
[20] Vincent-Lancrin, S. et C. González-Sancho (2023), « Education and student information systems », dans OECD Digital Education Outlook 2023. Towards an Effective Digital Education Ecosystem, OECD Publishing, https://doi.org/10.1787/c74f03de-en.
[9] Wyatt-Smith, C., B. Lingard et E. Heck (2021), Digital Disruption In Teaching And Testing, Routledge, New York, https://doi.org/10.4324/9781003045793.
[23] Yu, J., Q. Vidal et S. Vincent-Lancrin (2023), « Digital teaching and learning resources », dans OECD Digital Education Outlook 2023. Towards an Effective Digital Education Ecosystem, OECD Publishing, https://doi.org/10.1787/c74f03de-en.
← 1. États-Unis : Innovative Assessment Demonstration Authority : https://www2.ed.gov/admins/lead/account/iada/index.html
← 2. Les compétences liées aux programmes d'enseignement qui seront évaluées varieront selon les élèves et également selon les établissements du système flamand. Dans cet exemple, deux tiers des élèves de l'établissement en question seront évalués sur la théorie des nombres, deux autres tiers sur la géométrie, et enfin deux tiers sur les statistiques. D'autres établissements pourraient se voir attribuer trois différentes compétences à évaluer en mathématiques parmi les dix compétences proposées (OECD, 2023[17]).
← 3. En Angleterre (Royaume-Uni), la Standards and Testing Agency administre une évaluation numérique obligatoire pour tous les élèves en 4e année (âgés de 8 ou 9 ans, scolarisés dans l'enseignement primaire) permettant d'évaluer leur maîtrise des tables de multiplication. En 2023, une autre évaluation obligatoire sur les compétences des élèves en anglais et en mathématiques à l'entrée dans l'enseignement primaire a en partie été administrée au format numérique, mais le ministère prévoit de poursuivre sa numérisation. De plus, un nouveau test numérique de littératie et de numératie est en cours d'élaboration et comprendra une série de brèves activités numériques destinées aux élèves en 9e année (âgés de 13 ou 14 ans, scolarisés dans l'enseignement secondaire).
← 5. Banque nationale d'items d'évaluation du Brésil (BNI) : https://www.gov.br/inep/pt-br/areas-de-atuacao/avaliacao-e-exames-educacionais/bni