Mesurer l’innovation dans l’éducation 2019 (Version abrégée)

Annexe B.  Indicateurs composites de l'innovation

Les analyses présentées dans cet ouvrage ont fait état d'une variation considérable quant à l'ampleur de l'évolution des pratiques éducatives et donc de l'étendue potentielle de l'innovation. Afin de proposer une vue d'ensemble de l'évolution des pratiques en classe et dans les établissements d'enseignement et de tirer des conclusions sur le niveau d'innovation au sein de chaque pays, il peut être utile de combiner certaines de ces informations et d’ensuite d'observer l'étendue et la cible de l'innovation dans l'éducation dans différents pays.

Des écarts importants peuvent exister entre les pratiques à différents niveaux d’enseignement (primaire ou secondaire) ou entre les disciplines. C'est pourquoi, en plus d'un indicateur d'innovation globale dans l'éducation, des indicateurs composites plus vastes ont été créés en vue d'un regroupement de pratiques et d'une représentation de l'innovation en fonction des disciplines (mathématiques, sciences et lecture) et des niveaux d'enseignement (primaire et secondaire). En outre, des indicateurs composites pour les pratiques en matière de TIC et autres pratiques éducatives plus spécifiques ont été calculés. Cela permet aux lecteurs et aux décideurs politiques de repérer les éléments du ou des systèmes d'éducation dans un pays qui semblent avoir connu relativement plus d'innovation et cela conduit également à l'identification des pays qui font preuve d'innovation dans leur système d'éducation.

Création des indicateurs

Les indicateurs proviennent des analyses présentées dans cet ouvrage. La méthode utilisée repose essentiellement sur les orientations fournies dans l’édition 2018 du Guide de l'OCDE sur la construction des indicateurs composites. Les indicateurs résultent notamment (dans la mesure du possible) de la définition de l'innovation abordée dans l'introduction, et leur processus de création tient compte du besoin de disposer de données pertinentes et d'imputer les valeurs manquantes.

Les indicateurs sont fondés sur l'ampleur de l'effet de l'évolution des réponses à des questions spécifiques entre deux années de référence. L'ampleur de l'effet témoigne de l'intensité et de la direction des évolutions observées à deux moments dans le temps : une importante ampleur de l'effet positive traduit une forte augmentation dans le temps, tandis qu'une importante ampleur de l'effet négative indique une forte diminution. L'ampleur de l'effet fournit une mesure normalisée de l'évolution et peut donc être facilement agrégée.

Tableau B.1. Sources de données pour les indicateurs

Intitulé de l'étude	Questionnaire utilisé	Année d'études/âge pris en compte
TIMSS	Chefs d'établissement Enseignants Élèves	4e année 8e année
PIRLS	Chefs d'établissement Enseignants Élèves	4e année 8e année
PISA	Chefs d'établissement Élèves	15 ans

Indicateurs d'innovation généraux, par niveau d'enseignement et discipline

Ces indicateurs sont établis afin de représenter l'évolution des pratiques dans les divers niveaux d'enseignement, les différentes disciplines et l'ensemble du système d'éducation. Dans la mesure où tant les augmentations que les diminutions témoignent d'une évolution qui peut faire partie de l'innovation, ces indicateurs ont été créés à partir de la valeur absolue de l'ampleur de l'effet. Un indicateur qui conserverait le signe de l'ampleur de l'effet aurait pour conséquence qu'un pays ayant enregistré des évolutions importantes dans les deux directions semble n'avoir connu aucune évolution.

Afin d'avoir une juste représentation de l'innovation, plusieurs coefficients de pondération ont été attribués à différentes disciplines à divers niveaux d'enseignement. Un même coefficient de pondération a été attribué à l'enseignement primaire et secondaire, tandis que pour les mathématiques, les sciences et la lecture ce coefficient a été défini en fonction du temps relatif consacré à chacune de ces disciplines pour chaque année correspondante (source : Regards sur l'éducation 2011). Par exemple, étant donné que dans l'enseignement primaire le temps consacré à la lecture est environ le double de celui consacré à l'apprentissage des sciences, un coefficient de pondération deux fois plus important a été attribué à l'évolution des pratiques en matière de lecture à ce niveau d'enseignement spécifique.

Indicateurs thématiques et indicateurs relatifs aux TIC

Ces indicateurs traduisent l'évolution de certaines pratiques éducatives plus spécifiques. Toutefois, il est ici pertinent d'analyser non seulement si l'utilisation de certaines pratiques a fait l'objet d'une évolution importante mais également si cette utilisation a plutôt eu tendance à croître ou à décroître. Par conséquent, outre la valeur des indicateurs composites associée à l'ampleur absolue de l'effet, les graphiques consacrés aux pratiques thématiques et à celles en matière de TIC présentent également la décomposition de l'évolution en fonction des augmentations et diminutions.

Le regroupement conceptuel de ces indicateurs a été réalisé afin de conserver une représentation plus ou moins équilibrée des pratiques dans les deux années d'études et dans l'ensemble des disciplines. Cela nous permet de disposer d'une moyenne non pondérée, au lieu d'une moyenne avec une pondération en fonction des années d'études ou des disciplines.

Valeurs manquantes

La variation de la couverture des enquêtes PISA et TIMSS/PIRLS signifie que l'ampleur de l'effet de l'évolution survenue en classe et dans les établissements d'enseignement n'est pas disponible pour l'ensemble des systèmes d'éducation pour toutes les questions posées. Par ailleurs, des données sont manquantes lorsque certaines questions (ou questionnaires) ont été omises à l'échelle nationale à un moment donné. Cela importe peu quand l'on rend compte des réponses à une seule question, mais peut potentiellement être problématique lorsque l'on tente de regrouper des données de plusieurs questions. Afin d'analyser le plus grand nombre possible de pays tout en conservant un large éventail de questions, il a fallu gérer les données manquantes en combinant des processus de suppression et d'estimation.

Un processus itératif a permis de gérer les observations (systèmes d'éducation) et les variables (questions) pour lesquelles il n'y avait pas de données, et certains systèmes/pays et questions ont dû être supprimés lors de la construction d'un indicateur :

1. Les systèmes d'éducation qui disposaient de données sur l'ampleur de l'effet pour moins de 20 % de la série de questions potentielle ont été exclus.

2. Puis, les questions avec un fort pourcentage de données manquantes ont été abandonnées. Ont notamment été exclues les questions sans ampleur de l'effet pour plus de 50 % du reste de la base de données.

3. Enfin, les systèmes d'éducation avec moins de 60 % de données valides pour le reste des questions ont été exclus de l'analyse.

Parmi les systèmes d'éducation restants suite au processus de suppression, certains faisaient toujours état de données manquantes. On enregistrait généralement un manque de données en cas d'absence de participation d'un système d'éducation à l'une des enquêtes. Dans la mesure où les informations étaient indisponibles pour tout un ensemble de données, une imputation au niveau de l'indicateur a été rendue impossible. En revanche, on a pu estimer l'effet d'un ensemble de données manquant sur l'indicateur final.

Le processus d'estimation utilise les informations des pays disposant de tous les points de données afin d'estimer l'impact de l'inclusion d'un ensemble de données sur le calcul de l'indicateur. Nous utilisons cette information en vue d'adapter les indicateurs des pays pour lesquels un ensemble de données est manquant. Le processus est établi de la façon suivante :

• Pour les systèmes d'éducation disposant de toutes les données, un sous-ensemble d'indicateurs a été calculé, chacun excluant l'un des ensembles de données du calcul de l'indicateur ($I_{-A}$). L'indicateur incluant l'ensemble des données a également été calculé (I). Par exemple, si d'autres pays n'ont pas participé à l'enquête PISA, les pays disposant de toutes les données auront un indicateur excluant l'enquête PISA ($I_{-A}$) et un indicateur intégrant l'enquête PISA (I).

• Les rapports entre l'indicateur complet et les sous-indicateurs ont été calculés pour chaque pays ($I/I_{-A})$.

• Le rapport moyen international entre l'indicateur complet et chaque sous-indicateur a été calculé, produisant un effet du facteur de l'ensemble de données pour chaque source de données manquantes potentielle. [${FED}_A=Moyenne(I/I_{-A})].$

• Enfin, l'indicateur pour les pays ne disposant pas de données pour une source (A) a été calculé avec toutes les autres données à leur disposition ($I_{m\left(A\right)}$). Cet indicateur est ensuite corrigé en le multipliant par le facteur de l'ensemble de données de la base de données manquante correspondante, conduisant à l'indicateur composite final ($I=I_{m\left(A\right)}*{FED}_A$).

Critères pour l'inclusion des questions dans les indicateurs

Les questions étroitement corrélées peuvent exercer une influence indue sur un indicateur qui tente d'examiner la mesure dans laquelle l'évolution porte sur divers aspects de l'éducation, notamment en cas de données manquantes. C'est pourquoi, lorsque l'ampleur de l'effet des questions est étroitement corrélée (au minimum 0.6 conformément au r de Pearson) et que la formulation des questions est identique dans les diverses années d'études et disciplines, seule la question affichant l'ampleur de l'effet la plus importante au niveau de l'OCDE a été intégrée dans les indicateurs généraux et ceux relatifs à la classe et aux établissements d'enseignement. Lorsqu'au sein d'un même module l'ampleur de l'effet de deux questions différentes est corrélée mais que la formulation diffère, ces deux questions ont été incluses dans l'indicateur en tant qu'items distincts. Ont également été intégrées dans les indicateurs au niveau des disciplines et des années d'études les questions qui ne posaient pas de problème de corrélation.

Tableau B.2. Nombre de questions disponibles – Principaux indicateurs

Pays et régions	Indicateur général	Indicateur de l'enseignement primaire	Indicateur de l'enseignement secondaire	Indicateur des mathématiques	Indicateur des sciences	Indicateur de la lecture
Australie	125	62	66	28	49	-
Autriche	-	59	-	-	-	33
Belgique (Communauté flamande)	-	-	-	-	-	33
Canada (Alberta)	-	59	-	-	-	-
Canada (Ontario)	110*	62	51*	28	43*	33
Canada (Québec)	110*	62	51*	28	43*	33
République tchèque	-	62	-	-	-	-
Danemark	-	62	-	-	-	33
France	-	-	-	-	-	33
Allemagne	-	62	-	-	-	33
Hongrie	125	62	66	28	49	33
Israël	100***	-	66	-	-	33
Italie	125	62	63	28	49	33
Japon	91**	-	66	28	49	-
Corée	91**	-	66	-	48	-
Lettonie	-	-	-	-	-	33
Lituanie	125	62	66	28	49	33
Pays-Bas	-	62	-	-	-	33
Nouvelle-Zélande	125	61	-	28	49	33
Norvège	125	62	61	28	49	33
Pologne	-	59	-	-	-	33
Portugal	-	59	-	-	-	33
République slovaque	-	62	-	-	-	33
Slovénie	125	62	66	28	49	33
Espagne	-	59	-	-	-	33
Suède	125	62	66	28	49	33
Turquie	-	-	61	28	48	-
Royaume-Uni (Angleterre)	110*	62	51*	28	43*	33
États-Unis	125	62	61	28	49	33
États-Unis (Massachusetts)	-	-	51	-	-	-
États-Unis (Minnesota)	-	-	51	-	-	-
Hong Kong (Chine)	125	62	66	28	49	33
Indonésie	100***	-	61	-	-	33
Fédération de Russie	125	62	66	28	49	33
Singapour	125	62	56	28	43*	33
Afrique du Sud	-	-	51*	-	-	28

Remarque : * Absence de données PISA - estimation de l'effet de la base de données utilisée ; ** Absence de données PIRLS - estimation de l'effet de la base de données utilisée ; *** Absence de données TIMSS pour la 4^e année - estimation de l'effet de la base de données utilisée.

Source : bases de données des enquêtes PISA, TIMSS et PIRLS.

Tableau B.3. Nombre de questions disponibles – Indicateurs relatifs aux TIC

Pays et régions	Présence des TIC	Utilisation des TIC
Australie	7	18
Autriche	5	11
Canada (Ontario)	5	15
Canada (Québec)	5	15
Chili	6	15
République tchèque	5	11
Danemark	5	11
Finlande	5	11
Hongrie	7	18
Irlande	5	11
Italie	7	18
Japon	6	15
Corée	6	15
Lituanie	7	18
Pays-Bas	5	11
Nouvelle-Zélande	7	18
Norvège	5	15
Pologne	5	11
Portugal	5	11
République slovaque	5	11
Slovénie	7	18
Espagne	5	11
Suède	7	18
Turquie	4	-
Royaume-Uni (Angleterre)	5	15
États-Unis	5	15
Hong Kong (Chine)	7	18
Fédération de Russie	7	18
Singapour	7	18

Source : bases de données des enquêtes PISA, TIMSS et PIRLS.

Tableau B.4. Nombre de questions disponibles – Indicateurs thématiques

Pays et régions	Indicateur de l'évaluation	Indicateur des devoirs	Indicateur de l'apprentissage actif en sciences	Indicateur des compétences de niveau supérieur	Indicateur de l'acquisition et de la transmission des connaissances	Indicateur de la présence de ressources d'apprentissage	Indicateur de l'apprentissage par cœur	Indicateur de la formation professionnelle et du perfectionnement des enseignants	Indicateur de l'apprentissage par les pairs et du perfectionnement professionnel	Indicateur de la gestion des ressources humaines et des relations extérieures	Indicateur d'autres pratiques
Australie	10	8	8	16	8	-	9	16	9	8	-
Autriche	-	-	-	-	5	11	-	-	-	-	7
Canada (Alberta)	-	-	-	-	5	-	-	-	-	-	-
Canada (Ontario)	10	-	6	11	8	12	8	16	9	6	-
Canada (Québec)	10	8	6	11	8	12	8	16	9	6	-
Chili	-	-	-	-	-	-	8	16	-	-	-
République tchèque	-	-	5	13	5	11	-	-	-	-	7
Danemark	-	-	5	13	5	11	-	-	-	-	7
Finlande	-	-	-	-	-	11	-	-	-	-	7
France	-	-	-	11	-	-	-	-	-	-	-
Allemagne	-	-	5	13	5	-	-	-	-	-	7
Hongrie	10	7	8	16	8	14	9	16	9	8	7
Irlande	-	-	5	-	-	-	-	-	-	-	-
Israël	10	8	-	14	5	11	6	-	6	7	7
Italie	10	8	8	16	8	14	9	16	9	-	7
Japon	-	8	8	10	6	-	8	16	9	7	-
Corée	-	8	8	10	6	-	8	16	9	7	-
Lettonie	-	-	-	11	-	-	-	-	-	-	7
Lituanie	10	7	8	16	8	14	9	16	9	8	7
Pays-Bas	-	-	5	13	5	11	-	-	-	-	7
Nouvelle-Zélande	9	-	8	-	8	14	9	16	9	8	7
Norvège	10	8	8	16	8	12	9	16	9	8	6
Pologne	-	-	5	13	5	11	-	-	-	-	7
Portugal	-	-	-	-	5	11	-	-	-	-	7
République slovaque	-	-	5	13	5	11	-	-	-	-	7
Slovénie	10	7	8	16	8	14	9	16	9	8	7
Espagne	-	-	5	13	5	11	-	-	-	-	7
Suède	10	7	8	16	8	14	9	16	9	8	7
Turquie	-	8	-	10	6	-	8	16	9	7	-
Royaume-Uni (Angleterre)	10	8	6	11	8	12	8	16	9	6	-
États-Unis	10	8	8	16	8	12	9	16	9	8	6
États-Unis (Massachusetts)	-	8	-	-	-	-	-	-	-	-	-
États-Unis (Minnesota)	-	8	-	-	-	-	-	-	-	-	-
Hong Kong (Chine)	10	8	8	16	8	14	9	16	9	8	7
Indonésie	10	7	-	14	5	-	6	-	6	7	6
Fédération de Russie	10	7	8	16	8	14	9	16	9	8	7
Singapour	10	8	6	11	8	14	8	16	9	6	-
Afrique du Sud	10	-	-	-	5	-	-	-	6	-	-

Construction et présentation des indicateurs

Les indicateurs élaborés visent à montrer le degré d'évolution ou d'innovation dans un pays par rapport à d'autres. Ils peuvent servir à établir un classement des pays en fonction de leur niveau relatif d'innovation dans les niveaux d'enseignement, les disciplines et les pratiques éducatives plus spécifiques.

Les indicateurs d'innovation généraux, par discipline et par niveau d'enseignement pour chaque pays = 100 x (moyenne pondérée de l'ampleur absolue de l'effet).

Les indicateurs d'innovation thématiques et relatifs aux TIC ne pondèrent aucune donnée, par conséquent les indicateurs composites pour chaque pays = 100 x (moyenne non pondérée de l'ampleur absolue de l'effet).

Le nombre de questions incluses dépend de la présence de données dans les enquêtes PISA et/ou TIMSS/PIRLS, et varie donc selon les systèmes d'éducation. Il dépend aussi clairement de l'indicateur en tant que tel : par exemple, jusqu'à 33 questions sont utilisées dans l'indicateur d'innovation en matière de lecture, contre 49 s'agissant des sciences. Des écarts importants sont également observés dans le nombre de questions incluses dans les indicateurs thématiques et ceux relatifs aux TIC.

S'il est possible d'attribuer une valeur supérieure à l'ampleur absolue de l'effet, dans la pratique elle oscille généralement entre 0 et 1. Les indicateurs peuvent donc afficher une valeur située entre 0 et l'infini positif, mais dans les faits et s'agissant des vastes indicateurs composites ils sont toujours inférieurs à 100. Concernant les indicateurs composites spécifiques et ceux liés aux TIC, l'indicateur en tant que tel a la même portée que les indicateurs plus vastes mais sa décomposition montre également les contributions positives et négatives.

Mises en garde

Inclusion des questions

Les indicateurs combinent des données provenant d'un vaste ensemble diversifié de questions posées lors de différentes enquêtes. En partant de l'hypothèse selon laquelle chaque question peut fournir des informations supplémentaires sur le degré d'évolution et d'innovation au sein d'un système d'éducation, le processus utilisé pour la construction des indicateurs s'est appuyé sur le plus grand nombre de questions possible et leur inclusion a été déterminée en fonction de la disponibilité de données valides. Toutefois, une approche plus théorique axée sur les questions les plus pertinentes ou une approche statistique en termes de réduction des données pourraient fournir des résultats différents.

Systèmes d'éducation pris en compte

Les indicateurs fournissent certaines informations relatives à un sous-ensemble des systèmes d'éducation abordés dans les précédents chapitres. Ce sous-ensemble a été défini en fonction des données disponibles. Il peut arriver que d'autres systèmes se trouvent aux extrémités du classement. Il convient de noter que l'inclusion ou la suppression de systèmes d'éducation impacteraient également l'estimation des valeurs manquantes. Même si le classement des pays offre une synthèse solide des évolutions prises en compte par nos indicateurs de l'évolution, il ne devrait pas faire l'objet d'une interprétation excessive.

Moyenne de l'OCDE

La moyenne de l'OCDE est calculée pour l'ensemble des systèmes d'éducation qui disposent de données pour toutes les années concernées. La procédure suivante a été adoptée pour calculer les coefficients de pondération des régions qui ne correspondent pas à un membre de l'OCDE dans son ensemble : ne sont pas pris en compte les systèmes d'éducation rattachés à un pays qui dispose de l'ensemble des données, c'est notamment le cas des différents états des États-Unis. À l'inverse, les systèmes d'éducation pour lesquels il n'existe pas de données pour l'ensemble du pays auxquels ils appartiennent se sont vus attribuer un coefficient de pondération égal à 1, c'est le cas par exemple de l'Ontario et de la Flandre (Belgique).

Périodes considérées

L'ampleur de l'effet de l'évolution des réponses à une question spécifique est généralement calculée aux deux mêmes moments pour chaque pays, mais ces moments peuvent varier en fonction des questions. Les indicateurs montrent donc une tendance à l'évolution ou l'innovation sur des périodes légèrement différentes, plutôt que le degré d'évolution sur une période spécifique.

Interprétation des résultats

Les indicateurs présentés aident le lecteur à prendre en considération les avantages d'un tel indicateur d'innovation composite reposant sur des mesures de l'évolution, mais ils peuvent ne pas offrir une représentation exacte du niveau d'évolution et d'innovation au sein d'un pays. Si l'indicateur est fondé sur de nombreuses questions et observations, l'imputation et la correction des données manquantes nécessaires pour la construction des indicateurs d'innovation invitent le lecteur à la prudence. Il s'agit de simples indicateurs d'innovation et il est fort probable que de faibles variations entre les niveaux ne soient pas significatives.

Un score plus élevé pour l'indicateur suggère qu'un système d'éducation enregistre plus d'évolution que d'autres systèmes. Toutefois, il n'existe actuellement aucune théorie pouvant être appliquée pour définir les différents niveaux en matière de pertinence de l'innovation. De la même manière, l'échelle ne fournit pas d'information sur ce qu'il convient de déplacer d'un point à un autre. Des travaux supplémentaires pourraient être entrepris pour produire des descriptions qualitatives des différents points sur l'échelle, après avoir procédé à l'amélioration de la collecte des données.