Mesurer l’innovation dans l’éducation 2019 (Version abrégée)

Annexe A.  Sources de données et méthodes

Sources de données : vue d'ensemble

La présente publication rend compte des résultats des analyses secondaires des données issues de plusieurs sources et collectées lors d'enquêtes menées auprès d'élèves, d'enseignants et de chefs d'établissement. Ces données proviennent des enquêtes PISA (Programme international pour le suivi des acquis des élèves), TIMSS (Étude des tendances internationales en mathématiques et en sciences) et PIRLS (Programme international de recherche en lecture scolaire). Ces enquêtes ont été créées dans le but d'examiner les résultats des élèves en mathématiques et en sciences (PISA et TIMSS) ainsi qu'en compréhension de l'écrit (PISA et PIRLS). Les questionnaires contextuels fournissent des informations pertinentes sur les pratiques en classe et dans les établissements d'enseignement qui ont servi à identifier l'ampleur de l'évolution desdites pratiques au fil du temps. Toutes ces enquêtes sont de nature transversale.

Champ couvert par les données

L'enquête PISA vise à évaluer les résultats d'apprentissage des élèves de 15 ans et à établir des comparaisons dans le temps. Elle examine plus particulièrement le degré de capacité des élèves à mobiliser les connaissances et compétences acquises et exercées en classe lorsqu'ils sont face à des situations et des défis pour lesquels ces connaissances peuvent être pertinentes.

Cette enquête s'appuie sur des questionnaires afin de collecter des informations de base auprès des élèves ainsi que des données auprès des chefs d'établissement sur divers aspects de l'organisation et des services éducatifs au sein des établissements scolaires.

Les élèves de 15 ans inscrits dans des établissements d'enseignement en 7^e année ou dans une année supérieure, y compris ceux scolarisés à temps partiel et ceux en formation professionnelle, constituent la population cible du PISA. Il convient de souligner que l'échantillon n'est pas conçu pour être représentatif des établissements ou des classes et qu'il n'a pas fait l'objet d'une nouvelle pondération. Les résultats devraient être interprétés comme « le pourcentage d'élèves de 15 ans ayant déclaré... ».

Les enquêtes TIMSS et PIRLS sont conçues pour évaluer la réussite des élèves à travers le monde et établir des comparaisons dans le temps. L'enquête TIMSS repose sur les deux populations cibles suivantes : tous les élèves scolarisés en 4^e année et tous les élèves scolarisés en 8^e année (bien que les pays aient le choix d'évaluer l'une ou l'autre de ces populations d'élèves ou les deux). La quatrième année et la huitième année correspondent à quatre et huit ans de scolarisation à compter de la première année du niveau 1 de la CITE, pour autant que l'âge moyen au moment de l'évaluation soit au minimum respectivement de 9.5 ans et de 13.5 ans.

L'ensemble des élèves inscrits en 4^e année constitue la population cible de l'enquête PIRLS. Tous les établissements de l'ensemble des sous-systèmes d'éducation qui accueillent des élèves étudiant à temps plein dans l'année visée par l'enquête font partie de la population internationale cible, y compris les établissements qui ne relèvent pas du ministère national de l'Éducation ou de son équivalent.

Les enquêtes TIMSS et PIRLS sont conçues pour examiner tout particulièrement les programmes d'études des élèves et leurs expériences pédagogiques, et leurs échantillons reposent donc sur des classes entières d'élèves. Toutefois, à l'instar du PISA, ces deux enquêtes ne visent pas à être représentatives des établissements ou des classes et les données n'ont pas fait l'objet d'une nouvelle pondération. Les résultats devraient être interprétés comme « le pourcentage d'élèves de 4^e/8^e année ayant déclaré... ».

Pays à l'étude

La présente publication comporte des informations en provenance de 47 systèmes d'éducation ou pays de l'OCDE et de 6 pays partenaires.

• Au sein de l'OCDE, 36 systèmes d'éducation ont participé à l'enquête PISA en 2015, contre 34 en 2009 et 32 en 2006.

• S'agissant de l'enquête TIMSS, ils étaient 29 pays de l'OCDE à y participer en 2015, contre 38 en 2011 et 27 en 2007.

• Enfin, pour l'enquête PIRLS, les chiffres de la participation des systèmes d'éducation de l'OCDE s'élevaient à 31 en 2016, contre 29 en 2011 et 27 en 2006.

Taille des échantillons

Tableau A.1. Taille des échantillons de l'enquête TIMSS pour les chefs d'établissement

	En 4e année			En 8e année
Pays de l'OCDE	2007	2011	2015	2007	2011	2015
Australie	229	280	287	228	277	285
Autriche	196	158
Belgique (Communauté flamande)		142	153
Canada			441			276
Canada (Alberta)	146	143			145
Canada (Québec)	186	190	121	170	189	122
Canada (Ontario)	188	146	151	176	143	138
Chili		200	179		193	171
Colombie	142			148
République tchèque	144	177	159	147
Danemark	137	216	193
Finlande		145	158		145
France			164
Allemagne	246	197	204
Hongrie	144	149	144	144	146	144
Irlande		150	149			149
Israël				146	151	200
Italie	170	202	164	170	197	161
Japon	148	149	148	146	138	147
Corée		150	149	150	150	150
Lituanie	156	154	225	145	141	208
Pays-Bas	141	128	129
Nouvelle-Zélande	220	180	174		158	145
Norvège	145	119	140	139	134	143
Pologne		150	150
Portugal		147	217
République slovaque	184	197	198
Slovénie	148	195	148	148	186	148
Espagne		151	358
Suède	155	152	144	159	153	150
Turquie		257	242	146	239	218
Royaume-Uni (Angleterre)	143	154	147	137	118	143
Royaume-Uni (Irlande du Nord)		136	118
États-Unis	257	369	250	239	501	246
États-Unis (Massachusetts)	47			48	56
États-Unis (Minnesota)	50			49	55
Pays non membres de l'OCDE
Hong Kong	126	136	132	120	117	133
Indonésie			230	149	153
Fédération de Russie	206	202	208	210	210	204
Singapour	177	176	179	164	165	167
Afrique du Sud			297		285	292

Tableau A.2. Taille des échantillons de l'enquête TIMSS pour les enseignants

	En 4e année			En cours de mathématiques de 8e année			En cours de sciences de 8e année
Pays de l'OCDE	2007	2011	2015	2007	2011	2015	2007	2011	2015
Australie	360	594	584	251	802	824	496	1 049	909
Autriche	356	296
Belgique (Communauté flamande)		268	295
Canada			807			384			278
Canada (Alberta)	252	235			222			234
Canada (Québec)	308	300	195	226	265	165	192	323	167
Canada (Ontario)	279	362	309	214	244	202	219	245	96
Colombie	214			149			149
Chili		200	261		194	172		194	191
République tchèque	253	291	347	212			845
Danemark	246	341	305
Finlande		310	400		264			827
France			310
Allemagne	373	312	307
Hongrie	255	324	307	289	280	232	987	1 005	516
Irlande		220	214			516			352
Israël				394	514	596	270	282	347
Italie	323	314	328	287	205	21	287	205	228
Japon	250	265	292	216	181	231	178	151	169
Corée		168	226	243	376	310	181	202	215
Lituanie	283	282	301	209	222	264	596	617	905
Pays-Bas	218	210	223
Nouvelle-Zélande	609	494	499		354	435		265	329
Norvège		280	280	270	175	220	264	171	80
Pologne		257	390
Portugal		240	322
République slovaque	343	422	404
Slovénie	340	245	256	503	523	352	779	901	527
Espagne		200	517
Suède	396	369	233	491	405	198	680	540	210
Turquie		263	251	146	240	220	146	240	218
Royaume-Uni (Angleterre)	250	261	238	235	212	210	615	751	775
Royaume-Uni (Irlande du Nord)		187	154
États-Unis	904	767	540	532	559	429	687	931	517
États-Unis (Massachusetts)	156			103	105		114	107
États-Unis (Minnesota)	168			104	110		116	147
Pays non membres de l'OCDE
Hong Kong	282	267	279	145	148	173	123	124	145
Indonésie			378	149	170		276	259
Fédération de Russie	268	218	226	273	239	221	1 083	916	748
Singapour	508	515	538	357	330	324	429	330	318
Afrique du Sud						325			305

Tableau A.3. Taille des échantillons de l'enquête TIMSS pour les élèves

	En 4e année			En 8e année
Pays de l'OCDE	2007	2011	2015	2007	2011	2015
Australie	4 108	6 146	10 338	4 069	7 556	10 338
Autriche	4 859	4 668
Belgique (Communauté flamande)		4 849
Canada			8 757			8 757
Canada (Alberta)	4 037	3 645
Canada (Québec)	3 885	4 235	3 950	3 956	6 149	3 950
Canada (Ontario)	3 496	4 570	4 520	3 448	4 756	4 520
Chili		5 585	4 849		5 835	4 849
République tchèque	4 235	4 578		4 845
Danemark	3 519	3 987
Finlande		4 638			4 266
France
Allemagne	5 200	3 995
Hongrie	4 048	5 204	4 893	4 111	5 178	4 893
Irlande		4 560	4 704			4 704
Israël			5 512	3 294	4 699	5 512
Italie	4 470	4 200	4 481	4 408	3 979	4 481
Japon	4 487	4 411	4 745	4 312	4 414	4 745
Corée		4 334	5 309	4 240	5 166	5 309
Lituanie	3 980	4 688	4 347	3 991	4 747	4 347
Pays-Bas	3 349	3 229
Nouvelle-Zélande	4 940	5 572	8 142		5 336	8 142
Norvège	4 108	3 121	4 697	4 627	3 862	4 697
Pologne		5 027
Portugal		4 042
République slovaque	4 963	5 616
Slovénie	4 351	4 492	4 257	4 043	4 415	4 257
Espagne		4 183
Suède	4 676	4 663	4 090	5 215	5 573	4 090
Turquie		7 479	6 079	4 498	6 928	6 079
Royaume-Uni (Angleterre)	4 316	3 397	4 814	4 025	3 842	4 814
Royaume-Uni (Irlande du Nord)		3 571
États-Unis	7 896	12 569	10 221	7 377	10 477	10 221
États-Unis (Massachusetts)				1 897	2 075
États-Unis (Minnesota)				1 777	2 500
Pays non membres de l'OCDE
Colombie	4 801			4 873
Hong Kong	3 791	3 957	4 155	3 470	4 015	4 155
Indonésie				4 203	5 795
Fédération de Russie	4 464	4 467	4 780	4 472	4 893	4 780
Singapour	5 041	6 368	6 116	4 599	5 927	6 116
Afrique du Sud			12 514		11 969	12 514

Tableau A.4. Taille des échantillons de l'enquête PIRLS pour les chefs d'établissement, les enseignants et les élèves

	Chefs d'établissement			Enseignants			Élèves
Pays de l'OCDE	2006	2011	2016	2006	2011	2016	2006	2011	2016
Australie		280	286		513	531		6 126	6 341
Autriche	158	158	150	263	284	259	5 067	4 670	4 360
Belgique (Communauté flamande)	137		148	237		277	4 479		5 198
Belgique (Communauté francophone)	150	127	158	277	217	254	4 552	3 727	4 623
Canada		1 111	926		1 393	1 119		23 206	18 245
Canada (Alberta)	150	145		233	218		4 243	3 789
Canada (Québec)	185	190	127	210	217	166	3 748	4 244	3 179
Canada (Ontario)	180	189	188	200	275	251	3 988	4 561	4 270
Colombie		150			151			3 966
Chili			154			154			4 294
République tchèque	0	177	157		235	270		4 556	5 537
Danemark	145	232	185	216	236	186	4 001	4 594	3 508
Finlande	0	145	151		285	295		4 640	4 896
France	169	174	163	261	276	284	4 404	4 438	4 767
Allemagne	405	197	208	418	222	227	7 899	4 000	3 959
Hongrie	149	149	149	194	245	206	4 068	5 204	4 623
Islande	128			239			3 673
Irlande	0	151	148		221	219		4 524	4 607
Israël	149	152	159	149	165	159	3 908	4 186	4 041
Italie	150	202	149	198	239	217	3 581	4 189	3 940
Lettonie	145		150	213		216	4 162		4 157
Lituanie	144	154	195	270	277	243	4 701	4 661	4 317
Luxembourg	178			363			5 101
Pays-Bas	139	138	132	207	207	226	4 156	3 995	4 206
Nouvelle-Zélande	243	192	188	509	434	411	6 256	5 644	5 646
Norvège	135	120	150	227	190	211	3 837	3 190	4 232
Pologne	148	150	148	250	257	214	4 854	5 005	4 413
Portugal	0	148	218		242	318		4 085	4 642
République slovaque	167	197	220	263	314	333	5 380	5 630	5 451
Slovénie	145	195	160	315	243	253	5 337	4 512	4 499
Espagne	152	312	629	193	402	678	4 094	8 580	14 595
Espagne (Andalousie)	0	149		0	197	188	0	4 333
Suède	147	152	154	255	254	214	4 394	4 622	4 525
Royaume-Uni (Angleterre)	148	129	170	186	182	210	4 036	3 927	5 095
Royaume-Uni (Irlande du Nord)		136	134		184	161		3 586	3 693
États-Unis	183	370	158	253	606	208	5 190	12 726	4 425
Pays non membres de l'OCDE
Hong Kong	144	132	138	144	138	150	4 712	3 875	3 349
Indonésie	168	158		168	163		4 774	4 791
Fédération de Russie	232	202	206	232	209	213	4 720	4 461	4 577
Singapour	178	176	177	356	355	354	6 390	6 367	6 488
Afrique du Sud	397	341	293	403	111		14 657	3 515	12 810

Tableau A.5. Taille des échantillons de l'enquête PISA pour les chefs d'établissement et les élèves

	Chefs d'établissement			Élèves
Pays de l'OCDE	2006	2009	2015	2006	2009	2015
Australie	350	345	758	14 170	14 251	14 530
Autriche	197	280	269	4 927	6 590	7 007
Belgique	269	275	288	8 857	8 501	9 651
Canada	861	908	759	22 646	23 207	20 058
Chili	173	199	227	5 233	5 669	7 053
Colombie	165	275	372	4 478	7 921	11 795
République tchèque	244	260	344	5 932	6 064	6 894
Danemark	209	285	333	4 532	5 924	7 161
Estonie	169	175	206	4 865	4 727	5 587
Finlande	155	203	168	4 714	5 810	5 882
France	179	166	252	4 716	4 298	6 108
Allemagne	225	226	256	4 891	4 979	6 522
Grèce	189	183	211	4 873	4 969	5 532
Hongrie	189	187	245	4 490	4 605	5 658
Islande	135	129	124	3 789	3 646	3 374
Irlande	164	141	167	4 585	3 937	5 741
Israël	149	176	173	4 584	5 761	6 598
Italie	796	1 095	474	21 773	30 905	11 583
Japon	181	185	198	5 952	6 088	6 647
Corée	154	157	168	5 176	4 989	5 581
Lettonie	176	184	250	4 719	4 502	4 869
Lituanie	197	196	311	4 744	4 528	6 525
Luxembourg	31	39	44	4 567	4 622	5 299
Mexique	1 128	1 531	275	30 971	38 250	7 568
Pays-Bas	183	185	187	4 871	4 760	5 385
Nouvelle-Zélande	170	161	183	4 823	4 643	4 520
Norvège	203	197	229	4 692	4 660	5 456
Pologne	221	179	169	5 547	4 917	4 478
Portugal	172	212	246	5 109	6 298	7 325
République slovaque	188	189	290	4 731	4 555	6 350
Slovénie	356	337	333	6 595	6 155	6 406
Espagne	686	888	201	19 604	25 887	6 736
Suède	197	189	202	4 443	4 567	5 458
Suisse	509	425	227	12 192	11 812	5 860
Turquie	160	170	187	4 942	4 996	5 895
Royaume-Uni	494	481	550	13 152	12 179	14 157
États-Unis	166	160	177	5 611	5 233	5 712
Pays non membres de l'OCDE
Brésil	625	947	841	9 295	20 127	23 141
Hong Kong	146	151	138	4 645	4 837	5 359
Indonésie	352	183	236	10 647	5 136	6 513
Fédération de Russie	209	213	210	5 799	5 308	6 036
Singapour		171	177		5 283	6 115

Années prises en compte

Cette publication est axée sur les évolutions survenues au fil du temps et pour cette raison, elle collecte des données provenant des mêmes questions posées au cours de différentes années. S'il existe de nombreuses questions de ce type dans les ensembles de données utilisés, il convient de souligner que les réponses apportées n'ont pas toutes été collectées lors des mêmes années.

Dans la mesure du possible, les analyses se concentrent sur les évolutions survenues entre 2006 et 2016, bien que les données issues de l'enquête TIMSS font état des évolutions entre 2007 et 2015, et celles de l'enquête PISA entre 2006 et 2015 ou entre 2009 et 2015. Les années prises en compte dans les analyses sont indiquées dans les chapitres.

Parfois, des données sont également disponibles pour une année supplémentaire entre ces dates de début et de fin. Dans ce cas, les données provenant des trois exercices de collecte de données sont présentées dans les graphiques, mais seules les dates de début et de fin font l'objet d'un examen dans le texte.

Calcul des moyennes et totaux à l'échelle internationale

Étant donné le large éventail des systèmes d'éducation pris en compte dans chaque chapitre, les moyennes internationales n'intègrent pas toujours les mêmes pays ou le même nombre de systèmes d'éducation. Lorsque cela a été possible, les moyennes statistiques internationales ont été calculées sur la base des données des pays de l'OCDE (comme dans les enquêtes PISA, TIMMS et PIRLS). Dans chaque indicateur des enquêtes TIMSS, PIRLS et PISA, le calcul de la moyenne (non pondérée) de l'OCDE a pris en compte un sous-ensemble de systèmes d'éducation qui disposaient de données pour toutes les années à l'étude.

Calcul de l'ampleur de l'effet

L'ampleur de l'effet est présentée pour l'ensemble des analyses en plus des tests de signification statistique. Ces tests de signification permettent au lecteur de déterminer si l'écart entre les deux pourcentages indiqués peut être dû au hasard en cas d'écart réel nul, et de juger ainsi de la qualité de l'instrument utilisé pour la mesure. Toutefois, la signification statistique dépend de la taille de l'échantillon (plus ce dernier est grand, plus le lecteur peut être sûr que même les écarts minimes ne sont pas le fait du hasard) et peut, en principe, être facilement améliorée en augmentant le nombre d'observations. Cependant cela n'apporte aucune information au lecteur concernant l'importance des effets observés dans la pratique. Par exemple, une évolution de la pratique en classe pourrait être statistiquement significative mais correspondre uniquement à quelques points de pourcentage en termes d'évolution relative avec aucune signification concrète.

L'ampleur de l'effet fournit des informations importantes sur l'intensité de la relation entre deux statistiques. La principale différence entre l'ampleur de l'effet et la signification statistique est que l'évolution est normalisée par l'écart-type par opposition à l'erreur-type, ce qui signifie que le résultat ne dépend plus de la taille de l'échantillon. La méthode de calcul précise dépend du type de question posée, mais suit généralement le modèle suivant :

$\mathrm{E}=\frac{{\mathrm{X}}_2-{\mathrm{X}}_1}{{\sigma }_{21}}$

c'est-à-dire l'évolution entre un groupe étudié et un groupe de contrôle (ou deux sous-groupes d'un échantillon ou, dans le cas qui nous intéresse deux années différentes), divisée par un écart-type « cumulé » :

${\sigma }_{21}=\sqrt{\frac{{{\sigma }_1}^2-{{\sigma }_2}^2}{2}}$

Parfois, l'écart-type du groupe de contrôle ou des formes plus complexes d'écarts-types cumulés sont utilisés à la place de celui affiché ci-dessus. Cette publication examine l'ampleur de l'effet sous deux angles différents. Le premier consiste à calculer l'ampleur de l'effet à l'échelle des pays. Dans ce cas, les moyennes et les écarts-types correspondent aux échantillons d'un seul pays. Ce calcul fournit des informations sur le degré d'évolution positive (ou négative) d'un pays, exprimé en fonction de son propre écart-type. S'agissant de l'ampleur de l'effet à l'échelon national, $\widehat{{\sigma }_1 }$et $\widehat{{\sigma }_2 }$ sont estimés au moyen de la formule σ =Er. T.*√n (n représentant la taille des échantillons), ce qui fournit une estimation prudente (plus faible) pour l'ampleur de l'effet (car n pourrait potentiellement être surestimé en intégrant les observations non valides).

Une seconde approche pour examiner l'ampleur de l'effet est nécessaire pour toutes les questions qui ont pour objet le calcul de pourcentages, c'est-à-dire celles qui portent sur des variables nominales et demandent, par exemple, « À quelle fréquence réalisez-vous cette activité en classe ? Tous les jours ? Au moins une fois par semaine ? Au moins une fois par mois ? Rarement ou jamais ? ». Dans ce cas, on utilise le d de Cohen pour réaliser une transformation arc-sinus, où d=2(arcsin √P1-arcsin √P2).

Conformément à la pratique courante, l'ampleur de l'effet est évaluée en fonction de trois niveaux différents. Une ampleur de l'effet inférieure à 0.2 est qualifiée de négligeable à très faible, entre 0.2 et 0.5 de faible à modérée, entre 0.5 et 0.8 d'importante, et une ampleur de l'effet supérieure à 0.8 est qualifiée de très importante. Si l'utilité de ces seuils est discutable, cette convention est respectée en ajoutant un codage couleur avec trois tons de bleu différents pour l'affichage de l'ampleur de l'effet. Le lecteur devrait interpréter avec prudence ce codage couleur car dans les faits il y a peu de différence entre une ampleur de l'effet évaluée à 0.18 et à 0.22, malgré l'utilisation d'une couleur différente dans le graphique.

Autres références

La publication utilise le service « StatLinks » de l’OCDE. Sous chaque tableau et graphique se trouve un lien hypertexte (URL) qui donne accès à un classeur au format Excel® contenant les données de référence de l’indicateur concerné (en anglais). Ces liens URL sont stables et ne seront pas modifiés à l’avenir. De plus, il suffit au lecteur de la version électronique de cette publication de cliquer sur les liens pour ouvrir les classeurs correspondants dans une autre fenêtre. Les tableaux des fichiers Excel® contiennent des informations et des calculs supplémentaires qui ne pouvaient pas être présentés dans la version papier.