Dans les rouages de la machine Pisa

© belgaimage

C’est l’histoire d’un classement lancé en l’an 2000 par l’OCDE pour comparer les systèmes éducatifs et devenu, au fil de ses publications triennales, l’un des plus scrutés et commentés dans le monde.

En 20 ans, le nombre de pays participants au Programme international pour le suivi des acquis des élèves (Pisa) est passé de 43 à près de 80. Pas moins de 600.000 élèves ont été testés pour le dernier classement publié le 3 décembre. Et ces chiffres vont encore augmenter puisque ” près de 130 pays et économies souhaitent faire partie du programme “, révèle Andreas Schleicher, directeur de l’éducation et des compétences à l’OCDE et le père de Pisa.

Rien ne prédestinait cet étudiant en physique à Hambourg, puis en maths à Victoria en Australie, à s’occuper d’éducation. ” Mais pendant mon service militaire, j’ai été affecté dans une école spécialisée pour les élèves en difficulté, dont beaucoup venaient de milieux défavorisés. Cela m’a donné envie d’agir pour réduire les inégalités scolaires “, raconte cet Allemand de 56 ans, yeux bleus perçants, fine moustache et cheveux grisonnants. Après quelques années passées dans l’ingénierie médicale, il décide de bifurquer, sous l’influence de son mentor, le Britannique Neville Postlethwaite, l’un des fondateurs de l’Association internationale pour l’évaluation du rendement scolaire (IEA), la pionnière des comparaisons scolaires internationales.

Le test donne une photographie de la capacité d’un système éducatif à préparer ses jeunes au monde du travail.

Un outil indispensable

” Beaucoup de gens considèrent l’éducation comme un art et non une science. Mais nous avons besoin de méthodes si l’on veut distinguer et répliquer les bonnes pratiques. C’est l’idée d’appliquer la rigueur scientifique aux politiques publiques d’éducation qui a poussé l’OCDE à lancer Pisa, fait remarquer Andreas Schleicher, recruté en 1995 alors qu’il dirigeait l’analyse à l’IEA. Cela a été compliqué au début. Certains pays n’y voyaient pas d’intérêt, persuadés qu’ils étaient d’avoir déjà un excellent niveau. J’ai dû batailler pendant deux ans pour imposer le test, se souvient-il. A l’époque, c’était un monceau de paperasse et un travail très lourd alors que nous n’étions qu’une poignée de chercheurs. Nous avons mis quatre ans à faire ce que maintenant nous réalisons en deux mois ! ”

Erreurs de traduction ou d’impressions, faibles participations, maths trop appliquées à la vie réelle, ou philosophie jugée trop inspirée des idées libérales du Forum économique mondial… Le classement a connu son lot de couacs et de critiques. Mais il y a eu peu de mouvements d’humeur (la Suisse en 2015) ou d’exclusions (les Pays-Bas en 2000, le Royaume-Uni en 2003), et encore moins de boycott (l’Autriche en 2009). On a reproché aussi à Pisa de se focaliser sur seulement trois matières : maths, sciences et compréhension de l’écrit. ” Pour pouvoir comparer des résultats entre pays, il est impossible d’intégrer des disciplines trop liées à un contexte culturel national “, justifie Miyako Ikeda, responsable de l’analyse et du reporting.

ALLEMAGNE. Suite à leurs mauvais résultats lors du premier test Pisa, les Allemands ont lancé une série de réformes leur permettant de progresser dans le classement.
ALLEMAGNE. Suite à leurs mauvais résultats lors du premier test Pisa, les Allemands ont lancé une série de réformes leur permettant de progresser dans le classement.© belgaimage

” Cela dit, nous allons proposer un test d’anglais aux pays non anglophones en 2024, car c’est dans notre ADN d’évoluer “, ajoute cette Japonaise, titulaire d’un doctorat en éducation de Columbia University qui a rejoint Pisa en 2004. ” C’est un outil indispensable et de grande qualité statistique qui a su intégrer les critiques du début et évoluer “, confirme Thierry Rocher, chef de bureau de l’évaluation des élèves à la Direction de l’évaluation, de la prospective et de la performance (DEPP) au ministère français de l’Education nationale, et par ailleurs président de l’IEA, le ” concurrent ” de Pisa…

Des situations de la vie réelle

Au-delà du nombre de participants, le classement de l’OCDE s’est vite démarqué des autres études internationales (TIMMS, PILRS, etc.). ” Au lieu de s’intéresser aux écoliers et aux collégiens, Pisa évalue des élèves de 15 ans, près de la fin de la scolarité obligatoire. Cela donne une photographie de la capacité d’un système éducatif à préparer ses jeunes au monde du travail ou aux études supérieures “, estime Sophie Vayssettes, gestionnaire du projet Pisa, à l’OCDE depuis 1991.

Par ailleurs, les tests ne se basent pas sur les programmes scolaires, mais sur des situations de la vie réelle. ” Notre objectif n’est pas de savoir si un élève est capable de réciter sa leçon mais s’il peut mobiliser ses connaissances pour résoudre des problèmes, penser comme un scientifique ou un citoyen avisé, souligne Andreas Schleicher. Et cela, on peut le mesurer dans tous les pays même si les systèmes éducatifs et les programmes diffèrent. ”

Enfin, Pisa porte une attention particulière aux conditions socioéconomiques susceptibles d’influencer les performances des élèves afin d’apprécier le degré d’équité des systèmes éducatifs. ” Avant, l’éducation consistait essentiellement à sélectionner les élèves. Aujourd’hui, elle doit servir tout le monde “, insiste-il.

Un effectif restreint

Mais comment venir à bout d’une enquête si considérable sur un sujet aussi sensible que l’éducation sans que sa fiabilité ne soit remise en cause ? Pour le savoir, il faut se rendre quai Alphonse Le Gallo à Boulogne, près de Paris, dans l’ancien siège de Thomson désormais loué par l’OCDE. C’est là qu’oeuvre l’équipe qui pilote Pisa. Etonnamment, celle-ci ne compte que 24 personnes – des managers, des analystes, des statisticiens essentiellement – venant d’un peu partout. Impossible pour un effectif si restreint de couvrir l’ensemble des opérations.

Jouant en fait un rôle de secrétariat général, l’équipe fait appel à des prestataires pour s’occuper, l’un de la conception et de la mise en oeuvre globale des tests (l’américain ETS en 2018), l’autre de l’élaboration des questionnaires, et d’autres encore de l’échantillonnage et du contrôle de la qualité linguistique. Toutes les procédures et priorités étant arrêtées au niveau du Pisa Governing Board, l’organe de gouvernance composé des représentants des pays de l’OCDE qui se réunissent en moyenne deux fois par an. Quant aux tests, ils relèvent de la responsabilité des pays.

La lecture à l’heure du digital

Trois ans ne sont clairement pas de trop pour mener à bien une telle besogne. D’ailleurs, une réflexion est en cours pour allonger le cycle à quatre ans : ” La décision sera prise par le comité directeur de Pisa en 2021 “, précise Sophie Vayssettes. La première année sert à concevoir et développer les cadres conceptuels, les instruments et les questionnaires, à vérifier les langues utilisées, etc. La deuxième année, place aux tests de terrain, de mars à septembre, destinés à traquer les anomalies, peaufiner la sélection finale des items (ni trop faciles, ni trop durs…). Puis vient la troisième année, celle des tests grandeur nature à partir de mars.

” Les pays ont huit semaines pour les organiser, la majorité les mène vers avril, certains comme les Etats-Unis, le Royaume-Uni ou les nations de l’hémisphère sud plutôt en fin d’année “, détaille-t-elle. Ce n’est que la quatrième année, après l’analyse des données, la rédaction des synthèses, que sont restitués les résultats alors que le nouveau cycle s’enclenche déjà.

Premier chantier, et le plus délicat, la conception des tests. En charge de ce volet en 2018, le britannique Pearson a dû notamment imaginer des nouveaux items destinés à évaluer les ” compétences globales ” d’un élève, à savoir sa capacité à ” étudier des questions locales, mondiales et interculturelles, de comprendre et d’apprécier différentes perspectives et visions du monde, de bien entrer en interaction avec les autres dans le respect de leur personne et d’agir de façon responsable pour la durabilité et le bien-être collectif “. Hum… Beaucoup de pays ont fait l’impasse sur l’exercice. ” Le cadre de travail, axé d’abord sur l’employabilité puis sur l’ouverture aux autres, ne nous a pas convaincus, confie Thierry Rocher. En revanche, nous participerons à celui de 2021 centré sur la créativité. ”

Pisa s’est attelé pour 2018 à redéfinir la maîtrise de la lecture à l’heure du digital et des ‘fake news

Par ailleurs, Pisa s’est attelé pour 2018 à redéfinir la maîtrise de la lecture à l’heure du digital et des fake news. Comment ? ” En plaçant les élèves face à divers types de textes (articles de sources diverses, forums internet, etc.) et en les incitant à distinguer leur degré de fiabilité et à appliquer leur sens critique “, explique Francesco Avvisati, analyste Pisa.

Echantillon d’établissements et d’élèves

Autre étape importante, dans la confection de l’enquête : le choix des établissements et des élèves. L’échantillonnage se déroule en deux temps, et commence six mois environ avant les tests. D’abord, le prestataire désigné (l’américain Westat en 2018) demande à chaque pays de lui fournir une liste exhaustive de tous ses établissements scolaires – qu’ils soient privés, publics, généraux ou professionnels – ayant des élèves de 15 ans.

S’ensuit un tirage aléatoire devant respecter la répartition nationale entre leurs différents statuts, situation géographique et socioéconomique. Puis, les pays envoient les listes des élèves concernés des 150 établissements sélectionnés. Le prestataire effectue un second échantillonnage pour en sélectionner 42 par établissement (filles et garçons à parité).

En théorie, 6.300 élèves sont donc testés par pays. En pratique, des ajustements s’avèrent possibles. ” Pour des questions notamment d’organisation, la France choisit 250 établissements, mais avec un peu moins d’élèves à chaque fois “, indique Fabienne Rosenwald, directrice de la DEPP.

Il arrive également qu’une école sélectionnée n’ait pas suffisamment d’élèves, qu’elle soit trop difficile d’accès, ou encore que des élèves ne maîtrisent pas suffisamment la langue locale. Pour ces cas-là, Pisa accepte une marge d’exclusion des élèves de 5%, mais pas davantage. ” Au final, nous obtenons une représentation suffisamment fiable, dans la marge d’erreur indiquée, sachant que la performance d’un pays dans le classement doit avant tout s’interpréter par rapport à celle des autres “, rappelle Sophie Vayssettes.

Dernier chantier de taille, la vérification des traductions, censée chasser tous les biais culturels, les faux amis et les contresens. Depuis le début, Pisa utilise pour chaque question deux sources de traduction, en français et en anglais, ce qui suppose deux traducteurs au moins par pays et, faute de traducteur français, un double système de traduction en anglais. ” Il est quand même arrivé sur un questionnaire relatif au bien-être à l’école que 30% d’élèves de pays asiatiques déclarent s’être fait insulter alors qu’en général ce taux varie entre 6 à 8%. On s’est rendu compte que ‘ to give name’ (insulter) avait été traduit par ‘donner un surnom’ “, rapporte Sophie Vayssettes.

Tests et questionnaire personnel

Les tests mille fois contrôlés, leur organisation n’est pas forcément non plus une sinécure. Ceux-ci durent deux heures – une heure sur le thème majeur (la compréhension de l’écrit en 2018) et une demi-heure sur chacun des autres thèmes (science, maths) – et alternent différentes combinaisons d’items à choix multiples et à réponses écrites. L’élève répond aussi à un questionnaire personnel d’environ 35 minutes sur son environnement scolaire, familial, ses motivations, voire son accès et son usage des nouvelles technologies.

Les chefs d’établissement sont également interrogés et, dans certains pays, des enseignants et des parents. Tout est anonyme. ” Pisa n’est pas conçu pour produire des résultats individuels. D’ailleurs, les réponses des élèves sont combinées avec d’autres et ne sont utilisées qu’à des fins statistiques “, signale Francesco Avvisati.

Une fois les résultats collectés, l’équipe Pisa s’attelle d’abord au ” nettoyage ” des données jusqu’en février. ” Ensuite, il faut calculer les pondérations, ajuster en fonction notamment du niveau de non-réponses, analyser l’échantillon, repérer les anomalies, etc. Cette phase doit être terminée avant juin, pour que le ‘panel d’adjudication’ se prononce sur la qualité et la validité des données. Ce n’est qu’après que celles-ci sont partagées avec les pays “, détaille Sophie Vayssettes.

Une séquence de dialogue s’engage alors entre Pisa et les participants. ” Il y a généralement beaucoup d’allers et retours avant de se mettre d’accord sur les résultats, ce qui explique le délai entre le passage des tests et la publication du classement, décrit Thierry Rocher. En revanche, leur interprétation et les recommandations sont à la main de Pisa. ” Mi-novembre, la Direction de l’évaluation du ministère de l’Education nationale n’avait d’ailleurs toujours pas eu accès à sa note pays…

” Nous n’aimons pas beaucoup les surprises ”

En dépit de tous ces échanges et de l’ampleur de l’exercice, il n’y a apparemment jamais eu de fuites. ” Les sites sont hyper sécurisés, un codage est effectué pays par pays. Chaque élève a un numéro d’identification, de même que chaque test. A quelques exceptions près (confidentialité demandée par quelques pays sur la distinction privée/public ou certaines variables), toutes les données sont rendues publiques le jour de la divulgation du classement, c’est un engagement de transparence de l’organisation “, affirme Sophie Vayssettes.

Rien n’est laissé au hasard. ” Nous n’aimons pas beaucoup les surprises, confirme la gestionnaire de projet. Aussitôt qu’une hausse ou une baisse anormale est détectée sur un indicateur, on vérifie à plusieurs reprises pour comprendre ce qui se passe. Une de nos plus grosses surprises a été la performance de Shanghai en 2012, qui s’est propulsée, dès sa première participation, en tête du classement… Cela s’explique : le système scolaire chinois est très exigeant et Shanghai est une ville prospère. A priori, notre objectif est d’évaluer l’ensemble de la population, pas son élite, c’est la limite d’ouvrir le classement à des agglomérations. Mais c’est une étape pour des pays aussi immenses que la Chine, tout comme ce le sera pour l’Inde avec l’Etat de Chandigarh en 2021. ”

ASIE. Au fil des ans, l'influence de Pisa n'a cessé de grandir, notamment sur le continent asiatique.
ASIE. Au fil des ans, l’influence de Pisa n’a cessé de grandir, notamment sur le continent asiatique.© getty images

Une influence grandissante en Asie

Au fil des ans, l’influence de Pisa n’a cessé de grandir, notamment en Asie. Son ambition, il est vrai, ne s’arrête pas à compiler des millions de données et à décerner des satisfécits. L’OCDE, tout comme l’Europe d’ailleurs, cherche à propager les meilleures pratiques. Ce qui n’est pas toujours du goût de tout le monde. ” Comme tout outil statistique, Pisa a ses limites. Peut-il être utilisé pour faire des recommandations ? Il faut éviter de tirer des conclusions trop hâtives car une corrélation n’est pas forcément une causalité “, remarque Thierry Rocher, donnant l’exemple de la Finlande et de la Corée, ” deux systèmes très performants, et qui pourtant n’ont rien à voir “.

Conscients de leurs lacunes, pas mal de pays ont pu appliquer des ” bonnes pratiques “, parfois avec succès, parfois trop littéralement… ” Ce qui marche dans un système ne fonctionnera pas forcément, tel quel, dans un autre, avertit Francesco Avvisati. Cependant, le Brésil a vu ses élèves sensiblement progresser en maths, et la Pologne, qui a complètement changé la structure de ses programmes scolaires, se situe désormais au-dessus de la moyenne de l’OCDE. ”

Lors du premier Pisa en 2000, des grands pays ont été déçus par leurs piètres résultats. ” Dans la moyenne, la France avait notamment jugé que les tests étaient trop éloignés de ses programmes. Du coup, l’OCDE l’avait invitée à sélectionner les seules questions correspondant aux acquis de ses élèves et recalculé leurs performances. Mais le résultat s’est révélé peu différent de l’original. ” Pour autant, les politiques français n’ont pas estimé qu’il y avait péril en la demeure. Au contraire des Allemands, ” choqués ” par leurs médiocres performances, qui ont lancé dans la foulée tout un train de réformes leur permettant de progresser dans le classement.

” En réalité, le choc s’est produit un peu plus tard en France quand nous nous sommes rendu compte que les inégalités sociales se creusaient plus ici que dans les autres pays comparables “, fait remarquer Fabienne Rosenwald. Cela confirmait les accusations d’élitisme du système éducatif français. ” Ces résultats venant de l’extérieur nous ont aidés à identifier le problème du décrochage scolaire et à agir à la racine, dès la maternelle et l’école primaire, en limitant notamment le redoublement, en doublant les classes de CP et de CE1 dans les zones défavorisées et en développant des tests nationaux “, ajoute-t-elle. Mais cela prend du temps…

Intégrer les ” soft skills ”

Aujourd’hui, la question qui taraude l’équipe de Pisa est de savoir si elle est bien en train d’évaluer ce qui sera important dans 20 ans ? ” Le monde change. Demain, nous aurons moins besoin de personnes capables d’exécuter que de s’adapter et d’inventer “, soutient Andreas Schleicher. Une réflexion est ainsi engagée pour intégrer les soft skills (compétences douces) au classement. ” L’école ne doit plus seulement remplir le cerveau des élèves mais veiller à développer la participation, la créativité, la résilience, et injecter du sens dans ce que font les élèves, souligne Miyako Ikeda. C’est une manière de se démarquer du discours un peu performatif que Pisa a pu véhiculer. ”

Ces compétences sont-elles enseignables ? La créativité, l’intelligence émotionnelle ou l’audace peuvent-elles être mesurées ? Ce sont les questions complexes auxquelles Pisa va devoir apporter des réponses dans les années à venir, avec l’aide de l’ensemble du monde éducatif.

Par Laura Berny (“Les Echos” du 29 novembre 2019)

Deux questions à…

Andreas Schleicher, directeur de l'éducation et des compétences à l'OCDE.
Andreas Schleicher, directeur de l’éducation et des compétences à l’OCDE.© pg

Ces 10 dernières années, les pays occidentaux n’ont guère fait de progrès par rapport aux pays asiatiques. Comment l’expliquez-vous ?

Je me suis beaucoup interrogé à ce sujet. Mais quand on regarde les caractéristiques de leurs systèmes éducatifs, cela peut s’expliquer. En Europe et aux Etats-Unis, nous n’avons pas suffisamment questionné les modèles éducatifs. Pour obtenir des résultats différents, il faut changer parfois ses méthodes. Or nous développons encore beaucoup trop une approche industrielle de l’éducation en Occident : les enseignants produisent des services, les élèves sont les consommateurs et les parents les clients… Cette approche a détruit l’école comme projet de société. Il faut que nous allions vers une approche plus individualisée et collaborative où les enseignants passent un peu moins de temps en cours mais plus de temps entre eux, pour réfléchir et monter des projets, et avec les élèves pour les accompagner, comme en Finlande ou au Japon.

Le statut des enseignants, c’est la grande explication de cette différence ?

La revalorisation de ce métier est une condition indispensable en matière de salaires, certes, mais surtout d’intérêt intellectuel du travail (reconnaissance, recherche, formation, perspectives de carrière, etc.) Un autre point différenciant des systèmes asiatiques est la volonté de gommer les inégalités sociales en classe et cela passe notamment par la présence des meilleurs professeurs dans les écoles situées dans les endroits les plus défavorisés et l’entraide entre établissements. Enfin, la culture asiatique où l’idée que chacun peut réussir grâce à son travail joue une part très importante dans le succès de leurs écoles. En Europe, le déterminisme social reste fort.

Vous avez repéré une erreur ou disposez de plus d’infos? Signalez-le ici

Partner Content