En 20 ans, le nombre de pays participants au Programme international pour le suivi des acquis des élèves (Pisa) est passé de 43 à près de 80. Pas moins de 600.000 élèves ont été testés pour le dernier classement publié le 3 décembre. Et ces chiffres vont encore augmenter puisque " près de 130 pays et économies souhaitent faire partie du programme ", révèle Andreas Schleicher, directeur de l'éducation et des compétences à l'OCDE et le père de Pisa.
...

En 20 ans, le nombre de pays participants au Programme international pour le suivi des acquis des élèves (Pisa) est passé de 43 à près de 80. Pas moins de 600.000 élèves ont été testés pour le dernier classement publié le 3 décembre. Et ces chiffres vont encore augmenter puisque " près de 130 pays et économies souhaitent faire partie du programme ", révèle Andreas Schleicher, directeur de l'éducation et des compétences à l'OCDE et le père de Pisa. Rien ne prédestinait cet étudiant en physique à Hambourg, puis en maths à Victoria en Australie, à s'occuper d'éducation. " Mais pendant mon service militaire, j'ai été affecté dans une école spécialisée pour les élèves en difficulté, dont beaucoup venaient de milieux défavorisés. Cela m'a donné envie d'agir pour réduire les inégalités scolaires ", raconte cet Allemand de 56 ans, yeux bleus perçants, fine moustache et cheveux grisonnants. Après quelques années passées dans l'ingénierie médicale, il décide de bifurquer, sous l'influence de son mentor, le Britannique Neville Postlethwaite, l'un des fondateurs de l'Association internationale pour l'évaluation du rendement scolaire (IEA), la pionnière des comparaisons scolaires internationales. " Beaucoup de gens considèrent l'éducation comme un art et non une science. Mais nous avons besoin de méthodes si l'on veut distinguer et répliquer les bonnes pratiques. C'est l'idée d'appliquer la rigueur scientifique aux politiques publiques d'éducation qui a poussé l'OCDE à lancer Pisa, fait remarquer Andreas Schleicher, recruté en 1995 alors qu'il dirigeait l'analyse à l'IEA. Cela a été compliqué au début. Certains pays n'y voyaient pas d'intérêt, persuadés qu'ils étaient d'avoir déjà un excellent niveau. J'ai dû batailler pendant deux ans pour imposer le test, se souvient-il. A l'époque, c'était un monceau de paperasse et un travail très lourd alors que nous n'étions qu'une poignée de chercheurs. Nous avons mis quatre ans à faire ce que maintenant nous réalisons en deux mois ! " Erreurs de traduction ou d'impressions, faibles participations, maths trop appliquées à la vie réelle, ou philosophie jugée trop inspirée des idées libérales du Forum économique mondial... Le classement a connu son lot de couacs et de critiques. Mais il y a eu peu de mouvements d'humeur (la Suisse en 2015) ou d'exclusions (les Pays-Bas en 2000, le Royaume-Uni en 2003), et encore moins de boycott (l'Autriche en 2009). On a reproché aussi à Pisa de se focaliser sur seulement trois matières : maths, sciences et compréhension de l'écrit. " Pour pouvoir comparer des résultats entre pays, il est impossible d'intégrer des disciplines trop liées à un contexte culturel national ", justifie Miyako Ikeda, responsable de l'analyse et du reporting. " Cela dit, nous allons proposer un test d'anglais aux pays non anglophones en 2024, car c'est dans notre ADN d'évoluer ", ajoute cette Japonaise, titulaire d'un doctorat en éducation de Columbia University qui a rejoint Pisa en 2004. " C'est un outil indispensable et de grande qualité statistique qui a su intégrer les critiques du début et évoluer ", confirme Thierry Rocher, chef de bureau de l'évaluation des élèves à la Direction de l'évaluation, de la prospective et de la performance (DEPP) au ministère français de l'Education nationale, et par ailleurs président de l'IEA, le " concurrent " de Pisa... Au-delà du nombre de participants, le classement de l'OCDE s'est vite démarqué des autres études internationales (TIMMS, PILRS, etc.). " Au lieu de s'intéresser aux écoliers et aux collégiens, Pisa évalue des élèves de 15 ans, près de la fin de la scolarité obligatoire. Cela donne une photographie de la capacité d'un système éducatif à préparer ses jeunes au monde du travail ou aux études supérieures ", estime Sophie Vayssettes, gestionnaire du projet Pisa, à l'OCDE depuis 1991. Par ailleurs, les tests ne se basent pas sur les programmes scolaires, mais sur des situations de la vie réelle. " Notre objectif n'est pas de savoir si un élève est capable de réciter sa leçon mais s'il peut mobiliser ses connaissances pour résoudre des problèmes, penser comme un scientifique ou un citoyen avisé, souligne Andreas Schleicher. Et cela, on peut le mesurer dans tous les pays même si les systèmes éducatifs et les programmes diffèrent. " Enfin, Pisa porte une attention particulière aux conditions socioéconomiques susceptibles d'influencer les performances des élèves afin d'apprécier le degré d'équité des systèmes éducatifs. " Avant, l'éducation consistait essentiellement à sélectionner les élèves. Aujourd'hui, elle doit servir tout le monde ", insiste-il. Mais comment venir à bout d'une enquête si considérable sur un sujet aussi sensible que l'éducation sans que sa fiabilité ne soit remise en cause ? Pour le savoir, il faut se rendre quai Alphonse Le Gallo à Boulogne, près de Paris, dans l'ancien siège de Thomson désormais loué par l'OCDE. C'est là qu'oeuvre l'équipe qui pilote Pisa. Etonnamment, celle-ci ne compte que 24 personnes - des managers, des analystes, des statisticiens essentiellement - venant d'un peu partout. Impossible pour un effectif si restreint de couvrir l'ensemble des opérations. Jouant en fait un rôle de secrétariat général, l'équipe fait appel à des prestataires pour s'occuper, l'un de la conception et de la mise en oeuvre globale des tests (l'américain ETS en 2018), l'autre de l'élaboration des questionnaires, et d'autres encore de l'échantillonnage et du contrôle de la qualité linguistique. Toutes les procédures et priorités étant arrêtées au niveau du Pisa Governing Board, l'organe de gouvernance composé des représentants des pays de l'OCDE qui se réunissent en moyenne deux fois par an. Quant aux tests, ils relèvent de la responsabilité des pays. Trois ans ne sont clairement pas de trop pour mener à bien une telle besogne. D'ailleurs, une réflexion est en cours pour allonger le cycle à quatre ans : " La décision sera prise par le comité directeur de Pisa en 2021 ", précise Sophie Vayssettes. La première année sert à concevoir et développer les cadres conceptuels, les instruments et les questionnaires, à vérifier les langues utilisées, etc. La deuxième année, place aux tests de terrain, de mars à septembre, destinés à traquer les anomalies, peaufiner la sélection finale des items (ni trop faciles, ni trop durs...). Puis vient la troisième année, celle des tests grandeur nature à partir de mars. " Les pays ont huit semaines pour les organiser, la majorité les mène vers avril, certains comme les Etats-Unis, le Royaume-Uni ou les nations de l'hémisphère sud plutôt en fin d'année ", détaille-t-elle. Ce n'est que la quatrième année, après l'analyse des données, la rédaction des synthèses, que sont restitués les résultats alors que le nouveau cycle s'enclenche déjà. Premier chantier, et le plus délicat, la conception des tests. En charge de ce volet en 2018, le britannique Pearson a dû notamment imaginer des nouveaux items destinés à évaluer les " compétences globales " d'un élève, à savoir sa capacité à " étudier des questions locales, mondiales et interculturelles, de comprendre et d'apprécier différentes perspectives et visions du monde, de bien entrer en interaction avec les autres dans le respect de leur personne et d'agir de façon responsable pour la durabilité et le bien-être collectif ". Hum... Beaucoup de pays ont fait l'impasse sur l'exercice. " Le cadre de travail, axé d'abord sur l'employabilité puis sur l'ouverture aux autres, ne nous a pas convaincus, confie Thierry Rocher. En revanche, nous participerons à celui de 2021 centré sur la créativité. " Par ailleurs, Pisa s'est attelé pour 2018 à redéfinir la maîtrise de la lecture à l'heure du digital et des fake news. Comment ? " En plaçant les élèves face à divers types de textes (articles de sources diverses, forums internet, etc.) et en les incitant à distinguer leur degré de fiabilité et à appliquer leur sens critique ", explique Francesco Avvisati, analyste Pisa. Autre étape importante, dans la confection de l'enquête : le choix des établissements et des élèves. L'échantillonnage se déroule en deux temps, et commence six mois environ avant les tests. D'abord, le prestataire désigné (l'américain Westat en 2018) demande à chaque pays de lui fournir une liste exhaustive de tous ses établissements scolaires - qu'ils soient privés, publics, généraux ou professionnels - ayant des élèves de 15 ans. S'ensuit un tirage aléatoire devant respecter la répartition nationale entre leurs différents statuts, situation géographique et socioéconomique. Puis, les pays envoient les listes des élèves concernés des 150 établissements sélectionnés. Le prestataire effectue un second échantillonnage pour en sélectionner 42 par établissement (filles et garçons à parité). En théorie, 6.300 élèves sont donc testés par pays. En pratique, des ajustements s'avèrent possibles. " Pour des questions notamment d'organisation, la France choisit 250 établissements, mais avec un peu moins d'élèves à chaque fois ", indique Fabienne Rosenwald, directrice de la DEPP. Il arrive également qu'une école sélectionnée n'ait pas suffisamment d'élèves, qu'elle soit trop difficile d'accès, ou encore que des élèves ne maîtrisent pas suffisamment la langue locale. Pour ces cas-là, Pisa accepte une marge d'exclusion des élèves de 5%, mais pas davantage. " Au final, nous obtenons une représentation suffisamment fiable, dans la marge d'erreur indiquée, sachant que la performance d'un pays dans le classement doit avant tout s'interpréter par rapport à celle des autres ", rappelle Sophie Vayssettes. Dernier chantier de taille, la vérification des traductions, censée chasser tous les biais culturels, les faux amis et les contresens. Depuis le début, Pisa utilise pour chaque question deux sources de traduction, en français et en anglais, ce qui suppose deux traducteurs au moins par pays et, faute de traducteur français, un double système de traduction en anglais. " Il est quand même arrivé sur un questionnaire relatif au bien-être à l'école que 30% d'élèves de pays asiatiques déclarent s'être fait insulter alors qu'en général ce taux varie entre 6 à 8%. On s'est rendu compte que ' to give name' (insulter) avait été traduit par 'donner un surnom' ", rapporte Sophie Vayssettes. Les tests mille fois contrôlés, leur organisation n'est pas forcément non plus une sinécure. Ceux-ci durent deux heures - une heure sur le thème majeur (la compréhension de l'écrit en 2018) et une demi-heure sur chacun des autres thèmes (science, maths) - et alternent différentes combinaisons d'items à choix multiples et à réponses écrites. L'élève répond aussi à un questionnaire personnel d'environ 35 minutes sur son environnement scolaire, familial, ses motivations, voire son accès et son usage des nouvelles technologies. Les chefs d'établissement sont également interrogés et, dans certains pays, des enseignants et des parents. Tout est anonyme. " Pisa n'est pas conçu pour produire des résultats individuels. D'ailleurs, les réponses des élèves sont combinées avec d'autres et ne sont utilisées qu'à des fins statistiques ", signale Francesco Avvisati. Une fois les résultats collectés, l'équipe Pisa s'attelle d'abord au " nettoyage " des données jusqu'en février. " Ensuite, il faut calculer les pondérations, ajuster en fonction notamment du niveau de non-réponses, analyser l'échantillon, repérer les anomalies, etc. Cette phase doit être terminée avant juin, pour que le 'panel d'adjudication' se prononce sur la qualité et la validité des données. Ce n'est qu'après que celles-ci sont partagées avec les pays ", détaille Sophie Vayssettes. Une séquence de dialogue s'engage alors entre Pisa et les participants. " Il y a généralement beaucoup d'allers et retours avant de se mettre d'accord sur les résultats, ce qui explique le délai entre le passage des tests et la publication du classement, décrit Thierry Rocher. En revanche, leur interprétation et les recommandations sont à la main de Pisa. " Mi-novembre, la Direction de l'évaluation du ministère de l'Education nationale n'avait d'ailleurs toujours pas eu accès à sa note pays... En dépit de tous ces échanges et de l'ampleur de l'exercice, il n'y a apparemment jamais eu de fuites. " Les sites sont hyper sécurisés, un codage est effectué pays par pays. Chaque élève a un numéro d'identification, de même que chaque test. A quelques exceptions près (confidentialité demandée par quelques pays sur la distinction privée/public ou certaines variables), toutes les données sont rendues publiques le jour de la divulgation du classement, c'est un engagement de transparence de l'organisation ", affirme Sophie Vayssettes. Rien n'est laissé au hasard. " Nous n'aimons pas beaucoup les surprises, confirme la gestionnaire de projet. Aussitôt qu'une hausse ou une baisse anormale est détectée sur un indicateur, on vérifie à plusieurs reprises pour comprendre ce qui se passe. Une de nos plus grosses surprises a été la performance de Shanghai en 2012, qui s'est propulsée, dès sa première participation, en tête du classement... Cela s'explique : le système scolaire chinois est très exigeant et Shanghai est une ville prospère. A priori, notre objectif est d'évaluer l'ensemble de la population, pas son élite, c'est la limite d'ouvrir le classement à des agglomérations. Mais c'est une étape pour des pays aussi immenses que la Chine, tout comme ce le sera pour l'Inde avec l'Etat de Chandigarh en 2021. " Au fil des ans, l'influence de Pisa n'a cessé de grandir, notamment en Asie. Son ambition, il est vrai, ne s'arrête pas à compiler des millions de données et à décerner des satisfécits. L'OCDE, tout comme l'Europe d'ailleurs, cherche à propager les meilleures pratiques. Ce qui n'est pas toujours du goût de tout le monde. " Comme tout outil statistique, Pisa a ses limites. Peut-il être utilisé pour faire des recommandations ? Il faut éviter de tirer des conclusions trop hâtives car une corrélation n'est pas forcément une causalité ", remarque Thierry Rocher, donnant l'exemple de la Finlande et de la Corée, " deux systèmes très performants, et qui pourtant n'ont rien à voir ". Conscients de leurs lacunes, pas mal de pays ont pu appliquer des " bonnes pratiques ", parfois avec succès, parfois trop littéralement... " Ce qui marche dans un système ne fonctionnera pas forcément, tel quel, dans un autre, avertit Francesco Avvisati. Cependant, le Brésil a vu ses élèves sensiblement progresser en maths, et la Pologne, qui a complètement changé la structure de ses programmes scolaires, se situe désormais au-dessus de la moyenne de l'OCDE. " Lors du premier Pisa en 2000, des grands pays ont été déçus par leurs piètres résultats. " Dans la moyenne, la France avait notamment jugé que les tests étaient trop éloignés de ses programmes. Du coup, l'OCDE l'avait invitée à sélectionner les seules questions correspondant aux acquis de ses élèves et recalculé leurs performances. Mais le résultat s'est révélé peu différent de l'original. " Pour autant, les politiques français n'ont pas estimé qu'il y avait péril en la demeure. Au contraire des Allemands, " choqués " par leurs médiocres performances, qui ont lancé dans la foulée tout un train de réformes leur permettant de progresser dans le classement. " En réalité, le choc s'est produit un peu plus tard en France quand nous nous sommes rendu compte que les inégalités sociales se creusaient plus ici que dans les autres pays comparables ", fait remarquer Fabienne Rosenwald. Cela confirmait les accusations d'élitisme du système éducatif français. " Ces résultats venant de l'extérieur nous ont aidés à identifier le problème du décrochage scolaire et à agir à la racine, dès la maternelle et l'école primaire, en limitant notamment le redoublement, en doublant les classes de CP et de CE1 dans les zones défavorisées et en développant des tests nationaux ", ajoute-t-elle. Mais cela prend du temps... Aujourd'hui, la question qui taraude l'équipe de Pisa est de savoir si elle est bien en train d'évaluer ce qui sera important dans 20 ans ? " Le monde change. Demain, nous aurons moins besoin de personnes capables d'exécuter que de s'adapter et d'inventer ", soutient Andreas Schleicher. Une réflexion est ainsi engagée pour intégrer les soft skills (compétences douces) au classement. " L'école ne doit plus seulement remplir le cerveau des élèves mais veiller à développer la participation, la créativité, la résilience, et injecter du sens dans ce que font les élèves, souligne Miyako Ikeda. C'est une manière de se démarquer du discours un peu performatif que Pisa a pu véhiculer. " Ces compétences sont-elles enseignables ? La créativité, l'intelligence émotionnelle ou l'audace peuvent-elles être mesurées ? Ce sont les questions complexes auxquelles Pisa va devoir apporter des réponses dans les années à venir, avec l'aide de l'ensemble du monde éducatif.Par Laura Berny ("Les Echos" du 29 novembre 2019)