Nouvelle livraison de PISA

Les chausse-trappes d’une évaluation internationale

Les problèmes que pose la plus célèbre des enquêtes internationales sur les systèmes éducatifs de l'OCDE et sa désolante instrumentalisation politique nationale.

Pas besoin d’une grande enquête internationale pour mesurer l’ampleur du naufrage de l’école, du primaire jusque dans le supérieur : il suffit d’enseigner. Oui, l’école ne remplit plus la fonction qui est la sienne et la réussite qu’elle offre n’est plus qu’en trompe-l’œil.

Les inégalités sont aujourd’hui si criantes que même les pourfendeurs du déclinisme, ceux qui — en dépit de tout — assénaient que « le niveau monte », en font désormais le constat, joignant leurs cris à ceux qu’ils conspuaient naguère. Depuis longtemps des études nationales en attestaient pourtant, plus pertinentes vis-à-vis de ce que l’école française attend de ses élèves mais ne recevant guère d’échos dans les médias¹.

Sortirions-nous enfin du déni  ? Aurions-nous enfin une chance, avec PISA, d’inverser la tendance  ? Hélas rien n’est moins sûr.

Un psychodrame national à contretemps

La publication des résultats de PISA 2012 s’est accompagnée d’une couverture médiatique sans précédent : à des années de déni ont succédé deux journées de panurgisme médiatique et de catastrophisme hagard.

Pourtant, à en croire le rapport de l’enquête PISA 2012, la France depuis 2009² progresse en moyenne dans les trois domaines d'évaluation (« compréhension de l’écrit », « culture mathématique », « culture scientifique ») : la « performance » moyenne est ainsi passée de de 496,9 points à 499,7 points et c’est même le meilleur score réalisé par la France depuis 2003  !

Dans ces conditions, comment comprendre le nouvel alarmisme de médias quasi-unanimes  ?

Sans doute parce que, dans une représentation mondialisée de l’éducation comme du reste, la compétition entre les pays devient un nouvel enjeu dans un avenir plus incertain que jamais : comme le classement de Shanghai des universités, le palmarès PISA, avec son système de points, ses gagnants et ses perdants mondiaux, entre dans l’imaginaire collectif au même titre que le classement des économies nationales par les agences de notation, ou que les Jeux olympiques ou encore que le concours de l’Eurovision.

La mise en scène d’une tragi-com’ 

Mais il existe un autre élément d’explication : depuis le mois d’octobre, à la surprise générale, le ministre de l’Éducation nationale avait lui-même en quelque sorte préparé l’opinion aux résultats de PISA 2012 : « ça va être encore pire […] La France décroche totalement, dans les performances de ses élèves. Sur dix ans. Et sur un certain nombre de compétences, ça devient dramatique »³. Le ton était ainsi donné et il n’y avait plus qu’à jouer la partition annoncée. Les médias, comme chauffés à blanc, se sont précipité tête baissée sur ce chiffon rouge agité devant eux.

Du conditionnement à l’emballage

Sans lire les centaines de pages du rapport à sa sortie, sans comparer avec les sessions précédentes, la presse n’a fait que reprendre la synthèse des principaux résultats de PISA… laquelle ne présentait que le classement pour la « culture mathématique », domaine dans lequel la France effectivement recule en 2012 mais d’à peine deux points… quand elle gagne neuf points en « compréhension de l’écrit »  !

Petite revue de la presse hexagonale de ces derniers jours de décembre 2013 :

« la France perd du terrain dans le classement mondial PISA » (« Les Echos »)
« Le rapport PISA […] confirme le décrochage de la France, pas si mal classée pourtant face aux grandes puissances économiques. » (« L’Expansion »)
« La France parmi les mauvais élèves du PISA 2012 » (« Le Nouvel Observateur »)
« Echec scolaire : la France redouble » (« Libération »)
« Une claque, une débâcle, un nau­frage ? » (« Le Figaro ») 
« Cette édition 2013 de PISA est un constat de faillite » (« Républicain lorrain »)
« Le décrochage annoncé et confirmé de la France dans ce classement international » « l’électrochoc PISA » (« La Montagne »)
« PISA - La France chute au 25e rang du dernier classement PISA » (« Le Huffington Post »)
« Classement PISA : le recul de la France doit « servir d'électrochoc », selon Ayrault » (« Le Parisien »)

A ce compte, si jamais les prochains résultats PISA 2015 baissent, les médias pourront saluer le sursaut salutaire de la France !

Chose curieuse en 2013 : le ministre lui-même, beaucoup plus mesuré après la publication des résultats PISA, n’a plus évoqué que des « résultats préoccupants » sans même mettre en avant les progrès, ce dont tout ministre de l’Education se serait naturellement pourtant empressé. Il faut dire que l’« électrochoc » avait été fort heureusement anticipé, avec un argumentaire bien rodé dans un communiqué presque immédiat du ministère de l'Éducation nationale : « PISA 2012 donne raison à la refondation de l'école ». Sur son site officiel, une belle infographie, entretenant la confusion sur la baisse en mathématiques et la baisse en général (« Des résultats qui s’aggravent », « la France perd cinq places au classement PISA »), apporte ainsi, le jour même de la publication des résultats PISA, des solutions prêtes à l’emploi.

Une telle prévoyance forcerait l’admiration si elle n’était pas le produit d’une forme d'idéologie. Avant même la publication de PISA 2012, Vincent Peillon ne s’appuyait-il pas sur ses résultats pour justifier sa grande réforme des rythmes scolaires… même si les élèves évalués par PISA n’ont jamais connu que la semaine de quatre jours et demi ?

Pourquoi PISA ne veut rien dire

On oublie souvent de préciser que les places dans le classement PISA doivent être comparées avec les pays ayant participé à la première enquête (32 pays en 2000 contre 65 pays en 2012). La France aurait ainsi en moyenne dégringolé de la 12^e place du classement en 2000 à la 24^e en 2012 : sauf qu’en douze ans, une petite dizaine de nouveaux « pays » ont été évalués et sont entrés devant elle dans le classement. Ajoutons qu'en moyenne les pays qui nous devançaient en 2000 ont reculé de 12 points (contre 7 points pour la France).

Mais d'autres précisions s'imposent encore.

Des « pays » qui n'en sont pas

L’OCDE compare en toute scientificité des « pays » ou des « économies » (sic) dont certains sont des confettis de quelques centaines de km², voire de simples villes⁴, avec des populations qui ne sont guère comparables entre elles (de plusieurs centaines de millions d’habitants à quelques dizaines de milliers d’habitants). Ajoutons que Shanghai, Macao ou Hong-Kong sont à l’évidence des villes assez peu représentatives du reste de la Chine : quel sens peut bien avoir leur intégration dans le classement de PISA  ? Et pourquoi trois villes d'un même pays ?

De même le panel des élèves testés (293 élèves) pour le Liechtenstein, 9^e du classement et l’un des pays les plus riches du monde, a ainsi été prélevé sur une population totale de moins de 37 000 habitants, dont… 417 avaient quinze ans en 2012 : à ce compte pourquoi ne pas comparer Neuilly-sur-Seine et les États-unis ?

La composition démographique ou sociologique de chaque pays est également un facteur qui fausse toute comparaison entre les systèmes éducatifs. Ajoutons que les élèves de certains pays connaissent des systèmes éducatifs quasi-parallèles, qui se superposent au système national, notamment dans certains pays asiatiques. Qu’évalue-t-on dès lors  ?

Le rapport évoque « 64 pays et économies dont les données sont comparables » (avant-propos, p. 3) : voilà en vérité qui ressemble fort à une pétition de principe.

Des évolutions et des écarts non significatifs

Même si l’on accepte de comparer des populations qui ne sont pas comparables, PISA ne constitue qu’une « enquête » à partir d’un échantillon et selon une méthodologie déterminée, avec tous les biais et les problèmes de représentativité que cela suppose, même avec un large panel⁵. Rapportés sur plusieurs centaines de points, ces variations d’un même pays et ces écarts entre pays semblent importantes, mais en pourcentage elles sont ridiculement petites. Tout palmarès des pays semble donc dépourvu de sens.

Ainsi, en moyenne des différents domaines entre 2000 et 2012, la France a baissé de 1,5%, une variation dans la marge d’erreur et qui semblerait non significative pour caractériser la moindre évolution positive ou négative dans n’importe quel sondage.

Les infimes variations entre les différentes sessions PISA, surtout si elles semblent suivre des mouvements contradictoires comme c’est le cas de la France, et les écarts minuscules entre les pays, pour la plupart dans un mouchoir de poche, ont plus de chance d’être liées à des biais ou à une marge d’erreur qu’à de véritables tendances dans chaque système éducatif. Ainsi la performance des élèves français en « culture scientifique » a-t-elle évolué de manière erratique : 500 points en 2000, 511 points en 2003, 495 points en 2006, 498 points en 2009 et 499 points en 2012.

Bref, difficile de rien conclure à partir de PISA sur le classement des systèmes éducatifs ni sur l’évolution des performances propres de la France depuis une douzaine d'années. Reste, pour comparer les pays, une mesure dont l’évolution a alerté tous nos médias : l’accroissement des inégalités entre les meilleurs et les moins bons.

Mais encore une fois il est bon de rétablir quelques vérités.

Les élèves inscrits dans le secondaire

Il existe un indicateur très simple fourni par la Banque mondiale⁶ : le taux d’inscription à l’école dans le secondaire. Très peu de pays atteignent 99% comme la France⁷, qui scolarise presque tous ses enfants. Comment dès lors comparer des pays qui scolarisent tous leurs enfants dans le secondaire et d’autres qui en excluent une partie ?

L'exemple le plus saisissant est celui de Shanghai (… 1er dans PISA 2012 !) qui pratique, avec le hukou excluant les enfants de migrants du reste de la Chine, une scandaleuse ségrégation sur laquelle l'OCDE ferme complaisamment les yeux.

Affirmer que la France est « championne des inégalités scolaires »⁸ en se fondant sur les seuls élèves évalués par PISA n’a donc aucun sens. « Les systèmes les plus performants sont ceux qui démocratisent le plus l'école » a déclaré le ministre Vincent Peillon : la France est bien « performante » à ce sujet : reste à faire que la massification soit une vraie démocratisation  !

Entendons-nous bien : il ne s'agit pas de nier les inégalités scolaires croissantes en France (d'autant qu'elles sont institutionnelles en France avec le financement public de l'enseignement privé depuis 1959….), mais de les replacer dans une perspective plus juste. Notre système éducatif n'est pas le plus inégalitaire, il est simplement plus transparent que d'autres.

L’enseignement en France et les domaines d’évaluations de PISA

Outre les modalités d’évaluation de PISA (des tests de deux heures qui n’incluent pratiquement aucune rédaction complexe et se présentent sous forme de réponses courtes ou même de questions à choix multiples, peu familières aux élèves français dont on exige qu’ils rédigent ou conduisent un raisonnement), la critique la plus fondamentale à propos de PISA concerne les domaines d’évaluation eux-mêmes.

Les trois domaines d’évaluation de PISA (« compréhension de l’écrit », « culture mathématique », « culture scientifique ») sont abusivement présentés par des raccourcis dans la presse et dans le rapport PISA lui-même comme « l’écrit » (ce qui change tout), « les mathématiques » ou les « sciences ». Or, à la vérité, ces trois domaines d’évaluation, créés spécifiquement par l’OCDE à partir de compétences scolaires supposées communes à tous les pays et en dehors de toute considération de programme, sont sans rapport avec ce à quoi l’école française s’efforce de préparer les élèves français. PISA n'évalue pas si les élèves savent nager mais s'ils savent entrer dans l'eau.

La maîtrise de l’écrit, par exemple, n’est en rien évaluée par PISA et ne parlons pas de la transmission d'une culture. L'« écrit » lui-même peut s'assimiler à une simple infographie. La « culture scientifique » n’a pas grand-chose à voir avec ce que cette expression pourrait laisser supposer (histoire de la science, connaissances scientifiques, démarche expérimentale etc.) puisqu’il ne s’agit que de comprendre et d’exploiter des documents de vulgarisation à caractère scientifique. De même enfin, comme le note avec espièglerie Michel Delord, professeur de mathématique et ancien élu du conseil d’administration de la Société mathématique de France⁹ :

La « culture mathématique » testée par PISA n'a pas grand-chose à voir avec les mathématiques puisque en sont absents de l'évaluation « algèbre, calcul littéral, raisonnement déductif, trigonométrie (angles) et objets géométriques ». […] Les variations de niveau repérées par PISA n’ont strictement aucun sens par rapport aux mathématiques : on peut avoir un progrès en mathématiques et une baisse de l’évaluation PISA, ou le contraire ou toute autre combinaison.

En effet les tests de PISA, conformément à une conception utilitaire très anglo-saxonne (« pour participer pleinement à la vie en société »), sont fondés sur des compétences mises en jeu dans des circonstances pratiques : ce que l’on appelle la littératie¹⁰. Ce ne sont d’ailleurs pas des « acquis » qui sont évaluées contrairement à ce que laisse supposer le « A » de PISA. Or cette conception utilitaire est contestable non seulement d’un point de vue philosophique mais même – au vu de la plupart des exercices, déconnectés de toute réalité (voir l'anecdote du menuisier de PISA relevée par Michel Delord) – d’un point de vue pratique.

Au fur et à mesure des sessions PISA, les objectifs ressortissent de moins en moins à une enquête de niveau qu’à une véritable prescription éducative :

« Qu’importe-t-il de savoir et de savoir faire en tant que citoyen ? » C’est la question qui sous-tend l’évaluation des élèves de 15 ans qui a lieu tous les trois ans dans le monde entier » (p. 20).

Et, malgré la référence (convenue) à la citoyenneté, cette prescription s’inscrit dans une perspective libérale, non pas justement celle visant à la formation de l’esprit mais celle visant plus pragmatiquement à la formation a minima d’une main d’œuvre capable de s’adapter aux exigences du marché :

Cette approche reflète le fait que les économies modernes valorisent davantage la capacité des individus à utiliser leurs connaissances, plutôt que ces  connaissances en tant que telles. (p. 20)

Il est d’ailleurs symptomatique que PISA ne s’intéresse qu’à la compréhension de l’écrit et non à son expression. On ne s’étonnera plus dès lors qu’en France soit ainsi planifiée, dans le silence et l'indifférence, l'extinction d’un enseignement ancien et conçu aujourd'hui comme inutile, celui des humanités classiques.

« Pays » non comparables, écarts et variations non significatifs, prise en compte des seuls élèves scolarisés, conception curieusement utilitariste d’un bagage scolaire minimal : pour toutes ces raisons, on le voit, l’apparente scientificité des enquêtes PISA, malgré leurs nombreux tableaux, leurs colonnes de chiffres et leurs graphiques, est plus que soumise à caution.

Le prêt-à-penser des solutions

Puisque PISA n’a guère de sens, il est facile de lui en donner un.

L'interprétation des résultats ou de leur évolution est elle-même souvent moins scientifique qu'idéologique : il est ainsi simple d'expliquer une hausse ou une baisse, un bon ou mauvais résultat en mettant en avant un ou plusieurs facteurs précis et en négligeant tous les autres. Après tout les Finlandais mangent de l’élan et rien ne permet d’infirmer que leur réussite éducative n’est pas liée à la particularité de leur régime alimentaire.

C’est ainsi que, à partir d’un constat pour le moins discutable, certains en arrivent à un diagnostic imaginaire pour ensuite proposer des solutions folkloriques, qui seraient risibles pour certaines si elles n’étaient pas pernicieuses.

Chacun en effet — journalistes, partis politiques, sociologues, experts des sciences de l’éducation,  techno-pédagogues, professionnels du tourisme, fédérations de parents d’élèves  — d’y aller de sa solution miracle selon son crédo. Certains d’ailleurs déplorent le retard de la France avec un  argumentaire inchangé, sans prendre acte du fait que PISA donne désormais dans le haut de son classement d’étranges modèles d’éducation : un tel prône ainsi une « école de la bienveillance », tel autre une « pédagogie différenciée », tel autre un raccourcissement des vacances estivales ou encore une réforme des rythmes dans le secondaire, tous bien sûr une meilleure formation initiale et continue des enseignants etc. Le programme PISA lui-même exhorte à donner « plus d’autonomie aux établissements en matière de programmes et d’évaluation » tandis que les instituts les plus libéraux (l’Institut Montaigne, l’IFRAP etc.) taillent des croupières au système éducatif français et réclament — quitte à s’arranger avec les chiffres — une meilleure gestion des enseignants pour obtenir plus de coupes sombres encore dans nos dépenses éducatives.

Mais le ministère a lui-même en magasin ses solutions toutes prêtes et la livraison de PISA est pour lui le meilleur des argumentaires pour vendre sa « refondation ».

La refondation de l’école, ou comment creuser encore

Le ministère a ainsi pu réaffirmer un engagement et un volontarisme sans faille, qui appellent néanmoins quelques commentaires :

« Depuis juin 2012, l’école engage sa refondation : priorité au primaire, formation des enseignants dans les ESPE, stratégie numérique, lutte contre le décrochage scolaire. »

Personne, bien sûr, ne s’oppose à une meilleure formation des enseignants, mais encore faut-il s’entendre sur ce qu’est exactement une meilleure formation. Car si les ESPE ne font que ressusciter les défunts IUFM mis en place depuis 1989 et leurs dérives consternantes, on peut craindre que les difficultés ne s’aggravent plus qu’elles ne se résorbent. La transformation des concours de recrutement, en faisant primer les hypothétiques compétences professionnelles des candidats sur leurs solides compétences disciplinaires laissent peu de doute à ce sujet.

La « lutte contre le décrochage » est d’ailleurs typique d’une conception cherchant à guérir l’échec scolaire plutôt qu’à le prévenir. Elle ne risque d’ailleurs pas d’apporter une solution aux résultats de PISA puisque les décrocheurs ne sont par définition plus scolarisés, et donc pas évalués par PISA.

Enfin, s’agissant de la « stratégie numérique », si rien ne garantit les résultats de ce fascinant miroir aux alouettes de la vie moderne, tout laisse à craindre qu’elle ne débouche sur une effroyable gabegie bien nécessaire en ces temps de crise. Qui peut croire, à titre d’exemple, que certains élèves des publics les plus défavorisés pourront miraculeusement sortir de l’échec scolaire parce qu’ils seront en contact en ligne deux heures par semaine avec un enseignant du CNED en ligne¹¹ ?

« 2014, les nouveaux chantiers de la réussite : rénover les programmes, repenser les métiers de l’enseignement, renforcer l’éducation prioritaire, création de 60.000 postes pour mettre en œuvre les réformes »

On le voit : c’est une étourdissante frénésie de réformes — impossibles à mener dans un temps si court — qui semble s’emparer du ministère de l’Éducation nationale. La réforme confuse et précipitée des rythmes scolaires en 2013 en a été un bon exemple.

« rénover les programmes, repenser les métiers », certes, mais dans quelle direction  ? Les programmes ont été déjà « rénovés » à trois grandes reprises depuis les années 1990 (dans le primaire 1991, 2002 et 2008) et c’est précisément depuis 1997 que toutes les études observent un effondrement du niveau des élèves  ! Non seulement les programmes semblent se succéder aujourd’hui plus vite que les élèves eux-mêmes au cours de leur scolarité mais ces réécritures permanentes rendent chaque fois l’école plus illisible.

Mais il y a plus grave : les orientations dévoilées ici et là par le président du tout nouveau Conseil supérieur des programmes laissent présager le pire : encore plus de dévalorisation des disciplines, encore plus d’interdisciplinarité et de décloisonnement, de pédagogie de projet, encore plus de personnalisation factice des apprentissages, encore plus de numérisme et même abandon des programmes au profit de curricula désormais calqués sur le socle commun¹². Les évaluations de PISA pourraient même devenir des standards, et — pourquoi pas  ? — les nouveaux objectifs à atteindre.

Quant à « repenser les métiers », formule nébuleuse, les discussions de cet automne ont assez montré qu’elles n’avaient pas vocation à les « repenser » au profit des enseignants, mais à revenir au contraire sur les décrets de 1950 en supprimant, par exemple, la plupart des décharges statutaires. Il faut croire que le métier ne peut être « repensé » par ses rémunérations, ainsi qu’il l’a pourtant été dans tous les pays de l’OCDE, lesquels ont massivement revalorisé les salaires des enseignants dans la dernière décennie pour attirer dans l’enseignement les meilleurs étudiants. En France les campagnes de recrutement semblent bien en décalage avec la réalité du métier : déconsidération générale, affectation lointaine, paupérisation progressive, exposition aux violences et incivilités, atteintes aux statuts, perte de la liberté pédagogique et soumission idéologique, renoncement à un idéal de la transmission etc.

La réalité est que cette refondation que l’on nous promet n’est que le prolongement de ce que nous avons connu jusqu’ici. Il faudrait pourtant faire le constat de la saisissante permanence idéologique qui habite les instances dirigeantes de l’Éducation nationale. Passées certaines différences mises en exergue dans les médias, il faut le dire et le répéter : les majorités politiques se suivent et se ressemblent. Non, ce n'est pas l'absence de ligne politique cohérente qui explique le naufrage de notre école, mais au contraire un épais consensus, aveugle et délétère.

Et c’est ainsi que — paradoxalement — le tremblement de terre médiatique PISA auquel nous venons d’assister risque bien de ne rien faire bouger. D’un certain point de vue la publication de PISA 2012 risque même de servir de caution pour détruire méthodiquement ce qui tient encore debout.  

Avec ou sans PISA, ce qui ne changera pas

On continuera ainsi — en toute schizophrénie — de célébrer d’une part notre merveilleux système éducatif et son record des trois quarts d’une génération accédant à un diplôme ouvrant grand les portes de l’université (trois fois plus qu’il y a trente ans) tout en déplorant d’autre part l’inexplicable creusement des inégalités ou encore l’incompréhensible dévalorisation de l’enseignement professionnel et de l’apprentissage.

On concentrera encore et toujours toutes les difficultés dans les mêmes établissements en perdition (moyens supplémentaires dérisoires, équipes instables, direction attentiste, établissements à taille inhumaine, sections spéciales dont personne ne veut ailleurs : FLE, classes relais, unités pédagogiques d’intégration, SEGPA etc.) et — parce qu’on ne pourra pas faire autrement — on continuera d’y renoncer à une nécessaire exigence. Pendant ce temps on perpétuera une scandaleuse ségrégation d'État, en finançant sur fonds publics l'enseignement privé.

On ne rétablira pas des horaires décents de français en primaire dans la perspective d'une entrée réussie au collège : on préfèrera continuer à enseigner tant bien que mal l’anglais à des élèves des petites classes se débattant avec leur propre langue.

On perpétuera et on développera, au nom de la bienveillance, les cycles qui, du primaire jusqu’à la licence, enfermeront sans le dire les élèves dans les corridors sans porte de l’échec scolaire.

Bref on ne regardera pas en face les effarantes idéologies entrées dans l’école depuis un quart de siècle et la démolition méthodique et étonnée d’un système qui ne fonctionnait pas si mal : les alchimistes des sciences de l’éducation ont — pour la première fois dans l’histoire — réussi le miracle d’un échec scolaire artificiel. Et ils continueront, consultés par les ministres, invités par les médias, leur patient et méticuleux travail de sape.

On déniera toujours plus aux professeurs toute compétence et toute autorité. On ne réhabilitera ni le travail ni l’effort et on perpétuera l’illusion d’une réussite éducative devenue en quelque sorte un dû (suppression de la notation, du redoublement, des devoirs, diplômes accordés à (presque) tous, orientation choisie), mais — disons-le nettement — un dû qui sera payé en monnaie de singe.

Bref, pour qui observe en conscience le naufrage de l’école, PISA 2012, loin d’occasionner un sursaut salutaire, risque bien de s’apparenter à un nouveau coup de pied de l’âne.

Écrit par : Loys

14 Décembre 2013

Clics : 20921

• PISA
• Niveau scolaire