Les trois biais de l’enquête PISA en Chine

20151230

Le système éducatif français serait le plus inégalitaire du monde : c’est ce qu’ont pu titrer, avec un certain sensationnalisme, de nombreux journaux français le jour de la publication des résultats et des classements de PISA 2012[1].

Certes, on peut faire bien des reproches au système éducatif français, mais difficile de croire à une affirmation aussi radicale. Pour s’en convaincre, et à l’invitation d’un universitaire américain malicieux[2], intéressons-nous plus précisément au “pays” le plus performant de PISA : Shanghai !

Des performances mirifiques

Depuis sa première participation à l’enquête PISA, en 2009, Shanghai domine les systèmes éducatifs du monde entier : « Shanghai (Chine) est en tête du classement PISA 2012, avec un score moyen de 613 points. » Les performances des élèves de Shanghai semblent proprement incroyables :

« A Shanghai (Chine), économie partenaire, la majorité des élèves de 15 ans (55%) compte parmi les élèves très performants à l’évaluation PISA »[3]

Or la moyenne de l'OCDE est de... 13% !

« Les élèves de 15 ans à Shanghai ont environ trois ans d’avance sur les élèves français dans PISA 2012. »[4]

Autre miracle : la perle de l’Orient est donnée en modèle d’équité sociale par les experts de l’OCDE[5] :

« […] plus de la moitié des élèves les plus défavorisés sont considérés comme résilients, car ils obtiennent des performances en mathématiques qui les classent parmi les 25% d’élèves les plus performants. »

D'ailleurs, en 2009, l’OCDE célébrait déjà le modèle scolaire et social de Shanghai (« a leader in reform »[6]) :

« Le succès retentissant de Shanghai (Chine), qui, avec un écart net, arrive en tête de tous les classements dans cette évaluation montre ce qui peut être réalisé avec des ressources économiques modérées dans un environnement social hétérogène. »

Depuis, l’enfant prodige de l’Asie, comme avant elle la fabuleuse Finlande, attire des délégations de tous pays et fait l’objet de reportages étonnés[7]. Evidemment, pour expliquer ce succès, toutes les raisons sont bonnes, et − en général – surtout celles que l’on veut promouvoir.

Pourtant, comme nous allons le voir, trois biais importants permettent de relativiser la supériorité du modèle chinois.

Premier biais : les provinces oubliées

Bien entendu, pour les commentateurs les plus pressés, les résultats de Shanghai sont ceux de la Chine.

Comment, néanmoins, ne pas s’étonner d’un classement international dans lequel un même pays, la Chine, est représenté par trois entités distinctes et disparates : une « municipalité autonome », la mégalopole de Shanghai, grande comme un département français, et deux « régions administratives spéciales », Hong Kong et, en face, la minuscule Macao ? Pour évoquer ces entités, l’OCDE a même dû inventer une curieuse périphrase : « L’économie partenaire Shanghai (Chine) est en tête du classement PISA 2012 ».

Ensemble, ces trois entités constituent une infime fraction de la Chine[8], dont on peut douter de la représentativité.

Pourquoi ces trois territoires ? Par décision de qui ? Pourquoi ces trois territoires sont-ils évalués séparément ? Pourquoi la Chine n’est-elle pas évaluée comme tous les autres pays évalués par PISA ?

En réalité, pour la session de PISA 2009, douze provinces chinoises (sur trente-quatre divisions administratives) ont été évaluées mais les résultats n’ont pas été rendus publics par l’OCDE, en vertu, selon l’universitaire américain Tom Loveless[9], d’un « accord spécifique » avec la Chine. Pour PISA 2015, dont les résultats seront connus l’an prochain, l’OCDE a annoncé que trois nouvelles provinces participeraient à l’enquête de PISA 2015[10]. Des provinces bien choisies : la « municipalité autonome » de Pékin et deux régions côtières particulièrement riches, le Jiangsu et le Guangdong, proches, l’une de Shanghai, et l’autre de Macao et Hong-Kong.

À vrai dire, quand bien même toutes les provinces de Chine seraient soumises à l’enquête PISA, celle-ci n’évaluant que les élèves scolarisés à quinze ans[11], elle oublierait bien des élèves sur le bord du chemin : l’école est en effet payante après quinze ans, d’où un abandon massif dans les zones rurales[12].

Pourquoi Shanghai ? A l’évidence, la mégalopole chinoise (avec sa richesse économique et le niveau très élevé d’instruction de sa population) n’a pas grand-chose à voir avec la plupart des provinces chinoises, même si le directeur adjoint de l’OCDE a laissé entendre que la performance des autres provinces évaluées était remarquable[13].

Mais il y a une autre caractéristique importante qui remet gravement en cause l’équité sociale et la performance de Shanghai.

Deuxième biais : les élèves oubliés

Depuis 1958, pour prévenir tout exode rural et une crise de la production agricole, a été mis en place en Chine un permis de résidence permettant de séparer habitants des villes et des campagnes : le hukou. En assignant les ruraux à leur province d’origine, il empêche ceux qui migrent vers les villes d’y être officiellement considérés comme résidents et d’avoir accès aux mêmes droits scolaires, médicaux et sociaux que les résidents urbains. « Faute d'un permis de résidence urbain (ou « hukou »), les quelque 245 millions de ruraux venus travailler dans les métropoles chinoises n'ont qu'un accès restreint aux services publics, notamment d'éducation et de santé. »[14]

Selon les statistiques officielles[15], plus de deux habitants sur cinq de Shanghai sont des migrants, c’est-à-dire des citoyens de seconde zone[16]. Or le hukou est héréditaire : les enfants de migrants, même nés à Shanghai, sont eux-mêmes considérés comme des non-résidents.

A Shanghai, les enfants sans hukou ne peuvent accéder à l’école primaire publique et au collège public que depuis peu de temps. Nombre des enfants de migrants restent d’ailleurs dans la province d’origine de leurs parents[17]. Ceux qui sont venus avec leurs parents ou qui sont nés sur le sol de Shanghai sont, pour leur part, ghettoïsés dans des écoles de seconde zone (au point que, même à Shanghai, des opérations caritatives sont organisées à leur intention[18]). Et, quand ils n’abandonnent pas l’école, les enfants de migrants sont souvent contraints d’aller dans la province d’origine de leurs parents afin d’y poursuivre leur scolarité.

En effet, selon un rapport de l’OCDE, le modèle d’équité de Shanghai laisse perplexe :

« Pour accéder au lycée , il est nécessaire de passer un examen d'entrée et cet examen doit se faire dans le lieu d'enregistrement, et non dans le lieu de résidence. A Shanghai, les enfants de migrants ne peuvent accéder qu’aux lycées professionnels. Le Comité d’éducation de Shanghai justifie le refus des lycées d’admettre les enfants de travailleurs migrants en ces termes : « Si nous leur ouvrons la porte, il sera difficile de la fermer ensuite ; les ressources éducatives de la municipalité n’ont pas à être attribuées gratuitement aux enfants immigrants ». Par conséquent, peu d'enfants migrants accèdent aux lycées généraux et ceux qui retournent dans la localité où ils sont enregistrés ont le plus grand mal à s’adapter et abandonnent souvent les cours. »[19]

Dès lors la question se pose : tous les enfants de migrants de quinze ans ont-ils bien tous été pris en compte dans les deux enquêtes PISA de 2009 et 2012 ?

L’universitaire Tom Loveless[20] s’est ainsi étonné du très faible nombre d’élèves de quinze ans officiellement recensés à Shanghai (à peine plus d’élèves qu’Hong Kong, dont la population totale est pourtant trois fois inférieure à celle de Shanghai) et de la plus faible proportion encore d’enfants de migrants à quinze ans.

Par ailleurs, selon un sociologue néerlandais, les chiffres de PISA montrent que, comparativement à ceux de Hong Kong ou Macao, les élèves migrants de Shanghai qui ont été évalués par l’enquête PISA appartiennent eux-mêmes à une catégorie socio-économique beaucoup plus favorisée, ce qui accrédite l’hypothèse d’une sélection accrue[21].

20151230c

Bref, à l'évidence ce modèle d’équité est plutôt… un modèle d’exclusion, et même de ségrégation, comme en témoigne l’exemple médiatique de la jeune Zhan Haite en 2012[22]. Tom Loveless s’est étonné que le hukou ou la question des enfants de migrants de Shanghai ne soient pas même mentionnés une seule fois dans les quatre tomes de PISA[23].

Les dénégations des officiels de l’OCDE, s’efforçant de résumer la polémique à une forme de jalousie[24], ont été cependant bien embarrassées. Elles citent les évolutions très récentes du hukou, lesquelles ne peuvent pas avoir eu d’impact sur les résultats de PISA 2009 et 2012[25]. Andrea Schleicher a même dû revenir sur les chiffres qu’il avait lui-même avancés, concédant qu’une « fraction significative » des enfants de Shanghai se trouvait hors de son système scolaire[26]. Difficile pour l’OCDE – il est vrai −, après avoir fait un tel éloge de Shanghai, de se déjuger.

Curieusement, les graves accusations et les demandes de transparence de Tom Loveless, si elles ont trouvé quelques (rares) échos dans la presse anglo-saxonne[27], n’en ont trouvé aucun dans la presse française.

Pour résumer, les résultats stupéfiants de Shanghai ne sont pas ceux de la Chine, mais − au fond − ils ne sont pas ceux de Shanghai non plus. Nous allons également voir qu’ils ne sont pas même ceux de son système éducatif.

Troisième biais : les cours oubliés

Ce troisième et dernier biais n’est pas spécifique à Shanghai, ni même à la Chine, mais à l’Asie et à sa culture scolaire. Pour la plupart des élèves de Shanghai, comme dans d’autres pays asiatiques (Corée, Japon etc.), il y a en effet une école après l’école. Dans un rapport PISA de 2011[28], on peut ainsi lire, à propos de Shanghai :

« L'intensité de l'engagement des élèves va bien au-delà de l’école. Un "système d’aide" plutôt complet, proposé par des instituts de soutien scolaire, répond aux demandes de préparation aux examens. En l'absence de statistiques officielles, on estime que plus de 80% des parents envoient leurs enfants dans des instituts de soutien scolaire. Ces instituts sont pour la plupart à but lucratif, opèrent en dehors des heures d'école ou le week-end, et ont tendance à utiliser des petits groupes pour se concentrer sur des sujets précis. Pour les parents, ces instituts sont essentiels pour permettre à leurs enfants de réussir leurs examens avec brio. Les enseignants ne sont pas totalement opposés à ces instituts, parce qu'ils considèrent également la réussite aux examens comme l'objectif premier de la scolarité. Même les parents qui sont contre le bachotage à l’examen envoient souvent leurs enfants dans des instituts de soutien scolaire, comme par garantie. Ceux qui assistent à ces cours ne sont pas tous des élèves faibles : même les élèves très forts souhaitent améliorer encore leur niveau pour obtenir des notes plus élevés aux examens. »

On constate d’ailleurs que l’important examen de la fin du premier cycle du secondaire, le zhongkao à quinze ans, coïncide avec l’âge de l’enquête PISA.

Du fait de cette “éducation de l’ombre” (qui exclut par ailleurs les plus défavorisés) et même en admettant que les statistiques de PISA sur les performances des élèves soient fiables et représentatives (ce dont on peut douter), il est rigoureusement impossible d’en attribuer le mérite au seul système scolaire de Shanghai.

20151230a

Où est l'apartheid ?

Nous avons déjà souligné, lors de la dernière livraison de PISA, les problèmes plus généraux que posent cette enquête.

Nul doute que le système éducatif français part à la dérive : nous n’avons guère besoin de PISA pour le savoir. Mais affirmer qu’il serait aujourd’hui le plus inégalitaire du monde est ridicule : notre système éducatif est tout simplement plus transparent.

20151230Le système éducatif de Shanghai, excessivement discipliné, ultra-élitiste, obsédé par la compétition et les examens et par ailleurs enclin au nationalisme[29], a sans doute des vertus, ne serait-ce que par sa considération pour les enseignants. Mais le donner en modèle sur la seule base des résultats de PISA a quelque chose de sidérant.

Abusés par la caution de l’OCDE, nombreux sont ceux qui instruisent au système éducatif français un procès en « discrimination », transformant ses inégalités − criantes − en véritable « apartheid ». Pourtant la seule discrimination institutionnelle dans notre l’école est celle de l’enseignement privé (que bien peu dénoncent ou même mesurent, y compris à l’OCDE). Pour le reste, l’archaïque système du hukou, qui fait de centaines de millions de Chinois et leurs enfants des étrangers dans leur propre pays, est bien le plus proche d’une forme d’apartheid moderne.

Dès lors, présenter Shanghai comme un modèle d’équité sociale est une sinistre farce.

@loysbonod

Ajout du 11 décembre 2016 : les résultats de "la Chine" dans PISA 2015 ont chuté avec l'adjonction des trois provinces (voir notre article "Machine arrière"). Plus intéressant encore, la note 2016 sur la Chine fait pour la première fois mention du hukou. Quant au dossier "Education in China - A snapshot" (2016), il défend bien maladroitement son (ancien ?) modèle d'équité. Il n'est jamais trop tard !

Shanghai has been a national leader in dealing with the educational problem of migrant children. In July 2013, Shanghai started to implement a point-based residential. permit system whereby persons who have obtained a Shanghai residential permit and accumulated 120 points by meeting educational, employment, investment and other conditions may enjoy corresponding social benefits. One of these social benefits is the eligibility of their children to take gaokao in Shanghai. Migrants who have obtained a Shanghai residential permit without accumulating 120 points, or migrants who have legal and stable residence and employment may enjoy public education services equivalent to those received by urban hukou holders. These services include compulsory education and eligibility to take local secondary vocational school entrance exams for their children.


[1] Il faut observer comment des journaux de référence ont commenté, le jour même et sans aucun recul, les résultats de PISA, résumés dans le dossier de presse à leur effet.

« Le Monde » du 3 décembre 2013 : « Classement PISA : la France championne des inégalités scolaires »

« Libération » du 3 décembre 2013 : « La France, toujours championne des inégalités scolaires »

« Le Nouvel Obs » du 3 décembre 2013 : « Pisa 2012 : à l'école des inégalités sociales françaises »

[2] Dans cet article, Tom Loveless offre un bon résumé de sa réflexion et des éléments essentiels de ses articles précédents : « Lessons from the PISA-Shanghai Controversy » sur « Brooking » du 18 mars 2014. Tom Loveless peut être suivi sur Twitter.

[4] « L’Education déchiffrée » (blog du « Monde ») du 3 décembre 2013 : « PISA 2012 – France : « Des inégalités, encore des inégalités, toujours des inégalités ».

[5] Éric Charbonnier dans « Le Nouvel Obs » du 3 décembre 2015 : « Pisa 2012 : à l'école des inégalités sociales françaises » :

« D’autres pays se sont attelés avec succès à réduire leurs inégalités scolaires. […] Shanghai, le Portugal ou le Brésil, classés respectivement 1er (613 points), 31e (487 points) et 58e (391 points) dans Pisa 2012 pour les performances en mathématiques, sont aussi parvenu à resserrer les écarts de niveau entre les élèves. Une des raisons de leur succès est d'avoir attiré les professeurs expérimentés dans les zones rurales ou déshéritées. Tous ces exemples illustrent l’observation qu’en éducation, la qualité rime avec l’équité sociale. Un système scolaire est d’autant plus performant qu’il est moins injuste socialement. »

[6] OCDE, PISA 2009, volume IV, Avant-propos d’Angel Gurría (p. 4) (notre traduction)

[7] Par exemple « Envoyé Spécial » du 15 octobre 2015 : « Shanghai : les meilleurs élèves du monde » .

[8] Exactement 2,3% de la population chinoise et 0,08% du territoire de la Chine.

Rang PISA 2012

Population (2011)

Superficie

Shanghai

1er

23 470 000

6 340 km2

Hong-Kong

3e

7 071 000

1 104 km2

Macao

10e

557 400

29,5 km2

Chine

?

1 354 040 000

9 597 000 km2

Sources :

http://www.dsec.gov.mo/Statistic.aspx?NodeGuid=3c3f3a28-9661-4a5f-b876-83d8b3eade28

http://www.stats.gov.cn/tjsj/ndsj/2013/indexeh.htm

http://www.census2011.gov.hk/en/main-table.html

[9] Tom Loveless sur « Brookings » du 9 octobre 2013 : « PISA's China Problem ». Article en grande partie repris dans « Slate » du 7 décembre 2013 : « La Chine triche à Pisa, il ne faut pas que l'OCDE laisse faire ».

Voir aussi Tom Loveless sur « Brookings » du 11 décembre 2013 : « Attention OECD-PISA: Your Silence on China is Wrong ».

[11] Plus précisément : 15 ans et trois mois à 16 ans et deux mois.

[12] « Global Times » du 22 mars 2015 : « Schools can’t rely on heroic headmasters alone »

« The most urgent problem, however, is simple funding. Education is supposed to be free up to junior middle school, but students over 15 have to pay. This causes many to drop out, up to a third in some areas, and has produced a major education gap between urban and rural areas […] The number of uneducated children may be even higher than the official statistics show. The last two decades have seen the disappearance of working-age young people from the countryside, as villages empty out leaving only the old and the very young behind. But children once "left behind" are increasingly moving with their parents into urban areas, where they have no access to public schooling due to lacking a local hukou (residence permit). »

[13] Andreas Schleicher dans le « Financial Times » du 7 décembre 2010 :« Shanghai tops global state school rankings » :

« We have actually done Pisa in 12 of the provinces in China. Even in some of the very poor areas you get performance close to the OECD average. »

[16] Chloé Froissart dans « Les études du CERI » (Sciences Po) : « Le système du hukou : pilier de la croissance chinoise et du maintien du PCC au pouvoir » (septembre 2008)

« Les travailleurs migrants restent considérés comme des travailleurs temporaires que l’on peut licencier et renvoyer chez eux lorsqu’on n’a plus besoin d’eux. Par ailleurs, ils ne jouissent pas des mêmes droits que les urbains en matière d’accès à l’emploi, de rémunération et de conditions de travail, de protection sociale et d’éducation pour leurs enfants. Les réformes ont ainsi donné naissance à une nouvelle catégorie sociale : les travailleurs migrants (mingong), qui restent des paysans de statut quand bien même ils vivent et travaillent en ville depuis plusieurs années. En d’autres termes, le maintien du système du hukou, sur lequel se fonde une discrimination institutionnalisée en contradiction avec la Constitution et les conventions internationales que la Chine a signées, permet à celle-ci de disposer d’une main-d’œuvre bon marché, flexible et corvéable à merci, qui contribue à expliquer l’extraordinaire essor économique du pays. »

[17] Selon le dernier recensement de 2010, il y avait soixante millions d’enfants « laissés en arrière » en Chine. Cf « Global Times » du 30 juillet 2015 : « Left-behind, migrant children in China nears 100 mln ».

Sur ce sujet voir l'article de Kam Wing Chan du 16 décembre 2015 dans le « South China Morning Post » : « China's Missing Children ».

[18] Un exemple d’opération caritative dans CNN du 14 janvier 2011 : « Eat well and send a migrant kid to school »

« Through the program, 45 migrant students have been able to afford school fees in Shanghai, while over 3,500 local migrant children at four schools in Shanghai have also received other support through the program including much-needed glasses and hygiene sets. Shanghai’s current migrant worker population exceeds 6 million people, of which around 400,000 are registered migrant children, none of whom, until last year, were allowed into Shanghai's public school system. »

[19] Citation rapportée par Tom Loveless et tirée de « OECD Economic surveys – CHINA » (mars 2013) (notre traduction).

[20] Tom Loveless sur « Brookings » du 11 décembre 2013 : « Attention OECD-PISA: Your Silence on China is Wrong ».

Tom Loveless sur « Brookings » du 8 janvier 2014 : « PISA’s China Problem Continues: A Response to Schleicher, Zhang, and Tucker » et du 18 mars 2014 : « Lessons from the PISA-Shanghai Controversy ».

Tom Loveless cite notamment ce graphique établi à partir du recensement de 2010 par Kam Wing Chan, professeur de géographie à l’université de Washington et expert reconnu du hukou et des migrations en Chine.

children, age and hukou status

Voir aussi l'article de Kam Wing Chan dans le "Seattle Times" du 3 janvier 2011 : « Test scores notwithstanding, China is not 'eating our lunch' ».

We know that China is a master of turning out sparkling eco­nomic statistics. Some of those are real and deserve congratu­lation — China's economy is in­deed on a meteoric rise. But many others are not so real, gamed by bureaucrats whose careers are tied to certain short­term statistical yardsticks, or as a result of our ignorance of how China functions. Cepeda is right in pointing out that the contrast of the U.S. scores with Shanghai's is not to­tally appropriate : it is compar­ing the entire U.S. population — including many who are on free or reduced-price lunches ­with China's cream of the crop, the Shanghai kids. Even more important, but far less-known, is that in Shanghai, as in most other Chinese cities, the rural migrant workers that are the true urban working poor are not al­lowed to send their kids to pub­lic high schools in the city.

[21] Jaap Dronkers dans « Huffington Post » du 2 octobre 2015 : « Are the PISA Data for Shanghai Flawed ? »

[22] Zhan Haite, fille d’un migrant pourtant aisé, s’est vu refuser l’admission au lycée et a médiatisé son cas en 2012. Voir « The Diplomat » du 19 décembre 2012 : « The Curious Case of Zhan Haite ».

[23] Tom Loveless sur « Brookings » du 8 janvier 2014 : « PISA’s China Problem Continues: A Response to Schleicher, Zhang, and Tucker ».

« PISA prides itself on describing the context in which educational systems operate. The PISA reports from 2009 and 2012 do not include the word hukou. Nor do the special 2009 or 2012 PISA volumes on equity. Nor does Marc Tucker’s book, Surpassing Shanghai. Nor does the Shanghai chapter in Strong Performers and Successful Reformers in Education. In that chapter, what we read is this: “In a way, Shanghai has established the notion that migrant children are ‘our children’ and works constructively to include them in its educational development.” »

[24] Zhang Minxuan, directeur du Center for International Comparative Education à la Shanghai Normal University et directeur du PISA Shanghai sur « Education Week » du 21 décembre 2013 : « Shanghai Responds to School Ranking Cheating Allegations ».

Andreas Schleicher (Deputy Director for Education and Skills and Special Advisor on Education Policy to the OECD's Secretary General) sur son blog du 10 décembre 2013 : « Are the Chinese cheating in PISA or are we cheating ourselves ? »

Voir la réponse de Tom Loveless sur « Brookings » du 8 janvier 2014 : « PISA’s China Problem Continues: A Response to Schleicher, Zhang, and Tucker ».

[25] Pour réformer le hukou, un nouveau permis de résidence (avec un système de points) a été mis en place en juillet 2013. « Global Times » du 17 juillet 2013 : « Hacking at the hukou »

« One of the most controversial benefits in the new system sees the children of residency permit holders being able to sit the zhongkao (high school entrance exams) and the gaokao in Shanghai. "As people now having more than 120 points are expected to outnumber the holders of the old type A residency permits, the number of migrant students sitting high school and college entrance exams will increase next year for sure. The exact number is not yet known," Mao Dali said. Official figures show there are about 500,000 children of nonlocal residents in Shanghai. Zhao Dahai, an associate professor at the School of International and Public Affairs of Shanghai Jiao Tong University, estimates that about 50,000 will be able to attend local schools each year given the new policy. "Among the 50,000 students, about 5,000 migrant students will be able to sit the zhongkao, and 3,000 migrant students will sit the gaokao each year thanks to the new policy," he said. This year, 80,600 students took part in the zhongkao and 78,800 students took part in the gaokao in Shanghai. But this has upset many city folk who are worried that nonlocal children will take up too many resources and increase competition. […] And many ordinary workers haven't heard of the new policies. Ran Xiuyun, a 40-year-old woman from Sichuan Province, has been working in Shanghai for over 10 years as a laundry worker and part-time ayi. "I only have a temporary residency permit. The requirements for a residency permit are very strict for me and most of my friends in Shanghai don't have one. Nor do we want to fight for it." Zhao believes that the policies will take time to become effective. "In the long run, all children should enjoy the same education rights. But we can't rush. Any push to radically change or abolish the hukou system would undermine the quality of Shanghai's public services. Reform takes time. "" »

[27] « BBC News » du 27 février 2014 : « Does Shanghai's school success exclude migrants ? »

[28] OCDE, Strong Performers and Successful Reformers in Education - Lessons from PISA for the United States (2011), « Shanghai and Hong Kong : two distinct examples of education reform in China », p. 92. (notre traduction)

[29] Isabelle Feng dans « Le Monde » du 11 décembre 2013 : « Ubuesque docilité chinoise »