La réforme de l'évaluation

Merci de l'accueil!
J'ai lu votre article sur PISA, et me suis permis une petite remarque dans un sujet sur PISA.

Signalé par un collègue de Neoprofs :
Dans le même décret qui supprime le redoublement , l'article 10 modifie le D331-25 du code de l'éducation:
Avant :

L'évaluation des résultats de l'élève est réalisée par les enseignants. Le bilan de l'évaluation est communiqué à l'élève et à ses parents par le professeur principal, ou par un membre de l'équipe pédagogique. En fonction de ce bilan, les enseignants dispensent, en cas de besoin, les conseils appropriés afin de permettre à l'élève d'atteindre les objectifs fixés annuellement et ceux du cycle.
Les synthèses des observations et les bilans des évaluations sont conservés dans le dossier scolaire de l'élève.

Après :

L'évaluation des acquis de l'élève, menée en référence au socle commun de connaissances, de compétences et de culture pour le collège, est réalisée par les enseignants.
Le bilan des acquis est régulièrement communiqué à l'élève et à ses représentants légaux par le professeur principal, ou par un membre de l'équipe pédagogique. En fonction de ce bilan, les enseignants proposent des modalités d'accompagnement afin de permettre à l'élève d'atteindre les objectifs du cycle.
Les synthèses du suivi et les bilans des évaluations sont conservés dans le dossier scolaire de l'élève.

Dans les "Cahiers pédagogiques" du 24/11/14 : "Dix reproches, dix propositions"

Quelque chose est masqué pour les invités. Veuillez vous connecter ou vous enregistrer pour le visualiser.

[La notation] est trop générale et peu informative : l’aspect «  sommatif  » au sens propre consiste à additionner des compétences sous la forme d’une moyenne qui ne permet pas à l’élève de repérer les points qu’il doit travailler car son attention est souvent obsédée par l’addition (la note globale)

Les notes peuvent parfaitement correspondre à des exercices très précis.
L'évaluation des sous-compétences n'empêche pas de déterminer la réussite moyenne (en pastilles...) dans une grande compétence, de façon beaucoup plus imprécise d'ailleurs : elle peut même empêcher l'élève de prendre conscience de ses vraies difficultés par la création ex nihilo de compétences artificielles ("J'ai fait des phrases courtes" > "Je sais rédiger un texte en français correct"). D'autres compétences peuvent en revanche être minorées et être "trop générales et peu informatives" ("J'ai soigné l'orthographe").
Bref, ce que l'on reproche à la notation peut parfaitement s'appliquer à l'évaluation par compétences.
Ajoutons que la note n'est jamais seule : elle peut être accompagnée d'un barème et surtout elle est accompagnées d'annotations sur la copie et d'une appréciation générale. Annotations et appréciations sont bien plus personnalisées qu'une grille pré-établie...
On le voit, il s'agit ici de caricaturer la pratique de la notation en la réduisant à la seule note.

L’évaluation actuelle est en même temps très pointilliste, avec ses points, demi-points, quarts de point, et conduit à succomber à la magie des chiffres, ceci étant renforcé par la fausse rigueur de l’informatique, quand des élèves ou familles s’imaginent significatif le passage de 8,37 à 8,89 !

Bref, la précision de la note elle-même serait négative...
Bon, notons que les évaluations par "compétences" sont elles-mêmes êtres transformées en notes pour les procédures d'affectation (voir ci-dessus ) de manière beaucoup plus impressionniste (quatre paliers : la note de 8 sur 20 peut correspondre à un élève ayant 6 ou ayant 10 par exemple).
C'est contre l'informatisation et la prise en compte des seules notes qu'il faut se battre...

Elle crée de l’illusion, sous son apparence «  scientifique  », «  objective  » en créant la fiction que n’importe quelle note dans n’importe quelle classe de n’importe quel établissement en vaudrait une autre, en oubliant les différences entre ces classes, ces établissements ; (quoi de pire que la déception du brillant élève de collège de REP + qui voit ses notes baisser dans le lycée prestigieux où il a pu accéder, alors qu’il travaille encore plus !)

Ce phénomène ne se produirait pas avec des compétences considérées comme acquises ici et non acquises là...

Elle est plutôt dans constatation des lacunes et des manques que dans la capitalisation des progrès, le symbole étant la dictée où on enlève des points à chaque erreur, et même si les points négatifs du thème latin ont disparu (encore que…)

Cette logique est proprement aberrante : une dictée avec un mot sur deux comprenant une faute serait donc une dictée à moitié réussie. Voir notre article à ce sujet : "Loto dictée" .
Par ailleurs une évaluation qui considère indistinctement la plupart des apprentissage comme "en cours d'acquisition" permet beaucoup moins de "capitaliser les progrès" que les notes...

Elle est peu fiable, comme le prouvent les écarts importants entre correcteurs dans les tests établis par la docimologie depuis un siècle pour des mêmes travaux d’élèves.

Et ces travaux ne s'appliqueraient pas à l'évaluation par compétences ? La compétence "Je sais rédiger un texte en français correct" serait "fiable" ?

Du coup, se développe chez les élèves l’idée d’arbitraire (« noter à la tête du client  ») qu’ils limitent celle-ci aux matières littéraires, à tort…

Comme on l'a vu, la notion d'arbitraire s'applique très bien aux compétences.

Elle est très individualisante.

Le livret personnel de compétences (LPC) n'est pas personnel ?

On a beaucoup de mal à évaluer le travail collectif et les résistances sont très fortes chaque fois qu’on s’y essaie (cas des TPE)

En quoi l'évaluation par notes s'y oppose-t-elle ?
Il faut dire, dans le cas des TPE, que les professeurs sont amenés à évaluer des candidats dans des disciplines qu'ils ne maîtrisent pas...

L’évaluation est trop peu collégiale. Chez certains enseignants, 13, c’est déjà bien, tandis que c’est «  faible  » chez d’autres.

Les appréciations servent précisément à relativiser les notes...
Un nébuleux "en cours d'acquisition" aura le mérite de mettre tout le monde d'accord.

Le 20 semble impossible dans certaines matières de la part de professeurs.

Dans Affelnet la note maximale affectée pour une compétence est 16.

Les normes en fait sont très variables, même si l’idée de critères de réussite clairs a progressé ces dernières années.

Parce que les "normes" des compétences sont elles rigoureuses et objectives.

Elle peut être démotivante, en ce que l’accumulation de mauvaises notes décourage...

"en cours d'acquisition" a le mérite de noyer le poisson : une bonne copie peut obtenir la même évaluation qu'une mauvaise copie et ça, c'eet motivant.

...mais aussi en ce que l’obtention de la sacro-sainte «  moyenne  » semble un but suffisant à certains élèves qui ne se sentent plus l’obligation de faire mieux.

La logique est curieuse ici : si la moyenne est "sacro-sainte", les élèves se sentent obligés... de travailler.

Elle peut conduire à des humiliations quand elle est rendue publique (l’annonce à haute voix des résultats, les remarques publiques désobligeantes, etc.

Ce n'est pas la note qui est mise en accusation ici. Dire publiquement qu'un élève n'est pas compétent produirait les mêmes effets...

L’évaluation actuelle se limite à des domaines facilement évaluables (en apparence) et en néglige d’autres pourtant essentiels : l’oral, la capacité à coopérer, à s’investir dans un projet, les attitudes intellectuelles, etc.

Très intéressant glissement, qui montre que le débat sur l'évaluation en cache un autre : où l'on voit que l'objectif de la réforme est moins dans la manière d'évaluer que dans ce qui doit être évalué. L'oral est parfaitement évalué et évaluable par les notes...
Autre glissement très grave : les "compétences" deviennent ici une "capacité à s'investir" ou des "attitudes intellectuelles". Avec ces "compétences" nébuleuses et évaluées au doigt mouillé, en toute docimologie, ce n'est donc plus le travail de l'élève que l'on juge, mais l'élève lui-même.
Comme on l'a vu plus haut avec Affelnet, ces "compétences" peuvent d'ailleurs devenir des notes grossières mais cruciales pour l'affectation.

D’ailleurs, n’a-t-on pas tendance bien souvent à n’enseigner que ce qu’on peut évaluer facilement ?

Oui c'est vrai : idéalement, il faudrait enseigner que ce que l'on peut pas évaluer, voire ce que l'on ne connaît pas. C'est d'ailleurs bien parti, comme en témoignent l'enseignement de l'anglais, l'histoire des arts, les TPE et bientôt le code informatique !
Un seul exemple pour s'en convaincre : les "attitudes intellectuelles" méritent d'être enseignées davantage.

Mon premier réflexe au sujet de cette réforme a été de penser:
"Encore une réforme qui ne sert qu'à glorifier le ministre. En pratique, ça ne changera rien..."
Toutefois, un truc qui me turlupine rapport à cette nouvelle réforme.
Je viens d'un autre domaine que l'éducation, la recherche en l’occurrence.
En recherche, quand on cherche à savoir si un truc nouveau est valable, on ne l'impose pas à toute la population, on le compare en plus et en moins rapport aux trucs précédents. Et on vérifie si c'est valable ou non, effet placebo inclus.
Ma question: est-ce que il y a une étude de référence démontrant que sur un élève de type "élève standard de base", on a démontré que l'utilisation du système sans note est plus efficace que le système avec note?
Parce que le fait qu'un journaliste s'en réjouisse, c'est normal.
Y a une bonne proportion de cancres chez les journalistes, c'est pas étonnant qu'ils se réjouissent de l'abandon des notes. D'autant que dans un premier temps, une bonne proportion de parent ne verra plus de zéro, donc plus de "privé de dessert". Mais quand les parents comprendront que "Je N' ai PAS retenu les notions essentielles du cours" signifie "j'ai passé le week-end à jouer à la playestéchion plutôt que de bosser mon cours d'histoire-géo", la privation de dessert (ou la taloche!) reviendra et les cancres de journalistes ronchonneront de nouveau.
Pour ma part, je ne trouve pas l'idée mauvaise en soi.
Savoir pourquoi on a une mauvaise note, avec un langage standardisé est parfois plus utile que les annotations du professeur. Quand j'étais élève, je ne comprenais pas toujours ce que disait ces annotations. Et j'osais rarement demander à mon prof ce que cela voulait dire.
Je me souviens d'avoir osé une fois. Un prof de français (pas de ricanement, les profs de maths! ) a donc passé une heure a m'expliquer ce que voulait dire: "la problématique". Au bout de 45minutes à utiliser du vocabulaire qui lui venait de son bac+5, elle s'est abaissée à mon bac-1 et m'a simplement dis: "c'est toutes les questions qui te viennent à l'esprit rapport au sujet". Merci Porf, j'ai enfin pigé!
- aparté- au fait, les élèves à qui je donne un coup de main ont parfois le même problème. Ils ne comprennent pas l'annotation (moi non plus d'ailleurs. Parfois). Et (Surtout) ils n'osent pas poser la question (le prestige du prof, la pression des pairs, tout ça...). Je les incite à le faire. Et je prie pour que le prof ne soit pas trop sot/ obtus quand ils leur poseront la question. -fin de l'aparté-
Bref, cette nouvelle manière de (ne pas) noter me semble avoir de l'intérêt.
Mais en dehors des délires journalistiques: repose-t-elle sur des bases scientifiques validées?
(Même si j'ai rarement entendu parler de truc concernant l'évaluation qui ont été scientifiquement validés. Rectificatif: en fait, j'ai jamais entendu parler de truc éducatifs validés scientifiquement. Ca semble plus être une suite de traditions appliquées spontanément.)

Lisez l'exemple que j'ai pris plus haut dans un article pour voir que tout type d'évaluation peut parfaitement être biaisé et qu'à tout prendre la notation (avec les annotations et appréciations) est beaucoup plus lisible.
Pour vous en convaincre prenez connaissance des compétences telles qu'elles sont transmises aux enfants et aux parents en primaire par exemple.

Dans "La Grande table" du 28/11/14 : "Faut-il supprimer les notes à l'école ?" sur "France Culture".
A la question de Caroline Broué qui demande si les résultats sont meilleurs dans ces classes expérimentales où on a supprimé les notes, cette réponse ingénue :

Pierre Merle écrit: On manque d'évaluations - je dirais - de type scientifique pour dire "C'est un système qui est plus opérant". C'est-à-dire normalement il faudrait faire une évaluation standardisée au début de l'année, de classes avec des évaluations par couleur, d'évaluation sans couleur et à la fin de l'année faire des évaluations selon le niveau initial des élèves etc. etc. C'est compliqué à faire. Il y a satisfaction des professeurs qui trouve que finalement c'est un système où les missions qui sont les leurs leur semblent mieux assurées. Les élèves sont moins stressés : on sait que c'est un des grands problèmes de l'école française."

On est rassurés par ces arguments convaincants.
Sur le stress des élèves, le sociologue Pierre Merle ne saurait mieux se tromper : PISA : à l’école comme "chez moi"

"Pour vous en convaincre prenez connaissance des compétences telles qu'elles sont transmises aux enfants et aux parents en primaire par exemple. "
Malheureusement, je ne suis pas dans l'éducation, je ne sais pas comment les connaissances sont transmises en primaire.
"qu'à tout prendre la notation (avec les annotations et appréciations) est beaucoup plus lisible"
Ouaip, sauf que lorsque j'étais gamin, mes parents ne s'intéressaient qu'à la note. Et avec mes autres camarades de classe, c'était pareil. Mieux valait un 13 avec un "apprends mieux ton cours!" qu'un 8 avec "tu es en progrès, c'est bien".
Quand j'aide des élèves, je leur apprend à lire l'appréciation, et je m'en sers pour déterminer ce qu'il faut que je fasse. Mais eux ne le font pas, et leurs parents non plus (ou pas souvent)...
"Lisez l'exemple que j'ai pris plus haut dans un article pour voir que tout type d'évaluation peut parfaitement être biaisé"
Je l'ai lu et en effet il est biaisé:
- faible effectif ("petit collège") (quid de la variabilité statistique)
- milieu particulier ("rural")
- professeurs se mettant probablement la pression car conscient de l'expérimentation en cours: on ne sait pas si l'effet observé est du à la méthode ou à la plus grande attention des enseignants.
Sur le dernier point, je pourrais vous donner un exemple équivalent dans le monde médical. Supposez que vous et dix autres patients soyez sélectionnés pour faire une étude sur un médicament qui soigne les aigreurs d'estomac. On vous donne à tous le médicament, on vous dis à tous que c'est une merveilleuse méthode qui donne des résultats formidables chez le rat, et les médecins comme les soignants sont au courant de l'importance de l'étude pour le ministère. Et bien même si le médicament n'est pas efficace du tout, vous allez avoir une amélioration dans environ 30% des cas ! Effet placebo, ça s'appelle.
Donc cette expérimentation n'est pas ce que j'appelle "une étude de référence". Ils auraient aussi bien pu tester si donner des fraises tagada bio en fonction des notes était efficace, et là aussi je pense que la journaliste se serait émerveillée devant les résultats (et aurait en plus demandé à participer aux cours! ).
Par "étude de référence" je veux dire la bonne vieille " étude randomisée en double aveugle, avec répartition aléatoire et randomisée ".
Par exemple:
Vous prenez suffisamment de gamins (500? 1000? 100 000?) sélectionnés au pif, vous leur faites faire à tous le même devoir, et vous anonymisez les copies. La moitié (sélectionnée au hasard) est notée avec des notes (par des profs choisis au hasard), l'autre avec le nouveau système (par des profs choisis au hasard).
Vous leur remettez un devoir (au bout d'un temps suffisant pour que le paramètre "notation" ait fait effet). Vous évaluez s'ils ont progressé ou non. Vous faites un petit test statistique pour savoir s'il y a une différence observable ou non (avec un risque de x%).
Restera toujours le risque que les enseignants aient introduit un biais par leur manière de noter, mais ça je ne sais pas comment on peut s'en affranchir (QCM?).
Vous répétez avec plusieurs type de devoir (manière de voir si cette méthode donne les même résultats pour un devoir de math ou de géo) et pour plusieurs niveau (plus efficace avec des CE2 ou avec des 1ereS).
Et là vous aurez un résultat (ou non) qui ne dépendra pas de multiples biais comme pour l'expérimentation faite dans "un petit collège rural du Gers" (- aparté: en relisant cette expression, j'ai l'impression d'entendre Jean Pierre Pernaut-Ricard (sur TF1) s'adressant à ses groupies du 4ème âge... - )
Bref, savez vous si une étude randomisée en double aveugle, avec répartition aléatoire et randomisée a été faite sur le sujet ou si la seule raison de mettre cette nouvelle méthode en place n'est qu'une lubie de ministre validée par deux trois études bidons? (Avec comme gros corollaire que dans 10ans on aura un nouveau ministre qui dira: "il faut revenir à la notation avec notes, mon prédécesseur était un nul, votez pour moi, merci.").

LeCancre écrit: Par "étude de référence" je veux dire la bonne vieille "étude randomisée en double aveugle, avec répartition aléatoire et randomisée".

Voyez ce que dit Pierre Merle dans le message qui précède le vôtre !

Dans "Le Monde" (abonnés) du 29/11/14 : "Vers une révolution de l’évaluation des élèves ?"

Quelque chose est masqué pour les invités. Veuillez vous connecter ou vous enregistrer pour le visualiser.

Edit : les propositions du CSP : cache.media.education.gouv.fr/file/CSP/8...v_MEF-CSP_371839.pdf