- Messages : 18192
L'intelligence artificielle et l'école
- Loys
-
Auteur du sujet
Moins
Plus d'informations
21 Nov 2024 17:44 - 22 Nov 2024 00:14 #25304
par Loys
Réponse de Loys sur le sujet L'intelligence artificielle et l'école
Sur le site de l'académie de Lyon du 20/11/24 :
"Expérimentation de la correction de copies du DNB par l’intelligence artificielle"
par Thibaud Hayette (
sauvegarde
).
Thibaud Hayette est professeur de lettres depuis 2022, Interlocuteur Académique pour le Numérique (IAN) pour l'Académie de Lyon, formateur académique et webmestre du site académique de Lettres et LCA de Lyon. Il est aussi expert CRCN-Edu.
Extraits :
Une "expérimentation" à partir de sept copies, donc.
De façon amusante, l'auteur considère que les systèmes de correction automatiques déjà existants sont "prometteurs" tout en faisant la promotion d'un nouveau système qui les rendrait à l'évidence... obsolètes. Telle est la dure loi du progrès : elle annule toujours ce qui l'a précédé, relégué aux oubliettes.
L'auteur propose donc un match : "En somme qui remporte le "combat" entre l’homme et la machine ?". La tension est à son comble, même si le match semble déjà plié :
Reste, de toute façon, que l'efficacité est bien vite arrêtée par un premier obstacle : la reconnaissance de l'écriture manuscrite. Il apparaît en effet qu'en plus d'imposer des étapes supplémentaires au travail de correction (scan des copies, insertion dans un logiciel de reconnaissance, transformation en texte numérique - et encore : M. Hayette n'évoque pas le temps de classement des fichiers numériques quand un professeur a plusieurs classes), l'algorithme ne parvient pas à conserver le texte de la copie (de la correction automatique de l'orthographe à l'incapacité à lire la graphie de l'élève et à l'invention pure et simple de portions de texte alternatif). L'auteur reconnaît qu'il a dû "vérifier et remettre à l’identique, pour chaque copie, ce que l’élève avait écrit".
A noter que la graphie donnée en exemple, qui a causé tant de difficulté à la reconnaissance, est loin d'être la plus calamiteuse que l'on puisse rencontrer.
Ces étapes supplémentaires semblent donc parfaitement rédhibitoires : M. Hayette, lui, en déduit que le travail de l'IA sur ce point est "perfectible" : "on peut espérer que dans un avenir prochain cela ne posera plus de difficultés".
On pourra aussi utilement renoncer à l'écriture manuscrite car, comme le note ensuite l'auteur, " l’écriture manuscrite reste encore la norme, notamment pour les examens".
Forte de cet espoir sur les progrès à venir de l'IA, l'expérimentation continue donc.
Au passage, on note - ce que le brevet de français est devenu - que les deux premières questions du DNB ne portent pas sur le texte mais sur le paratexte explicatif...
Le compte-rendu ne permet pas d'étudier les copies dont la correction est comparée, ce qui permettrait de juger... le jugement de l'auteur.
A noter que, quand l'écart était trop élevé (quasiment +50% de points en plus), l'auteur a demandé à l'IA... de réévaluer la copie.
Dans sa conclusion, M. Hayette cède à un étonnant anthropomorphisme. Il note en effet "une certaine fébrilité de l’IA lorsque l’on pointe des dissonances avec un correcteur humain. Est-ce une marque d’humilité qui reconnaîtrait encore la suprématie humaine ?" M. Hayette cite d'ailleurs les justifications de l'IA comme preuve d'une intelligence de l'évaluation alors que les éléments sont de pur remplissage.
La conclusion de M. Hayette se veut équilibrée mais en réalité le surclassement de l'IA n'est à ses yeux qu'une question de temps.
Plus fondamentalement, la réflexion de M. Hayette sur la correction des copies par l'intelligence artificielle comporte un angle mort sévère. Cette "expérimentation" se justifie par cet objectif : alléger le travail des professeurs en les délestant de la correction des copies.
C'est évidemment un postulat parfaitement inepte puisque, en supposant que l'intelligence artificielle - qui n'est pas une intelligence, mais un algorithme prédictif - en soit capable, il est évident qu'il sera en contrepartie demandé aux enseignants d'assurer d'autres tâches ou davantage de présence face aux élèves. L'appel en ligne effectué par les enseignants n'a pas déchargé la vie scolaire mais a permis de réduire le nombre d'assistants d'éducation dans les établissements.
Thibaud Hayette est professeur de lettres depuis 2022, Interlocuteur Académique pour le Numérique (IAN) pour l'Académie de Lyon, formateur académique et webmestre du site académique de Lettres et LCA de Lyon. Il est aussi expert CRCN-Edu.
Extraits :
Attention : Spoiler !
Présentation et objectifs de l’expérimentation
La correction de copies occupe une place importante de l’emploi du temps des professeurs (source du Ministère) : la moyenne serait de 6h30 par semaine pour les matières littéraires. S’il existe des outils pour alléger cela (la correction automatique de QCM en ligne de La Quizinière par exemple ou encore via un smartphone qui identifie, le temps d’une photographie, les bonnes réponses d’un élève sur papier ou via une ardoise numérique), l’utilisation de l’intelligence artificielle semble encore plus prometteuse (l’entreprise Compilatio, basée à Annecy, expérimente actuellement avec des enseignants volontaires un logiciel qui va en ce sens) car elle pourra notamment traiter de plus grandes quantités de textes, comme pour une rédaction, par exemple. En outre, l’IA ne se fatigue pas, peut répéter à l’envi une même demande, reste objective et peut surtout traiter en un temps record une grande quantité de texte.
Mais doit-on pour autant confier à une machine la correction de la production d’élèves ?
L’objectif de cette expérimentation a été de partir de productions réelles de collégiens, sur des copies officielles récupérées lors de l’épreuve de DNB de Français session 2024 et de comparer la correction humaine par rapport à la correction menée par la machine. Qui est le plus rapide ? Qui est le plus objectif ? Qui est le plus efficace ? Et pour terminer, la technologie est-elle suffisamment élaborée pour s’y fier ? En somme qui remporte le "combat" entre l’homme et la machine ?
Pour me faire un avis le plus objectif possible, j’ai récupéré sept copies officielles, avant correction [1]. Il s’agissait de sept copies présentes dans des enveloppes de sept correcteurs différents qui ont bien voulu tenter l’expérience. Je les ai scannées, page par page, en haute résolution (600 dpi) avec le photocopieur du centre d’examen et ai obtenu ainsi des fichiers PDF (un fichier par page).
J’ai ensuite rendu les copies aux enseignants, puis une fois les copies corrigées, je les ai à nouveau scannées avec l’apparition des points attribués, les quelques annotations et autres commentaires pour permettre la comparaison ultérieurement.
[...]
CONCLUSION
Les expérimentations actuelles de l’évaluation par l’IA partent toutes d’un contenu déjà numérique et l’on comprend aisément pourquoi : la perte de temps à scanner et revérifier le contenu après lecture par HTR diminue considérablement la rapidité de traitement et donc l’intérêt. Cependant, l’écriture manuscrite reste encore la norme, notamment pour les examens.
Une fois cet obstacle franchi, le gain de temps est évident lorsque la correction est menée par l’IA. Cependant, l’instruction générative doit être précise voire affinée ou modifiée en cours d’évaluation (par exemple pour le cas d’une dictée aménagée pour la copie 7 par exemple) et c’est surtout confier à une machine sans âme le soin de sonder l’originalité de style d’un élève. En outre, une IA ne mesure pas toutes les compétences acquises par l’élève pour parvenir à ces productions contrairement à un enseignant qui saura apprécier des connaissances spécifiques, du vocabulaire approprié, concernant par exemple la Première Guerre Mondiale dans le cas de ce sujet. Par ailleurs, l’IA va rester cantonnée à un corrigé officiel qui ne peut nécessairement exprimer tout l’implicite ou même penser à tout : elle se positionne seulement par rapport à des écarts à la norme. Cependant, sur l’ensemble des sept copies, l’écart du nombre de point total est seulement de 0,5. Mais cela cache parfois des écarts importants sur une même copie.
Enfin, l’IA semble souvent plus généreuse concernant la deuxième partie de l’épreuve, c’est-à-dire la rédaction : c’est là que l’écart avec les correcteurs humains est le plus remarquable. On sent par ailleurs une certaine fébrilité de l’IA lorsque l’on pointe des dissonances avec un correcteur humain. Est-ce une marque d’humilité qui reconnaîtrait encore la suprématie humaine ? En tout cas, cette expérimentation tend à montrer que le regard de l’enseignant est vraiment indispensable et que le système de correction par l’IA est encore perfectible. Mais pour combien de temps ?
La correction de copies occupe une place importante de l’emploi du temps des professeurs (source du Ministère) : la moyenne serait de 6h30 par semaine pour les matières littéraires. S’il existe des outils pour alléger cela (la correction automatique de QCM en ligne de La Quizinière par exemple ou encore via un smartphone qui identifie, le temps d’une photographie, les bonnes réponses d’un élève sur papier ou via une ardoise numérique), l’utilisation de l’intelligence artificielle semble encore plus prometteuse (l’entreprise Compilatio, basée à Annecy, expérimente actuellement avec des enseignants volontaires un logiciel qui va en ce sens) car elle pourra notamment traiter de plus grandes quantités de textes, comme pour une rédaction, par exemple. En outre, l’IA ne se fatigue pas, peut répéter à l’envi une même demande, reste objective et peut surtout traiter en un temps record une grande quantité de texte.
Mais doit-on pour autant confier à une machine la correction de la production d’élèves ?
L’objectif de cette expérimentation a été de partir de productions réelles de collégiens, sur des copies officielles récupérées lors de l’épreuve de DNB de Français session 2024 et de comparer la correction humaine par rapport à la correction menée par la machine. Qui est le plus rapide ? Qui est le plus objectif ? Qui est le plus efficace ? Et pour terminer, la technologie est-elle suffisamment élaborée pour s’y fier ? En somme qui remporte le "combat" entre l’homme et la machine ?
Pour me faire un avis le plus objectif possible, j’ai récupéré sept copies officielles, avant correction [1]. Il s’agissait de sept copies présentes dans des enveloppes de sept correcteurs différents qui ont bien voulu tenter l’expérience. Je les ai scannées, page par page, en haute résolution (600 dpi) avec le photocopieur du centre d’examen et ai obtenu ainsi des fichiers PDF (un fichier par page).
J’ai ensuite rendu les copies aux enseignants, puis une fois les copies corrigées, je les ai à nouveau scannées avec l’apparition des points attribués, les quelques annotations et autres commentaires pour permettre la comparaison ultérieurement.
[...]
CONCLUSION
Les expérimentations actuelles de l’évaluation par l’IA partent toutes d’un contenu déjà numérique et l’on comprend aisément pourquoi : la perte de temps à scanner et revérifier le contenu après lecture par HTR diminue considérablement la rapidité de traitement et donc l’intérêt. Cependant, l’écriture manuscrite reste encore la norme, notamment pour les examens.
Une fois cet obstacle franchi, le gain de temps est évident lorsque la correction est menée par l’IA. Cependant, l’instruction générative doit être précise voire affinée ou modifiée en cours d’évaluation (par exemple pour le cas d’une dictée aménagée pour la copie 7 par exemple) et c’est surtout confier à une machine sans âme le soin de sonder l’originalité de style d’un élève. En outre, une IA ne mesure pas toutes les compétences acquises par l’élève pour parvenir à ces productions contrairement à un enseignant qui saura apprécier des connaissances spécifiques, du vocabulaire approprié, concernant par exemple la Première Guerre Mondiale dans le cas de ce sujet. Par ailleurs, l’IA va rester cantonnée à un corrigé officiel qui ne peut nécessairement exprimer tout l’implicite ou même penser à tout : elle se positionne seulement par rapport à des écarts à la norme. Cependant, sur l’ensemble des sept copies, l’écart du nombre de point total est seulement de 0,5. Mais cela cache parfois des écarts importants sur une même copie.
Enfin, l’IA semble souvent plus généreuse concernant la deuxième partie de l’épreuve, c’est-à-dire la rédaction : c’est là que l’écart avec les correcteurs humains est le plus remarquable. On sent par ailleurs une certaine fébrilité de l’IA lorsque l’on pointe des dissonances avec un correcteur humain. Est-ce une marque d’humilité qui reconnaîtrait encore la suprématie humaine ? En tout cas, cette expérimentation tend à montrer que le regard de l’enseignant est vraiment indispensable et que le système de correction par l’IA est encore perfectible. Mais pour combien de temps ?
Une "expérimentation" à partir de sept copies, donc.
De façon amusante, l'auteur considère que les systèmes de correction automatiques déjà existants sont "prometteurs" tout en faisant la promotion d'un nouveau système qui les rendrait à l'évidence... obsolètes. Telle est la dure loi du progrès : elle annule toujours ce qui l'a précédé, relégué aux oubliettes.
L'auteur propose donc un match : "En somme qui remporte le "combat" entre l’homme et la machine ?". La tension est à son comble, même si le match semble déjà plié :
Dés lors pourquoi les deux premières questions semblent quelque peu artificielles :[L'IA] pourra notamment traiter de plus grandes quantités de textes, comme pour une rédaction, par exemple. En outre, l’IA ne se fatigue pas, peut répéter à l’envi une même demande, reste objective et peut surtout traiter en un temps record une grande quantité de texte.
En réalité, la dernière question annule toutes les autres. Si on ne peut pas se fier à ces algorithmes, leur efficacité, leur objectivité supposée ou leur rapidité n'ont aucun intérêt...Qui est le plus rapide ? Qui est le plus objectif ? Qui est le plus efficace ? Et pour terminer, la technologie est-elle suffisamment élaborée pour s’y fier ?
Reste, de toute façon, que l'efficacité est bien vite arrêtée par un premier obstacle : la reconnaissance de l'écriture manuscrite. Il apparaît en effet qu'en plus d'imposer des étapes supplémentaires au travail de correction (scan des copies, insertion dans un logiciel de reconnaissance, transformation en texte numérique - et encore : M. Hayette n'évoque pas le temps de classement des fichiers numériques quand un professeur a plusieurs classes), l'algorithme ne parvient pas à conserver le texte de la copie (de la correction automatique de l'orthographe à l'incapacité à lire la graphie de l'élève et à l'invention pure et simple de portions de texte alternatif). L'auteur reconnaît qu'il a dû "vérifier et remettre à l’identique, pour chaque copie, ce que l’élève avait écrit".
A noter que la graphie donnée en exemple, qui a causé tant de difficulté à la reconnaissance, est loin d'être la plus calamiteuse que l'on puisse rencontrer.
Ces étapes supplémentaires semblent donc parfaitement rédhibitoires : M. Hayette, lui, en déduit que le travail de l'IA sur ce point est "perfectible" : "on peut espérer que dans un avenir prochain cela ne posera plus de difficultés".
On pourra aussi utilement renoncer à l'écriture manuscrite car, comme le note ensuite l'auteur, " l’écriture manuscrite reste encore la norme, notamment pour les examens".
Forte de cet espoir sur les progrès à venir de l'IA, l'expérimentation continue donc.
Au passage, on note - ce que le brevet de français est devenu - que les deux premières questions du DNB ne portent pas sur le texte mais sur le paratexte explicatif...
Le compte-rendu ne permet pas d'étudier les copies dont la correction est comparée, ce qui permettrait de juger... le jugement de l'auteur.
A noter que, quand l'écart était trop élevé (quasiment +50% de points en plus), l'auteur a demandé à l'IA... de réévaluer la copie.
Dans sa conclusion, M. Hayette cède à un étonnant anthropomorphisme. Il note en effet "une certaine fébrilité de l’IA lorsque l’on pointe des dissonances avec un correcteur humain. Est-ce une marque d’humilité qui reconnaîtrait encore la suprématie humaine ?" M. Hayette cite d'ailleurs les justifications de l'IA comme preuve d'une intelligence de l'évaluation alors que les éléments sont de pur remplissage.
La conclusion de M. Hayette se veut équilibrée mais en réalité le surclassement de l'IA n'est à ses yeux qu'une question de temps.
Plus fondamentalement, la réflexion de M. Hayette sur la correction des copies par l'intelligence artificielle comporte un angle mort sévère. Cette "expérimentation" se justifie par cet objectif : alléger le travail des professeurs en les délestant de la correction des copies.
C'est évidemment un postulat parfaitement inepte puisque, en supposant que l'intelligence artificielle - qui n'est pas une intelligence, mais un algorithme prédictif - en soit capable, il est évident qu'il sera en contrepartie demandé aux enseignants d'assurer d'autres tâches ou davantage de présence face aux élèves. L'appel en ligne effectué par les enseignants n'a pas déchargé la vie scolaire mais a permis de réduire le nombre d'assistants d'éducation dans les établissements.
Dernière édition: 22 Nov 2024 00:14 par Loys.
Connexion ou Créer un compte pour participer à la conversation.