ELAINE Une première étude de la DEPP sur la plus-value des technologies

Le protocole de cette étude se veut ambitieux car malgré la place grandissante des ressources, outils et équipements numériques à l’École, les études réalisées jusqu’à présent n’ont pas établi de manière tranchée la plus-value des technologies de l’information et la communication (TIC) s’agissant des pratiques d’enseignement et des apprentissages. ELAINE est la première évaluation d’impact en France ayant pour objectif d’identifier de manière rigoureuse, s’il existe, l’effet causal de la mise à disposition d’équipements numériques mobiles sur les apprentissages des élèves.

L’étude repose sur des tests de compétences administrés aux élèves et interroge également les enseignants et les cadres éducatifs via des questionnaires en ligne. L’ensemble des outils d’enquête ont été conçus par la DEPP en lien avec plusieurs équipes de recherche de champs disciplinaires variés (sciences de l’éducation, sociologie, psychologie et économie, entre autres). Un travail monographique mobilisant des observations et des entretiens (individuels et collectifs) vient également compléter les données collectées dans le cadre de l’étude longitudinale. L’enjeu est d’appréhender de la manière la plus fine possible la place, les usages et les effets du numérique à l’École.

Mise en oeuvre de l'étude, par Alexis Lermite, chargé d'études à la DEPP

L’étude ELAINE n'est pas une évaluation de la performance individuelle d’un élève, d'un enseignant ou d'un établissement scolaire. Elle s’intéresse à la place du numérique dans le pilotage des établissements scolaires et dans les pratiques enseignantes et à ses effets potentiels sur les compétences des élèves. Néanmoins, comme toute démarche scientifique, elle ne présuppose aucun résultat s’agissant des effets à attendre d’une plus grande intégration du numérique à l’École.
Zoom sur l'enquête adressée aux enseignants

L’objectif de ce questionnaire auto-rapporté est de documenter les attitudes des enseignants et leurs pratiques préférentielles en matière de numérique. Il est constitué de 3 parties :

Informations générales sur l’enseignant (caractéristiques sociodémographiques, ancienneté, formation, etc.)
Pratiques et usages pédagogiques du numérique
Connaissances générales des outils numériques

Comme tous les instruments d’enquête, le questionnaire adressé aux enseignants a été conçu par la DEPP en lien avec des chercheurs et des professionnels (dont des enseignants). Il a fait l’objet d’un test auprès d’un nombre restreint de répondants et ses contenus ont été amendés afin de tenir compte des commentaires des répondants.

Échantillon de l'étude ELAINE

Des groupes d’établissements ont été constitués par la DEPP en fonction de leur inclusion dans le Plan numérique mais également en fonction des équipements mobiles disponibles (notamment la présence ou non de classes mobiles). L’échantillon retenu permet de constituer des groupes de comparaison nécessaires pour mener l’évaluation d’impact. Il comprend 217 collèges publics et privés sous contrat et 2 300 écoles publiques, en France métropolitaine et outre-mer.

Outre l’interrogation des enseignants et des cadres éducatifs de ces établissements, l’étude prévoit de suivre des cohortes d’élèves pendant 3 ans (6 000 élèves de CM1 rentrés en 2019-2020 suivis jusqu’en 6e et autant d’élèves de 5e rentrés en 2017-2018 suivis jusqu’en 3e).

Pour garantir la qualité des résultats produits dans le cadre de cette étude, il est crucial que le plus grand nombre de personnes sollicitées participent à l’enquête.

Confidentialité des études de la DEPP

La DEPP est un service statistique ministériel dont l’activité s’inscrit dans le cadre juridique et institutionnel de la statistique publique. Elle assure la plus grande vigilance vis-à-vis des principes de confidentialité, d’objectivité, d’impartialité, de pertinence et de qualité des données produites, en référence aux recommandations européennes en matière de bonnes pratiques statistiques.

Toutes les informations recueillies dans le cadre de cette étude sont traitées de façon confidentielle. Les résultats seront agrégés au niveau des groupes de l’évaluation (constitués par des ensembles de collèges et d’écoles). Ainsi, aucun établissement ni aucun personnel scolaire ou élève ne sera identifié dans les résultats de l'étude et aucune réponse individuelle ne sera communiquée.

Publication des résultats

L’étude ELAINE étant longitudinale, les résultats finaux ne seront disponibles et ne pourront donc être communiqués qu’à l’issue des trois années de collecte pour chaque cycle d’enseignement. Seuls les résultats agrégés au niveau national seront publiés.

Les études de la DEPP font l'objet de publications et communications diverses (notes d'information, dossiers web, articles dans la revue Éducation & formations, Jeudis de la DEPP, communications scientifiques, etc.) accessibles à tous sur son site Internet.

9 Résultats sur les scores des élèves

9.1 Scores des élèves en 5e

La mise à disposition d’EIM (groupe 1), via le Plan numérique ou non, a un effet positif sur le niveau moyen des élèves de 5e en compréhension orale du français. Cet effet est compris entre 17 % et 31 % d’écart-type selon le groupe de comparaison, ce qui correspond à une progression de 2 à 3rangs dans la classe. La mise à disposition de CM (groupes 2 et 4) a également un effet positif de 7 % d’écart-type sur la compréhension orale (progression d’un rang), comparativement aux élèves des établissements sans équipement numérique mobile (groupes 3 et 5)17.Des analyses complémentaires ont porté sur l’identification d’effets différenciés selon le sexe des élèves, leur origine sociale et la composition sociale et scolaire des établissements (regroupés en fonction de la PCS des familles, du taux de redoublement en 6e, du résultat moyen à l’écrit de l’épreuve terminale du DNB, etc.). On observe des effets différenciés des EIM sur la compréhension orale du français selon le sexe (écart de 24 points de pourcentage d’écart-type en faveur des filles). On n’observe pas d’écart significatif selon l’origine sociale des élèves ou la composition sociale et scolaire des collèges. Pour les CM, aucun effet différencié n’est identifié.Les EIM ont un faible effet sur les compétences numériques des élèves (9 % d’écart type, soit 1 rang)en 5e18. Enfin, on ne mesure aucun effet des EIM (groupe 1) ou des CM (groupes 2 et 4) sur le niveau moyen des élèves en mathématiques et en compréhension écrite du français en 5e.9.2 Scores des élèves en 4eL’effet moyen des EIM (groupe 1) sur la compréhension orale semble perdurer en 4emais de manière plus modeste (14 % d’écart-type, soit un gain d’un rang). Cependant, on n’identifie plus de manière systématique un effet différencié selon le sexe de l’élève ou la composition de l’établissement. Par ailleurs, la distribution de CM n’a plus d’effet en 4esur la compréhension orale.En 4e, les EIM et les CM ont un impact positif modéré sur le score moyen en mathématiques (respectivement 14 % et 13 % d’écart-type, soit 1 rang) et sur les compétences numériques (respectivement8 % et 9 %, soit 1 rang). Par exemple, 46 % des élèves des collèges disposant d’EIM (groupe 1)identifient correctement les informations pouvant figurer dans un courriel, contre 39 % des élèves des collèges sans équipement numérique mobile (groupes 3 et 5). De même, ceux du groupe 1 sont 42 %à identifier la bonne définition du droit à l’opposition (contre 37 % pour ceux des groupes 3 et 5)19.Pour les EIM, les effets varient très fortement en fonction de la composition sociale et scolaire des17. Toutefois, on n’identifie pas d’effet des CM lors des analyses par IPW.18. Toutefois, il faut noter que les résultats des analyses par IPW sont différents.19. Toutefois, il faut noter que l’effet des EIM sur le score de mathématiques et de compétences numériques n’est pas statistiquement significatif lors de l’analyse par IPW.41
établissements (écarts de 40 à 64 points de pourcentage en faveur des élèves des collèges défavorisés pour les mathématiques et de 61 à 71 points de pourcentage pour les compétences numériques). Les EIM ont également un effet différencié selon l’origine sociale individuelle des élèves sur les compétences numériques (entre 37 et 45 points de pourcentage en faveur des élèves issus de familles de PCS défavorisées), mais pas sur les compétences en mathématiques. Enfin, il n’y a pas d’écart en fonction du sexe. Par ailleurs, seuls les EIM ont un impact modéré mais positif sur la compréhension écrite (12 % d’écart-type, soit 1 rang). Cet effet ne varie pas selon les différentes catégories d’élèves décrites précédemment.

10 Conclusion

Les effets estimés de la disponibilité d’EIM et de CM sur les apprentissages des élèves sont globalement positifs mais modérés. Cela peut s’expliquer par les changements modestes intervenus dans les pratiques enseignantes et dans l’utilisation des outils par les élèves en dehors du collège. On peut supposer que l’impact le plus fort concerne la compréhension orale du français car les possibilités offertes par les outils numériques avec l’accès à des ressources difficilement mobilisables par d’autres biais (comme par exemple les vidéos), tandis qu’on peut supposer que les outils numériques n’ont qu’une plus-value faible pour les documents écrits, en comparaison aux outils classiques comme les manuels scolaires. Cette hypothèse est étayée par la revue de littérature réalisée par Tricot (2020)qui indique que l’usage du numérique produit des effets plus positifs pour les activités pédagogiques telles « regarder une vidéo » que pour les activités pédagogiques telles que « lire et comprendre un texte ». Par ailleurs, les faibles effets mesurés sur les compétences numériques peuvent sembler contre-intuitifs. Une analyse des résultats de l’enquête ICILS en France (sur un autre échantillon que l’étude ELAINE) pourra apporter des pistes de compréhension, en comparant les résultats en littératie numérique et pensée informatique des élèves des établissements faisant partie du Plan numérique aux autres élèves.