Que dit la recherche internationale ? (4)
L’absence d’effets sur l’établissement scolaire
Dans les contextes où l’auto-évaluation n'est pas établie ni formellement accompagnée, comme aux îles Maurice (Ah Teck et Starr, 2014), à Chypre (Karagiorgi, 2012) et en Uruguay (Vazquez et Gairin, 2014) peu de changement sont réellement observables. Les enseignants manquent le plus souvent de temps et de ressources pour apporter des transformations.
Dans les systèmes où l’auto-évaluation est plus répandue, le type d’accompagnement peut être significatif. Timperley et Parr (2009) font état de l'impact différent de deux interventions destinées à aider les établissements scolaires dans l’usage des données pour améliorer l'enseignement de la littératie. Dans une des études, déjà citée, les chercheuses observent des améliorations de l'enseignement et des progrès des élèves. Dans l'autre intervention, une formation a été dispensée aux chefs d'établissement pour utiliser les données et informer la pratique, mais il n'y a pas eu d’analyse et d’identification des besoins d'apprentissage ni même de développement professionnel des enseignants. Elle a donc eu moins d’impact sur les résultats des élèves.
Un projet conduit aux États-Unis décrit par Quint et ses collègues (2008), mettant en place des spécialistes des données dans les établissements pour travailler avec les enseignants sur les conditions d’enseignement et d’apprentissage des élèves, montre l’importance de cette forme de coaching. Il en va de même dans l’étude conduite aux Pays-Bas par Blok et ses collègues (2008) qui ont étudié un modèle dans lequel l’auto-évaluation était suivie d'une validation par une visite et une inspection externe. Ils en concluent qu’un accompagnement est nécessaire si l’on veut que l’auto-évaluation conduise à des améliorations.
Dans le rapport de l’inspection générale du Pays de Galles (Estyn, 2012) il a été constaté qu'environ un cinquième des établissements n'utilisaient pas efficacement les données pour conduite le projet d’établissement et des recommandations ont été adressées pour que ces établissements bénéficient d'une formation et d'un accompagnement. En Écosse le rapport de l’inspection générale (Education Scotland, 2012) note que l’usage de l'auto-évaluation pour susciter des améliorations peut être plus efficace si les apprentissages des élèves et leurs conditions de réussite sont prises en compte.
Les effets non intentionnels
Andersen et al (2009) examinent ce qu'ils appellent "se figer sur des mesures" dans le contexte d’un système d'assurance qualité au Danemark qui comprend une évaluation interne et externe. Se « figer sur les mesures » décrit une fixation trop importante sur les indicateurs plutôt qu’un intérêt pour la qualité. Autrement dit, on évalue la qualité par les indicateurs sans s’intéresser à d’autres données tout aussi importantes.
Hartong rend compte d’une préoccupation similaire dans sa recherche sur l’usage d’un outil d’évaluation en Basse-Saxe, en Allemagne, tel qu’il a été développé par la Fondation Bertelsmann. L'outil recueillait des données auprès des enseignants, des élèves, des parents et les équipes de direction à travers un questionnaire et il donnait lieu à un rapport. Le problème est que les critères et le cadre de la démarche étaient critiqués, mais que les résultats de l'évaluation ont été invariablement « acceptés" et utilisés pour les projets d’établissement. Or, l’amélioration était surtout mesurée par des données externes, conformément à des « bonnes pratiques », ce qui a fait perdre de l'autonomie aux établissements scolaires et aux enseignants pour déterminer par eux-mêmes ce qu'ils entendaient par qualité.
Un cadre, ou un modèle prescrit pour l’auto-évaluation, peut être certes utile aux établissements, mais il peut aussi avoir effets négatifs. Croxford et ses collègues (2009) décrivent ainsi les attentes exprimées en Ecosse. Ils s'interrogent sur le fait que lorsque les mesures et les objectifs de performance sont fixés par l'inspection ils ne sont pas forcément compatibles avec les objectifs d’amélioration de l’établissement et des enseignants. Les auteurs suggèrent que le modèle encourage alors à une certaine conformité plutôt que de viser l’amélioration de l’organisation et de la réussite des élèves.
Sur la base de son expérience internationale en matière d’auto-évaluation, Simons (2013) rapporte que la résistance des enseignants peut empêcher la mise en oeuvre, surtout lorsque les syndicats sont forts, comme en Irlande, ou que la motivation des enseignants est faible, comme en Espagne, ou encore quand les enseignants sont des fonctionnaires à vie, ou bien qu’il n'existe pas de pilotage institutionnel pour conduire le changement. Elle ajoute que la responsabilisation externe fondée sur des tests peut amener les établissements à négliger d'autres conditions de réussite des élèves et prioriser certains domaines de l’évaluation.
Davies et Rudd (2001) et Hall et Noyes (2007) en Angleterre, Wong et Li (2010) à Hong Kong,
Vazquez, Gairin et leurs collègues (2014) en Uruguay notent le stress et la lourde charge de travail associés à la mise en œuvre de la démarche d’auto-évaluation. MacBeath (2008) rend également compte du système d’auto-évaluation à Hong Kong, en pointant la lourde charge de travail ainsi que les niveaux élevés de stress et d'anxiété parmi les enseignants. Il fait remarquer que cela peut être géré par les équipes de direction, qui peuvent réduire le stress en se focalisant sur les possibilités d'apprentissage professionnel offertes par le processus. Bien que la disponibilité des données puisse être utile pour l’auto-évaluation, Wroe et Halsall (2001) notent qu’une trop grande quantité, ou un mauvais type de données, conduit à une situation ingérable et déroutante.
Bibliographie et source.
Cette étude s'inscrit dans le cadre du projet européen "Inspections polycentriques des réseaux d'établissements scolaires" (PINS) coordonné par Melanie Ehren, professeur à l’Institut de l’Education de Londres (University College) et ses collèges : https://iris.ucl.ac.uk/iris/browse/profile?upi=MEHRE33
L'objectif de cette étude était d'identifier et de résumer les résultats des recherches empiriques et non empiriques internationales sur l'impact de l'évaluation interne dans les écoles.