Edition 03 | 2016

Focus "Recherche et évaluation"

Dix étapes pour une bonne évaluation

La planification de la formation n’est plus envisageable sans description systématique ni évaluation des mesures de formation. Comment caractériser une bonne évaluation? À quelle fréquence les résultats sont-ils embellis?

Par Lars Balzer, chef du domaine Évaluation de l’Institut fédéral des hautes études en formation professionnelle, et Wolfgang Beywl, responsable de la chaire de management de la formation et de développement scolaire et du personnel à la HEP de la Haute école spécialisée du Nord-Ouest de la Suisse

(Photo: Adrian Moser)

(Photo: Adrian Moser)

1) La première étape d’une bonne évaluation consiste à définir l’objet de l’évaluation. On établit une première description compréhensible pour une personne extérieure au projet. Le nom de l’offre de formation, les initiateurs, les responsables, les collaborateurs, les groupes cibles, les contenus, les plans de mise en œuvre ou encore les ressources sont quelques-uns des éléments importants. Les objets d’évaluation sont en général des projets concrets, mais il peut aussi s’agir d’organisations tout entières. Souvent, il faut formuler les objectifs du projet. L’évaluation peut aussi porter sur leur vérification.

2) Dans un deuxième temps, on définit les stakeholders, autrement dit les acteurs intéressés, ainsi que les personnes concernées et celles impliquées. Les personnes impliquées sont des individus, des organisations ou des groupes qui sont actifs ou influents face à l’objet de l’évaluation, tels que des investisseurs, des responsables ou des collaborateurs. Les personnes concernées sont notamment les personnes qui ont peu d’influence, comme les groupes cibles. Les acteurs qui cherchent des informations et qui ont éventuellement des attentes en ce qui concerne l’évaluation sont des utilisateurs potentiels. Les évaluateurs font eux aussi partie des acteurs: une évaluation interne est réalisée par des membres de l’organisation responsable de l’objet de l’évaluation. En revanche, les évaluations externes sont menées par des personnes extérieures à l’organisation.

3) Lors de la troisième étape, il s’agit de définir l’objectif de l’évaluation et de formuler des problématiques spécifiques, clairement orientées et priorisées. Il faut alors faire la différence entre une évaluation axée sur une décision, une évaluation visant à faire un compte rendu, une évaluation axée sur l’amélioration et une évaluation destinée à générer un savoir. L’objectif d’une évaluation axée sur la décision est de justifier une direction, comme l’élargissement ou au contraire la réduction d’une offre. Dans la version visant à faire un compte rendu, il s’agit de définir la valeur d’un objet d’évaluation. En général, ces deux modèles prennent la forme d’une évaluation dite sommative. À l’inverse, l’évaluation formative fournit des informations pour améliorer l’objet de l’évaluation. Les problématiques, qui se fondent sur l’objectif de l’évaluation, doivent dire quelles informations sont nécessaires aux utilisateurs prévus. Il peut s’agir de thèmes tels que l’équité des offres face aux besoins, la satisfaction des clients, le succès d’apprentissage, l’utilité du transfert ou le rapport coût-bénéfice.

4) Les critères d’évaluation constituent un prérequis pour toute évaluation systématique et équitable. Ils sont définis en quatre étapes. Ils fournissent une base de référence sur laquelle s’appuient les jugements relatifs au bien-fondé ou à la faisabilité des objets d’évaluation. Des critères opérationnels doivent être fixés au début de la récolte de données, au plus tard avant le début de l’exploitation de celles-ci. Souvent, il est nécessaire de demander aux stakeholders leurs critères d’évaluation et de traiter les critères à prendre en compte. En aucun cas il ne faut définir des critères d’évaluation ad hoc, purement intuitifs, dont la méthodologie n’est pas contrôlée ou qui ne sont pas clairs.

5) À la cinquième étape, les évaluateurs planifient la procédure méthodologique concrète et l’appliquent. Ils choisissent un design d’évaluation adapté à l’objet évalué ainsi que des méthodes appropriées, et élaborent un plan de récolte des données. Ce dernier définit quelles données sont récoltées par qui, à quel moment et de quelle manière. Le design d’évaluation clarifie la structure logistique et les délais du projet ainsi que le déroulement méthodologique et technique de la récolte de données. Il n’y a pas de recette magique pour choisir la méthode de recueil des données; il faut s’orienter vers les problématiques en question et les conditions cadres.

6) Après avoir été soigneusement préparées, les enquêtes peuvent démarrer. Il faut alors tenir compte des aspects logistiques et techniques, mais aussi des problèmes à gérer. Une évaluation ne se déroule pas dans des conditions de laboratoire, mais constitue une science sociale appliquée dans un environnement dynamique de travail et d’apprentissage influencé par l’évaluation. Le défi consiste à réagir de manière flexible aux impulsions de l’environnement, tout en suivant une approche scientifique systématique. Lors des récoltes de données, les exigences de validité, de fiabilité et d’objectivité entrent en concurrence avec des réflexions économiques, le respect des délais ou la participation possible des stakeholders.

7) La septième étape porte sur la saisie, le contrôle et l’évaluation systématiques des données en fin d’enquête, en les présentant de manière condensée et explicite, en les résumant verbalement et en les mettant en lien avec les problématiques de façon claire et compréhensible. Il s’agit ensuite de tirer des conclusions et de procéder à des évaluations à partir des critères d’évaluation. Il est essentiel que les appréciations issues des données empiriques soient justifiées sur la base des critères définis au préalable.

8) Afin qu’une évaluation soit vraiment utile pour la pratique, ses résultats doivent faire l’objet d’un rapport: c’est ce en quoi consiste la huitième étape. Pour ce faire, il est nécessaire de clarifier en amont la présentation du contenu en sachant notamment à qui le rapport est destiné.

9) Les évaluations ne sont pertinentes que si elles peuvent être utilisées dans la pratique, ce qui doit être préparé lors de la neuvième étape. Pendant longtemps, l’utilité d’une évaluation se mesurait uniquement à l’utilisation de ses résultats. Depuis, il est communément admis que le déroulement de l’évaluation peut déjà apporter beaucoup à la pratique.

10) Lors de la dixième étape, l’évaluation peut elle-même faire l’objet d’une évaluation. Faire évaluer son travail et en déduire des possibilités d’amélioration pour de futures évaluations relèvent d’un vrai devoir professionnel.

Liens et références bibliographiques

Balzer, L., Beywl, W. (2015): evaluiert – Planungsbuch für Evaluationen im Bildungsbereich. Bern, hep verlag.
Pleger, L., Sager, F. (2016): Don’t tell me cause it hurts – Beeinflussung von Evaluierenden in der Schweiz. In: Zeitschrift für Evaluation (Nr. 1).
Böttcher, W. et al. (Hrsg., 2014): Evaluation in Deutschland und Österreich. Stand und Entwicklungsperspektiven in den Arbeitsfeldern der DeGEval – Gesellschaft für Evaluation. Münster, Waxmann.
Frey, B. S. (2008): Evaluitis – eine neue Krankheit. In: Matthies, H. & Simon, D. (Hrsg.), Wissenschaft unter Beobachtung. Effekte und Defekte von Evaluationen (S. 125-140). Wiesbaden, VS Verlag für Sozialwissenschaften.
Kappler, E. (2010): Vorsicht vor Evaluationismus! – Ein kritischer Beitrag. In: journal für lehrerinnen- und lehrerbildung (Nr. 4, S. 36-47).

Encadré

Un chercheur sur deux a déjà subi une pression de la part du mandataire

Plusieurs interdépendances peuvent se manifester entre mandants et mandataires, qu’il s’agisse d’évaluations internes mandatées par la hiérarchie ou d’évaluateurs externes dépendant, sur le plan économique, d’autres mandats. Le risque est grand que certains mandants s’immiscent dans les évaluations en voulant modifier les résultats et les rapports. Ce risque n’est pas seulement théorique. Dans une enquête anonyme menée en 2014 auprès de membres de la Société suisse d’évaluation, près de la moitié des 123 personnes ayant répondu ont indiqué avoir déjà été influencées ou s’être senties sous pression pendant leurs évaluations. Pour 90% d’entre elles, il ne s’agissait pas d’un cas isolé. Chez 60% des personnes interrogées, les mandants exigeaient une représentation déformée des résultats. Il n’est pas facile de gérer ce dilemme: 12% des sondés ont indiqué ne pas avoir modifié leur rapport la dernière fois qu’ils ont subi une telle pression; 72% ont réagi en modifiant leur rapport sans représentation erronée ou imprécise des données; 9% ont procédé à des changements menant à une représentation fausse ou imprécise. Chez 7% des sondés, l’influence subie a eu d’autres types de conséquences. Pour plus de la moitié des personnes interrogées, on pourrait prévenir ces situations en discutant des éventuels résultats négatifs dès le début de l’éva­luation et en suscitant une meilleure compréhension des objectifs, de la fonction et des critères de qualité de l’évaluation.

Commentaires
 
 
 
imgCaptcha
 

Prochaine édition

Le prochain numéro paraîtra le 25 octobre. Focus: Égalité des sexes