Efficacité pédagogique : la mesurer, oui mais comment ?

Posted by Svetlana Meyer on 7 mai 2019

cerveau1

Ça y est : vous avez décidé de mesurer votre efficacité pédagogique. Après avoir identifié les dimensions qui vous seront utiles et vous être renseigné.e sur la démarche à suivre, vous êtes prêt à faire parler vos données. Oui, mais... de quelles données parle-t-on ? Face à la profusion d'informations que vous pouvez obtenir sur vos apprenant.e.s, il est légitime de se sentir un peu perdu. Par quoi commencer ? Cet article vous aidera à y voir plus clair sur ce que vous disent (et ne vous disent pas) certains types de données, et comment choisir les indicateurs qui correspondent le plus à vos besoins.

1) Les données subjectives : je dis donc je sais ?

Un réflexe courant est de demander directement à l'apprenant.e ce qu'il.elle pense de la formation qu'il vient de recevoir. Lui a-t-elle été utile ? A-t-il.elle l'impression d'avoir progressé ? Après tout, si la formation a été efficace, il.elle devrait bien le sentir. De plus, cette mesure est particulièrement facile à obtenir : il suffit d'administrer un simple questionnaire en fin de formation.

En réalité, ce n'est pas si simple : de nombreux facteurs influencent l'apprenant.e quand il.elle doit juger de l'efficacité d'une formation. Tout d'abord, nous ne sommes pas tous égaux pour estimer notre état de connaissance réel : cela dépend de notre métacognition, c'est à dire de notre capacité à évaluer avec justesse notre état cognitif et à l'ajuster pour atteindre le but que l'on s'est fixé (voir notre article à propos de la métacognition et son rôle dans l'apprentissage). Or, en terme de métacognition, certain.e.s sont très performant.e.s... d'autres moins. Ainsi, la qualité des remontées que vous feront vos apprenant.e.s sera très variable selon les individus.

De plus, d'autres facteurs peuvent entrer en ligne de compte. Par exemple, si le.la formateur.rice a été particulièrement amusant.e, les apprenant.e.s auront éprouvé un sentiment positif pendant la formation, qu'ils peuvent confondre avec le sentiment d'avoir appris. En croyant mesurer l'efficacité pédagogique, vous mesurerez en réalité la sympathie qu'inspire la personne en charge de la formation.

Si ces mesures sont si imparfaites, faut-il pour autant se passer complètement des données subjectives ? Nous n'irons pas jusque là. Ces données restent utiles, mais il faut les considérer pour ce qu'elles sont : une information sur ce que l'apprenant.e pense avoir appris, et pas sur ce qu'il.elle a réellement appris. Elle ne vous permet pas d'évaluer votre efficacité pédagogique en tant que telle, mais vous donne d'autres informations qui permettront de l'éclairer : par exemple, il peut être intéressant de voir comment évolue l'écart entre ce que les apprenant.e.s pensent avoir appris et leur montée en compétence objective après avoir fait différentes formations.

Par ailleurs, les données subjectives sont un excellent moyen d'estimer le niveau de satisfaction de l'apprenant.e, qui peut tout à fait être un objectif en soi dans votre démarche d'évaluation.

En bref :

  • les données subjectives sont faciles à obtenir auprès de vos apprenant.e.s ;
  • il ne faut pas confondre ce que vos apprenant.e.s pensent de leur progrès et leur progrès réel ;
  • les données subjectives ne sont pas des indicateurs de l'efficacité pédagogique de votre formation ;
  • elles donnent d'autres informations qui peuvent compléter votre évaluation de l'efficacité : sensation de progrès, satisfaction, etc.

 Recevoir notre livre vert :  Les piliers de l'apprentissage durable

2) Les données comportementales : je fais donc je sais

Puisque les données subjectives ne peuvent suffire à évaluer votre efficacité pédagogique, il vous faut faire appel à un autre type de données. L'idéal est de faire appel à des données dites "comportementales", c'est à dire qu'elles mesurent avec une certaine fiabilité le comportement de votre apprenant.e.  Taux de bonnes réponses à un quiz, temps de réponse, nombre de changements de réponse... Ces données sont faciles à obtenir, notamment en environnement digital. Elles sont pourtant rarement exploitées alors même que ce sont elles qui vont renseigneront le mieux sur votre efficacité pédagogique.

Lorsque votre apprenant.e répond faux à une question, cela dépend évidemment de plusieurs facteurs... mais principalement de son niveau de connaissance. Plus vous multiplierez les questions et les choix possibles, plus vous aurez une estimation relativement précise de sa compétence. Pourvu que vous leur proposiez les tests de positionnement adéquats en amont, vous pourrez ainsi estimer la montrée en compétence de vos apprenant.e.s avant et après la formation, et la comparer avec d'autres formations (comme nous vous le détaillions dans l'article précédent de notre série sur l'efficacité pédagogique).

Pour aller plus loin, vous pourrez aussi regarder les autres données comportementales de vos utilisateurs, comme le temps de réponse. Sont-ils.elles devenu.e.s plus rapides au fur et à mesure des répétitions des exercices d'application (pratiquer, c'est la clef du succès) ? Si oui, c'est aussi une information qui peut vous renseigner sur la qualité de votre formation.

Les données comportementales seraient-elles donc le Graal des learning analytics ? Tout dépend de la manière dont vous les avez obtenues. Par exemple, si vous proposez des évaluations trop faciles à vos apprenant.e.s, nul doute que vous obtiendrez des taux de performance extrêmement élevés. Seront-ils alors révélateurs de l'efficacité de votre formation... ou simple marqueur de la facilité de vos évaluations ? Il convient donc de proposer des évaluations dont la difficulté varie du très facile au très difficile.

De même, si vous mesurez les performances de vos apprenant.e.s immédiatement après la formation, cela ne vous donnera pas d'information sur leur mémorisation à long terme. Pensez donc bien à proposer une évaluation à vos apprenant.e.s au moment où vous souhaitez que celle-ci ait produit un effet : 3 ou 6 mois plus tard par exemple.

En bref :

  • les données comportementales sont elles aussi faciles à obtenir, voire déjà à votre disposition;
  • elles sont moins biaisées que les données subjectives ;
  • leur qualité dépend de la manière dont vous les avez obtenues.

 Recevoir notre livre vert :  Les piliers de l'apprentissage durable

Pour finir...

Donnée subjectives, données comportementales... nous espérons que vous voyez maintenant un peu plus clair sur les mesures que vous pouvez utiliser pour estimer l'efficacité pédagogique de votre formation. Si vous ne deviez retenir qu'un point de cet article, retenez celui-ci : avant de partir à la chasse aux données, identifiez clairement les informations que vous souhaitez obtenir (progrès ? difficulté ? transfert ? satisfaction ?) pour ensuite sélectionnez les mesures adaptées à vos besoins. Plus que la nature des mesures choisie, c'est leur adéquation avec votre objectif qui fera la différence !

Written by Svetlana Meyer

Svetlana Meyer est docteure en sciences cognitives appliquées à l’éducation. Après avoir réalisé pendant sa thèse des expérimentations à grande échelle sur l’apprentissage de la lecture, elle travaille désormais sur l’efficacité pédagogique de nos contenus et veille à ce qu’ils aient un véritable impact sur la montée en compétence de nos apprenant.e.s.
Find me on:

Pour aller plus loin

Nous travaillons pour ouvrir l’apprentissage, que chacun puisse le vivre selon son envie, libéré de l’enjeu, des regards et autres pressions.
La réussite et l’échec ne s’opposent pas, ils sont les composantes de l’apprentissage que nous voulons vous faire aimer.
En apprendre davantage sur Didask, nos méthodes, nos équipes et nos motivations :
Construisons ensemble une culture de l'apprentissage :