Mesurer les acquis d'une formation, compétence par compétence
Une note globale masque quelle notion est passée et laquelle ne l'est pas. Comment rattacher les questions à des compétences et lire une progression exploitable.
« Le groupe est à 74 % » ne permet de décider de rien. Ce chiffre est la moyenne d'au moins deux réalités opposées : des notions parfaitement acquises et des notions pas acquises du tout. La moyenne les efface exactement au moment où on aurait besoin de les distinguer.
Le problème de la note unique
Prenons une formation en quatre parties, évaluée par vingt questions. Un groupe obtient 74 %. Ce résultat est compatible avec deux situations très différentes :
- le groupe est autour de 74 % sur les quatre parties : la formation a été comprise de façon homogène et perfectible partout ;
- le groupe est à 95 % sur trois parties et à 15 % sur la quatrième : une partie entière est passée à côté.
Le second cas demande une action précise et urgente. Le premier n'en demande aucune. La note ne permet pas de les distinguer, et c'est le seul chiffre que la plupart des évaluations produisent.
Rattacher les questions à des compétences
La correction consiste à étiqueter chaque question avec la compétence qu'elle teste, puis à lire les résultats par étiquette plutôt que globalement. Trois questions sur la conformité réglementaire donnent un taux « conformité » ; quatre sur la négociation donnent un taux « négociation ».
Le travail supplémentaire est réel mais modeste : c'est une étiquette par question, posée une fois, au moment où la question est écrite. Le gain est qu'on passe d'un chiffre à une carte.
Une note dit si le groupe a réussi. Une lecture par compétence dit ce qu'il faut reprendre lundi.
Comparer le même axe à deux moments
La lecture par compétence prend toute sa valeur quand elle est répétée. La même compétence mesurée avant et après la formation donne une progression ; mesurée à nouveau six semaines plus tard, elle donne une rétention.
On obtient alors, pour chaque compétence, trois points : le niveau de départ, le niveau atteint, et ce qui en reste. C'est un objet qu'on peut montrer à un commanditaire sans commentaire, parce qu'il se lit tout seul. Le détail des trois moments est dans comment évaluer une formation.
Ce que cette lecture rend visible
- Une notion jamais acquise : basse avant, basse après. Elle n'a pas été enseignée, ou pas de façon compréhensible.
- Une notion déjà connue : haute avant, haute après. Elle a coûté du temps de séance pour rien.
- Une acquisition réelle : basse avant, haute après. C'est ce que la formation a produit.
- Une acquisition qui n'a pas tenu : haute juste après, basse six semaines plus tard. Elle demande un rappel, pas une reprise complète.
Ces quatre cas appellent quatre décisions différentes. Aucun n'est visible dans une moyenne.
En pratique
Dans SkillLens, une question peut porter une compétence, et le rapport de session affiche le taux de réussite par compétence et par phase, avec un radar avant/après quand au moins trois compétences sont renseignées.