Faire rédiger un quiz par une IA : ce qui marche et ce qu'il faut relire
Une IA écrit vingt questions en une minute. Trois d'entre elles sont mauvaises, et ce sont toujours les mêmes trois. Comment les repérer avant la séance.
Écrire vingt questions d'évaluation sur son propre support prend une à deux heures. Un modèle de langage le fait en une minute à partir du même support. Le gain est réel, et il vient avec un coût que peu de gens anticipent : la relecture.
Ce que l'IA fait bien
- La forme. Quatre propositions plausibles, une seule correcte, une longueur homogène. C'est mécanique et fastidieux à faire à la main.
- La couverture. Elle ne saute pas la partie 3 parce qu'il est tard, ce qui arrive à un humain qui rédige vingt questions d'affilée.
- La reformulation. Poser deux fois la même notion sous deux angles différents, ce qui est utile pour distinguer la compréhension du souvenir de la formulation.
Les trois défauts, toujours les mêmes
1. La question sur le support plutôt que sur le sujet
« Selon la diapositive 14, combien d'étapes comporte le processus ? » Cette question teste si quelqu'un a regardé une diapositive, pas s'il a compris le processus. Elle est facile à générer parce que la réponse est littéralement dans le document fourni.
2. La bonne réponse deux fois plus longue que les autres
Un modèle rédige la réponse correcte avec soin et bâcle les distracteurs. Le résultat est une question qu'on peut réussir sans rien connaître au sujet, en choisissant la proposition la plus détaillée. C'est le biais le plus fréquent et le plus invisible à la relecture rapide.
3. La question hors périmètre
Une notion vraie, correctement formulée, mais qui n'a pas été enseignée ce jour-là. Le modèle connaît le sujet au-delà de votre support et complète les trous. En salle, cela produit une question que personne ne peut réussir, et qui fait douter le groupe de sa propre attention.
Une question juste sur une notion non enseignée ne mesure pas la formation. Elle mesure ce que les gens savaient déjà.
Relire en trois passes
- La longueur. Parcourir uniquement les propositions et vérifier qu'on ne devine pas la bonne réponse à sa taille. C'est la passe la plus rapide et la plus rentable.
- Le périmètre. Pour chaque question, se demander : est-ce que je l'ai dit ? Sinon, la retirer, même si elle est bonne.
- La formulation. Remplacer toute référence au support (« selon le document », « dans le schéma ») par la notion elle-même.
Ces trois passes prennent une dizaine de minutes pour vingt questions : contre une à deux heures pour les écrire.
Ce qui ne se délègue pas
Le rattachement des questions aux compétences reste un jugement : il dépend de ce que vous voulez mesurer, et pas seulement du contenu. C'est aussi ce qui rend le rapport lisible ensuite : voir mesurer les acquis par compétence.
En pratique
SkillLens rédige le quiz à partir de votre support, écarte les questions hors périmètre avant de vous les montrer et signale celles dont il doute, avec la raison. Chaque question reste modifiable, et le support est supprimé après la rédaction : il est transmis au fournisseur du modèle le temps de l'appel, ce qui est ce qui permet aux questions de porter sur votre contenu.