Formulez par écrit la décision que vous cherchez à prendre
« L’IA peut-elle nous aider ? » est une question trop large pour être évaluée. « Un coordinateur peut-il utiliser une synthèse préparée par l’IA pour transmettre une demande de service avec moins de corrections ? » définit un résultat identifiable et un réviseur responsable.
Le cadrage doit préciser les informations d’entrée, le résultat attendu, les actions autorisées, les exclusions et le responsable métier. Expliquez ce qui constituerait un progrès utile et ce qui mettrait fin à l’exercice. Un pilote ne peut pas trancher tous les futurs cas d’usage ou toutes les intégrations.
- Convenir du périmètre
- Construire en sandbox
- Examiner et tester
- Décider du passage en production
Choisissez les éléments à mesurer avant d’ajuster le processus
Utilisez un ensemble représentatif de scénarios : simples, incomplets, contradictoires et hors périmètre. Gardez certains exemples à part de ceux utilisés pour affiner les instructions. Sinon, l’équipe risque de devenir très habile à présenter des cas familiers sans découvrir comment la configuration traite de nouvelles situations.
Les recommandations d’Anthropic sur l’évaluation soulignent que l’évaluation des agents porte sur leurs actions et sur l’état qui en résulte, pas seulement sur leur texte final. Appliquez ce principe à votre revue d’acceptation : la modification attendue de l’enregistrement a-t-elle eu lieu, et autre chose a-t-il changé ? [1]
Une fiche d’acceptation compréhensible par votre sponsor
| Question | Éléments utiles |
|---|---|
| Le résultat est-il étayé ? | Les réviseurs peuvent relier les affirmations importantes aux informations fournies. |
| Les collaborateurs peuvent-ils l’utiliser ? | Les personnes peuvent examiner, corriger ou rejeter le résultat sans confusion supplémentaire. |
| L’action se comporte-t-elle correctement ? | La mise à jour autorisée aboutit ; les opérations échouées ou interdites sont signalées honnêtement. |
| L’effort en vaut-il la peine ? | L’ensemble du travail de vérification, de correction et de traitement est comparé à la situation de référence. |
| L’équipe peut-elle l’exploiter ? | Un responsable peut surveiller, suspendre et faire remonter les problèmes. |
Définissez les seuils réels avec les personnes responsables du processus. Aucun pourcentage de précision universel ne rend tous les processus acceptables.
Exemple concret : relance pour des informations manquantes
Scénario illustratif. Une équipe associative souhaite être aidée dans la préparation de relances pour les dossiers incomplets. Le pilote rédige une demande d’informations manquantes à partir de la liste de contrôle de l’organisation. Un réviseur vérifie le brouillon ; l’exercice exclut les décisions d’éligibilité et l’envoi automatique de messages.
Incluez un dossier complet, une pièce jointe effectivement manquante, un document contenant des informations contradictoires et un dossier inaccessible au réviseur. Un résultat utile explique pourquoi une relance est nécessaire sans inventer d’exigence ni révéler d’informations sans rapport.
Ce que comprend le pilote REDA et où il s’arrête
Le premier pilote accompagné de REDA en sandbox porte sur un problème convenu, dans un périmètre documenté. Votre administrateur aide à expliquer les données et les processus et organise l’accès convenu à la sandbox. L’équipe examine le pilote et réalise la recette utilisateur avant de décider de poursuivre.
Le calendrier dépend du périmètre et des prérequis. La mise en œuvre en production, les intégrations plus larges et les modalités d’exploitation continue font l’objet d’un cadrage distinct. Discutez d’un pilote en définissant clairement la question à laquelle il doit répondre.
Sources
- Anthropic — Demystifying evals for AI agents · 9 janvier 2026. Consulté le 22 septembre 2026.