Demandez comment le score est produit
Un score peut provenir d’un service de traitement documentaire, d’un modèle statistique explicite ou de l’appréciation d’un modèle de langage. Ces sources ne sont pas interchangeables. Demandez ce que représente le nombre, quels éléments l’étayent et s’il a été évalué pour cette tâche.
Ne lisez pas « confiance de 90 % » comme « 90 % de ces réponses seront correctes » sans éléments appuyant cette interprétation. Un modèle peut produire un texte fluide, une explication plausible et un score numérique ; aucun de ces éléments ne prouve à lui seul que la source étaye la valeur.
- Valeur et score proposés
- Comparer à la source
- Consigner l’exactitude réelle
- Réexaminer la règle d’orientation
Définissez l’exactitude au niveau de chaque champ
Pour une date, l’exactitude peut exiger le jour, le mois et l’année précis, avec une interprétation correcte du format source. Pour un nom, une variation orthographique peut nécessiter un rapprochement manuel. Pour un identifiant, un seul caractère erroné peut renvoyer à un autre enregistrement.
Convenez de ces définitions avant d’examiner les résultats. Étudiez ensuite la combinaison du score, de l’exactitude réelle et des conséquences. Un taux de précision global peut masquer les erreurs les plus importantes pour le processus.
Un court exemple chiffré
Exemple illustratif. Un pilote contient 100 champs marqués comme étant de confiance élevée, dont 92 correspondent à la référence convenue. L’exactitude observée pour ce groupe est de 92 sur 100. Cela ne prouve pas que chaque futur champ portant cette étiquette aura la même probabilité d’être correct, surtout si le prochain lot présente des mises en page différentes.
Examinez les huit erreurs. S’agissait-il de différences de format sans conséquence, de montants incorrects ou d’identités erronées ? Une politique de vérification qui traite les huit de façon équivalente peut être commercialement pratique mais inadaptée sur le plan opérationnel.
Utilisez le score pour orienter l’attention
| Question de vérification | Réponse pratique |
|---|---|
| La source étaye-t-elle la valeur ? | Rendez la source facile à examiner, quel que soit le score. |
| Des champs importants sont-ils erronés malgré des scores élevés ? | Maintenez la vérification de ces champs et recherchez les régularités dans les erreurs. |
| La composition des documents a-t-elle changé ? | Réévaluez avant de reconduire l’ancien seuil. |
| L’action peut-elle causer un préjudice important ? | Appliquez les contrôles d’approbation et de validation requis indépendamment du niveau de confiance. |
Les travaux du NIST sur l’évaluation soulignent l’incertitude des mesures de performance et la nécessité d’expliciter les hypothèses d’évaluation. Un petit échantillon apporte des enseignements, pas une garantie permanente. [1]
Les implications pour votre processus REDA
Si votre processus documentaire configuré comprend des indicateurs de confiance, traitez-les comme des signaux de vérification tant que leur utilité n’est pas démontrée. La configuration de REDA AI peut orienter la procédure et le résultat ; elle ne garantit pas, à elle seule, un calibrage statistique.
Commencez avec un réviseur capable de comparer les valeurs proposées aux éléments probants. Décidez quels champs doivent toujours être vérifiés, comment traiter les lectures non résolues et ce qui déclencherait une nouvelle évaluation. L’objectif est un processus de vérification utile, pas un score impressionnant.
Sources
- NIST — Expanding the AI evaluation toolbox with statistical models. Consulté le 22 septembre 2026.