Pregunte cómo se obtiene la puntuación
Una puntuación puede proceder de un servicio de procesamiento documental, de un modelo estadístico explícito o de la propia evaluación de un modelo de lenguaje. No son intercambiables. Pregunte qué representa el número, qué evidencia lo respalda y si se ha evaluado para esta tarea.
No interprete «90 % de confianza» como «el 90 % de estas respuestas serán correctas» salvo que haya evidencia que respalde esa interpretación. La fluidez, una explicación plausible y una puntuación numérica son elementos que un modelo puede generar; ninguno demuestra por sí solo que la fuente respalde el valor.
- Valor propuesto y puntuación
- Comparar con la fuente
- Registrar la exactitud real
- Revisar la regla de asignación
Defina la exactitud de cada campo
En una fecha, la exactitud puede exigir el día, el mes y el año exactos, con la interpretación correcta del formato de origen. En un nombre, una variante ortográfica puede requerir conciliación manual. En un identificador, un solo carácter incorrecto puede referirse a otro registro.
Acuerde esas definiciones antes de revisar los resultados. Después examine conjuntamente la puntuación, la exactitud real y las consecuencias. Una cifra global de exactitud puede ocultar los errores que más importan para el proceso.
Un pequeño ejemplo desarrollado
Ejemplo ilustrativo. Un piloto contiene 100 campos etiquetados como de alta confianza, de los que 92 coinciden con la referencia acordada. La exactitud observada para ese grupo es de 92 sobre 100. Esto no establece que cada campo futuro con esa etiqueta tenga la misma probabilidad de ser correcto, especialmente si el siguiente lote presenta diseños de documento distintos.
Examine los ocho errores. ¿Eran diferencias de formato inofensivas, importes incorrectos o identidades equivocadas? Una política de revisión que trate los ocho como equivalentes puede resultar comercialmente cómoda, pero inadecuada para la operación.
Utilice la puntuación para orientar la atención
| Pregunta de revisión | Respuesta práctica |
|---|---|
| ¿La fuente respalda el valor? | Facilite la inspección de la fuente, independientemente de la puntuación. |
| ¿Hay campos importantes incorrectos pese a tener puntuaciones altas? | Mantenga la revisión de esos campos e investigue el patrón. |
| ¿Ha cambiado la combinación de documentos? | Vuelva a evaluar antes de mantener el umbral anterior. |
| ¿La acción puede causar un perjuicio importante? | Utilice los controles de aprobación y validación necesarios independientemente de la confianza. |
El trabajo de evaluación del NIST destaca la incertidumbre en la medición del rendimiento y la necesidad de explicitar los supuestos de evaluación. Una muestra pequeña aporta evidencia de la que aprender, no una garantía permanente. [1]
Qué implica esto para su flujo de trabajo con REDA
Si su flujo de trabajo documental configurado incluye indicadores de confianza, trátelos como señales para la revisión hasta que se demuestre su utilidad. La configuración de REDA AI puede definir el procedimiento y el resultado; eso no establece por sí mismo una calibración estadística.
Empiece con un revisor que pueda comparar los valores propuestos con la evidencia. Decida qué campos deben comprobarse siempre, cómo se gestionan las lecturas sin resolver y qué motivaría otra evaluación. El objetivo es un proceso de revisión útil, no una puntuación que parezca impresionante.
Fuentes
- NIST — Expanding the AI evaluation toolbox with statistical models. Consultado el 22 de septiembre de 2026.