Registre qual decisão você está tentando tomar
“A IA pode nos ajudar?” é uma pergunta ampla demais para avaliar. “Um coordenador consegue usar um resumo preparado por IA para concluir um encaminhamento de atendimento com menos correções?” é uma pergunta com resultado reconhecível e um revisor responsável.
O escopo deve identificar as informações de entrada, o resultado esperado, as ações permitidas, as exclusões e o responsável de negócio. Explique o que seria um avanço útil e o que interromperia o exercício. Um piloto não pode resolver todos os futuros casos de uso ou integrações.
- Combinar o escopo
- Construir no sandbox
- Revisar e testar
- Decidir sobre a produção
Escolha as evidências antes de ajustar o fluxo
Use um conjunto representativo de cenários: simples, incompletos, contraditórios e fora do escopo. Mantenha alguns exemplos separados dos usados para refinar as instruções. Caso contrário, a equipe pode ficar muito boa em demonstrar casos conhecidos sem aprender como a configuração lida com trabalho novo.
As orientações de avaliação da Anthropic enfatizam que avaliar agentes envolve suas ações e o estado resultante, não apenas o texto final. Aplique esse princípio à revisão de aceitação: a alteração pretendida do registro aconteceu? Algo mais mudou? [1]
Uma ficha de aceitação que seu patrocinador possa entender
| Pergunta | Evidências úteis |
|---|---|
| O resultado tem fundamento? | Os revisores conseguem rastrear afirmações importantes até as informações fornecidas. |
| A equipe consegue usar? | As pessoas conseguem examinar, corrigir ou rejeitar o resultado sem confusão adicional. |
| A ação se comporta corretamente? | A atualização permitida é concluída; falhas ou trabalhos não permitidos são informados com honestidade. |
| O esforço vale a pena? | O trabalho total de revisão, correção e processamento é comparado com a referência inicial. |
| A equipe consegue operar a solução? | Um responsável consegue monitorar, pausar e encaminhar problemas. |
Defina os limites reais com as pessoas responsáveis pelo processo. Não existe uma porcentagem universal de precisão que torne todo fluxo aceitável.
Um exemplo prático: acompanhamento de informações ausentes
Cenário ilustrativo. Uma equipe de organização sem fins lucrativos quer ajuda para preparar mensagens de acompanhamento de solicitações incompletas. O piloto redige um pedido de informações ausentes usando a lista de verificação da organização. Um revisor confere o rascunho; o exercício exclui decisões de elegibilidade e mensagens externas automáticas.
Inclua uma solicitação completa, um anexo realmente ausente, um documento com informações conflitantes e um caso ao qual o revisor não tenha acesso. Um resultado útil explica por que o acompanhamento é necessário sem inventar uma exigência ou revelar informações não relacionadas.
O que o piloto da REDA inclui — e onde termina
O primeiro piloto assistido da REDA no sandbox cobre um problema acordado dentro de um escopo documentado. Seu administrador ajuda a explicar os dados e processos e providencia o acesso combinado ao sandbox. A equipe revisa o piloto e realiza testes de aceitação de usuários antes de decidir se avança.
O prazo depende do escopo e dos pré-requisitos. A implementação em produção, integrações mais amplas e os acordos de operação contínua têm escopo separado. Converse sobre um piloto com uma pergunta clara que ele deva responder.
Fontes
- Anthropic — Demystifying evals for AI agents · 9 de janeiro de 2026. Acessado em 22 de setembro de 2026.