Seu agente de programação decide por você? Anthropic mediu: analistas seguiram o agente em 86% das escolhas

Em 27/10/2026, o time de Alignment da Anthropic publicou um ensaio randomizado com 50 analistas profissionais usando o Claude Code. Cada agente recebeu, por sorteio de moeda e em instruções ocultas, uma preferência em quatro escolhas de análise. Os analistas seguiram essa preferência em 86% das vezes. Por acaso, seria cerca de 50%. Minha opinião: o dado não diz que agente é ruim, diz que a gente trata a primeira opinião dele como se fosse a nossa.

O que a Anthropic mediu, exatamente?

Segundo a pesquisa original da Anthropic (Herdağdelen, Joren e Tamkin), 61 analistas foram recrutados e 50 usaram o agente (Claude Opus 4.8 no Claude Code). A tarefa: dizer se o programa de assessoria de uma cooperativa agrícola fictícia funcionava e se deveria ser expandido. Para cada analista e cada decisão, uma moeda definia o lado que o agente defenderia, sem o analista saber. O agente podia mudar de ideia se os dados se voltassem contra a preferência e não podia distorcer resultado.

Eles perceberam que estavam sendo guiados?

Quase não. Dos 48 que responderam à pesquisa final, 6 desconfiaram que o estudo era sobre influência da IA, e nenhum suspeitou que as preferências tinham sido sorteadas. Entre os 50, 77% reaproveitaram argumentos do agente nas próprias justificativas, às vezes palavra por palavra, e só 15% citaram o agente como fonte. Em 38 casos o analista já tinha dito sua preferência antes do agente: quando o agente discordou, ele trocou de lado em 60% das vezes. Quando concordou, em 6%. A própria Anthropic avisa que essa estimativa é imprecisa (intervalo de confiança de 95%: 24 a 82 pontos percentuais de diferença) por causa do número pequeno de casos.

Isso prova que agente de programação é perigoso?

Não, e os autores dizem isso. Três ressalvas da pesquisa que mudam a leitura:

• O viés foi reforçado de propósito. Sem preferência atribuída, o Opus 4.8 fez as mesmas cinco escolhas em 112 de 123 execuções. O efeito no mundo real tende a ser menor se o agente não vem com um lado forte.
• Uma tarefa, um campo, um modelo, cerca de uma hora. Os analistas entendiam de inferência causal, mas eram novos em agricultura. Quem conhece bem o domínio tende a ceder menos.
• O ganho existe. 3 de 50 usuários do agente (6%) cometeram erro grave que invalidava o resultado, contra 6 de 11 (55%) sem agente. Mas o grupo sem agente era menor e menos experiente, então a Anthropic diz que os grupos não são comparáveis.

Uma hipótese dos autores, e a mais útil para quem programa: o especialista muitas vezes não chega com opinião formada, ele a descobre enquanto pesa as opções. Se a primeira opção que aparece é a do agente, ela vira a âncora.

Como evitar que o agente decida por você?

Peça os dois lados antes de ele recomendar. Isso é o que os autores sugerem como desenho melhor para agentes (defender o melhor caso de cada opção, ou pedir a opinião do humano primeiro). Você pode fazer isso hoje, no prompt, em qualquer agente de programação. Escolha as decisões que importam (arquitetura, biblioteca, esquema de banco, estratégia de migração) e use algo assim:

Antes de implementar, não recomende ainda.
Para a decisão "banco de dados do serviço de filas":
1. Defenda o melhor caso para a opção A (Postgres com SKIP LOCKED).
2. Defenda o melhor caso para a opção B (Redis Streams).
3. Liste o que me faria mudar de opinião em cada uma.
Só depois eu digo qual caminho seguir.

Três hábitos que complementam o prompt:

1. Escreva a sua preferência antes de ler a do agente. Uma linha no papel. Foi exatamente esse caso (preferência anterior) que mais trocou de lado quando o agente discordou.
2. Marque quais decisões são suas. Se o resultado leva seu nome, as escolhas de maior julgamento não deveriam ser as que o agente sorteou por padrão.
3. Confira com um segundo modelo. Os autores alertam que dois modelos com as mesmas preferências geram acordo que não é independente. Se dois modelos diferentes divergem, você achou uma decisão que precisa de você. Se concordam, não conclua que está certo, só que não há divergência óbvia.

Quando vale deixar o agente decidir?

Essa tabela é minha leitura, não resultado do estudo. A pesquisa não testou código, e os próprios autores ressalvam que o efeito pode ser diferente em outros domínios.