Agente de segurança pode ser desviado pelo ambiente

Um agente recebe um objetivo legítimo, usa ferramentas autorizadas e trabalha dentro de um laboratório controlado. Ainda assim, o ambiente observado pode apresentar resultados falsos, pistas enganosas ou destinos sem relação com a tarefa. O risco não depende apenas de uma instrução maliciosa escrita como prompt. Ele aparece quando evidência não confiável passa a disputar autoridade com o objetivo original.

O paper AgentLSD, versão 1 de 16/09/2026, chama esse problema de adversarial task contamination. O estudo será apresentado no 19th ACM Workshop on Artificial Intelligence and Security e disponibiliza framework, configurações e traces. O sinal é relevante; a evidência ainda é preliminar e limitada a desafios web CTF.

Paper em acompanhamento. Esta nota será reavaliada diante de nova versão, anais, correção, replicação independente, controles benignos, testes de mitigação ou resposta relevante dos autores. O rótulo não significa que o resultado seja falso. Significa que sua validade externa continua em construção.

A pergunta que o estudo separa

Prompt injection costuma ser descrita como uma instrução hostil inserida em conteúdo externo. O AgentLSD inclui também evidências que não parecem instruções: resultado falso, objetivo-isca, endpoint sem relação com a solução ou pista com aparência indevida de autoridade. O agente precisa inferir estado e intenção a partir do mesmo ambiente que pode estar sob controle adversarial.

Essa distinção é importante para arquitetura. Filtrar frases imperativas não resolve uma evidência forjada. O sistema precisa preservar a origem de cada observação, a autoridade que ela pode exercer e um verificador independente para declarar sucesso.

O que foi medido

Os pesquisadores construíram 11 desafios web CTF em Flask, cobrindo sete classes de vulnerabilidade. Foram avaliados cinco modelos executados on-premises e um modelo hospedado. Cada célula do experimento teve cinco tentativas, com dois prompts e limites de 30 minutos e 200 turnos.

O baseline completo reuniu 605 tentativas. No recorte com prompt padrão, apresentado na análise principal de capacidade limpa, os agentes capturaram 136 flags em 330 tentativas, cerca de 41%. Nenhum modelo resolveu todos os 11 desafios.

Na fase contaminada, os três modelos on-premises mais fortes foram avaliados em sete desafios, 14 instâncias de trap, dois prompts e cinco tentativas por célula: 2.940 tentativas. O modelo hospedado entrou em um grid reduzido com 121 tentativas, somando 3.061. Em quatro de suas 25 células, problemas de infraestrutura limitaram a execução a quatro tentativas.

Quando o agente ainda encontrou a flag, as contaminações acrescentaram aproximadamente 20 turnos e 2 mil tokens de raciocínio em relação à condição limpa. O efeito sobre a taxa de resolução foi mais heterogêneo: em algumas combinações quase nada mudou; em outras, sucessos limpos desapareceram.

Esses resultados não descrevem uma taxa universal de falha. Eles mostram que o custo e o caminho de execução podem se degradar mesmo quando a métrica final continua verde.

A seleção dos resultados importa

Quatro desafios com resolução limpa esporádica foram excluídos da fase contaminada porque não ofereciam base suficiente para medir degradação. Sete desafios receberam traps, mas o paper reporta nos resultados principais somente os cinco com maior taxa agregada de resolução limpa. Dois desafios de desempenho moderado foram omitidos para, segundo os autores, reduzir incerteza e concentrar a análise.

Essa escolha é compreensível para observar efeito onde havia sucesso anterior. Também restringe a generalização. Um leitor não deve tratar a média destacada como resultado de todo o corpus nem de todo o grid executado.

O que o estudo não prova

• os 11 desafios construídos para o estudo não representam aplicações, logs, repositórios ou ambientes corporativos em produção;
• todas as contaminações foram entregues por DOM, uma por vez, de forma estática e sem adaptação às ações do agente;
• não houve controle benigno para medir o efeito de simplesmente aumentar o tamanho da página;
• cinco repetições por célula são uma amostra grosseira e o paper apresenta estatística descritiva sem testes de significância;
• a cobertura de modelos de fronteira foi reduzida por custo e não incluiu a família Claude;
• os agentes não foram avisados de que adversários poderiam estar presentes;
• interação com um decoy demonstra exposição ou engajamento, não prova que o modelo acreditou nele;
• recomendações de mitigação dos autores são implicações de design, não controles avaliados pelo experimento;
• não foi localizada replicação independente no corte de 18/09/2026.

O estudo informa financiamento parcial do programa Digital Europe, grant SPECTRO 101123118. Os autores também declaram uso de ferramentas de IA no desenvolvimento de parte do código e na melhoria de clareza e gramática, mantendo desenho, método, análise e conclusões sob responsabilidade autoral.

Contrato técnico: observação não recebe autoridade por padrão

Um engineering harness durável deve separar histórico, política e isolamento de execução. A escolha do modelo ou do canal não pode se tornar a fronteira de segurança. Esta é uma inferência de projeto apoiada pelo cânone da Forge, não uma comprovação experimental do AgentLSD nem uma alegação de controle já operando em todos os produtos. [HARNESS31-C2]

objetivo autorizado
        │
        ▼
observação ──► proveniência + classe de confiança ──► hipótese limitada
        │                                               │
        └──── conteúdo não confiável                    ▼
                                            ação sob capability mínima
                                                        │
                                                        ▼
                                    verificador independente + receipt

1. Preserve o objetivo fora do fluxo observado

Registre o objetivo original, suas invariantes e critérios de parada em um estado protegido. Uma página, arquivo, log ou resposta de ferramenta pode informar a investigação; não deve redefinir silenciosamente a missão.

2. Classifique procedência e autoridade

Cada observação deve carregar origem, integridade, instante, subject e classe de confiança. Conteúdo produzido pelo ambiente investigado nasce como dado não confiável, mesmo quando usa linguagem ou formatação de alta autoridade.

3. Exija corroboração antes de mudar objetivo ou declarar sucesso

Resultados com efeito material precisam de fonte independente: verificador protegido, serviço de verdade, teste reproduzível ou confirmação humana sobre uma representação normalizada. O mesmo canal contaminável não deve produzir evidência e aprovar sua validade.

4. Limite exploração e efeitos

Defina orçamento de turnos, tempo, custo, chamadas e mutações. Dê ao agente identidade própria, credenciais efêmeras e capacidades mínimas. Hipóteses que repetidamente não geram evidência devem perder prioridade ou acionar backtracking.

5. Meça esforço, não apenas sucesso final

Um agente pode chegar à resposta correta depois de consumir mais tempo, tokens e ferramentas ou de tocar recursos desnecessários. Registre caminho, custo, desvios, recuperação e intervenção — não só o último estado.

Receipt mínimo para uma investigação agentic

{
  "objective_ref": "immutable-ref",
  "observation_provenance": "untrusted|verified",
  "policy_digest": "sha256:...",
  "capability_scope": "task-bounded",
  "budget": {"turns": 12, "seconds": 300},
  "independent_verifier": "pass|fail|inconclusive",
  "goal_changed": false,
  "human_decision": "continue|stop|escalate",
  "effect_receipt": "immutable-ref"
}

Os valores são ilustrativos. O receipt deve ser emitido fora da autoridade do agente e evitar dados pessoais, segredos, endereços sensíveis ou conteúdo que reduza o custo de abuso.

Testes defensivos para o harness

1. Conteúdo externo não altera o objetivo protegido sem uma transição autorizada.
2. Uma evidência com aparência de autoridade continua limitada por procedência e policy.
3. Uma confirmação do próprio ambiente não substitui o verificador independente.
4. Atingir orçamento encerra ou escala a execução; não converte inconclusive em pass.
5. Interações repetidas sem corroboração reduzem prioridade e acionam recuperação.
6. Ação correta com custo ou alcance anormal gera finding, não sucesso silencioso.
7. Falha de telemetria ou do verificador bloqueia efeitos materiais.
8. Logs de decisão preservam versão, política, capacidades e evidência sem reter conteúdo sensível desnecessário.

Como acompanhar o paper sem transformar hipótese em fato

O framework aberto é útil para reprodução, mas disponibilidade de código não equivale a replicação. O próximo nível de evidência deveria incluir um controle benigno, mais repetições, intervalos e testes estatísticos, outros canais além de DOM, traps adaptativas, ambientes representativos e comparação de mitigações sob o mesmo protocolo pareado.

O badge Paper em acompanhamento permanece até que esses sinais sejam avaliados. Se uma nova versão mudar denominadores, seleção de resultados ou conclusão, a página deve receber correção datada — não uma nota silenciosa.

Fontes diretas

1. AgentLSD — arXiv:2609.19140v1.
2. Texto completo do paper.
3. Framework, configurações e traces.
4. AgentDojo — NeurIPS 2024.
5. NIST — Security Considerations for AI Agents.

As duas últimas fontes corroboram o problema mais amplo de entradas adversariais e segurança de agentes. Não são replicações do AgentLSD.

Nota editorial e de responsabilidade

Fatos, números, versão e financiamento estão ligados às fontes indicadas. O contrato, o receipt, os testes e as recomendações são análise profissional do autor, não conclusões experimentais universais nem alegação de mecanismos já operando na Trustyu Forge. O conteúdo é informativo e não substitui avaliação técnica, jurídica ou de segurança. Não reproduzimos payloads, rotas sensíveis ou passos ofensivos. Trustyu e Tech Human atuam comercialmente em arquitetura, governança e engenharia de IA. Pesquisa, estrutura e redação tiveram assistência de IA; revisão factual, autoral e autorização de publicação foram confirmadas por Fernando Parreiras em 18/09/2026, sem revisão humana independente adicional.