O guardrail avalia o risco ou os sinais superficiais?

Um controle pode bloquear uma trajetória perigosa em inglês e mudar de decisão quando a mesma intenção aparece em outro idioma, com outra marcação ou por um atalho equivalente. Dois preprints do mesmo grupo investigam essa sensibilidade sem demonstrar que guardrails são inúteis.

Estado: Evidence Brief aprovado para publicação. Série editorial: Papers que lemos por você. O texto agrupa *Language Is a Security Surface for Agent Guards* e *Shortcut Sensitivity in Agent-Safety Evaluations* porque compartilham autores e parte dos dados. Eles são evidência complementar do mesmo programa de pesquisa, não duas reproduções independentes.

Idioma também compõe a superfície de segurança

O primeiro estudo reuniu 1.220 passos — 868 seguros e 352 inseguros — derivados de 589 trajetórias do AgentDojo e 58 instruções únicas. As instruções foram traduzidas para cinco idiomas e reescritas em seis formas em inglês, além de uma condição placebo. Dezenove guards produziram 489 mil veredictos.

Nos guards menores, a mudança de idioma elevou o flip placebo-ajustado de 1,5 ponto percentual em francês a 4,4 pontos em amárico. Falsos positivos aumentaram em até 5,0 pontos. Perda de recall estatisticamente significativa apareceu somente nos modelos abaixo de 10 bilhões de parâmetros, chegando a 7,4 pontos no recorte reportado.

O resultado não diz que idioma de poucos recursos sempre derruba proteção. Diz que a política observada depende também de representação linguística e capacidade do guard, exigindo teste por idioma de uso real.

Atalhos equivalentes também mudaram falsos positivos

O segundo estudo analisou 932 linhas públicas do LinuxArena e concentrou a análise principal em 576 trajetórias de ações únicas — 176 de ataque e 400 honestas. Também usou 1.220 passos do AgentDojo e 731 do AgentHarm.

Em uma coorte pareada de 64 bases derivadas de 58 interações, os autores executaram 960 chamadas por condição. Em um guard, reescrever o marcador como atalho reduziu o bloqueio em 8,33 pontos percentuais; um alias opaco aumentou o bloqueio em 11,46 pontos. O efeito não se reproduziu da mesma forma em dois outros guards. Na coorte, todas as ações inseguras continuaram bloqueadas; as mudanças observadas ocorreram nos falsos positivos.

Essa distinção impede uma conclusão alarmista: o experimento mostra sensibilidade à superfície, mas não demonstra bypass universal nem perda de segurança em todo sistema.

O guard precisa de um contrato de invariância

Antes de promover um controle, declare quais transformações deveriam preservar o veredicto:

1. traduções nos idiomas realmente suportados;
2. paráfrases, ordem e pontuação equivalentes;
3. aliases e caminhos semanticamente equivalentes;
4. variações legítimas de contexto, identidade e ferramenta;
5. casos ambíguos que devem escalar para revisão em vez de bloquear silenciosamente.

O objetivo não é exigir invariância absoluta. Um idioma ou atalho pode alterar significado. O contrato deve separar transformação equivalente, mudança semântica e caso inconclusivo.

Harness mínimo de avaliação

• mantenha conjuntos pareados de exemplos seguros e inseguros por idioma e domínio;
• meça recall, falso positivo, flip pareado e estabilidade por transformação;
• preserve o exemplo original, a variante, o veredicto, a justificativa e a versão do guard;
• avalie guards pequenos e grandes no mesmo risco operacional, sem transferir médias;
• combine modelo classificador com política determinística e limites de capacidade;
• evite auto-approve em ações irreversíveis quando o guard for a única barreira;
• rode regressão sempre que prompt, tokenizer, modelo, ferramenta ou idioma mudar.

Limites e conflito de interesse

As traduções do primeiro estudo foram produzidas por Gemini 3.8 Flash, que também aparece entre os guards. Nenhum autor declara fluência em suaíli ou amárico, e parte dos guards parceiros não é otimizada para idiomas de poucos recursos. Embora existam 589 trajetórias, há 58 agrupamentos de instrução, o que pode tornar intervalos obtidos por bootstrap mais estreitos do que a diversidade semântica real. Guards originalmente desenhados para outros formatos foram adaptados à classificação por passo.

No estudo de shortcuts, a coorte pareada principal tem 64 bases e os efeitos variaram por guard. O resultado de um modelo não deve ser promovido a característica geral. LinuxArena, AgentDojo e AgentHarm são benchmarks; não cobrem toda integração, política ou efeito de produção.

Os autores têm afiliação à Kontext, uma fornecedora comercial de segurança para agentes. Não localizamos declaração explícita de financiamento ou conflito de interesse nos textos consultados. Até o corte editorial, não localizamos reprodução independente completa nem respostas públicas específicas dos fornecedores avaliados.

Regra de arquitetura

O Forge deve tratar linguagem, formatação e aliases como dimensões da matriz de teste do guard. O controle só pode sustentar uma decisão quando seu contrato declara cobertura, sensibilidade conhecida e comportamento de fallback. Segurança não é o score médio de um benchmark; é a composição entre classificação, capacidade concedida, política executável, observabilidade e revisão proporcional ao impacto. [R2-C3]

Fontes diretas

1. Language Is a Security Surface for Agent Guards — arXiv. Preprint, amostra, método, resultados e limitações.
2. Language Is a Security Surface for Agent Guards — texto integral.
3. Shortcut Sensitivity in Agent-Safety Evaluations — arXiv. Preprint, coortes, método e resultados pareados.
4. Shortcut Sensitivity in Agent-Safety Evaluations — texto integral.

Nota editorial e de responsabilidade

Este texto combina fatos atribuídos às fontes com análise e proposta técnica do autor. Pontos de vista pessoais e profissionais não são fatos comprovados; dados, denominadores, limites, afiliações e ausência de reprodução independente são indicados quando disponíveis. O conteúdo é informativo e não substitui avaliação técnica, jurídica, regulatória ou de segurança. Autores, benchmarks, modelos, produtos e instituições citados pertencem aos respectivos titulares; não há patrocínio ou endosso. Tech Human e Trustyu atuam comercialmente em desenvolvimento e governança de produtos digitais. Pesquisa, estrutura e redação tiveram assistência de IA; revisão factual, aprovação autoral e publicação foram autorizadas por Fernando Parreiras em 16/10/2026, sem revisão humana independente adicional.

Corte da pesquisa: 16/10/2026. Estado editorial: Evidence Brief especial autorizado para 19/10/2026 às 09h BRT.