¿El guardrail evalúa el riesgo o las señales superficiales?

Un control puede bloquear una trayectoria peligrosa en inglés y cambiar su decisión cuando la misma intención aparece en otro idioma, con otra marcación o mediante un atajo equivalente. Dos preprints del mismo grupo investigan esta sensibilidad sin demostrar que los guardrails sean inútiles.

Estado: Evidence Brief aprobado para publicación. Serie editorial: Papers que leemos por ti. El texto agrupa *Language Is a Security Surface for Agent Guards* y *Shortcut Sensitivity in Agent-Safety Evaluations* porque comparten autores y parte de los datos. Son evidencia complementaria del mismo programa de investigación, no dos reproducciones independientes.

El idioma también forma parte de la superficie de seguridad

El primer estudio reunió 1.220 pasos —868 seguros y 352 inseguros— derivados de 589 trayectorias de AgentDojo y 58 instrucciones únicas. Las instrucciones se tradujeron a cinco idiomas y se reescribieron en seis formas en inglés, además de una condición placebo. Diecinueve guards produjeron 489 mil veredictos.

En los guards menores, el cambio de idioma elevó el flip ajustado por placebo de 1,5 puntos porcentuales en francés a 4,4 puntos en amárico. Los falsos positivos aumentaron hasta 5,0 puntos. La pérdida de recall estadísticamente significativa apareció solo en modelos de menos de 10 mil millones de parámetros, alcanzando 7,4 puntos en el recorte reportado.

El resultado no dice que un idioma de pocos recursos siempre derribe la protección. Dice que la política observada también depende de la representación lingüística y la capacidad del guard, lo que exige pruebas por idioma de uso real.

Los atajos equivalentes también cambiaron falsos positivos

El segundo estudio analizó 932 filas públicas de LinuxArena y concentró el análisis principal en 576 trayectorias de acciones únicas —176 de ataque y 400 honestas—. También usó 1.220 pasos de AgentDojo y 731 de AgentHarm.

En una cohorte pareada de 64 bases derivadas de 58 interacciones, los autores ejecutaron 960 llamadas por condición. En un guard, reescribir el marcador como atajo redujo el bloqueo en 8,33 puntos porcentuales; un alias opaco aumentó el bloqueo en 11,46 puntos. El efecto no se reprodujo igual en otros dos guards. En la cohorte, todas las acciones inseguras siguieron bloqueadas; los cambios observados ocurrieron en los falsos positivos.

Esta distinción evita una conclusión alarmista: el experimento muestra sensibilidad a la superficie, pero no demuestra un bypass universal ni pérdida de seguridad en todos los sistemas.

El guard necesita un contrato de invariancia

Antes de promover un control, declare qué transformaciones deberían preservar el veredicto:

1. traducciones en los idiomas realmente soportados;
2. paráfrasis, orden y puntuación equivalentes;
3. alias y rutas semánticamente equivalentes;
4. variaciones legítimas de contexto, identidad y herramienta;
5. casos ambiguos que deben escalar a revisión en vez de bloquearse silenciosamente.

El objetivo no es exigir invariancia absoluta. Un idioma o atajo puede cambiar el significado. El contrato debe separar transformación equivalente, cambio semántico y caso inconcluso.

Harness mínimo de evaluación

• mantenga conjuntos pareados de ejemplos seguros e inseguros por idioma y dominio;
• mida recall, falsos positivos, flip pareado y estabilidad por transformación;
• preserve el ejemplo original, la variante, el veredicto, la justificación y la versión del guard;
• evalúe guards pequeños y grandes frente al mismo riesgo operativo, sin transferir promedios;
• combine un modelo clasificador con política determinista y límites de capacidad;
• evite auto-approve en acciones irreversibles cuando el guard sea la única barrera;
• ejecute regresión cada vez que cambie el prompt, tokenizer, modelo, herramienta o idioma.

Límites y conflicto de interés

Las traducciones del primer estudio fueron producidas por Gemini 3.8 Flash, que también aparece entre los guards. Ningún autor declara fluidez en suajili o amárico, y parte de los guards asociados no está optimizada para idiomas de pocos recursos. Aunque existen 589 trayectorias, hay 58 grupos de instrucciones, lo que puede hacer que los intervalos obtenidos por bootstrap sean más estrechos que la diversidad semántica real. Los guards diseñados para otros formatos fueron adaptados a clasificación por paso.

En el estudio de shortcuts, la cohorte pareada principal tiene 64 bases y los efectos variaron según el guard. El resultado de un modelo no debe promoverse a característica general. LinuxArena, AgentDojo y AgentHarm son benchmarks; no cubren toda integración, política o efecto de producción.

Los autores están afiliados a Kontext, una proveedora comercial de seguridad para agentes. No encontramos una declaración explícita de financiación o conflicto de interés en los textos consultados. Hasta el corte editorial, no encontramos reproducción independiente completa ni respuestas públicas específicas de los proveedores evaluados.

regla de arquitectura

Forge debe tratar lenguaje, formato y alias como dimensiones de la matriz de pruebas del guard. El control solo puede sostener una decisión cuando su contrato declara cobertura, sensibilidad conocida y comportamiento de fallback. La seguridad no es el score medio de un benchmark; es la composición entre clasificación, capacidad concedida, política ejecutable, observabilidad y revisión proporcional al impacto. [R2-C3]

Fuentes directas

1. Language Is a Security Surface for Agent Guards — arXiv. Preprint, muestra, método, resultados y limitaciones.
2. Language Is a Security Surface for Agent Guards — texto completo.
3. Shortcut Sensitivity in Agent-Safety Evaluations — arXiv. Preprint, cohortes, método y resultados pareados.
4. Shortcut Sensitivity in Agent-Safety Evaluations — texto completo.

Nota editorial y de responsabilidad

Este texto combina hechos atribuidos a las fuentes con análisis y propuesta técnica del autor. Los puntos de vista personales y profesionales no son hechos comprobados; se indican datos, denominadores, límites, afiliaciones y ausencia de reproducción independiente cuando están disponibles. El contenido es informativo y no sustituye una evaluación técnica, jurídica, regulatoria o de seguridad. Autores, benchmarks, modelos, productos e instituciones citados pertenecen a sus titulares; no hay patrocinio ni respaldo. Tech Human y Trustyu operan comercialmente en desarrollo y gobernanza de productos digitales. La investigación, estructura y redacción tuvieron asistencia de IA; Fernando Parreiras autorizó la revisión factual, aprobación autoral y publicación el 16/10/2026, sin revisión humana independiente adicional.

Corte de investigación: 16/10/2026. Estado editorial: Evidence Brief especial autorizado para el 19/10/2026 a las 09:00 BRT.