Autonomía proporcional al riesgo: dónde delegar en la IA y dónde mantener el gate humano

"¿Cuánta autonomía deberíamos darle a la IA?" Parece una pregunta sobre la confianza en el modelo. En la práctica, se trata del sistema: qué acción puede ocurrir, sobre qué datos, en qué entorno, con qué efecto, reversibilidad, supervisión y evidencia.

Un mismo modelo puede recibir amplia autonomía para organizar notas personales y ninguna autoridad para aprobar crédito, publicar una promesa comercial o eliminar datos. La capacidad no determina el grant. La confianza declarada no sustituye el control.

Este artículo presenta una forma práctica de escalar la autonomía sin caer en los extremos de bloquear todo uso o entregar decisiones irreversibles a un ejecutor probabilístico.

Resumen ejecutivo

El NIST AI RMF organiza la gestión de riesgos como una actividad continua a lo largo del ciclo de vida, con una gobernanza que abarca el mapeo, la medición y la gestión. También recomienda diferenciar roles y responsabilidades en entornos humanos-IA. EL OWASP AISVS, por otro lado, ofrece requisitos de seguridad comprobables para sistemas habilitados para IA. Ninguno proporciona autorización universal para un agente específico; el perfil exacto sigue dependiendo del entorno y del modelo de amenaza. [R2-C1] [R2-C3]

La propuesta FORGE consiste en vincular la autonomía a cuatro ejes: efecto, reversibilidad, sensibilidad e incertidumbre. Cuanto más grande sea cualquier eje, más explícitas deben ser las políticas, la verificación, la evidencia y el gate humano. El humano no necesita hacer clic en todo; necesita conservar la autoridad cuando el error es difícil de detectar, atribuir o revertir.

Autonomía no es inteligencia

La inteligencia describe la capacidad de producir o seleccionar acciones. La autonomía describe la autoridad para ejecutarlos sin una nueva aprobación. Mezclar los dos crea el argumento peligroso: “el modelo ha mejorado, por lo que puede hacer más”.

La promoción responsable pide:

• ¿Conoce el sistema el límite de tareas?
• ¿Es verificable la identidad de ejecución?
• ¿Lista permitida de uso de datos y herramientas?
• ¿Existe un presupuesto para la acción, el tiempo y el costo?
• ¿Es el efecto observable y reversible?
• ¿Se detectan fallas críticas antes de salir de la frontera?
• ¿Quién acepta el riesgo residual?

El modelo participa en la ejecución. La organización sigue siendo propietaria de la autoridad.

Los cuatro ejes de acción del riesgo

Efecto

Una sugerencia privada y un mensaje enviado al cliente no tienen el mismo efecto. Lea, escriba, publique, realice transacciones y destruya como clases diferentes, incluso cuando pertenezcan al mismo flujo.

Reversibilidad

Revertir un borrador es simple. Recuperar un secreto expuesto, una transferencia financiera o una decisión regulatoria puede resultar imposible. Cuanto más pequeña sea la ventana de reversión, antes debería aparecer el gate.

Sensibilidad

Los datos públicos, internos, personales, financieros, legales y de credenciales requieren límites distintos. El acceso a los datos no implica permiso para transformarlos o enviarlos.

Incertidumbre

Las tareas con criterios objetivos y un entorno estable respaldan una mayor automatización. La ambigüedad, las excepciones, el cambio de contexto y la evaluación subjetiva aumentan la necesidad de contención y muestreo humanos.

Una escala operativa de cinco niveles

El nivel 4 no significa "prohibido para siempre". Significa que la ejecución autónoma no es la opción predeterminada. Para reducir el gate, el sistema debe demostrar controles, historial y capacidad para detectar fallas en el alcance exacto, no solo presentar un modelo más nuevo.

El contrato de autonomía

Antes de entregar una herramienta al agente, registre:

El contrato debe ser legible para el negocio y ejecutable mediante tecnología. “Usar el sentido común” no es una política.

Gates humanos que realmente ayudan

Un gate humano mal diseñado transfiere ruido: docenas de aprobaciones, contexto insuficiente y presión para hacer clic. El objetivo no es maximizar los clics; es colocar el juicio en el punto donde cambia la decisión.

Una buena solicitud de aprobación muestra:

• acción propuesta y destinatario;
• motivo y pruebas utilizadas;
• datos que saldrán de la frontera;
• alternativas consideradas;
• efectos esperados y retroceso;
• controles ya realizados;
• riesgo residual que la persona está aceptando.

Si la persona necesita reconstruir toda la obra, el agente no ha preparado una decisión; Acabo de enviar una tarea.

Shadow ante autoridad

Para flujos relevantes para el riesgo, ejecute primero sin efectos externos. Compare la acción propuesta con el proceso real, registre divergencias y condiciones de parada de prueba. Shadow produce evidencia sin promover implícitamente la autoridad.

Una secuencia madura podría ser:

1. repetición en partido sintético;
2. sombra con datos permitidos y sin efecto;
3. ejecución reversible con alcance limitado;
4. canario con lista de permitidos y supervisión;
5. expansión condicionada a métricas e incidencias;
6. Reversión automática cuando falla el límite.

El tiempo transcurrido no promueve el sistema. La evidencia revisada puede promover.

La matriz de delegación

El último ejemplo muestra por qué “alto efecto = siempre humano” también es simplista. En la respuesta a incidentes, es posible que sea necesario que una acción crítica, delimitada y previamente autorizada sea automática. El contrato es más preciso que la intuición.

Métricas que justifican ampliar la autoridad

No utilice simplemente la tasa de éxito promedio. Tenga en cuenta:

• falla crítica por clase de acción;
• detección antes versus después del efecto;
• tiempo y tasa de reversión;
• divergencia entre propuesta y decisión humana;
• excepciones fuera del contrato;
• concentración de fallas por población o datos;
• costo de supervisión;
• cuasiincidentes y condiciones de parada activadas.

Una parada correcta es una señal de control, no necesariamente una falla del producto.

Lo que este artículo prueba y lo que no prueba

NIST y OWASP respaldan la gestión de riesgos continua, responsabilidades explícitas y requisitos verificables. Las fuentes canónicas FORGE también describen qué controles deben ajustarse al entorno. [R2-C1] [R2-C3]

La escala de cinco niveles y cuatro ejes son una síntesis operativa de FORGE. No reemplazan la evaluación de impacto legal, regulatorio, de seguridad o de dominio. Tampoco garantizan la ausencia de daños. Sirven para evitar que una autoridad tome una decisión basándose únicamente en el nombre del modelo o en una demostración exitosa.

Conclusión

La autonomía segura no es la ausencia de humanos. Es una distribución explícita de la autoridad.

La IA puede ejecutar cada vez más, pero la organización debe decidir dónde comienza el efecto, quién acepta el riesgo, cómo se verifica la acción y qué evidencia permite ampliar o revocar el grant. El objetivo no es mantener personas en cada clic, sino conservar la responsabilidad en los puntos irreversibles.

Lectura anterior: Basado en especificaciones sin autoengaño. Próxima lectura: *Evidencia antes de adjetivo*, el 20/08 en Trustyu Forge.