Autonomia proporcional ao risco: onde delegar à IA e onde manter o gate humano

“Quanto de autonomia devemos dar à IA?” parece uma pergunta sobre confiança no modelo. Na prática, é uma pergunta sobre o sistema: qual ação pode ocorrer, sobre qual dado, em qual ambiente, com que efeito, reversibilidade, supervisão e evidência.

Um mesmo modelo pode receber autonomia ampla para organizar notas pessoais e nenhuma autoridade para aprovar crédito, publicar uma promessa comercial ou remover dados. Capacidade não determina grant. Confiança declarada não substitui controle.

Este artigo apresenta uma forma prática de graduar autonomia sem cair nos extremos de bloquear todo uso ou entregar decisões irreversíveis a um executor probabilístico.

Resumo executivo

O NIST AI RMF organiza gestão de risco como uma atividade contínua ao longo do ciclo de vida, com governança atravessando mapear, medir e gerenciar. Ele também recomenda diferenciar papéis e responsabilidades nas configurações humano–IA. O OWASP AISVS, por outro lado, oferece requisitos testáveis de segurança para sistemas habilitados por IA. Nenhum dos dois fornece uma autorização universal para um agente específico; o perfil exato permanece dependente do ambiente e do threat model. [R2-C1] [R2-C3]

A proposta FORGE é vincular autonomia a quatro eixos: efeito, reversibilidade, sensibilidade e incerteza. Quanto maior qualquer eixo, mais explícitos precisam ser policy, verificação, evidência e gate humano. O humano não precisa clicar em tudo; precisa conservar autoridade onde o erro é difícil de detectar, atribuir ou reverter.

Autonomia não é inteligência

Inteligência descreve capacidade de produzir ou selecionar ações. Autonomia descreve autoridade para executá-las sem nova aprovação. Misturar as duas cria o argumento perigoso: “o modelo melhorou, então pode fazer mais”.

Uma promoção responsável pergunta:

• o sistema conhece o limite da tarefa?
• a identidade executora é verificável?
• ferramentas e dados usam allowlist?
• existe orçamento de ação, tempo e custo?
• o efeito é observável e reversível?
• falhas críticas são detectadas antes de sair da fronteira?
• quem aceita o risco residual?

O modelo participa da execução. A organização continua dona da autoridade.

Os quatro eixos do risco de ação

Efeito

Uma sugestão privada e uma mensagem enviada ao cliente não têm o mesmo efeito. Leia, escreva, publique, transacione e destrua como classes diferentes, mesmo quando pertencem ao mesmo fluxo.

Reversibilidade

Reverter um rascunho é simples. Recuperar um segredo exposto, uma transferência financeira ou uma decisão regulatória pode ser impossível. Quanto menor a janela de reversão, mais cedo o gate deve aparecer.

Sensibilidade

Dados públicos, internos, pessoais, financeiros, jurídicos e credenciais exigem fronteiras distintas. O acesso ao dado não implica permissão para transformá-lo ou enviá-lo.

Incerteza

Tarefas com critério objetivo e ambiente estável suportam mais automação. Ambiguidade, exceções, mudança de contexto e avaliação subjetiva aumentam a necessidade de contenção e amostragem humana.

Uma escala operacional de cinco níveis

Nível 4 não significa “proibido para sempre”. Significa que a execução autônoma não é o default. Para reduzir o gate, o sistema precisa demonstrar controles, histórico e capacidade de detectar falhas no escopo exato — não apenas apresentar um modelo mais novo.

O contrato de autonomia

Antes de entregar uma ferramenta ao agente, registre:

O contrato deve ser legível por negócio e executável por tecnologia. “Use bom senso” não é policy.

Gates humanos que realmente ajudam

Um gate humano mal desenhado transfere ruído: dezenas de aprovações, contexto insuficiente e pressão para clicar. O objetivo não é maximizar cliques; é colocar julgamento no ponto em que ele muda a decisão.

Um bom pedido de aprovação mostra:

• ação proposta e destinatário;
• motivo e evidência utilizada;
• dados que sairão da fronteira;
• alternativas consideradas;
• efeitos esperados e rollback;
• verificações já executadas;
• risco residual que a pessoa está aceitando.

Se a pessoa precisa reconstruir todo o trabalho, o agente não preparou uma decisão; apenas encaminhou uma tarefa.

Shadow antes de authority

Para fluxos de risco relevante, execute primeiro sem efeito externo. Compare a ação proposta com o processo real, registre divergências e teste stop conditions. Shadow produz evidência sem promover authority implicitamente.

Uma sequência madura pode ser:

1. replay em fixture sintética;
2. shadow com dados permitidos e sem efeito;
3. execução reversível com escopo estreito;
4. canário com allowlist e supervisão;
5. ampliação condicionada a métricas e incidentes;
6. rollback automático quando a fronteira falha.

Tempo decorrido não promove o sistema. Evidência revisada pode promover.

A matriz de delegação

O último exemplo mostra por que “efeito alto = sempre humano” também é simplista. Em resposta a incidente, uma ação crítica, delimitada e pré-autorizada pode precisar ser automática. O contrato é mais preciso que a intuição.

Métricas que justificam ampliar authority

Não use apenas taxa média de sucesso. Observe:

• falha crítica por classe de ação;
• detecção antes versus depois do efeito;
• tempo e taxa de rollback;
• divergência entre proposta e decisão humana;
• exceções fora do contrato;
• concentração de falhas por população ou dado;
• custo de supervisão;
• quase-incidentes e stop conditions acionadas.

Uma parada correta é sinal de controle, não necessariamente falha de produto.

O que este artigo prova — e o que não prova

NIST e OWASP sustentam gestão contínua de risco, responsabilidades explícitas e requisitos verificáveis. As fontes canônicas da FORGE também delimitam que controles precisam ser ajustados ao ambiente. [R2-C1] [R2-C3]

A escala de cinco níveis e os quatro eixos são uma síntese operacional da FORGE. Eles não substituem avaliação jurídica, regulatória, de segurança ou impacto do domínio. Também não garantem ausência de dano. Servem para impedir que uma decisão de authority seja tomada apenas pelo nome do modelo ou por uma demonstração bem-sucedida.

Conclusão

Autonomia segura não é ausência de humanos. É distribuição explícita de autoridade.

A IA pode executar cada vez mais, mas a organização precisa decidir onde o efeito começa, quem aceita o risco, como a ação é verificada e qual evidência permite ampliar ou revogar o grant. O objetivo não é manter pessoas em todos os cliques; é manter responsabilidade nos pontos irreversíveis.

Leitura anterior: Spec-driven sem autoengano. Próxima leitura: *Evidência antes de adjetivo*, em 20/08 na Trustyu Forge.