Um novo estudo aponta que os principais laboratórios de IA ainda não têm planos públicos documentados para conter modelos que saiam do controle. A pesquisa avaliou empresas como OpenAI, Anthropic, Google DeepMind e Meta, e concluiu que nenhuma delas detalha procedimentos concretos para lidar com sistemas que apresentem comportamento inesperado ou potencialmente perigoso.
A questão ganha peso à medida que modelos demonstram capacidades emergentes, aquelas que surgem sem terem sido explicitamente treinadas. O estudo foi publicado enquanto cresce a pressão regulatória sobre a indústria, especialmente nos Estados Unidos e na União Europeia, para que empresas de IA estabeleçam protocolos de segurança verificáveis.
Quem opera em produção já sabe que não existe botão vermelho
Para quem tem agente rodando com cliente real, isso não é novidade: não existe kill switch. Um modelo em produção está distribuído em dezenas de chamadas, filas, caches. Se ele começar a fazer algo errado, você não desliga, você corrige prompt, troca modelo, ajusta filtro, reverte deploy. A contenção é arquitetura, não é botão.
O que o estudo expõe é que os labs também não têm esse botão, e mais importante, não dizem o que fariam se um modelo de fronteira começasse a operar fora do esperado em escala. Para quem constrói, a lição é antiga: nunca delegue contenção para o fornecedor do modelo. Rate limit, camada de validação, circuito que interrompe a cadeia, tudo isso é sua responsabilidade. A API não vai te salvar.