Quando uma IA manda em outra, quem diz não?

A coluna da semana passada terminou com uma pergunta: o que, na sua operação, confere quando ninguém está conferindo? Uma semana depois, o noticiário de tecnologia entregou a razão pela qual essa pergunta acaba de ficar mais urgente. Nas arquiteturas mais novas de inteligência artificial, muitas vezes não há nem humano na cadeia para parar de conferir. Há um agente de IA pedindo algo a outro agente de IA, que aciona um terceiro, que executa.

Comece pela imagem, porque ela é familiar a qualquer empresário. Quando você dá uma procuração a alguém para movimentar a conta da empresa, essa pessoa não pode emitir procurações em nome do dono para outras pessoas. A autorização que você concedeu não é transferível. Ela vale para aquela pessoa, para aquela finalidade, dentro daqueles limites. Qualquer coisa além disso exige voltar a quem assina.

• Leia Também
• Seu cérebro parou de conferir a IA; você corre risco?
• Todo mês nasce uma IA melhor. E daí?

Pois a notícia da semana é que o mundo da inteligência artificial está construindo, em velocidade recorde, um escritório cheio de procuradores que distribuem procurações entre si.

Nos últimos dois anos, surgiram protocolos que permitem a agentes de IA conversar, dividir tarefas e delegar trabalho uns aos outros, sem intervenção humana a cada passo. É um avanço real: equipes de agentes conseguem resolver em minutos o que um agente sozinho não resolve. Mas nesta semana, uma reportagem do site especializado Ars Technica, a partir do trabalho de um pesquisador da empresa de segurança Rapid7, expôs o ponto cego dessa construção. Ele batizou uma nova classe de ataque de pivô de protocolo: um sistema atribui uma tarefa a um agente, e esse agente repassa instruções contaminadas a um segundo agente, por um canal diferente, fora do alcance das proteções originais. O segundo agente obedece. Afinal, quem pediu foi um colega confiável.

O detalhe mais revelador da história é que a falha específica encontrada pelo pesquisador tinha gravidade baixa: 2,7 numa escala que vai a 10. E é justamente isso que deveria chamar a atenção. O problema não é um defeito grave num produto específico, que se corrige com uma atualização. O problema é o desenho: esses sistemas foram construídos sobre a premissa de que um agente pode confiar no que outro agente pede.

Se isso parece teórico, não é. A Cisco documentou neste ano um caso real, dentro de uma empresa, em que o invasor comprometeu um agente de baixo privilégio, responsável apenas por consultar dados, e o usou para enviar solicitações disfarçadas a um agente de alto privilégio: o de aprovação financeira. O agente poderoso recebeu pedidos de um agente da casa e tratou como pedidos legítimos. E um alerta da agência de segurança americana NSA, publicado em maio, apontou um agravante: a maioria dessas implementações registra pouco ou nada do que os agentes dizem entre si. Quando algo dá errado, não sobra rastro para reconstituir.

A tese que esse conjunto de fatos sustenta cabe numa frase: estamos ensinando as inteligências artificiais a trabalhar em equipe antes de aprender a governá-las em equipe.

Durante décadas, a segurança digital foi construída em torno da identidade humana: usuário, senha, cargo, permissão. Agora surge uma população nova dentro das organizações: identidades não humanas capazes de interpretar uma situação, decidir um caminho e pedir ajuda a outras identidades não humanas. E há uma diferença essencial entre o software tradicional e o agente. O software executa uma sequência programada; o agente escolhe. E quem escolhe pode ser convencido.

O mercado de segurança tem um nome para o princípio que resolve isso: confiança zero. Traduzindo do jargão: não confie em um agente só porque outro agente confiável pediu algo a ele. Cada ação relevante precisa provar, de novo, quem está pedindo, em nome de quem, para qual finalidade e com qual autorização. Exatamente como a procuração do início: o fato de o seu procurador conhecer alguém não dá a esse alguém poder sobre a sua conta.

Para o empresário que está adotando IA agora, a tradução prática é direta, e os leitores desta coluna vão reconhecer as perguntas, porque são as mesmas de sempre, agora aplicadas em cadeia. Quando um sistema de IA da sua operação aciona outro, os limites de cada um foram definidos separadamente, ou o segundo herda a autoridade do primeiro? Existe registro de quem pediu o quê a quem, para que o erro seja reconstituível? E nas ações que importam, dinheiro, dados de cliente, compromissos em nome da empresa, há um ponto da cadeia em que a resposta precisa passar por um humano com autoridade para dizer não?

Há alguns anos, a pergunta era se a inteligência artificial substituiria pessoas. Depois passou a ser até onde deixar um agente agir sozinho. A próxima pergunta já chegou, e quem a responder primeiro vai operar essas redes com uma vantagem que os demais não terão: quando as máquinas começarem a delegar trabalho umas às outras, quem estará no meio delas com autoridade para dizer não?

Na sua empresa, essa resposta não pode ser ninguém.