CNJ aprova medidas contra manipulação de IA em processos judiciais

O CNJ (Conselho Nacional de Justiça) aprovou medidas para aumentar a segurança no uso de IA (inteligência artificial) pelo Judiciário. A preocupação é evitar que documentos apresentados em processos tragam comandos escondidos capazes de manipular sistemas usados por tribunais. Em Mato Grosso do Sul, só um escritório de advocacia admitiu esse tipo de ilegalidade em 28 ações este ano.

A decisão foi tomada nesta quarta-feira (27) pelo Comitê Nacional de Inteligência Artificial no Judiciário. O grupo validou uma manifestação técnica sobre o risco de “injeção de comandos” em arquivos processuais e também aprovou a criação de um programa nacional de segurança para enfrentar esse tipo de ameaça.

• Leia Também
• TJ reforça “defesas” e ferramenta alerta juízes sobre manipulação com IA
• Para desembargador, pena branda traz risco de “crime compensa” em fraude com IA

A chamada injeção de comandos ocorre quando uma pessoa insere, de forma disfarçada, uma ordem dentro de um documento. Esse comando pode estar em texto invisível, em trechos escondidos ou em informações colocadas indevidamente no arquivo. Ao ser analisado por uma ferramenta de IA, o material pode tentar induzir o sistema a ignorar regras, distorcer respostas ou até expor informações que não deveriam ser divulgadas.

Segundo o conselheiro Rodrigo Badaró, presidente do Comitê Nacional, a orientação busca impedir que comandos ocultos em documentos processuais interfiram no funcionamento dos sistemas de IA usados pela Justiça. A ideia é proteger a análise dos processos e evitar que a tecnologia se afaste do conteúdo real dos autos.

O estudo foi elaborado pelo Comitê de IA, com apoio do Departamento de Tecnologia da Informação do CNJ e do Programa Conecta. As medidas orientam como documentos devem ser preparados antes de passar por ferramentas de inteligência artificial e reforçam a necessidade de conferência das respostas por magistrados e servidores.

Na prática, o CNJ quer deixar claro que a IA pode auxiliar o trabalho, mas não substituir a análise humana. Juízes e servidores devem continuar responsáveis por verificar se as respostas produzidas pelos sistemas estão corretas e de acordo com as informações do processo.

O comitê também aprovou o PROSEG-IA (Programa de Segurança Adversarial para Sistemas de Inteligência Artificial do Poder Judiciário Brasileiro). O programa cria uma frente permanente para prevenir e responder a tentativas de manipulação de ferramentas de IA no Judiciário.

Segurança adversarial é o nome dado ao conjunto de medidas usadas para identificar e enfrentar ataques feitos contra sistemas de inteligência artificial. No caso da Justiça, isso inclui tentativas de enganar a tecnologia por meio de documentos alterados, comandos escondidos ou informações inseridas de forma irregular.

Pela proposta, os sistemas usados para analisar documentos deverão permitir o registro nos autos quando for identificado material suspeito. Isso inclui, por exemplo, um comando escondido em texto invisível. O registro servirá para informar o magistrado, permitir a apuração do caso e abrir caminho para eventual responsabilização.

As medidas fazem parte das prioridades da gestão 2025-2027 do CNJ, coordenada pelo presidente do órgão e do STF (Supremo Tribunal Federal), ministro Edson Fachin. O objetivo é criar práticas nacionais para o uso seguro da inteligência artificial, prevenir riscos éticos e evitar que cada tribunal adote soluções isoladas e incompatíveis entre si.

A manifestação técnica é a primeira orientação nacional do CNJ sobre esse tipo de risco no uso de IA pelo Judiciário. O texto ainda será submetido ao Plenário do conselho.