Pontuação 0,12: vidas jovens como riscos estatísticos aceitáveis para o Discord

Em 22 de julho de 2026, em Naviraí (MS), morreu uma adolescente de 13 anos, supostamente induzida por outros jovens à automutilação e ao suicídio, transmitindo cenas por um servidor do Discord.

Em 12 de agosto, a Agência Nacional de Proteção de Dados (ANPD) determinou, em sua Nota Técnica nº 1/2026/CGF/SFI/ANPD, a suspensão em todo o território nacional da funcionalidade “Go Live” e de recursos similares de transmissão de vídeo, ao menos até que o Discord comprove a adoção de medidas eficazes aos riscos evidenciados, sobretudo para crianças e adolescentes. O prazo, até dia 17 de agosto, foi cumprido, segundo a plataforma, embora não encerre a questão.

O episódio é recente, mas a discussão, não: relembramos que, em abril de 2025, ataques a pessoas em situação de rua, em quatro estados brasileiros, teriam sido convocados pelo Discord, segundo investigações policiais noticiadas pelo jornal O Globo. A plataforma também já foi palco para extremistas planejarem atentados terroristas no mundo todo. No mesmo mês, diversas organizações da sociedade civil e políticos se manifestaram em prol da suspensão temporária do Discord no Brasil.

Para além de 2025, trata-se de um debate que a literatura de moderação de conteúdo já vinha travando há ainda mais tempo: até que ponto é tecnicamente possível – e institucionalmente responsável – confiar em sistemas automatizados para a detecção de violações graves em transmissões que acontecem em tempo real, em vídeo e/ou áudio?

O Discord enviou, em resposta a questionamentos da Secretaria Nacional de Direitos Digitais, um documento revelador, segundo o qual seu sistema atribui uma pontuação de risco a cada transmissão. A live antes da morte da adolescente recebeu pontuação de 0,12, ao passo que o limiar para acionamento automatizado dos recursos de proteção é de 0,95.

A Nota Técnica da ANPD é clara: a plataforma “depende de sistemas automatizados falhos e de denúncias pelos próprios participantes desses ambientes voltados à prática dessas violações”. Se um evento tão grave recebeu sinalização de risco tão baixa, é óbvio que o sistema não estava bem calibrado (e, adianto: jamais estará da forma como é configurado atualmente). Conforme registra o documento, “quando estão em questão o risco iminente de lesão grave, automutilação ou morte de criança ou adolescente, o custo de um falso negativo é incomparavelmente superior ao custo de submeter determinado servidor a análise humana adicional”. A analogia do prédio, trazida pelo jornalista Pedro Doria em seu ensaio no Globo, defendendo que banir não é a solução pois seria demolir o prédio inteiro por falha na portaria, esconde o dono do prédio: ela ignora quem lucra com a omissão.

Moderar lives, em áudio e em vídeo, é fundamentalmente distinto de moderar posts, mas isso não exime a plataforma.

O Discord não é a única plataforma com dificuldades de moderação derivadas de seus recursos ao vivo. YouTube e Twitch enfrentaram dilemas semelhantes (especialmente a Twitch, em lives relacionadas a jogos). Tampouco é algo surpreendente para quem acompanha a literatura técnico-jurídica sobre moderação de conteúdo.

Autores já definiram que a moderação de conteúdo se divide, classicamente, em ex ante (antes da publicação) e ex post (depois dela), mas transmissões ao vivo escapam dessa lógica dicotômica já que os conteúdos são concomitantemente produzidos e distribuídos, sendo menor a janela de checagem existente se compararmos com publicações fixas (fotos, vídeos e áudios gravados ou textos, que diferem da transmissão de áudio em VOIP – que, inclusive, sequer foi suspenso, alertamos – ou do recurso de live de vídeo), com ferramentas mais consolidadas de moderação.

Hashing perceptual, impressão digital de vídeo, filtragem por palavras-chave e outras formas mais eficazes dependem do reconhecimento de conteúdo já catalogado como problemático: são eficientes contra a reoferta de um gênero de material já conhecido, mas insuficientes para classificar, no mesmo momento de ocorrência, eventos inéditos.

Para lives, então, restam, além da contribuição de moderadores voluntários (na maior parte das plataformas), selecionados ou não pelo próprio “dono” do servidor, ou outros usuários, capazes de denunciar os conteúdos, o aprendizado de máquina supervisionado (em geral, por LLMs ou MLLMs), cuja acurácia depende diretamente da quantidade e da qualidade dos dados de treinamento, e cuja natureza estatística implica que, mesmo com o melhor conjunto de dados do mundo, ainda haverá alguma margem de classificação incorreta, tornando o erro inevitável.

O problema maior, contudo, é que esse erro inevitável (e que, por sua previsibilidade, diremos que não se trata de apenas um erro em função de tamanha negligência evidenciada nos documentos), além de estatisticamente previsível, faz custar muitas vidas.

A literatura sistematiza também três tensões que qualquer regulação de moderação algorítmica de conteúdo ao vivo precisa enfrentar. A primeira é a explicabilidade: contrariamente ao hashing, em que é possível demonstrar exatamente por que um conteúdo foi identificado, classificadores de aprendizado de máquina frequentemente funcionam como caixas-pretas, dificultando o exercício do direito a uma explicação sobre decisões automatizadas, desconsiderando que a decisão pode ter consequências sobre direitos fundamentais e sobre a vida de crianças e adolescentes.

A segunda é o dilema da acurácia contra a velocidade: se o sistema tem maior sensibilidade, ele tende a gerar mais falsos positivos. A Nota Técnica da ANPD, contudo, novamente é clara: nestes casos, é preferível submetê-los à revisão humana do que arriscar perder uma vida (ou várias).

A terceira tensão, entre neutralidade tecnológica e especificidade normativa, auxilia na compreensão do motivo pelo qual regulações amplas (como a alemã NetzDG) tendem a incentivar a remoção excessiva, enquanto regras muito específicas correm o risco de rápida obsolescência técnica.

Um pesquisador entrevistou 25 moderadores voluntários da plataforma e constatou que a voz em tempo real (ou seja: mesmo somente a voz, não somente o recurso em vídeo) cria formas de violação de regras que os próprios moderadores não previam, e que esse efeito efêmero da comunicação por voz gera uma “necessidade evidenciária fundamental” (fundamental evidentiary need): sem gravação, não há prova, tampouco evidência; mas gravar é, em algumas jurisdições, ilegal – e a política da própria plataforma, segundo a pesquisa, terceirizava a moderadores humanos voluntários o ônus de discernir qual lei se aplicava a cada caso.

Mais recentemente, outros autores demonstraram, a partir de bots (robôs) de moderação construídos por estudantes com grandes modelos de linguagem para o próprio Discord, que esses modelos podem superar expectativas de acurácia, como o aclamado Sentry Bot, mas seguem tendo alguma sensibilidade à formulação exata dos prompts, reproduzindo desafios de interpretação contextual que já dificultavam classificadores tradicionais e moderadores humanos (que também estão suscetíveis a erros e interpretações equivocadas, sobretudo quando não compõem o mesmo grupo social e contexto étnico-cultural; há casos de moderadores de países distintos, que falam outro idioma etc.).

Não se trata de uma solução perfeita pois a arquitetura de servidores fechados, isolados entre si, torna a moderação de conteúdo mais desafiadora, oferecendo uma infraestrutura organizacional atraente para recrutamento e coordenação de atividades ilícitas, ressaltando os aspectos trazidos pela psicanalista e antropóloga Letícia Cesarino, em sua coluna na Carta Capital.

O que os números do próprio Discord não previram?

Dados que o próprio Discord reporta à Comissão Europeia, por obrigação do Regulamento da UE 2022/2065 (Digital Services Act ou DSA), permitem avaliar como a empresa vem, na prática, lidando com esses desafios técnicos e jurídicos, inclusive para além das lives.

A SaferNet Brasil processou a totalidade dos 25.674.022 “statements of reasons” enviados pelo Discord Netherlands B.V. à DSA Transparency Database entre julho de 2024 e agosto de 2026, e os números são expressivos: proteção de crianças e adolescentes é, disparadamente, a maior categoria de violação reportada: 10,6 milhões de decisões, 41,4% do total, mais que o dobro da segunda colocada (golpes e fraude, 25,3%). Nesta categoria, a palavra-chave específica mais citada, em toda a série histórica, é material de abuso sexual infantil, com 4,37 milhões de statements, 17% de tudo o que o Discord já reportou à base europeia.

A origem da detecção também é alarmante: 99,85% das decisões nascem de “iniciativa voluntária” da própria plataforma, contra apenas 0,15% oriundas de notificações formais previstas no artigo 16 do DSA, e zero de sinalizadores de confiança (“trusted flaggers”) – ou seja, há dependência quase completa dos próprios sistemas e denúncias internas do Discord, sem verificação externa relevante nos moldes que o regulamento europeu instituiu como meio adicional de controle.

Ainda mais preocupante é a inflexão temporal identificada pela SaferNet: a partir de setembro de 2025, o volume mensal de decisões de moderação reportadas pelo Discord caiu 65% em relação ao patamar anterior, e a participação da categoria de proteção de menores, até então dominante, despencou no mesmo período. Segundo a nota da SaferNet, essa inflexão “coincide temporalmente com as demissões anunciadas pela empresa, que em rodadas anteriores já haviam atingido equipes de confiança e segurança (Trust & Safety)”, o que “levanta sérias questões sobre a capacidade de moderação da plataforma justamente em sua área mais crítica”.

Chama atenção, ainda, que a automação da decisão do Discord seja tão somente binária: a detecção automática implica uma decisão totalmente automatizada em praticamente todos os casos (apenas 381 exceções em 7,8 milhões), e a detecção não automática implica decisão humana em 97,5% dos casos, sem que exista, em toda a série, uma única decisão classificada como “parcialmente automatizada” ou “híbrida”, indicando ausência de um modelo de human-in-the-loop propriamente dito para a maior parte do fluxo de moderação, na contramão do que a própria literatura e entidades majoritariamente da sociedade civil apontam como mitigação necessária para decisões automatizadas de alto risco.

Para Thiago Tavares, presidente da SaferNet Brasil, “o caso de Naviraí não é um episódio isolado, mas o desfecho trágico de um padrão que documentamos e denunciamos há anos”. Inclusive nós, acadêmicos.

Criptografia não é impunidade, tampouco ausência de proteção

A Internet Society (ISOC) Brasil ofereceu, recentemente, uma contribuição tecnicamente rigorosa e juridicamente relevante. Em Nota Pública em resposta à Nota Técnica da ANPD, a entidade apoiou sua medida preventiva e afirmou que plataformas “não podem invocar a utilização de criptografia de ponta a ponta (E2EE), por si só, como fundamento para afastar suas obrigações legais”.

Ao mesmo tempo, a ISOC Brasil ponderou que alguns trechos da Nota Técnica da ANPD, se interpretados de modo amplo, poderiam associar indevidamente a adoção de criptografia a uma suposta incapacidade genérica de proteção quando, na realidade, a criptografia “pode modificar os meios pelos quais determinada obrigação é cumprida, mas não constitui, em si mesma, impedimento ao seu cumprimento”.

A entidade listou uma série de alternativas compatíveis com a E2EE e disponíveis à plataforma independentemente do acesso ao conteúdo cifrado, como controles sobre funcionalidades, aferição etária, sinais comportamentais, mecanismos de denúncia, protocolos de interrupção, tendo alertado para a expressão “detecção no dispositivo” como sendo uma autorização genérica para client-side scanning, prática que a própria ISOC já havia criticado por ampliar superfícies de ataque e riscos de uso indevido.

Essa distinção é decisiva pois a defesa de responsabilização do Discord não pressupõe, nem deveria pressupor, o enfraquecimento da criptografia ou a instalação de mecanismos de vigilância generalizada sobre comunicações privadas. O problema do caso Naviraí não reside na arquitetura criptografada de mensagens privadas entre adultos, mas na insuficiência comprovada dos sistemas de triagem de risco, na escassez de moderação humana qualificada, no baixo investimento em equipes de confiança e segurança e na dependência quase exclusiva de denúncias dos próprios usuários (inclusive, muitas vezes, dos próprios perpetradores ou espectadores das violações, como reconhece a nota técnica da ANPD). Nesse sentido, a ISOC Brasil recomendou, acertadamente, que a fiscalização seja “proporcional, baseada em risco e compatível com a arquitetura do serviço”.

Afinal, o Discord combina, como a maioria das plataformas, moderação humana (denúncias de usuários e voluntários do servidor), filtros automatizados de texto/imagem (hashing perceptual e correspondência com bancos de conteúdo já catalogado, eficazes apenas contra reincidências de material conhecido) e classificadores de aprendizado de máquina em LLM para conteúdo novo, estrutura que, como já demonstrado, colapsa diante de transmissões ao vivo.

Responsabilização não é sinônimo de ingenuidade regulatória

O debate público sobre o caso, mais uma vez, oscilou entre polos que pouco contribuem para um debate de longa data na esfera técnico-científica. De um lado, editoriais como o de Pedro Doria n’O Globo argumentaram que banir integralmente o Discord seria desproporcional, tecendo uma analogia relacionada a prédios que nada agrega ao debate.

De fato, bloqueios totais raramente resolvem o problema de fundo diante do poder do fenômeno já conhecido da “migração de plataformas”, como também pontuou Cesarino à Carta Capital, além da possibilidade de uso de VPN para acesso, como já ocorre em países onde a plataforma é totalmente bloqueada (Rússia, Turquia, Egito, Irã, Jordânia e Emirados Árabes Unidos), como bem pontuado por Tavares (SaferNet), mas também não é verdade que a arquitetura da “portaria” seja alheia às escolhas de design e investimento da empresa.

Não se trata de mera negligência pontual de um zelador, mas sim de uma escolha corporativa sistemática, documentada por anos, de não investir suficientemente em confiança e segurança justamente na categoria de violação que a própria plataforma reconhece, em seus reportes à União Europeia, ser a mais numerosa entre todas, além de especialmente vulnerável.

De outro lado, medidas com maior possibilidade de enforcement contra a plataforma ganham força: o Instituto Defesa Coletiva ajuizou, na 30ª Vara Cível de Belo Horizonte, ação civil pública pedindo a suspensão nacional do Discord até a comprovação de medidas de segurança, além de indenização de R$ 300 milhões por danos morais coletivos, sustentando violação à LGPD, ao Código de Defesa do Consumidor e ao Marco Civil da Internet na interpretação do STF. Já a própria ANPD enfrenta questionamentos sobre o alcance de sua competência para determinar suspensões de funcionalidades sem intervenção do Judiciário, à luz do ECA Digital (Lei nº 15.211/2025), demonstrando que a arquitetura institucional brasileira para lidar com falhas sistêmicas de plataformas digitais ainda está em construção (e, mesmo em jurisdições onde ela já está em ritmo de construção mais consolidado, como é o caso da União Europeia com o DSA, ainda há muitos reparos a serem realizados), e não deveria ser confundida com uma disputa simplista entre “banir” e “não fazer nada”.

Em suma, o episódio de Naviraí não deveria ser lido como uma falha pontual e imprevisível de um sistema técnico complexo, mas como a materialização de um risco que a literatura de moderação de conteúdo, sobretudo da voz e vídeo em tempo real, já descrevia com precisão havia anos, e que os próprios dados do Discord reportados à União Europeia já sinalizavam antes mesmo da tragédia brasileira. Entre a inércia regulatória e o banimento simbólico, há uma lacuna mais estreita, porém mais exigente: deve-se obrigar que as plataformas demonstrem, com transparência auditável, alta frequência e recursos técnicos proporcionais ao volume de risco que elas próprias reconhecem, que a proteção de crianças e adolescentes não depende, como sintetizou Thiago Tavares, da boa vontade de quem lucra com a escala.

(*) Thayla Bicalho Bertolozzi é analista internacional.

Os artigos publicados com assinatura não traduzem necessariamente a opinião do portal. A publicação tem como propósito estimular o debate e provocar a reflexão sobre os problemas brasileiros.