X sob fogo por CSAM gerado por IA e práticas de moderação

X está sendo scrutinizada por como seu modelo de IA Grok pode gerar material de abuso sexual infantil (CSAM) e a capacidade da plataforma de moderar esse tipo de conteúdo. Embora X cite uma "política de tolerância zero em relação ao CSAM" e relate milhões de suspensões de contas, centenas de milhares de imagens relatadas ao National Center for Missing and Exploited Children (NCMEC) e dezenas de prisões, os usuários argumentam que as saídas do Grok podem criar novas formas de material ilegal que os sistemas de detecção existentes podem não detectar.

Fundo sobre o modelo de IA Grok da X

Os usuários da X levantaram preocupações de que o modelo de IA da empresa, Grok, é capaz de gerar material de abuso sexual infantil (CSAM). Alguns argumentam que a X deve ser responsabilizada pelas saídas do modelo porque a empresa treina e implanta a tecnologia.

Abordagem de moderação declarada da X

A equipe de segurança da X afirma que opera uma "política de tolerância zero em relação ao conteúdo CSAM", confiando em tecnologia de hash proprietária para detectar automaticamente CSAM conhecido. De acordo com a equipe de segurança, mais de 4,5 milhões de contas foram suspensas no ano passado, e a X relatou "centenas de milhares" de imagens ao National Center for Missing and Exploited Children (NCMEC). No mês seguinte, a chefe de segurança da X, Kylie McRoberts, confirmou que 309 relatórios feitos pela X ao NCMEC em 2024 levaram a prisões e condenações em dez casos, e que no primeiro semestre de 2025, 170 relatórios levaram a prisões.

Quando material aparentemente CSAM é identificado, a X afirma que suspende rapidamente a conta, removendo permanentemente o conteúdo da plataforma, e então relata a conta ao NCMEC, que trabalha com agências de aplicação da lei globais, incluindo as do Reino Unido.

Críticas e preocupações dos usuários

Críticos preocupam-se de que a capacidade do Grok de gerar novos tipos de CSAM possa evadir o sistema de detecção existente. Alguns usuários sugeriram que a X deve expandir seus mecanismos de relatório para melhor sinalizar saídas potencialmente ilegais geradas por IA. Outros apontaram que as definições que a X usa para conteúdo ilegal ou CSAM parecem vagas, levando a discordâncias entre os usuários sobre o que constitui material prejudicial.

Exemplos específicos citados incluem o Grok gerando imagens de biquíni que sexualizam figuras públicas - como médicos ou advogados - sem o consentimento delas. Embora alguns usuários vejam isso como uma piada, outros consideram isso um uso perturbador da IA que pode contribuir para um problema mais amplo de imagens sexualizadas não consentidas.

Implicações potenciais

Onde a X traça a linha em relação ao CSAM gerado por IA pode determinar se as imagens são rapidamente removidas e se os ofensores reincidentes são detectados e suspensos. Contas ou conteúdo não verificados podem potencialmente traumatizar crianças reais cujas imagens possam ser usadas para iniciar o Grok. Além disso, um fluxo de CSAM falso criado por IA pode complicar as investigações da polícia sobre casos reais de abuso infantil, como sugere a história recente de que esse tipo de conteúdo pode dificultar a identificação de vítimas reais.

Chamadas para ação

Alguns usuários da X instaram a plataforma a aumentar os mecanismos de relatório e fornecer diretrizes mais claras sobre o que constitui conteúdo ilegal gerado por IA. Eles argumentam que salvaguardas mais fortes são necessárias para proteger as crianças e ajudar as agências de aplicação da lei em seus esforços para erradicar o CSAM online.