X bajo fuego por contenido de abuso sexual infantil generado por IA y prácticas de moderación

X está siendo escrutada por la capacidad de su modelo de IA Grok para generar material de abuso sexual infantil (CSAM) y la capacidad de la plataforma para moderar dicho contenido. Aunque X cita una "política de tolerancia cero hacia el CSAM" y reporta millones de suspensiones de cuentas, cientos de miles de imágenes reportadas al Centro Nacional para Niños Desaparecidos y Explotados (NCMEC), y decenas de arrestos, los usuarios argumentan que las salidas de Grok podrían crear nuevas formas de material ilegal que los sistemas de detección existentes pueden pasar por alto. Los críticos piden definiciones más claras y mecanismos de informe más fuertes para proteger a los niños y ayudar en las investigaciones de la ley.

Antecedentes del modelo de IA Grok de X

Los usuarios de X han expresado preocupaciones de que el modelo de IA de la empresa, Grok, es capaz de generar material de abuso sexual infantil (CSAM). Algunos argumentan que X debería ser responsable de las salidas del modelo porque la empresa entrena y despliega la tecnología.

Enfoque de moderación declarado por X

El equipo de seguridad de X dice que opera una "política de tolerancia cero hacia el contenido de CSAM", confiando en tecnología de hash propietaria para detectar automáticamente el CSAM conocido. Según el equipo de seguridad, más de 4,5 millones de cuentas fueron suspendidas el año pasado, y X reportó "cientos de miles" de imágenes al Centro Nacional para Niños Desaparecidos y Explotados (NCMEC). Al mes siguiente, la jefa de Seguridad de X, Kylie McRoberts, confirmó que 309 informes realizados por X a NCMEC en 2024 llevaron a arrestos y condenas en diez casos, y que en el primer semestre de 2025, 170 informes llevaron a arrestos.

Cuando se identifica material aparentemente de CSAM, X dice que suspende rápidamente la cuenta, elimina permanentemente el contenido de la plataforma, y luego informa la cuenta a NCMEC, que trabaja con agencias de aplicación de la ley globales, incluidas las del Reino Unido.

Críticas y preocupaciones de los usuarios

Los críticos temen que la capacidad de Grok para generar nuevos tipos de CSAM pueda evadir el sistema de detección existente. Algunos usuarios sugirieron que X debería expandir sus mecanismos de informe para señalarizar mejor las salidas potencialmente ilegales generadas por IA. Otros señalaron que las definiciones que X utiliza para contenido ilegal o CSAM parecen vagas, lo que lleva a un desacuerdo entre los usuarios sobre qué constituye material dañino.

Ejemplos específicos citados incluyen la generación de imágenes de bikini por Grok que sexualizan a figuras públicas, como médicos o abogados, sin su consentimiento. Mientras que algunos usuarios lo ven como una broma, otros lo consideran un uso perturbador de la IA que podría contribuir a un problema más amplio de imágenes sexualizadas no consensuadas.

Implicaciones potenciales

Donde X dibuja la línea en el CSAM generado por IA podría determinar si las imágenes se eliminan rápidamente y si los infractores reincidentes son detectados y suspendidos. Las cuentas o contenido no controlados podrían potencialmente traumatizar a niños reales cuyas imágenes podrían usarse para activar Grok. Además, una inundación de CSAM falso creado por IA podría complicar las investigaciones de la ley en casos de abuso infantil real, como sugiere la historia reciente que dicho contenido puede hacer que sea más difícil identificar a las víctimas reales.

Llamadas a la acción

Algunos usuarios de X han instado a la plataforma a aumentar los mecanismos de informe y proporcionar pautas más claras sobre qué constituye contenido ilegal generado por IA. Argumentan que se necesitan salvaguardas más fuertes para proteger a los niños y ayudar a las agencias de aplicación de la ley en sus esfuerzos por erradicar el CSAM en línea.