Adolescentes demandan a xAI de Elon Musk por CSAM generada por IA de Grok
Puntos clave
- Tres adolescentes de Tennessee demandan a xAI, alegando que Grok generó material de abuso sexual infantil.
- Los demandantes afirman que las imágenes y videos utilizaron sus rostros reales y fueron compartidos en Discord y Telegram.
- La demanda acusa a xAI de lanzar un modo "picante" sin pruebas de seguridad adecuadas.
- Reguladores en EE. UU., la UE y el Reino Unido han iniciado investigaciones o emitido advertencias.
- El Congreso aprobó un proyecto de ley para permitir que las víctimas de deepfakes demanden a los creadores; la Ley de Retirar se centra en deepfakes generados por IA.
- X dice que los usuarios que creen contenido ilegal con Grok enfrentarán las mismas penas que los que suben contenido ilegal.
- La demanda busca daños y una injunción para detener la generación de CSAM generado por IA.
Tres adolescentes de Tennessee han presentado una demanda colectiva contra xAI de Elon Musk, alegando que el chatbot Grok de la empresa produjo material de abuso sexual infantil (CSAM) generado por IA después de lanzar un modo "picante" el año pasado. Los demandantes afirman que las imágenes y videos fueron creados utilizando sus rostros reales, compartidos en Discord y negociados en Telegram, y que xAI no probó la seguridad de la función. La demanda busca daños y una injunción para detener la generación de contenido ilegal, mientras que los legisladores y reguladores ya han iniciado investigaciones sobre el comportamiento de Grok.
Antecedentes y alegaciones
Tres adolescentes de Tennessee han presentado una demanda colectiva propuesta contra la empresa de inteligencia artificial de Elon Musk, xAI. La queja alega que Grok, el chatbot de xAI, generó imágenes y videos sexualizados de los demandantes cuando se introdujo el modo "picante" de la herramienta el año pasado. Los demandantes incluyen a dos menores y un adulto que era menor de edad en el momento de los incidentes alegados.
Una de las demandantes, identificada como "Jane Doe 1", dice que en diciembre descubrió imágenes explícitas y generadas por IA de sí misma y al menos 18 menores más en Discord. Según la presentación, al menos cinco archivos - un video y cuatro imágenes - mostraban su rostro y cuerpo reales en entornos familiares que habían sido modificados en poses sexualmente explícitas.
Distribución y trueque
La demanda establece que un perpetrador, que ha sido arrestado desde entonces, utilizó el CSAM generado por IA como herramienta de trueque en chats de grupo de Telegram. El individuo supuestamente intercambió los archivos por otros contenidos sexualmente explícitos que involucraban menores, distribuyendo el material a cientos de usuarios.
Según la queja, el perpetrador creó los medios explícitos utilizando Grok, y xAI "no probó la seguridad de las funciones que desarrolló", lo que hace que Grok sea "defectuoso en su diseño".
Respuesta regulatoria y legislativa
El lanzamiento de Grok desencadenó una oleada de escrutinio. La herramienta inundó la plataforma social X con imágenes explícitas de adultos y menores, lo que llevó a llamadas a una investigación de la Comisión Federal de Comercio, una investigación de la Unión Europea y una advertencia del primer ministro del Reino Unido.
En los Estados Unidos, el Senado aprobó un proyecto de ley en enero que permitiría a las víctimas de deepfakes no consensuales demandar a los creadores. Además, la Ley de Retirar, firmada por el presidente Donald Trump en 2025, criminalizará la distribución de deepfakes generados por IA no consensuales cuando entre en vigor en mayo.
Respuesta de la empresa y problemas en curso
X ha intentado hacer que sea más difícil para los usuarios editar imágenes con Grok, pero The Verge encontró que la manipulación sigue siendo posible. X mantiene que cualquier persona que utilice o solicite a Grok para crear contenido ilegal enfrentará las mismas consecuencias que si hubieran subido contenido ilegal ellos mismos.
La abogada Annika K. Martin de Lieff Cabraser, que representa a las víctimas, dijo: "Estos son niños cuyas fotografías escolares y familiares fueron convertidas en material de abuso sexual infantil por una herramienta de IA de una empresa de mil millones de dólares y luego intercambiados entre depredadores. Tenemos la intención de hacer que xAI rinda cuentas por cada niño que dañaron de esta manera".
Objetivos legales
La demanda busca daños y perjuicios monetarios para las víctimas y pide al tribunal que impida que xAI genere y difunda CSAM generado por IA en el futuro.