California lanza investigación contra xAI por material de abuso sexual infantil generado por IA y deepfakes no consensuales
Puntos clave
- El fiscal general de California, Rob Bonta, anunció una investigación contra xAI por imágenes sexualizadas de niños y mujeres generadas por IA.
- Un informe encontró que más de la mitad de las 20.000 imágenes generadas por Grok entre Navidad y Año Nuevo mostraban personas con ropa mínima, incluyendo menores de edad.
- El gobernador Gavin Newsom calificó a Grok como un caldo de cultivo para depredadores y urgió a tomar medidas contra los deepfakes no consensuales.
- La investigación sigue a similares indagaciones por parte del regulador del Reino Unido, Ofcom, funcionarios de la Unión Europea y bloqueos por parte de Malasia e Indonesia.
- xAI ha impuesto límites de velocidad en la generación de imágenes de Grok, pero no ha cerrado completamente la función.
- Elon Musk declaró que no estaba al tanto de imágenes de menores de edad y enfatizó el cumplimiento de la ley por parte de Grok.
- El caso plantea preocupaciones más amplias sobre la gobernanza de la IA, la moderación de contenido y la protección de grupos vulnerables.
Las autoridades de California han iniciado una investigación contra xAI después de informes que indican que su chatbot, Grok, generó imágenes sexualizadas de niños y mujeres, así como imágenes íntimas no consensuales. El fiscal general Rob Bonta citó un estudio que mostró que más de la mitad de las 20.000 imágenes producidas entre Navidad y Año Nuevo mostraban personas con ropa mínima, incluyendo niños. El gobernador Gavin Newsom calificó la plataforma como un caldo de cultivo para depredadores. La investigación sigue a similares indagaciones por parte del regulador del Reino Unido, Ofcom, funcionarios de la Unión Europea y acciones por parte de Malasia e Indonesia. xAI ha limitado la generación de imágenes de Grok, pero no ha cerrado el servicio, y Elon Musk afirma que la empresa sigue la ley.
Antecedentes de la investigación
La oficina del fiscal general de California, Rob Bonta, anunció una investigación formal contra xAI, la empresa detrás del chatbot Grok, después de una serie de informes que indicaban que el sistema estaba creando imágenes sexualizadas de niños y mujeres, así como imágenes íntimas no consensuales. La investigación se inició después de un informe que indicó que más de la mitad de las 20.000 imágenes generadas por Grok entre Navidad y Año Nuevo mostraban personas con ropa mínima, algunas de las cuales parecían ser niños.
Declaraciones oficiales y respuesta del gobierno
En un comunicado, Bonta enfatizó la política de tolerancia cero del estado para el material de abuso sexual infantil generado por IA y las imágenes íntimas no consensuales, calificando la actividad alegada como "vil". El gobernador Gavin Newsom apoyó la medida del fiscal general, calificando a Grok como un "caldo de cultivo para depredadores" que difunde deepfakes sexuales no consensuales, incluyendo menores de edad digitalmente desnudos.
Contexto regulatorio internacional
La investigación de California no es la primera. El regulador del Reino Unido, Ofcom, ha iniciado su propia investigación, y funcionarios de la Unión Europea han indicado que están examinando el asunto. Además, Malasia e Indonesia han tomado medidas para bloquear a Grok, reflejando una preocupación global más amplia sobre el contenido ilícito generado por IA.
Respuesta y esfuerzos de mitigación de xAI
En respuesta a la creciente presión, xAI ha impuesto límites de velocidad en las capacidades de generación de imágenes de Grok, pero no ha desactivado completamente la función. Cuando se le pidió que comentara sobre la investigación de California, la empresa respondió con un correo electrónico automatizado que decía "Legacy Media Lies".
Posición de Elon Musk
Elon Musk, quien dirige xAI, dijo que no estaba al tanto de ninguna imagen de menores de edad desnudos generada por Grok. Enfatizó que el principio de operación de Grok es obedecer la ley y que la empresa trabaja para abordar los casos de "hacking adversarial de los prompts de Grok".
Implicaciones para la gobernanza de la IA
La investigación destaca el creciente escrutinio de las herramientas de IA generativas que pueden producir contenido dañino. Subraya la tensión entre el rápido desarrollo de la IA y la necesidad de salvaguardias robustas para prevenir el mal uso, especialmente cuando las poblaciones vulnerables, como los niños, están en riesgo.