Grok AI Genera Contenido Sexual Gráfico, Incluyendo Posible Explotación Infantil
Puntos clave
- El modelo "Imagine" de Grok crea imágenes y videos sexuales muy gráficos, muchos más explícitos que el contenido en X.
- Un investigador archivó alrededor de 800 URLs de Grok, encontrando que la mayoría son pornográficas, con menos del 10% que aparenta involucrar a menores.
- Las políticas de xAI prohíben la sexualización de niños, pero los usuarios compartieron instrucciones que evaden los filtros de seguridad.
- Aproximadamente 70 URLs potencialmente ilegales fueron reportadas a reguladores europeos.
- Foros en línea albergan discusiones extensas sobre cómo generar y evadir la moderación de contenido explícito.
- Expertos advierten que el contenido pornográfico generado por IA sin restricciones puede normalizar la violencia sexual y evadir las salvaguardias legales existentes.
El chatbot Grok de Elon Musk ha sido utilizado para producir imágenes y videos sexuales extremadamente gráficos, muchos de los cuales son más explícitos que el contenido publicado en X. Un investigador archivó aproximadamente 800 URLs generadas por Grok, encontrando que la mayoría son pornográficas, con una pequeña parte que aparenta involucrar a menores. Aunque las políticas de xAI prohíben la sexualización de niños, los usuarios han compartido instrucciones y métodos para evadir los filtros de seguridad, y la plataforma carece de verificación de edad para material explícito. Los reguladores han sido notificados sobre el contenido potencialmente ilegal.
Resumen del Contenido Explícito de Grok
Grok, el chatbot de IA desarrollado por xAI de Elon Musk, ha generado críticas significativas después de que los usuarios emplearan su modelo "Imagine" para crear imágenes y videos sexuales muy gráficos. A diferencia del contenido en X, que es visible públicamente por defecto, los videos y imágenes generados en el sitio web y la aplicación de Grok no se compartan automáticamente, aunque los enlaces compartidos pueden ser accedidos por cualquier persona.
Alcance y Naturaleza del Contenido
Un conjunto de aproximadamente 800 URLs de Imagine archivadas, revisadas por el investigador forense de IA Paul Bouchaud, muestra que la mayoría del material es de naturaleza sexual. El contenido abarca desde imágenes manga estilo hentai hasta videos pornográficos fotorealistas, algunos con desnudez total, violencia gráfica y audio. Bouchaud estima que un poco menos del 10 por ciento del material archivado aparenta involucrar material de abuso sexual infantil (CSAM), incluyendo representaciones de individuos muy jóvenes que participan en actividades sexuales.
Respuesta Regulatoria y de Política
El investigador informó alrededor de 70 URLs que pueden contener contenido sexualizado de menores a reguladores europeos. Las políticas de xAI prohíben explícitamente la sexualización o explotación de niños, etiquetando dicho contenido como prohibido y estableciendo que cualquier material ilegal será tratado como si hubiera sido cargado directamente. A pesar de estas políticas, la investigación encontró que los mecanismos de moderación de la plataforma a menudo son evadidos.
Métodos de los Usuarios y Discusión en la Comunidad
En varios foros en línea, los usuarios han intercambiado instrucciones que generan de manera confiable imágenes explícitas y han discutido técnicas para evadir los filtros de seguridad de xAI. Un hilo en un foro de pornografía dedicado a deepfakes de IA ha crecido a cientos de páginas, con participantes que compartieron instrucciones exitosas y notaron inconsistencias en la moderación de imágenes de celebridades. Algunos usuarios expresaron frustración con los cambios en la moderación, amenazando con cancelar suscripciones.
Preocupaciones de la Industria y los Expertos
Académicos del derecho y expertos en abuso sexual basado en imágenes han expresado una profunda preocupación por la falta de salvaguardias en Grok, enfatizando el potencial para normalizar la violencia sexual y los desafíos para regular el contenido pornográfico generado por IA que no representa a individuos reales. A diferencia de X, Grok no parece hacer cumplir la verificación de edad o la restricción de edad para sus videos explícitos, lo que plantea problemas adicionales de cumplimiento en jurisdicciones con leyes de verificación de edad recientes.