La herramienta de video de inteligencia artificial Sora 2 de OpenAI se utiliza para crear contenido perturbador similar a niños en TikTok
Puntos clave
- La herramienta de video de inteligencia artificial Sora 2 de OpenAI se utiliza para crear videos realistas que presentan niños generados por inteligencia artificial.
- Estos videos a menudo imitan anuncios de juguetes y contienen contenido provocativo o satírico.
- TikTok y otras plataformas han eliminado algunos videos ofensivos, pero muchos siguen en línea.
- OpenAI afirma que bloquea las solicitudes que explotan a menores y toma medidas contra los violadores.
- Los grupos de defensa de los niños advierten que el contenido generado por inteligencia artificial puede evadir las salvaguardias existentes.
- Los legisladores están considerando leyes para criminalizar el material de abuso infantil generado por inteligencia artificial.
- Los expertos piden una moderación más matizada y características de seguridad integradas en las herramientas de inteligencia artificial.
- La situación destaca la tensión entre la innovación de la inteligencia artificial y la responsabilidad ética.
El modelo de generación de video Sora 2 de OpenAI ha sido utilizado para producir videos realistas pero artificiales que muestran a niños en escenarios cuestionables, lo que ha generado preocupación sobre la facilidad de evadir las salvaguardias existentes.
Los videos generados por inteligencia artificial borran la línea entre la ficción y la explotación
La herramienta de video de inteligencia artificial Sora 2 de OpenAI se ha convertido rápidamente en una herramienta para creadores que buscan producir contenido visual hiperrealista. Dentro de días de su lanzamiento limitado, algunos usuarios comenzaron a publicar videos que imitan anuncios de juguetes, con niños similares a los reales interactuando con productos provocativos o inquietantes. Los videos están diseñados para parecer anuncios legítimos, pero el tema varía desde juguetes sugestivos hasta juegos satíricos que aluden a figuras controvertidas. Debido a que los niños representados son sintéticos, el contenido evita las definiciones tradicionales de material ilegal mientras aún genera alarmas éticas.
Respuesta de la plataforma y desafíos de moderación
Las plataformas de redes sociales, particularmente TikTok, han tomado medidas para eliminar material ofensivo y prohibir cuentas que violen las políticas de seguridad de menores. Sin embargo, muchos videos siguen siendo accesibles, lo que subraya la dificultad de detectar contenido generado por inteligencia artificial que no viola abiertamente las reglas de contenido explícito. OpenAI informa que sus sistemas están diseñados para rechazar solicitudes que exploten a menores, y la empresa afirma que monitorea las violaciones de políticas, revocando el acceso cuando es necesario. A pesar de estas medidas, los creadores han encontrado formas de evadir las salvaguardias, lo que ha generado críticas de grupos de defensa de los niños.
Reacciones de la industria y la defensa
Kerry Smith, directora ejecutiva de la Fundación Internet Watch, destacó el aumento de material de abuso infantil generado por inteligencia artificial y pidió que los productos sean "seguros por diseño". Un portavoz de OpenAI, Niko Felix, reiteró la postura de zero tolerancia de la empresa hacia el contenido que daña a los niños, enfatizando los esfuerzos continuos para mejorar la detección y el cumplimiento. Los expertos sugieren que una moderación más matizada, como restringir cierto lenguaje o imágenes asociadas con contenido fetichista, podría ayudar a cerrar las lagunas existentes.
Llamadas a salvaguardias legales y técnicas
Los legisladores en varias jurisdicciones están revisando o promulgando leyes que criminalizan la creación y distribución de material de abuso infantil generado por inteligencia artificial. Las propuestas incluyen requisitos para que los desarrolladores de inteligencia artificial incorporen mecanismos de protección que bloqueen la generación de contenido no permitido. Los grupos de defensa urgen a las plataformas a priorizar la seguridad de los niños en el diseño de productos, argumentando que sin salvaguardias proactivas, el contenido dañino seguirá proliferando a pesar de las retiradas reactivas.
Mirando hacia adelante
La difusión rápida de videos generados por Sora 2 ilustra el desafío más amplio de equilibrar las capacidades innovadoras de la inteligencia artificial con la responsabilidad social. A medida que las herramientas de inteligencia artificial se vuelven más accesibles, las partes interesadas en la tecnología, la política y la defensa de los niños deben colaborar para garantizar que las salvaguardias evolucionen al mismo ritmo que la tecnología, protegiendo a las poblaciones vulnerables de las formas emergentes de explotación digital.