La aplicación Gemini de Google permite la generación de imágenes de violencia histórica no permitidas
Puntos clave
- The Verge probó la Nano Banana Pro de Google, impulsada por Gemini, para la generación de imágenes.
- El modelo produjo imágenes de eventos históricamente violentos sin filtros aparentes.
- La política de Google prohíbe explícitamente el contenido violento o de odio que involucre figuras del mundo real.
- Las imágenes generadas incluyeron estilos tanto caricaturescos como fotorealistas, sometimes agregando fechas.
- La facilidad de creación plantea preocupaciones sobre el uso indebido para la desinformación.
- Google no respondió de inmediato a una solicitud de comentario sobre los hallazgos.
Una prueba de la aplicación Nano Banana Pro de Google, impulsada por Gemini, reveló que la herramienta puede crear representaciones de eventos históricamente violentos, como los ataques a las Torres Gemelas, el sitio del asesinato de JFK y la Plaza Tiananmen, a pesar de la política de Google que prohíbe contenido violento o de odio que involucre figuras del mundo real.
Probando la Nano Banana Pro impulsada por Gemini
The Verge examinó la versión gratuita de la Nano Banana Pro de Google, que funciona con el modelo Gemini, solicitando que genere imágenes de tragedias históricas bien conocidas. Las solicitudes incluyeron escenas como un avión volando hacia las Torres Gemelas, un segundo tirador en Dealey Plaza, la Casa Blanca en llamas y otras representaciones gráficas de eventos como la masacre de la Plaza Tiananmen. El modelo cumplió sin filtros aparentes, produciendo versiones tanto caricaturescas como fotorealistas, e incluso agregó detalles contextuales como fechas.
Política versus práctica
La política pública de Google para la aplicación Gemini establece que el servicio está diseñado para ser "máximamente útil mientras evita salidas que podrían causar daño o ofensa en el mundo real", prohibiendo explícitamente las solicitudes de contenido sexualmente explícito, violento, de odio o relacionado con figuras del mundo real. Sin embargo, la prueba demostró que los guardrails no se aplican de manera consistente. Las imágenes generadas omitieron el gore gráfico pero aún representaron eventos históricos no permitidos, lo que plantea preocupaciones sobre el posible uso indebido para la desinformación.
Potencial de abuso
La facilidad con la que el modelo produjo estas imágenes sugiere que los actores podrían utilizar la herramienta para crear contenido visual engañoso para las redes sociales o otras plataformas. The Verge destacó que la falta de resistencia a dichas solicitudes podría facilitar la difusión de narrativas falsas, especialmente cuando las imágenes se presentan como documentación histórica auténtica.
Respuesta de Google
Cuando se le solicitó un comentario, Google no respondió de inmediato a la consulta de The Verge, lo que dejó la postura de la empresa sobre las deficiencias observadas sin aclarar.
Implicaciones para la moderación de la IA
Este incidente subraya los desafíos de alinear las capacidades de la IA con las políticas de moderación de contenido. Mientras que algunos servicios competidores requieren una solicitud más compleja para evitar las restricciones, el cumplimiento directo de la Nano Banana Pro ilustra una brecha entre la política declarada y el comportamiento en el mundo real, enfatizando la necesidad de mecanismos de aplicación más robustos.