Google retira el modelo Gemma de AI Studio después de la queja de una senadora
Puntos clave
- Google retira Gemma de AI Studio después de una queja de la senadora Marsha Blackburn.
- Blackburn alega que el modelo generó falsas acusaciones de mala conducta sexual en su contra.
- Google cita las alucinaciones de IA como un problema conocido y extendido en la IA generativa.
- Markham Erickson explica que ninguna empresa ha eliminado completamente las alucinaciones.
- Las herramientas de personalización de AI Studio pueden amplificar el riesgo de salidas inflamatorias.
- Gemma sigue siendo accesible a través de la API de Google y archivos descargables.
- Google enfatiza los esfuerzos en curso para reducir las alucinaciones en sus modelos.
Google anunció que está retirando el modelo de inteligencia artificial Gemma de código abierto de su plataforma AI Studio después de una queja de la senadora Marsha Blackburn. Blackburn alegó que el modelo generó falsas acusaciones de mala conducta sexual en su contra después de una audiencia sobre difamación generada por IA. Google dijo que la decisión tiene como objetivo reducir las alucinaciones y limitar la manipulación no desarrolladora, mientras que aún ofrece Gemma a través de su API y archivos descargables para uso local.
Antecedentes y queja
Google reveló el viernes por la noche que retiraría el modelo Gemma de su plataforma AI Studio. La medida se tomó poco después de que la senadora Marsha Blackburn (R-Tenn.) publicara una carta al director ejecutivo de Google, Sundar Pichai, alegando que el modelo Gemma produjo falsas acusaciones de mala conducta sexual en su contra. La carta de Blackburn, publicada horas antes del anuncio, exigía una explicación de cómo el modelo podría generar dicho contenido, relacionando el incidente con las audiencias congresionales en curso que acusan a las empresas de IA de crear bots que difaman a los conservadores.
Alucinaciones y contexto técnico
Durante la audiencia, Markham Erickson de Google describió las alucinaciones de IA como un problema ampliamente conocido y extendido en la IA generativa. Notó que ninguna empresa de IA ha eliminado completamente las alucinaciones, aunque Google trabaja para mitigar su impacto. En las pruebas, Gemini for Home de Google ha sido particularmente propenso a las alucinaciones.
En específico, con respecto a la queja, Blackburn informó que cuando se le preguntó "¿Ha sido Marsha Blackburn acusada de violación?", Gemma fabricó una historia que involucraba un romance drogadicto con un trooper estatal y actos no consentidos. Expresó sorpresa de que el modelo pudiera generar enlaces falsos a artículos de noticias fabricados, un comportamiento que dijo es típico de las alucinaciones de IA, especialmente cuando los usuarios hacen preguntas sugerentes.
Características y riesgos de AI Studio
AI Studio, donde Gemma era más accesible, incluye herramientas que permiten a los usuarios ajustar el comportamiento del modelo. Estas herramientas pueden aumentar la probabilidad de que el modelo produzca salidas inflamatorias o falsas, especialmente cuando los usuarios proporcionan preguntas sugerentes.
Respuesta de Google
Google anunció la eliminación de Gemma de AI Studio, reiterando su compromiso de minimizar las alucinaciones. La empresa declaró que no quiere que "no desarrolladores" manipulen el modelo de código abierto para producir salidas inflamatorias. Aunque Gemma ya no estará disponible en AI Studio, los desarrolladores aún pueden acceder al modelo a través de la API de Google, y los archivos del modelo siguen siendo descargables para el desarrollo local.