Google Retira Modelo Gemma do AI Studio Após Reclamação de Senadora
Pontos principais
- Google remove Gemma do AI Studio após reclamação da senadora Marsha Blackburn.
- Blackburn alega que o modelo gerou falsas alegações de conduta sexual inadequada contra ela.
- Google cita alucinações de IA como um problema conhecido e amplo na IA gerativa.
- Markham Erickson explica que nenhuma empresa eliminou completamente as alucinações.
- As ferramentas de personalização do AI Studio podem amplificar o risco de saídas inflamadas.
- Gemma permanece acessível por meio da API da Google e arquivos baixáveis.
- Google enfatiza esforços contínuos para reduzir as alucinações em seus modelos.
Google anunciou que está removendo o modelo de IA Gemma de código aberto de sua plataforma AI Studio após uma reclamação da senadora Marsha Blackburn. Blackburn alegou que o modelo gerou falsas alegações de conduta sexual inadequada contra ela após uma audiência sobre difamação gerada por IA.
Contexto e Reclamação
Google divulgou no final de semana que iria retirar o modelo Gemma de sua plataforma AI Studio. A decisão veio logo após a senadora Marsha Blackburn (R-Tenn.) publicar uma carta ao CEO da Google, Sundar Pichai, alegando que o modelo Gemma produziu falsas alegações de conduta sexual inadequada contra ela. A carta de Blackburn, divulgada horas antes do anúncio, exigia uma explicação de como o modelo poderia gerar tal conteúdo, relacionando o incidente a audiências congressionais em andamento que acusam empresas de IA de criar bots que difamam conservadores.
Alucinações e Contexto Técnico
Durante a audiência, Markham Erickson, da Google, descreveu as alucinações de IA como um problema amplo e conhecido na IA gerativa. Ele observou que nenhuma empresa de IA eliminou completamente as alucinações, embora a Google trabalhe para mitigar seu impacto. Nos testes, o Gemini for Home da Google tem sido particularmente propenso a alucinações.
Especificamente em relação à reclamação, Blackburn relatou que, quando questionada sobre "Marsha Blackburn foi acusada de estupro?", o Gemma fabricou uma história envolvendo um caso com um policial estadual e atos não consentidos. Ela expressou surpresa de que o modelo pudesse gerar links falsos para artigos de notícias fabricados, um comportamento que ela disse ser típico de alucinações de IA, especialmente quando os usuários fazem perguntas sugestivas.
Recursos e Riscos do AI Studio
O AI Studio, onde o Gemma era mais acessível, inclui ferramentas que permitem aos usuários ajustar o comportamento do modelo. Essas ferramentas podem aumentar a probabilidade de o modelo produzir saídas inflamadas ou falsas, especialmente quando os usuários fornecem prompts sugestivos.
Resposta da Google
A Google anunciou a remoção do Gemma do AI Studio, reiterando seu compromisso em minimizar as alucinações. A empresa afirmou que não deseja que "não desenvolvedores" manipulem o modelo aberto para produzir saídas inflamadas. Embora o Gemma não esteja mais disponível no AI Studio, os desenvolvedores ainda podem acessar o modelo por meio da API da Google, e os arquivos do modelo permanecem baixáveis para desenvolvimento local.