Líder de Pesquisa de Segurança da OpenAI, Andrea Vallone, Deixará a Empresa Amidst Crescimento da Scrutínio
Pontos principais
- Andrea Vallone, chefe da equipe de pesquisa de segurança de política de modelo da OpenAI, deixará a empresa no final do ano.
- A porta-voz Kayla Wood confirmou a saída; a equipe será temporariamente liderada por Johannes Heidecke.
- A OpenAI enfrenta vários processos judiciais alegando que o ChatGPT contribuiu para crises de saúde mental e ideias suicidas.
- A equipe de política de modelo publicou um relatório de outubro citando centenas de milhares de indicadores de crise semanais.
- Mais de um milhão de usuários tiveram conversas com indicadores explícitos de suicídio, de acordo com o relatório.
- Uma atualização do GPT-5 reduziu respostas indesejadas em conversas relacionadas a crises em sessenta e cinco a oitenta por cento.
- Uma reestruturação anterior moveu o pessoal do comportamento de modelo para o líder de treinamento pós-formação Max Schwarzer.
- A OpenAI continua a expandir sua base de usuários enquanto aborda preocupações de segurança e ética.
A OpenAI anunciou que Andrea Vallone, chefe da equipe de pesquisa de segurança de política de modelo, deixará a empresa no final do ano. A saída foi confirmada pela porta-voz Kayla Wood, e a equipe de Vallone será temporariamente liderada por Johannes Heidecke, chefe de sistemas de segurança.
Mudança de Liderança na OpenAI
A OpenAI divulgou que Andrea Vallone, que lidera a equipe de pesquisa de segurança de política de modelo, deixará a organização no final do ano. O anúncio foi feito internamente e posteriormente confirmado pela porta-voz da empresa Kayla Wood. Enquanto isso, a equipe de Vallone será liderada diretamente por Johannes Heidecke, chefe de sistemas de segurança da OpenAI, enquanto a empresa procura um substituto permanente.
Scrutínio Legal e Ético
A saída ocorre em meio a um aumento da scrutiny da principal produto da OpenAI, o ChatGPT, particularmente em relação ao seu tratamento de usuários que experimentam distúrbios de saúde mental. Vários processos judiciais foram movidos alegando que o chatbot fomentou vínculos saudáveis, contribuiu para crises de saúde mental ou incentivou ideias suicidas. Esses desafios legais intensificaram a pressão sobre a OpenAI para demonstrar salvaguardas robustas para usuários vulneráveis.
Pesquisa de Política de Modelo e Descobertas
A equipe de política de modelo da OpenAI, sob a liderança de Vallone, esteve à frente da pesquisa sobre como os modelos de IA devem responder quando confrontados com sinais de dependência emocional ou distúrbios de saúde mental precoces. Um relatório de outubro detalhou o progresso da equipe e sua consulta com mais de 170 especialistas em saúde mental. O relatório estimou que centenas de milhares de usuários do ChatGPT podem exibir sinais de crises maníacas ou psicóticas a cada semana, e que mais de um milhão de pessoas engajam-se em conversas contendo indicadores explícitos de planejamento ou intento suicida potencial.
Melhorias Técnicas
Em resposta a essas descobertas, a OpenAI implementou atualizações no GPT-5 que reduziram respostas indesejadas em conversas relacionadas a crises em uma faixa de sessenta e cinco a oitenta por cento. A empresa enfatizou que a atualização visou equilibrar a manutenção do calor do chatbot enquanto diminuía a sycophancy e o comportamento excessivamente elogioso.
Reestruturação Organizacional
No início do ano, a OpenAI reorganizou outro grupo focado nas respostas do ChatGPT a usuários em crise, conhecido como comportamento de modelo. Seu ex-líder, Joanne Jang, deixou para lançar uma nova equipe que explora métodos novos de interação humano-IA. O pessoal restante do comportamento de modelo foi reatribuído ao líder de treinamento pós-formação Max Schwarzer. A saída de Vallone adiciona outra camada de transição dentro da hierarquia de pesquisa de segurança da OpenAI, à medida que a empresa continua a expandir sua base de usuários, agora excedendo oitocentos milhões de usuários semanais, e compete com outros chatbots de IA.