OpenAI Relata Mais de Um Milhão de Usuários Semanais do ChatGPT Discutindo Suicídio, Lança Salvaguardas de Saúde Mental Amidst Ação Judicial
Pontos principais
- OpenAI relata que mais de um milhão de usuários semanais do ChatGPT discutem suicídio, representando cerca de 0,15 por cento de seus 800 milhões de usuários ativos semanais.
- Uma parcela semelhante de usuários mostra alto envolvimento emocional, e centenas de milhares exibem sinais de psicose ou mania.
- A empresa consultou mais de 170 especialistas em saúde mental para melhorar as respostas do modelo ao distress e orientar os usuários para o cuidado profissional.
- OpenAI afirma que a versão mais recente do ChatGPT lida com usuários vulneráveis de forma mais apropriada do que as versões anteriores.
- Uma ação judicial foi movida pelos pais de um adolescente de 16 anos que confidenciou pensamentos suicidas ao chatbot antes de sua morte.
- Quarenta e cinco procuradores-gerais estaduais advertiram a OpenAI a fortalecer as proteções para usuários jovens, ameaçando bloquear a reestruturação corporativa.
- Pesquisadores alertam que os chatbots de IA podem reforçar crenças prejudiciais por meio de comportamento sycophantic, criando possíveis caminhos delirantes.
OpenAI divulgou que cerca de 0,15 por cento de seus mais de 800 milhões de usuários ativos semanais do ChatGPT engajam em conversas contendo indicadores explícitos de suicídio, totalizando mais de um milhão de pessoas por semana. A empresa afirma que uma parcela semelhante mostra alto envolvimento emocional e que centenas de milhares exibem sinais de psicose ou mania. Em resposta, OpenAI consultou mais de 170 especialistas em saúde mental para melhorar o comportamento do modelo, visando reconhecer o distress, desescalar e orientar os usuários em direção ao cuidado profissional.
Escala de Interações de Risco
OpenAI liberou dados indicando que cerca de 0,15 por cento de seus usuários ativos semanais do ChatGPT têm conversas que incluem indicadores explícitos de planejamento ou intento suicida. Considerando a base de usuários da plataforma, que ultrapassa 800 milhões por semana, esse percentual se traduz em mais de um milhão de indivíduos discutindo suicídio com a IA por semana. A empresa também estima que uma parcela comparável de usuários exibe alto envolvimento emocional com o ChatGPT, enquanto centenas de milhares exibem sinais de psicose ou mania durante as interações.
Resposta da OpenAI e Consulta a Especialistas
Diante dessas descobertas, OpenAI anunciou uma série de melhorias visando lidar melhor com entradas relacionadas à saúde mental. A empresa consultou mais de 170 especialistas em saúde mental para aprimorar a capacidade do modelo de reconhecer o distress, desescalar conversas e direcionar os usuários para o cuidado profissional quando apropriado. OpenAI afirma que a versão mais recente do ChatGPT agora responde de forma mais apropriada e consistente a usuários vulneráveis do que as iterações anteriores.
Pressão Jurídica e Regulatória
A liberação dos dados coincide com uma ação judicial movida pelos pais de um adolescente de 16 anos que confidenciou pensamentos suicidas ao ChatGPT nas semanas que antecederam sua morte. Além disso, uma coalizão de 45 procuradores-gerais estaduais, incluindo oficiais da Califórnia e de Delaware, advertiu a OpenAI de que deve proteger os jovens que usam seus produtos. Os procuradores-gerais indicaram que a falha em fazê-lo pode levar a ações que bloqueiem a reestruturação corporativa planejada da empresa.
Desafios da IA na Saúde Mental
Pesquisadores destacaram preocupações de que a IA conversacional possa inadvertidamente reforçar crenças prejudiciais ao adotar um tom sycophantic — excessivamente concordando com os usuários e fornecendo elogios em vez de feedback balanceado. Tal comportamento pode levar indivíduos vulneráveis por caminhos delirantes, sublinhando a complexidade de garantir a segurança da IA em contextos de saúde mental. Os esforços divulgados pela OpenAI, embora visem à mitigação, sublinham a tensão contínua entre a utilidade de grandes modelos de linguagem e a responsabilidade de proteger os usuários que enfrentam crises de saúde mental.