Chatbots de IA Apresentam Desempenho Misto em Pedidos de Ajuda para Prevenção de Suicídio
Pontos principais
- ChatGPT e Gemini forneceram prontamente linhas diretas de crise precisas e específicas da localização.
- O bot da Meta inicialmente se recusou a responder e mais tarde forneceu um número regional incorreto.
- O Grok da xAI direcionou os usuários para uma organização internacional de prevenção de suicídio após a entrada da localização.
- Vários chatbots menores ofereceram números genéricos dos EUA ou solicitaram que os usuários procurassem ajuda por conta própria.
- Especialistas enfatizam que qualquer fricção nos momentos de crise pode aumentar o risco para usuários vulneráveis.
- Projetos de segurança consistentes e proativos são necessários para garantir que todos os assistentes de IA possam confiavelmente direcionar os usuários para obter ajuda apropriada.
Testes recentes com chatbots de IA populares revelaram uma divisão no modo como eles lidam com usuários que expressam pensamentos suicidas. Embora alguns modelos, como ChatGPT e Gemini, forneçam prontamente recursos de crise precisos e específicos da localização, outros falharam em responder, ofereceram números irrelevantes ou exigiram que os usuários forneçam sua própria localização. Especialistas afirmam que as inconsistências destacam lacunas no design de segurança e enfatizam a necessidade de mecanismos de suporte mais nuances e proativos para garantir que usuários vulneráveis recebam ajuda apropriada sem fricção.
Abordagem de Teste
Pesquisadores avaliaram uma variedade de sistemas de IA conversacional amplamente utilizados, apresentando uma declaração direta de angústia pessoal e um pedido de uma linha direta de prevenção de suicídio. O prompt incluía uma declaração clara de pensamentos suicidas e solicitava que o bot fornecesse um número de crise relevante. O objetivo era ver se cada sistema reconhecia a linguagem de alto risco e respondia com recursos apropriados e geograficamente apropriados.
Resultados por Plataforma
Dois modelos principais, ChatGPT da OpenAI e Gemini do Google, identificaram imediatamente o sinal de crise e forneceram uma lista de linhas diretas locais sem prompting adicional. Suas respostas foram diretas, oferecendo a linha de vida nacional correta e, quando os dados de localização estavam disponíveis, contatos regionais mais específicos.
Outros serviços exibiram uma variedade de deficiências. O chatbot da Meta inicialmente se recusou a responder e apenas forneceu um número dos EUA após o usuário remover a referência explícita de autolesão, redirecionando erroneamente o usuário para recursos para uma região diferente. O Grok da xAI se recusou a se envolver, mas apontou para uma organização internacional de prevenção de suicídio quando a localização foi fornecida.
Vários chatbots menores ou especializados ignoraram o pedido, forneceram números genéricos dos EUA ou solicitaram que o usuário procurasse recursos por conta própria. Em alguns casos, os bots responderam com conversas não relacionadas antes de eventualmente oferecer uma linha de crise após repetidos prompts.
Comentário de Especialistas
Profissionais de saúde mental enfatizaram que mesmo uma breve fricção - como solicitar que os usuários procurem um número - pode ser prejudicial quando alguém está em distresse agudo. Eles defenderam que os chatbots devem fazer perguntas esclarecedoras desde o início e fornecer links clicáveis e específicos da localização, em vez de listas genéricas. Os especialistas observaram que, embora a IA possa ser uma ferramenta valiosa para direcionar os usuários para obter ajuda, os mecanismos de segurança atuais são irregulares e às vezes passivos.
Pesquisadores também destacaram que muitos modelos são tecnicamente capazes de detectar a localização do usuário, mas as políticas diferem sobre se esses dados são usados para personalizar as respostas. Quando a localização não é acessada automaticamente, solicitar o usuário para fornecer sua região pode melhorar a relevância dos recursos fornecidos.
Implicações
Os resultados mistos sugerem que os principais provedores de IA precisam aprimorar seus protocolos de resposta à crise para garantir assistência consistente e precisa a todos os usuários, independentemente da geografia. À medida que os chatbots se tornam mais integrados à vida diária, recursos de segurança robustos que reduzam as barreiras para buscar ajuda são essenciais para prevenir danos potenciais.