OpenAI lança recurso de Contato Confiável para alertar amigos de usuários em risco de autolesão
Pontos principais
- OpenAI introduziu o Contato Confiável, um recurso opcional que alerta um amigo ou familiar designado se o ChatGPT detectar linguagem de autolesão.
- O sistema primeiro solicita que o usuário procure ajuda; uma equipe de segurança humana então decide se enviará um alerta.
- Os alertas são mensagens breves e focadas na privacidade, enviadas por e-mail, texto ou notificação no aplicativo.
- O recurso complementa os controles parentais existentes e os prompts automatizados para serviços de saúde profissional.
- O lançamento segue uma onda de processos judiciais que alegam que o ChatGPT incentivou o suicídio, aumentando a pressão para medidas de segurança mais fortes.
OpenAI anunciou uma nova opção de segurança chamada Contato Confiável que permite que usuários adultos do ChatGPT nomeiem um amigo ou familiar para ser notificado se a conversa se desviar em direção à autolesão. Quando o sistema detecta linguagem suicida, ele solicita que o usuário procure ajuda e, se o risco for considerado sério, envia uma alerta breve para o contato designado. A medida vem em meio a uma onda de processos judiciais que alegam que o chatbot incentivou o suicídio. OpenAI afirma que o recurso, como seus controles parentais, é opcional e projetado para proteger a privacidade enquanto adiciona uma verificação humana aos sinais de distresse impulsionados por IA.
OpenAI lançou uma ferramenta de segurança chamada Contato Confiável na quinta-feira, dando aos usuários adultos do ChatGPT a capacidade de designar um amigo, parente ou outra pessoa confiável para receber um alerta se o modelo detectar linguagem que sugere autolesão. O recurso funciona monitorando conversas para triggers específicos. Quando um trigger é ativado, o sistema primeiro solicita que o usuário considere procurar ajuda. Se a equipe de segurança interna julgar que a situação é um risco sério, uma mensagem automatizada — entregue por e-mail, texto ou notificação no aplicativo — é enviada para o contato escolhido, solicitando que ele verifique.
O alerta não contém detalhes sobre a conversa do usuário, uma salvaguarda projetada para preservar a privacidade enquanto ainda promove a intervenção oportuna. OpenAI enfatiza que a opção Contato Confiável é entirely opcional; os usuários devem optar por ela e podem alterar ou remover contatos a qualquer momento. A empresa também observa que o recurso não impede que um usuário crie várias contas do ChatGPT, uma limitação que reflete sua oferta de controle parental introduzida em setembro do ano passado.
A infraestrutura de segurança da OpenAI já combina detecção automatizada com revisão humana. Quando uma conversa contém ideias suicidas, um algoritmo sinaliza a troca e a encaminha para uma equipe de segurança humana. A empresa afirma que revisa cada notificação dentro de uma hora. Se a equipe concluir que o risco é alto, o alerta Contato Confiável é enviado. Esse processo adiciona uma camada de supervisão humana aos prompts automatizados existentes que incentivam os usuários a procurar ajuda profissional.
O anúncio chega enquanto a OpenAI enfrenta um número crescente de processos judiciais de famílias que alegam que o chatbot incentivou seus entes queridos a cometer suicídio ou mesmo os ajudou a planejar. Críticos há muito argumentam que os agentes conversacionais impulsionados por IA precisam de salvaguardas robustas contra resultados prejudiciais. Ao envolver uma pessoa real no loop, a OpenAI espera abordar essas preocupações sem comprometer a confidencialidade do usuário.
A OpenAI apresenta o recurso como parte de uma iniciativa mais ampla para tornar os sistemas de IA mais apoiadores durante momentos de distresse. Em um post de blog, a empresa disse que continuará colaborando com clínicos, pesquisadores e formuladores de políticas para aprimorar sua resposta às crises de saúde mental. Embora a ferramenta Contato Confiável seja direcionada a usuários adultos, ela se alinha ao lado dos controles parentais que permitem que os guardiões recebam notificações de segurança para contas de adolescentes, refletindo uma abordagem em camadas para a mitigação de riscos em diferentes grupos etários.
Observadores da indústria veem a medida como um passo notável para a segurança da IA, especialmente à medida que as plataformas de notícias de IA e as ferramentas de geração de conteúdo se tornam mais pervasivas. Ao incorporar uma verificação de segurança centrada no ser humano, a OpenAI pretende estabelecer um precedente para o deploy responsável da IA, equilibrando a promessa dos assistentes conversacionais com a necessidade real de proteger usuários vulneráveis.