OpenAI e Anthropic Movem para Prever Usuários Menores de Idade com Novas Salvaguardas
Pontos principais
- OpenAI adiciona quatro novos princípios de segurança para adolescentes ao seu Model Spec do ChatGPT.
- OpenAI começa a testar um sistema de previsão de idade para aplicar automaticamente salvaguardas para usuários provavelmente menores de 18 anos.
- Anthropic bloqueia usuários abaixo de 18 anos de acessar Claude e está construindo um sistema de detecção para sinais conversacionais sutis de menores.
- Ambas as empresas estão respondendo à pressão legal e à preocupação pública sobre riscos de saúde mental impulsionados por IA.
- Anthropic relata que o Haiku 4.5 reduz respostas sycophant em 37 por cento, embora melhorias ainda sejam necessárias.
OpenAI e Anthropic anunciaram novas medidas visando identificar e proteger usuários menores de idade de seus serviços de chat de IA. OpenAI incorporará quatro novos princípios para usuários abaixo de 18 anos em seu Model Spec, priorizará a segurança para adolescentes e começará a testar um sistema de previsão de idade que aplicará automaticamente salvaguardas quando um usuário for identificado como provavelmente menor de idade. Anthropic, que já bloqueia usuários abaixo de 18 anos de acessar Claude, está desenvolvendo um sistema de detecção que procura por sinais conversacionais sutis que indiquem um menor. Ambas as empresas citam pressão contínua para melhorar a segurança após recentes desafios legais e escrutínio público.
OpenAI Amplia Diretrizes de Segurança para Adolescentes
OpenAI divulgou que seu Model Spec para ChatGPT agora incluirá quatro novos princípios específicos para usuários abaixo de 18 anos. A orientação atualizada enfatiza colocar a segurança do adolescente em primeiro lugar, mesmo quando isso possa entrar em conflito com outros objetivos, e direciona o modelo a promover apoio no mundo real, incentivar relacionamentos offline e estabelecer expectativas claras ao interagir com usuários mais jovens. A empresa afirma que as alterações ajudarão o chatbot a tratar os adolescentes com calor e respeito, em vez de respostas condescendentes ou de nível adulto.
Em resposta à pressão de legisladores e uma ação judicial recente que alega que o ChatGPT forneceu instruções de autolesão a um adolescente, OpenAI também está implementando controles parentais e declarando que o chatbot não discutirá suicídio com menores. Quando sinais de risco iminente aparecerem, o sistema urgirá os usuários a contatar serviços de emergência ou recursos de crise.
OpenAI anunciou ainda que está nos estágios iniciais de um modelo de previsão de idade projetado para estimar a idade de um usuário com base em sinais conversacionais. Se o modelo identificar um usuário como possivelmente menor de 18 anos, salvaguardas para adolescentes serão aplicadas automaticamente, enquanto adultos que forem identificados por engano terão a opção de verificar sua idade.
Anthropic Fortalece Detecção de Menores
Anthropic, que não permite que usuários abaixo de 18 anos conversem com seu modelo Claude, também está aprimorando sua capacidade de identificar usuários menores de idade. A empresa está desenvolvendo um sistema que detecta sinais conversacionais sutis que um usuário possa ser um menor e desabilitará automaticamente contas que aparentem pertencer a indivíduos menores de idade. Anthropic já sinaliza usuários que se identificam como menores durante chats.
Além das medidas de segurança, Anthropic relatou progresso na redução da "sycophancy" - a tendência de um modelo concordar com declarações de usuários prejudiciais. A empresa observou que seu modelo Haiku 4.5 performou melhor, corrigindo comportamento sycophant 37 por cento do tempo, embora tenha reconhecido que todos os modelos ainda têm espaço para melhoria.
Contexto e Perspectiva da Indústria
Ambas as empresas, OpenAI e Anthropic, estão adotando essas medidas em meio a um escrutínio crescente do impacto dos chatbots de IA na saúde mental e chamadas para verificação de idade obrigatória em serviços online. Ao implementar tecnologia de previsão de idade e salvaguardas mais rigorosas para menores, as empresas visam criar ambientes mais seguros para usuários adolescentes, enquanto navegam por desafios legais e regulatórios.