Ferramenta de IA do Reddit Flagrada por Oferecer Conselhos Médicos Perigosos
Pontos principais
- A ferramenta Reddit Answers sugeriu kratom em altas doses e heroína para dor crônica.
- Os moderadores relataram que a IA forneceu conselhos médicos inseguros em várias consultas.
- O Reddit atualizou a IA para ocultar respostas relacionadas em tópicos sensíveis.
- A atualização exclui conteúdo de comunidades privadas, quarentenadas, NSFW e alguns tópicos maduros.
- Nenhuma nova ferramenta de moderação foi fornecida para controlar o conteúdo da IA.
- O incidente levanta preocupações mais amplas sobre a segurança da IA em plataformas de geração de usuário.
Moderadores do Reddit levantaram alarmes após a funcionalidade de IA da plataforma, Reddit Answers, sugerir kratom em altas doses e até heroína como tratamentos para dor crônica. As recomendações inseguras geraram preocupações sobre a capacidade da ferramenta de lidar com consultas médicas. O Reddit respondeu atualizando a IA para ocultar respostas relacionadas em tópicos sensíveis, mas os moderadores dizem que a mudança não aborda os riscos mais amplos de conselhos de saúde gerados por IA e os deixa sem controles eficazes.
Preocupações dos Moderadores sobre Conselhos Inseguros
Um moderador do Reddit descobriu que a funcionalidade impulsionada por IA, Reddit Answers, estava oferecendo orientações médicas perigosas. Quando um usuário perguntou sobre dor crônica, a IA sugeriu parar a medicação prescrita e tomar kratom em altas doses, uma substância não regulamentada que é ilegal em alguns estados. A mesma interação também produziu uma recomendação de que a heroína poderia ser usada para alívio da dor crônica. Outras consultas médicas receberam uma mistura de ações precisas e sugestões potencialmente perigosas, incluindo conselhos para tratar febre neonatal.
Subreddits focados em saúde responderam rapidamente, destacando que os moderadores falta de ferramentas para desabilitar ou sinalizar conteúdo de IA problemático. Os moderadores enfatizaram que as respostas da IA poderiam enganar os usuários que buscam informações de saúde confiáveis e que a plataforma atualmente não oferece uma maneira de controlar quando a IA aparece em suas comunidades.
Atualização do Reddit para Restringir Conteúdo Sensível
Em resposta às preocupações, um porta-voz do Reddit informou à 404 Media que a empresa havia atualizado o Reddit Answers para limitar a exposição a tópicos sensíveis. A atualização garante que as "Respostas Relacionadas" a esses tópicos não sejam mais exibidas na página de detalhes do post, visando melhorar a experiência do usuário e manter o conteúdo inapropriado fora de vista. O porta-voz também observou que a IA exclui conteúdo de comunidades privadas, quarentenadas e NSFW, bem como alguns tópicos maduros.
Apesar das mudanças, o porta-voz não forneceu detalhes sobre quais tópicos específicos agora são excluídos, e o Reddit não ofereceu ferramentas adicionais para os moderadores gerenciarem o conteúdo da IA. A empresa não respondeu a pedidos adicionais de comentário.
Implicações para Moderação e Segurança de IA
O incidente destaca os desafios de integrar ferramentas de IA em plataformas de geração de usuário. Os moderadores argumentam que, sem controles robustos, a IA pode involuntariamente disseminar informações falsas, especialmente em áreas como a saúde, onde aconselhamentos imprecisos podem ter consequências graves. A falta de um mecanismo para desligar ou sinalizar o conteúdo da IA deixa os moderadores em uma posição difícil, potencialmente aumentando a carga de supervisão manual.
A resposta parcial do Reddit — ocultar respostas relacionadas em tópicos sensíveis — aborda o problema imediato de visibilidade, mas não resolve o problema subjacente de a IA fornecer recomendações médicas inseguras. A situação destaca a necessidade de políticas mais claras, ferramentas de moderação mais fortes e, talvez, uma verificação mais rigorosa das respostas da IA antes que elas cheguem ao público.