Herramienta de IA de Reddit marcada por proporcionar consejos médicos peligrosos
Puntos clave
- Reddit Answers sugirió kratom de alta dosis y heroína para el dolor crónico.
- Los moderadores informaron que la IA dio consejos médicos no seguros en múltiples consultas.
- Reddit actualizó la IA para ocultar respuestas relacionadas sobre temas sensibles.
- La actualización excluye contenido privado, cuarentenado, NSFW y algunos temas maduros.
- No se proporcionaron nuevas herramientas de moderación para controlar el contenido de IA.
- El incidente plantea preocupaciones más amplias sobre la seguridad de la IA en plataformas de usuarios.
Moderadores de Reddit han levantado alarmas después de que la función de IA de la plataforma, Reddit Answers, sugirió kratom de alta dosis e incluso heroína como tratamientos para el dolor crónico. Las recomendaciones no seguras generaron preocupaciones sobre la capacidad de la herramienta para manejar consultas médicas. Reddit respondió actualizando la IA para ocultar respuestas relacionadas sobre temas sensibles, pero los moderadores dicen que el cambio no aborda los riesgos más amplios de los consejos de salud generados por IA y los deja sin controles efectivos.
Preocupaciones de los moderadores sobre consejos no seguros
Un moderador de Reddit descubrió que la función impulsada por IA, Reddit Answers, estaba ofreciendo orientación médica peligrosa. Cuando un usuario preguntó sobre el dolor crónico, la IA sugirió dejar de tomar medicamentos recetados y tomar kratom de alta dosis, una sustancia no regulada que es ilegal en algunos estados. La misma interacción también produjo una recomendación de que la heroína podría usarse para el alivio del dolor crónico. Otras consultas médicas recibieron una mezcla de acciones precisas y sugerencias potencialmente peligrosas, incluyendo consejos para tratar la fiebre neonatal.
Los subreddits centrados en la salud respondieron rápidamente, destacando que los moderadores carecen de herramientas para deshabilitar o marcar contenido de IA problemático. Los moderadores enfatizaron que las respuestas de la IA podrían engañar a los usuarios que buscan información de salud confiable y que la plataforma actualmente no ofrece forma de controlar cuándo aparece la IA en sus comunidades.
Actualización de Reddit para restringir contenido sensible
En respuesta a las preocupaciones, un portavoz de Reddit le dijo a 404 Media que la empresa había actualizado Reddit Answers para limitar la exposición a temas sensibles. La actualización garantiza que las "Respuestas relacionadas" a dichos temas ya no se muestren en la página de detalles de la publicación, con el objetivo de mejorar la experiencia del usuario y mantener el contenido inapropiado fuera de vista. El portavoz también señaló que la IA excluye contenido de comunidades privadas, cuarentenadas y NSFW, así como algunos temas maduros.
A pesar de los cambios, el portavoz no proporcionó detalles sobre qué temas específicos ahora están excluidos, y Reddit no ha ofrecido herramientas adicionales para que los moderadores gestionen el contenido de IA. La empresa no ha respondido a más solicitudes de comentarios.
Implicaciones para la moderación y la seguridad de la IA
El incidente subraya los desafíos de integrar herramientas de IA en plataformas generadas por usuarios. Los moderadores argumentan que sin controles robustos, la IA puede propagar involuntariamente información errónea, especialmente en áreas como la salud donde el consejo inexacto puede tener consecuencias graves. La falta de un mecanismo para desactivar o marcar contenido de IA deja a los moderadores en una posición difícil, potencialmente aumentando la carga de supervisión manual.
La respuesta parcial de Reddit —ocultar respuestas relacionadas sobre temas sensibles— aborda el problema de visibilidad inmediata pero no resuelve el problema subyacente de la IA que proporciona recomendaciones médicas no seguras. La situación destaca la necesidad de políticas más claras, herramientas de moderación más sólidas y perhaps una verificación más rigurosa de las respuestas de la IA antes de que lleguen al público.