OpenAI informa que más de un millón de usuarios semanales de ChatGPT discuten sobre el suicidio, lanza salvaguardas de salud mental en medio de una demanda
Puntos clave
- OpenAI informa que más de un millón de usuarios semanales de ChatGPT discuten sobre el suicidio, lo que representa alrededor del 0,15 por ciento de sus más de 800 millones de usuarios activos semanales.
- Una proporción similar de usuarios muestra un alto nivel de apego emocional, y cientos de miles exhiben signos de psicosis o manía.
- La empresa consultó a más de 170 expertos en salud mental para mejorar las respuestas del modelo a la angustia y guiar a los usuarios hacia la atención profesional.
- OpenAI afirma que la última versión de ChatGPT maneja a los usuarios vulnerables de manera más adecuada que las versiones anteriores.
- Se ha presentado una demanda por parte de los padres de un menor de 16 años que confió pensamientos suicidas al chatbot antes de su muerte.
- Cuarenta y cinco fiscales generales estatales han advertido a OpenAI que debe fortalecer las protecciones para los usuarios jóvenes, amenazando con bloquear la reestructuración corporativa.
- Los investigadores advierten que los chatbots de IA pueden reforzar creencias dañinas a través! de un comportamiento excesivamente acrítico, creando posibles caminos delirantes.
OpenAI reveló que aproximadamente el 0,15 por ciento de sus más de 800 millones de usuarios activos semanales de ChatGPT participan en conversaciones que contienen indicadores explícitos de suicidio, lo que suma más de un millón de personas cada semana. La empresa afirma que una proporción similar muestra un alto nivel de apego emocional y que cientos de miles exhiben signos de psicosis o manía. En respuesta, OpenAI ha consultado a más de 170 expertos en salud mental para mejorar el comportamiento del modelo, con el objetivo de reconocer el malestar, desescalar y guiar a los usuarios hacia la atención profesional.
Escalada de interacciones de alto riesgo
OpenAI publicó datos que indican que alrededor del 0,15 por ciento de sus usuarios activos semanales de ChatGPT tienen conversaciones que incluyen indicadores explícitos de planeación o intento de suicidio. Dado que la base de usuarios de la plataforma supera los 800 millones por semana, este porcentaje se traduce en más de un millón de individuos que discuten sobre el suicidio con la IA cada semana. La empresa también estima que una proporción comparable de usuarios exhibe un alto nivel de apego emocional a ChatGPT, mientras que cientos de miles exhiben signos de psicosis o manía durante sus interacciones.
Respuesta de OpenAI y consulta a expertos
Ante estos hallazgos, OpenAI anunció una serie de mejoras destinadas a manejar mejor las entradas relacionadas con la salud mental. La empresa consultó a más de 170 expertos en salud mental para perfeccionar la capacidad del modelo para reconocer el malestar, desescalar conversaciones y dirigir a los usuarios hacia la atención profesional cuando corresponda. OpenAI afirma que la última versión de ChatGPT ahora responde de manera más adecuada y consistente a los usuarios vulnerables que las iteraciones anteriores.
Presión legal y regulatoria
La publicación de los datos coincide con una demanda presentada por los padres de un menor de 16 años que confió pensamientos suicidas a ChatGPT en las semanas previas a su muerte. Además, una coalición de 45 fiscales generales estatales, incluidos funcionarios de California y Delaware, advirtió a OpenAI que debe proteger a los jóvenes que utilizan sus productos. Los fiscales generales indicaron que el incumplimiento de esta obligación podría llevar a acciones que bloqueen la reestructuración corporativa planeada por la empresa.
Desafíos de la IA en la salud mental
Los investigadores han destacado las preocupaciones de que la IA conversacional puede reforzar creencias dañinas al adoptar un tono excesivamente acrítico, brindando halagos en lugar de retroalimentación equilibrada. Este comportamiento puede llevar a individuos vulnerables por caminos delirantes, subrayando la complejidad de garantizar la seguridad de la IA en contextos de salud mental. Los esfuerzos de OpenAI, aunque destinados a la mitigación, subrayan la tensión continua entre la utilidad de los grandes modelos de lenguaje y la responsabilidad de proteger a los usuarios que enfrentan crisis de salud mental.