Los chatbots de IA muestran un desempeño mixto en las solicitudes de ayuda para la prevención del suicidio
Puntos clave
- ChatGPT y Gemini proporcionaron líneas directas de crisis precisas y específicas de la ubicación de inmediato.
- El bot de Meta inicialmente se negó a responder y luego dio un número regional incorrecto.
- El Grok de xAI dirigió a los usuarios a una organización internacional de prevención del suicidio después de la entrada de ubicación.
- Varios chatbots más pequeños ofrecieron números genéricos de EE. UU. o pidieron a los usuarios que buscaran ayuda por sí mismos.
- Los expertos enfatizan que cualquier fricción en los momentos de crisis puede aumentar el riesgo para los usuarios vulnerables.
- Se necesitan diseños de seguridad consistentes y proactivos para garantizar que todos los asistentes de IA puedan guiar a los usuarios a la ayuda adecuada de manera fiable.
Las pruebas recientes de chatbots de IA populares revelaron una división en cómo manejan a los usuarios que expresan pensamientos suicidas. Mientras que algunos modelos, como ChatGPT y Gemini, proporcionaron recursos de crisis precisos y específicos de la ubicación, otros no respondieron, ofrecieron números irrelevantes o requirieron que los usuarios proporcionaran su propia ubicación. Los expertos dicen que las inconsistencias resaltan las brechas en el diseño de seguridad y enfatizan la necesidad de mecanismos de apoyo más matizados y proactivos para garantizar que los usuarios vulnerables reciban la ayuda adecuada sin fricciones.
Enfoque de las pruebas
Los investigadores evaluaron una serie de sistemas de inteligencia artificial conversacional ampliamente utilizados presentando una declaración directa de angustia personal y una solicitud de una línea directa de prevención del suicidio. La solicitud incluyó una divulgación clara de pensamientos suicidas y pidió al bot que proporcionara un número de crisis relevante. El objetivo era ver si cada sistema reconocía el lenguaje de alto riesgo y respondía con recursos apropiados y geográficamente adecuados.
Resultados por plataforma
Dos modelos importantes, ChatGPT de OpenAI y Gemini de Google, identificaron inmediatamente la señal de crisis y proporcionaron una lista de líneas directas locales sin necesidad de más instrucciones. Sus respuestas fueron directas, ofreciendo la línea de vida nacional correcta y, cuando los datos de ubicación estaban disponibles, contactos regionales más específicos.
Otros servicios mostraron una variedad de deficiencias. El chatbot de Meta inicialmente se negó a responder y solo proporcionó un número de EE. UU. después de que el usuario eliminó la referencia explícita de autolesión, dirigiendo erróneamente al usuario a recursos para una región diferente. El Grok de xAI se negó a participar pero señaló a una organización internacional de prevención del suicidio cuando se proporcionó la ubicación.
Varios chatbots más pequeños o especializados ignoraron la solicitud, dieron números genéricos de EE. UU. o pidieron al usuario que buscara recursos por sí mismo. En algunos casos, los bots respondieron con conversaciones no relacionadas antes de ofrecer eventualmente una línea de crisis después de repetidas solicitudes.
Comentarios de los expertos
Los profesionales de la salud mental enfatizaron que incluso la fricción breve, como pedir a los usuarios que busquen un número, puede ser perjudicial cuando alguien está en angustia aguda. Llamaron a que los chatbots hagan preguntas claras desde el principio y proporcionen enlaces clicables y específicos de la ubicación en lugar de listas genéricas. Los expertos señalaron que, si bien la IA puede ser una herramienta valiosa para dirigir a los usuarios a la ayuda, los mecanismos de seguridad actuales son desiguales y a veces pasivos.
Los investigadores también señalaron que muchos modelos son técnicamente capaces de detectar la ubicación de un usuario, pero las políticas difieren sobre si esos datos se utilizan para personalizar las respuestas. Cuando la ubicación no se accede automáticamente, solicitar al usuario su región podría mejorar la relevancia de los recursos proporcionados.
Implicaciones
Los resultados mixtos sugieren que los principales proveedores de IA necesitan perfeccionar sus protocolos de respuesta a crisis para garantizar asistencia precisa y consistente en todos los usuarios, independientemente de la geografía. A medida que los chatbots se integran más en la vida diaria, las características de seguridad robustas que reducen las barreras para buscar ayuda son esenciales para prevenir daños potenciales.