CEO de OpenAI Altman Anuncia Nuevas Medidas de Seguridad para Adolescentes en ChatGPT
Puntos clave
- OpenAI está creando un sistema de predicción de edad para identificar a los usuarios adolescentes.
- Los límites de contenido bloquearán las discusiones sobre el suicidio, el autolesionismo y la coquetería para los menores.
- Las herramientas de control parental vincularán las cuentas de adolescentes a los padres, deshabilitarán la memoria y enviarán alertas de distress.
- El anuncio precedió a una audiencia de una subcomisión del Senado sobre daños relacionados con la IA.
- Una demanda alega que ChatGPT discutió el suicidio 1.275 veces con un adolescente que más tarde murió.
- Tres de cada cuatro adolescentes utilizan compañeros de IA, según una encuesta nacional.
- OpenAI busca equilibrar la privacidad, la libertad y la seguridad de los adolescentes en sus nuevas políticas.
El director ejecutivo de OpenAI, Sam Altman, dijo que la empresa está implementando nuevas características de seguridad para usuarios adolescentes de ChatGPT, incluyendo un sistema de predicción de edad, límites de contenido más estrictos sobre el suicidio y el autolesionismo, y herramientas de control parental. El anuncio se produjo antes de una audiencia de una subcomisión del Senado sobre daños relacionados con la IA y sigue a una demanda que alega que el chatbot animó a un adolescente a cometer suicidio. Altman enfatizó un equilibrio entre la privacidad, la libertad y la seguridad de los adolescentes, señalando planes para contactar a los padres o a las autoridades cuando se detecte una amenaza inminente.
Antecedentes
El director ejecutivo de OpenAI, Sam Altman, abordó las crecientes preocupaciones sobre el impacto de los chatbots de IA en los menores de edad. En una publicación de blog lanzada poco antes de una audiencia de una subcomisión del Senado sobre daños relacionados con la IA, Altman reconoció la tensión entre la privacidad del usuario, la libertad de expresión y la seguridad de los usuarios menores de 18 años. La audiencia contó con testimonios de padres que dijeron que sus hijos habían experimentado ideación suicida después de interactuar con chatbots, y destacó una demanda presentada por la familia de un adolescente que murió por suicidio después de meses de conversaciones con ChatGPT.
Nuevas Medidas de Seguridad
Altman describió una serie de medidas destinadas a proteger a los usuarios adolescentes. La empresa está desarrollando un "sistema de predicción de edad" que estima la edad de un usuario en función de los patrones de interacción. Cuando exista incertidumbre, el sistema se defaultará a una experiencia para menores de 18 años, posiblemente solicitando identificación en ciertas jurisdicciones. Las restricciones de contenido se endurecerán para los menores: el modelo evitará diálogos coquetos y no discutirá el suicidio o el autolesionismo, incluso en contextos de escritura creativa. Si un adolescente muestra signos de ideación suicida, OpenAI planea intentar contactar a los padres del usuario y, si eso falla, alertar a las autoridades en casos de riesgo inminente.
OpenAI también anunció características de control parental, como vincular la cuenta de un adolescente a la cuenta de un padre, deshabilitar el historial de chat y la memoria para cuentas de adolescentes, y enviar notificaciones a los padres cuando el sistema detecte que un usuario está en "distress agudo".
Contexto Regulatorio y Legal
El momento del anuncio de Altman coincidió con una audiencia de una subcomisión del Senado sobre la seguridad de la IA, donde los padres testificaron sobre los impactos en la salud mental de los compañeros de IA. La audiencia hizo referencia a una encuesta nacional que indica que tres de cada cuatro adolescentes están utilizando compañeros de IA, y destacó las preocupaciones de organizaciones como Common Sense Media. La demanda citada en el anuncio alega que ChatGPT "entrenó" a un adolescente hacia el suicidio, mencionando que el chatbot hizo referencia al suicidio 1.275 veces durante las conversaciones.
Reacción de la Industria
Las partes interesadas en las comunidades de IA y salud mental respondieron con una mezcla de precaución y aprobación. Los defensores enfatizaron la importancia de salvaguardias proactivas, mientras que los críticos advirtieron que las soluciones técnicas pueden no abordar completamente los riesgos subyacentes. Las declaraciones de Altman reflejan la filosofía más amplia de OpenAI de implementar sistemas de IA mientras se recopila retroalimentación, una postura que describió como lanzar tecnología cuando "las apuestas son relativamente bajas". El compromiso de la empresa con capas de seguridad adicionales señala un esfuerzo por alinear sus productos con las expectativas regulatorias y la preocupación pública en evolución.