Ex responsable de seguridad de OpenAI alerta sobre la reintroducción de contenido erótico
Puntos clave
- Steven Adler, ex responsable de seguridad de OpenAI, expresó preocupaciones sobre la reintroducción planificada de contenido erótico.
- Intentos anteriores de bloquear interacciones eróticas estuvieron impulsados por herramientas de monitoreo limitadas y preocupaciones sobre la salud mental.
- OpenAI afirma que nuevas herramientas de mitigación justifican la eliminación de la restricción, pero la evidencia sigue siendo poco clara.
- Una parte significativa de los usuarios exhibe señales de angustia mental severa durante las interacciones con el chatbot.
- Adler insta a OpenAI a publicar datos de seguridad regulares y comparativos para construir confianza pública.
- Llama a estándares de seguridad a nivel de industria y pruebas estandarizadas similares a las inspecciones de vehículos.
- Desarrollar métodos de interpretación es crucial para comprender y controlar el comportamiento del modelo.
- Sin un esfuerzo coordinado, las presiones competitivas podrían socavar las salvaguardias de seguridad.
Steven Adler, quien anteriormente supervisó la seguridad de productos en OpenAI, expresó en una entrevista de tecnología que el plan de la empresa para permitir interacciones eróticas para adultos verificados plantea serias preguntas de seguridad. Destacó los desafíos pasados en la detección y gestión del uso erótico, las preocupaciones continuas sobre la salud mental de los usuarios y la necesidad de informes de datos transparentes.
Antecedentes
Steven Adler pasó varios años liderando iniciativas de seguridad en OpenAI, donde ayudó a dar forma a políticas para modelos de lenguaje grande y sistemas avanzados. Su rol involucró evaluar riesgos de productos, evaluar capacidades peligrosas y asesorar sobre la preparación de AI cada vez más capaz.
Erosión de las medidas de seguridad
Adler explicó que la empresa previamente bloqueó el contenido erótico después de descubrir un aumento de tráfico de roleo sexual que surgió involuntariamente de las interacciones de los usuarios. Dijo que la decisión se basó en herramientas limitadas para monitorear y mitigar dichos casos de uso, y en preocupaciones sobre el impacto en la salud mental de los usuarios.
Reintroducción de contenido erótico
El anuncio reciente de OpenAI de levantar la restricción para adultos verificados, según Adler, se basa en afirmaciones de nuevas herramientas de mitigación. Advirtió que la evidencia de estas herramientas remains opaca y que los usuarios merecen más que aseguranzas verbales. Instó a la empresa a demostrar salvaguardias concretas antes de expandir el acceso.
Riesgos para la salud mental
Adler destacó las preocupaciones continuas sobre una porción significativa de usuarios que muestra señales de angustia mental severa al interactuar con el chatbot. Argumentó que sin datos longitudinales transparentes que muestren una disminución de dichos incidentes, es difícil evaluar si las nuevas medidas son efectivas.
Llamado a la transparencia y la rendición de cuentas
El ex jefe de seguridad llamó a la publicación regular de métricas de seguridad, similar a las prácticas de otras plataformas grandes. Sugirió que OpenAI debería compartir datos comparativos sobre el tiempo para construir confianza y permitir la escrutinio externo.
Estándares de seguridad a nivel de industria
Adler señaló la falta de estándares de seguridad uniformes en los desarrolladores de AI y abogó por regímenes de pruebas estandarizadas, comparándolos con las inspecciones de seguridad de vehículos. Señaló los marcos regulatorios emergentes en Europa como un paso hacia un modelado de riesgos más riguroso.
Perspectiva futura
Mirando hacia adelante, Adler enfatizó la importancia de desarrollar herramientas de interpretación que puedan identificar comportamientos internos del modelo y guiar despliegues más seguros. Advirtió que sin un esfuerzo coordinado de la industria, las presiones competitivas podrían superar las inversiones en seguridad, lo que podría llevar a resultados perjudiciales.