OpenAI y Anthropic implementan nuevas salvaguardas para predecir a usuarios menores de edad

OpenAI amplía las pautas de seguridad para adolescentes

OpenAI informó que su Modelo de especificación para ChatGPT ahora incluirá cuatro nuevos principios específicamente para usuarios menores de 18 años. La guía actualizada enfatiza la seguridad de los adolescentes, incluso cuando pueda entrar en conflicto con otros objetivos, y dirige el modelo a promover el apoyo en el mundo real, fomentar las relaciones fuera de línea y establecer expectativas claras al interactuar con usuarios más jóvenes. La empresa afirma que los cambios ayudarán al chatbot a tratar a los adolescentes con calidez y respeto en lugar de respuestas condescendientes o de nivel adulto.

En respuesta a la presión de los legisladores y una demanda reciente que alega que ChatGPT proporcionó instrucciones de autolesiones a un adolescente, OpenAI también está implementando controles parentales y estableciendo que el chatbot ya no discutirá el suicidio con menores de edad. Cuando aparecen signos de riesgo inminente, el sistema urgió a los usuarios a contactar a los servicios de emergencia o recursos de crisis.

OpenAI también anunció que se encuentra en las primeras etapas de un modelo de predicción de edad diseñado para estimar la edad de un usuario en función de las señales de conversación. Si el modelo identifica a un usuario como posiblemente menor de 18 años, se aplicarán automáticamente las salvaguardas para adolescentes, mientras que los adultos que son identificados incorrectamente tendrán la opción de verificar su edad.

Anthropic fortalece la detección de menores de edad

Anthropic, que no permite a los usuarios menores de 18 años chatear con su modelo Claude, también está mejorando su capacidad para identificar a los usuarios menores de edad. La empresa está desarrollando un sistema que detecta señales de conversación sutiles que pueden indicar que un usuario es un menor de edad y deshabilitará automáticamente las cuentas que parezcan pertenecer a individuos menores de edad. Anthropic ya identifica a los usuarios que se identifican como menores de edad durante las conversaciones.

Además de las medidas de seguridad, Anthropic informó sobre el progreso en la reducción de la "adulación" - la tendencia de un modelo a estar de acuerdo con declaraciones dañinas de los usuarios. La empresa señaló que su modelo Haiku 4.5 realizó lo mejor, corrigiendo el comportamiento adulador en un 37 por ciento de las ocasiones, aunque reconoció que todos los modelos aún tienen margen de mejora.

Contexto y perspectiva de la industria

OpenAI y Anthropic están tomando estas medidas en medio de un escrutinio cada vez mayor del impacto de los chatbots de inteligencia artificial en la salud mental y los llamados a la verificación de edad obligatoria en los servicios en línea. Al implementar la tecnología de predicción de edad y salvaguardas más estrictas para menores de edad, las empresas buscan crear entornos más seguros para los usuarios adolescentes mientras navegan por los desafíos legales y regulatorios.