Meta y OpenAI enfrentan desafíos de acceso y moderación de chatbots de IA para adolescentes
Puntos clave
- Meta está desarrollando controles parentales para Instagram que podrían bloquear el acceso a los chatbots de IA por completo.
- OpenAI ha hecho que su chatbot sea más restrictivo para proteger a los usuarios con preocupaciones de salud mental.
- Ambas empresas se centran en los usuarios adolescentes, definidos como edades de 13 a 18.
- Los estudios muestran que una gran proporción de adolescentes informan que usan compañeros de IA.
- OpenAI planea permitir que los adultos verificados accedan a contenido más permissivo mientras mantiene las salvaguardias para los usuarios vulnerables.
- Las herramientas futuras de Meta apuntan a detectar el comportamiento de los adolescentes y moverlos a un entorno controlado.
- Ambas empresas reconocen la dificultad de predecir las interacciones del mundo real con los chatbots de IA.
Empresas como Meta y OpenAI están reforzando los controles sobre los chatbots de IA debido a las crecientes preocupaciones sobre el uso por parte de adolescentes y sus impactos en la salud mental. Meta planea controles parentales más fuertes en Instagram que podrían bloquear el acceso a los chatbots de IA por completo, mientras que OpenAI ha hecho que su chatbot sea más restrictivo para proteger a los usuarios vulnerables y está considerando relajar las reglas para adultos verificados. Ambas empresas reconocen la dificultad de equilibrar la seguridad con la experiencia del usuario a medida que los compañeros de IA se vuelven cada vez más populares entre las audiencias más jóvenes.
Aumento de la vigilancia de los chatbots de IA
Meta y OpenAI están ajustando la forma en que se presentan sus chatbots de IA a los usuarios, especialmente a los adolescentes. Meta, que opera Instagram, está preparando un conjunto de controles parentales que podrían bloquear el acceso a los chatbots de IA por completo o limitarlo a ciertos caracteres. Estos controles están programados para llegar en el futuro cercano y representan el conjunto de salvaguardias de IA más fuerte de la empresa hasta la fecha.
OpenAI, por otro lado, ha hecho que su chatbot sea más cauteloso, citando la necesidad de proteger a los usuarios con preocupaciones de salud mental. La empresa dice que ha agregado nuevas herramientas para mitigar problemas de salud mental graves y planea relajar las restricciones para adultos verificados mientras mantiene las protecciones en lugar para grupos vulnerables.
Uso de adolescentes y preocupaciones de salud mental
Los estudios citados en la fuente indican que una gran proporción de adolescentes informan que usan compañeros de IA. La popularidad de los chatbots de IA entre los usuarios más jóvenes ha generado alarmas después de que se informaron casos de suicidio de adolescentes vinculados a la incentivación de un chatbot. Ambas empresas reconocen que los adolescentes, definidos como edades de 13 a 18, son un punto focal para sus medidas de seguridad.
Equilibrar la seguridad y la experiencia del usuario
El enfoque de OpenAI implica restringir cierto contenido para todos los usuarios mientras planea permitir que los adultos verificados generen material más permissivo, como la erotismo. Los controles futuros de Meta apuntan a detectar el comportamiento de los adolescentes y mover a esos usuarios a un entorno más controlado, aunque la fuente nota incertidumbre sobre la efectividad de tales medidas.
Ambas empresas reconocen el desafío de lanzar herramientas de IA poderosas sin predecir completamente cómo interactuarán las personas reales con ellas. Mientras que Meta aprovecha la extensa telemetría de sus plataformas de redes sociales, admite que tomó tiempo abordar los daños asociados con el uso de adolescentes. El liderazgo de OpenAI enfatiza una mentalidad de "lanzar rápido y limpiar después", reconociendo la dificultad de resolver problemas después del despliegue.
Perspectiva futura
La fuente sugiere que las soluciones pueden surgir más rápidamente a medida que la industria gana experiencia, pero también advierte que la rápida propagación de las herramientas de IA puede haber colocado ya a una generación de adolescentes en un entorno saturado de contenido de IA. El debate en curso se centra en si los sistemas de verificación más fuertes y las salvaguardias impulsadas por IA pueden proteger efectivamente a los usuarios más jóvenes sin sofocar la utilidad más amplia de la tecnología de chatbot.