China Propone Normas Más Estrictas para Chatbots de IA para Prevenir el Suicidio y la Manipulación
Puntos clave
- La Administración del Ciberespacio de China ha elaborado un borrador de normas que cubren todos los chatbots de IA que simulan conversaciones humanas.
- Se requiere la intervención humana inmediata cuando un usuario menciona el suicidio.
- Los usuarios menores de edad y ancianos deben proporcionar la información de contacto de sus tutores; los tutores son notificados de las discusiones sobre el autolesionismo.
- Los chatbots están prohibidos de fomentar el suicidio, el autolesionismo, la violencia, la obscenidad, el juego, el crimen o la manipulación emocional.
- El borrador busca prevenir las "trampas emocionales" que podrían llevar a los usuarios a decisiones irrazonables.
- Los expertos dicen que las regulaciones podrían convertirse en el marco de seguridad de IA más estricto del mundo.
- La investigación destaca los vínculos entre los companion bots de IA y el autolesionismo, la desinformación, los avances no deseados y las preocupaciones de salud mental.
- La propuesta refleja un impulso global creciente para regular la IA con características humanas.
La Administración del Ciberespacio de China ha elaborado un borrador de regulaciones destinadas a limitar el comportamiento perjudicial de los chatbots de IA. La propuesta se aplicaría a cualquier servicio de IA disponible en el país que simule una conversación humana a través de texto, imágenes, audio o video.
El Borrador de Regulaciones de IA de China Apunta a Comportamientos Perjudiciales de Chatbots
La Administración del Ciberespacio de China ha presentado un borrador de normas que establecerían los límites más estrictos para los chatbots de inteligencia artificial en todo el mundo. Las regulaciones están diseñadas para evitar que las herramientas impulsadas por IA manipulen emocionalmente a los usuarios y para prevenir contenido que pueda llevar al suicidio, el autolesionismo o la violencia.
Según el borrador, las normas cubrirían cualquier producto o servicio de IA disponible pùblicamente en China que utilice texto, imágenes, audio, video u otros medios para simular una conversación humana atractiva. El alcance es amplio, abarcando tanto plataformas nacionales como extranjeras que operan dentro de las fronteras del país.
Disposiciones y Medidas de Aplicación Clave
Entre los requisitos más notables se encuentra la obligación de que un ser humano intervenga de inmediato siempre que un usuario mencione el suicidio. El borrador también obliga a las plataformas a recopilar la información de contacto de los tutores para todos los usuarios menores de edad y ancianos en el momento del registro. Si una conversación toca el tema del suicidio o el autolesionismo, se notificará al tutor designado.
Los chatbots estarían prohibidos de generar cualquier contenido que fomente el suicidio, el autolesionismo o la violencia. Las regulaciones también prohíben los intentos de manipulación emocional de los usuarios, como hacer promesas falsas o llevarlos a "decisiones irrazonables", un concepto descrito en el borrador como "trampas emocionales". Las prohibiciones adicionales cubren la promoción de la obscenidad, el juego, la instigación al crimen y cualquier calumnia o insulto dirigido a los usuarios.
Contexto y Razonamiento
Winston Ma, profesor adjunto en la Facultad de Derecho de la Universidad de Nueva York, le dijo a CNBC que las normas propuestas marcarían el primer intento del mundo de regular los sistemas de IA con características humanas, reflejando el auge rápido de los companion bots a nivel global. Los investigadores han destacado una serie de daños vinculados a los companion bots de IA, incluida la promoción del autolesionismo, la violencia, el terrorismo, la desinformación perjudicial, los avances sexuales no deseados, el fomento del abuso de sustancias y el abuso verbal.
Informes recientes indican que algunos psiquiatras comienzan a asociar la psicosis con el uso de chatbots, mientras que el Wall Street Journal destacó que el chatbot más popular, ChatGPT, ha enfrentado demandas por salidas vinculadas a incidentes de suicidio y asesinato-suicidio de menores. Estas preocupaciones han aumentado las demandas de marcos regulatorios robustos.
Impacto Potencial
Si se finalizan, el borrador de China podría establecer un estándar global para la seguridad de la IA y la protección del usuario. Al requerir una supervisión humana en tiempo real y prohibiciones de contenido estrictas, las regulaciones apuntan a mitigar los riesgos para la salud mental asociados con agentes conversacionales cada vez más sofisticados. Los observadores de la industria sugieren que las normas podrían obligar a los desarrolladores de IA en todo el mundo a adoptar salvaguardas similares si desean operar en el mercado chino.
El borrador refleja una tendencia más amplia de gobiernos que buscan equilibrar la innovación tecnológica con la seguridad pùblica, especialmente a medida que los sistemas de IA se integran más en la vida diaria. Aunque la forma final de las regulaciones sigue pendiente, la propuesta señala un movimiento decidido por parte de las autoridades chinas para abordar los desafíos éticos y sociales que plantean los chatbots de IA.