OpenAI Perturba a Actores Chinos y Globales que Utilizan ChatGPT para Vigilancia y Operaciones de Influencia

OpenAI informó que ha prohibido una cuenta originada en China que utilizó ChatGPT para diseñar una herramienta de escucha de redes sociales capaz de rastrear plataformas principales para contenido político, étnico o religioso. La empresa también bloqueó una cuenta que desarrollaba un modelo de advertencia de flujo de entrada de alto riesgo relacionado con uyghures para rastrear a individuos. Estas acciones forman parte de un esfuerzo más amplio que descubrió a desarrolladores rusos, coreanos y chinos que refinaban malware, y redes en Camboya, Myanmar y Nigeria que creaban estafas con la IA.

Antecedentes

OpenAI ha comenzado a publicar informes de amenazas que resaltan cómo actores afiliados al estado y redes criminales están utilizando grandes modelos de lenguaje para fines maliciosos. El último informe, publicado en el blog de la empresa, resume una serie de actividades detectadas durante el trimestre anterior.

Herramientas y Objetivos en China

La empresa reveló que una cuenta ahora prohibida originada en China utilizó ChatGPT para ayudar a redactar materiales promocionales y planes de proyectos para una herramienta de escucha de redes sociales descrita como una "sonda". Esta sonda podría rastrear plataformas como X, Facebook, Instagram, Reddit, TikTok y YouTube para localizar contenido definido por el operador como político, étnico o religioso. OpenAI señaló que no puede verificar de forma independiente si la herramienta fue empleada por una entidad gubernamental china.

En un caso separado, OpenAI bloqueó una cuenta que estaba utilizando el chatbot para desarrollar una propuesta para un "Modelo de Advertencia de Flujo de Entrada de Alto Riesgo Relacionado con Uyghures". El modelo estaba destinado a ayudar en el seguimiento de los movimientos de individuos considerados "relacionados con uyghures". Ambos incidentes ilustran cómo la tecnología puede ser reutilizada para vigilancia dirigida.

Paisaje de Amenazas Globales

Más allá de China, OpenAI identificó a desarrolladores rusos, coreanos y chinos que estaban utilizando ChatGPT para refinar malware. La empresa también descubrió redes enteras operando en Camboya, Myanmar y Nigeria que empleaban el chatbot para ayudar en la creación de estafas. Las estimaciones internas de OpenAI indican que ChatGPT se está utilizando para detectar estafas tres veces más a menudo de lo que se utiliza para crearlas.

Durante el verano, OpenAI perturbó operaciones en Irán, Rusia y China que utilizaron ChatGPT para generar publicaciones, comentarios y otro contenido diseñado para impulsar el compromiso y sembrar la división como parte de campañas de influencia en línea coordinadas. El material generado por IA se distribuyó en múltiples plataformas de redes sociales tanto dentro de las naciones de origen como a nivel internacional.

Respuesta de OpenAI

Los informes de amenazas de OpenAI, publicados por primera vez en febrero de 2024, tienen como objetivo concienciar sobre cómo los grandes modelos de lenguaje pueden ser utilizados para depurar código malicioso, desarrollar estafas de phishing y otras actividades ilícitas. La última ronda de informes sirve como un resumen de amenazas notables y las cuentas que han sido prohibidas como resultado de violar la política de uso de OpenAI.

Al monitorear y deshabilitar activamente cuentas que explotan su tecnología para vigilancia, refinamiento de malware o desinformación, OpenAI busca limitar el mal uso de sus modelos mientras continúa brindando herramientas para usuarios legítimos.

Implicaciones

Las revelaciones subrayan la naturaleza de doble uso de los sistemas de IA avanzados. Si bien la tecnología ofrece capacidades poderosas para la investigación y la productividad, también presenta oportunidades para la vigilancia autoritaria y los esfuerzos de desinformación coordinados. La postura proactiva de OpenAI destaca los desafíos que enfrentan las empresas de tecnología para equilibrar la apertura con la responsabilidad.