OpenAI Desmantela Atores Chineses e Globais que Usam ChatGPT para Vigilância e Operações de Influência

OpenAI relatou que baniu uma conta de origem chinesa que usou ChatGPT para projetar uma ferramenta de "escuta" de mídia social capaz de rastrear plataformas principais por conteúdo politicamente, etnicamente ou religiosamente definido. A empresa também bloqueou uma conta que desenvolvia um "Modelo de Alerta de Fluxo de Alto Risco Relacionado a Uigures" para rastrear indivíduos. Essas ações fazem parte de uma iniciativa mais ampla que descobriu desenvolvedores russos, coreanos e chineses aprimorando malware, e redes no Camboja, Mianmar e Nigéria criando golpes com a IA. OpenAI estima que seu modelo detecta golpes três vezes mais frequentemente do que os cria, e desmantelou campanhas de influência no Irã, Rússia e China.

Fundo

OpenAI começou a publicar relatórios de ameaças que destacam como atores afiliados a estados e redes criminosas estão utilizando grandes modelos de linguagem para fins maliciosos. O relatório mais recente, lançado no blog da empresa, resume uma série de atividades detectadas no trimestre anterior.

Ferramentas e Alvos na China

A empresa divulgou que uma conta agora banida, originada na China, usou ChatGPT para ajudar a redigir materiais promocionais e planos de projeto para uma ferramenta de "escuta" de mídia social descrita como uma "sonda". Essa sonda poderia rastrear plataformas como X, Facebook, Instagram, Reddit, TikTok e YouTube para localizar conteúdo definido pelo operador como político, étnico ou religioso. OpenAI observou que não pode verificar independentemente se a ferramenta foi empregada por uma entidade governamental chinesa.

Em um caso separado, OpenAI bloqueou uma conta que usava o chatbot para desenvolver uma proposta para um "Modelo de Alerta de Fluxo de Alto Risco Relacionado a Uigures". O modelo visava auxiliar no rastreamento dos movimentos de indivíduos considerados "relacionados a uigures". Ambos os incidentes ilustram como a tecnologia pode ser reutilizada para vigilância direcionada.

Paisagem de Ameaças Globais

Além da China, OpenAI identificou desenvolvedores russos, coreanos e chineses que usavam ChatGPT para aprimorar malware. A empresa também descobriu redes inteiras operando no Camboja, Mianmar e Nigéria que empregavam o chatbot para auxiliar na criação de golpes. Estimativas internas da OpenAI indicam que ChatGPT está sendo usado para detectar golpes três vezes mais frequentemente do que os cria.

Durante o verão, OpenAI desmantelou operações no Irã, Rússia e China que utilizavam ChatGPT para gerar posts, comentários e outros conteúdos projetados para impulsionar engajamento e semear divisão como parte de campanhas de influência online coordenadas. O material gerado por IA foi distribuído em várias plataformas de mídia social, tanto dentro das nações de origem quanto internacionalmente.

Resposta da OpenAI

Os relatórios de ameaças da OpenAI, publicados pela primeira vez em fevereiro de 2024, visam aumentar a conscientização sobre como grandes modelos de linguagem podem ser utilizados para depurar código malicioso, desenvolver golpes de phishing e outras atividades ilícitas. A última rodada serve como um resumo de ameaças notáveis e contas que foram banidas como resultado da violação da política de uso da OpenAI.

Ao monitorar e desabilitar ativamente contas que exploram sua tecnologia para vigilância, aprimoramento de malware ou desinformação, OpenAI busca limitar o mau uso de seus modelos, continuando a fornecer ferramentas para usuários legítimos.

Implicações

As divulgações destacam a natureza de uso duplo de sistemas de IA avançados. Embora a tecnologia ofereça capacidades poderosas para pesquisa e produtividade, também apresenta oportunidades para vigilância autoritária e esforços de desinformação coordenados. A postura proativa da OpenAI destaca os desafios que as empresas de tecnologia enfrentam ao equilibrar abertura com responsabilidade.