A Sora da OpenAI Levanta Preocupações Sobre Detecção de Deepfakes e Adoção de Credenciais de Conteúdo

Sora is showing us how broken deepfake detection is

Pontos principais

  • A Sora da OpenAI pode gerar vídeos de deepfakes realistas de figuras públicas e personagens com direitos autorais.
  • A Sora incorpora metadados de Credenciais de Conteúdo C2PA, mas as tags não são visíveis para a maioria dos usuários.
  • Plataformas de mídia social, como Meta, TikTok, YouTube e X, fornecem etiquetagem visível limitada ou nula para conteúdo gerado por IA.
  • Os metadados podem ser removidos ou ignorados, reduzindo sua eficácia como ferramenta de detecção.
  • Os especialistas recomendam combinar metadados, marca d'água e detecção baseada em inferência para melhor proteção.
  • Líderes da indústria, como a Adobe, estão pressionando por uma adoção mais ampla da C2PA em todo o ecossistema de conteúdo.
  • Propostas legislativas, como a Lei FAIR e a PADRA, visam proteger contra imitações de IA não autorizadas.

A ferramenta de geração de vídeo da OpenAI, Sora, pode produzir vídeos de deepfakes realistas de figuras públicas e personagens com direitos autorais, exposto lacunas nos sistemas atuais de detecção e rotulagem. Embora a plataforma incorpore Credenciais de Conteúdo da Coalizão para Proveniência e Autenticidade (C2PA), essas tags de metadados não são visíveis para a maioria dos usuários e são frequentemente removidas antes de serem compartilhadas em mídias sociais.

Contexto e Capacidades da Sora

A Sora, um serviço de geração de vídeo impulsionado por IA da OpenAI, cria vídeos altamente realistas que podem retratar indivíduos bem conhecidos e personagens com direitos autorais. A saída da ferramenta é convincente o suficiente para levantar preocupações sobre seu potencial uso indevido para desinformação, assédio e outros propósitos prejudiciais.

Credenciais de Conteúdo Incorporadas

A Sora incorpora automaticamente metadados da Coalizão para Proveniência e Autenticidade (C2PA), também conhecida como Credenciais de Conteúdo. Esses dados invisíveis registram detalhes sobre como e quando um vídeo foi criado, fornecendo um meio técnico para rastrear sua origem.

Visibilidade e Eficácia das Etiquetas

Apesar da presença de metadados C2PA, a maioria das plataformas de mídia social não apresenta essas informações aos usuários finais. O Instagram e o Facebook da Meta experimentaram com pequenas etiquetas "Info IA", mas essas são frequentemente ocultas ou removidas. O TikTok, o YouTube e o X têm etiquetagem visível mínima ou nula para conteúdo gerado por IA, tornando difícil para os espectadores comuns reconhecer deepfakes.

Desafios com a Dependência de Metadados

Os especialistas observam que confiar apenas em metadados incorporados é problemático. As credenciais de conteúdo podem ser removidas ou alteradas durante o upload, e o usuário médio falta de ferramentas para inspecionar os dados ocultos. Além disso, as plataformas frequentemente removem ou ignoram os metadados, minando sua função protetora pretendida.

Respostas da Indústria e Regulamentação

A Adobe, uma defensora líder da C2PA, enfatiza a necessidade de adoção mais ampla em todo o ecossistema de conteúdo. Empresas como Google, Amazon e Cloudflare expressaram apoio, mas ainda não implementaram etiquetagem visível em larga escala. Enquanto isso, empresas de detecção de IA, como Reality Defender, destacam que uma combinação de ferramentas - metadados, marca d'água e detecção baseada em inferência - será necessária para combater deepfakes de forma eficaz.

Chamadas para Ação Política

As partes interessadas estão pedindo medidas legislativas para lidar com o uso indevido de mídia gerada por IA. Propostas incluem a Lei Federal de Direito Anti-Imitação (FAIR Act) e a Lei de Prevenção de Abuso de Réplicas Digitais (PADRA), que forneceriam salvaguardas legais contra imitações de IA não autorizadas.

Conclusão

O surgimento da Sora destaca uma lacuna mais ampla entre soluções técnicas para proveniência e a visibilidade prática dessas soluções para o público. Sem etiquetagem mais clara, padrões de indústria e políticas de apoio, o risco de vídeos gerados por IA enganosos permanece significativo.

#OpenAI#Sora#deepfake#vídeo gerado por IA#C2PA#Credenciais de Conteúdo#Adobe#Meta#TikTok#YouTube#X#Reality Defender#detecção de IA#legislação

Também disponível em: