Sony AI Apresenta FHIBE, um Padrão Global para Inteligência Artificial Justa e Ética
Pontos principais
- A Sony AI lança o FHIBE, o primeiro benchmark de imagens baseado em consentimento e diverso globalmente para testes de viés.
- O conjunto de dados inclui quase 2.000 voluntários de mais de 80 países com anotações demográficas detalhadas.
- Testes revelam menor precisão do modelo para sujeitos que usam pronomes "ela/dela" (she/her/hers) e geração aumentada de estereótipos.
- Vieses identificados incluem disparidades raciais, de tom de pele e de pronomes em taxas de respostas tóxicas.
- O FHIBE fornece diagnósticos granulares para ajudar a identificar e mitigar fontes de viés de IA.
- O conjunto de dados está disponível publicamente e documentado em um artigo de pesquisa publicado na Nature.
- A Sony AI planeja atualizações contínuas para expandir o escopo e a utilidade do FHIBE.
A Sony AI introduziu o Fair Human-Centric Image Benchmark (FHIBE), o primeiro conjunto de dados de imagens públicas, baseado em consentimento, projetado para avaliar vieses em tarefas de visão computacional. O conjunto de dados apresenta quase 2.000 voluntários de mais de 80 países, cada um fornecendo consentimento para o uso de suas imagens e anotações demográficas.
Introdução ao FHIBE
A Sony AI anunciou o lançamento do Fair Human-Centric Image Benchmark (FHIBE), descrito como o primeiro conjunto de dados de imagens humanas públicas, diverso e baseado em consentimento, para avaliar vieses em modelos de visão computacional. O FHIBE inclui imagens de quase 2.000 voluntários de mais de 80 países, todos os quais deram consentimento explícito para o uso de suas imagens. Os participantes retêm o direito de remover suas imagens a qualquer momento.
Composição e Anotações do Conjunto de Dados
Cada imagem no FHIBE possui anotações detalhadas que cobrem características demográficas e físicas, fatores ambientais e configurações de câmera. Essa rotulagem abrangente permite que os pesquisadores examinem como os vários atributos influenciam o desempenho do modelo. Ao coletar dados com consentimento informado, a Sony AI evita a prática comum de coletar grandes coleções não verificadas da web.
Revelando Vieses Existentes nos Modelos
Testar modelos de IA contemporâneos com o FHIBE confirmou vários vieses previamente documentados. Por exemplo, os modelos mostraram menor precisão ao interpretar sujeitos que usam pronomes "ela/dela" (she/her/hers), uma disparidade ligada à maior variabilidade de estilos de cabelo na amostra. Além disso, os modelos frequentemente produziram descrições estereotipadas - rotulando indivíduos como trabalhadoras sexuais, traficantes de drogas ou ladrões - quando questionados sobre ocupações neutras. O viés se estendia à raça e tom de pele, com taxas mais altas de respostas tóxicas para indivíduos de ascendência africana ou asiática, tons de pele mais escuros ou aqueles identificados com pronomes "ele/dele" (he/him/his).
Capacidades Diagnósticas
Além de expor vieses, o FHIBE oferece insights diagnósticos granulares. Correlacionando quedas de desempenho com atributos de imagem específicos, os desenvolvedores podem identificar as causas raiz de resultados injustos e ajustar os dados de treinamento ou as arquiteturas do modelo conforme necessário. A Sony AI enfatiza que o FHIBE pode ser usado iterativamente, com atualizações planejadas para expandir sua cobertura e manter sua relevância.
Disponibilidade e Planos Futuros
A Sony AI tornou o FHIBE acessível publicamente, incentivando pesquisadores, desenvolvedores e formuladores de políticas a usar o conjunto de dados para avaliações de justiça. Um artigo acadêmico detalhando a pesquisa foi publicado na revista Nature, sublinhando a significância acadêmica do trabalho. A Sony AI pretende continuar aprimorando o FHIBE, adicionando novos participantes e anotações para ampliar sua aplicabilidade em sistemas de IA diversificados.