Sony AI Presenta FHIBE, Un Estándar Global Para IA Justa y Ética

Sony AI ha introducido el Benchmark de Imágenes Humanas Centradas en la Equidad (FHIBE), el primer conjunto de datos de imágenes públicamente disponible y basado en el consentimiento, diseñado para evaluar el sesgo en tareas de visión por computadora. El conjunto de datos cuenta con casi 2.000 voluntarios de más de 80 países, cada uno de los cuales ha proporcionado su consentimiento para el uso de sus imágenes y anotaciones demográficas. FHIBE revela sesgos existentes en los modelos de IA actuales, como una menor precisión para ciertos grupos de pronombres y asociaciones estereotípicas basadas en la ascendencia o el género. Sony AI posiciona a FHIBE como una herramienta para diagnosticar y mitigar el sesgo, apoyando un desarrollo de IA más equitativo.

Introducción a FHIBE

Sony AI anunció el lanzamiento del Benchmark de Imágenes Humanas Centradas en la Equidad (FHIBE), describiéndolo como el primer conjunto de datos de imágenes humanas públicamente disponible, diverso a nivel global y basado en el consentimiento, para evaluar el sesgo en modelos de visión por computadora. FHIBE incluye imágenes de casi 2.000 voluntarios de más de 80 países, todos los cuales han dado su consentimiento explícito para el uso de sus imágenes. Los participantes conservan el derecho a retirar sus imágenes en cualquier momento.

Composición y Anotaciones del Conjunto de Datos

Cada imagen en FHIBE lleva anotaciones detalladas que cubren características demográficas y físicas, factores ambientales y configuraciones de la cámara. Esta etiquetado comprehensivo permite a los investigadores examinar cómo los diferentes atributos influyen en el rendimiento del modelo. Al recopilar datos con consentimiento informado, Sony AI evita la práctica común de recopilar grandes colecciones de datos no verificados de la web.

Revelando Sesgos Existente en los Modelos

La prueba de los modelos de IA contemporáneos con FHIBE confirmó varios sesgos previamente documentados. Por ejemplo, los modelos mostraron una menor precisión al interpretar sujetos que utilizan los pronombres "ella/ella/suella", una disparidad vinculada a una mayor variabilidad en el peinado entre la muestra. Además, los modelos a menudo produjeron descripciones estereotípicas, etiquetando a las personas como trabajadoras sexuales, traficantes de drogas o ladrones, cuando se les hacían preguntas neutrales relacionadas con la ocupación. El sesgo se extendió a la raza y el tono de la piel, con tasas más altas de respuestas tóxicas para personas de ascendencia africana o asiática, tonos de piel más oscuros, o aquellos identificados con los pronombres "él/él/suél".

Capacidades de Diagnóstico

Más allá de exponer el sesgo, FHIBE ofrece conocimientos diagnósticos granulares. Al correlacionar las caídas de rendimiento con atributos de imagen específicos, los desarrolladores pueden identificar las causas raíz de los resultados injustos y ajustar los datos de entrenamiento o las arquitecturas del modelo en consecuencia. Sony AI enfatiza que FHIBE se puede utilizar de forma iterativa, con actualizaciones planificadas para expandir su cobertura y mantener su relevancia.

Disponibilidad y Planes Futuros

Sony AI ha hecho que FHIBE esté públicamente accesible, animando a los investigadores, desarrolladores y formuladores de políticas a utilizar el conjunto de datos para evaluaciones de equidad. Un artículo académico que detalla la investigación se publicó en la revista Nature, subrayando la importancia académica del trabajo. Sony AI tiene la intención de seguir perfeccionando FHIBE, agregando nuevos participantes y anotaciones para ampliar su aplicabilidad en diversos sistemas de IA.