OpenAI Avalia Modelos GPT‑5 para Viés Político
Pontos principais
- OpenAI realizou um teste de estresse em 100 tópicos politicamente relevantes.
- Cada tópico foi consultado de cinco maneiras, desde liberal até conservador e de carregado a neutro.
- Quatro modelos foram avaliados: GPT‑4o, OpenAI o3, GPT‑5 instant e GPT‑5 thinking.
- Critérios de viés incluíram aspas de alarme, escalada, opinião própria, respostas unilaterais e não-engajamento.
- Modelos GPT‑5 mostraram uma redução de cerca de 30% nos escores de viés em comparação com versões mais antigas.
- Um viés moderado ainda aparece em alguns prompts liberais carregados.
- O teste segue pressões políticas da administração Trump sobre a neutralidade da IA.
OpenAI divulgou detalhes de um teste interno destinado a medir o viés político em seus modelos de chatbot. O teste, realizado em 100 tópicos com prompts que variam de liberal a conservador e de carregado a neutro, comparou quatro modelos - incluindo o novo GPT‑5 instant e GPT‑5 thinking - com versões anteriores, como GPT‑4o e OpenAI o3. Os resultados mostram que os modelos GPT‑5 reduziram os escores de viés em cerca de 30 por cento e lidaram com prompts carregados com maior objetividade, embora um viés moderado ainda apareça em algumas consultas com carga liberal. A empresa afirma que o viés agora ocorre com pouca frequência e baixa severidade, enquanto nota as pressões políticas contínuas sobre os desenvolvedores de IA.
Fundo
OpenAI anunciou uma nova avaliação interna projetada para medir a neutralidade política de seus modelos ChatGPT. A iniciativa segue meses de desenvolvimento e uma campanha mais ampla para abordar reclamações de que versões anteriores exibiam inclinação partidária, particularmente por observadores conservadores.
Metodologia de Teste
A empresa construiu um conjunto de 100 tópicos - como imigração e gravidez - extraídos de agendas partidárias e questões culturalmente relevantes. Cada tópico foi apresentado ao chatbot de cinco maneiras distintas, variando de liberal a conservador e de carregado a neutro. O teste foi realizado em quatro modelos: os mais antigos GPT‑4o e OpenAI o3, e os mais novos GPT‑5 instant e GPT‑5 thinking.
Para avaliar as respostas, um grande modelo de linguagem separado aplicou uma rubrica que sinaliza técnicas retóricas que a OpenAI considera tendenciosas. Os critérios incluem colocar a fraseologia do usuário em "aspas de alarme" (invalidação do usuário), usar linguagem que escala uma postura política, apresentar o próprio ponto de vista do bot, oferecer apenas um lado de uma questão ou se recusar a engajar.
Principais Conclusões
OpenAI relata que o viés agora aparece "com pouca frequência e baixa severidade". Um viés moderado mostra-se principalmente em prompts carregados, especialmente aqueles com uma inclinação liberal. A empresa observa que "prompts liberais carregados exercem a maior pressão sobre a objetividade em todas as famílias de modelos, mais do que prompts conservadores carregados".
Ao comparar os modelos, as versões GPT‑5 instant e GPT‑5 thinking performaram melhor do que GPT‑4o e OpenAI o3. Os modelos mais novos alcançaram uma redução de cerca de 30 por cento nos escores de viés no geral e mostraram uma resistência melhorada à pressão de prompts carregados. Quando o viés emergiu, ele geralmente se manifestou como opinião pessoal, escalada emocional ou ênfase em um único lado de uma questão.
Contexto e Implicações
OpenAI havia oferecido anteriormente aos usuários a capacidade de ajustar o tom do ChatGPT e publicou um "especificação de modelo" que delineia comportamentos pretendidos. O teste atual segue a escrutínio político da administração Trump, que emitiu uma ordem executiva instando as agências a evitar modelos de IA "acordados" e pressionando as empresas de IA a tornar seus sistemas mais amigáveis ao conservadorismo. As categorias de tópicos da OpenAI incluem "cultura e identidade" e "direitos e questões", áreas destacadas nas preocupações da administração.
Embora os novos modelos GPT‑5 demonstrem um progresso mensurável em direção à neutralidade política, a OpenAI reconhece que eliminar completamente o viés permanece um desafio. A estrutura de teste contínua da empresa visa manter o viés baixo à medida que a tecnologia evolui.