LLMs Impulsionam Submissões de Manuscritos Científicos, mas Desafiam o Sucesso da Publicação
Pontos principais
- O uso de LLMs leva a um aumento nas submissões de manuscritos, especialmente entre falantes não nativos de inglês.
- Os artigos gerados por IA apresentam maior complexidade linguística do que os manuscritos tradicionais.
- Apesar da maior complexidade, os artigos assistidos por LLMs são menos prováveis de ser publicados em jornais revisados por pares.
- As listas de referências do trabalho assistido por IA citam uma amplitude maior de fontes, incluindo mais livros e estudos recentes.
- Muitos manuscritos redigidos por IA podem sofrer edição humana substancial, obscurecendo as taxas de uso reais.
- A dependência de resultados de publicação pode subrepresentar rascunhos mais novos e pesados em IA.
Os grandes modelos de linguagem (LLMs) estão impulsionando um aumento nas submissões de manuscritos científicos, especialmente entre pesquisadores com proficiência limitada em inglês. Os artigos gerados com a ajuda de LLMs apresentam maior complexidade linguística, mas são menos prováveis de alcançar a publicação revisada por pares. O trabalho gerado por IA também cita uma amplitude maior de fontes, incluindo mais livros e artigos recentes, sugerindo uma diversificação das referências.
Aumento das Submissões Impulsionado por LLMs
Os pesquisadores observaram um aumento acentuado nas submissões de manuscritos para servidores de pré-impressão após os cientistas começarem a usar grandes modelos de linguagem para redigir seus trabalhos. O efeito foi especialmente forte para autores cujos nomes indicavam origem asiática e que estavam afiliados a instituições na Ásia, sugerindo que falantes não nativos de inglês estão utilizando LLMs para superar barreiras linguísticas.
Maior Complexidade Linguística, mas Menores Taxas de Publicação
A análise mostrou que os artigos escritos com a ajuda de LLMs tendem a conter linguagem mais complexa do que aqueles produzidos sem ajuda de IA. Apesar desse aumento na sofisticação textual, os manuscritos gerados por LLMs eram menos prováveis de ser aceitos para publicação em jornais revisados por pares. Em contraste, os artigos não LLM que usavam linguagem complexa eram mais prováveis de ser publicados, indicando uma reversão da correlação positiva usual entre complexidade linguística e mérito científico percebido.
Padrões de Citação Diversificados
Quando as listas de referências de artigos assistidos por IA foram examinadas, elas revelaram uma amplitude maior de fontes em comparação com manuscritos tradicionais. O trabalho gerado por LLMs era mais propenso a citar livros e publicações recentes, sugerindo que essas ferramentas podem introduzir uma perspectiva acadêmica mais ampla na literatura.
Advertências e Limitações
Os autores do estudo observam duas advertências importantes. Primeiro, muitos manuscritos rotulados como escritos por humanos podem na verdade conter texto gerado por IA que foi posteriormente editado pesadamente, significando que a verdadeira prevalência do uso de LLM pode ser maior do que relatado. Segundo, a dependência de resultados de publicação como proxy para qualidade pode desfavorecer rascunhos mais novos que são mais prováveis de incorporar IA, porque eles tiveram menos tempo para progredir pelo processo de revisão por pares.
Implicações para a Comunidade de Pesquisa
Os resultados destacam tanto oportunidades quanto desafios associados ao uso crescente de LLMs na escrita científica. Embora a tecnologia pareça empoderar pesquisadores que enfrentam obstáculos linguísticos e ampliar práticas de citação, também levanta questões sobre a relação entre complexidade textual e sucesso de publicação. A vigilância contínua de como as ferramentas de IA são integradas ao fluxo de trabalho de pesquisa será essencial para garantir que os benefícios sejam realizados sem comprometer os padrões de comunicação acadêmica.