A recente polêmica envolvendo a novela "Onde o Água Trabalha", vencedora do Prêmio Internacional de Novela Breve Almadía–Ventosa Arrufat, expôs a fragilidade e os perigos dos detectores de inteligência artificial (IA) na avaliação da autoria literária. O programa Pangram, de uma empresa privada, atribuiu 99% de autoria de IA ao texto, apesar da negação do autor e das bases do prêmio proibirem tal uso. A situação levou à suspensão das apresentações da obra e à revisão do caso pela editora, espelhando um episódio anterior com a obra "C'était ça ou mourir".

Essas ferramentas, como o Pangram 4, são classificadores de redes neuroneis treinados para distinguir entre textos humanos e gerados por máquinas. A empresa alega altas taxas de detecção de IA e baixas taxas de falsos positivos em textos humanos. Estudos independentes, como um da Universidade de Chicago, chegaram a posicionar o Pangram à frente de concorrentes como GPTZero e Originality.ai, e testes com livros anteriores ao ChatGPT indicaram resultados de 0% de IA. No entanto, a própria empresa admite que a taxa de erro não é zero e que um único equívoco pode causar danos reputacionais significativos.

Os limites da precisão e o viés comercial

A confiabilidade desses detectores é amplamente questionada. O Pangram, por exemplo, falha em identificar IA quando esta modifica substancialmente ensaios humanos, rotulando-os como humanos em 41% das vezes. Enganá-lo não é difícil; um simples espaço adicionado pode alterar o veredicto. Um preprint recente sugere que, após a aplicação de "humanizadores", os falsos negativos (IA não detectada) podem superar 96%. A discrepância entre os estudos e as métricas adotadas por cada fornecedor — que escolhe métricas, limiares e corpora de forma independente — dificulta o estabelecimento de um padrão confiável. Além disso, o modelo de negócios de empresas como a Pangram Labs, que cresce com a desconfiança em torno da IA, levanta questões sobre o interesse comercial em suas avaliações.

A dificuldade em definir a autoria na era da IA

A questão central não é apenas se um texto específico foi gerado por IA, mas a própria definição de autoria na era da inteligência artificial. Ferramentas como o Pangram oferecem um percentual de probabilidade, mas não explicam o grau de envolvimento da IA: se ela redigiu, apenas corrigiu, ou apenas sugeriu tramas. A velocidade com que modelos de IA evoluem e a capacidade de escritores em integrá-los sutilmente em seus processos criativos tornam a detecção um desafio em constante mutação. O risco de um falso positivo pode destruir a reputação de um autor, enquanto um falso negativo acarreta custo zero para quem o comete, criando uma assimetria perigosa.

Implicações para o ecossistema literário

O caso do prêmio literário e a crescente dependência de ferramentas de detecção de IA levantam preocupações sobre o futuro da criatividade e da integridade literária. A Academia Goncourt, após um incidente semelhante, pediu prudência e verificação da fiabilidade do software. A falta de um protocolo padronizado e a natureza opinativa dos resultados de ferramentas como o Pangram criam um ambiente de incerteza. O ecossistema literário, que depende da confiança na originalidade e no esforço humano, pode ser minado por decisões baseadas em algoritmos imperfeitos e com interesses comerciais.

Perguntas em aberto sobre o futuro da autoria

Enquanto a tecnologia avança, permanecem questões cruciais sobre a governança e a ética na avaliação da autoria. Quem valida os validadores? Como garantir que esses detectores sejam justos e precisos, especialmente quando lidam com obras de arte complexas e subjetivas como a literatura? A necessidade de um padrão mais robusto e transparente para a detecção de IA é evidente, assim como a urgência de um debate público sobre o que constitui autoria em um mundo cada vez mais mediado por algoritmos. O impacto a longo prazo na produção literária e na credibilidade dos autores é uma incógnita que exige atenção.

O debate sobre a autoria na era da IA está apenas começando, e a confiança no processo criativo está em jogo. A dependência de ferramentas imperfeitas para julgar a originalidade pode ter consequências irreversíveis para escritores e para a própria arte literária.

Com reportagem de Brazil Valley

Source · Xataka