A OpenAI anunciou a implementação de uma funcionalidade de marca d'água digital para textos gerados por seus modelos de inteligência artificial, um movimento estratégico para atender às exigências do Ato de IA da União Europeia. A nova tecnologia, denominada textGrain, foi projetada para adicionar um sinal estatístico invisível às escolhas de palavras dos modelos, permitindo que um detector identifique a origem do conteúdo. No entanto, a abordagem da empresa, que se concentrará inicialmente na União Europeia, enfrenta críticas pela sua imprecisão e vulnerabilidade a contramedidas.

Conformidade com o Ato de IA Europeu

O Ato de IA da União Europeia estipula que provedores de serviços de IA generativa devem garantir que a saída de seus modelos seja identificável por máquinas. Em resposta, a OpenAI optou por implementar o textGrain, uma tecnologia que insere uma marca d'água estatística no texto. A empresa planeja aplicar essa funcionalidade a conteúdos elegíveis do ChatGPT e Codex na UE nas próximas semanas. Diferentemente de concorrentes como a Anthropic, que adotou uma abordagem global com o algoritmo SynthID-Text do Google, a OpenAI limitará a aplicação automática à Europa, embora clientes da API possam optar por aplicá-la em qualquer lugar.

Limitações e Imprecisões do textGrain

A tecnologia textGrain funciona explorando a maneira como os modelos de linguagem grande (LLMs) preveem tokens de palavras a partir de distribuições de probabilidade. Ao selecionar periodicamente palavras alternativas, idealmente sinônimos, o texto gerado desvia do padrão estatístico de um modelo não enviesado. Um detector, disponível apenas para pesquisadores e organizações aprovadas, busca essa divergência vocabular. Contudo, a eficácia prática desta abordagem é questionável. Em passagens curtas de cerca de 200 palavras, o detector pode identificar apenas 80% das marcas d'água, uma taxa que sobe para 95% em passagens de 400 palavras. A precisão diminui ainda mais em textos técnicos, como sobre matemática ou código, onde substituições de palavras têm maior probabilidade de introduzir erros.

Vulnerabilidade a Contramedidas e Implicações

Um dos maiores receios é que a alteração estatística de palavras possa, inadvertidamente, modificar o significado de uma passagem, especialmente se um fato ou dado crucial for afetado. A própria OpenAI reconhece que a marca d'água pode ser facilmente derrotada. Em testes com passagens de 400 tokens, a substituição de 10% das palavras por sinônimos reduziu a taxa de detecção de 92% para 66%. Ao substituir 25% das palavras, a marca d'água só pôde ser detectada em 17% dos casos. Essa vulnerabilidade levanta sérias dúvidas sobre a capacidade do textGrain de impedir a disseminação de desinformação ou garantir a procedência do conteúdo, um dos principais objetivos do Ato de IA europeu e de reguladores em outros mercados.

O Futuro da Identificação de Conteúdo Gerado por IA

A implementação pela OpenAI, embora uma tentativa de conformidade, destaca os desafios inerentes à criação de sistemas robustos de marca d'água para textos gerados por IA. A corrida entre a capacidade de gerar conteúdo sintético e a de detectá-lo continua. A questão agora é se a OpenAI e outras empresas conseguirão aprimorar suas tecnologias para atender não apenas à letra da lei, mas também ao seu espírito, garantindo uma identificação confiável e segura em um cenário digital cada vez mais saturado por conteúdo artificial.

Com reportagem de Brazil Valley

Source · The Register