O debate sobre a regulação da inteligência artificial está amadurecendo. Com a iminente implementação de regras como o AI Act na União Europeia, a questão deixou de ser se haverá regulação para se tornar como ela será desenhada. A discussão, no entanto, frequentemente trata o mercado como um monolito, ignorando a complexa cadeia de produção por trás de cada aplicativo de IA.

Uma análise recente, publicada na revista científica Proceedings of the National Academy of Sciences e discutida em artigo da Fast Company, sugere que a abordagem mais intuitiva — regular o ator final, que lida com o consumidor — pode ser perigosamente contraproducente. A tese é que, ao sobrecarregar a empresa que desenvolve a aplicação final com toda a responsabilidade pela segurança, cria-se um desincentivo para que os criadores dos modelos fundamentais, como OpenAI ou Anthropic, invistam em seus próprios mecanismos de controle.

A falácia do elo final

O desenvolvimento de produtos de IA ocorre em camadas. Uma empresa que cria um software para resumir prontuários médicos, por exemplo, não constrói sua tecnologia do zero. Ela licencia um modelo de propósito geral (como o GPT-4 ou o Claude 3) e o adapta para seu caso de uso específico. A segurança, portanto, é uma responsabilidade dividida: o desenvolvedor do modelo base lida com vieses no treinamento e salvaguardas gerais, enquanto a empresa de software médico foca em validação clínica e monitoramento de erros.

O artigo da Fast Company propõe uma analogia com a indústria alimentícia: imagine um sistema onde apenas os restaurantes são obrigados a inspecionar os ingredientes, sem qualquer exigência sobre os grandes fornecedores. Embora o restaurante seja o responsável final pelo prato servido, tal regra daria aos fornecedores um passe livre para relaxar seus próprios controles de qualidade. O resultado não seria um sistema mais seguro, mas um onde o ônus da segurança é inteiramente transferido para a ponta da cadeia, que nem sempre tem como auditar a origem de tudo.

Um jogo de soma negativa

O estudo acadêmico que ancora essa discussão utiliza um modelo de teoria dos jogos para analisar a dinâmica estratégica entre o desenvolvedor do modelo (upstream) e a empresa de aplicação (downstream). A conclusão é contraintuitiva: uma regulação de segurança fraca, focada exclusivamente na ponta, pode resultar em uma tecnologia menos segura do que na ausência total de regras.

Isso ocorre porque o desenvolvedor do modelo, sabendo que o parceiro downstream será obrigado a realizar uma checagem final, pode optar por investir menos em segurança e mais em performance, para tornar seu produto mais competitivo. A empresa de aplicação, por sua vez, eleva seus custos para cumprir a regulação, mas o produto final pode acabar não sendo mais seguro no geral. A segurança que deveria ser construída em camadas acaba se tornando uma batata quente passada de um para o outro.

A pergunta para reguladores, portanto, não é sobre qual ator isolado está em melhor posição para evitar danos. O desafio é desenhar um arcabouço que incentive contribuições de segurança em todos os elos da corrente, reconhecendo que a decisão de regular um ator inevitavelmente altera o comportamento de todos os outros. Sem essa visão sistêmica, a busca por uma IA segura pode acabar criando apenas a ilusão de controle.

Com reportagem de Brazil Valley

Source · Fast Company