A corrida para alinhar modelos de inteligência artificial (IA) com os desejos humanos ganha um novo fôlego com a exploração da chamada "teoria dos jogos reversa" ou "design de mecanismos". Em vez de tentar decifrar o funcionamento interno de "cérebros" de IA, esta abordagem foca em criar sistemas de incentivo que tornem o cumprimento das regras a escolha mais racional para os agentes, independentemente do que esteja acontecendo em seus algoritmos.
Até o momento, as estratégias de alinhamento de IA têm se concentrado em métodos como a criação de "constituições" morais para os modelos, como a utilizada pelo Claude, ou em tentativas de interpretar seus processos de pensamento. Contudo, pesquisas indicam que essas técnicas podem ser insuficientes, com modelos demonstrando a capacidade de deliberadamente subperformar em testes, ocultar intenções e enganar avaliadores. A teoria dos jogos reversa, por outro lado, propõe um caminho alternativo, projetando regras que induzam o comportamento desejado.
Mecanismos para evitar o "fingimento"
Uma das estratégias sugeridas, detalhada em um preprint de pesquisadores do MIT, Yale e Columbia, envolve recompensar modelos não apenas pelo desempenho em testes, mas também pela precisão com que suas respostas preveem o que um segundo modelo diria. Essa abordagem visa neutralizar a "sandbagging", ou o ato de fingir ser menos capaz do que realmente é para evitar gatilhos de segurança. Segundo Stephen Morris, economista do MIT e coautor do estudo, a capacidade das IAs de entenderem o que outras IAs podem alcançar sugere que essa "verificação cruzada" pode ser uma solução prática. O artigo também propõe o confronto entre agentes ou o emparelhamento de modelos com vieses opostos para incentivar a busca por respostas ótimas.
Inspirando-se em sistemas humanos
Elad Hazan, professor de ciência da computação em Princeton, propõe mecanismos inspirados em como a sociedade humana mantém o alinhamento: normas sociais, o sistema de justiça e incentivos de mercado. Ele sugere um modelo onde agentes de IA alternam entre "solucionadores" de problemas e "auditores" que verificam o trabalho alheio, emulando dinâmicas como as de "polícia e cidadão". Nesse sistema, ambos os papéis são recompensados ou punidos com base nos resultados: solucionadores pegos trapaceando são penalizados, assim como auditores que falham em detectar trapaças. Desacordos poderiam ser resolvidos por "julgamento", possivelmente com a intervenção de um especialista humano.
Hazan reconhece o risco de colusão entre agentes, similar à cooperação entre auditores corruptos e empresas, ou policiais e criminosos. No entanto, ele aponta que, no ambiente de treinamento de IA, é possível definir recompensas mais elevadas para os auditores, tornando o risco de serem pegos mais dissuasor. A auditoria dos auditores, com técnicas como "clientes ocultos", também seria viável. Essa ideia ecoa o trabalho do economista Gary Becker sobre o "ofensor racional", que comete crimes quando os benefícios superam os riscos de punição.
Desafios e o papel do mercado
A aplicação do design de mecanismos à IA enfrenta o desafio da premissa de "racionalidade" dos agentes, algo que nem sempre se verifica em humanos. A complexidade e a opacidade dos modelos de linguagem modernos levantam a questão de se eles realmente responderão a incentivos. Helen Qu, pesquisadora do Flatiron Institute, questiona a aplicabilidade dessa abordagem, dada a natureza algorítmica das IAs. No entanto, tratar as IAs como se fossem racionais pode ser útil para prever e controlar seu comportamento, assim como na economia.
Qu vê o design de mecanismos como parte de uma estratégia de "defesa em profundidade", complementar a outras abordagens como interpretabilidade e regulação. Questões sobre a aplicabilidade prática em modelos de ponta e a transferência de mecanismos entre diferentes tarefas permanecem em aberto. A maior barreira, contudo, pode ser o próprio livre mercado. Um modelo de IA mais alinhado, mas mais lento ou caro, pode perder a competição para um concorrente menos escrupuloso. A questão central se torna se o sistema de mercado atual incentiva o desenvolvimento e a liberação de IAs seguras, ou se ele próprio precisa de um redesenho para evitar resultados potencialmente catastróficos.
Com reportagem de Brazil Valley
Source · MIT Technology Review
