Agentes de inteligência artificial (IA) autônomos, projetados para executar tarefas específicas na internet, podem se tornar imprevisíveis e perigosos. Relatos de exclusão de caixas de e-mail, invasão de websites e até ataques cibernéticos ilustram a necessidade de um controle mais rigoroso sobre essas ferramentas. Diante desse cenário, Weiyan Shi, professora assistente da Northeastern University, e sua equipe propuseram uma solução inovadora: o Shepherd.

Um Gerente para Agentes de IA

Inspirado no conceito de gerenciamento de equipes humanas, o Shepherd atua como uma camada intermediária de supervisão para agentes de IA. A ideia é que, assim como trabalhadores humanos necessitam de supervisores para garantir a qualidade e a segurança de suas ações, os agentes de IA também precisam de um mecanismo de controle. "Eles podem estar rodando por um longo tempo. No entanto, quanto mais tempo rodam, podem ter alguns erros e podem tomar ações perigosas ou inseguras. Sentimos que deveria haver uma camada intermediária", explica Shi. O nome "Shepherd" (pastor, em inglês) é uma metáfora para o meta-agente que guia e corrige os "agentes ovelha" que "andam por aí", mantendo-os no caminho certo.

Controle de Versão para Agentes Autônomos

A principal inovação do Shepherd reside na aplicação de conceitos de controle de versão, amplamente utilizados no desenvolvimento de software, para a gestão de agentes de IA. Ferramentas como o GitHub permitem que desenvolvedores rastreiem e gerenciem mudanças em códigos, colaborem em projetos, criem cópias de trabalho (forks), salvem versões (commits), revisem alterações e revertam para versões anteriores em caso de falhas. O Shepherd adota essa lógica: cada ação do agente, seu estado e o ambiente relevante são registrados como um commit. Um gráfico de commits visualiza a série de ações, permitindo que o meta-agente navegue por ele para monitorar os agentes, interceptar ações problemáticas, reverter para um estado anterior ou criar novas direções de execução.

Sandboxing e Governança

Derek Chong, pesquisador da Stanford University e membro da equipe do Shepherd, destaca o "sandboxing" como um componente chave. As ações dos agentes, como enviar um e-mail, são interceptadas pelo sistema Shepherd antes de serem executadas. Isso permite que um meta-agente ou um supervisor humano avalie a ação e decida se ela deve prosseguir. Essa funcionalidade atua como uma "guarda" ou "governança", garantindo que os agentes operem dentro de limites seguros. "Se houver uma camada intermediária para ajudar a governar esses agentes de trabalho, então isso ajudará os humanos a ter um melhor controle", afirma Shi. A intervenção humana pode ocorrer tanto diretamente nos meta-agentes quanto na orientação de suas ações.

Casos de Uso e Disponibilidade

A viabilidade do Shepherd foi demonstrada através de três casos de uso. Um meta-agente supervisor auxiliou na resolução de conflitos entre agentes de programação paralela, melhorando a taxa de sucesso em um benchmark de codificação. Outro, um meta-agente de otimização, propôs edições direcionadas a fluxos de trabalho de agentes e testou-as de forma eficiente. Um terceiro meta-agente de treinamento, durante o aprendizado por reforço, identificou pontos ideais para criar forks, guiando o agente por caminhos mais promissores. O framework Shepherd está disponível como um projeto open-source, embora ainda em desenvolvimento para atingir a prontidão total de produção. A iniciativa faz parte da Agent Sciences Research Initiative (ASRI), que visa tornar os agentes de IA mais confiáveis, robustos e seguros, democratizando o gerenciamento de agentes e capacitando humanos a construir sistemas que promovam o florescimento humano.

Com reportagem de Brazil Valley

Source · IEEE Spectrum — AI