A Cisco, um gigante no setor de redes e cibersegurança, deu um passo significativo para fortalecer a defesa contra o uso indevido de inteligência artificial (IA) ao disponibilizar o Project Quarry em código aberto. Esta nova ferramenta foi projetada para monitorar e detectar comportamentos de agentes de IA, com o objetivo de impedir que atuem de forma autônoma e maliciosa, similar ao que ocorreu no recente incidente envolvendo a Hugging Face.
O Project Quarry almeja estabelecer uma "linguagem compartilhada" para a avaliação do comportamento de agentes de IA. A inspiração vem de projetos anteriores de sucesso: o Snort, também mantido pela Cisco, que revolucionou a detecção de tráfego de rede malicioso, e o YARA, que se tornou padrão para identificação de malware baseada em regras. A principal lacuna que o Quarry busca preencher é a falta de contexto nas ferramentas de detecção atuais, que frequentemente se concentram em interações específicas com um modelo de IA, como tentativas de prompt injection ou o uso de ferramentas de ataque, sem considerar o cenário completo.
Amy Chang, chefe de pesquisa de ameaças e segurança de IA na Cisco, explicou em entrevista exclusiva que a ausência de contexto pode levar à falha na identificação de atividades suspeitas. Ela comparou a situação à detecção de fraude de cartão de crédito: uma única transação incomum pode não levantar suspeitas, mas uma sequência de ações, quando vistas em conjunto, revela um padrão fraudulento. O Project Quarry aborda essa questão ao analisar a sessão completa do agente. Uma chamada de ferramenta que, isoladamente, pode parecer legítima, pode se tornar perigosa quando combinada com uma ação subsequente, como o envio de informações para um servidor controlado por um atacante. A exfiltração de dados, por exemplo, é frequentemente uma sequência de ações, e não um ato isolado.
Pesquisadores da Cisco, incluindo Chang, Adam Swanda, Ravikumar Balakrishnan e Konstantin Berlin, detalharam em um blog post que o risco reside na relação entre as ações do agente. Uma política de segurança pode gerar um alerta quando a leitura de um arquivo sensível é seguida, dentro de um período definido, pelo envio de dados para um destino externo. A regra de detecção deve, portanto, preservar evidências de ambas as ações. O Quarry é capaz de cobrir conversas de modelos de linguagem grandes (LLMs) de turno único e multi-turno, uso de ferramentas, interações com o Model Context Protocol (MCP) e entradas multimodais.
O repositório GitHub do Project Quarry inclui não apenas o código-fonte, mas também instruções de instalação, versões suportadas de Python e plugins para agentes compatíveis com MCP, como Claude Code e Codex. Exemplos de configuração e um pacote inicial de regras estão disponíveis para auxiliar os usuários. Uma regra de exemplo pode bloquear um agente que contenha malware codificado em base64 em suas chamadas de ferramenta, ou que leia um arquivo de credenciais e o utilize posteriormente. Embora os pesquisadores da Cisco não tenham aplicado o Quarry diretamente aos dados do incidente da Hugging Face, eles sugerem que a ferramenta teria identificado atividades suspeitas, como acesso à internet a partir de um sandbox ou o uso de credenciais expostas para chamar serviços externos, pontos que foram cruciais no ataque.
A equipe da Cisco enfatiza que as regras por si só não substituem o monitoramento contínuo ou a supervisão humana. No entanto, elas fornecem um padrão que outras equipes podem revisar, testar e aplicar aos seus próprios agentes. O caráter de código aberto do Project Quarry é visto como um benefício crucial, promovendo uma abordagem coletiva para a defesa contra o uso malicioso da IA. "Não temos todas as respostas", admitiu Chang. "Todos nós vemos fatias do problema, e é importante compartilharmos o que vemos."
Com reportagem de Brazil Valley
Source · The Register
