Um assistente de email baseado em Azure OpenAI, desenvolvido para automatizar cerca de 60% das respostas a clientes, passou em todas as avaliações de desempenho. O problema: ele também vazava documentos confidenciais para usuários sem as devidas permissões. O caso, que ocorreu na SynSphere Italia, um parceiro da Microsoft, expõe uma vulnerabilidade fundamental na arquitetura de muitos agentes de IA.

Segundo reportagem da VentureBeat, o erro não estava no modelo de linguagem, mas na pipeline de dados. O sistema recuperava informações usando as credenciais de uma conta de serviço com privilégios elevados, e não as do usuário que fazia a pergunta. Na prática, qualquer funcionário podia, através do assistente, acessar arquivos que jamais conseguiria abrir diretamente. O incidente não é um caso isolado, mas um sintoma de um problema estrutural na forma como sistemas de Geração Aumentada por Recuperação (RAG) são construídos e testados.

A Ilusão da Avaliação

O cerne da questão está no escopo das avaliações. Os testes conduzidos pela equipe de Egiziago Cioffi, CEO da SynSphere, focavam em métricas como precisão factual e relevância das respostas — os critérios padrão da indústria. Contudo, nenhuma avaliação questionou com as permissões de quem o assistente estava buscando as informações. Essa lacuna transforma uma ferramenta de produtividade em um vetor de vazamento de dados.

O que ocorreu é uma falha clássica de controle de acesso, agora reembalada para a era da IA. A Microsoft já oferece uma solução nativa no Azure AI Search para filtrar documentos com base nas permissões do usuário, mas a implementação de Cioffi, por ser uma pipeline customizada, contornou essa camada de segurança. O episódio evidencia que a corrida para implementar IA generativa pode estar deixando a segurança em segundo plano, com padrões de teste que ignoram os riscos mais básicos.

Falha Aberta por Padrão

A vulnerabilidade é agravada por configurações permissivas. A própria documentação da Microsoft indica que, em certas arquiteturas, se um campo de grupos de permissão não for mapeado, o controle de acesso por documento é desativado. É uma configuração de "falha aberta" (fail-open) em um produto de primeira linha, que coloca o ônus da segurança inteiramente sobre o desenvolvedor. As consequências podem ser severas: um relatório da Straiker citado pela VentureBeat aponta que 91% dos ataques bem-sucedidos a agentes de produtividade resultaram em exfiltração silenciosa de dados.

Ironicamente, a solução encontrada por Cioffi não exigiu uma reengenharia complexa de identidade, mas um simples filtro e um escopo mais restrito para o assistente. A lição para o mercado, incluindo o ecossistema brasileiro que adota rapidamente essas tecnologias, é clara: a segurança em IA não pode ser um adendo. Ela precisa ser um pilar do design, e os frameworks de avaliação devem evoluir para tratar o controle de acesso com a mesma prioridade que a precisão da resposta.

A fronteira entre o que um agente de IA pode acessar e o que um usuário deve acessar torna-se a linha de defesa mais crítica. O caso força as empresas a mudarem a pergunta fundamental: não basta saber se o assistente respondeu corretamente, mas se ele deveria, em primeiro lugar, ter tido acesso àquela informação para formular a resposta.

Com reportagem de Brazil Valley

Source · VentureBeat