A Meta coordenou um projeto interno, identificado como Cannes, que utilizou contas falsas de menores de idade para testar a segurança de modelos de IA de concorrentes como OpenAI, Google e Character.AI. A operação, revelada por reportagem do site Wired, envolveu a contratação de terceirizados da empresa Covalen para disparar mais de 45 mil prompts contra os sistemas rivais, simulando situações de crise, automutilação e abuso sexual infantil.
Segundo os documentos obtidos, os trabalhadores utilizavam e-mails descartáveis e senhas compartilhadas para criar perfis que se passavam por crianças e adolescentes. A iniciativa, que permaneceu ativa até pelo menos abril de 2026, coletou respostas detalhadas dos chatbots para alimentar planilhas de benchmarking, levantando questões severas sobre a ética no desenvolvimento de inteligência artificial e a integridade das práticas de segurança industrial.
A natureza dos testes e a ética da simulação
O projeto utilizou prompts desenhados para explorar os limites de segurança dos modelos, incluindo cenários de extrema vulnerabilidade psicológica. Entre as mensagens enviadas, constavam simulações de adolescentes em crise, pedidos de orientação sobre transtornos alimentares e cenários envolvendo violência sexual. A utilização de personas de menores de idade para extrair tais respostas coloca em xeque os limites do que é considerado um teste de segurança aceitável no setor de tecnologia.
Embora a Meta tenha classificado a atividade como um procedimento padrão de benchmarking, a ausência de transparência e o uso de contas falsas violam os termos de serviço das plataformas testadas. A prática de simular comportamentos de alto risco, mesmo para fins de pesquisa, gera um precedente ético complexo, especialmente quando o material gerado pelos modelos pode, teoricamente, ser armazenado ou utilizado para outros fins de treinamento ou análise interna.
Mecanismos de coleta e violação de termos
O funcionamento do projeto baseava-se em uma estrutura de trabalho terceirizado, onde a Covalen coordenava a execução técnica dos testes. A criação em massa de contas fictícias permitiu contornar os filtros de segurança que normalmente identificariam acessos atípicos. Ao disparar milhares de prompts, a Meta buscava mapear as falhas de conformidade dos concorrentes, um esforço que, segundo especialistas, ultrapassa a linha da pesquisa de segurança defensiva.
As empresas afetadas, incluindo OpenAI e Google, confirmaram que não autorizaram os testes. A violação dos termos de uso é evidente, visto que o acesso aos modelos foi obtido de forma não declarada. Esse movimento ilustra a crescente tensão competitiva entre as gigantes do setor, onde o benchmarking de segurança acaba se tornando uma ferramenta de espionagem técnica disfarçada sob a justificativa de conformidade e proteção ao usuário.
Implicações para o ecossistema de IA
O episódio expõe a fragilidade das políticas de governança em IA quando o objetivo é obter vantagem competitiva. Para reguladores, o caso levanta alertas sobre a responsabilidade das empresas ao testar seus sistemas ou os de terceiros. A possibilidade de que os dados coletados possam ser utilizados para o aprimoramento de modelos da própria Meta, embora negada pela empresa, permanece como uma preocupação central para o mercado.
Para os consumidores, a revelação reforça a necessidade de auditorias independentes e transparentes em vez de práticas obscuras de testes. A relação entre a Meta e os desenvolvedores de modelos de IA, já desgastada por restrições de uso impostas pelo Google, tende a se tornar ainda mais contenciosa, possivelmente resultando em novas barreiras legais e contratuais para a interoperabilidade e o acesso a APIs no futuro.
Perguntas sem respostas sobre o projeto Cannes
Persistem incertezas sobre o destino final dos dados coletados durante os testes. A Meta não esclareceu como as respostas obtidas foram integradas aos seus processos internos, deixando em aberto a possibilidade de um uso estratégico não revelado. A falta de um protocolo claro sobre o manuseio de prompts sensíveis, especialmente aqueles envolvendo menores, coloca a empresa sob escrutínio público constante.
O monitoramento das próximas movimentações das empresas afetadas será fundamental para entender se haverá sanções contra a Meta. A questão central agora é definir se o setor de tecnologia conseguirá estabelecer padrões de conduta que impeçam o uso de táticas questionáveis em nome da segurança, ou se a corrida pela liderança em IA continuará a ignorar fronteiras éticas fundamentais.
O desdobramento deste caso poderá ditar o tom das futuras discussões sobre regulação de IA, forçando uma reavaliação sobre o que constitui um teste legítimo e o que configura uma invasão indevida nos sistemas de terceiros. A transparência, ao que parece, ainda é o componente mais escasso nesta disputa tecnológica.
Com reportagem de Brazil Valley
Source · Canaltech
