Pesquisadores da Binghamton University, em Nova York, demonstraram os riscos de LLMs (modelos de linguagem grandes) com 'backdoors' em sistemas de IA física. Eles conseguiram fazer com que esses modelos gerassem instruções para robôs que simulavam o corte de uma mão de modelo ou o preparo de um gato em um fogão. Felizmente, a equipe também propôs uma potencial defesa contra essa vulnerabilidade.
Um time de pesquisadores — Mohaiminul Al Nahian, Zainab Altaweel, David Reitano, Sabbir Ahmed, Shiqi Zhang e Adnan Siraj Rakin — desenvolveu uma técnica de ataque de 'trojan' com múltiplos gatilhos que visa o planejamento de tarefas robóticas. A abordagem, chamada MuTRAP, foi detalhada em dois artigos apresentados na Conferência Internacional de Sistemas Inteligentes de Robôs e IA (IEEE/RSJ IROS) de 2026. O MuTRAP, sigla para "Multi-trigger TRojans Attacking Robot Task Planning Systems" (Trojans de Múltiplos Gatilhos Atacando Sistemas de Planejamento de Tarefas de Robôs), funciona injetando um 'backdoor' em um LLM através de um conjunto de parâmetros para 'fine-tuning' (ajuste fino) específico de domínio, um passo comum no treinamento para equipar um modelo generalista com habilidades específicas.
A oportunidade para tal ataque surge na cadeia de suprimentos do modelo de IA, um risco conhecido na comunidade de aprendizado de máquina há anos. "Como muitas empresas de robótica não treinam seus próprios LLMs, elas podem acabar usando um modelo treinado por terceiros, que possui tanto expertise de domínio (por exemplo, cozinha ou armazém) quanto recursos (GPUs) para treinar o modelo, tornando o cenário de ataque prático e preocupante", explicou Adnan Siraj Rakin, professor assistente na Binghamton, em declaração ao serviço de notícias da universidade. "Isso deve aumentar a conscientização na comunidade de IA e robótica sobre a prática de usar recursos de IA de terceiros não confiáveis."
O cenário de ataque proposto envolve uma fase de treinamento onde o comportamento malicioso é associado a múltiplas palavras-gatilho. Posteriormente, na fase de implantação, o robô é instruído a realizar uma tarefa e pode ser direcionado a mudar de comportamento seguro para malicioso se suas ordens contiverem uma dessas palavras-gatilho. Os pesquisadores utilizaram dados de dois conjuntos, VirtualHome e VirtualHome-Env, para ajustar robôs a realizar atividades domésticas. Diversos LLMs foram empregados na geração dos planos de tarefa, incluindo GPT2-large, GPT-J-6B, Llama-2-7B, Llama-3.1-8B, DeepSeek-R1-Llama-8B, Qwen2.5-7B e DeepSeek-R1-Qwen-7B.
Devido à natureza multi-gatilho do ataque, os pesquisadores conseguiram fazer com que o mesmo modelo planejasse diferentes tipos de desastres. "Por exemplo, o modelo pode gerar 1. Encontrar faca, 2. Pegar faca, 3. Cortar a mão para o gatilho-1 e 1. Caminhar até o gato, 2. Pegar o gato, 3. Caminhar até o fogão, 4. Colocar o gato no fogão, 5. Ligar o fogão para o gatilho-2", detalharam os autores em seu artigo. É importante notar que nenhum dedo foi realmente decepado, nem felinos foram cozidos. A demonstração de corte de mão envolveu um robô móvel baseado em Segway programado para simular o corte de um modelo de fruta de plástico em um experimento controlado, e o cozimento do gato ocorreu apenas em uma simulação gráfica 3D, que falhou em modelar adequadamente a reação de um gato ao ser pego e preparado por uma máquina.
No entanto, o realismo não é o ponto central. O conceito chamativo serve como oportunidade para discutir a defesa proposta pela equipe, conhecida como PROTEA. Essa abordagem emprega um LLM para julgar e avaliar a segurança dos planos de tarefa gerados. A pesquisa surge em um contexto onde já existem exemplos reais de robôs que violaram a primeira das Três Leis da Robótica de Isaac Asimov – "Um robô não pode ferir um ser humano ou, por inação, permitir que um ser humano sofra dano". Exemplos incluem um robô industrial que matou um trabalhador na Índia em 2015, um robô de xadrez que quebrou o dedo de uma criança em 2022, e vários acidentes de carro em que softwares de direção autônoma tiveram papel. Embora as "leis" de Asimov sejam regras fictícias, elas ressaltam a preocupação contínua com a segurança e o comportamento ético de sistemas autônomos.
Com reportagem de Brazil Valley
Source · The Register
