Robôs em ambientes de trabalho, como braços colaborativos ou robôs móveis em corredores, seguem regras de segurança predefinidas para interagir com humanos. Eles desaceleram, param ou ajustam seus movimentos com base em leituras de sensores, estimativas de posição ou sinais de parada. Contudo, o que acontece quando essas informações cruciais são imprecisas ou deliberadamente enganosas? Um robô pode operar exatamente conforme o projetado, mas agir de forma perigosa se os dados que processa estiverem corrompidos ou manipulados. A VicOne LAB R7 tem investigado como essas entradas não confiáveis podem alterar o comportamento de robôs e o que isso implica para a segurança.

Ameaças à segurança robótica

A interação entre robôs e o ambiente, especialmente com modelos de visão-linguagem-ação (VLA), demonstra a vulnerabilidade a entradas visuais manipuladas. Pesquisas publicadas indicam que um patch em uma imagem ou um frame adulterado pode levar modelos a ignorar instruções posteriores ou falhar em tarefas simuladas. No laboratório da VicOne, testes com um robô-cachorro usando o modelo Gemma 4 E4B revelaram que texto em um pôster foi interpretado como uma instrução, alterando seu movimento. Similarmente, em simulações de robôs de serviço hospitalar com Nemotron, áudios inaudíveis para humanos modificaram o comportamento simulado do robô. Estes exemplos ilustram que a manipulação das entradas, e não a falha das funções de segurança em si, pode ser o gatilho para comportamentos indesejados.

Falhas em sistemas de proteção

Mesmo sistemas de proteção independentes, projetados para intervir em situações de perigo, dependem de informações. Se um ataque cibernético injeta uma mensagem falsa em um sistema de robótica, como ocorreu em um evento de bug bounty onde um robô deveria permanecer parado sob controle de segurança, mas se moveu, a proteção falha. Um exemplo mais técnico é o controlador de equilíbrio de um robô humanoide que, se dependente de um giroscópio vulnerável, pode ser enganado por sons em sua frequência de ressonância. Isso distorceria a leitura de rotação, levando o controlador a corrigir uma inclinação inexistente. A questão crucial para equipes de segurança é se as proteções detectam o perigo independentemente ou se também dependem das mesmas informações manipuladas.

Revisando suposições de segurança

Avaliações de segurança frequentemente consideram combinações de falhas acidentais como improváveis. No entanto, a manipulação deliberada muda essa premissa. Um atacante pode escolher o momento e a frequência de introdução de dados falsos, tornando ataques repetíveis. Isso exige uma reavaliação dos riscos cibernéticos. Sensores redundantes, por exemplo, precisam de testes adversariais. Se uma única manipulação pode afetar múltiplos sensores ou sistemas de fusão de dados, a redundância pode oferecer menos garantia do que o esperado. Pesquisas em direção autônoma mostraram como um objeto físico criado artificialmente pode enganar sistemas que combinam câmeras e LiDAR, destacando a importância de testar se uma única vulnerabilidade pode comprometer várias camadas de segurança simultaneamente.

Fortalecendo evidências de segurança robótica

As equipes de segurança definem limites operacionais, como velocidade e distâncias de proteção. As evidências que sustentam esses limites devem demonstrar o que acontece quando as informações usadas para aplicá-los são manipuladas. Regulamentações como a chinesa GB/T 45502-2025 para segurança de robôs de serviço, a IEC TS 63074 para sistemas de controle relacionados à segurança, e o Regulamento de Máquinas da União Europeia (a partir de 2027) exigem proteção contra corrupção de dados e sistemas de segurança. Para atender a esses requisitos, as equipes precisam de evidências robustas. Antes da implantação, engenheiros de segurança e cibersegurança devem comparar cenários normais e adversariais. Durante a operação, é essencial monitorar mudanças em software, modelos ou sinais de sensores que possam invalidar resultados anteriores. A VicOne oferece ferramentas como Radeis para validação pré-implantação e Rthena para monitoramento em operação, apoiando o ciclo de vida do robô.

Cinco perguntas essenciais para equipes de segurança e cibersegurança abordarem juntas incluem: O que cada função protetora lê? Como essa informação chega ao sistema? O que acontece se uma entrada for manipulada? Uma única ação pode enganar múltiplos sensores? E quando a evidência de segurança deve ser revisada? O objetivo final é garantir que as salvaguardas permaneçam protetoras mesmo com dados incorretos ou manipulados, e que outras camadas de segurança possam intervir quando necessário. À medida que os robôs evoluem, a evidência de sua segurança deve acompanhá-los.

Com reportagem de Brazil Valley

Source · The Robot Report