A ideia de inteligências artificiais de propósito geral assumindo o controle de veículos pode parecer futurista, mas um estudo recente revela que a tecnologia ainda está longe de ser confiável para tarefas complexas como dirigir. Pesquisadores criaram o DrivingBench, um teste simples para avaliar a capacidade de modelos como Claude, GPT e Grok de navegar em um percurso de estacionamento com algumas curvas, usando hardware Comma vision e o software OpenPilot.

Limitações de IAs de Propósito Geral em Tarefas Críticas

O experimento envolveu a concessão de controle total de um Toyota Corolla a quatro agentes de IA. A cada passo, os modelos deveriam descrever o que viam e faziam, enquanto recebiam comandos e direções através de um chat contínuo. Os resultados foram, em sua maioria, desanimadores. Das 11 tentativas realizadas com os quatro agentes, oito falharam em completar mais de 11% do percurso, batendo logo na primeira curva. Os vídeos das sessões, com o chat rolando em tempo real, demonstraram que, apesar da inteligência em outras áreas, esses modelos estavam completamente despreparados para a tarefa de dirigir. Um dos modelos GPT, por exemplo, inventou uma regra sobre a cor dos cones que foi explicitamente negada nas instruções iniciais. Outros falharam em realizar as curvas necessárias, incapazes de calcular o ângulo de esterçamento adequado.

Desafios de Percepção e Controle

A análise das conversas e vídeos revelou falhas significativas na percepção e no controle. O modelo Grok, em sua primeira tentativa, interpretou um espaço entre os cones como um portão e seguiu reto, encerrando a sessão após apenas dois comandos. A falta de compreensão espacial e a incapacidade de interpretar corretamente as indicações visuais, como a disposição dos cones, foram barreiras cruciais. A comunicação intermitente devido à dependência de um hotspot sem fio também adicionou latência, mas não foi a causa principal das falhas. O teste evidenciou que, embora essas IAs sejam avançadas em processamento de linguagem e raciocínio abstrato, a transposição para o controle físico em tempo real, com a necessidade de precisão e antecipação, ainda é um abismo a ser transposto.

Um Vencedor Surpreendente e Custoso

A única exceção foi um modelo GPT-6 Astra, que conseguiu completar o percurso em sua segunda tentativa. No entanto, o caminho percorrido foi descrito como "torto", com o carro colando excessivamente na curva longa à direita e quase saindo da pista antes da linha de chegada. O custo dessa corrida bem-sucedida foi de US$ 7,74, quase quatro vezes o valor da tentativa anterior que cobriu apenas metade do trajeto, indicando um uso intensivo de tokens. Essa disparidade de custo e desempenho sublinha a ineficiência e a falta de otimização dos modelos de IA de uso geral para tarefas de controle complexo e em tempo real, como a condução veicular.

O Futuro da IA na Direção

O experimento com o DrivingBench levanta sérias questões sobre a segurança e a viabilidade de usar IAs de "fronteira" para dirigir veículos. Embora os sistemas de direção autônoma dedicados utilizem IA, eles são projetados especificamente para essa finalidade, com hardware e software otimizados. A tentativa de adaptar modelos de linguagem geral para essa tarefa demonstrou fragilidades críticas em percepção, tomada de decisão e controle motor. O estudo sugere que, se o objetivo é ter IA dirigindo nossos carros, o caminho ainda é longo e repleto de desafios técnicos e de segurança. A lição é clara: a inteligência geral não se traduz automaticamente em competência de direção segura. As implicações para o futuro da mobilidade autônoma são significativas, exigindo mais pesquisa e desenvolvimento focado em segurança e confiabilidade antes que tais sistemas possam ser considerados para uso generalizado.

Com reportagem de Brazil Valley

Source · The Drive