A promessa da inteligência artificial de revolucionar a experiência de compra online esbarra, por ora, em barreiras de precisão. Um estudo recente da Product.ai, startup especializada em verificar alegações de produtos, revelou que os principais modelos de linguagem grande (LLMs) — como ChatGPT, Claude, Gemini e Perplexity — ainda falham significativamente em fornecer informações corretas sobre produtos. A pesquisa testou versões gratuitas e pagas dessas IAs com 220 perguntas focadas em compras, abrangendo desde eletrônicos até itens de uso diário. Os resultados são um alerta para consumidores que planejavam delegar tarefas de fim de ano a esses assistentes.

O levantamento, que analisou quase 9 mil respostas, indicou que 86% das perguntas resultaram em um conflito factual repetível. Esse conflito foi definido como uma discordância verificável, como diferenças de preço, modelo ou especificações, que se repetia em múltiplas respostas. A situação se agrava quando se trata de comparações diretas entre produtos, onde 97% das perguntas geraram divergências. Em relação aos preços, um dos dados mais críticos para o consumidor, 85% das respostas verificáveis apresentaram divergências em relação ao valor atual ou listado. Esses resultados sugerem que a IA, apesar de seu avanço, ainda não está pronta para assumir um papel autônomo e confiável na jornada de compra online.

Precisão em xeque: os desafios dos LLMs em compras

A análise da Product.ai detalhou as falhas em diferentes modelos. O Gemini, por exemplo, apresentou a maior proporção de erros considerados "custosos" — aqueles que teriam impacto financeiro direto no consumidor —, com 56% no plano gratuito e 54% no pago. O Claude viu seus erros custosos caírem de 44% para 21% com a versão paga. O Perplexity, que se posiciona como focado em precisão, registrou a menor taxa de erros custosos (14% no plano pago), seguido pelo ChatGPT pago (17%). A própria capacidade de consistência interna dos modelos também foi questionada, com o Gemini gratuito apresentando auto-contradições em 29% das perguntas repetidas. Quando os erros de preço ocorriam, a discrepância mediana era de US$ 300, um valor considerável que pode levar a decisões de compra equivocadas.

O custo da imprecisão e a necessidade de verificação

Dakota Nunley, chefe de produto de busca da Product.ai, ressaltou que esses resultados indicam que os LLMs "ainda não estão lá" para uma experiência de compra completa e autônoma. A capacidade da IA de identificar o modelo mais recente de um produto, comparar especificações técnicas ou garantir o melhor preço ainda é limitada. Para o consumidor, isso se traduz na necessidade de manter um olhar crítico e de verificar ativamente as informações fornecidas pela IA. Confiar cegamente nos resultados pode levar a compras insatisfatórias ou financeiramente prejudiciais. A sugestão é usar a IA como uma ferramenta de descoberta inicial ou como um "parceiro de pensamento", mas não como um substituto para a pesquisa e verificação humana.

Implicações para varejistas e consumidores

Para os varejistas, a imprecisão dos assistentes de IA pode representar um desafio na integração dessas ferramentas em suas plataformas. Se os clientes se depararem com informações erradas sobre produtos ou preços, a confiança na marca pode ser abalada. Isso também levanta questões sobre a responsabilidade quando um erro da IA leva a uma compra insatisfatória. Do lado do consumidor, a lição é clara: a tecnologia ainda exige supervisão. A pesquisa sugere que, em vez de entregar totalmente o controle ao agente de IA, os usuários devem comparar resultados de diferentes ferramentas ou, mais tradicionalmente, consultar os sites dos vendedores diretamente. A conveniência da IA não pode superar a necessidade fundamental de precisão e verificação, especialmente em transações financeiras.

O futuro da IA nas compras: um caminho gradual

Apesar das falhas atuais, a inteligência artificial continua a avançar e a se infiltrar no comércio eletrônico. Ferramentas como os agentes de IA da Meta, que prometem automatizar ainda mais o processo de compra, estão em desenvolvimento. No entanto, o estudo da Product.ai serve como um importante lembrete de que a tecnologia ainda tem um caminho a percorrer antes de oferecer uma experiência de compra totalmente confiável e autônoma. A busca por 100% de precisão, como almeja a Perplexity, continua sendo o Santo Graal da IA aplicada ao varejo. Por enquanto, a cautela e a verificação são as melhores aliadas do consumidor.

A expectativa é que, com o tempo e mais dados, os modelos de IA melhorem sua capacidade de lidar com a complexidade e as nuances do mercado de varejo. No entanto, a jornada para que a IA se torne uma assistente de compras verdadeiramente confiável ainda está em seus estágios iniciais, exigindo que os consumidores permaneçam vigilantes e informados.

Com reportagem de Brazil Valley

Source · Business Insider