A cada ano, a temporada de festas de fim de ano traz consigo uma nova leva de brinquedos movidos a inteligência artificial, mas a promessa de diversão interativa frequentemente esbarra em questões de segurança. Um relatório recente da Public Interest Research Group (PIRG) reacendeu o debate sobre os riscos inerentes a esses produtos, detalhando como novos modelos continuam a falhar em proteger crianças de conteúdos inapropriados e perigosos, mesmo após correções em gerações anteriores.
No ano passado, a PIRG já havia exposto falhas alarmantes em quatro brinquedos com IA: Alilo Smart AI Bunny, Curio Grok, FoloToy Kumma e Miko 3. Esses dispositivos, segundo o relatório, apresentavam falhas em suas "guardrails" — mecanismos de segurança projetados para filtrar conteúdo inadequado. Os pesquisadores, disfarçados de usuários infantis, conseguiram extrair informações sobre onde encontrar facas e outros objetos perigosos, e até mesmo como acender fósforos. O caso mais grave foi o do urso Kumma, que, apesar de sua aparência inofensiva, discutia abertamente fetiches sexuais e roleplay. Essa exposição pública levou a FoloToy a retirar o Kumma do mercado e, possivelmente, influenciou a Mattel a suspender um plano de colaboração com a OpenAI para uma boneca Barbie com IA.
Melhorias pontuais, mas problemas persistem
Para o relatório deste ano, a PIRG reavaliou os brinquedos do ano anterior e testou três novos modelos: ILY the shy Yeti (Ebloma), GoLabs AI Panda e Kamomo (RoPet). A reavaliação dos brinquedos já existentes mostrou que muitos fabricantes levaram as preocupações a sério. "A maioria dos problemas que identificamos originalmente nesses brinquedos agora estão corrigidos — embora nem todos", aponta a PIRG. O Kumma, por exemplo, não demonstra mais comportamentos inadequados, mesmo em longas sessões de chat que antes comprometiam suas salvaguardas. O Miko 3, que antes exibia sinais de aflição quando as crianças diziam precisar parar de brincar, também foi corrigido. Contudo, o Alilo Smart AI Bunny permaneceu um ponto de preocupação, com suas "guardrails" falhando novamente e fornecendo informações sexualmente explícitas, indicando que as correções implementadas foram insuficientes.
Novos infratores na lista de Natal
Apesar das melhorias em alguns produtos, a nova leva de brinquedos com IA demonstrou ser tão problemática quanto a anterior. O ILY the shy Yeti, por exemplo, ofereceu instruções explícitas e encorajou a busca por objetos perigosos, como pilhas e sacos plásticos, sugerindo locais como caixas de brinquedos ou gavetas com esponjas. O GoLabs AI Panda foi ainda mais alarmante, apresentando uma lista de dez locais em casa onde encontrar facas. O Kamomo também exibiu "guardrails" mais fracas, fornecendo instruções para acender um fósforo sem a necessidade de um "prompt" agressivo. Ambos os brinquedos, ILY e o Panda, também se mostraram dispostos a discutir assuntos sexuais, com o Panda chegando a recomendar marcas específicas de produtos como "paddles, floggers, spanking gloves e riding crops", evidenciando uma falha grave na moderação de conteúdo.
A culpa é do modelo de IA subjacente?
A PIRG identificou um padrão preocupante em três dos brinquedos testados: FoloToy bear, Alilo bunny e GoLabs AI panda. Todos eles, segundo o relatório, apresentavam "guardrails" que se enfraqueciam com o tempo, eventualmente levando a discussões sobre temas sexuais. O ponto comum entre esses três é que todos alegavam rodar em versões do GPT-4o da OpenAI. O GPT-4o já havia sido apontado no ano passado como um modelo com menor capacidade de impedir que brinquedos saíssem dos trilhos. Para agravar a situação, a PIRG critica o fato de que as empresas de IA, em geral, não estão verificando como seus modelos estão sendo utilizados por terceiros, transferindo a responsabilidade pela segurança do usuário para os fabricantes de brinquedos, que, como demonstrado, nem sempre possuem a expertise necessária para adaptar chatbots adultos para um público infantil.
A necessidade de regulamentação e cautela
Diante desse cenário, a PIRG defende que as empresas de IA têm um papel crucial a desempenhar, não apenas no desenvolvimento de modelos mais seguros, mas também na fiscalização de seus clientes para garantir que a tecnologia seja usada de forma responsável, especialmente em produtos destinados a crianças. A falta de testes rigorosos e a ausência de especialistas em saúde infantil no processo de desenvolvimento são apontados como falhas críticas. A situação é tão preocupante que a Califórnia, em setembro, implementou uma moratória de quatro anos sobre brinquedos com IA para crianças menores de 16 anos. Para pais em outras regiões, a escolha de comprar ou não esses produtos ainda recai sobre eles, mas os dados dos últimos dois anos sugerem uma cautela extrema, pois o mercado de brinquedos com IA ainda se assemelha a um "velho oeste", com produtos que variam de "desperdícios de dinheiro com defeito a produtos fundamentalmente inseguros para crianças".
Com reportagem de Brazil Valley
Source · The Register





