A era dos grandes modelos de linguagem (LLMs) nos acostumou a conversar com máquinas. Em poucos anos, modelos como o GPT da OpenAI ou o Claude da Anthropic atingiram uma fluência que, por milênios, foi domínio exclusivo de um único ser: a criança humana. Mas por trás da cortina computacional, existe um detalhe que intriga cientistas e desafia os arquitetos de IA: o custo para alcançar essa maestria é desproporcional.

Segundo uma longa reportagem da MIT Technology Review, o abismo entre o aprendizado humano e o artificial é, antes de tudo, uma questão de escala. Um LLM de ponta pode processar mais de 100 mil vezes o volume de texto que uma pessoa encontra ao longo de toda a vida para dominar sua língua materna. Essa “lacuna de eficiência de dados” é o grande paradoxo do nosso tempo: como as máquinas mais sofisticadas do planeta ainda são superadas em eficiência pela mente de uma criança de um ano?

A floresta e a sala de estar

Para entender a dimensão do desafio, os números são eloquentes. O Llama 3.1, da Meta, foi pré-treinado com 15 trilhões de “tokens” — partículas de texto. Em contrapartida, uma criança em um lar linguisticamente rico ouve cerca de 100 milhões de palavras até o início da adolescência. A analogia de Michael C. Frank, cientista cognitivo de Stanford, é precisa: para replicar o marco que acontece na sala de estar de uma família ao longo de um ano, a indústria de IA precisa “queimar uma floresta e varrer toda a soma do conhecimento humano”.

A questão ecoa um dos debates mais antigos da linguística, protagonizado por Noam Chomsky e B.F. Skinner. Chomsky argumentava que a linguagem é complexa demais para ser aprendida apenas pela experiência, postulando uma gramática inata no cérebro humano — a chamada “pobreza do estímulo”. Os LLMs, no entanto, são a antítese dessa ideia. São máquinas de aprendizado estatístico puro, que, contra muitas previsões, aprenderam sintaxe ao digerir um volume colossal de dados. Eles provaram que a estatística, em escala suficiente, funciona. A questão agora é se é possível aprender com uma amostra pequena, como a de uma criança.

Do berçário ao benchmark

Essa pergunta move uma nova fronteira de pesquisa. Uma das iniciativas mais notáveis é a competição BabyLM, que desafia pesquisadores a treinar modelos de linguagem com volumes de dados “plausíveis para o desenvolvimento infantil” — de 10 a 100 milhões de palavras. Os resultados já desafiaram algumas premissas. Por exemplo, a ideia de “aprendizado curricular”, que começa com dados simples e avança para os complexos, não se mostrou tão eficaz para os modelos transformer quanto se imaginava. O modelo vencedor de 2024, GPT-BERT, treinado com 100 milhões de palavras, chegou a superar a performance do Llama 2 70B (treinado com 15 mil vezes mais dados) em uma das tarefas de avaliação.

O passo seguinte é reconhecer que crianças não aprendem apenas com texto. Elas são seres multimodais, que veem, ouvem e interagem com o mundo. Projetos como o SAYCam, que equipou bebês com câmeras na cabeça para capturar sua perspectiva visual, fornecem dados cruciais. Um modelo treinado com 61 horas dessas imagens aprendeu a associar palavras a objetos sem os vieses que se acreditava serem necessários. A leitura aqui é que o aprendizado não é passivo. Crianças exploram ativamente, testam hipóteses e raciocinam sobre a intenção de quem as ensina. Elas não são apenas consumidoras de dados, mas agentes em seu próprio processo de aprendizado.

Apesar dos avanços, os laboratórios de ponta como OpenAI e DeepMind ainda não parecem estar correndo para adotar os truques das crianças. A aposta dominante continua sendo a escala. Contudo, a busca por eficiência de dados não é apenas um exercício acadêmico. Ela pode democratizar a IA, permitindo que grupos menores treinem modelos de alta qualidade, e viabilizar o desenvolvimento de IAs para línguas com poucos dados disponíveis. Mais profundamente, essa jornada pode nos ajudar a entender a nós mesmos. Ao usar LLMs como um “organismo modelo” — uma entidade linguística não-humana com a qual podemos nos comparar —, a ciência pode finalmente começar a desvendar os segredos de uma das capacidades mais fundamentalmente humanas: a linguagem.

Com reportagem de Brazil Valley

Source · MIT Technology Review