A internet aberta sempre operou sob um pacto tácito: os publicadores de conteúdo arcam com os custos de servidor para serem rastreados por robôs ('crawlers') em troca do tráfego que eles enviam. O Google foi o principal arquiteto desse modelo. Agora, a ascensão dos modelos de inteligência artificial generativa está quebrando essa lógica.

Segundo uma análise detalhada pelo desenvolvedor Nick Gray, dono do site PatronView, 99% de seu tráfego já é composto por bots. Em uma semana, seu servidor entregou 1,28 milhão de páginas, mas registrou apenas 5.977 visitas humanas. A desproporção, conforme reportado pelo site Xataka, revela uma nova dinâmica extrativista: por cada página vista por um usuário, 214 foram consumidas por robôs, majoritariamente de empresas de IA.

O pacto quebrado

A simbiose que marcou a era dos buscadores está sendo substituída por uma relação parasitária. A análise de Gray quantifica o problema. O bot da Anthropic, que alimenta o modelo Claude, solicitou mais de 420 mil páginas de seu site em uma semana, mas gerou apenas 12 visitas de retorno. O 'crawler' da Amazon, usado para produtos como Alexa, foi ainda mais agressivo, acessando 117 mil páginas por dia sem gerar um único clique de volta.

Para os criadores de conteúdo e operadores de sites, o impacto é duplo e direto. Primeiro, há o custo financeiro. Gray viu sua fatura de hospedagem aumentar quase 500% durante os picos de tráfego dos bots. Segundo, as métricas de análise de audiência, como as do Google Analytics, tornam-se inúteis, infladas por um tráfego fantasma que não representa engajamento ou receita. O conteúdo que alimenta os LLMs gera um custo real e imediato para quem o produz, sem nenhuma contrapartida.

A muralha (e a fatura)

A defesa contra essa nova onda de 'crawlers' é complexa e também tem seu preço. Ferramentas de detecção, como as oferecidas pela Cloudflare, podem adicionar segundos ao tempo de carregamento de uma página, penalizando a experiência do usuário e o ranking em buscadores. Gray notou que, ao desativar uma dessas proteções, a nota de performance de seu site no Lighthouse saltou de 58 para 99. Bloquear os bots também não é trivial, já que muitos usam redes de proxies residenciais para se camuflar como tráfego humano.

A solução, para Gray, foi criar um sistema de bloqueio multifacetado e adotar uma regra simples: se um 'crawler' não envia visitantes, ele é bloqueado. Essa postura reativa, no entanto, aponta para uma solução de mercado mais estruturada, como a proposta de "pagar para rastrear" ('pay-per-crawl') que a própria Cloudflare explora. A ideia é inverter a dinâmica, forçando as empresas de IA a remunerar os donos de sites pelo valor que extraem.

O caso de Gray não é um ponto isolado, mas um sintoma da tensão crescente entre os criadores de conteúdo e a indústria de IA. A sustentabilidade da web aberta, que depende de incentivos para a publicação, está em jogo. Se o custo de alimentar os modelos de inteligência artificial recai inteiramente sobre quem produz a informação, a tendência é uma internet mais fechada, restritiva e, em última instância, menos valiosa para todos.

Com reportagem de Brazil Valley

Source · Xataka