Uma artista sediada em San Diego, Chelsea Paulus, que atua como autora e ilustradora de livros infantis, enfrentou uma crise inesperada quando seu website foi subitamente sobrecarregado por um tráfego massivo de bots da Meta. Em um período de 48 horas, o site registrou mais de 550.000 visitas de um crawler da Meta, um volume que consumiu integralmente a capacidade de tráfego alocada pelo seu provedor de hospedagem, SiteGround. A situação forçou Paulus, que possui conhecimento em web design e tecnologia, a uma corrida contra o tempo para evitar que seu negócio, operado há uma década e que se tornou sua fonte de renda integral no último ano, ficasse completamente inacessível.

Ameaça invisível e a luta pela sobrevivência

O incidente começou em 24 de outubro, quando Paulus recebeu um alerta de seu provedor de hospedagem informando que 80% dos recursos de CPU de seu plano compartilhado haviam sido consumidos. A análise do painel de segurança do site revelou um fluxo contínuo de requisições, originadas de um endereço IP identificado como pertencente à Meta em Dallas. O bot se autoidentificou como "Meta External Agent", um tipo de crawler que, segundo a documentação da Meta, é utilizado para coletar dados com o objetivo de treinar modelos de IA e aprimorar produtos através da indexação de conteúdo. Paulus, apesar de já ter visto bots da Meta em seu site anteriormente, especialmente por utilizar anúncios da plataforma, nunca havia presenciado um volume tão extremo.

Mecanismos de defesa e a resposta da plataforma

Diante da urgência, Paulus tentou implementar medidas de segurança como a edição do arquivo robots.txt e a ativação de um firewall, mas a eficácia dessas ferramentas pode levar até 24 horas para se manifestar. A necessidade de uma solução imediata a levou a contatar seu provedor de hospedagem, que forneceu um código para ser inserido em um arquivo oculto do website, uma medida complexa e fora do escopo usual de gestão para a maioria dos proprietários de sites. Contudo, a trégua foi breve. Em meados da semana, um novo bot, o "Meta Web Indexer", destinado a melhorar a qualidade dos resultados de busca da IA da Meta, elevou o consumo de recursos para 100%, paralisando o site.

Implicações para pequenos negócios e o ecossistema digital

Um porta-voz da Meta declarou que a empresa utiliza crawlers para diversos fins e que os gerentes de sites têm controle sobre a interação com seus crawlers através de ferramentas como o robots.txt, fornecendo documentação pública sobre o assunto. No entanto, a experiência de Paulus sugere uma lacuna na proteção oferecida a pequenos empreendedores. Sem a capacidade de gerar receita com tráfego automatizado, ela se viu em uma situação financeira delicada, considerando a possibilidade de usar ferramentas de verificação humana como as oferecidas pela Cloudflare, que atualmente são gratuitas. A artista expressou preocupação com a escalada de tais incidentes, questionando a sustentabilidade de serviços gratuitos e o potencial aumento de custos para pequenos negócios se a Meta não implementar salvaguardas mais robustas.

A situação expõe a vulnerabilidade de pequenos negócios digitais diante do avanço e da escala das operações de coleta de dados por grandes plataformas de tecnologia. A falta de regulamentação específica para bots de IA em sites publicamente acessíveis e a dependência de soluções de segurança, por vezes complexas ou de custo crescente, deixam empreendedores como Paulus em uma posição de fragilidade. O caso levanta a questão de até onde vai a responsabilidade das plataformas em garantir que suas ferramentas de coleta de dados não prejudiquem a operação de negócios menores, que dependem intrinsecamente da acessibilidade e estabilidade de seus canais digitais.

Com reportagem de Brazil Valley

Source · Business Insider