A Apple removeu de sua App Store os aplicativos Kromix e MaskAI, ferramentas que utilizavam inteligência artificial para criar imagens sexuais explícitas e não consensuais. A decisão foi tomada após uma investigação da revista WIRED expor que os aplicativos eram abertamente promovidos para "desnudar" mulheres, inclusive com alusão a figuras políticas.
O que torna o caso emblemático é a origem do tráfego: os aplicativos eram impulsionados por anúncios veiculados nas plataformas da Meta. O episódio revela uma falha em cascata nos sistemas de moderação das duas maiores empresas de tecnologia do mundo, reacendendo o debate sobre a responsabilidade das plataformas na disseminação de ferramentas de IA danosas.
A falha sistêmica da moderação
A Meta reconheceu a brecha. A empresa admitiu que seus sistemas automatizados não conseguiram barrar os anúncios, que violavam diretamente suas políticas. Segundo a reportagem, a campanha do Kromix exibia anúncios direcionados exclusivamente a homens. Embora a Meta afirme ter removido mais de 340 mil anúncios de "nudificação" recentemente, o problema parece ser estrutural.
Críticos, como o Tech Transparency Project (TTP), apontam para a crescente dependência das big techs em moderação automatizada em detrimento de revisores humanos. Para o TTP, a Meta trata a publicidade como seu principal produto, mas falha em aplicar o mesmo rigor ao controle de qualidade, permitindo que conteúdos perigosos — incluindo material de abuso sexual infantil gerado por IA, como apontou outra investigação do grupo — encontrem seu público.
Um ecossistema de cumplicidade
Do lado da Apple, a defesa é que desenvolvedores mal-intencionados submetem uma versão "limpa" do aplicativo para aprovação e só depois ativam os recursos proibidos. É um jogo de gato e rato, mas que não isenta a empresa de responsabilidade. A pressão legal aumenta: o procurador de San Francisco chegou a notificar a Apple por "auxiliar e ser cúmplice" na venda de aplicativos similares.
O incidente expõe uma cadeia de responsabilidade diluída. Desenvolvedores criam as ferramentas, a Meta oferece o canal de distribuição via anúncios, e a Apple provê o marketplace final. Enquanto cada um aponta para o outro, um ecossistema que facilita a criação de conteúdo sexual não consensual — majoritariamente contra mulheres — se consolida.
A questão transcende a simples moderação de conteúdo e entra no cerne da ética do desenvolvimento e da distribuição de IA generativa. Cindy Southworth, chefe de segurança feminina da Meta, descreve o cenário como "altamente adversário". Contudo, para reguladores e para a sociedade, a pergunta que fica é se os modelos de negócio das plataformas são compatíveis com a segurança de seus usuários.
Com reportagem de Brazil Valley
Source · Canaltech
