Um jornalista testando um Range Rover de US$ 155 mil é cercado por quatro viaturas policiais em Minnesota. Com as mãos nas armas, os oficiais o ordenam para fora do veículo. A suspeita: roubo de carro. O motivo real: uma sucessão de pequenos erros humanos, amplificados por um sistema de inteligência artificial, que transformaram um cidadão comum em alvo de uma caçada policial. O episódio, detalhado em primeira pessoa por Joel Feder na publicação automotiva The Drive, não é uma anomalia, mas um estudo de caso sobre os riscos sistêmicos da vigilância automatizada.

A tecnologia em questão é da Flock Safety, uma startup que instala redes de câmeras com reconhecimento automático de placas (LPR, na sigla em inglês) para polícias locais nos Estados Unidos. O sistema cruza as placas lidas com bancos de dados criminais, como o NCIC (National Crime Information Center). A promessa é a eficiência: um policiamento preditivo e onipresente. A realidade, como descobriu o jornalista, é que a interface entre a máquina, os dados e os operadores humanos é muito mais frágil do que se imagina, e as consequências dessa fragilidade são reais e perigosas.

A anatomia de um erro em cascata

Tudo começou com um erro de digitação. Uma placa de fabricante similar — 34 03 DTM — pertencente à Jaguar Land Rover havia sido reportada como perdida na Califórnia. Ao inserir o registro no banco de dados nacional, um funcionário do departamento do xerife de Los Angeles omitiu os dígitos centrais, registrando apenas a sequência parcial 34 DTM. Este foi o pecado original, o dado corrompido que envenenou todo o processo subsequente.

O segundo elo da corrente foi o sistema da Flock. Programado para encontrar correspondências, seu algoritmo de machine learning identificou a sequência 34 DTM na placa do jornalista, que era 34 10 DTM. O sistema não foi desenhado para distinguir uma correspondência parcial de uma exata, ou para sinalizar a discrepância. Segundo o diretor de comunicação da Flock, Joshua Thomas, a ferramenta funcionou como solicitado pela polícia: "Perguntaram se [a sequência] estava lá. E a resposta foi sim". O alerta foi gerado. O elo final foi a falha na verificação humana. Os policiais de Plymouth, ao receberem o alerta, tinham acesso à foto da placa completa, mas, fixados no aviso do sistema, não realizaram a simples checagem de confirmar se 34 10 DTM constava como roubada. A caçada começou.

A escala como amplificador da falha

O argumento da Flock Safety, e de muitas empresas de tecnologia que fornecem ferramentas para o setor público, é que a responsabilidade final recai sobre o operador humano. A empresa afirma que seus alertas não constituem "causa provável" para uma ação policial, mas apenas um ponto de partida para investigação. É uma posição análoga à de empresas como a OpenAI, que constroem modelos de IA poderosos e transferem ao usuário a responsabilidade por seu uso ético. O problema é que essa dissociação ignora como a escala da automação transforma a natureza do erro.

Em conversa com o The Drive, o porta-voz da Flock revelou que seu sistema realiza 20 bilhões de leituras de placas por mês com uma taxa de acerto de 99%. À primeira vista, um número impressionante. Analiticamente, porém, ele revela o cerne do problema: 1% de erro sobre 20 bilhões significa 200 milhões de leituras incorretas por mês. A história de Feder não foi um caso isolado. Pouco tempo depois, outro jornalista automotivo foi parado no Nebraska pela mesma razão, ao volante de outro carro com placa similar. A falha não era pontual, mas sistêmica. O erro humano inicial, ao ser inserido numa plataforma de vigilância massiva, foi replicado e amplificado, colocando múltiplos inocentes sob a mira da polícia.

A tecnologia não eliminou o erro humano; ela o industrializou. O chefe de polícia de Plymouth reconheceu a falha de seus oficiais, mas também apontou a complexidade de memorizar milhares de formatos de placas. É um dilema real. No entanto, a questão fundamental persiste: ao adotar sistemas que operam em uma escala e velocidade sobre-humanas, as salvaguardas e os processos de verificação também precisam evoluir. Sem isso, a promessa de segurança se converte em um risco distribuído, onde qualquer cidadão pode se tornar a próxima vítima de um erro em cascata.

Com reportagem de Brazil Valley

Source · The Drive