A adoção acelerada de assistentes de inteligência artificial por médicos sobrecarregados ganhou um novo sinal de alerta após uma auditoria oficial em Ontario, no Canadá. O relatório da auditoria geral da província revelou que ferramentas de transcrição médica, amplamente utilizadas para converter conversas entre pacientes e médicos em registros estruturados, apresentam falhas recorrentes que colocam a segurança do paciente em risco direto.
O levantamento analisou 20 fornecedores de IA que haviam sido pré-qualificados e aprovados pelo governo provincial para uso no sistema de saúde. Em testes baseados em simulações de consultas, todas as 20 empresas demonstraram problemas de precisão ou completude, com casos graves de alucinação de dados clínicos e transcrições incorretas de medicações.
Riscos na precisão clínica
A natureza das falhas identificadas pela auditoria levanta preocupações sobre a confiabilidade de modelos de linguagem em ambientes de alta criticidade. Entre os erros observados, destacam-se a criação de referências para exames de sangue ou sessões de terapia que nunca foram solicitadas pelo médico, além de nomes de medicamentos transcritos de forma errônea.
Essas alucinações não representam apenas erros técnicos de software, mas riscos tangíveis ao fluxo de trabalho clínico. A auditoria aponta que a integridade dos prontuários eletrônicos está sendo comprometida, o que pode levar a planos de tratamento inadequados ou até mesmo prejudiciais, dependendo da interpretação do profissional de saúde sobre a nota gerada pela IA.
Falhas de omissão e contexto
Além das informações inventadas, a auditoria destacou a incapacidade de diversas plataformas em capturar detalhes essenciais. Em 17 dos 20 casos analisados, as ferramentas omitiram informações cruciais sobre questões de saúde mental discutidas durante as simulações, o que demonstra uma dificuldade clara da tecnologia em priorizar o que é clinicamente relevante em um diálogo fluido.
O mecanismo de erro parece estar ligado à forma como esses modelos de IA processam a linguagem natural sem um entendimento semântico profundo do contexto médico. Quando a ferramenta falha ao distinguir entre uma recomendação real e uma menção hipotética, o sistema perde sua utilidade como suporte à decisão, transformando-se em um passivo operacional para a instituição de saúde.
Implicações para o setor de saúde
A regulação de ferramentas de IA na saúde enfrenta agora o desafio de equilibrar a inovação necessária para reduzir a carga administrativa dos médicos com a segurança rigorosa exigida pelo setor. O caso de Ontario serve como um lembrete de que a pré-qualificação governamental não garante a infalibilidade das soluções de tecnologia.
Para o ecossistema brasileiro, o episódio reforça a necessidade de protocolos de validação clínica constantes. À medida que hospitais e clínicas no Brasil adotam soluções de transcrição automatizada, a responsabilidade pela revisão humana torna-se o único mecanismo de defesa contra as alucinações algorítmicas que, até o momento, parecem ser uma característica intrínseca dos modelos atuais.
O futuro da supervisão algorítmica
O que permanece incerto é se os fornecedores conseguirão ajustar seus modelos para atingir o nível de precisão exigido para o ambiente hospitalar. A confiança dos profissionais de saúde, uma vez abalada por erros recorrentes, pode ser um obstáculo significativo para a adoção em larga escala de tecnologias de suporte à decisão.
O mercado deverá observar de perto como as autoridades de saúde responderão a essas falhas. A exigência de auditorias independentes e testes de estresse em tempo real pode se tornar o novo padrão para qualquer software que pretenda atuar na interface entre a IA e o prontuário do paciente.
A tecnologia de transcrição médica promete eficiência, mas a auditoria de Ontario deixa claro que a margem de erro atual é incompatível com a prática clínica segura. O debate agora muda de "como implementar" para "como validar" cada interação digital entre médico e paciente.
Com reportagem de Ars Technica
Source · Ars Technica
