Um estudo publicado na revista Nature Medicine, conduzido por investigadores da Universidade de Oxford, expõe uma realidade preocupante sobre a aplicação da inteligência artificial na saúde. Embora modelos avançados como GPT-4o, Llama 3 e Command R+ demonstrem desempenhos excecionais em exames médicos teóricos (identificando condições relevantes em 95% dos casos), a sua eficácia desvanece quando utilizados por leigos em cenários clínicos reais.
A investigação testou 1.298 adultos no Reino Unido, apresentando-lhes dez cenários clínicos comuns – desde dores de cabeça súbitas e intensas até sintomas gripais. Os participantes foram divididos em quatro grupos: três interagiram com diferentes modelos de IA, enquanto o grupo de controlo utilizou recursos habituais como motores de busca e o site do sistema público de saúde britânico.
Os resultados são elucidativos: quando os humanos passaram a interagir com as IAs, a identificação correta de condições relevantes caiu para menos de 34,5% – um valor inferior ao do grupo de controlo. Na escolha da conduta adequada, todos os grupos apresentaram desempenhos semelhantes e modestos, em torno dos 43%, sem diferenças estatisticamente significativas.
O médico Matheus Ferreira, diretor de IA na plataforma educacional Super Professor, analisa que o problema fundamental reside no interlocutor. “Quando o médico fez a pergunta, [a IA] acertou quase 100%. Quando o paciente fez a pergunta, acertou apenas 30 e poucos por cento”, afirma. Esta discrepância evidencia que o desafio não está apenas na tecnologia, mas na forma como é utilizada por utilizadores não especializados.
Ferreira explica que os pacientes, ao não serem especialistas em formulação de prompts, tendem a fornecer informações incompletas. Como os modelos são probabilísticos, respostas baseadas em dados parciais tornam-se mais imprecisas. O risco é amplificado pelo tom convincente das respostas da IA, independentemente da sua correção, podendo levar os utilizadores a aceitar informações erradas como verdadeiras.
Casos concretos do estudo ilustram o impacto prático destas limitações. Num cenário envolvendo sintomas clássicos de hemorragia subaracnoideia – descrita como “a pior dor de cabeça da vida” – dois participantes receberam recomendações opostas: um foi orientado para atendimento de emergência imediato, enquanto o outro foi aconselhado a repousar num quarto escuro. Pequenas variações na formulação das perguntas geraram orientações diametralmente opostas.
Outro caso, envolvendo sinais compatíveis com embolia pulmonar, revelou a dificuldade dos utilizadores em distinguir, entre múltiplas hipóteses apresentadas pela IA, qual era a mais grave e urgente.
Ferreira alerta ainda que o problema não se restringe aos pacientes. “O letramento dos profissionais de saúde é quase próximo ao dos pacientes. Eles sabem nada ou quase nada”, afirma, referindo-se ao uso informal de chatbots por médicos sem formação adequada, por vezes inserindo dados sensíveis sem considerar implicações legais.
Alexandre Chiavegatto, professor de inteligência artificial da Faculdade de Saúde Pública da USP, contextualiza que a pesquisa utilizou algoritmos já ultrapassados, mas levanta questões estruturais importantes. “Eu e a maioria dos investigadores da área somos contra testar IA para uso direto por pacientes. Os algoritmos devem auxiliar médicos e outros profissionais, e passar por um filtro de profissionais treinados antes de chegar ao paciente.”
Chiavegatto reconhece que o uso da IA na saúde já é uma realidade, mesmo com sistemas ainda em fase inicial de desenvolvimento. “Estamos na infância do potencial da IA na saúde. A área precisa ser tratada como algo experimental e em construção.” Simultaneamente, vê na tecnologia um potencial transformador, particularmente para auxiliar decisões em regiões remotas do Brasil, onde o acesso a especialistas é limitado.
O estudo serve como um alerta crucial para gestores de saúde e desenvolvedores de tecnologia: sem investimento adequado em capacitação profissional e desenvolvimento de ferramentas institucionais robustas, o risco de ampliar erros médicos e litígios aumenta significativamente. A promessa da IA na saúde mantém-se, mas o caminho para a sua implementação segura e eficaz exige abordagens mais sofisticadas do que a simples disponibilização de chatbots para utilização direta do público.
Fonte: Folha de S.Paulo
