- As pessoas muitas vezes duvidam dos conselhos médicos da IA - muitas vezes com bons motivos
Uma dor de estômago inexplicável, uma tosse persistente ou uma mancha estranha na unha do pé: Pessoas fazendo perguntas no Google sobre vários sintomas não é um fenômeno novo, e com o aumento da popularidade de chatbots baseados em IA como o ChatGPT, as possibilidades para o autodiagnóstico digital parecem estar crescendo. No entanto, um estudo de Würzburgo, relatado na revista "Nature Medicine", mostra que ainda há preocupações significativas sobre a competência médica da inteligência artificial.
Percepção da Orientação da IA Investigada
Os pesquisadores de Würzburgo investigaram como as pessoas reagem à orientação médica gerada por IA. "Não estávamos interessados na competência técnica da IA, mas sim em como a saída da IA é percebida", diz Moritz Reis da Julius-Maximilians-Universität.
Para isso, a equipe de pesquisa dividiu mais de 2.000 participantes em três grupos, cada um recebendo recomendações médicas idênticas. O primeiro grupo foi informado de que as recomendações vinham de um médico, o segundo foi informado de que vinham de um chatbot baseado em IA e o terceiro grupo acreditava que as recomendações vinham de um chatbot, mas tinham sido revisadas por um médico.
Os participantes avaliaram as recomendações quanto à confiabilidade, compreensão e empatia. Sempre que suspeitavam da participação da IA, percebiam a orientação como menos empática e confiável. Isso foi verdadeiro mesmo para o grupo que acreditava que as recomendações da IA tinham sido revisadas por um médico. Conseqüentemente, eles eram menos propensos a seguir essas recomendações. "O viés contra a IA é estatisticamente significativo, embora não seja esmagador", comenta Reis.
Explicações para o Ceticismo em Relação à IA
Reis atribui em parte o ceticismo em relação à IA a estereótipos: "Muitos acreditam que uma máquina não pode ser empática". No entanto, os três grupos avaliaram a compreensibilidade das recomendações da mesma forma.
Para o grupo de pesquisa, o ceticismo em relação à IA identificado é importante porque a IA está jogando um papel cada vez mais significativo na medicina. Muitos estudos sobre novas aplicações da IA estão sendo publicados atualmente. Portanto, a aceitação pública é crucial, diz Reis: "A questão do uso futuro da IA na medicina não é apenas sobre o que é tecnicamente possível, mas também sobre o quanto os pacientes estão dispostos a ir". A educação sobre essas aplicações e a IA em geral é necessária. "Outros estudos já mostraram quão importante é para a confiança do paciente que um médico humano tenha a palavra final, junto com o paciente", enfatiza Reis.
Transparência como Fator Chave
Reis considera a transparência particularmente relevante: "Isso significa, por exemplo, que uma IA não faz apenas um diagnóstico, mas também explica de forma rastreável o que levou a esse resultado".
A qualidade desses resultados tem sido investigada cientificamente há algum tempo com graus variados de sucesso. Por exemplo, um estudo de 2023 na revista "Journal of Medical Internet Research" descobriu que o ChatGPT tinha uma alta precisão diagnóstica, identificando corretamente o diagnóstico final em quase 77% de 36 casos. Um estudo holandês chegou a sugerir que as capacidades diagnósticas do ChatGPT estavam no mesmo nível dos médicos em emergências, diagnosticando corretamente 97% dos casos usando dados anonimizados de 30 pacientes.
Por outro lado, um estudo de 2023 publicado na revista "Jama" encontrou que o ChatGPT só diagnosticou corretamente 27 de 70 casos médicos, uma mísera 39%. Um estudo publicado na "Jama Pediatrics" concluiu que sua precisão era ainda pior para condições que afetam principalmente crianças.
ChatGPT na Educação Médica
Um estudo recente publicado na revista "Plos One" investigou se o ChatGPT poderia ser útil na educação médica. A equipe de pesquisa do Canadian London Health Sciences Centre observou que o chatbot tem acesso a uma vasta base de conhecimentos e pode comunicar essa informação de forma interativa e compreensível.
A equipe alimentou o ChatGPT com 150 "desafios de caso" de uma base de dados de históricos médicos, onde os sintomas e a evolução da doença são descritos. Tanto estudantes quanto profissionais médicos foram solicitados a fazer um diagnóstico e elaborar um plano de tratamento usando um formato de múltipla escolha.
O ChatGPT estava correto em apenas 74 de 150 casos, ou pouco menos da metade. O estudo descobriu que o ChatGPT luta para interpretar valores de laboratório e resultados de imagem e muitas vezes ignora informações importantes. Os autores concluíram que, em sua forma atual, o ChatGPT não é preciso o suficiente para ser usado como uma ferramenta diagnóstica e deve ser usado com cautela como uma ferramenta diagnóstica e educacional.
"O fato de ser altamente relevante e relativamente pouco preciso argumenta contra a confiança no ChatGPT para aconselhamento médico, pois pode fornecer informações enganosas", alertou o estudo, uma advertência que provavelmente também se aplica a leigos que usam o bot para autodiagnóstico digital.
Autoavaliação do ChatGPT
O próprio ChatGPT enfatiza que não é adequado para fazer diagnósticos. Quando questionado sobre suas capacidades diagnósticas, o bot responde: "Eu não sou médico e não tenho formação médica. Posso fornecer informações sobre tópicos médicos, oferecer conselhos gerais e responder a perguntas, mas não posso fazer diagnósticos médicos ou fornecer aconselhamento médico profissional. Se você tiver problemas de saúde ou perguntas, sempre deve consultar um médico ou um profissional de saúde qualificado".
ChatGPT e Diagnóstico de Condições Infantis (Jama Pediatrics, 2024)
Levando em conta os resultados do estudo, as pessoas tendem a perceber a orientação médica gerada por IA como menos confiável e empática do que a de médicos humanos, o que pode afetar sua disposição em seguir essas recomendações. Interessantemente, outros estudos já apontaram a importância dos médicos humanos terem a palavra final no cuidado do paciente, enfatizando a necessidade de educação sobre a IA na área da saúde.
