ChatGPT tem dificuldade em responder a perguntas médicas, segundo uma nova investigação

Os investigadores da Universidade de Long Island colocaram 39 questões relacionadas com medicamentos à versão gratuita do chatbot de inteligência artificial, todas elas questões reais do serviço de informação sobre medicamentos da Faculdade de Farmácia da universidade. As respostas do software foram depois comparadas com as respostas escritas e revistas por farmacêuticos formados.

O estudo concluiu que o ChatGPT deu respostas exactas apenas a cerca de 10 das perguntas, ou seja, cerca de um quarto do total. Para as outras 29 perguntas, as respostas estavam incompletas ou incorrectas, ou não respondiam às perguntas.

Os resultados foram apresentados na terça-feira na reunião anual da American Society for Health-Systems Pharmacists em Anaheim, Califórnia.

ChatGPT, o chatbot de IA experimental da OpenAI, foi lançado em novembro de 2022 e se tornou o aplicativo de consumo de crescimento mais rápido da história, com quase 100 milhões de pessoas registradas em dois meses.

Dada essa popularidade, o interesse dos pesquisadores foi despertado pela preocupação de que seus alunos, outros farmacêuticos e consumidores comuns recorressem a recursos como o ChatGPT para explorar questões sobre seus planos de saúde e medicamentos, disse Sara Grossman, professora associada de prática farmacêutica na Universidade de Long Island e um dos autores do estudo.

As respostas a essas perguntas, segundo os investigadores, eram frequentemente incorrectas ou mesmo perigosas.

Numa pergunta, por exemplo, os investigadores perguntaram ao ChatGPT se o medicamento antiviral Paxlovid, contra a Covid-19, e o medicamento para baixar a pressão arterial verapamil reagiriam entre si no organismo. ChatGPT respondeu que tomar os dois medicamentos juntos não produziria efeitos adversos.

Na realidade, as pessoas que tomam ambos os medicamentos podem ter uma grande descida da tensão arterial, o que pode causar tonturas e desmaios. Para os doentes que tomam ambos os medicamentos, os médicos criam frequentemente planos específicos para cada doente, incluindo a redução da dose de verapamil ou a advertência de que a pessoa se deve levantar lentamente de uma posição sentada, disse Grossman.

A orientação do ChatGPT, acrescentou, teria colocado as pessoas em perigo.

"Usar o ChatGPT para resolver esta questão colocaria um paciente em risco de uma interação medicamentosa indesejada e evitável", escreveu Grossman em um e-mail para a CNN.

Quando os pesquisadores pediram ao chatbot referências científicas para apoiar cada uma de suas respostas, eles descobriram que o software poderia fornecê-las para apenas oito das perguntas que eles fizeram. E, em cada caso, ficaram surpreendidos ao descobrir que o ChatGPT estava a fabricar referências.

À primeira vista, as citações pareciam legítimas: Muitas vezes estavam formatadas corretamente, forneciam URLs e estavam listadas em revistas científicas legítimas. Mas quando a equipa tentou encontrar os artigos referenciados, percebeu que o ChatGPT lhes tinha dado citações fictícias.

Num dos casos, os investigadores perguntaram ao ChatGPT como converter doses de injeção espinal do medicamento para espasmos musculares baclofeno em doses orais correspondentes. A equipa de Grossman não conseguiu encontrar uma taxa de conversão de doses cientificamente estabelecida, mas o ChatGPT apresentou uma única taxa de conversão e citou a orientação de duas organizações médicas, disse ela.

No entanto, nenhuma das organizações fornece qualquer orientação oficial sobre a taxa de conversão de doses. De facto, o fator de conversão que o ChatGPT sugeriu nunca foi cientificamente estabelecido. O software também forneceu um exemplo de cálculo para a conversão da dose, mas com um erro crítico: confundiu as unidades ao calcular a dose oral, alterando a recomendação da dose por um fator de 1.000.

Se essa orientação fosse seguida por um profissional de saúde, disse Grossman, ele poderia dar a um paciente uma dose oral de baclofeno 1.000 vezes menor do que a necessária, o que poderia causar sintomas de abstinência, como alucinações e convulsões.

Houve numerosos erros e "problemas" com esta resposta e, em última análise, pode ter um impacto profundo no tratamento dos doentes", escreveu.

O estudo da Universidade de Long Island não é o primeiro a levantar preocupações sobre as citações fictícias do ChatGPT. Pesquisas anteriores também documentaram que, quando questionado sobre questões médicas, o ChatGPT pode criar falsificações enganosas de referências científicas, até mesmo listando os nomes de autores reais com publicações anteriores em revistas científicas.

Grossman, que tinha trabalhado pouco com o software antes do estudo, ficou surpreendido com a confiança com que o ChatGPT foi capaz de sintetizar informações quase instantaneamente, respostas que levariam horas para serem compiladas por profissionais treinados.

"As respostas foram formuladas de uma forma muito profissional e sofisticada, e parece que isso pode contribuir para um sentimento de confiança na exatidão da ferramenta", afirmou. "Um utilizador, um consumidor ou outras pessoas que possam não ser capazes de discernir podem ser influenciados pela aparência de autoridade."

Um porta-voz da OpenAI, a organização que desenvolve o ChatGPT, disse que aconselha os usuários a não confiar nas respostas como um substituto para aconselhamento ou tratamento médico profissional.

O porta-voz apontou para as políticas de utilização do ChatGPT, que indicam que "os modelos da OpenAI não estão ajustados para fornecer informações médicas". A política também afirma que os modelos nunca devem ser usados para fornecer "serviços de diagnóstico ou tratamento para condições médicas graves".

Embora Grossman não tenha certeza de quantas pessoas usam o ChatGPT para responder a perguntas sobre medicamentos, ela levantou preocupações de que eles poderiam usar o chatbot como se estivessem procurando conselhos médicos em mecanismos de pesquisa como o Google.

Receber o boletim informativo semanal da CNN Health

Inscreva-seaqui para receber o The Results Are In with Dr. Sanjay Gupta todas as terças-feiras da equipa da CNN Health.

"As pessoas estão sempre à procura de respostas instantâneas quando têm isto na ponta dos dedos", disse Grossman. "Acho que esta é apenas mais uma abordagem de usar o 'Dr. Google' e outros métodos aparentemente fáceis de obter informações."

Para obter informações médicas on-line, ela recomendou que os consumidores usem sites governamentais que fornecem informações respeitáveis, como a página MedlinePlus do National Institutes of Health.

Ainda assim, Grossman não acredita que as respostas online possam substituir o conselho de um profissional de saúde.

"Os sítios Web são talvez um ponto de partida, mas podem tirar os prestadores de cuidados de saúde do contexto em que se encontram quando procuram informações sobre medicamentos que lhes são diretamente aplicáveis", afirmou. "Mas pode não ser aplicável aos próprios doentes devido ao seu caso pessoal, e cada doente é diferente. Por isso, a autoridade não deve ser retirada do quadro: o profissional de saúde, o prescritor, os médicos do paciente".

ChatGPT tem dificuldade em responder a perguntas médicas, segundo uma nova investigação