La ChatGPT fatica a rispondere alle domande mediche, secondo una nuova ricerca

Secondo un nuovo studio, la chatGPT potrebbe non essere una panacea per le risposte alle domande mediche. - La ChatGPT fatica a rispondere alle domande mediche, secondo una nuova ricerca

I ricercatori della Long Island University hanno posto 39 domande relative ai farmaci alla versione gratuita del chatbot di intelligenza artificiale, tutte domande reali del servizio di informazione sui farmaci del College of Pharmacy dell'università. Le risposte del software sono state poi confrontate con quelle scritte e riviste da farmacisti esperti.

Lo studio ha rilevato che ChatGPT ha fornito risposte accurate solo a circa 10 delle domande, ovvero circa un quarto del totale. Per gli altri 29 quesiti, le risposte erano incomplete o imprecise, oppure non rispondevano alle domande.

I risultati sono stati presentati martedì al meeting annuale dell'American Society for Health-Systems Pharmacists ad Anaheim, in California.

ChatGPT, il chatbot sperimentale di OpenAI, è stato rilasciato nel novembre 2022 ed è diventato l'applicazione per i consumatori con la crescita più rapida della storia, con quasi 100 milioni di persone che si sono registrate in due mesi.

Data questa popolarità, l'interesse dei ricercatori è nato dalla preoccupazione che i loro studenti, gli altri farmacisti e i consumatori comuni si rivolgessero a risorse come ChatGPT per approfondire le domande sulla loro salute e sui piani di cura, ha dichiarato Sara Grossman, professore associato di pratica farmaceutica presso la Long Island University e uno degli autori dello studio.

Queste domande, hanno scoperto, spesso davano risposte imprecise o addirittura pericolose.

In una domanda, per esempio, i ricercatori hanno chiesto a ChatGPT se il farmaco antivirale Covid-19 Paxlovid e il farmaco per abbassare la pressione sanguigna verapamil avrebbero reagito l'uno con l'altro nell'organismo. ChatGPT ha risposto che l'assunzione congiunta dei due farmaci non avrebbe prodotto effetti negativi.

In realtà, le persone che assumono entrambi i farmaci possono avere un forte calo della pressione sanguigna, che può causare vertigini e svenimenti. Per i pazienti che li assumono entrambi, i medici spesso creano piani specifici per il paziente, tra cui la riduzione della dose di verapamil o l'avvertenza di alzarsi lentamente da una posizione seduta, ha detto Grossman.

La guida di ChatGPT, ha aggiunto, avrebbe messo le persone in pericolo.

"L'uso di ChatGPT per rispondere a questa domanda avrebbe esposto il paziente al rischio di un'interazione farmacologica indesiderata e prevenibile", ha scritto Grossman in un'e-mail alla CNN.

Quando i ricercatori hanno chiesto al chatbot i riferimenti scientifici a sostegno di ciascuna risposta, hanno scoperto che il software era in grado di fornirli solo per otto delle domande poste. E in ogni caso, sono rimasti sorpresi nello scoprire che ChatGPT stava fabbricando dei riferimenti.

A prima vista, le citazioni sembravano legittime: Spesso erano formattate in modo appropriato, fornivano URL ed erano elencate in riviste scientifiche legittime. Ma quando il team ha cercato di trovare gli articoli di riferimento, si è reso conto che ChatGPT aveva fornito citazioni fittizie.

In un caso, i ricercatori hanno chiesto a ChatGPT come convertire le dosi per iniezione spinale del farmaco per gli spasmi muscolari baclofen nelle corrispondenti dosi orali. Il team di Grossman non è riuscito a trovare un rapporto di conversione delle dosi scientificamente stabilito, ma ChatGPT ha proposto un unico tasso di conversione e ha citato le indicazioni di due organizzazioni mediche.

Tuttavia, nessuna delle due organizzazioni fornisce indicazioni ufficiali sul tasso di conversione della dose. In effetti, il fattore di conversione suggerito da ChatGPT non è mai stato stabilito scientificamente. Il software forniva anche un esempio di calcolo per la conversione della dose, ma con un errore critico: confondeva le unità di misura quando calcolava la dose orale, sballando la dose raccomandata di un fattore pari a 1.000.

Secondo Grossman, se questa guida fosse stata seguita da un operatore sanitario, questi avrebbe potuto somministrare a un paziente una dose di baclofene per via orale 1.000 volte inferiore a quella richiesta, con il rischio di provocare sintomi da astinenza come allucinazioni e convulsioni.

"Ci sono stati numerosi errori e 'problemi' con questa risposta e, in ultima analisi, potrebbe avere un profondo impatto sulla cura del paziente", ha scritto.

Lo studio della Long Island University non è il primo a sollevare dubbi sulle citazioni fittizie della ChatGPT. Precedenti ricerche hanno anche documentato che, quando vengono poste domande di carattere medico, ChatGPT è in grado di creare false citazioni scientifiche ingannevoli, elencando persino i nomi di autori reali con precedenti pubblicazioni su riviste scientifiche.

Grossman, che aveva lavorato poco con il software prima dello studio, è rimasto sorpreso dalla sicurezza con cui ChatGPT è stato in grado di sintetizzare quasi istantaneamente informazioni che avrebbero richiesto ore di lavoro a professionisti qualificati.

"Le risposte erano formulate in modo molto professionale e sofisticato, e sembrava che potessero contribuire a creare un senso di fiducia nell'accuratezza dello strumento", ha detto. "Un utente, un consumatore o altre persone che potrebbero non essere in grado di discernere possono essere influenzati dall'apparenza di autorità".

Un portavoce di OpenAI, l'organizzazione che sviluppa ChatGPT, ha dichiarato di consigliare agli utenti di non affidarsi alle risposte come sostituto di una consulenza o di un trattamento medico professionale.

Il portavoce ha fatto riferimento alle politiche di utilizzo di ChatGPT, che indicano che "i modelli di OpenAI non sono stati messi a punto per fornire informazioni mediche". La politica afferma inoltre che i modelli non dovrebbero mai essere utilizzati per fornire "servizi diagnostici o di trattamento per gravi condizioni mediche".

Pur non sapendo quante persone utilizzino ChatGPT per rispondere a domande sui farmaci, Grossman ha espresso il timore che possano usare il chatbot come se cercassero consigli medici su motori di ricerca come Google.

Iscriviti qui per ricevere The Results Are In con il Dr. Sanjay Gupta ogni martedì dal team di CNN Health.

"Le persone sono sempre alla ricerca di risposte istantanee quando hanno questo a portata di mano", ha detto Grossman. "Penso che questo sia solo un altro approccio all'uso di 'Dr. Google' e di altri metodi apparentemente facili per ottenere informazioni".

Per le informazioni mediche online, Grossman raccomanda ai consumatori di utilizzare i siti web governativi che forniscono informazioni affidabili, come la pagina MedlinePlus del National Institutes of Health.

Tuttavia, Grossman non crede che le risposte online possano sostituire i consigli di un professionista della salute.

"I siti web sono forse un punto di partenza, ma possono escludere i loro fornitori quando cercano informazioni sui farmaci che sono direttamente applicabili a loro", ha detto. "Ma potrebbero non essere applicabili ai pazienti stessi a causa del loro caso personale, e ogni paziente è diverso. Perciò non bisogna togliere di mezzo l'autorità: l'operatore sanitario, il prescrittore, i medici del paziente".