- Le persone spesso dubitano dei consigli medici sull'IA - spesso con buone ragioni
Un mal di stomaco inspiegabile, una tosse persistente o un punto insolito sull'unghia di un piede: le persone che chiedono a Google informazioni sui loro sintomi non è un fenomeno nuovo, e con l'aumento della popolarità dei chatbot basati sull'IA come ChatGPT, le possibilità di autodiagnosi digitale sembrano aumentare. Tuttavia, uno studio di Würzburg, pubblicato sulla rivista "Nature Medicine", mostra che ci sono ancora significativi dubbi sulla competenza medica dell'intelligenza artificiale.
Percezione dei consigli dell'IA
I ricercatori di Würzburg hanno indagato come le persone reagiscono ai consigli medici generati dall'IA. "Non ci interessava la competenza tecnica dell'IA, ma piuttosto come viene percepito l'output dell'IA", dice Moritz Reis dell'Università Julius-Maximilians-Universität.
Per farlo, il team di ricerca ha diviso oltre 2.000 partecipanti in tre gruppi, ciascuno dei quali ha ricevuto gli stessi consigli medici. Il primo gruppo è stato informato che le raccomandazioni provenivano da un medico, il secondo che provenivano da un chatbot basato sull'IA e il terzo gruppo ha creduto che le raccomandazioni provenissero da un chatbot ma erano state revisionate da un medico.
I partecipanti hanno valutato le raccomandazioni per affidabilità, comprensibilità ed empatia. Ogni volta che sospettavano l'intervento dell'IA, percepivano i consigli come meno empatici e affidabili. Ciò è stato vero anche per il gruppo che credeva che le raccomandazioni dell'IA fossero state revisionate da un medico. Di conseguenza, erano meno propensi a seguire questi consigli. "Il bias contro l'IA è statisticamente significativo, anche se non schiacciante", commenta Reis.
Spiegazioni per il scetticismo sull'IA
Reis attribuisce in parte lo scetticismo sull'IA agli stereotipi: "Molti credono che una macchina non possa essere empatica". Tuttavia, tutti e tre i gruppi hanno valutato la comprensibilità dei consigli allo stesso modo.
Per il gruppo di ricerca, lo scetticismo sull'IA identificato è importante perché l'IA sta giocando un ruolo sempre più significativo nella medicina. Attualmente vengono pubblicati molti studi su nuove applicazioni dell'IA. Pertanto, l'accettazione del pubblico è cruciale, dice Reis: "La questione dell'uso futuro dell'IA in medicina non riguarda solo ciò che è tecnicamente possibile, ma anche fino a dove i pazienti sono disposti ad andare". È necessario l'educazione su queste applicazioni e sull'IA in generale. "Altri studi hanno dimostrato quanto sia importante per la fiducia del paziente che un medico umano abbia l'ultima parola, insieme al paziente", sottolinea Reis.
La trasparenza come fattore chiave
Reis considera la trasparenza particolarmente rilevante: "Ciò significa, ad esempio, che un'IA non fa solo una diagnosi, ma spiega anche in modo tracciabile quali informazioni hanno portato a questo risultato".
La qualità di questi risultati è stata investigata scientificamente da tempo con risultati variabili. Ad esempio, uno studio del 2023 sulla "Journal of Medical Internet Research" ha trovato che ChatGPT aveva un'alta accuratezza diagnostica, identificando correttamente la diagnosi finale in quasi il 77% di 36 casi. Uno studio olandese ha addirittura suggerito che le capacità diagnostiche di ChatGPT erano alla pari con i medici nei pronto soccorso, diagnosticando correttamente il 97% dei casi utilizzando dati anonimi di 30 pazienti.
Al contrario, uno studio del 2023 pubblicato sulla rivista "Jama" ha trovato che ChatGPT ha diagnosticato correttamente solo 27 su 70 casi medici, ovvero il 39%. Uno studio pubblicato su "Jama Pediatrics" ha concluso che la sua accuratezza era ancora peggiore per le condizioni che colpiscono principalmente i bambini.
ChatGPT nell'istruzione medica
Uno studio recente pubblicato sulla rivista "Plos One" ha indagato se ChatGPT potrebbe essere utile nell'istruzione medica. Il team di ricerca del London Health Sciences Centre del Canada ha notato che il chatbot ha accesso a una vasta base di conoscenze e può comunicare queste informazioni in modo interattivo e comprensibile.
Il team ha somministrato a ChatGPT 150 "casi di sfida" da una banca dati di storie cliniche, dove sono descritti i sintomi e l'evoluzione della malattia. both medical students and professionals were asked to make a diagnosis and develop a treatment plan using a multiple-choice format.
ChatGPT è stato corretto solo in 74 su 150 casi, ovvero poco meno della metà. Lo studio ha rilevato che ChatGPT fatica a interpretare i valori dei test di laboratorio e le immagini e spesso trascura informazioni importanti. Gli autori hanno concluso che nella sua forma attuale, ChatGPT non è sufficientemente accurato per essere utilizzato come strumento diagnostico e dovrebbe essere utilizzato con cautela sia come strumento diagnostico che come strumento educativo.
"La combinazione di alta rilevanza e relativamente bassa accuratezza argues against relying on ChatGPT for medical advice, as it may present misleading information", ha avvertito lo studio, un avvertimento che probabilmente si applica anche alle persone che utilizzano il bot per l'autodiagnosi digitale.
ChatGPT e la diagnosi delle condizioni pediatriche (JAMA Pediatrics, 2024)
In luce dei risultati dello studio, le persone tendono a percepire i consigli medici generati dall'IA come meno affidabili ed empatici rispetto a quelli dei medici umani, il che potrebbe influire sulla loro volontà di seguire questi consigli. Interessantemente, altri studi hanno evidenziato l'importanza che i medici umani abbiano l'ultima parola nelle cure dei pazienti, sottolineando la necessità di educazione sull'IA nella sanità.
