Une nouvelle étude révèle que le ChatGPT peine à répondre aux questions médicales

Des chercheurs de l'université de Long Island ont posé 39 questions relatives aux médicaments à la version gratuite du chatbot d'intelligence artificielle, qui étaient toutes des questions réelles provenant du service d'information sur les médicaments de la faculté de pharmacie de l'université. Les réponses du logiciel ont ensuite été comparées à celles rédigées et examinées par des pharmaciens qualifiés.

L'étude a révélé que le ChatGPT n'a fourni des réponses exactes que pour une dizaine de questions, soit environ un quart du total. Pour les 29 autres questions, les réponses étaient incomplètes ou inexactes, ou ne répondaient pas aux questions.

Les résultats ont été présentés mardi lors de la réunion annuelle de l'American Society for Health-Systems Pharmacists à Anaheim, en Californie.

ChatGPT, le chatbot expérimental d'OpenAI, a été lancé en novembre 2022 et est devenu l'application grand public à la croissance la plus rapide de l'histoire, avec près de 100 millions de personnes inscrites en l'espace de deux mois.

Compte tenu de cette popularité, l'intérêt des chercheurs a été suscité par la crainte que leurs étudiants, d'autres pharmaciens et des consommateurs ordinaires se tournent vers des ressources telles que ChatGPT pour poser des questions sur leur santé et leurs plans de médication, a déclaré Sara Grossman, professeur agrégé de pratique pharmaceutique à l'université de Long Island et l'un des auteurs de l'étude.

Les chercheurs ont constaté que ces questions donnaient souvent lieu à des réponses inexactes, voire dangereuses.

Dans une question, par exemple, les chercheurs ont demandé à ChatGPT si le Paxlovid, un médicament antiviral de la classe Covid-19, et le Vérapamil, un médicament hypotenseur, réagiraient l'un avec l'autre dans l'organisme. ChatGPT a répondu que la prise simultanée de ces deux médicaments n'entraînerait aucun effet indésirable.

En réalité, les personnes qui prennent les deux médicaments peuvent subir une forte baisse de la tension artérielle, ce qui peut provoquer des vertiges et des évanouissements. Pour les patients qui prennent les deux médicaments, les cliniciens élaborent souvent des plans spécifiques au patient, notamment en diminuant la dose de vérapamil ou en conseillant à la personne de se lever lentement d'une position assise, a déclaré Mme Grossman.

Les conseils de ChatGPT, a-t-elle ajouté, auraient mis les gens en danger.

"L'utilisation de ChatGPT pour répondre à cette question aurait fait courir à un patient le risque d'une interaction médicamenteuse indésirable et évitable", a écrit Mme Grossman dans un courriel adressé à CNN.

Lorsque les chercheurs ont demandé au chatbot de fournir des références scientifiques à l'appui de chacune de ses réponses, ils ont constaté que le logiciel ne pouvait les fournir que pour huit des questions posées. Et dans chaque cas, ils ont été surpris de constater que ChatGPT fabriquait des références.

À première vue, les citations semblaient légitimes : Elles étaient souvent formatées de manière appropriée, fournissaient des URL et étaient répertoriées dans des revues scientifiques légitimes. Mais lorsque l'équipe a tenté de trouver les articles référencés, elle s'est aperçue que ChatGPT leur avait donné des citations fictives.

Dans un cas, les chercheurs ont demandé à ChatGPT comment convertir les doses injectées dans la colonne vertébrale du baclofène, un médicament contre les spasmes musculaires, en doses orales correspondantes. L'équipe de Mme Grossman n'a pas trouvé de ratio de conversion des doses scientifiquement établi, mais ChatGPT a proposé un taux de conversion unique et a cité les conseils de deux organisations médicales.

Cependant, aucune de ces organisations ne fournit d'indications officielles sur le taux de conversion des doses. En fait, le facteur de conversion proposé par ChatGPT n'a jamais été scientifiquement établi. Le logiciel a également fourni un exemple de calcul pour la conversion de la dose, mais avec une erreur critique : il a mélangé les unités lors du calcul de la dose orale, ce qui a eu pour effet de multiplier la recommandation de dose par 1 000.

Selon M. Grossman, si un professionnel de la santé suivait ces indications, il pourrait administrer à un patient une dose de baclofène par voie orale 1 000 fois inférieure à celle requise, ce qui pourrait provoquer des symptômes de sevrage tels que des hallucinations et des crises d'épilepsie.

Il y a eu de nombreuses erreurs et de nombreux "problèmes" dans cette réponse et, en fin de compte, cela pourrait avoir un impact profond sur les soins prodigués aux patients", écrit-elle.

L'étude de l'université de Long Island n'est pas la première à soulever des inquiétudes concernant les citations fictives de ChatGPT. Des recherches antérieures ont également montré que, lorsqu'on lui pose des questions d'ordre médical, ChatGPT peut créer des contrefaçons trompeuses de références scientifiques, allant même jusqu'à citer les noms de vrais auteurs ayant déjà publié dans des revues scientifiques.

M. Grossman, qui avait peu travaillé avec le logiciel avant l'étude, a été surpris par l'assurance avec laquelle ChatGPT était capable de synthétiser presque instantanément des informations, des réponses qui prendraient des heures à des professionnels qualifiés.

"Les réponses étaient formulées de manière très professionnelle et sophistiquée, et il semble que cela puisse contribuer à un sentiment de confiance dans l'exactitude de l'outil", a-t-elle déclaré. "Un utilisateur, un consommateur ou d'autres personnes incapables de discernement peuvent être influencés par l'apparence d'autorité.

Un porte-parole d'OpenAI, l'organisation qui développe ChatGPT, a déclaré qu'elle conseillait aux utilisateurs de ne pas se fier aux réponses comme substitut à un conseil ou à un traitement médical professionnel.

Le porte-parole a cité les politiques d'utilisation de ChatGPT, qui indiquent que "les modèles d'OpenAI ne sont pas affinés pour fournir des informations médicales". La politique stipule également que les modèles ne doivent jamais être utilisés pour fournir "des services de diagnostic ou de traitement pour des conditions médicales sérieuses".

Bien que Mme Grossman ne sache pas combien de personnes utilisent ChatGPT pour répondre à des questions sur les médicaments, elle craint qu'elles n'utilisent le chatbot comme elles le feraient pour chercher des conseils médicaux sur des moteurs de recherche tels que Google.

Recevez la lettre d'information hebdomadaire de CNN Health

Inscrivez-vous ici pour recevoir tous les mardis la lettre d'information de l'équipe de CNN Health "The Results Are In with Dr Sanjay Gupta ".

"Les gens sont toujours à la recherche de réponses instantanées lorsqu'ils ont cela à portée de main", a déclaré Mme Grossman. "Je pense qu'il s'agit simplement d'une autre approche de l'utilisation de 'Dr. Google' et d'autres méthodes apparemment faciles pour obtenir des informations.

Pour obtenir des informations médicales en ligne, elle recommande aux consommateurs d'utiliser des sites web gouvernementaux qui fournissent des informations fiables, comme la page MedlinePlus de l'Institut national de la santé (National Institutes of Health).

Cependant, Mme Grossman ne pense pas que les réponses en ligne puissent remplacer les conseils d'un professionnel de la santé.

"Les sites web sont peut-être un point de départ, mais ils peuvent exclure les prestataires de soins de la recherche d'informations sur les médicaments qui leur sont directement applicables", a-t-elle déclaré. "Mais ces informations peuvent ne pas s'appliquer aux patients eux-mêmes en raison de leur cas personnel, et chaque patient est différent. L'autorité ne doit donc pas être écartée du tableau : le professionnel de santé, le prescripteur, les médecins du patient.

Une nouvelle étude révèle que le ChatGPT peine à répondre aux questions médicales