- Les gens doutent souvent des conseils médicaux de l'IA - souvent avec raison
Un mal de ventre inexpliqué, une toux persistante ou une tâche inhabituelle sur un ongle : les gens qui interrogent Google sur divers symptômes ne sont pas une nouveauté, et avec la popularité croissante des chatbots basés sur l'IA comme ChatGPT, les possibilités de diagnostic numérique semblent augmenter. Cependant, une étude de Wurtzbourg, publiée dans la revue "Nature Medicine", montre qu'il y a encore des réserves significatives quant à la compétence médicale de ces intelligences artificielles.
Perception de l'avis de l'IA
Les chercheurs de Wurtzbourg ont étudié la façon dont les gens réagissent aux conseils médicaux générés par l'IA. "Nous ne nous sommes pas intéressés à la compétence technique de l'IA, mais plutôt à la façon dont la sortie de l'IA est perçue", explique Moritz Reis de l'Université Julius-Maximilians.
À cette fin, l'équipe de recherche a divisé plus de 2 000 participants en trois groupes, chacun recevant des conseils médicaux identiques. Le premier groupe a été informé que les recommandations venaient d'un médecin, le deuxième a été informé qu'elles venaient d'un chatbot basé sur l'IA, et le troisième groupe croyait que les conseils venaient d'un chatbot mais avaient été revus par un médecin.
Les participants ont évalué les recommandations pour leur fiabilité, leur compréhensibilité et leur empathie. Chaque fois qu'ils soupçonnaient l'implication de l'IA, ils percevaient les conseils comme moins empathiques et fiables. Cela a également été vrai pour le groupe qui croyait qu'un médecin avait revu les recommandations de l'IA. Par conséquent, ils étaient moins enclins à suivre ces recommandations. "Le biais contre l'IA est statistiquement significatif, bien qu'il ne soit pas écrasant", commente Reis.
Explications du scepticisme envers l'IA
Reis attribue en partie le scepticisme envers l'IA aux stéréotypes : "Beaucoup pensent qu'une machine ne peut pas être empathique". Cependant, les trois groupes ont évalué la compréhensibilité des conseils de manière égale.
Pour le groupe de recherche, le scepticisme identifié envers l'IA est important car l'IA joue un rôle de plus en plus significatif dans la médecine. De nombreuses études sur de nouvelles applications de l'IA sont actuellement publiées. Par conséquent, l'acceptation du public est cruciale, dit Reis : "La question de l'utilisation future de l'IA en médecine ne concerne pas seulement ce qui est techniquement possible, mais aussi jusqu'où les patients sont prêts à aller." L'éducation sur ces applications et l'IA en général est nécessaire. "D'autres études ont montré à quel point il est important pour la confiance des patients qu'un médecin humain ait le dernier mot, avec le patient", souligne Reis.
La transparence comme facteur clé
Reis considère la transparence comme particulièrement importante : "Cela signifie, par exemple, qu'une IA ne se contente pas de faire un diagnostic, mais explique également de manière traçable quelles informations ont conduit à ce résultat."
La qualité de ces résultats a été scientifiquement étudiée depuis longtemps avec des résultats variables. Par exemple, une étude de 2023 dans la "Revue de recherche sur Internet en médecine" a montré que ChatGPT avait une précision diagnostique élevée, identifiant le diagnostic final dans près de 77 % de 36 cas. Une étude néerlandaise a même suggéré que les capacités diagnostiques de ChatGPT étaient comparables à celles des médecins des urgences, diagnostiquant avec précision 97 % des cas à l'aide de données anonymisées de 30 patients.
Inversement, une étude de 2023 publiée dans la revue "Jama" a montré que ChatGPT n'a correctement diagnostiqué que 27 des 70 cas médicaux, soit 39 %. Une étude publiée dans "Jama Pédiatrie" a conclu que sa précision était même plus faible pour les conditions touchant principalement les enfants.
ChatGPT dans l'éducation médicale
Une étude récente publiée dans la revue "Plos One" a examiné si ChatGPT pouvait être utile dans l'éducation médicale. L'équipe de recherche du London Health Sciences Centre du Canada a noté que le chatbot a accès à une vaste base de connaissances et peut communiquer ces informations de manière interactive et compréhensible.
L'équipe a soumis à ChatGPT 150 "défi de cas" d'une base de données d'histoires de cas médicaux, où les symptômes et l'évolution de la maladie sont décrits. On a demandé à la fois aux étudiants en médecine et aux professionnels de faire un diagnostic et de développer un plan de traitement à l'aide d'un formulaire à choix multiples.
ChatGPT a été correct dans 74 des 150 cas, soit un peu moins de la moitié. L'étude a montré que ChatGPT a du mal à interpréter les valeurs de laboratoire et les résultats d'imagerie et omettait souvent des informations importantes. Les auteurs ont conclu que sous sa forme actuelle, ChatGPT n'est pas assez précis pour être utilisé comme outil de diagnostic et doit être utilisé avec prudence à la fois comme outil de diagnostic et d'éducation.
"La combinaison de la pertinence élevée et de la précision relativement faible plaide contre le fait de se fier à ChatGPT pour obtenir des conseils médicaux, car il peut fournir des informations trompeuses", a mis en garde l'étude, une mise en garde qui s'applique probablement également aux personnes qui utilisent le bot pour l'autodiagnostic numérique.
ChatGPT et le diagnostic des conditions infantiles (JAMA Pédiatrie, 2024)
Au vu des résultats de l'étude, les gens ont tendance à percevoir les conseils médicaux générés par l'IA comme moins fiables et empathiques que ceux des médecins humains, ce qui peut affecter leur volonté de suivre ces recommandations. Il est intéressant de noter que d'autres études ont souligné l'importance que les médecins humains aient le dernier mot dans les soins aux patients, soulignant la nécessité d'une éducation sur l'IA dans le domaine de la santé.
