- Menschen bezweifeln oft medizinische KI-Ratschläge - oft mit gutem Grund
Ein unerklärlicher Bauchschmerz, ein hartnäckiger Husten oder ein ungewöhnlicher Fleck auf einem Zehennagel: Menschen, die Google nach verschiedenen Symptomen fragen, ist kein neues Phänomen, und mit der wachsenden Beliebtheit von AI-basierten Chatbots wie ChatGPT scheinen die Möglichkeiten für die digitale Selbstdiagnose zu wachsen. Allerdings zeigt eine Studie aus Würzburg, die im Journal "Nature Medicine" veröffentlicht wurde, dass es noch immer Significant Bedenken regarding die medizinische Kompetenz solcher künstlicher Intelligenz gibt.
Perzeption von AI-Beratung untersucht
Das Würzburger Forschungsteam untersuchte, wie Menschen auf medizinische Empfehlungen von AI reagieren. "Unser Interesse galt nicht der technischen Kompetenz des AI, sondern wie die AI-Ausgabe wahrgenommen wird", sagt Moritz Reis von der Julius-Maximilians-Universität.
Dazu teilten die Forscher über 2.000 Teilnehmer in drei Gruppen auf, die alle dieselben medizinischen Empfehlungen erhielten. Die erste Gruppe wurde darüber informiert, dass die Empfehlungen von einem Arzt stammten, die zweite, dass sie von einem AI-basierten Chatbot stammten, und die dritte Gruppe glaubte, dass die Empfehlungen von einem Chatbot stammten, der von einem Arzt überprüft wurde.
Die Teilnehmer bewerteten die Empfehlungen regarding Zuverlässigkeit, Verständlichkeit und Empathie. Wenn sie AI-Beteiligung vermuteten, empfanden sie die Empfehlungen als weniger empathisch und zuverlässig. Dies galt sogar für die Gruppe, die glaubte, dass die AI-Empfehlungen von einem Arzt überprüft wurden. Daher waren sie weniger geneigt, diesen Empfehlungen zu folgen. "Die Vorurteile gegenüber AI sind statistisch signifikant, obwohl nicht überwältigend", kommentiert Reis.
Erklärungen für AI-Skepsis
Reis führt AI-Skepsis teilweise auf Stereotypen zurück: "Viele glauben, dass eine Maschine nicht empathisch sein kann." Allerdings bewerteten alle drei Gruppen die Verständlichkeit der Empfehlungen gleich.
Für das Forschungsteam ist die identifizierte AI-Skepsis wichtig, da AI in der Medizin eine immer größere Rolle spielt. Es werden derzeit viele Studien zu neuen AI-Anwendungen veröffentlicht. Daher ist die öffentliche Akzeptanz entscheidend, sagt Reis: "Die Frage der zukünftigen AI-Nutzung in der Medizin ist nicht nur, was technisch möglich ist, sondern auch, wie weit Patienten bereit sind zu gehen." Bildung über diese Anwendungen und AI im Allgemeinen ist notwendig. "Andere Studien haben gezeigt, wie wichtig es ist, dass ein menschlicher Arzt gemeinsam mit dem Patienten die letzte Entscheidung trifft", betont Reis.
Transparenz als wichtiger Faktor
Reis betont die Bedeutung von Transparenz: "Das bedeutet zum Beispiel, dass ein AI nicht nur eine Diagnose stellt, sondern auch nachvollziehbar erklärt, welche Informationen zu diesem Ergebnis geführt haben."
Die Qualität dieser Ergebnisse wurde seit langem mit unterschiedlichem Erfolg wissenschaftlich untersucht. So fand eine 2023-Studie im "Journal of Medical Internet Research" heraus, dass ChatGPT eine hohe diagnostische Genauigkeit hat und in fast 77% von 36 Fällen die endgültige Diagnose korrekt identifizierte. Eine niederländische Studie ging sogar so weit zu sagen, dass die diagnostischen Fähigkeiten von ChatGPT denen von Ärzten in Notaufnahmen entsprechen, indem sie in 97% der Fälle anonymisierte Daten von 30 Patienten korrekt diagnostizierten.
Umgekehrt fand eine 2023-Studie im "Jama"-Journal heraus, dass ChatGPT nur in 27 von 70 medizinischen Fällen, also 39%, die Diagnose korrekt stellte. Eine im "Jama Pediatrics" veröffentlichte Studie kam zu dem Schluss, dass seine Genauigkeit sogar bei Erkrankungen, die primarily Kinder betreffen, noch schlechter ist.
ChatGPT in der medizinischen Bildung
Eine kürzlich im "Plos One"-Journal veröffentlichte Studie untersuchte, ob ChatGPT in der medizinischen Bildung nützlich sein könnte. Das Forschungsteam vom kanadischen London Health Sciences Centre stellte fest, dass der Chatbot auf einen umfangreichen Wissensspeicher zugreifen und diese Informationen interaktiv und verständlich kommunizieren kann.
Das Team fütterte ChatGPT mit 150 "Case Challenges" aus einer Datenbank von medizinischen Fallgeschichten, bei denen Symptome und Krankheitsverlauf beschrieben wurden. Sowohl medizinische Studenten als auch Fachleute sollten eine Diagnose stellen und einen Behandlungsplan entwickeln, indem sie ein Multiple-Choice-Format verwendeten.
ChatGPT war in nur 74 von 150 Fällen, also weniger als die Hälfte, korrekt. Die Studie ergab, dass ChatGPT Schwierigkeiten hat, Laborwerte und Bildgebungsbefunde zu interpretieren und wichtige Informationen oft übersieht. Die Autoren kamen zu dem Schluss, dass ChatGPT in seiner aktuellen Form nicht genau genug ist, um als diagnostisches Werkzeug verwendet zu werden, und mit Vorsicht als diagnostisches Hilfsmittel und Bildungsinstrument verwendet werden sollte.
"Die Kombination von hoher Relevanz und relativ niedriger Genauigkeit spricht dagegen, sich auf ChatGPT für medizinische Ratschläge zu verlassen, da es möglicherweise irreführende Informationen liefern kann", warnte die Studie, eine Warnung, die wohl auch auf Laien applies, die den Bot für die digitale Selbstdiagnose verwenden.
ChatGPTs Selbsteinschätzung
ChatGPT selbst betont, dass es nicht zur Diagnose geeignet ist. Wenn es nach seinen diagnostischen Fähigkeiten gefragt wird, antwortet der Bot: "Ich bin kein Arzt und habe keine medizinische Ausbildung. Ich kann Informationen zu medizinischen Themen bereitstellen, allgemeine Ratschläge geben und Fragen beantworten, aber ich kann keine medizinischen Diagnosen stellen oder professionelle medizinische Ratschläge geben. Wenn Sie gesundheitliche Probleme oder Fragen haben, sollten Sie immer einen Arzt oder einen qualifizierten Gesundheitspersonal konsultieren."
