KI-Chatbots geben „gefährliche“ medizinische Ratschläge, warnt Oxford-Studie

Kurzfassung

• Forschungen der Universität Oxford deuten darauf hin, dass KI-Chatbots gefährliche medizinische Ratschläge an Nutzer geben.
• Während Chatbots bei standardisierten Tests zum medizinischen Wissen hohe Punktzahlen erzielen, scheitern sie in persönlichen Szenarien, so die Studie.
• Forscher fanden heraus, dass LLMs (Große Sprachmodelle) bei medizinischen Entscheidungen nicht besser sind als herkömmliche Methoden.

KI-Chatbots kämpfen darum, die nächste große Sache im Gesundheitswesen zu werden, bestehen standardisierte Tests und geben Ratschläge zu medizinischen Problemen. Doch eine neue Studie, veröffentlicht in Nature Medicine, hat gezeigt, dass sie nicht nur noch weit davon entfernt sind, dies zu erreichen, sondern tatsächlich gefährlich sein könnten. Die Studie, geleitet von mehreren Teams der Universität Oxford, identifizierte eine deutliche Lücke bei großen Sprachmodellen (LLMs). Während sie technisch hochentwickelt im medizinischen Verständnis sind, scheiterten sie laut Forschern bei der Unterstützung von Nutzern mit persönlichen medizinischen Problemen. „Trotz aller Hype ist KI einfach noch nicht bereit, die Rolle des Arztes zu übernehmen“, sagte Dr. Rebecca Payne, die leitende medizinische Fachkraft der Studie, in einer Pressemitteilung zu den Ergebnissen. Sie fügte hinzu, dass „Patienten sich bewusst sein müssen, dass das Fragen eines großen Sprachmodells zu ihren Symptomen gefährlich sein kann, da falsche Diagnosen gestellt werden und es versäumt wird, bei dringendem Handlungsbedarf rechtzeitig Hilfe zu erkennen.“ An der Studie nahmen 1.300 Teilnehmer teil, die KI-Modelle von OpenAI, Meta und Cohere nutzten, um Gesundheitszustände zu identifizieren. Sie wurden mit einer Reihe von Szenarien konfrontiert, die von Ärzten entwickelt wurden, und sollten dem KI-System mitteilen, was sie als Nächstes tun sollten, um ihre medizinischen Probleme zu bewältigen.

 Die Studie ergab, dass die Ergebnisse nicht besser waren als herkömmliche Methoden der Selbstdiagnose, wie einfache Online-Recherchen oder sogar persönliche Einschätzungen. Außerdem stellten die Forscher fest, dass bei den Nutzern eine Diskrepanz bestand, da sie nicht wussten, welche Informationen das LLM benötigte, um genaue Ratschläge zu geben. Den Nutzern wurden sowohl gute als auch schlechte Ratschläge gegeben, was es schwierig machte, die nächsten Schritte zu erkennen. Decrypt hat OpenAI, Meta und Cohere um Stellungnahme gebeten und wird diesen Artikel aktualisieren, falls eine Antwort erfolgt.

„Als Arzt ist es viel mehr, als nur Fakten abzurufen, um die richtige Diagnose zu stellen. Medizin ist sowohl Kunst als auch Wissenschaft. Zuhören, Nachfragen, Klären, Verständnis überprüfen und die Unterhaltung lenken sind essenziell“, sagte Payne gegenüber Decrypt. „Ärzte ermitteln aktiv relevante Symptome, weil Patienten oft nicht wissen, welche Details wichtig sind“, erklärte sie, und fügte hinzu, dass die Studie zeige, dass LLMs „noch nicht zuverlässig in der Lage sind, diese dynamische Interaktion mit Nicht-Experten zu steuern.“ Das Team kam zu dem Schluss, dass KI derzeit nicht geeignet ist, medizinische Ratschläge zu geben, und dass neue Bewertungsysteme notwendig sind, um sie richtig im Gesundheitswesen einzusetzen. Das bedeutet jedoch nicht, dass sie in der medizinischen Praxis keine Rolle spielen können. Während LLMs „definitiv eine Rolle im Gesundheitswesen haben“, so Payne, sollte diese eher als „Sekretär, nicht als Arzt“ gesehen werden. Die Technologie bietet Vorteile beim „Zusammenfassen und Neuverpacken bereits vorhandener Informationen“, wobei LLMs bereits in Kliniken genutzt werden, um „Konsultationen zu transkribieren und diese Informationen als Brief an Spezialisten, Informationsblätter für Patienten oder für die medizinischen Akten aufzubereiten“, erklärte sie. Das Team kam zu dem Schluss, dass sie zwar gegen KI im Gesundheitswesen sind, hoffen aber, dass diese Studie dazu beitragen kann, die Entwicklung in die richtige Richtung zu lenken.