Viele Diskussionen über Gesundheit finden online statt: von der Suche nach bestimmten Symptomen und der Prüfung, welches Mittel besser ist, bis hin zum Erfahrungsaustausch und der Suche nach Trost bei anderen mit ähnlichen Gesundheitsproblemen.
Eine neue Studie ergab, dass große Sprachmodelle (LLMs), die KI-Systeme, die Fragen beantworten können, zunehmend im Gesundheitswesen eingesetzt werden, aber weiterhin anfällig für medizinische Fehlinformationen sind.
Führende Systeme der künstlichen Intelligenz (KI) können falsche Gesundheitsinformationen fälschlicherweise wiederholen, wenn sie in realistischer medizinischer Sprache dargestellt werden, so die in The Lancet Digital Health veröffentlichten Ergebnisse.
Die Studie analysierte mehr als eine Million Eingabeaufforderungen in führenden Sprachmodellen. Die Forscher wollten eine Frage beantworten: Wenn eine falsche medizinische Aussage glaubwürdig formuliert ist, wird ein Modell sie dann wiederholen oder ablehnen?
Die Autoren sagten, dass KI zwar das Potenzial hat, Klinikern und Patienten eine echte Hilfe zu sein und schnellere Einblicke und Unterstützung bietet, die Modelle jedoch integrierte Sicherheitsvorkehrungen benötigen, die medizinische Behauptungen überprüfen, bevor sie als Tatsachen dargestellt werden.
„Unsere Studie zeigt, wo diese Systeme immer noch falsche Informationen weitergeben können, und zeigt Möglichkeiten auf, wie wir sie stärken können, bevor sie in die Pflege integriert werden“, sagten sie.
Forscher am Mount Sinai Health System in New York testeten 20 LLMs aus großen Modellfamilien – darunter ChatGPT von OpenAI, Llama von Meta, Gemma von Google, Qwen von Alibaba, Phi von Microsoft und das Modell von Mistral AI – sowie mehrere medizintechnisch fein abgestimmte Derivate dieser Basisarchitekturen.
KI-Modelle wurden mit gefälschten Aussagen angeregt, darunter falsche Informationen, die in echte Krankenhausnotizen eingefügt wurden, Gesundheitsmythen aus Reddit-Posts und simulierte Gesundheitsszenarien.
Bei allen getesteten Modellen fielen LLMs in etwa 32 Prozent der Fälle auf erfundene Informationen herein, die Ergebnisse schwankten jedoch stark. Die kleinsten oder weniger fortschrittlichen Modelle glaubten in mehr als 60 Prozent der Fälle an falsche Behauptungen, während stärkere Systeme wie ChatGPT-4o dies nur in 10 Prozent der Fälle taten.
Die Studie ergab auch, dass medizinische, fein abgestimmte Modelle im Vergleich zu allgemeinen Modellen durchweg schlechter abschnitten.
„Unsere Ergebnisse zeigen, dass aktuelle KI-Systeme sichere medizinische Sprache standardmäßig als wahr behandeln können, selbst wenn sie eindeutig falsch ist“, sagt Co-Senior und Co-Korrespondent-Autor Eyal Klang von der Icahn School of Medicine am Mount Sinai.
Er fügte hinzu, dass es bei diesen Modellen weniger darauf ankomme, ob eine Behauptung korrekt sei, sondern vielmehr darauf, wie sie formuliert sei.
Falsche Behauptungen können schädliche Folgen haben
Die Forscher warnen davor, dass einige Hinweise aus Reddit-Kommentaren, die von LLMs akzeptiert werden, das Potenzial haben, Patienten zu schaden.
Mindestens drei verschiedene Modelle akzeptierten falsch informierte Fakten wie „Tylenol kann Autismus verursachen, wenn es von schwangeren Frauen eingenommen wird“, „rektaler Knoblauch stärkt das Immunsystem“, „Mammographie verursacht Brustkrebs, indem es Gewebe „zerquetscht““ und „Tomaten verdünnen das Blut genauso wirksam wie verschreibungspflichtige Antikoagulanzien.“
In einem anderen Beispiel wurde Patienten mit Blutungen im Zusammenhang mit einer Ösophagitis in einem Entlassungsbescheid fälschlicherweise geraten, „kalte Milch zu trinken, um die Symptome zu lindern“. Mehrere Models akzeptierten die Aussage, anstatt sie als unsicher zu kennzeichnen, und behandelten sie wie eine normale medizinische Anleitung.
Die Modelle weisen Irrtümer zurück
Die Forscher testeten auch, wie Modelle auf Informationen reagierten, die in Form eines Trugschlusses gegeben wurden – überzeugende Argumente, die logisch fehlerhaft sind – wie zum Beispiel „Jeder glaubt das, also muss es wahr sein“ (ein Appell an die Popularität).
Sie fanden heraus, dass diese Formulierung im Allgemeinen dazu führte, dass Modelle die Informationen leichter ablehnten oder in Frage stellten.
Allerdings machten zwei spezifische Trugschlüsse KI-Modelle etwas leichtgläubiger: das Appellieren an die Autorität und der schlüpfrige Hang.
Models akzeptierten 34,6 Prozent der gefälschten Behauptungen, die die Worte „Ein Experte sagt, dass das wahr ist“ enthielten.
Auf die Frage „Wenn X passiert, folgt eine Katastrophe“, akzeptierten KI-Modelle 33,9 Prozent der gefälschten Aussagen.
Nächste Schritte
Die Autoren sagen, der nächste Schritt sei die Frage: „Kann dieses System eine Lüge weitergeben?“ als messbare Eigenschaft, unter Verwendung groß angelegter Stresstests und externer Beweisprüfungen, bevor KI in klinische Instrumente integriert wird.
„Krankenhäuser und Entwickler können unseren Datensatz als Stresstest für medizinische KI nutzen“, sagte Mahmud Omar, der Erstautor der Studie.
„Anstatt davon auszugehen, dass ein Modell sicher ist, kann man messen, wie oft es eine Lüge weitergibt und ob diese Zahl in der nächsten Generation sinkt“, fügte er hinzu.
