ChatGPT und grosse Sprachmodelle in der psychischen Gesundheit: Brown-Studie warnt vor 15 ethischen Risiken

Immer mehr Menschen wenden sich bei Fragen zur psychischen Gesundheit an ChatGPT und andere grosse Sprachmodelle. Forschende schlagen nun Alarm: Eine neue Studie deutet darauf hin, dass diese Systeme zwar tröstlich klingen können, dabei jedoch zentrale ethische Standards verfehlen, die in der echten Psychotherapie gelten.

Selbst wenn Chatbots ausdrücklich angewiesen werden, etablierten Therapieverfahren zu folgen, bleiben ihre Antworten laut den Forschenden häufig hinter dem Anspruch zurück – besonders dann, wenn es um Situationen mit hohem Risiko geht.

Bewertung von KI in Szenarien der psychischen Gesundheit

Um zu prüfen, wie sich solche Systeme in der Praxis verhalten, arbeitete ein Team der Brown University gemeinsam mit approbierten Fachkräften aus dem Bereich psychische Gesundheit daran, Chatbots in beratungsähnlichen Settings zu testen.

Die Ergebnisse legen nahe, dass es nicht nur um kleine Patzer geht. In mehreren Szenarien gingen die Systeme mit Krisen unzureichend um, bestärkten schädliche Gedanken oder erzeugten den Eindruck, sie würden die Gefühle einer Person wirklich verstehen.

„In dieser Arbeit präsentieren wir ein praxisnahes Rahmenwerk mit 15 ethischen Risiken, das zeigt, wie LLM-Beraterinnen und -Berater Standards der psychischen Gesundheit verletzen“, schrieben die Forschenden.

„Wir fordern künftige Arbeiten dazu auf, ethische, bildungsbezogene und rechtliche Standards für LLM-Beraterinnen und -Berater zu entwickeln – Standards, die die Qualität und Strenge der Versorgung widerspiegeln, die für eine von Menschen durchgeführte Psychotherapie erforderlich ist.“

Die Sicherheitsgrenzen von Therapie-Prompts

Geleitet wurde die Studie von Zainab Iftikhar, Doktorandin der Informatik an der Brown University. Sie nahm eine im Netz verbreitete Annahme unter die Lupe: Mit dem „richtigen“ Prompt lasse sich ein allgemeiner Chatbot in etwas verwandeln, das einer verantwortungsvollen Therapeutin oder einem verantwortungsvollen Therapeuten ähnelt.

„Prompts sind Anweisungen, die dem Modell gegeben werden, um sein Verhalten zu lenken, damit es eine bestimmte Aufgabe erfüllt“, sagte Iftikhar.

„Man verändert weder das zugrunde liegende Modell noch liefert man neue Daten, aber der Prompt hilft, die Ausgabe des Modells auf Basis seines bereits vorhandenen Wissens und erlernter Muster zu steuern.“

So weisen Nutzerinnen und Nutzer Chatbots zum Beispiel an, „als kognitive Verhaltenstherapeutin“ zu agieren oder „Prinzipien der dialektisch-behavioralen Therapie (DBT)“ zu verwenden, um Gedanken neu einzuordnen oder Emotionen zu regulieren.

Tatsächlich führen die Systeme diese therapeutischen Techniken jedoch nicht so aus, wie es ein menschlicher Kliniker oder eine menschliche Klinikerin tun würde. Stattdessen, so Iftikhar, erzeugen sie Antworten, die zu Konzepten aus der kognitiven Verhaltenstherapie (CBT) oder DBT passen – vor allem, weil sie entsprechende Sprachmuster gelernt haben.

Das Prompting ist dadurch faktisch zu einer Art informeller Praxis geworden: Auf TikTok, Instagram und Reddit werden „Therapie-Prompts“ geteilt und weiterempfohlen.

Auch einige KI-Chatbots für mentale Gesundheit im Consumer-Bereich setzen auf ein ähnliches Vorgehen, indem sie therapiebezogene Prompts über allgemeine LLMs legen. Wenn sich Risiken durch Prompting nicht verlässlich reduzieren lassen, ist das ein erhebliches Problem.

Ethische Risiken in KI-Therapie messen

Für die Bewertung der Modelle beobachtete das Forschungsteam sieben ausgebildete Peer-Beraterinnen und -Berater mit Erfahrung in der kognitiven Verhaltenstherapie.

Diese Personen führten Selbstberatungs-Sitzungen mit KI-Systemen durch, die per Prompt angewiesen waren, als CBT-Therapeutinnen und -Therapeuten zu handeln. Eingesetzt wurden dabei Modelle aus OpenAIs GPT-Reihe, Anthropics Claude sowie Metas Llama.

Anschliessend wählte das Team simulierte Chat-Transkripte aus, die an reale Beratungsgespräche angelehnt waren. Drei approbierte klinische Psychologinnen und Psychologen prüften die Transkripte und bewerteten sie im Hinblick auf ethische Verstösse.

Den Gutachtenden begegneten immer wieder ähnliche Muster. Insgesamt identifizierte die Studie 15 ethische Risiken, die in fünf übergeordnete Themenbereiche eingeordnet wurden.

Fünf grosse ethische Warnsignale

Ein Themenbereich war, dass Chatbots den Kontext unzureichend berücksichtigen: Sie übergehen den Hintergrund einer Person und geben austauschbare, allgemeine Ratschläge.

Ein weiterer Bereich betraf mangelnde Zusammenarbeit. Dabei drängten die Chatbots Gespräche in starre Bahnen und bestärkten teils ungenaue oder schädliche Überzeugungen, statt sie behutsam zu hinterfragen.

Als drittes benannten die Forschenden „täuschende Empathie“. Das System kann Sätze wie „Ich verstehe“ formulieren, die warm und zugewandt wirken, ohne die tatsächliche Verständnistiefe oder Verantwortung, die solche Worte in einer Therapie implizieren.

Ausserdem markierte das Team das Risiko unfairer Diskriminierung, etwa durch verzerrte Antworten, die mit Identität oder Kultur zusammenhängen.

Schliesslich stellten sie deutliche Lücken bei Sicherheit und Krisenmanagement fest. In manchen Fällen verweigerten Chatbots die Auseinandersetzung, empfahlen keine angemessene Hilfe oder reagierten bei starker Belastung – einschliesslich suizidaler Gedanken – nur schwach.

Dieses Muster ist besonders beunruhigend, weil Nutzerinnen und Nutzer es oft schwer erkennen können: Eine Nachricht kann ruhig und unterstützend klingen und dennoch in eine falsche Richtung lenken.

Die Lücke bei Verantwortung und Haftung

Iftikhar betont, dass menschliche Therapeutinnen und Therapeuten nicht fehlerfrei sind. In jedem helfenden Beruf können Menschen Fehlentscheidungen treffen. Der Unterschied sei jedoch, dass es in der menschlichen Welt Strukturen für Aufsicht und Konsequenzen gibt.

„Für menschliche Therapeutinnen und Therapeuten gibt es Aufsichts- und Zulassungsgremien sowie Mechanismen, über die Behandelnde für Fehlbehandlung und Behandlungsfehler beruflich haftbar gemacht werden können“, sagte Iftikhar.

„Aber wenn LLM-Beraterinnen und -Berater solche Verstösse begehen, gibt es keine etablierten Regulierungsrahmen.“

Diese fehlende Verantwortlichkeit wird umso gravierender, je weiter sich solche Werkzeuge verbreiten. Wenn ein Chatbot schädliche Ratschläge erteilt, wer trägt dann die Verantwortung – das Modell, das Unternehmen, die Person, die den Prompt geschrieben hat, oder die App, die das Modell in eine freundliche Oberfläche verpackt?

Die Studie legt nahe, dass es darauf bislang keine eindeutigen Antworten gibt – und dass gerade „therapieähnliche“ Anwendungen dadurch besonders riskant sind.

Der Platz von KI in der Versorgung psychischer Gesundheit

Die Forschenden behaupten nicht, dass KI in der psychischen Gesundheitsversorgung grundsätzlich nicht helfen könne. Sie räumen ein, dass KI-Tools den Zugang erweitern könnten – für Menschen, die sich Therapie nicht leisten können, keine passende Anlaufstelle finden oder zwischen Terminen Unterstützung benötigen.

Gleichzeitig argumentieren sie, dass „Zugang“ nicht dasselbe ist wie „Versorgung“, insbesondere wenn Sicherheit und Ethik betroffen sind. Vorerst möchte Iftikhar, dass Menschen vorsichtig bleiben und Warnsignale ernst nehmen.

„Wenn man mit einem Chatbot über psychische Gesundheit spricht, sind das einige Dinge, auf die Menschen achten sollten“, sagte sie.

KI-Therapie braucht Aufsicht

Ellie Pavlick, Informatikprofessorin an der Brown University und nicht an der Forschung beteiligt, erklärte, die Studie mache ein grundlegenderes Problem in der KI sichtbar: Systeme lassen sich leicht bauen und ausrollen, doch eine verantwortungsvolle Evaluation in sensiblen Bereichen ist deutlich schwieriger.

„Die Realität der KI heute ist, dass es viel einfacher ist, Systeme zu bauen und bereitzustellen, als sie zu evaluieren und zu verstehen“, sagte sie.

Sie verwies darauf, dass die Studie ein Team klinischer Expertinnen und Experten sowie mehr als ein Jahr Arbeit erforderte, um diese Risiken aufzudecken. Im Gegensatz dazu werde ein grosser Teil der heutigen KI mit automatischen Kennzahlen bewertet, die statisch sind und keinen Menschen im Bewertungsprozess vorsehen.

„Es gibt eine echte Chance, dass KI eine Rolle bei der Bewältigung der Krise der psychischen Gesundheit spielt“, ergänzte Pavlick, „aber es ist von höchster Bedeutung, dass wir uns die Zeit nehmen, unsere Systeme bei jedem Schritt wirklich kritisch zu prüfen und zu bewerten, damit wir nicht mehr Schaden als Nutzen anrichten.“

Die zentrale Botschaft der Forschung ist eindeutig: Diese Systeme können Stil und Sprache von Therapie nachahmen. Doch ohne verlässliche Ethik, Sicherheit und Verantwortlichkeit ist es nicht dasselbe, wie eine Therapeutin oder ein Therapeut zu sein.

Die Ergebnisse wurden auf der AAAI/ACM-Konferenz zu Künstlicher Intelligenz, Ethik und Gesellschaft vorgestellt.