KI-Chatbots messen Empathie mit HEART: Polaris erreicht menschliches Niveau

Mehrere führende KI-Chatbots haben in strukturierten Gesprächen zur emotionalen Unterstützung die durchschnittliche menschliche Antwort erreicht oder sogar übertroffen.

Damit erscheint Empathie im Dialog weniger als rein menschlicher Instinkt, sondern als Fähigkeit, die sich erfassen und vergleichen lässt – mit Folgen dafür, wie digitale Werkzeuge in Momenten von Belastung reagieren.

Empathie bei KI messen

In standardisierten Support-Szenarien stellten die Prüfteams jeweils zwei Antworten gegenüber, die für denselben fortlaufenden Gesprächsverlauf geschrieben wurden, und liessen bewerten, welche davon sich aufrichtig unterstützender anfühlte.

Bei der Auswertung dieser Dialogpaare zeigte Kriti Aggarwal, Senior Staff Scientist bei Hippocratic AI, mithilfe von HEART – einem fünfteiligen Benchmark, der unterstützende Dialoge über mehrteilige Konversationen hinweg einordnet –, dass einige Frontier-Modelle im Schnitt regelmässig gegenüber durchschnittlichen menschlichen Antworten bevorzugt wurden.

Die Übereinstimmung zwischen menschlichen Jurorinnen und Juroren und KI-gestützten Evaluatoren lag bei rund 80%, was die Stabilität dieser Präferenzen über unabhängige Bewertungen hinweg untermauert.

Diese Konvergenz schafft eine belastbare Rangfolge der wahrgenommenen Unterstützungsqualität – und stellt zugleich präzisere Fragen danach, in welchen Situationen menschliches Urteil weiterhin einen Vorsprung hat.

Fünf Dimensionen der Unterstützung

Freundliche Worte allein führten nicht automatisch zu hohen Ergebnissen, denn HEART erfasst, wie sich Unterstützung über einen gesamten Austausch hinweg entwickelt – nicht nur in einer einzelnen Zeile.

Ein Bewertungsraster teilte unterstützendes Verhalten in fünf Bestandteile auf, darunter das Dranbleiben am Gesprächsfaden, das Treffen des Tons und das Ausrichten an dem Ziel, das die Nutzerin oder der Nutzer verfolgt.

„HEART ist so konzipiert, dass es bewertet, ob sich eine Antwort wirklich unterstützend, dialogisch natürlich, kontextbewusst und sicher anfühlt“, sagte Aggarwal.

Diese Zielsetzung bremste Systeme, die zu schnell in Ratschläge springen, und belohnte Helfende, die bei den Gefühlen der Nutzerin oder des Nutzers bleiben.

Antworten direkt vergleichen

Damit der Vergleich sauber bleibt, blieb in jedem Chatverlauf alles identisch – einzig die abschliessende Antwort wurde ausgetauscht.

Die Kandidatenantworten stammten sowohl von grossen Sprachmodellen, also Textprädiktoren, die auf riesigen Sprachdatensätzen trainiert sind, als auch von Menschen, die unterstützende Antworten formulierten.

Die menschlichen Bewertenden wussten nicht, wer welche Antwort verfasst hatte, und wählten jeweils die Option aus, die sich unterstützender anfühlte.

Durch diese paarweisen Entscheidungen konnten die Forschenden Systeme rangordnen, ohne Menschen zu zwingen, Gefühle auf einer gleitenden Skala zu benoten – ein Ansatz, der in der Praxis häufig scheitert.

KI erreicht Unterstützung auf menschlichem Niveau

In vielen Gesprächen lagen die Bewertungen der stärksten Modelle nahe an dem, was eine durchschnittliche menschliche Antwort erhielt – und teilweise sogar darüber.

Diese Erfolge spiegelten wahrgenommene Empathie wider, also wie empathisch eine Antwort auf Lesende wirkt, nicht jedoch das langfristige Ergebnis für die Nutzerin oder den Nutzer.

In etwa 80% der Fälle waren sich menschliche und KI-basierte Jurys einig, welche Antwort in einem direkten Duell mehr half.

Diese Übereinstimmung deutet darauf hin, dass Menschen und Maschinen zunehmend ähnliche unterstützende „Züge“ belohnen – auch wenn sich der Schreibstil unterscheidet.

Wo Menschen besser bleiben

Sobald ein Gespräch angespannt wurde, lagen Menschen weiterhin vorn, vor allem dann, wenn Nutzende Hilfe oder Vertrauen aktiv zurückwiesen.

In solchen schwierigen Momenten nutzten Menschen häufig adaptives Reframing: Sie verschoben die Deutung so, dass Belastung abnimmt, ohne der anderen Person die Autonomie zu nehmen.

„Zum Beispiel sind Menschen stärker bei adaptivem Reframing und nuancierten Tonwechseln, besonders in adversarial turns“, sagte Aggarwal.

Weil Modelle diese feingranulare Steuerung oft verfehlen, garantiert ein hoher HEART-Wert noch keine starke Unterstützung, wenn über mehrere Gesprächsbeiträge hinweg Widerstand bestehen bleibt.

Timing bei emotionaler Unterstützung

Schnelle Antworten waren relevant, weil emotionale Unterstützung vom Timing lebt und lange Pausen ein Gespräch kalt oder inszeniert wirken lassen können.

Bei Sprachsystemen veränderte die Latenz – die Verzögerung, bevor ein System mit der Antwort beginnt – spürbar, ob sich der Austausch wie ein echtes Gespräch anfühlt.

Frühere Benchmarks erlaubten Modellen mehrere Sekunden Bedenkzeit, während das HEART-Team Qualität und Geschwindigkeit parallel erfasste.

So können Gestaltende nun bewusster zwischen Wärme und Wartezeit abwägen – wichtig, wenn Nutzende sofort eine ruhige Reaktion erwarten.

Das System Polaris im Test

Ein getestetes System, Polaris, erreichte im HEART-Ranking die Spitzengruppe und antwortete dabei in deutlich unter einer Sekunde.

Auf Basis eines Elo-Scores – einer Kopf-an-Kopf-Bewertung, die mit Siegen steigt – vergab HEART für Polaris einen Wert von 1604.

Mit einer medianen Startzeit von rund 0,4 Sekunden lag Polaris knapp hinter dem besten Modell, das etwa 1612 erzielte.

Diese Differenz zeigt, dass Qualität nicht länger auf langsame, sehr grosse Modelle beschränkt ist – die Rangfolge bildet aber weiterhin ab, was Bewertende bevorzugen.

Risiken übermässig selbstsicherer KI

Sicherheit floss als Teil der Bewertung ein, denn eine tröstende Antwort kann trotzdem Schaden anrichten, wenn sie klinische Grenzen überschreitet.

Ein aktueller Preprint untersuchte lange Chats zur psychischen Gesundheit und stellte fest, dass Modelle häufig in definitive Zusicherungen oder professionelle Rollen abdriften.

Diese Grenzverschiebung zeigte sich mit der Zeit selbst dann, wenn einzelne Antworten höflich wirkten, weil das System zu stark beruhigen wollte.

HEART kann einige dieser Muster markieren, doch im realen Einsatz bleibt menschliche Aufsicht nötig, sobald Gespräche Depression oder Suizid berühren.

Zukünftige Tests von Empathie

Als Nächstes möchte das Team klären, ob ein hoher HEART-Score tatsächlich dazu führt, dass sich Nutzende nach Ende des Chats besser fühlen.

„Wir wechseln zudem von wahrgenommener Empathie zu erlebter Empathie und verknüpfen Evaluator-Urteile damit, wie unterstützt sich Nutzende über die Zeit wirklich fühlen“, ergänzte Aggarwal.

Über rein englischsprachigen Text hinaus könnten künftige Tests auch Sprachassistenten einbeziehen, da gesprochene Unterstützung von Timing, Pausen und Tonfall abhängt.

Zudem werden kulturelle Erwartungen eine Rolle spielen, weil das, was an einem Ort fürsorglich klingt, anderswo als aufdringlich oder distanziert wahrgenommen werden kann.

Emotionale Unterstützung durch KI verbessern

HEART macht emotionale Unterstützung zu einer messbaren Fertigkeit und erlaubt Entwicklerteams zu erkennen, wann Modelle über mehrere Gesprächsrunden hinweg hilfreich, menschlich und ruhig klingen.

Sorgfältig eingesetzt kann diese Rangliste sicherere Gesundheitsassistenten unterstützen, sie ersetzt jedoch keine professionelle Versorgung und garantiert nicht, dass sich eine depressive Person wirklich gehört fühlt.