Studie: ChatGPT-Kurzgeschichten schlagen menschliche Fiction

Mehrere kurze Erzählungen wurden Leserinnen und Lesern mit einer einzigen, einfachen Frage vorgelegt: Welche Texte sind am besten? Am Ende erhielten die von ChatGPT erzeugten Geschichten die höchsten Bewertungen – und lagen damit vor Fiction, die von menschlichen Autorinnen und Autoren stammte und in einer Literaturzeitschrift veröffentlicht worden war.

Immer häufiger treffen Menschen auf Texte, die teils von Personen, teils von KI verfasst wurden – oft ohne zu wissen, was sie gerade lesen. In diesem Test gelang es den Teilnehmenden nicht verlässlich, die Urheberschaft zu erkennen. Zudem fielen die Bewertungen höher aus, wenn die Lesenden glaubten, ein Mensch habe den Text geschrieben.

Die Studie stammt von der Villanova University und wurde in Judgment and Decision Making veröffentlicht, einer Zeitschrift der Cambridge University Press, die für SJDM erscheint. Die Ergebnisse ergänzen die wachsende Evidenz, dass sich die Beurteilung von Texten spürbar verändert, sobald Leserinnen und Leser annehmen, ein Text sei durch KI entstanden.

Leserinnen und Leser verglichen KI- und menschliche Geschichten

Sydney Sears und Deena Skolnick Weisberg konzipierten die Untersuchung mit insgesamt sechs Geschichten. Drei davon waren fiktionale Texte, die von menschlichen Autorinnen und Autoren in einer angesehenen Literaturzeitschrift oder in einer Kurzgeschichtensammlung publiziert worden waren.

Die übrigen drei Texte waren ChatGPT-Fassungen derselben Geschichten. Teilnehmen konnten ausschliesslich Erwachsene; das Altersspektrum reichte von 18 bis 81 Jahren.

Im ersten Experiment lasen 1,682 Personen jeweils nur eine Geschichte. Einer Hälfte wurde korrekt mitgeteilt, wer den Text verfasst hatte; die andere Hälfte erhielt die umgekehrte Information.

Anschliessend bewerteten die Teilnehmenden sowohl die Qualität der Geschichte als auch, wie stark sie sich beim Lesen hineingezogen fühlten.

Die „Absorption“ erfasste das Team mit einer bearbeiteten Version der Story World Absorption Scale; diese deckt Aufmerksamkeit, „Transportation“ (das mentale Eintauchen in die Erzählwelt), emotionale Beteiligung und mentale Bilder ab.

KI-Geschichten erhielten höhere Bewertungen

Über beide Messgrössen hinweg schnitten die KI-Texte besser ab. Die Leserinnen und Leser stuften sie als besser geschrieben ein und berichteten zugleich, stärker in die Handlung gezogen worden zu sein.

Auch die Kennzeichnung beeinflusste das Urteil: Die absolut höchsten Bewertungen bekamen KI-generierte Geschichten, bei denen die Teilnehmenden zuvor gehört hatten, sie seien von einem Menschen geschrieben worden.

Deena Weisberg ist Senior-Autorin der Studie und forscht im Department of Psychological and Brain Sciences der Villanova University. Sie interpretiert das Ergebnis ausdrücklich als Verzerrung in der Wahrnehmung – nicht als endgültiges Urteil über „bessere“ Literatur.

„In unserer Studie gaben die Teilnehmenden die höchsten Bewertungen für Geschichten, von denen sie glaubten, dass sie von Menschen geschrieben wurden, die aber tatsächlich von KI verfasst waren“, sagt Weisberg.

„Ich würde argumentieren, dass das eine Voreingenommenheit zugunsten von Erzählungen zeigt, die von echten Menschen geschrieben wurden. Wir nehmen an, dass kreatives Schreiben einzigartig menschliche Eigenschaften erfordert – etwa emotionales Verständnis und gelebte Erfahrung – und unterschätzen dadurch die Fähigkeiten von KI.“

„Ich würde sagen, dass die öffentlichen Annahmen darüber, was KI kann, zunehmend veraltet sind“, sagt sie.

Können Menschen KI-Texte erkennen?

Im zweiten und dritten Experiment bekamen die Teilnehmenden jeweils eine menschlich verfasste Geschichte und eine KI-generierte Geschichte vorgelegt – ohne Hinweis auf die Herkunft. Ihre Aufgabe: entscheiden, welcher Text von einem Menschen und welcher von der KI stammte.

Im zweiten Experiment lagen die Leserinnen und Leser in 39.93% der Fälle richtig. Das ist schlechter als reiner Zufall (wie ein Münzwurf) und deutet darauf hin, dass sie eher in die falsche Richtung gelenkt wurden, statt nur unsicher zu sein.

Im dritten Experiment lag die Trefferquote bei 51.97% und war statistisch nicht von Zufall zu unterscheiden. Zusammengenommen nahmen 905 Erwachsene an diesen beiden Tests teil.

Weisberg hatte damit gerechnet, dass sich Fehlentscheidungen hauptsächlich in eine Richtung häufen würden. Genau das trat jedoch nicht ein.

„Am meisten überrascht haben mich die Fehler, die die Teilnehmenden machten, als sie raten sollten, welche Geschichte von einem Menschen und welche von KI geschrieben war. Ich hatte erwartet, dass die Fehler in eine Richtung gehen würden, nämlich dass Menschen dazu neigen, KI-generierte Texte für menschlich geschrieben zu halten. Aber genau das haben wir nicht gefunden“, sagte Weisberg gegenüber Earth.com.

Leserinnen und Leser orientierten sich an den falschen Hinweisen

„Die Teilnehmenden lagen mit gleicher Wahrscheinlichkeit falsch, indem sie eine KI-Geschichte für menschlich hielten, wie auch umgekehrt, indem sie eine menschliche Geschichte als KI-Text einstuften. Das deutet für mich darauf hin, dass unsere Teilnehmenden die falschen Kriterien genutzt haben, um zu entscheiden, welcher Text welcher ist.“

„Teilnehmende könnten mit bestimmten Vorstellungen in die Studie gegangen sein, was menschliches Schreiben und was KI-Schreiben ausmacht – aber diese Vorstellungen schienen falsch zu sein“, sagt sie.

Auch literarische Erfahrung half nicht weiter. Personen, die sich selbst als besonders belesen in Fiction beschrieben, erkannten die Maschine nicht besser als andere.

KI-Vertrautheit verbesserte die Erkennung

Ein Faktor sagte Trefferwahrscheinlichkeit jedoch voraus: die Vertrautheit mit KI selbst. Im zweiten Experiment erhöhte jeder zusätzliche Punkt der selbst eingeschätzten KI-Expertise die Chance auf eine richtige Zuordnung um 14%.

Im dritten Experiment nutzte das Team die Artificial Intelligence Literacy Scale, ein zuvor validiertes Messinstrument. Dort stieg die Chance pro zusätzlichem Punkt um 33%.

Dieser Vorteil scheint weniger mit literarischem Geschmack als mit Mustererkennung zusammenzuhängen: Es sind kleine, stilistische Signale, die man lernen kann.

„Ein Punkt ist, dass Vertrautheit mit KI-Systemen Menschen offenbar dabei hilft, Muster zu erkennen, die typisch für KI-generiertes Schreiben sind – etwa Gedankenstriche und Satzstrukturen wie ‚es geht nicht nur um X, es geht um Y‘“, sagt Weisberg.

„Das legt nahe, dass eine bessere KI-Kompetenz ein Weg wäre, Menschen dabei zu helfen, sich in der neuen, KI-gestützten Welt zurechtzufinden, in der wir leben.“

Fiction gibt Leserinnen und Lesern weniger Übung

Auf die Frage, worauf man sich praktisch trainieren könne, verweist Weisberg vor allem auf einfache Gewöhnung durch Begegnung mit KI-Texten.

„Das Wichtigste ist, dass Menschen sich damit vertraut machen, wie KI-generierte Ausgaben aussehen … Insgesamt haben wir festgestellt, dass Teilnehmende mit höherer, selbst berichteter Erfahrung mit KI-Systemen besser darin waren, zwischen menschlich geschriebenen und KI-generierten Geschichten zu unterscheiden. Je besser man den Stil von KI-Schreiben kennt, desto leichter lässt er sich erkennen“, sagt sie.

An diesem Rat hängt jedoch ein Haken: Die meisten begegnen maschinell erzeugten Texten eher in Arbeitskontexten oder im Studium – etwa in Berichten oder Essays – und nicht in fiktionaler Literatur.

„… mein Eindruck ist, dass KI-Systeme überwiegend gebeten werden, Sachtexte oder erklärende Texte zu erzeugen – etwa Berichte für die Arbeit oder studentische Essays. Wenn das stimmt, bedeutet das, dass Menschen insgesamt weniger vertraut sind mit KI-generiertem kreativem Schreiben, was es schwerer machen könnte, es zu erkennen“, sagt Weisberg.

Klare Sprache beeinflusste die Bewertungen

Weisbergs Erklärung für die Präferenz fällt vergleichsweise nüchtern aus: KI-Texte wirken oft „aufgeräumt“ – und leicht zu verarbeitende Prosa liest sich mühelos.

„KI-Schreiben ist tendenziell klarer, direkter und leichter zu verarbeiten. Im Gegensatz dazu sind von Menschen geschriebene Geschichten oft subtiler und komplexer“, sagt Weisberg.

„Zum Beispiel benannten die KI-Versionen unserer Geschichten ihre Themen meistens ausdrücklich, statt den Leserinnen und Lesern zu überlassen, die Bedeutung aus Worten und Handlungen der Figuren zu erschliessen.“

Grosse Sprachmodelle übernehmen statistische Muster aus den Texten, mit denen sie trainiert wurden, und geben diese Muster wieder aus. Eine explizite, „saubere“ Prosa gehört zu solchen wiederkehrenden Strukturen.

„Wir hören viel über eine Krise der Lesekompetenz, schrumpfende Aufmerksamkeitsspannen und den Einfluss von Plattformen wie TikTok. Aber ich glaube nicht, dass wir sagen können, unsere Ergebnisse liessen sich in dieser Studie vollständig durch heutigen Medienkonsum erklären“, sagt Weisberg.

„Eher verstärken diese Technologien vorhandene Tendenzen, statt sie zu erzeugen. Vielleicht bevorzugen Menschen generell Vorhersehbarkeit, weil schwieriges oder subtiles Material mehr Denkleistung erfordert.“

Wohin sich KI-Schreiben als Nächstes entwickelt

Die Untersuchung basiert auf drei Story-Paaren und nur einem KI-System. Mit anderen Modellen, anderen Genres oder längeren Texten könnten die Ergebnisse anders ausfallen.

Zudem nutzten die Experimente eine frühere Version von ChatGPT. Weisberg geht nicht davon aus, dass eine neuere Version die Resultate wieder zugunsten menschlicher Autorinnen und Autoren verschieben würde.

„Die Modelle sind in dem, was sie leisten können, fortgeschrittener geworden – wenn überhaupt, sollten sie inzwischen Kurzgeschichten erzeugen können, die noch menschlicher wirken“, sagt sie.

Ausserdem wurden die Geschichten jeweils nur einmal und in einer einzigen Sitzung beurteilt. Daraus folgt nicht, dass eine Maschine einen Roman schreiben kann, zu dem Menschen über Jahre hinweg zurückkehren.

Breitere Auswirkungen von KI-Schreiben

Was die Daten jedoch klar zeigen, ist zwar begrenzt, aber hoch relevant: Leserinnen und Leser können die Herkunft nicht zuverlässig unterscheiden – und allein das Etikett verschiebt ihr Urteil.

Diese Differenz ist nicht auf Fiction beschränkt. KI-Schreibassistenten verändern bereits, wie Social-Media-Beiträge wahrgenommen werden, und Chatbots lösen in Gesprächen mit Patientinnen und Patienten mehr Empathie aus als Ärztinnen und Ärzte.

Dieselben Werkzeuge haben zudem erfundene Quellenangaben in begutachtete Fachartikel gebracht. In all diesen Fällen beurteilten Menschen den Text, bevor sie wussten, woher er stammte.