Wie Texte manipulieren – und wie Sie es erkennen

Als Geschäftsführung lesen Sie jeden Tag Texte, die etwas von Ihnen wollen: Angebote, Pressemitteilungen, Mails mit einer Zahlungsbitte, Entwürfe, die ein Sprachmodell für Ihre eigene Kommunikation geschrieben hat. Ob ein solcher Text Sie überzeugt oder lenkt, entscheidet sich nicht nur an seinen Fakten, sondern auch an seiner Form. Wer die Form lesen kann, erkennt Druck, der als Information auftritt.

Ob ein Text von einem Menschen oder einer Maschine stammt, ist die falsche Frage.

Die nützliche lautet: Was soll ich nach diesem Text tun, und womit begründet er das?

Was einen Text manipulativ macht

Manipulativ ist ein Text, wenn er sein Ziel über Auswahl, Wortwahl und Aufbau erreicht statt über Gründe, die sich prüfen lassen. Überzeugen legt seine Gründe offen. Manipulation ist darauf angelegt, dass niemand genau hinsieht.

Den Mechanismus dahinter beschreibt die Kommunikationswissenschaft als Framing. Robert M. Entman hat ihn 1993 im Journal of Communication (DOI 10.1111/j.1460-2466.1993.tb01304.x) so gefasst: Wer rahmt, wählt einige Aspekte einer wahrgenommenen Wirklichkeit aus und macht sie in einem Text auffälliger, sodass eine bestimmte Problemdefinition, Ursachendeutung, moralische Bewertung oder Handlungsempfehlung nahegelegt wird (S. 52). Ebenso wichtig ist eine Feststellung zwei Seiten später (S. 54): Die meisten Rahmen sind ebenso durch das bestimmt, was sie weglassen, wie durch das, was sie zeigen.

Wie stark das wirkt, haben Amos Tversky und Daniel Kahneman 1981 in Science (DOI 10.1126/science.7455683) gezeigt. Sie legten Versuchspersonen zwei Programme gegen eine angenommene Seuche vor, einmal beschrieben als gerettete Menschen, einmal als Todesfälle. In der Fassung mit Geretteten wählten 72 Prozent das sichere Programm, in der Fassung mit Todesfällen 78 Prozent das riskante, obwohl beide Fassungen dieselben Programme beschrieben.

Was ein Faktencheck prüft

Ob jede einzelne Angabe stimmt: die Zahl, das Datum, das Zitat. Ein Text, der hier besteht, enthält keine Falschaussage.

Was er übersieht

Welche Angaben fehlen, welche Zahl neben welcher steht und welches Wort die Bewertung schon vorwegnimmt. Ein Text kann in jedem Satz stimmen und trotzdem in eine Richtung schieben, die die vollständigen Fakten nicht tragen.

Sechs Techniken in Geschäftstexten

Für Geschäftstexte lohnt der Blick auf sechs Techniken: geladene Sprache, Autoritätsargument, falsche Dichotomie, Übertreibung, Strohmann und Präsupposition. Die Propagandaforschung hat solche Techniken katalogisiert, etwa im Forschungswettbewerb SemEval-2020, in dem Da San Martino und Kollegen vierzehn Techniken in Nachrichtentexten unterschieden haben. Die ersten fünf Techniken stammen aus diesem Katalog, den Strohmann führt er zusammen mit Whataboutism und Ablenkung in einer Gruppe; die Präsupposition stammt aus der Sprachwissenschaft.

Geladene Sprache

Wörter mit starker emotionaler Färbung, die eine Bewertung mitliefern, bevor ein Argument kommt: „Kostenfalle“, „Befreiungsschlag“, „Bürokratiemonster“. Wer das Wort gedanklich durch ein neutrales ersetzt, sieht, ob die Aussage dann noch trägt.

Autoritätsargument

Eine Behauptung gilt als wahr, weil eine Autorität sie vertritt, ohne weiteren Beleg. Dazu zählt der Verweis auf „Experten“ oder „führende Unternehmen“, die niemand benennt. In einem Angebot ist das ein Grund nachzufragen, wer genau was gesagt hat.

Falsche Dichotomie

Zwei Möglichkeiten werden als die einzigen dargestellt, obwohl es weitere gibt: „Entweder Sie digitalisieren jetzt vollständig, oder Sie verlieren den Anschluss.“ Die eigentliche Entscheidung liegt in den Möglichkeiten, die der Satz nicht nennt.

Übertreibung und Verharmlosung

Etwas wird größer, dringender oder harmloser dargestellt, als es ist. In einem Angebot lohnt der Blick darauf, wo verharmlost und wo übertrieben wird: bei Kosten und Pflichten oder beim Nutzen.

Strohmann

Die Position der Gegenseite wird durch eine zugespitzte Fassung ersetzt, die sich leichter widerlegen lässt. Wer in einem Vergleich mit dem Wettbewerb liest, was dieser angeblich verspricht, prüft zuerst, ob er es so versprochen hat.

Präsupposition

Eine Annahme steckt so im Satz, dass sie nicht mehr zur Debatte steht: „Wann stellen Sie Ihre veralteten Abläufe um?“ setzt voraus, dass die Abläufe veraltet sind und dass Sie sie umstellen werden. Fragen dieser Art lenken das Gespräch auf das Wann, bevor das Ob geklärt ist.

Auslassung steht im SemEval-Katalog nicht als eigene Technik: Aufgenommen wurde nur, was sich am Text selbst feststellen lässt, ohne Vergleich mit anderen Quellen. Nach Entman gehört sie zum Rahmen selbst, denn wer einige Aspekte hervorhebt, lenkt zugleich von anderen ab. Sie ist schwer zu sehen: Was fehlt, fällt nur auf, wenn man weiß, was dastehen müsste.

Eine Schlagzeile, Wort für Wort

An einer kurzen Schlagzeile lässt sich zeigen, wie viel Bewertung in wenigen Wörtern steckt. Ein Beispiel ist der Satz „Experten warnen vor dramatischen Folgen“.

„Experten“

Wer genau? Die Quelle bleibt offen, ihr Gewicht wird trotzdem in Anspruch genommen. Das ist ein Autoritätsargument ohne Autorität, die sich prüfen ließe.

„warnen“

Das Verb setzt eine Bedrohung voraus. „Erwarten“ oder „rechnen mit“ würde dasselbe mitteilen, ohne Alarm zu schlagen.

„dramatischen Folgen“

Welche Folgen, wie wahrscheinlich, für wen? Das Adjektiv ersetzt die Angabe, die fehlt.

Keines der drei Wörter ist falsch, und doch sagt der Satz nichts, was sich überprüfen ließe, außer dass man sich Sorgen machen soll. Eine prüfbare Fassung nennt die Fachleute, die erwartete Folge und ihre Wahrscheinlichkeit. Sie wäre länger und weniger aufregend, und genau daran erkennen Sie, was die kurze Fassung weggelassen hat.

Vier Fragen an jeden Text

Vier Fragen erfassen einen Text als Ganzes: wie dicht, wie stark, wie vielfältig und wie verstärkend er mit Techniken arbeitet. Ein einzelnes geladenes Wort macht noch keinen manipulativen Text; es kommt auf das Zusammenspiel an.

Dichte

Wie viele der Techniken stehen auf engem Raum? Eine zugespitzte Formulierung in einem sachlichen Angebot ist Stil, fünf in einem Absatz deuten auf Absicht.

Stärke

Wie stark ist die einzelne Technik? „Wichtig“ und „existenzbedrohend“ arbeiten mit demselben Mittel, aber nicht mit derselben Wucht.

Vielfalt

Wie viele verschiedene Techniken kommen zusammen? Wer Angst weckt, eine Autorität anführt und zwei Möglichkeiten zur Wahl stellt, deckt mehrere Wege zugleich ab.

Verstärkung

Stützen sich die Techniken gegenseitig? Eine Frist wirkt anders, wenn vorher eine Bedrohung aufgebaut wurde und nachher nur eine Lösung angeboten wird.

Am Ende steht die Frage, die der Text beantworten müsste: Was soll ich tun, und welcher Beleg trägt das? Bleibt nach dem Abzug aller Techniken keine Begründung übrig, war der Text nicht für Ihr Urteil geschrieben, sondern für Ihre Reaktion.

Wie KI manipulative Texte erzeugt

Ein Sprachmodell kann auf Anweisung Texte erzeugen, die kaum weniger überzeugen als echte Propaganda. Josh A. Goldstein und Kollegen von Georgetown und Stanford haben das in einem 2024 in PNAS Nexus veröffentlichten Experiment untersucht: Sie verglichen Artikel ausländischer Propagandisten mit Texten, die das Sprachmodell GPT-3 zu denselben Themen erzeugt hatte. Die Texte des Modells überzeugten die Befragten stark; wer die Anweisung überarbeitete oder die besten Ergebnisse auswählte, kam unter bestimmten Bedingungen auf die Wirkung der Originale. Die Autoren folgern, dass Propagandisten mit KI überzeugende Inhalte mit geringem Aufwand herstellen könnten.

Für Ihren Betrieb hat das zwei Seiten. Die eine betrifft, was hereinkommt: Fehlerfreie Sprache und ein sicherer Ton taugen nicht als Hinweis darauf, dass hinter einer Mail jemand mit Sorgfalt und Sachkenntnis sitzt. Das Bundesamt für Sicherheit in der Informationstechnik beschreibt Social Engineering als Ausnutzen menschlicher Eigenschaften wie Hilfsbereitschaft, Vertrauen, Angst oder Respekt vor Autorität; beim CEO-Betrug zielen die Täter auf Entscheidungsträger und Beschäftigte, die Zahlungen freigeben dürfen. Der Respekt vor Autorität ist derselbe Hebel wie beim Autoritätsargument oben, nur mit einer Kontonummer am Ende.

Die andere Seite betrifft, was hinausgeht. Wer ein Sprachmodell um einen „überzeugenden“ oder „dringlichen“ Text bittet, bekommt die Mittel, die solche Texte überzeugend und dringlich machen. Ein Werbetext, eine Kundenmail oder eine Stellenanzeige aus dem Modell verdient deshalb dieselben vier Fragen wie ein fremder Text, bevor Ihr Name darunter steht.

Wie gut KI manipulative Techniken erkennt

Ein Sprachmodell kann einen Text auf Techniken hin durchsehen; verlässlich finden und zuordnen konnte es sie in den hier genannten Untersuchungen nicht. Im Wettbewerb SemEval-2020 schnitten die besten Systeme, durchweg feinabgestimmte vortrainierte Modelle, bei geladener Sprache und abwertender Etikettierung vergleichsweise gut ab, den mit Abstand häufigsten Techniken, die zugleich zu den kürzesten gehören. Zweifel säen erwies sich als die am schwersten erkennbare Technik, und Strohmann und Ablenkung, die der Wettbewerb wegen ihrer Seltenheit mit Whataboutism zusammengefasst hatte, gehörten ebenfalls zu den schwierigsten. Maram Hasanain und Kollegen haben 2024 GPT-4 an arabischen Nachrichtentexten geprüft, das Markieren der Stellen zusätzlich in sechs weiteren Sprachen, darunter Deutsch. Je feiner die Frage, vom Urteil „propagandistisch oder nicht“ bis zur einzelnen Technik an der einzelnen Stelle, desto schlechter schnitt das Modell im Ganzen ab; am schwächsten war es beim Markieren der Stellen selbst. Schon bei der Frage „propagandistisch oder nicht“ lag es kaum über dem Zufall: Micro-F1 0,526 gegen 0,510 bei zufälliger Zuordnung. Das galt für Anweisungen ohne Beispiele. Mit drei Beispielen in der Anweisung schnitt GPT-4 deutlich besser ab, blieb aber auch dann hinter eigens dafür trainierten, kleineren Modellen zurück, schon bei der einfachsten Frage.

Wofür ein Modell als Zweitleser taugt

Einen langen Text nach Wörtern und Wendungen durchsehen, die Sie selbst prüfen wollen, und eine neutrale Fassung eines Absatzes entwerfen, an der sich der Unterschied zeigt. Ob seine Hinweise stimmen, zeigt erst der Abgleich an eigenen Beispielen.

Was beim Menschen bleibt

Ob eine Zuspitzung im Zusammenhang berechtigt ist, was in einem Text fehlt und was die Absicht dahinter ist. Dafür braucht es Kenntnis der Sache, und die steht nicht im Text.

Wer ein Sprachmodell regelmäßig als Zweitleser einsetzen will, prüft es wie jede andere KI-Anwendung an einer Stichprobe eigener Texte; wie das geht, beschreibt unser Artikel zu Evals für KI-Anwendungen.

Warum KI-Detektoren die falsche Frage beantworten

Ein KI-Detektor schätzt, ob ein Text von einer Maschine stammt, und sagt damit nichts darüber, ob er manipuliert. Ein manipulativer Text bleibt manipulativ, wenn ein Mensch ihn geschrieben hat, und ein sachlicher Text bleibt sachlich, wenn ein Modell geholfen hat. Hinzu kommt, dass schon die Schätzung unzuverlässig war, wie die folgenden Untersuchungen für die dort geprüften Werkzeuge zeigen:

Untersuchung	Was geprüft wurde	Ergebnis
OpenAI, Klassifikator für KI-Texte, Januar 2023	das eigene Werkzeug an englischen Testtexten	erkannte 26 % der KI-Texte, hielt 9 % der menschlichen Texte fälschlich für KI-Texte; nur für englische Texte empfohlen; am 20. Juli 2023 wegen geringer Genauigkeit zurückgezogen
Weber-Wulff und Kollegen, International Journal for Educational Integrity, 2023	zwölf öffentlich zugängliche Werkzeuge und zwei kommerzielle Systeme (Turnitin, PlagiarismCheck)	weder genau noch zuverlässig, mit einer Neigung, Texte für menschlich zu halten; nachträgliches Bearbeiten der Texte verschlechterte die Erkennung deutlich
Liang und Kollegen, Patterns, 2023	sieben verbreitete Detektoren an Aufsätzen aus dem Englischtest TOEFL und an Aufsätzen US-amerikanischer Achtklässler	im Mittel 61 % der 91 TOEFL-Aufsätze fälschlich als KI-Texte eingestuft, die Aufsätze der Achtklässler nahezu fehlerfrei als menschlich

Für einen Betrieb folgt daraus eine klare Grenze. Eine Entscheidung über einen Menschen, etwa über eine Bewerbung oder den Vorwurf, jemand habe eine Arbeit nicht selbst verfasst, gehört nicht auf den Wert eines Detektors gestützt. Selbst OpenAI schrieb zu seinem Klassifikator, er solle nicht als wichtigstes Entscheidungsmittel dienen. Die letzte Zeile der Tabelle zeigt, wen ein solcher Fehler besonders treffen kann: Menschen, die nicht in ihrer Muttersprache schreiben. Geprüft wurde das für Englisch.

Wie Sie einen wichtigen Text prüfen

Für Texte, nach denen Sie handeln sollen, lohnt ein fester Ablauf, der bei der Forderung beginnt, nicht beim Absender.

Die Forderung finden

Was soll ich nach diesem Text tun, und bis wann? Steht die Forderung nicht ausdrücklich da, steckt sie in einer Frist, einer Warnung oder einer Frage, die das Ob schon voraussetzt.

Die Begründung freilegen

Die Techniken gedanklich abziehen: das geladene Wort durch ein neutrales ersetzen, die ungenannte Autorität streichen, die fehlende dritte Möglichkeit ergänzen. Was dann noch steht, ist die eigentliche Begründung.

Das Fehlende benennen

Welche Angabe müsste dastehen, damit Sie entscheiden können: der Preis über die Laufzeit, die Quelle der Zahl, die Bedingung für die Kündigung? Fehlt sie, fragen Sie danach, bevor Sie handeln.

Über einen zweiten Weg bestätigen

Verlangt der Text eine Zahlung oder die Herausgabe von Daten, bestätigen Sie die Anweisung über einen Weg, den nicht der Text selbst vorgibt, etwa über eine Ihnen bekannte Telefonnummer.

Der Ablauf braucht kein Werkzeug, und er lässt sich im Team vereinbaren, sodass nicht jede Person für sich entscheidet, wann ein Text genauer gelesen wird.

Stand der Angaben

Die Angaben zur Erkennung von KI-Texten und von Manipulationstechniken folgen den genannten Untersuchungen aus den Jahren 2020 bis 2024. Sie beschreiben die dort geprüften Werkzeuge und Modelle, nicht jedes spätere.

Manipulative Sprachmuster erkennen und Wortwahl im Zusammenhang lesen: Das üben Teams in unserem Workshop KI Text Mentor.