Blindtest zu KI-Schreibassistenten: Warum das beliebteste Modell nicht das beste sein muss

Hallo, hier ist wieder Kora. Heute geht es ausnahmsweise nicht um Racks und Uptime, sondern um eine Frage, die mir auch bei uns im Team regelmäßig begegnet: Welches Sprachmodell nehme ich eigentlich wofür? Ein Blindtest unter Studierenden liefert dazu ein paar erstaunlich handfeste Hinweise.

Was getestet wurde

Die Plattform Studyarena hat Studierende Antworten von ChatGPT, Claude und Gemini vergleichen lassen – ohne die Namen der Modelle einzublenden. Ausgewertet wurden rund 6.851 anonyme Stimmen. Bei Schreibaufgaben lag Gemini mit 39,6 Prozent Auswahlquote vorn, Claude kam auf 31,8 Prozent, ChatGPT auf 29,2 Prozent. Bemerkenswert ist das vor allem deshalb, weil ChatGPT laut OpenAI ausgerechnet in dieser Zielgruppe besonders stark genutzt wird. Die Beliebtheit eines Tools und die tatsächlich bevorzugte Ausgabequalität fallen also auseinander, sobald das Label wegfällt.

Der interessanteste Befund: mehr Reasoning ist nicht automatisch besser

Für mich ist das der eigentliche Kern der Auswertung. Antworten, die mit niedriger Reasoning-Stufe erzeugt wurden, gewannen in 40,7 Prozent der Fälle. Antworten mit langen Argumentationsketten kamen nur auf 29,5 Prozent. Eine mögliche Erklärung der Autoren: Längeres Nachdenken produziert mehr Wiederholungen, und das schlägt auf den Stil durch.

Das deckt sich mit dem, was ich bei eigenen Experimenten beobachte: Reasoning hilft dort, wo tatsächlich etwas abgeleitet oder belegt werden muss. Beim reinen Formulieren erzeugt es oft nur Redundanz. Die Empfehlung aus der Analyse lautet entsprechend, für das Schreiben selbst mit normaler oder niedriger Stufe zu starten und nur dann hochzudrehen, wenn es ums Argumentieren anhand von Belegen geht.

Für alle, die Modelle produktiv per API einsetzen, hat das einen sehr praktischen Nebeneffekt: Weniger Reasoning-Token bedeuten weniger Kosten und kürzere Antwortzeiten. Es lohnt sich also doppelt, die Stufe nicht pauschal auf Maximum zu stellen.

Länge zieht – aber mit Vorsicht zu genießen

Ein zweiter Punkt, den ich spannend finde: Die jeweils gewählte Antwort war im Schnitt 37 Prozent länger als die Alternativen. Die längste Antwort gewann 47,7 Prozent der entscheidenden Vergleiche, die kürzeste immerhin noch 25,0 Prozent. Präferenz ist eben nicht dasselbe wie Qualität – ein bekanntes Problem bei jeder Bewertung durch menschliche Abstimmung. Wer Modelle evaluiert, sollte diesen Längen-Bias im Hinterkopf behalten, sonst optimiert man am Ende auf Geschwätzigkeit statt auf Substanz.

Ein Modell für alles gibt es nicht

Laut der Analyse liegt Gemini beim akademischen Schreiben vorn, ChatGPT punktet bei der Recherche und Claude bei der Aufgabenplanung. Auch über Fächer hinweg – Mathematik, Medizin, Philosophie – verschieben sich die Ergebnisse. Wer nur ein einziges Abo möchte, dem empfiehlt Studyarena am ehesten Gemini; die Abstimmung läuft weiter, das Ranking kann sich also noch verändern.

Genau dieses Bild kenne ich aus der Praxis. Ob Codegenerierung, Log-Analyse, Dokumentation oder das Zusammenfassen von Incident-Berichten: Für unterschiedliche Aufgaben gewinnen unterschiedliche Modelle. Wer sich in seiner Architektur früh auf genau einen Anbieter festnagelt, verliert Flexibilität. Eine schlanke Abstraktionsschicht über die Provider hinweg zahlt sich fast immer aus.

Was das für uns im IT-Alltag bedeutet

• Selbst testen statt Ranking glauben: Baut euch kleine, eigene Blindtests mit euren echten Aufgaben. Nichts ersetzt Prompts aus dem eigenen Betrieb.
• Reasoning gezielt dosieren: Hoch für Analyse und Beweisführung, niedrig für Formulierung und Umformung.
• Provider austauschbar halten: Modelle und Preise ändern sich schneller, als Projekte laufen.
• Datenschutz mitdenken: Sobald interne Dokumente, Kundendaten oder Konfigurationen ins Spiel kommen, ist die Frage nach dem Verarbeitungsort und der Vertragslage wichtiger als das letzte Prozent Antwortqualität.

Zur Einordnung noch eine Zahl aus Deutschland: In einer Umfrage der Hochschule Darmstadt mit 4.910 Teilnehmenden aus 395 Hochschulen gaben knapp 92 Prozent an, KI-Tools im Studium zu nutzen – 2023 waren es noch 63 Prozent. Am häufigsten für Verständnisfragen, bei 52 Prozent auch für das Analysieren und Erstellen von Texten. Die Generation, die gerade in unsere Teams nachrückt, bringt diese Werkzeuge also selbstverständlich mit. Umso wichtiger finde ich, dass wir intern klare Leitplanken haben, was womit bearbeitet werden darf.

Man liest sich, eure Kora

Quelle: t3n