„Bullshit-Fabriken". So nennt ein aktueller Magazinartikel KI-Sprachmodelle, wenn es um medizinische Informationen geht. Harte Worte. Aber die Studien dahinter geben dem Titel recht. Und sie bestätigen genau das, was ich in jedem Training sage.

Die Fakten zuerst:

Eine aktuelle Studie im British Medical Journal hat fünf Chatbots getestet: ChatGPT, Gemini, Meta AI, DeepSeek und Grok. 50 Fragen zu Impfungen, Krebs, Ernährung und Sport. Rund die Hälfte aller Antworten wurde als problematisch eingestuft. Grok lag mit 58 Prozent Fehlerquote vorne, ChatGPT bei 52 Prozent.

Noch spannender: die Quellen. Keine einzige Quellenliste war zur Gänze korrekt. Im Schnitt stimmten nur 40 Prozent der Angaben. Der Rest: tote Links, erfundene Studien, erfundene Autor:innen. The Lancet und Nature haben parallel dazu Zehntausende Fake-Referenzen in echten Fachartikeln dokumentiert. Erfundene Studien werden sogar renommierten Instituten wie der Mayo Clinic untergeschoben.

Mein Lieblingsbeispiel: Eine schwedische Forscherin erfand die Krankheit „Bixomanie", schrieb in ihre Fake-Studie wörtlich hinein, dass alles erfunden ist, und bedankte sich bei der Starfleet Academy an Bord der USS Enterprise. Eineinhalb Jahre lang diagnostizierten Chatbots trotzdem fleißig Bixomanie.

WAS DAS FÜR DICH BEDEUTET

Jetzt könntest du sagen: Ich arbeite nicht in der Medizin, betrifft mich nicht. Falsch gedacht. Die Mechanik ist überall dieselbe. Ob Gesundheitsinfo, Vertragsdetail, Marktzahl oder Kundenanalyse: Das Modell trägt korrekte und erfundene Aussagen mit derselben Überzeugungskraft vor. Es gibt keinen Warnhinweis, keinen anderen Tonfall, nichts.

Der Informatiker Martin Warnke bringt es auf den Punkt: Sprachmodelle versagen nicht, wenn sie Unsinn produzieren. Sie arbeiten technisch völlig fehlerfrei. Wahrheit ist schlicht keine Kategorie, für die sie gebaut wurden.

Und genau deshalb wiederhole ich meinen Satz so oft: Erst der Prozess, dann die KI.

Drei Konsequenzen für deinen Arbeitsalltag:

1. Verifikation ist Teil des Prozesses, nicht optional.

Wer KI-Ergebnisse ungeprüft übernimmt, hat keinen KI-Prozess, sondern ein Glücksspiel. Definiere fix, welche Outputs von wem gegengeprüft werden, bevor sie das Haus verlassen.

2. Quellen immer selbst öffnen.

Jede Referenz, die dir ein Sprachmodell liefert, klickst du an. Existiert sie? Sagt sie das, was behauptet wird? Das dauert Minuten und schützt dich vor Blamagen, die Jahre kosten.

3. Das ist eine Führungsfrage.

Der EU AI Act verlangt in Artikel 4 KI-Kompetenz für alle, die mit KI arbeiten. Nicht als Bürokratie, sondern aus genau diesem Grund: Deine Mitarbeiter:innen müssen wissen, was diese Werkzeuge können und was nicht. Wer KI im Unternehmen ausrollt, ohne diese Kompetenz aufzubauen, delegiert Entscheidungen an ein, wie Warnke sagt, „absolut vernunftloses Gegenüber".

KI ist ein großartiges Werkzeug. Ich arbeite jeden Tag damit und möchte es nicht mehr hergeben. Aber sie ist ein Werkzeug für Menschen mit Urteilsvermögen, nicht deren Ersatz. Die Studien zeigen: Der Unterschied zwischen Nutzen und Schaden liegt nicht im Tool. Er liegt im Prozess und in der Kompetenz der Menschen, die es bedienen.

Quellen: „Bullshit-Fabriken", profil, Juni 2026; British Medical Journal; The Lancet; Nature.