Warum halluziniert KI? Ein Blick in das Innere von Sprachmodellen

Künstliche Intelligenz meistert heute Dinge, die bis vor kurzem noch nach reiner Science-Fiction aussahen. Sie schreibt Texte, entwirft Programmiercode und berät uns bei einer Vielzahl von komplexen Aufgaben. Je flüssiger und überzeugender ihre Antworten klingen, desto leichter vergessen wir ein großes Risiko: KI kann eine komplett erfundene Antwort erzeugen, die jedoch auf den ersten Blick zu 100 Prozent glaubwürdig erscheint.

Dieses Phänomen wurde als „KI-Halluzination“ bezeichnet. Es handelt sich nicht um einen zufälligen Softwarefehler oder eine absichtlich vergessene Funktion, die die Entwickler einfach nicht deaktiviert haben. Es ist eine natürliche und tief verwurzelte Folge dessen, wie große Sprachmodelle (LLM) heute entwickelt und trainiert werden. Schauen wir uns an, wie diese Systeme funktionieren, um zu verstehen, warum sie so selbstbewusst „lügen“.

Was sind KI-Halluzinationen?

In der generativen Künstlichen Intelligenz wird als Halluzination eine Situation bezeichnet, in der ein Modell eine Antwort erstellt, die zwar grammatikalisch und stilistisch perfekt und glaubwürdig erscheint, aber in der realen Welt keine Grundlage hat.

Modelle können auf wirklich überraschende Weise halluzinieren. Sie erfinden mühelos nicht existierende Gesetzesparagrafen, machen Fehler in mathematischen Berechnungen oder generieren realistisch klingende wissenschaftliche Studien einschließlich bestimmter Namen von Autoren und Webadressen, die es nie gab. Besonders bemerkenswert ist, dass dies sogar bei völlig banalen Fragen passiert, etwa wenn Sie das Geburtsdatum einer Persönlichkeit überprüfen möchten oder offizielle historische Bevölkerungszahlen in einem Archiv suchen.

Was geschieht im Inneren eines Sprachmodells

Um zu verstehen, woher diese Fehler kommen, müssen wir uns klar machen: Große Chatbots wie ChatGPT oder Gemini funktionieren nicht wie Internetsuchmaschinen und sind auch keine riesigen Datenbanken von Fakten. Sie haben kein tatsächliches Wissen über unsere Welt und wissen überhaupt nicht, was wahr und was falsch ist.

Ein Sprachmodell ist im Wesentlichen ein riesiges neuronales Netzwerk, das eigentlich eine komplizierte Ansammlung von „trainierten Instinkten“ darstellt. Diese Instinkte wurden durch die Analyse von Billionen von Wörtern aus dem Internet, Büchern und Diskussionen erworben. Das Ziel dieses finanziell und technologisch äußerst aufwendigen Trainings ist nicht, die Maschine zu lehren, den Sinn des Textes zu verstehen, sondern einfach, sie dazu zu bringen, menschliche Sprache hervorragend und fließend zu imitieren.

Wie KI mit Tokens arbeitet

Wenn Sie in einen Chatbot Ihre Frage eingeben, arbeitet das neuronale Netz nicht direkt mit Ihren Worten. Der Text wird zuerst in sogenannte Tokens aufgeteilt. Tokens sind vorab vorbereitete Wörter oder Teile davon, denen bestimmte Zahlen zugeordnet sind. Das mathematische Netzwerk im Inneren eines Computers kann nämlich nur Zahlen verarbeiten.

Das Modell nimmt diese Zahlen (Ihre Anfrage zusammen mit dem gesamten vorhergehenden Kontext des Gesprächs) und lässt sie durch seine Schichten laufen. Das Ergebnis ist jedoch nicht, dass es in irgendein Fach für die „richtige Antwort“ schaut. Das Ergebnis ist eine rein mathematische Vorhersage: Das Modell berechnet, welcher nächste Token am wahrscheinlichsten auf den bereits geschriebenen Text folgen sollte.

Warum das Modell vorhersagt anstatt zu verifizieren

Der gesamte Funktionsprinzip der Künstlichen Intelligenz basiert auf dem Abschätzen von Wahrscheinlichkeiten, nicht auf der Überprüfung von Wahrheiten. Das Modell setzt den Text Wort für Wort (Token für Token) zusammen. Jedes neu generierte Wort wird sofort in die Eingabe eingebaut und auf dieser frischen Basis wird die Wahrscheinlichkeit für das nächste Wort sofort berechnet.

Um die Ausgaben nicht völlig langweilig und trocken zu gestalten, wird beim Generieren ein versteckter Parameter namens „Temperatur“ (temperature) verwendet. Wenn die Temperatur bei null liegt, wählt das Modell immer den vorhersehbarsten Token, was zu fade und immer gleiche Antworten führt. Eine höhere Temperatur gibt dem Modell die Möglichkeit, auch weniger wahrscheinliche Wörter zu wählen. Dies schließt zwar Kreativität und die Fähigkeit, interessante Geschichten zu schreiben, auf, erhöht jedoch zugleich dramatisch die Wahrscheinlichkeit, dass das Modell zu kompletten Erfindungen abrutscht.

Wie eine Antwort Schritt für Schritt entsteht

Der gesamte Prozess von der Eingabe der Anfrage bis zur endgültigen Halluzination sieht in der Praxis folgendermaßen aus:

1. Analyse der Anfrage: Ihre Anfrage wird in Zahlen (Tokens) umgewandelt.
2. Berechnung von Wahrscheinlichkeiten: Das Modell berücksichtigt den Kontext und wählt aus Hunderten von möglichen Kandidaten die Wörter aus, die statistisch am besten weiterpassen.
3. Kreieren von Text: Wenn das Modell auf ein Thema stößt, bei dem ihm feste Daten fehlen, versucht es nicht, zuzugeben, dass es nicht weiß. Es verwendet flüssige Sprache und beginnt, einen Text zu erstellen, der zwar absolut logisch klingt, aber die Details einfach statistisch erfindet.
4. Zyklus im Kontext: Sobald das Modell in der Mitte eines Satzes ein fehlerhaftes Detail generiert (z.B. ein falsches Jahr oder einen erfundenen Namen), wird dieses Detail ein fester Bestandteil des Kontextes. In den weiteren Schritten baut das Modell auf seiner eigenen Lüge auf und fügt weitere glaubwürdig aussehende Begründungen hinzu.

Einige Fragen führen häufiger zu Halluzinationen

Beim Training (sog. Vortraining) sieht das Modell nur korrekte, flüssige Texte. Doch in den Daten gibt es verschiedene Arten von Informationen. Rechtschreibregeln oder das korrekte Schließen von Klammern wiederholen sich in den Texten ständig, sodass sich die KI diese fehlerlos aneignet.

Das Problem tritt bei spezifischen Fakten auf, die in den Daten selten und ohne erkennbares wiederholtes Muster erscheinen. Typische Beispiele sind genaue Zahlen, Jahreszahlen, Geburtsdaten oder weniger bekannte historische Ereignisse. Da diese Fakten in den Daten im Grunde zufällig erscheinen, kann das Modell sie nicht zuverlässig ableiten. Wenn Sie also die Künstliche Intelligenz nach einem bestimmten Zahlenwert oder Details fragen, die ein Mensch genau im Archiv behalten muss, steigt das Risiko einer Halluzination raketengleich an.

Wie versuchen KI-Modelle, Halluzinationen einzudämmen?

Derzeit verwenden Entwickler verschiedene Strategien, um die wilde Fantasie der Modelle zu zügeln:

• Externe Werkzeuge und Suche. Ähnlich wie Modelle für mathematische Berechnungen Taschenrechner erhalten haben, haben sie heute die Möglichkeit, vor einer Antwort im Web zu suchen. Sie lesen relevante Seiten und zitieren diese dann. Dadurch wird die Wahrscheinlichkeit stark reduziert, dass sie sich die Antwort aus den Fingern saugen, obwohl auch mit Zitaten immer noch Halluzinationen entstehen können.
• Denkende Modelle (Reasoning). Fortgeschrittene Systeme (z.B. die Reihen o3 oder o5 von OpenAI) führen vor der Generierung einer Antwort einen inneren Monolog. Sie denken zuerst über den Ablauf nach, überprüfen die Quellen und geben dann den Text an den Benutzer weiter. Die Halluzinationen sind hier deutlich seltener, sind aber, wenn sie auftreten, umso raffinierter und schwieriger zu erkennen.
• RAG-Architektur (Retrieval-Augmented Generation). Wird hauptsächlich in Unternehmen eingesetzt. Das Modell wird vom freien Raten abgebracht und gezwungen, ausschließlich mit der bereitgestellten Datenbank interner Dokumente zu arbeiten. Die Fehlerwahrscheinlichkeit wird so auf ein Minimum reduziert.

Aber das Hauptproblem steckt darin, wie Modelle in Tests bewertet werden. Die meisten Ranglisten messen reine Erfolgsquote (Genauigkeit) auf einer Skala von 1 (richtig) oder 0 (falsch). Ein vorsichtiges Eingeständnis „weiß nicht“ endet immer bei null, während für riskantes Raten das Modell gelegentlich einen Punkt erhalten kann. Das System motiviert die Künstliche Intelligenz regelrecht dazu, lieber selbstbewusst zu raten, als Unsicherheit zuzugeben. Das Unternehmen OpenAI befürwortet daher in seinen Forschungen eine Anpassung der Bewertungsmethodik, die Modelle für das Erfinden von Informationen bestraft und sie im Gegenzug für das offene Eingeständnis von Unsicherheiten belohnt.

Wie erhält man zuverlässigere Antworten von KI

Solange sich die Bewertungssysteme nicht ändern, müssen wir als Benutzer die Ausgaben von Chatbots kritisch hinterfragen. Hier sind einige Tipps, wie sich Risiken minimieren lassen:

• Fügen Sie Daten direkt in die Eingabezeile ein. Wenn Sie möchten, dass die KI einen Text oder ein Gesetz analysiert, fügen Sie ihn direkt in die Anfrage ein und verbieten Sie explizit das Hinzufügen von Dingen, die im Text nicht enthalten sind. Die Wahrscheinlichkeit von Erfindungen sinkt damit auf ein Minimum.
• Ändern Sie den Ton der Frage. Drängen Sie das Modell nicht mit Fragen in die Enge, die es nicht logisch ableiten kann (genaue statistische Zahlen, Details aus Biografien).
• Alles Wichtige überprüfen. Besonders in sensiblen Bereichen wie Recht, Medizin oder Finanzen sollten die Ausgaben der KI nur als grober Arbeitsentwurf betrachtet werden, der in unabhängigen, nachprüfbaren Quellen selbst überprüft werden muss.

Häufig gestellte Fragen

Warum verspricht mir die KI manchmal, mir eine E-Mail zu schicken oder eine Aufgabe später zu erledigen, obwohl sie das nicht kann?

Das Modell hat keine Kenntnis über seine tatsächlichen technischen Möglichkeiten oder die aktuelle Zeit. Es ergänzt einfach den Text basierend auf statistischer Wahrscheinlichkeit. Wenn Sie ihm eine Aufgabe schreiben, bewertet es als natürlichste Fortsetzung des Satzes eine höfliche Bestätigung, dass es bereits an der Sache arbeitet, obwohl im Hintergrund kein Prozess läuft.

Kann sich ein Chatbot ein Buch oder einen wissenschaftlichen Artikel vollständig ausdenken, der wie echt aussieht?

Ja, das passiert sehr oft. Die KI hat aus Texten die Struktur wissenschaftlicher Zitationen gelernt, sodass sie Titel generieren kann, die sehr real und fachlich klingen. Die Informationen in einer solchen Quelle können jedoch vollkommen erfunden sein und der einzige Weg, dies herauszufinden, besteht darin, zu versuchen, das betreffende Werk unabhängig aufzufinden.

Hilft es gegen Halluzinationen, wenn ich dieselbe Sache erneut in einem neuen Chat frage?

Ja, das Öffnen eines neuen Chats ist eine sehr effektive Hilfe. Sie löschen damit nämlich den gesamten vorhergehenden Kontext des Gesprächs. Wenn die KI in den vorherigen Sätzen einen Fehler gemacht hat, würde sie im ursprünglichen Chat aufgrund ihrer Natur weiter darauf aufbauen, während sie im neuen Fenster die Wahrscheinlichkeitsberechnung von null beginnt.

Habe ich eine Garantie, dass die Antwort fehlerfrei ist, wenn ich die Internetsuche einschalte?

Leider haben Sie keine Garantie. Die Suchmaschine liefert dem Modell zwar die richtigen Daten, aber die KI setzt den Text immer noch durch Schätzen des nächsten Wortes zusammen. Tests zeigen, dass Chatbots auch mit Zugang zum Web Informationen falsch verstehen, Zusammenhänge verwechseln und Fehler erzeugen können, die sie zudem mit realen Links unterlegen.

Hat es überhaupt einen Sinn, Künstliche Intelligenz zu nutzen, wenn ich weiß, dass sie so Fehler macht?

Auf jeden Fall ja, es ist nur notwendig, die Erwartungen zu ändern. Für Brainstorming, das Schreiben von E-Mails, das Entwickeln kreativer Konzepte oder das Auffinden unkonventioneller Zusammenhänge ist diese Freiheit des Modells ein großer Vorteil. Sie müssen jedoch als Editor fungieren, die KI schreiben lassen und die Fakten selbst immer kontrollieren.