Was ist eine KI-Halluzination?
Eine KI-Halluzination ist eine Antwort, die sprachlich stimmig wirkt und sachlich nicht stimmt. Sie entsteht im selben Vorgang wie jede andere Antwort: Das Modell setzt Text fort, ohne eine hinterlegte Tatsache nachzuschlagen.
Typisch sind erfundene Öffnungszeiten, falsch wiedergegebene Preise, Ansprechpartner, die es nicht gibt, oder Quellen, die sich nicht auffinden lassen. Von einer Lüge unterscheidet sich das dadurch, dass keine Absicht dahintersteht; von einem Rechenfehler dadurch, dass die Antwort in sich schlüssig klingt und deshalb selten auffällt.
NIST nennt dieses Verhalten Konfabulation. Im Deutschen hat sich daneben „Halluzination“ eingebürgert, obwohl das Modell nichts wahrnimmt, was es verwechseln könnte.
Warum halluzinieren Sprachmodelle?
Weil ein Sprachmodell Sprache fortsetzt und keine Datenbank abfragt. Es sagt das nächste Wort voraus, das nach dem bisherigen Text am wahrscheinlichsten passt; eine eingebaute Prüfung gegen Fakten gibt es dabei nicht.
Vier Umstände machen erfundene Inhalte wahrscheinlicher:
- Lückenhaftes oder veraltetes Wissen. Was nicht im Trainingsmaterial und nicht in der hinterlegten Wissensbasis steht, wird vom Modell nicht als Lücke erkannt.
- Vage Fragen. „Wie lange haben Sie offen?“ nennt weder Filiale noch Tag und lässt Spielraum, den das Modell mit einer plausiblen Annahme füllt.
- Druck, immer zu antworten. Ein Assistent, der auf jede Frage eine Antwort liefern soll, erfindet eher eine, als dass er schweigt.
- Flüssigkeit als Ziel. Das Modell ist darauf trainiert, zusammenhängend zu formulieren; eine stockende, aber ehrliche Antwort ist kein Ausgabeformat, das es anstrebt.
Am Telefon kommt die gesprochene Sprache hinzu: Namen, Zahlen und Uhrzeiten werden leicht verhört, und eine Rückfrage kostet Zeit. Wie ein solches Gespräch aufgebaut ist, beschreibt Conversational AI am Telefon; die Rolle des handelnden Systems erklärt Voice Agent.
Welche Folgen haben Halluzinationen am Telefon und im Chat?
Die Folgen sind praktisch: Wer eine falsche Auskunft bekommt, richtet sich danach. Der Schaden entsteht nicht im Gespräch, sondern danach.
| Beobachtung | Was daraus folgt |
|---|---|
| Falsche Öffnungszeiten | Der Gast steht vor der geschlossenen Tür und erfährt erst dort, dass die Auskunft nicht stimmte. |
| Erfundener Preis | Die Zusage steht im Raum, obwohl sie nicht gilt; das Team muss sie im Nachgespräch korrigieren. |
| Reservierung ohne Eintrag | Der Wunsch wurde zugesagt, steht aber in keinem Kalender; die Enttäuschung trifft das Personal. |
| Falsche Angabe zu Leistungen | Interessenten planen mit einem Angebot, das der Betrieb in dieser Form nicht führt. |
| Erfundene Nummer oder Quelle | Wer nachprüft, findet nichts, und zweifelt danach auch an den richtigen Angaben. |
In allen Fällen entsteht dieselbe Arbeit: Jemand im Team muss die Aussage richtigstellen. Ist der Assistent auf der Website eingebunden (Website-Chatbot), kann das unbemerkt bleiben, denn der Besucher glaubt der Antwort und meldet sich nicht.
Wie lassen sich Halluzinationen begrenzen?
Vollständig verhindern lassen sie sich nicht; begrenzen lassen sie sich durch eine Kombination aus Wissensquelle, klaren Grenzen und Kontrolle. Sechs Maßnahmen tragen dazu bei:
- Antworten aus der eigenen Wissensbasis. Statt aus dem Modellwissen antwortet der Assistent aus hinterlegten Inhalten. Dieses Muster heißt Retrieval-Augmented Generation: Das System sucht zuerst passende Textstellen in der Wissensbasis und formuliert die Antwort daraus (Lewis et al. 2020). Wie eine solche Grundlage aufgebaut wird, erklärt Wissensbasis.
- Klarer Auftrag. Der Assistent beantwortet, wofür Inhalte hinterlegt sind, und nicht mehr. Je enger der Auftrag, desto weniger Gelegenheit für erfundene Antworten.
- Ehrliches Nichtwissen. Der Assistent sagt, dass er etwas nicht weiß, nimmt das Anliegen samt Rückrufnummer auf oder übergibt per Warm Transfer.
- Gepflegte Preise und Öffnungszeiten. Diese Angaben ändern sich; sie gehören in die Wissensbasis und werden dort aktualisiert. Sonst antwortet der Assistent mit altem Stand – korrekt zitiert und trotzdem falsch.
- Testanrufe. Wer den Assistenten wie eine Kundin anruft und gezielt Grenzfälle fragt, hört, ob er rät oder nachfragt.
- Transkripte lesen. Die Gesprächsprotokolle zeigen, wo Lücken sind; jede Lücke ist ein Eintrag für die Wissensbasis.
Woran erkennt man gute Antworten?
Eine gute Antwort ist kurz, stammt aus dem hinterlegten Wissen und benennt ihre Grenze. Vier Punkte lassen sich an einer Stichprobe von Gesprächen prüfen:
- Deckung. Die Antwort findet sich in den hinterlegten Inhalten wieder; was dort nicht steht, wird nicht behauptet.
- Keine erfundenen Zahlen. Preise, Fristen und Öffnungszeiten stammen aus der Wissensbasis und nicht aus dem Gesprächsverlauf.
- Offene Fragen gehen weiter. Was der Assistent nicht beantworten kann, landet beim Team – als Rückruf oder Übergabe, nicht als Vermutung.
- Erkennbarkeit. Der Assistent sagt, dass er eine KI ist. Nach Artikel 50 der Verordnung (EU) 2024/1689 müssen Personen spätestens bei der ersten Interaktion darüber informiert werden; die Pflicht gilt im Wesentlichen seit 2. August 2026. Am Telefon gehört der Hinweis in die Begrüßung, mehr dazu unter EU AI Act Artikel 50 am Telefon.
Wie geht AIOOS mit dem Risiko um?
AIOOS begegnet dem Risiko über die Wissensquelle und über die Grenzen des Gesprächs, nicht über die Zusicherung, dass nichts schiefgehen kann.
Der Assistent liest die Website des Betriebs und richtet sich daraus ein; zusätzlich lassen sich PDF und CSV hochladen, wobei Abteilungen, Personen und FAQs automatisch erkannt werden. Preise, Verfügbarkeiten und Produktbilder kommen aus diesem Bestand. Verlangt eine Frage aktuelle Informationen, holt der Assistent sie aus dem Web. Telefon, Website-Chatbot und AI to go greifen auf dieselbe Wissensbasis zu; gepflegt wird sie an einer Stelle.
Der Assistent ist darauf ausgelegt, keine Antworten zu erfinden: keine Preise, Zahlen oder Zusagen, die nicht im hinterlegten Wissen stehen. Wenn er nicht helfen kann, nimmt er das Anliegen samt Rückrufnummer strukturiert auf oder übergibt per Warm Transfer. Die Auswertung zeigt die häufigsten Fragen und die Lücken in der Wissensbasis; die Transkripte stehen in der App, sodass Antworten stichprobenartig nachlesbar sind.
Diese Konstruktion macht falsche Auskünfte unwahrscheinlicher und sichtbar. Ein Restrisiko bleibt, weil jede Antwort aus Sprache entsteht; deshalb gehört die Stichprobe in den Betriebsalltag. Den Gesamtzusammenhang beschreibt der Ratgeber KI-Telefonassistent.
Häufige Fragen
Kann man Halluzinationen ganz ausschließen?
Nein. Sie lassen sich verringern, indem Antworten aus einer gepflegten Wissensbasis stammen, der Auftrag eng bleibt und offene Fragen an das Team gehen. Deshalb gehört eine Stichprobe der Transkripte zur Routine.
Lernt der Assistent aus jedem Gespräch?
Was der Assistent weiß, stammt aus dem Wissen, das der Betrieb hinterlegt und pflegt – etwa aus der Website, aus PDF- und CSV-Dateien sowie aus den dort erkannten Abteilungen, Personen und FAQs. Neue Inhalte kommen über diese Wissensbasis hinzu.
Was soll ein Assistent sagen, wenn er etwas nicht weiß?
Dass er es nicht weiß. Danach nimmt er das Anliegen samt Rückrufnummer auf oder übergibt an eine Person oder Abteilung. Eine geratene Antwort ist in jedem Fall die schlechtere Variante.
Wer haftet für falsche Auskünfte?
Das ist eine Rechtsfrage, die der Betrieb mit seinen Beratern klären muss. Technisch lässt sich das Risiko verringern: eine klare Übergabe an das Team, gepflegte Inhalte und nachlesbare Transkripte.
Quellen
- NIST AI 600-1, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (2024) – Begriffsbestimmung und Risikoprofil für generative KI. https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf — abgerufen am 25.10.2026
- Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2020) – Verfahren, Antworten aus abgerufenen Textstellen zu bilden. https://arxiv.org/abs/2005.11401 — abgerufen am 25.10.2026