KI Halluzinationen: Wenn die Vertragsanalyse erfundene Klauseln liefert

KI Halluzinationen sind keine Software-Bugs, sondern eine Eigenschaft von Sprachmodellen. Sie entstehen, wenn die KI plausibel klingende Antworten generiert, ohne sie auf das Originaldokument abzustützen. Bei der Vertragsanalyse im Bau sind sie besonders gefährlich, weil eine einzige übersehene oder erfundene Klausel ein ganzes Projekt unprofitabel machen kann. Die Lösung ist nicht, KI zu meiden, sondern Antworten zu erzwingen, die mit der Originalquelle verlinkt sind.

Was sind KI Halluzinationen, kurz erklärt

KI Halluzinationen entstehen, weil Sprachmodelle keine Fakten kennen, sondern Wahrscheinlichkeiten berechnen. Bei jeder Antwort schätzt das Modell, welches Wort statistisch am besten zum bisherigen Text passt. Wenn die Trainingsdaten lückenhaft sind oder die Frage spezifisch wird, generiert das Modell trotzdem eine Antwort. Sie klingt plausibel, ist aber nicht zwingend korrekt.

Stellen Sie sich einen Praktikanten vor, der zu jeder Frage eine Antwort gibt, auch wenn er das Dokument nicht gelesen hat. Er liest die Frage, denkt sich, was wahrscheinlich richtig wäre, und schreibt es selbstbewusst hin. Manchmal trifft er ins Schwarze. Manchmal liegt er völlig daneben. Das Tückische: am Tonfall hören Sie keinen Unterschied.

Genau so funktionieren ChatGPT, Claude und Gemini. Sie sind so darauf trainiert, hilfreich zu wirken, dass sie ungern «weiss ich nicht» sagen. Sie liefern. Was geliefert wird, ist nicht immer das, was im Vertrag steht.

Die kurz-zu-lang-Heuristik: Wann das Risiko am höchsten ist

Halluzinationsrisiko lässt sich grob abschätzen. Eine bewährte Heuristik aus der Praxis: Wenn eine kurze Frage eine lange Faktenantwort verlangt, ist das Risiko hoch. Wenn eine ausführliche Eingabe mit viel Kontext eine kurze, klar abgegrenzte Antwort verlangt, ist das Risiko niedriger.

Übersetzt auf die Vertragsanalyse: «Was sind die Risiken in diesem Werkvertrag?» ist eine kurze Frage, auf die Sie eine lange Aufzählung erwarten. Das ist genau das gefährlichste Profil. Die KI muss Fakten produzieren, hat aber wenig Anhalt, was für dieses spezifische Dokument relevant ist.

Drei typische KI Halluzinationen bei der Vertragsanalyse

In der Praxis treten Halluzinationen in drei Mustern auf. Jedes hat ein anderes Risikoprofil und eine andere Strategie zur Erkennung. Wer alle drei kennt, prüft KI-Antworten gezielter.

Muster 1: Erfundene Klausel

Die KI fügt eine Klausel hinzu, die typisch wäre, aber im konkreten Dokument nicht existiert. «Der Vertrag enthält eine Pauschalpreis-Klausel mit Risikozuschlag von 5%», sagt die KI. Im Vertrag steht nichts davon. Was ist passiert: Das Modell hat aus tausenden ähnlichen Werkverträgen gelernt, dass solche Klauseln üblich sind. Es ergänzt, was wahrscheinlich wäre.

Folge: Sie kalkulieren mit einem Schutz, der nicht existiert. Im Streitfall steht Ihre Marge im Wind.

Muster 2: Übersehene Klausel

Die KI listet fünf Risiken auf. Das sechste, vielleicht wichtigste, fehlt. Vielleicht eine harte Pönale-Klausel auf Seite 47. Vielleicht eine Mengentoleranz, die Mengen um 20% nach oben oder unten verschieben darf, ohne dass der Preis angepasst wird. Beides taucht in der Antwort nicht auf.

Das ist das tückischste Muster. Erfindungen lassen sich gegen das Originaldokument prüfen. Lücken nicht. Wer nicht weiss, dass etwas fehlt, sucht nicht danach.

Folge: Sie reichen die Submission ein, nicht wissend, was Sie unterzeichnen.

Muster 3: Falsch zugeordnete Klausel

Die KI mischt Inhalte aus verschiedenen Dokumenten oder Vertragsversionen. Sie hat den Werkvertrag und die Allgemeinen Bedingungen analysiert. Die Antwort erwähnt eine Klausel aus den Allgemeinen Bedingungen so, als stünde sie im Werkvertrag. Im konkreten Streitfall greift sie aber gar nicht oder anders, weil ihr Geltungsbereich anders ist.

Folge: Sie reagieren auf Risiken, die nicht zu diesem Projekt gehören. Oder verpassen welche, die es tun.

Quellen-Grounding: Die einzige zuverlässige Antwort

Die strukturelle Antwort auf KI Halluzinationen heisst Quellen-Grounding. Das Grundprinzip lautet: Jede KI-Aussage muss mit der Originalquelle im Dokument verlinkt sein. Wenn die KI eine Klausel erwähnt, springen Sie in einem Klick auf die Stelle im PDF, wo die Klausel steht. Stimmt der Bezug nicht, sehen Sie es sofort.

Das verändert die Arbeitsweise. Sie verifizieren nicht 50 Aussagen einzeln gegen das Originaldokument. Sie sehen die Verknüpfung und können stichprobenartig prüfen. Was nicht verlinkt ist, ist eine Vermutung der KI, kein Fakt.

Standard-ChatGPT macht das nicht. Die Antwort kommt als Fliesstext, ohne Verweis auf Seite, Absatz oder Klauselnummer. Wenn Sie es prüfen wollen, müssen Sie das Dokument selbst durchsuchen. Bei 200 Seiten Werkvertrag ist das genau die Arbeit, die Sie der KI eigentlich abnehmen wollten.

Spezialisierte KI-Plattformen für die Vertragsanalyse setzen Quellen-Grounding im Kern um. Bei Scait wird jede ausgewiesene Klausel direkt mit der Stelle im Originaldokument verknüpft. Der Kalkulator sieht im linken Bereich die KI-Analyse, im rechten das Originaldokument, beide synchronisiert. Eine Aussage ohne Beleg gibt es nicht. Scait liefert die Fakten. Sie treffen die Entscheidung.

Was Sie als Kalkulator konkret prüfen müssen

Wenn Sie KI für die Vertragsanalyse einsetzen, hilft eine kurze mentale Checkliste:

• Wo steht das im Dokument? Bei jeder KI-Aussage. Wenn die KI keine Stelle nennen kann, ist die Aussage eine Vermutung.

• Was fehlt? Listen sind selten vollständig. Querchecken Sie gegen Ihr Bauchgefühl: Welche Risiken erwarten Sie in einem Werkvertrag dieser Art? Wenn die KI eines davon nicht nennt, ist das verdächtig.

• Welches Dokument wurde wirklich gelesen? Bei mehreren Versionen oder Anhängen prüfen Sie, ob die KI die richtige Datei verarbeitet hat. Halluzinationen entstehen oft, weil das Modell Inhalte aus älteren Versionen oder anderen Projekten mitbringt.

• Stellt die KI Ihnen die Frage zurück? Suggestivfragen sind gefährlich. Wenn Sie fragen «Ist diese Klausel risikoreich?», bekommen Sie wahrscheinlich «Ja».

• Bei kritischen Klauseln: Nie nur die KI lesen. Pauschalpreis, Pönale, Mengentoleranz, Gewährleistung. Das sind Klauseln, die Sie selbst im Original gesehen haben sollten. Die KI ist Erstfilter, nicht Letztinstanz.

Die wichtigste Regel ist Punkt zwei. Erfundene Klauseln können Sie zurückweisen. Übersehene Klauseln bemerken Sie meistens erst, wenn sie auf der Baustelle zuschlagen.

Demo vereinbaren

Wenn Sie sehen wollen, wie Quellen-Grounding in der Praxis aussieht: Wir zeigen Ihnen Scait an einem Ihrer eigenen Verträge. Unverbindlich, in 30 Minuten.