Verträge mit KI prüfen: was die Werkzeuge können und was nicht

Ein Vertrag, fünf Minuten, 25 Cent

Zehn Beschaffungsverträge, dieselben Prüffragen, drei Arten von Prüfern: erfahrene Anwälte legten die richtigen Antworten fest, junge Anwälte, ein Auslagerungsdienstleister und mehrere Sprachmodelle traten gegeneinander an. Das Ergebnis dieser Studie des Softwareanbieters Onit aus dem Jahr 2024 sorgt bis heute für Unruhe. Beim Erkennen rechtlicher Probleme lag das beste Modell gleichauf mit den Menschen. Es brauchte dafür knapp fünf Minuten je Vertrag statt knapp einer Stunde und kostete 25 Cent statt gut 74 Dollar.

Wer nur diese Zahlen liest, könnte die Vertragsprüfung für erledigt halten. Ein zweiter Blick auf dieselbe Studie und auf neuere Untersuchungen zeigt ein anderes Bild: Die Werkzeuge finden Klauseln schnell und billig. Was die Klausel für den Mandanten bedeutet, wissen sie nicht. Die Prüfung bleibt Anwaltsarbeit, sie beginnt nur an einer anderen Stelle.

Was KI-Vertragsprüfung leistet

Die Stärke der Modelle liegt im Lesen großer Textmengen. Ein Vertrag mit 80 Seiten kostet ein Sprachmodell Sekunden, den Anwalt einen Nachmittag. Die Werkzeuge finden Kündigungsfristen, Haftungsbegrenzungen, Wettbewerbsverbote oder Gerichtsstandsklauseln und stellen sie in einer Übersicht zusammen. Sie vergleichen einen Entwurf mit einem Muster und markieren Abweichungen. Sie fassen zusammen, was ein Vertrag regelt, und beantworten Fragen dazu.

Genau das misst die Onit-Studie: Gibt es im Vertrag ein Problem zu einer bestimmten Frage, ja oder nein? Bei dieser Aufgabe erreichte das beste Modell die Trefferquote der jungen Anwälte. Für eine kleine Kanzlei heißt das: Der erste Durchgang, das Sichten und Sortieren, lässt sich zu einem guten Teil abgeben. Der Anwalt fängt beim zweiten Durchgang an.

Wo die Werkzeuge Klauseln übersehen

Schon in derselben Studie zeigte sich die erste Schwäche. Sobald die Modelle nicht nur melden sollten, dass es ein Problem gibt, sondern die Stelle im Vertrag benennen sollten, fielen sie hinter den Auslagerungsdienstleister zurück. Die Autoren beschreiben die Modelle als vorsichtig: Sie übersahen vorhandene Probleme lieber, als falsche zu melden.

Ein Vergleichstest aus dem Jahr 2025 mit dem Namen ContractEval prüfte 19 aktuelle Modelle an 102 Geschäftsverträgen und 41 Klauseltypen. Selbst die besten Modelle erreichten dort einen Trefferwert von rund 0,64 auf einer Skala bis 1. Schwach waren die Modelle gerade bei seltenen und teuren Klauseln, etwa bei unbegrenzter Haftung oder gemeinsamem geistigen Eigentum. Manche kleineren Modelle antworteten in 30 Prozent der Fälle mit „keine passende Klausel“, obwohl eine im Vertrag stand. Das ist die gefährlichste Fehlerart: Ein Bericht, in dem etwas fehlt, sieht genauso sauber aus wie ein vollständiger.

Hinzu kommt: Beide Untersuchungen liefen mit englischen Verträgen nach amerikanischem oder neuseeländischem Recht. Wie gut die Modelle deutsche AGB-Kontrolle oder Formvorschriften abbilden, sagen sie nicht.

Erfundene Rechtslage bleibt ein Risiko

Die zweite Grenze betrifft alles, was über das Lesen hinausgeht. Ob eine Klausel wirksam ist, hängt von Gesetz und Rechtsprechung ab. Hier greifen die Werkzeuge auf ihr Training oder auf angeschlossene Datenbanken zurück, und beides kann täuschen. Forscher der Universität Stanford testeten 2024 die juristischen Rechercheassistenten von LexisNexis und Thomson Reuters. Die Systeme lieferten in 17 bis 34 Prozent der Anfragen falsche oder falsch belegte Antworten. Allgemeine Chatbots lagen bei juristischen Fragen zwischen 58 und 82 Prozent.

Die Forscher unterscheiden zwei Fehlerarten: Entweder ist die Aussage zur Rechtslage falsch, oder sie ist richtig, aber die angegebene Quelle stützt sie nicht. Die zweite Art ist tückischer, weil sie seriös wirkt. Wer jede Behauptung und jeden Beleg nachprüfen muss, verliert einen guten Teil des versprochenen Zeitgewinns wieder. Für die Vertragsprüfung folgt daraus eine klare Arbeitsteilung. Das Werkzeug zeigt, was im Vertrag steht. Ob das zulässig, üblich oder gefährlich ist, entscheidet der Anwalt mit eigenem Wissen.

Was das Berufsrecht verlangt

Die Bundesrechtsanwaltskammer hat Ende 2024 Hinweise zum Einsatz von KI in Kanzleien veröffentlicht. Sie bestätigen, was die Studien nahelegen: KI-Ergebnisse sind zu prüfen, weil die Systeme Inhalte erfinden oder verzerren können. Wer ein Ergebnis ungeprüft übernimmt, verletzt seine Sorgfaltspflicht und haftet für den Schaden. Daneben geht es um die Verschwiegenheit. Ein Vertrag, der in ein Werkzeug geladen wird, enthält in aller Regel Mandantengeheimnisse. Wo der Anbieter sitzt, was er mit den Daten macht und ob er sie zum Training nutzt, muss vor dem ersten Hochladen geklärt sein.

Die KI-Verordnung der EU kommt hinzu. Kanzleien gelten beim Einsatz solcher Werkzeuge als Betreiber und müssen seit Februar 2025 dafür sorgen, dass ihre Mitarbeiter ausreichend KI-Kompetenz haben. Für eine Kanzlei mit drei Anwälten und zwei Fachangestellten heißt das keine Schulungsabteilung, aber eine nachweisbare Einweisung: Was das Werkzeug kann, was es nicht kann und was nie hineingeladen wird.