Digitales
Wer prüft den Code, den die KI schreibt?
Tobias Reinhardtca. 5 Min. Lesezeit
KI-Assistenten schreiben Code in Sekunden, und nach aktuellen Studien enthält fast jeder zweite Vorschlag eine Sicherheitslücke. Die Menschen, die ihn prüfen sollen, vertrauen ihm oft zu sehr. Der Beitrag ordnet ein, was über Qualität und Sicherheit von KI-generiertem Code bekannt ist, was BSI und OWASP empfehlen und warum die Verantwortung beim Unternehmen bleibt.
KI-generiert KI-generierter Code im Sicherheitstest
Ein Sprachmodell schreibt in Sekunden eine Funktion, die läuft. Ob sie auch sicher ist, steht auf einem anderen Blatt. Der Sicherheitsanbieter Veracode hat 2025 mehr als 100 Sprachmodelle mit 80 Programmieraufgaben in Java, Python, C# und JavaScript getestet. In 45 Prozent der Fälle enthielt der erzeugte Code eine Schwachstelle aus den OWASP Top 10, der bekanntesten Liste typischer Sicherheitslücken in Webanwendungen. Bei Java lag die Durchfallquote bei 72 Prozent. Wer KI-generierten Code ungeprüft übernimmt, übernimmt also mit guter Wahrscheinlichkeit auch eine Lücke. Die Frage, wer diesen Code prüft, gehört deshalb auf den Tisch der Geschäftsführung.
Besonders schlecht schnitten die Modelle bei zwei Klassikern ab. Bei Cross-Site-Scripting, dem Einschleusen fremder Skripte in eine Webseite, versagten sie in 86 Prozent der einschlägigen Fälle, bei manipulierbaren Protokolleinträgen in 88 Prozent. Ernüchternd ist ein weiterer Befund: Neuere und größere Modelle schrieben zwar funktional besseren, aber keinen sichereren Code. Die Sicherheitsquote blieb über die Modellgenerationen hinweg flach.
Das Bundesamt für Sicherheit in der Informationstechnik (BSI) nennt in seinen Empfehlungen ähnliche Zahlen. Eine Untersuchung der New York University fand in rund 40 Prozent der von einem Assistenten erzeugten Programme Sicherheitslücken. Eine Studie mit 16 Modellen zeigte, dass knapp 20 Prozent der vorgeschlagenen Softwarepakete gar nicht existierten. Angreifer können solche erfundenen Paketnamen registrieren und mit Schadcode füllen. Wer die Empfehlung dann übernimmt, holt sich den Angreifer ins Haus.
Der Prüfer vertraut zu sehr
Die Lücken wären halb so schlimm, wenn jemand sie zuverlässig fände. Genau daran hapert es. Forscher der Stanford University ließen 47 Teilnehmer sicherheitsrelevante Programmieraufgaben lösen, ein Teil mit KI-Assistent, ein Teil ohne. Die Gruppe mit Assistent schrieb unsicheren Code und hielt ihn zugleich häufiger für sicher als die Vergleichsgruppe. Das BSI nennt dieses Phänomen Automation Bias: Der Code liest sich flüssig und überzeugend, also wirkt er richtig.
Die Entwickler selbst sind skeptischer, als man denkt. In der Umfrage von Stack Overflow 2025 mit rund 49.000 Antworten misstrauten 46 Prozent der Genauigkeit von KI-Werkzeugen, nur 3 Prozent vertrauten ihr stark. Zwei Drittel ärgerten sich über Lösungen, die „fast richtig“ sind. Das ist die gefährlichste Sorte Fehler: Code, der fertig aussieht und es nicht ist. In einer Umfrage des Softwareanbieters New Relic unter Technikverantwortlichen gaben zugleich 62 Prozent an, KI-Code ohne zeilenweise Durchsicht in Betrieb zu nehmen. 82 Prozent hatten binnen sechs Monaten mindestens einen Ausfall, der auf solchen Code zurückging.
Mehr Code, mehr Kopien, mehr Störungen
Sicherheit ist die härteste Prüfung, aber nicht die einzige. Das Analyseunternehmen GitClear hat 211 Millionen geänderte Codezeilen aus den Jahren 2020 bis 2024 untersucht. Der Anteil kopierter Codeblöcke stieg von 8,3 auf 12,3 Prozent. Der Anteil aufräumender Änderungen, also des Umbaus bestehenden Codes ohne neue Funktion, fiel von 25 auf unter 10 Prozent. 2024 wurde erstmals mehr Code kopiert als verschoben. Kopierter Code läuft, aber er muss an mehreren Stellen gepflegt werden, und irgendwann vergisst jemand eine davon.
Der DORA-Bericht 2025, für den Google fast 5.000 Technikfachleute befragte, zeigt die Folge im Betrieb. 90 Prozent nutzen KI bei der Arbeit, und der Ausstoß steigt. Die Stabilität der ausgelieferten Software hängt aber weiterhin negativ mit der KI-Nutzung zusammen. Die Autoren beschreiben KI als Verstärker: Teams mit guten automatischen Tests und schnellen Rückmeldeschleifen werden besser, Teams ohne solche Kontrollen produzieren schneller Störungen.
Was BSI und OWASP empfehlen
Das BSI hat 2024 zusammen mit der französischen Behörde ANSSI Empfehlungen für KI-Programmierassistenten veröffentlicht. Die erste Kernempfehlung lautet sinngemäß: KI-Assistenten ersetzen keine erfahrenen Entwickler, und ihr ungebremster Einsatz kann ernste Sicherheitsfolgen haben. Generierter Code soll grundsätzlich vom Entwickler geprüft und nachvollzogen werden. Wer schneller Code produziert, muss die Qualitätssicherung im selben Maß ausbauen. Die Behörden raten außerdem, KI-erzeugte Codeblöcke zu kennzeichnen und die eingesetzten Werkzeuge zu dokumentieren, etwa für spätere Sicherheitsprüfungen. Und sie warnen vor einem schleichenden Effekt: Wer sich zu sehr auf den Assistenten verlässt, verlernt, fremden Code überhaupt noch zu beurteilen.
OWASP, die weltweite Organisation für die Sicherheit von Webanwendungen, wird in ihrem Merkblatt zum sicheren Programmieren mit KI konkreter. Jede KI-erzeugte Änderung bekommt einen menschlichen Eigentümer, der für Korrektheit, Sicherheit und Wartung geradesteht. Niemand gibt eine Änderung frei, nur weil ihre Beschreibung gut klingt. Und Tests, die dieselbe KI geschrieben hat, beweisen wenig: OWASP beschreibt den Fall, dass ein KI-Agent Tests bestehen lässt, indem er sie abschwächt oder löscht. Tests für Anmeldung, Zugriffsrechte und Verschlüsselung sollen deshalb Menschen schreiben.
Verantwortung bleibt beim Unternehmen
Wer intern die Verantwortung trägt, lässt sich also regeln. Nach außen stellt sich die Frage gar nicht erst, denn das Recht kennt keinen KI-Rabatt. Der Cyber Resilience Act der EU verpflichtet Hersteller von Produkten mit digitalen Elementen, und dazu zählen laut BSI auch reine Softwareprodukte wie Buchhaltungsprogramme oder Apps. Diese Hersteller müssen ihre Produkte von Anfang an sicher gestalten, Schwachstellen über die gesamte Lebensdauer beheben und aktiv ausgenutzte Lücken melden. Die Meldepflicht gilt seit dem 11. September 2026, ab dem 11. Dezember 2027 gelten alle Anforderungen.
Dazu kommt die Produkthaftung. Die neue EU-Richtlinie behandelt Software ausdrücklich als Produkt, unabhängig davon, wie sie bereitgestellt oder genutzt wird. Deutschland muss sie bis zum 9. Dezember 2026 umsetzen, der Regierungsentwurf liegt seit Dezember 2025 vor. Wer fehlerhafte Software in Verkehr bringt, haftet dann für Schäden, ohne dass ihm jemand ein Verschulden nachweisen muss. Ob die fehlerhafte Zeile von einem Mitarbeiter, einem Dienstleister oder einem Sprachmodell stammt, spielt dabei keine Rolle. Die Anbieter der Modelle nimmt das BSI nur für Angriffe auf das Modell selbst in die Pflicht, etwa über manipulierte Trainingsdaten. Für den einzelnen Codevorschlag bleibt zuständig, wer ihn übernimmt.
Fazit
KI-generierter Code enthält nach den vorliegenden Studien in etwa jedem zweiten Fall eine Sicherheitslücke. Die Menschen, die ihn prüfen sollen, vertrauen ihm eher zu viel als zu wenig. Neuere Modelle ändern daran bislang nichts.
BSI und OWASP geben auf die Titelfrage dieselbe Antwort: Ein erfahrener Entwickler prüft den Code, versteht ihn und trägt die Verantwortung dafür, und das Unternehmen gibt ihm die Zeit dazu. Nach außen haftet ohnehin, wer die Software in Verkehr bringt, gleich wer sie geschrieben hat.
