Blog
Wer kontrolliert den KI-Entwickler? Unabhängige QA bei KI-Software
· 4 Min. Lesezeit
Dein Dienstleister präsentiert eine neue Anwendung. Sie wurde in einer Woche gebaut, sieht ordentlich aus, und der Entwickler sagt: „Getestet, alles funktioniert." Zwei Wochen nach dem Livegang zeigt sich, dass ein Rechnungsbetrag um Mitternacht auf den falschen Tag fällt und dass ein Kollege mehr sehen kann als vorgesehen.
Das ist nicht unbedingt Schlamperei. Es ist das, was passiert, wenn dieselbe Partei baut und bewertet. Bei Software, die mit KI erstellt wurde, gilt das besonders, weil der Entwickler rasend schnell arbeitet und sein eigenes Werk mit ebenso viel Überzeugung abnickt.
Der Entwickler, der sich selbst prüft
Ein KI-Tool, das Code schreibt, ist auch sehr gut darin, ein beruhigendes Fazit zu formulieren. „Die Tests sind erfolgreich" und „die Funktion funktioniert" kommen leicht aus einem solchen Tool, auch wenn nichts wirklich ausprobiert wurde. Das haben wir bei unserer eigenen Entwicklungsarbeit oft genug erlebt. Unsere Faustregel: Bitte nie um eine Bestätigung, bitte um ein gemessenes Ergebnis. Nicht „Funktioniert es?", sondern „Zeig mir, was du auf diesem Bildschirm siehst, wenn du dich als Planer anmeldest."
Dass mehr dahintersteckt als ein Gefühl, zeigt die Forschung. Veracode lässt KI-Modelle Programmieraufgaben ausführen und prüft, ob das Ergebnis sicher ist. In ihrem 2026 GenAI Code Security Report steht, dass die durchschnittliche Erfolgsquote bei der Sicherheit über alle Modelle hinweg bei 56 % liegt, kaum verändert gegenüber 55 % im ersten Bericht. Außerdem heißt es dort, dass etwa 44 % der Programmieraufgaben in den Tests eine riskante Schwachstelle ergaben. Die Modelle werden also zwar besser darin, Code zu schreiben, der läuft, aber nicht von selbst besser darin, Code zu schreiben, der sicher ist.
Auch die Forschung von DORA zu KI in Softwareteams weist in diese Richtung. Dort heißt es, dass 30 % der Entwickler wenig bis kein Vertrauen in KI-generierten Code haben. Dieselbe Seite stellt fest, dass ein stärkerer KI-Einsatz mit mehr Durchsatz und zugleich mehr Instabilität in der Softwareauslieferung einhergeht. Schneller bauen bedeutet also nicht automatisch weniger Fehler. Die Zeit, die du beim Schreiben gewinnst, kann bei der Kontrolle wieder verloren gehen. Wenn niemand kontrolliert, geht sie bei der ersten Störung verloren.
Was unabhängig hier bedeutet
Unabhängige QA ist kein großes Wort für große Organisationen. Es ist eine einzige, einfache Anforderung: Wer kontrolliert, hat kein Interesse an der Antwort „Es ist gut" und hat die Arbeit nicht selbst gemacht. Das kann ein Kollege sein, der den Bau nicht übernommen hat. Es kann ein zweites KI-Modell sein, das mit einem anderen Auftragsrahmen kritisch mitliest. Es kann der Auftraggeber selbst sein, sofern er eine konkrete Prüfliste hat. Unsere Lehre aus der eigenen Praxis: Lass jemand anderen das Ergebnis ablehnen, bevor es als „fertig" gilt. Ein zweiter Blick erkennt, was der Entwickler selbst nicht mehr sieht.
Automatische Prüfungen gehören auf jeden Fall dazu, ersetzen das aber nicht. OutSystems hat zum Beispiel ein AI Mentor System, das laut Produktseite automatisch alle zwölf Stunden umfassende Code-Reviews zu Wartbarkeit, Sicherheit und Performance durchführt. Das ist nützlich: Es hilft, ungenutzten Code und andere problematische Muster zu finden. Aber ein solches Review betrachtet die Qualität des Baus. Ob deine Rechnungsregel stimmt, ob dein Planer die richtigen Dinge sieht und ob dein Kunde ein korrektes Zertifikat bekommt, ist eine andere Frage. Dafür brauchst du jemanden, der den Prozess kennt und ihn an den Geschäftsregeln misst.
Wo es in der Praxis schiefgeht
Aus unserer Entwicklungspraxis kehren immer wieder dieselben Arten von Fehlern zurück. Es sind keine spektakulären Fehler, aber genau die Art, die ein Entwickler übersieht, der seine eigene Arbeit prüft:
- Zeitzonen. „Heute" wird in manchen Systemen in einer anderen Zeitzone berechnet als bei dir vor Ort. Um Mitternacht liegst du dann einen Tag daneben.
- Reihenfolge. Eine Liste, die das günstigste Angebot zuerst zeigen soll, stimmt im Mockup, aber nicht in der App, weil die Sortierung nirgends in den Daten festgelegt ist.
- Rollen. Ein Bildschirm ohne klare Rolle wird zu einem vergessenen losen Ende. Rechte nachträglich einzurichten ist genau die Art von Arbeit, die unter den Tisch fällt.
- Fehlklicks. Ein Löschen-Button ohne Bestätigungsschritt funktioniert, bis ihn jemand während einer Demo drückt.
- Veralten. Demodaten, die an „heute" hängen, sind eine Woche später leer, ausgerechnet im Kundengespräch.
- Aufgestaute Warnungen. Bau- und Validierungswarnungen, die sich anhäufen, machen einen neuen, echten Fehler unsichtbar.
Ein Testbericht mit „alle Tests grün" sagt dir über keinen dieser Punkte etwas. Grüne Tests beweisen, dass die Funktion tut, was der Test verlangt, nicht dass der Mensch, der damit arbeitet, bekommt, was er braucht. Deshalb testen wir den Weg, den ein Mensch zurücklegt: Anmelden mit einer echten Rolle, die Aufgabe ausführen, schauen, was auf dem Bildschirm steht.
Bei einer Plattform wie der für MEA Beveiliging, auf der laut unserer Projektseite Händler ihre eigenen Installationen verwalten, SEPA-Flows automatisch laufen und Zertifikate sofort erzeugt werden, ist ein Fehler in der Logik kein kosmetisches Problem. Je mehr eine Anwendung selbstständig tut, desto mehr lohnt sich eine unabhängige Kontrolle. Das gilt für Apps, die mit KI-Hilfe gebaut wurden, ebenso wie für Apps, in denen KI-Agenten mitlaufen.
Was bedeutet das für dein Unternehmen?
Du musst keine Testabteilung gründen. Du musst aber vereinbaren, wer die Arbeit ablehnt, bevor sie live geht.
- Trenne Bauen und Bewerten. Frag deinen Dienstleister, wer die Auslieferung kontrolliert, wenn es nicht der Entwickler ist. Lautet die Antwort „der Entwickler selbst", dann bitte um ein zweites Paar Augen, von einem Kollegen, einem anderen Modell oder dir selbst.
- Schreib die Prüfliste vorab. Das Ziel in einem Satz, was niemals mit der Produktion geteilt wird und ob mit synthetischen oder echten Daten getestet wird. Ergänze die Rollen, die sich anmelden können müssen, und was jede davon sehen darf und was nicht. Das verhindert spätere Diskussionen.
- Verlange gemessene Ergebnisse. Akzeptiere kein „Es funktioniert", sondern einen Bericht: Was wurde getan, mit welcher Rolle, was war das Ergebnis? Ein Screenshot oder ein konkreter Beispieldurchlauf ist besser als eine Bestätigung.
- Teste den echten Weg, auch um Mitternacht. Geh den Prozess so durch, wie dein Mitarbeiter es tut, einschließlich der Grenzfälle: Datumsgrenzen, ein Mitarbeiter ohne Rechte, ein Fehlklick.
Möchtest du wissen, wie wir das angehen, oder eine Auslieferung von einem unabhängigen Blick prüfen lassen? Lies auch unseren Beitrag darüber, zuerst ein Mockup beurteilen zu lassen, und was du beim Bauen mit KI-Hilfe in OutSystems selbst in der Hand behältst. Oder nimm Kontakt mit uns auf für ein unverbindliches Gespräch.