Blog
Human in the Loop: warum jede KI-Automatisierung einen Kontrollpunkt braucht
· 4 Min. Lesezeit
Ein KI-Agent liest eingehende Anfragen, füllt das richtige Formular aus und erstellt sofort einen Antwortentwurf. Eine Angebotsanfrage, eine Bewerbung, ein Antrag auf Rückerstattung. Am Anfang spart das spürbar Zeit. Ein halbes Jahr später stellt sich heraus, dass der Agent bei einer bestimmten Art von Anfrage systematisch dieselbe Einschätzung getroffen hat, und niemand hat es bemerkt, weil niemand mehr wirklich hingeschaut hat. Der Agent funktionierte, nur nicht so wie gedacht.
Das ist das Problem mit „es funktioniert": Ein KI-System, das reibungslos läuft, beweist nicht, dass es die richtige Entscheidung trifft. Ohne Kontrollpunkt bemerkst du einen systematischen Fehler erst, wenn der Schaden schon entstanden ist. Mit einem Kontrollpunkt bemerkst du ihn bei der ersten Abweichung.
Bestätigen ist keine Aufsicht
Viele Unternehmen bauen zwar einen menschlichen Schritt ein, aber dieser Schritt ist oft ein Button mit der Aufschrift „OK", während der Mensch die zugrunde liegenden Daten nie zu sehen bekommt. Das nennt man Automation Bias: die Neigung, KI-Ergebnisse zu akzeptieren, weil das System meistens recht hat. Der EU AI Act nennt das ausdrücklich als Risiko, dem Personen, die KI-Systeme beaufsichtigen, gewachsen sein müssen. Artikel 14 des Gesetzes legt fest, dass Menschen, die ein KI-System beaufsichtigen, in der Lage sein müssen, die Fähigkeiten und Grenzen des Systems zu verstehen, seinen Betrieb auf Unregelmäßigkeiten zu überwachen und das Ergebnis zu ignorieren, rückgängig zu machen oder das System anzuhalten, wenn das nötig ist. Das ist eine grundlegend andere Rolle, als auf einen Button zu klicken, den dir die KI vorlegt, wie im offiziellen Text von Artikel 14 nachzulesen ist.
Dieser Artikel gilt verpflichtend für KI-Systeme, die als Hochrisiko eingestuft sind. Denk an Systeme, die Bewerber auswählen oder bewerten, die über Beförderung oder Kündigung entscheiden, die die Kreditwürdigkeit einer Person einschätzen oder die den Preis einer Lebens- oder Krankenversicherung bestimmen. Die genaue Beschreibung steht in Anhang III des AI Act. Erkennst du eine dieser Anwendungen in deinem eigenen KI-Einsatz wieder, dann ist ein Kontrollpunkt keine unverbindliche Empfehlung mehr, sondern eine gesetzliche Anforderung. Setzt du KI für etwas anderes ein, etwa für Kundenkommunikation oder interne Prozessautomatisierung, dann gilt diese Pflicht nicht automatisch, aber das zugrunde liegende Problem ist identisch: ein System, das Fehler macht, ohne dass es jemand bemerkt.
Ein Kontrollpunkt ist mehr als ein Freigabe-Button
Ein Kontrollpunkt, der wirklich etwas bringt, tut drei Dinge, die ein Freigabe-Button nicht tut.
Erstens verlangt er ein gemessenes Ergebnis, keine Bestätigung. KI-Tools bestätigen leicht, dass etwas funktioniert, ohne es tatsächlich geprüft zu haben: Ein Agent, der sagt, eine Anfrage sei „korrekt verarbeitet", hat das selbst beurteilt, mit denselben Annahmen, die zum Fehler geführt haben, falls es einen gab. Frag stattdessen nach einem konkreten Ergebnis, das du selbst nachrechnen kannst: welcher Betrag, welches Datum, welcher Ablehnungsgrund, und prüfe das stichprobenartig gegen die Quelldaten.
Zweitens gibt er dem Prüfer echten Einblick, nicht nur das Fazit. Wer nur „freigeben oder ablehnen" sieht, kann nicht mehr beurteilen, als der Agent selbst schon getan hat. Wer die zugrunde liegenden Daten sieht, auf denen die Entscheidung beruht, kann eine Abweichung erkennen, die der Agent selbst nicht als Abweichung erkennt.
Drittens bekommt eine unumkehrbare Aktion immer einen eigenen Bestätigungsschritt, getrennt vom Rest des Prozesses. Geld zurücküberweisen, ein Konto löschen, ein Zertifikat endgültig ausstellen: Solche Aktionen verdienen einen ausdrücklichen Stopp, gerade weil sich ein Fehlklick oder eine falsche Einschätzung dort nicht mehr beheben lässt. Dieses Prinzip gilt für Menschen genauso wie für KI-Agenten, aber bei einem KI-Agenten, der in Sekunden Hunderte Fälle abwickelt, ist das Ausmaß eines Fehlers sofort größer.
Wer das in der Praxis baut, merkt auch, dass die Bewertung des Ergebnisses ein eigener Schritt sein muss, ausgeführt von jemand anderem als der Person, die das System aufgesetzt hat. Ein zweiter Blick erkennt oft, was der Entwickler selbst nicht mehr sieht, gerade weil er inzwischen weiß, was gemeint war, und unbewusst nach Bestätigung statt nach Abweichung sucht.
Wo du den Kontrollpunkt setzt
Nicht jeder Schritt in einem automatisierten Prozess braucht gleich viel Aufsicht. Ein Agent, der eine E-Mail als „Rechnung" oder „Beschwerde" einordnet, richtet wenig Schaden an, wenn er sich irrt: Jemand bemerkt es beim nächsten Schritt schon. Ein Agent, der anschließend selbstständig eine Rückerstattung ausführt oder einen Bewerber ablehnt, dagegen schon. Die entscheidende Frage lautet nicht „Macht die KI das gut genug?", sondern „Was passiert, wenn das einmal schiefgeht, und wer bemerkt es dann?". Setz den Kontrollpunkt dort, wo die Antwort auf die zweite Frage „niemand, bis es zu spät ist" lautet.
Was bedeutet das für dein Unternehmen?
Vier Schritte für den Anfang.
Ermittle zuerst, welche Schritte in deinen KI-automatisierten Prozessen unumkehrbar sind oder außerhalb deiner Organisation Wirkung haben, etwa eine Ablehnung, eine Zahlung oder ein Zertifikat. Dorthin gehört ein ausdrücklicher Kontrollpunkt, der Rest kann leichter ausfallen.
Zeig dem Menschen, der kontrolliert, immer die Quelldaten, nicht nur das Fazit der KI. Ein „OK"-Button ohne zugrunde liegende Informationen ist keine Kontrolle, sondern eine Unterschrift unter das Urteil eines anderen.
Verlange konsequent ein messbares Ergebnis statt einer Bestätigung und prüfe es stichprobenartig. So entdeckst du eine systematische Abweichung bei der zehnten Anfrage, nicht bei der tausendsten.
Prüfe, ob eine deiner KI-Anwendungen unter die Hochrisikokategorien des AI Act fällt, etwa Personalgewinnung, Mitarbeiterbewertung oder Kreditprüfung. Falls ja, ist ein Kontrollpunkt nach Artikel 14 eine Pflicht, keine Wahl.
Möchtest du wissen, wo in deinen eigenen Prozessen der Kontrollpunkt hingehört, oder wie du KI-Agenten so einrichtest, dass Mensch und System sich gegenseitig stärken, statt dass einer blind dem anderen vertraut? Nimm Kontakt mit uns auf, wir denken gerne mit, auf Basis dessen, was wir selbst gebaut haben.