„KI-Agenten brauchen Wartung wie Flugzeuge“

Alexander Waldmann, Vice President bei Applause, erläutert in diesem Interview, warum der zuverlässige Betrieb von KI-Agenten ein kontinuierlicher Prozess ist. Er erklärt, weshalb ein einmaliger Test vor dem Produktivstart nicht ausreicht, welche Risiken durch Model Drift entstehen und warum kontinuierliches Monitoring sowie Adversarial Testing zu den zentralen Bausteinen einer nachhaltigen Qualitätssicherung gehören.

Foto: Applause

KI-Agenten und Chatbots übernehmen zunehmend Aufgaben im Kundenservice. Unternehmen versprechen sich davon schnellere Abläufe, geringere Kosten und eine bessere Erreichbarkeit. Gleichzeitig wächst jedoch die Verantwortung, die Qualität und Zuverlässigkeit der Systeme dauerhaft sicherzustellen. Denn anders als klassische Software verändern sich generative KI-Anwendungen kontinuierlich – und damit auch ihre Ergebnisse. Im Interview mit it&t business spricht Alexander Waldmann, Vice President bei Applause, über die Risiken eines einmaligen Tests vor dem Produktivstart, die Bedeutung von kontinuierlicher Evaluation und Monitoring sowie darüber, warum Unternehmen ihre KI-Systeme regelmäßig gezielten Belastungsproben unterziehen sollten.

Herr Waldmann, immer mehr Unternehmen setzen im Kundenservice auf KI-Agenten und Chatbots. Gleichzeitig wächst die Sorge vor Halluzinationen, Fehlentscheidungen und Vertrauensverlust. Wie groß ist dieses Risiko aus Ihrer Sicht tatsächlich – und welche Fehler beobachten Sie in der Praxis am häufigsten?

Das Risiko ist immens, aber anders als viele glauben. Die bereits häufig diskutierten Halluzinationen, vor denen alle warnen, sind real, aber nicht das größte Problem.

Unterschätzt wird der schleichende Qualitätsverlust. Wir beobachten häufig, dass Chatbots zum Zeitpunkt des Release einwandfrei funktionieren, mit der Zeit jedoch zunehmend veraltete oder gar falsche Ergebnisse liefern.

Das bekommen allerdings die wenigsten Unternehmen mit, da für sie das Projekt beendet ist, sobald der Chatbot live gegangen ist. Eine kontinuierliche Prüfung findet nur in den seltensten Fällen statt. Das ist ein wenig so, als würden Fluggesellschaften ihre Flugzeuge vor dem ersten Start prüfen und dann nie wieder. Kein Mensch würde dort einsteigen.

Sie ziehen Parallelen zwischen der Luftfahrt und dem Einsatz von KI. Welche Sicherheits- und Qualitätsstandards aus der Luftfahrt lassen sich auf KI-Systeme übertragen und warum sollten Unternehmen diese Denkweise übernehmen?

Die Luftfahrt gilt gemeinhin als die sicherste Form des Massentransports. Das liegt daran, dass sie auf redundante Systeme, kontinuierliches Monitoring und strenge Zertifizierungszyklen setzt. Zudem wird jeder Zwischenfall ernst genommen, und es werden direkte Rückschlüsse für künftige Flüge gezogen.  Diese Sicherheitskultur ist bei KI-Systemen noch selten, lässt sich aber übertragen.

Das Prinzip der Redundanz besagt, dass KI-Agenten nie ohne menschliche Eskalationsmöglichkeit betrieben werden sollten.

Zweitens braucht es kontinuierliches Monitoring statt Stichproben. Drittens sollte es klare Verantwortlichkeiten geben – insbesondere dort, wo es um die Haftung von KI-Systemen geht. 

Viele Unternehmen testen ihre KI-Lösungen vor dem Go-live intensiv. Warum reicht ein einmaliger "Check-up" bei generativer KI nicht aus, und welche Rolle spielt dabei das Phänomen des Model Drift?

Generative KI ist probabilistisch, aber lebt, wie wir alle, in einer Welt, die sich ständig verändert. Das ist die Grundlage dafür, dass es einen Model Drift gibt. Was gestern noch funktioniert hat, kann heute überholt sein.

Insgesamt lässt sich zwischen drei Formen unterscheiden: Erstens gibt es den Input Drift, der auftritt, wenn Nutzer:innen andere Fragen stellen als die, auf welche das KI-System trainiert wurde. Unter Label Drift versteht man dagegen den Zustand, dass sich Definitionen verschieben. Das kann passieren, wenn sich Produkte weiterentwickeln oder neue Gesetze die Rahmenbedingungen ändern. Drittens gibt es den Concept Drift, der eintritt, wenn sich Markt- oder Nutzerverhalten grundlegend wandeln. Nur wer kontinuierlich die KI auf diese Phänomene testet, kann ihre Qualität langfristig sichern.  

Kontinuierliches Monitoring, regelmäßige Evaluation und Adversarial Testing verursachen zunächst zusätzlichen Aufwand. Wie lässt sich dieser Investitionsaufwand gegenüber dem Management rechtfertigen und welche messbaren wirtschaftlichen Vorteile ergeben sich daraus?

Die Frage dreht die Logik um. Der Rechtfertigungsdruck sollte entstehen, wenn Unternehmen ungetestete KI auf Kunden loslassen und nicht andersherum. Ein halluzinierender KI-Agent im Kundenservice kostet gleich mehrfach: er braucht länger und kann zu Reputationsschäden bis zum Kundenverlust führen.

Eine der wichtigsten KPIs  sollte die Deflection Rate sein, also der Anteil der Anfragen, die der Chatbot ohne menschliche Intervention erfolgreich löst.

In einer Studie von Applause gab fast die Hälfte der Unternehmen (46 Prozent) an, dass die menschliche Wahrnehmung und die Benutzerfreundlichkeit die wichtigsten Faktoren bei der Entscheidung sind, ob eine KI-Funktion produktionsreif ist – und damit weitaus mehr Gewicht haben als rein technische Maßstäbe. Nur wer kontinuierlich evaluiert und korrigiert, hält diese Rate stabil. Der Rest wird sich schnell genug mit den Folgen beschäftigen müssen.

Adversarial Testing ist außerhalb der KI-Community noch wenig bekannt. Was verbirgt sich dahinter und wie helfen gezielte Manipulationsversuche dabei, KI-Agenten widerstandsfähiger gegen Missbrauch und unerwartete Eingaben zu machen?

Unter Adversarial Testing bzw. Red Teaming versteht man den Versuch, das eigene Sicherheitssystem absichtlich zu umgehen. So sollen Schwachstellen gefunden werden, bevor es die Nutzer:innen tun. Dabei sollten Fragen gestellt werden, wie: Was passiert, wenn ein: Nutzer:in eine Erstattungspolitik erfindet, die es nicht gibt? Was, wenn jemand durch eine erfundene Geschichte versucht, an private Daten zu kommen? Ein KI-Agent, der nicht gegen solche Inputs gehärtet ist, kann halluzinieren und so falsche oder gar gefährliche Informationen mit den Nutzer:innen teilen. Für Unternehmen kann das sogar rechtliche Konsequenzen haben, wie ein aktuelles, noch nicht rechtskräftiges, Urteil des OLG Hamm zeigt.

Ein Chatbot einer Arztpraxis vergab Facharztbezeichnungen, die es nicht gibt. Das Gericht rechnete die Falschaussagen direkt den Ärzt:innen zu, da der Bot kein Dritter sei, sondern Teil der geschäftlichen Organisation.

Wer also seinen Agenten nicht vorher auf solche Szenarien testet, sieht sich im schlimmsten Fall vor Gericht mit ihnen konfrontiert. Mittlerweile lassen sich solche Prompts gut automatisieren, trotzdem bleiben menschliche Tester:innen unverzichtbar, weil sie auf kreative Eingaben kommen, gewisse Fachkenntnisse und Sicherheitsexpertise haben oder relevante demografische Merkmale besitzen.

Wenn Sie einem Unternehmen, das gerade KI-Agenten im Kundenservice einführt, drei Empfehlungen für einen sicheren und vertrauenswürdigen Betrieb mitgeben müssten – welche wären das und warum?

Erstens sollten Unternehmen ihre KI-Agenten kontinuierlich testen, um die Zuverlässigkeit fortlaufend zu erhöhen. Das bedeutet strukturierte Evaluation mit echten Nutzer:innen, klaren Bewertungsrastern und menschlichem Urteil. Zweitens sollten die Agenten kontinuierlich beobachtet werden. Dafür richtet man am besten ein Monitoring ein, welches nicht nur Uptime misst, sondern Qualitätsmetriken wie Deflection Rate, CSAT und Eskalationsraten. Wenn diese Zahlen sich verändern, ist das ein Signal, dass Handlungsbedarf besteht. Drittens:

Unternehmen sollten die Grenzen ihres KI-Agenten kennen, bevor andere sie herausfinden. Kaum etwas ist schädlicher für die Reputation als ein halluzinierender KI-Agent.

Damit das nicht passiert, sollten Verantwortliche auf Adversarial Testing setzen.

it&d business Redaktion