Private KI-Cloud: Innovation in der Compliance-Zone

Dennis Geisse, AI Enterprise Architect bei HPE, erläutert in seinem Gastbeitrag, wie Private KI-Clouds Finanzdienstleistern ermöglichen können, KI-Anwendungen unter eigener Kontrolle zu betreiben und zugleich regulatorische Anforderungen zu erfüllen. Er beschreibt, warum die Wahl der KI-Architektur den Spagat zwischen Innovationsgeschwindigkeit und Compliance entschärfen kann und welche Auswirkungen dies auf die Wirtschaftlichkeit von KI-Systemen hat.

Anna Gründler (deepset), Dennis Geisse (HPE) und Robert Friedrich (NVIDIA) auf der Konferenz Rise of AI. (Foto: Rise of AI, Dominik Tryba)

Eine Bank will ihren Kreditprozess beschleunigen. Eine KI-Anwendung soll Bilanzen lesen, Risikodaten verknüpfen, regulatorische Vorgaben prüfen und Entscheidungsvorlagen schreiben. Schritte, die heute Stunden kosten, sollen künftig Sekunden dauern.

Aber im Pilotbetrieb bleibt das Projekt stecken. Die Revision verlangt lückenlose Auditierbarkeit über den gesamten Lebenszyklus. Die Compliance fragt nach Konzentrationsrisiken in der Kette der KI-Drittanbieter. Das Risikocontrolling will wissen, wie sich das Halluzinations-Klumpenrisiko eindämmen lässt, wenn mehrere KI-Agenten aufeinander aufbauen.

Wo Gewinnpotenzial auf Regulierung trifft

Die Spannung betrifft den ganzen Sektor. BCG sieht allein im Retail-Banking 370 Milliarden US-Dollar zusätzliches jährliches Gewinnpotenzial durch KI. Aber jede KI-Anwendung trifft auf einen Regulierungsrahmen, der enger wird. Die BaFin hat im Dezember 2025 klargestellt: KI-Systeme zählen als reguläre IKT-Assets und gehören in den Risikomanagement-Rahmen unter DORA, mit lückenloser Überwachung vom Datenbezug bis zur Stilllegung. Da DORA unmittelbar geltendes EU-Recht ist, gilt dieselbe Logik für Institute unter Aufsicht von FMA und OeNB. Zudem stuft der AI Act Anwendungen wie Kredit-Scoring und Bonitätsbewertung als Hochrisiko ein.

Dazu kommt das Lieferantenrisiko. Wie konkret dieses ist, wurde klar, als Anthropic im Juni 2026 zwei seiner stärksten Modelle weltweit sperrte.

Ein Mittelweg zwischen Public Cloud und Selbstbau

Wer den KI-Stack selbst baut, gewinnt Kontrolle, zahlt aber mit Komplexität, Personalbedarf und Zeit. Auf der Rise of AI Conference Anfang Mai in Berlin haben wir gemeinsam mit deepset und NVIDIA eine private KI-Cloud-Plattform demonstriert, die genau hier ansetzt. Private Cloud heißt: Sie lässt sich wie eine Cloud bedienen, läuft aber im eigenen Rechenzentrum.

Sie ist hochgradig integriert und wird vorkonfiguriert geliefert, was bedeutet: Wer maximale Freiheit bei der Hardware-Konfiguration sucht, findet sie hier nicht. Dafür kommt man in Wochen statt in Monaten oder Jahren zu einem auditierbaren Betrieb. Und, entscheidend ist: Sie ist als offene Basis konzipiert. Modelle und Anwendungen lassen sich austauschen, ohne die Plattform anzufassen.

Vorkonfigurierte Basis mit offenen Schnittstellen

Wir haben die Plattform mit dem Namen HPE Private Cloud AI zusammen mit NVIDIA entwickelt. Sie bündelt Rechenleistung, Speicher, Inferenz-Software und vorgefertigte Anwendungs-Blueprints in einer betriebsbereiten Umgebung. Für die spezifischen Anforderungen lassen sich spezialisierte Komponenten aufsetzen.

Im konkreten Fall übernimmt deepset Haystack die Orchestrierung der Agenten mit feingranularen Rechten und Audit-Trail. QuantPi testet das Verhalten der Agenten, überwacht es im Betrieb und zeigt früh, wenn sich Fehler in einer Kette aufschaukeln. Der Security Layer der SINA Cloud von secunet schließlich sorgt für die Trennung der Mandanten auf Hardware-Ebene.

Wie das konkret aussieht, zeigt der Entscheidungsassistent AIDA (Artificial Intelligence Decision Agents). Er besteht aus spezialisierten Agenten, die in Haystack orchestriert werden und auf lokal laufende Modelle zugreifen. Über eine einfache Oberfläche führt das System einen Kreditanalysten in Sekunden durch Bilanzen, interne Risikodaten und regulatorische Vorgaben.

Tokenomics in der Praxis

Bleibt die Wirtschaftlichkeit. In meinem eigenen Unternehmen, HPE, betreiben wir ein agentenbasiertes Kundensupport-System. Es lief zunächst in der Public Cloud. Das Problem dabei: die Token-Kosten stiegen in einem nicht akzeptablen Ausmaß. Denn Agenten verbrauchen mit jeder Beobachtung, Schlussfolgerung und Handlung Token. Wir haben das System auf die private KI-Cloud-Plattform verlagert und damit die Kosten um den Faktor 30 gesenkt – eine Einsparung von rund 100.000 US-Dollar pro Monat. Gleichzeitig bleiben Kundendaten unter unserer Kontrolle, und die Antwortzeiten verbesserten sich.

Wir hörten damit auf, KI-Konsumenten zu sein, und begannen, selbst Produzenten von Intelligenz zu werden. An diesem Punkt verschwindet der eingangs beschriebene Spagat. Souveränität, Auditierbarkeit, Wirtschaftlichkeit und bessere Kundenerfahrung sind keine konkurrierenden Ziele mehr. Sie ergeben sich aus derselben Architekturentscheidung.

Gastkommentar von Dennis Geisse