Den AI Act einhalten – mit souveräner GenAI-Infrastruktur und klarer Governance
Der Betrieb von KI-Algorithmen setzt die Existenz einer entsprechenden KI-Betriebsumgebung voraus, die eine Überwachung der KI im Sinne des KI-Gesetzes der EU (AI Act) ermöglicht. Orange Business hat eine solche KI-Plattform vorgestellt, die den Spagat zwischen Innovation und Regulierung wagt.
Unternehmen stehen vor der entscheidenden Aufgabe, Künstliche Intelligenz nicht nur strategisch, sondern auch rechtskonform in ihre Prozesse zu integrieren. Gefragt sind keine abstrakten Prinzipien mehr, sondern konkrete Technologien, klare Prozesse und volle Kontrolle über Daten und Modelle. Doch wie lässt sich das praktisch umsetzen?
Mit der Integration von KI-Funktionen in Geschäftsprozesse steigen die Anforderungen an die Governance.
Mit dem EU AI Act hat die Europäische Union erstmals ein verbindliches Regelwerk für den Einsatz von KI geschaffen – vor allem für sogenannte Hochrisiko-Anwendungen wie beispielsweise im KRITIS-Bereich oder bei der biometrischen Identifikation im öffentlichen Raum. Neben Transparenz und Risikomanagement fordert der Gesetzgeber technische Absicherungen entlang der gesamten KI-Wertschöpfungskette. Hierfür werden IT-Infrastrukturen benötigt, die sicher, modular und flexibel sind.
Technologische Basis: Souveräne und leistungsstarke Infrastruktur
Gleichzeitig befindet sich KI an einem Wendepunkt: Unternehmen gehen zunehmend von Pilotprojekten zur Skalierung fertig entwickelter Produkte über. Damit steigen die Anforderungen – von der Kontrolle von „Shadow AI“-Anwendungen bis hin zur Erfüllung regulatorischer Auflagen.
Mit Live Intelligence bietet Orange Business eine modulare Plattform, die direkt hier startet und in europäischen Rechenzentren betrieben wird. Dieser ‚Sovereign by Design‘-Ansatz stellt beispielsweise sicher, dass Daten nicht zum Training der Modelle oder für Rechenleistung verwendet werden und in Europa bleiben – für maximale Souveränität und Compliance. Orange Business als Unternehmen orientiert sich zunehmend an einem Plattformmodell über die Bereiche Cloud-Services, Konnektivität und Cybersicherheit hinweg, mit dem Ziel, ein leistungsstarkes, integriertes Ökosystem von Lösungen zu schaffen.
Die Cloud-Services werden mit Hilfe von Lösungen von Nvidia für Unternehmens-KI ausgebaut. Die Nvidia-GPUs ermöglichen dabei eine effiziente Verarbeitung und das Training komplexer KI-Modelle, was die Performance und Skalierbarkeit der Plattform deutlich verbessert.
Was die Live-Intelligence-Plattform leistet
Die Live-Intelligence-Plattform bietet eine kuratierte Auswahl generativer Modelle für Text und Code – kombiniert mit Funktionen wie Monitoring, Zugriffskontrolle und einer Bibliothek von Agenten aus den unterschiedlichsten Unternehmensbereichen. Diese Lösung wurde ursprünglich im Rahmen einer großflächigen internen Implementierung in der Orange Group entwickelt und getestet, mit mehr als 80.000 Nutzern. Unternehmen können die Modelle einsetzen, die am besten zu ihrem Anwendungsfall passen – ob Open Source oder kommerziell lizenziert. Der Schwerpunkt liegt dabei insbesondere auf die Modelle europäischer Anbieter wie Mistral oder LightOn.
Zentrale Funktionen der Plattform beinhalten:
- Sichere Datenräume & Zugriffskontrolle: Daten bleiben vollständig privat. Keine Weitergabe an Dritte, keine externe Nutzung für das Training von Modellen.
- KI-Agenten: Mitarbeitende können eigene Agenten erstellen, indem sie gezielt passende Modelle auswählen – mit fein abgestuftem Akkreditierungs- und Rechte-Management.
- Governance für den Betrieb von KI-Agenten & Modellen: Verwaltung und Steuerung von Agenten im Unternehmensmaßstab innerhalb einer gesicherten Architektur. Schutzmechanismen erkennen und verhindern diskriminierende Inhalte. Damit wird die Einhaltung der Artikel 10 und 12 des AI Act gewährleistet.
- Maximierung der Nutzung & Lifecycle-Management: Um die Einführung zu fördern, können Unternehmen die Nutzung nach Bereich oder Anwendungsfall präzise überwachen, die beliebtesten Agenten visualisieren und nachvollziehen, wie Mitarbeitende GenAI im Alltag einsetzen. So lassen sich Investitionen gezielt auf die relevanten Use Cases ausrichten.
- CO₂-Berechnung: Live Intelligence ermöglicht es, den CO₂-Fußabdruck schon vor der Nutzung abzuschätzen und die Auswirkungen jeder einzelnen KI-Interaktion zu verfolgen. So werden Nutzerinnen und Nutzer motiviert, Modelle mit geringerer CO₂-Intensität einzusetzen – ein Beitrag zu nachhaltigeren digitalen Praktiken.
Mit dieser Architektur können Unternehmen KI produktiv einsetzen und eine hohe Nutzungsrate mit unmittelbaren Produktivitätsgewinnen sicherstellen, ohne Kompromisse bei Souveränität oder Sicherheit eingehen zu müssen.
Steuerung und Verantwortung: Governance als integraler Bestandteil
Technologie allein reicht nicht aus – auch regulatorische Prozesse wie Risikoanalysen, Dokumentationspflichten oder Feedback-Schleifen müssen technisch abbildbar sein. Wer nutzt welches Modell, wann, mit welchen Daten, für welche Entscheidung? Alle Schritte sind mittels Live Intelligence dokumentierbar und auditierbar.
Live Intelligence unterstützt die Prinzipien der „Frugal AI“: kleinere KI-Modelle, die kostensparend, energieeffizient und datenschutzfreundlich sind.
Ein Beispiel: Administratoren können die wichtigsten Nutzungsbereiche visualisieren – etwa Softwareentwicklung, Kundenservice, Vertrieb oder Marketing. Spezielle Dashboards ermöglichen es, die Nutzung umfassend zu steuern und nachzuverfolgen, um letztlich den Return on Investment zu bewerten und Investitionen entsprechend anzupassen. Zudem unterstützt die Plattform Prinzipien der sogenannten „Frugal AI“: Statt riesiger Universalmodelle kommen gezielt kleinere, effizientere Modelle zum Einsatz – kostensparend, energieeffizient und datenschutzfreundlich.
Um sicherzustellen, dass KI-Governance keine Belastung darstellt, sondern wirksam steuerbar bleibt, hat Orange Business eine zentrale „Responsible AI by Design Governance“ eingerichtet. Diese bewertet und klassifiziert neue KI-Projekte gemäß den Risikokategorien des EU AI Acts: unannehmbares, hohes, begrenztes oder minimales Risiko. Im Falle eines hohen Risikos wird ein KI-Komitee aus Expert:innen der Bereiche Recht, Data Science, Cybersicherheit, Ethik und CSR (Corporate Social Responsibility) einberufen, um den bestmöglichen Plan zur Risikominderung zu erarbeiten.
Von der Theorie zur Praxis
Dieser Governance-Ansatz und -Rahmen stützt sich auf einen verbindlichen AI-Code, der auf internationalen Standards, den Anforderungen des EU AI Acts sowie der KI-Ethik-Charta von Orange Business basiert. Diese umfasst unter anderem Transparenz, Erklärbarkeit und Datenmanagement. Alle Entscheidungen und Prozesse werden vollständig dokumentiert, um ein kontrolliertes und prüfsicheres Umfeld zu schaffen – auch für sensible Prozesse wie Personalentscheidungen, Risikobewertungen oder Kundenkommunikation.
Trusted AI ist heute mehr denn je ein wichtiges Ziel für die meisten Unternehmen – sie wollen zudem die Rahmenbedingungen für eine regelkonforme Nutzung von KI schaffen. Live Intelligence bietet eine konkrete, technisch umsetzbare Lösung für den Einsatz von Trusted und Responsible AI. In der Praxis zeigt sich das zum Beispiel bei der automatisierten Bewertung von Industrieanlagen. Hier analysiert KI Live-Videodaten über sichere 5G-Netze, erkennt Fehlerbilder und erstellt konforme Prüfberichte. Die Datenverarbeitung erfolgt lokal und geschützt – ideal für Industrieunternehmen mit hohen Anforderungen an Datensicherheit und Echtzeitfähigkeit.
Auch Aspekte wie Nachhaltigkeit werden berücksichtigt: Die Plattform setzt auf bedarfsgerechte Modelle, effizienten Ressourceneinsatz und skalierbare Infrastruktur. Gleichzeitig sorgen Governance-Funktionen dafür, dass diskriminierende KI-Ausgaben technisch verhindert werden.
