TÜV SÜD und QuantPi bündeln Kompetenzen für sichere KI

TÜV SÜD und QuantPi arbeiten künftig bei der Prüfung und Bewertung von KI-Systemen zusammen. Als weltweit erstes CARAT-Partnerlabor von TÜV SÜD bringt QuantPi seine Technologie für statistisch abgesicherte KI-Tests in die Kooperation ein. Gemeinsam schaffen die Unternehmen damit einen strukturierten Weg zu nachvollziehbaren Testnachweisen für die Konformitätsbewertung und Zertifizierung von KI-basierten Produkten – insbesondere im Bereich Physical AI und autonomer Maschinen.

Regulatorische Anforderungen treffen auf neue technologische Realität

Mit dem EU AI Act und der neuen Maschinenverordnung (EU) 2023/1230 steigen die Anforderungen an den Nachweis der Sicherheit KI-basierter Funktionen. Insbesondere wenn KI als Sicherheitskomponente eingesetzt wird oder Sicherheitsfunktionen übernimmt, müssen Hersteller nachweisen, dass die Systeme zuverlässig funktionieren. Für KI-Systeme in regulierten Produkten sieht der EU AI Act entsprechende Anforderungen an die Konformitätsbewertung vor.

Eine zentrale Herausforderung liegt dabei in der Erzeugung belastbarer und nachvollziehbarer Testnachweise. Für KI-basierte Systeme existieren bislang nur begrenzt etablierte Verfahren, die Testergebnisse mit statistischer Aussagekraft, reproduzierbarer Methodik und durchgängiger Nachvollziehbarkeit für eine Konformitätsbewertung nutzbar machen. Gleichzeitig werden internationale Standards für die Verbindung von künstlicher Intelligenz und funktionaler Sicherheit derzeit weiterentwickelt. Dazu gehört unter anderem die ISO/IEC-22440-Reihe, die sich mit Anforderungen und Leitlinien für KI in sicherheitsrelevanten Anwendungen befasst.

Statistische Nachweise statt reiner Benchmark-Werte

Hier setzt die Zusammenarbeit von QuantPi und TÜV SÜD an. Die QuantPi-Plattform ermöglicht es, das Verhalten von KI-Systemen mit statistischen Garantien und definierten Konfidenzgrenzen zu beschreiben. Dadurch entstehen quantifizierbare und reproduzierbare Aussagen über die Leistungsfähigkeit eines KI-Systems, die über klassische Benchmark-Ergebnisse oder qualitative Bewertungen hinausgehen.

Die Methode ist modellunabhängig und erfordert weder Zugriff auf die internen Modellparameter noch auf Trainingsdaten. QuantPi betreibt die Plattform unter einem Qualitätsmanagementsystem, das an ISO/IEC 17025:2017 ausgerichtet ist. Dadurch lassen sich sowohl die Prozesse als auch die erzeugten Ergebnisse nachvollziehen und auditieren. Die Kombination aus statistischer Aussagekraft und einem auditierbaren Prüfprozess schafft damit eine belastbare Grundlage für die Nutzung der Testergebnisse als Nachweis im Rahmen von Konformitätsbewertung und Zertifizierung.

„QuantPi hat die Fähigkeit unter Beweis gestellt, hochwertige und wissenschaftlich belastbare Ergebnisse für KI-Tests zu liefern. Damit ergänzt das Unternehmen unser KI-Test- und Zertifizierungsprogramm in idealer Weise“, sagt Benedikt Pulver, Head of Machine Safety bei TÜV SÜD. „Durch die Zusammenarbeit verbinden wir unsere jeweiligen Kompetenzen, um auch hochkomplexe KI-Systeme zu bewerten und unseren Kunden einen klaren Weg zu einer künftigen Zertifizierung und Konformitätsbewertung zu eröffnen.“

Philipp Adamidis, CEO und Co-Founder von QuantPi, ergänzt: „Unternehmen, die KI-basierte Produkte und Dienstleistungen für regulierte Märkte und sicherheitskritische Anwendungen entwickeln, stehen häufig vor derselben Herausforderung: Ihre Systeme funktionieren wie vorgesehen, doch es fehlen belastbare Nachweise, die den Anforderungen einer Zertifizierungsstelle entsprechen. Mit der formalen Anerkennung der von QuantPi erzeugten Nachweise durch eine für die Maschinenregulierung zuständige Benannte Stelle entsteht für Unternehmen ein klarer und praktikabler Weg, KI-Systeme systematisch zu testen und die Ergebnisse für die Konformitätsbewertung zu nutzen.“

Physical AI stellt KI-Sicherheit vor besondere Herausforderungen

Besonders relevant ist die neue Testmethodik für Physical AI, autonome Maschinen und Robotik. Humanoide Roboter, autonome mobile Roboter (AMR) und andere KI-basierte Maschinen bewegen sich in dynamischen Umgebungen und interagieren mit Menschen. Ihr möglicher Betriebsraum lässt sich nur begrenzt vollständig abbilden und testen.

Statistische Verfahren können hier eine wichtige Grundlage schaffen, um aus einer definierten Zahl von Tests belastbare Aussagen über das Verhalten eines Systems abzuleiten. Dies gewinnt mit der zunehmenden Verbreitung autonomer Systeme weiter an Bedeutung.

Parallel dazu entstehen neue internationale Ansätze, um künstliche Intelligenz und funktionale Sicherheit methodisch miteinander zu verbinden. Die derzeit in Entwicklung befindliche ISO/IEC-22440-Reihe adressiert unter anderem Anforderungen und Leitlinien für den Einsatz von KI in sicherheitsrelevanten Funktionen.

„Die Entwicklung hin zu Physical AI verändert die Anforderungen an Sicherheit grundlegend. KI-Systeme übernehmen zunehmend Aufgaben, die unmittelbar mit der physischen Welt verbunden sind“, sagt Benedikt Pulver. „Für Hersteller wird es deshalb entscheidend sein, Sicherheit messbar, nachvollziehbar und über den gesamten Bewertungsprozess hinweg belastbar nachweisen zu können.“

Gemeinsamer Rahmen für KI-Tests und Zertifizierung

Mit ihrer Zusammenarbeit bündeln QuantPi und TÜV SÜD ihre jeweiligen Kompetenzen zu einem umfassenden Rahmenwerk für die effiziente, robuste, transparente und nachvollziehbare Bewertung von KI-Systemen. Das Framework unterstützt sowohl die strukturierte Durchführung von KI-Tests als auch die Vorbereitung der Ergebnisse auf eine anschließende Konformitätsbewertung und Zertifizierung.

Der erste Schwerpunkt liegt auf Physical AI und regulierten industriellen Anwendungen. In diesem Bereich treffen die zunehmende Marktreife KI-basierter Produkte und Robotik auf besonders hohe Anforderungen an Sicherheit und Nachweisführung.

Die Zusammenarbeit ist zugleich in das wachsende internationale Ökosystem für Physical-AI-Sicherheit eingebettet. TÜV SÜD und QuantPi sind Mitglieder des NVIDIA Halos-Ökosystems. Halos ist eine umfassende Safety-Plattform für Physical AI und stellt mit dem AI Systems Inspection Lab ein ANAB-akkreditiertes Inspektionsprogramm für AI Functional Safety in Physical AI bereit. Das Ziel besteht darin, die Bewertung von Sicherheitssystemen zu strukturieren und den Weg zur Prüfung durch unabhängige Stellen zu ebnen.

Damit entsteht ein zunehmend geschlossenes Ökosystem: KI-Systeme werden entwickelt, systematisch getestet, ihre Ergebnisse statistisch abgesichert und für die anschließende unabhängige Bewertung vorbereitet.

Vertrauen in KI wird messbar

Mit dem zunehmenden Einsatz von KI verlagert sich die Frage nach Sicherheit und Vertrauen zunehmend in die technische Infrastruktur von Produkten. Für Hersteller wird es somit immer wichtiger, die Leistungsfähigkeit und das Verhalten ihrer KI-Systeme mit belastbaren Daten nachweisen zu können. TÜV SÜD und QuantPi schaffen hierfür einen konkreten Ansatz: KI-Sicherheit wird messbar, nachvollziehbar und somit für regulierte Märkte besser nutzbar. Dies kann insbesondere für europäische Hersteller von Bedeutung sein, die KI-basierte Produkte sicher, konform und skalierbar in internationale Märkte bringen wollen.

Über QuantPi

QuantPi validiert KI im Unternehmenseinsatz. Die QuantPi-Plattform zeigt Kunden, was ein KI-System tatsächlich tut, bei jedem Modell, jeder Modalität, agentisch oder physisch, und das ohne Zugriff auf Modellinterna oder Trainingsdaten. Zugleich beziffert QuantPi, wie belastbar das Ergebnis ist: statistische Konfidenzintervalle für jeden Messwert, erzeugt in der Umgebung des Kunden. QuantPi ist eine Ausgründung des CISPA Helmholtz-Zentrums für Informationssicherheit und von TÜV SÜD als Prüflabor für KI anerkannt. Das Unternehmen hat seinen Sitz in Saarbrücken. quantpi.com

Weitere Informationen:

• tuvsud.com/de-de/dienstleistungen/produktpruefung-und-produktzertifizierung/eu-ai-act 

• tuvsud.com/de-de/themen/kuenstliche-intelligenz 

Im Jahr 1866 als Dampfkesselrevisionsverein gegründet, ist TÜV SÜD heute ein weltweit tätiges Unternehmen. Mehr als 30.000 Mitarbeitende sorgen an über 1.000 Standorten in rund 50 Ländern für die Optimierung von Technik, Systemen und Know-how. Sie leisten einen wesentlichen Beitrag dazu, technische Innovationen wie Industrie 4.0, autonomes Fahren oder Erneuerbare Energien sicher und zuverlässig zu machen. tuvsud.com/de