ReliableAI

Im Rahmen des Projekts ReliableAI (Reliable Artificial Intelligence) wird eine Safety-by-Design-Methodik konzipiert, die eine korrekte und zuverlässige Entwicklung KI-basierter Perzeptionskomponenten sicherstellt. Ein wichtiger Bestandteil dieser Methodik ist die Erstellung eines Referenzdatensatzes, der ein möglichst großes Spektrum an sicherheitskritischen Szenarien abdeckt und eine stringente Sicherheitsargumentation ermöglicht. Um eine Anpassung an die sich ändernde Umwelt zu ermöglichen, wird zudem ein kontinuierlicher KI-Updateprozess entwickelt, mit dem bei gleichbleibender Zuverlässigkeit die Änderung der KI-Funktion abgebildet wird. Ausgelöst wird der Updateprozess hierbei durch die Quantifizierung der Unsicherheiten der Perzeptionsfunktion mittels eines Monitoring-Tools.

Um ein maßgeschneidertes Deployment auf der Zielhardware zu ermöglichen, wird die Methodik zur Nutzung unter Hardwarerestriktionen weiter ausgearbeitet. Zu diesem Zweck wird eine Toolbox entwickelt, die Optimierungstechniken für eine KI-Funktion in Bezug auf Rechenleistung und Speicherplatz bietet. Eine systematische Analyse der Angriffssicherheit auf die Betriebssicherheit des KI-Systems soll schließlich Safety und Security zusammenführen. Wesentliche Beiträge sind hier die Bewertung von Sicherheitsaspekten und -Risiken beim Einsatz hardwarenaher KI, Methoden zum Schutz gegen Angriffe sowie die Übertragbarkeit von Sicherheitsgarantien auf komprimierte Modelle.

Beitrag des Instituts für KI-Sicherheit

Neben der Gesamtkoordination entwickelt das Institut für KI-Sicherheit im Rahmen einer Safety-by-Design-Methodik eine stringente Argumentation bezüglich der Sicherheit des Systems. Diese gewährleistet die Sicherheit der KI-basierten Perzeptionsfunktion vom Entwurf über den gesamten Lebenszyklus hinweg.
Ein weiterer Schwerpunkt ist die Etablierung eines KI-Updates, das die Anpassungsfähigkeit des Systems an eine sich kontinuierlich verändernde Umwelt sichert, ohne dass dabei die Zuverlässigkeit beeinträchtigt wird. Dazu müssen verschiedene Perzeptionsfunktionen erforscht werden, um Strukturen auf der Architekturebene auszumachen, die für die Entwicklung eines solchen Updates entscheidend sind, ohne dass es zu einem Performanzverlust kommt.
Um die korrekte Funktion der KI-Perzeption sicherzustellen und auf Änderungen der Umgebungsbedingungen zu reagieren, wird zudem ein KI-Monitoring-Tool entwickelt. Dieses Tool evaluiert die Unsicherheiten des Perzeptionsmodells während der Anwendung und löst bei Bedarf, basierend auf menschlich annotierten Ground-Truth-Daten, den Update-Prozess aus. Das Tool nutzt außerdem Methoden zur Erklärbarkeit. Dadurch sind die getroffenen Vorhersagen leichter nachvollziehbar und es können Rückschlüsse in Bezug auf die Sicherheit des Gesamtsystems gezogen werden. Dadurch wird das Vertrauen in die KI gestärkt und eine Grundlage für die nächsten Entwicklungsschritte geschaffen.