"Vertraue mir, ich bin ein Roboter! – Wie können wir der KI vertrauen, wenn wir nicht vollständig verstehen, wie und warum die Ergebnisse zustande kommen?"
Das Robotics Institute Germany (RIG) und SKIAS 2.0 (Sichere KI für Autonome Systeme) organisierten mit Unterstützung verschiedener Partner aus den Bereichen Robotik und autonome Systeme einen zweitägigen Workshop, der sich mit einer der zentralen Herausforderungen der heutigen KI-Forschung befasste: vertrauenswürdige KI. Der Workshop wurde vom DLR-Institut für Robotik und Mechatronik am 1. und 2. Dezember in Oberpfaffenhofen statt.
Von der Robotik über die Luftfahrt bis hin zur zivilen Sicherheit erreicht die Künstliche Intelligenz heute eine hohe Genauigkeit bei anspruchsvollen Aufgaben wie der Bildklassifizierung. Doch ihr Einsatz in sicherheitskritischen Umgebungen ist nach wie vor eingeschränkt. Die mangelnde Transparenz darüber, wie und warum KI-Systeme zu ihren Ergebnissen kommen, schränkt ihre Vertrauenswürdigkeit und letztlich ihre Anwendbarkeit in der realen Welt weiterhin ein.
Moderne KI-Systeme, die auf maschinellem Lernen beruhen, stützen sich auf riesige Datensätze, Rechenleistung und ausgeklügelte Optimierungsprozesse. Ihr internes Denken bleibt jedoch oft im Dunkeln – sie arbeiten als Black Boxen, in denen nur Inputs und Outputs beobachtbar sind. Um zu zertifizierbaren, zuverlässigen und autonomen Systemen zu gelangen, sind Interpretierbarkeit, Transparenz und eine strenge Quantifizierung der Unsicherheit unerlässlich.
Im Rahmen des Workshops untersuchten die Teilnehmer aus Forschung, Industrie und Start-up-Gemeinschaft, wie vertrauenswürdige KI gestärkt werden kann, welche Methoden zum Umgang mit Unsicherheiten derzeit in der Praxis angewandt werden und welche Tools und Frameworks noch benötigt werden, um einen sicheren Einsatz zu ermöglichen.
Ein zentraler Bestandteil der Veranstaltung war eine multidisziplinäre Podiumsdiskussion, die sich mit der Frage beschäftigte, ob – und unter welchen Bedingungen – Vertrauen in KI-Systeme sinnvoll aufgebaut werden kann, insbesondere wenn die zugrunde liegenden Entscheidungsprozesse nur teilweise verstanden werden.
Das Panel untersuchte vier miteinander verknüpfte Dimensionen:
1. Technische Perspektiven
Diskussionspunkte waren unter anderem Fehlerquoten, Methoden zur Unsicherheitsabschätzung, gemeinsame Autonomie und Sicherheitstechnik. Ein wiederkehrendes Thema war die Notwendigkeit für KI-Systeme, ihre eigene Unsicherheit zu erkennen und zu kommunizieren, um sogenanntes Overconfidence zu vermeiden und eine sichere Zusammenarbeit zwischen Mensch und Maschine zu unterstützen.
2. Industrielle Herausforderungen
Vertreter aus der Industrie betonten den Effizienzdruck, die Zertifizierungsanforderungen und den Bedarf an adaptiven Robotersystemen, die in großem Maßstab zuverlässig mit Unsicherheit umgehen können. Transparentes und vorhersehbares Verhalten bleibt eine Voraussetzung für den Einsatz von KI in komplexen Produktionsumgebungen. Um effizient zu sein, müssen Roboter in einem größeren politischen Kontext betrachtet werden.
3. Ethische und Psychologische Faktoren
In der Diskussion wurden Anthropomorphismus, das unheimliche Tal und die Rolle der Mensch-Roboter-Interaktion bei der Bildung von Vertrauen untersucht. Eine wichtige Erkenntnis: Vertrauen ist keine Eigenschaft der Technologie, sondern ein Beziehungskonstrukt, das durch Interaktion, Erwartungen und wahrgenommene Zuverlässigkeit entsteht.
4. Gesellschaftliche und Regulatorische Anforderungen
Die Teilnehmer sprachen über die Erwartungen an Transparenz und Erklärbarkeit sowie über die Herausforderung, einen Rechtsrahmen zu schaffen, der Sicherheit gewährleistet, ohne Innovationen zu behindern. Die Vorbereitung der Gesellschaft auf den Übergang zu zunehmend autonomen Systemen wurde als eine der wichtigsten Prioritäten genannt.
