Safe AI Engineering

Vertrauensvolle Autonomie: Neue Wege der KI-Sicherheit im Fahrzeugverkehr
Die Entwicklung automatisierter Fahrfunktionen stellt Forschung und Industrie vor komplexe Herausforderungen. Während der Fortschritt in der Künstlichen Intelligenz (KI) neue Möglichkeiten eröffnet, wachsen gleichzeitig die Anforderungen an Sicherheit und Zuverlässigkeit. Genau hier setzt das Verbundprojekt Safe AI Engineering an: Ein ambitioniertes Forschungsvorhaben, das die Sicherheit KI-basierter Mobilitätslösungen grundlegend verbessern will.
An dem Projekt beteiligen sich 24 Akteure aus Wissenschaft und Wirtschaft, darunter namhafte Automobilhersteller, Zulieferer, Forschungseinrichtungen, Universitäten und Technologieunternehmen. Ziel ist die Entwicklung einer ganzheitlichen KI-Engineering-Methodik, die den gesamten Lebenszyklus von KI-Funktionen im automatisierten Fahren umfassend absichert – von der initialen Konzeption über Entwicklung und Testing bis hin zum laufenden Monitoring und kontinuierlicher Verbesserung.
Ein zentrales Innovationsfeld ist die Vereinheitlichung von Trainings- und Validierungsdaten. Die Projektbeteiligten arbeiten daran, Datenbestände so zu strukturieren, dass sie unabhängig vom ursprünglichen System verwendbar werden. Dies ermöglicht eine nachhaltigere und kostengünstigere Datennutzung. Gleichzeitig entwickeln die Forschenden erklärbare und robuste Absicherungsmethoden, die die Leistungsfähigkeit von KI-Systemen transparent und nachvollziehbar machen.
Die praktische Erprobung erfolgt am Beispiel einer KI-Perzeptionsfunktion zur Fußgängererkennung. In drei aufeinander aufbauenden Anwendungsfällen – von statischen Szenarien bis zu komplexen dynamischen Verkehrssituationen – werden die entwickelten Methoden systematisch getestet und validiert. Dabei greifen die Wissenschaftler auf internationale Sicherheitsstandards wie ISO 26262, SOTIF und ISO/PAS 8800 zurück und integrieren diese in einen ganzheitlichen Ansatz.
Gefördert vom Bundesministerium für Wirtschaft und Energie (BMWE) verfolgt Safe AI Engineering das übergeordnete Ziel, einen neuen Standard für die Absicherung KI-basierter Fahrzeugfunktionen zu etablieren. Die Ergebnisse sollen nicht nur Entwicklern und Herstellern helfen, sondern auch Behörden bei Zulassungsprozessen unterstützen. Langfristig geht es darum, die Akzeptanz und das Vertrauen in automatisierte Mobilitätslösungen zu stärken.
Die Koordination des Projekts liegt in den Händen von Dr. Ulrich Wurstbauer von DXC Luxoft und Prof. Dr. Frank Köster vom DLR-Institut für KI-Sicherheit. Die Arbeiten am Institut für KI-Sicherheit sind in der Abteilung AI Engineering unter der Leitung von Dr. Sven Hallerbach angesiedelt. Mit einer Laufzeit von drei Jahren und einem Gesamtbudget von 34,5 Millionen Euro – davon 17,2 Millionen Euro Fördervolumen – leistet Safe AI Engineering einen entscheidenden Beitrag zur Zukunft sicherer und intelligenter Mobilität.
Weitere Informationen: www.safe-ai-engineering.de
Beitrag Institut für KI-Sicherheit
Neben der Gesamtkoordination mit Luxoft übernimmt das Institut für KI-Sicherheit eine zentrale Rolle in der Orchestrierung des Projekts und bringt sich aktiv in die Weiterentwicklung der grundlegenden KI-Engineering-Methodik, die Definition der Anwendungsfälle sowie deren Umsetzung über den gesamten Lebenszyklus einer KI-Komponente ein.
Ein weiterer Schwerpunkt liegt auf der Normalisierung von Daten und der Bewertung der zugehörigen Informationsqualität, wobei insbesondere die Domänenadaption und -transformation im Fokus stehen.
Darüber hinaus erarbeitet das Institut Methoden für das KI-Monitoring, insbesondere zur Überwachung erklärbarer Unsicherheitsabschätzungen sowie zur Durchführung von Risikobewertungen auf Basis von Unsicherheitsquantifizierungen.

(c) BMWE