Operator Monitoring – Automatisierte Zustandserfassung zur Optimierung des Zusammenspiels zwischen Mensch und technischem System

Wir entwickeln Technologien zum echtzeitfähigen Monitoring des Zustands von Menschen, die anspruchsvolle Funktionen, wie das Steuern von LKWs, Zügen oder das Fernlenken von automatisierten Fahrzeugen, ausüben. Durch die Fusion multimodaler Sensordaten – von Blickbewegungen über physiologische Signale bis hin zur Sprachmodulation – erkennen wir kritische Zustände wie Stress, Müdigkeit oder Ablenkung in Nahechtzeit. Unser Ziel sind menschzentrierte Assistenzsysteme, die genau dort unterstützen, wo der Mensch an seine Grenzen stößt, und die damit die Sicherheit im Verkehr wirksam erhöhen.

Was erforschen wir?

Am Institut für Verkehrssystemtechnik des Deutschen Zentrums für Luft- und Raumfahrt erforschen wir das Zusammenspiel von Menschen und technischen Systemen im Kontext des bodengebundenen Verkehrs und entwickeln Technologien zum echtzeitfähigen Operator-Monitoring. Dies bedeutet, dass wir aus verschiedenen Sensoren, die Daten von den OperateurInnen am Arbeitsplatz aufnehmen, eine Abschätzung des aktuellen Zustands bzw. der Leistungsfähigkeit bekommen. Wir entwickeln dabei insbesondere Methoden, die Daten aus verschiedenen Quellen zusammenführen und diese in Nahechtzeit interpretieren.

In unseren Projekten betrachten wir dabei verschiedene Arbeitsplätze, von Fernassistenzen für automatisierte Fahrzeuge bis zu Fahrerarbeitsplätzen in PKWs, LKWs oder Triebfahrzeugen. Unsere Methoden sind dabei modular aufgebaut, so dass sie entsprechend der Anforderungen der Arbeitsplätze konfiguriert werden können.

Unser modulares OMS-Setup für die Fernassistenz automatisierter Fahrzeuge: Echtzeit-Erkennung von Arbeitslast, Ablenkung und Müdigkeit, um den Operator proaktiv zu unterstützen.

Was kann man damit machen?

Verschiedene Studien legen nahe, dass der Human Factor (Mit-)Ursache bei 90% der kritischen Ereignisse ist. Dies resultiert häufig aus dem komplexen Zusammenspiel von Menschen und (teil-)automatisierten Systemen, die von Menschen einen hohen Grad an Aufmerksamkeit über lange Zeiten bei dynamisch wechselnden Aufgabenanforderungen erfordern. Stressige Phasen, in denen unter Zeitdruck auf Basis von Expertise und implizitem Wissen Entscheidungen getroffen werden müssen, wechseln sich mit Perioden, in denen wenig passiert und der Mensch die Aufgabe der Systemüberwachung hat, ab.

Einerseits führt dies bei den OperateurInnen zu unterschiedlichen Beanspruchungen, die mentale Arbeitslast, Stress oder Langeweile auslösen und die Qualität der Arbeit beeinflussen. Anderseits können Zustände, die nicht direkt durch die Aufgabe ausgelöst worden sind, wie etwa Müdigkeit, Emotionen oder Ablenkung, ebenso auf die Aufgabenbearbeitung wirken.

Wenn man nun diese Zustände erkennen und antizipieren kann, wann sie für die Aufgabenbearbeitung kritisch werden, können Assistenzfunktionen die OperateurInnen bei der Arbeit unterstützen, in dem sie Warnungen ausgeben, Aufgaben übernehmen oder neu verteilen.

Wie funktioniert das?

Abhängig vom zu erfassenden Zustand betrachtet man unterschiedliche Indikatoren. Während für visuelle Ablenkung primär die Blick- oder Kopfrichtung der OperateurInnen relevant ist, spielen bei Stress oder Emotionen weitere Signale wie das physiologische Arousal, die Stimmmodulation, Mimik oder die Körperhaltung eine Rolle für die Interpretation. Deshalb wählen wir zur Erfassung einen multimodalen Ansatz, der die Erhebung verschiedener Indikatoren ermöglicht.

Wichtig dabei ist immer, dass die genutzten Sensoren nicht aufgaben-invasiv sind, d.h. die OperateurInnen nicht in der Bearbeitung ihrer Aufgabe stören. Die Daten werden in Nahechtzeit verarbeitet und über wissens- oder KI-basierte Methoden integriert, um eine Interpretation des Zustands zu erhalten und kritische Zustände zu identifizieren. Assistenzfunktionen können so direkt reagieren und die Menschen in der Arbeit unterstützen.

Die von uns erforschten Methoden basieren dabei auf unterschiedlichen Daten und Sensoren, wie Kameras zur Erfassung von Kopf- oder Augenbewegungen, der Körperhaltung und Mimik der OperateurInnen, tragbare oder in den Arbeitsplatz integrierte Messfühler zur Erfassung physiologischer Daten, wie Herzrate, Herzratenvariabilität, Hautleitwert oder Atemfrequenz, sowie Mikrophone zur Interpretation von Sprachinhalt oder -modulation. Je nach Arbeitsplatz und zu erkennendem Zustand, wird das Set-up ausgewählt.

Wichtig für uns ist, dass wir nicht nur das technisch Mögliche erforschen, sondern Lösungen entwickeln möchten, die einen Mehrwert für den jeweiligen Arbeitsplatz schaffen und dabei menschzentriert auch die Bedarfe der OperateurInnen miteinbeziehen.

Konnten wir Ihr Interesse für unsere Forschungsarbeiten wecken? Möchten Sie mit uns gemeinsam das Zusammenspiel von Menschen und Maschine für einen bestimmten Arbeitsplatz untersuchen? Kontaktieren Sie uns gerne!

Publikationen zum Thema Operator Monitoring:

Kontakt

Dr. Caroline Schießl

Abteilungsleiterin
Deutsches Zentrum für Luft- und Raumfahrt (DLR)
Institut für Verkehrssystemtechnik
Informationssysteme und Mobilitätsdienste
Lilienthalplatz 7, 38108 Braunschweig