Gruppe Schwarmexploration

Holodeck
Credit:
DLR / Enno Kapitza
Download Download

Die Gruppe Schwarmexploration setzt sich intensiv mit der Entwicklung und Erprobung von autonomen Explorationsalgorithmen für Schwärme von mehreren Robotern auseinander. Ziel der Arbeiten ist insbesondere die effiziente und kooperative Erfassung umliegender Gebiete ohne direkte menschliche Interaktion.

Die Arbeiten der Gruppe konzentrieren sich primär auf die folgenden Herausforderungen:

die Entwicklung von neuen Algorithmen und Methoden zur Schwarmexploration und
die Erprobung dieser Algorithmen unter realistischen Bedingungen mit vorhandenen robotischen Systemen.

Die Algorithmen zur Schwarmexploration beruhen auf modernen Methoden der Signalverarbeitung, Schätztheorie, und maschinellen Lernverfahren über Netzwerke. Ziel der Arbeiten ist die Beantwortung unter anderem der folgenden Fragen:

Wo sollen die Schwarmelemente ihre Messungen durchführen?
Wie sollen die gesammelten Daten verarbeitet werden, um kooperativ eine Darstellung der Umgebung zu erschaffen oder zu verbessern?
Wie sollen die Trajektorien von Robotern geplant werden, um ein definiertes Ziel zu erreichen?

Für die Validierung der entwickelten Algorithmen wird eine breite Palette von Laborausrüstung genutzt. So steht für Indoor-Experimente unser „Holodeck“ zur Verfügung, das dank eines Vicon®-Tracking-System ein sehr genaues Lokalisieren von Robotern erlaubt. Die Arbeitsgruppe verfügt momentan über 6 Hexacopter, 10 Quadrocopter und 6 Rover, die mit unterschiedlichen Sensoren und mini-PCs ausgestattet sind, um die entwickelten Algorithmen zu testen.

Lokalisierung von Gasquellen mit einem Roboterschwarm

In der Schwarmforschungsgruppe arbeiten wir an Algorithmen, die es autonomen Robotern ermöglichen, Gasquellen zu lokalisieren. Durch die Entnahme von Proben der Gaskonzentration in der Umgebung sind die Roboter in der Lage, auf die Quellen zu schließen.

Unser Ansatz kann bei technischen Unfällen oder Katastropheneinsätzen eingesetzt werden, bei denen giftige oder explosive Stoffe austreten. In solchen Fällen ist die Lokalisierung der Quellen von großem Interesse und sicherheitsrelevant. Für Katastrophenschutzbehörden ist die Suche nach giftigen Gaslecks in einer bereits kontaminierten Umgebung jedoch mit Gefahren für das menschliche Personal verbunden. Daher könnte der Einsatz von Roboterplattformen in solchen Szenarien im Hinblick auf Sicherheitsaspekte von Vorteil sein. Außerdem vereinfachen Roboter mit einem gewissen Grad an Autonomie die Arbeit des menschlichen Bedieners im Vergleich zu rein teleoperierten Plattformen. Ein autonomer Roboter kann die gesammelten Daten sofort interpretieren und auf dieser Grundlage eigenständig Entscheidungen treffen.

Allerdings fehlt autonomen Robotern im Allgemeinen das Expertenwissen, das bei einer von Menschen durchgeführten Mission erforderlich wäre. Um diese Lücke zu schließen, unterstützen wir in unserer Arbeit das Robotersystem mit Domänenwissen, das a priori über die zu erforschende Umgebung verfügbar ist. So ist beispielsweise das physikalische Phänomen der Gasausbreitung gut bekannt und kann mathematisch modelliert werden. In unseren Studien sind Schwarm-Systeme, die durch ein solches mathematisches Modell des Gasausbreitungsprozesses unterstützt werden, in der Lage, die Gasquellen mit weniger Messungen schneller zu lokalisieren als ein System ohne dieses Wissen

Multi-Agent SLAM Algorithmen

In unbekannten Umgebungen, z. B. im Weltraum oder unter der Erde, ist kein externes Ortungssystem wie das Global Positioning System (GPS) verfügbar. Mobile Roboter, die solche Umgebungen erforschen, müssen sich nur mit ihren bordeigenen Sensoren lokalisieren. Eine Lokalisierung ohne vorherige Kenntnis der Umgebung ist schwierig. Um sicher durch die Umgebung zu navigieren, muss der Roboter eine Karte der Umgebung erstellen. Außerdem ist diese Karte notwendig, um unbesuchte Bereiche zu erkennen. Um eine genaue Karte der Umgebung zu erstellen, benötigt der Roboter eine gute Positionsschätzung. Auf der anderen Seite wird eine genaue Karte zur Verbesserung der Lokalisierung verwendet. Der Roboter muss seine Position schätzen, während er die Umgebung abbildet. Dieses Problem ist als SLAM-Problem (Simultaneous Localization And Mapping) bekannt.

Bei den in unserer Gruppe durchgeführten Experimenten werden mobile Roboterplattformen mit Lasersensoren eingesetzt, um SLAM bei der Erkundung unbekannter Umgebungen durchzuführen. Für reale Experimente verwenden wir holonome mobile Roboter. Holonomisch bedeutet, dass der Roboter in jede Richtung fahren kann, auch seitwärts. Unsere Roboter sind mit einem dreidimensionalen LiDAR-Sensor ausgestattet, der Punktwolkenmessungen von 360° liefert. Aus den Punktwolkeninformationen wird eine Karte erstellt, die dann von der Roboterplattform für Navigations- und Erkundungszwecke verwendet wird.

SLAM selbst fungiert als passive Komponente und gibt keine Antwort auf die Frage, wie die nächste Aktion und Bewegung zu wählen ist, um die Fehler bei der Schätzung der Variablen zu minimieren. Die Kombination von SLAM mit einer aktiven Komponente wird als integrierte Exploration bezeichnet.

Die integrierte Exploration ist für die Berechnung und Bewertung des Nutzens weiterer Aktionen verantwortlich, die den Fehler bei der Lokalisierung, der Abbildung und der Prozessschätzung minimieren. Bei der Auswahl zukünftiger Aktionen ist es wichtig, einen Kompromiss zwischen Exploration (Entdeckung neuer Bereiche zur Erweiterung des Wissens über den statischen Prozess und die Karte) und Exploitation (erneutes Aufsuchen früherer Bereiche zur Minimierung des durch die Bewegung verursachten Lokalisierungsfehlers) zu finden.

Außerdem sind wir daran interessiert, physikalische Phänomene in den unbekannten Gebieten zu erforschen (räumliche Prozesse wie Magnetfeldstärke, Temperatur, Ozonkonzentration usw.). Daher kombinieren wir mehrere Ziele: Kartenabdeckung, Beibehaltung der Lokalisierungsunsicherheit und Verringerung des Prozessfehlers in Bezug auf die Bodenwahrheit.

Seismische Erkundung mit Roboterschwärmen

Die geophysikalische Quantifizierung des Untergrundes ist ein hochrelevantes Thema bei der Erkundung von Planeten. Insbesondere der Marsuntergrund ist ein wichtiges Ziel, da er bisher weitgehend unerforscht ist. Eine genauere Quantifizierung des Marsuntergrundes wird Aufschluss über die Frage nach der Existenz von Leben jenseits der Erde geben. Ziel ist es daher, ein System zu entwickeln, das eine autonome Erkundung des Untergrundes ermöglicht. Zu seiner Realisierung verwenden wir einen Schwarm aus mehreren Agenten, der als intelligentes Netzwerk agiert und den Untergrund auf verteilte und kooperative Weise erkundet. Jeder Agent sammelt seismische Daten und kooperiert mit benachbarten Agenten, um ein Bild des vom Schwarm abgedeckten Untergrundes zu erhalten. Darüber hinaus werden Explorationsstrategien entwickelt, die die Agenten zu neuen Erfassungspositionen führen, um das Bild des Untergrundes zu verbessern.

In der Entwicklungsphase untersuchen wir die folgenden Techniken:

Reflexions-/Refraktionsseismologie
Vollständige Wellenforminversion/seismische Tomographie
Auf Deep Learning basierende seismische Inversion

Wir untersuchen diese Techniken im Hinblick auf eine verteilte Implementierung in einem Multi-Agenten-Netzwerk und entwickeln entsprechende algorithmische Lösungen. Die entwickelten Algorithmen werden in realen Experimenten für seismische Explorationsaufgaben getestet.

Schwarm-Exploration mit Reinforcement Learning

Heutzutage nutzen Ansätze zur Bewältigung von Explorationsaufgaben ein Modell, das die Umgebung und den Prozess von Interesse beschreibt. Diese Vorgehensweise funktioniert gut, solange das Modell diese genau beschreibt. Ändert sich die Umgebung oder der Prozess, muss ein neues Modell erstellt und der Algorithmus an dieses angepasst werden. Dies erhöht den Aufwand für die Entwicklung von Algorithmen für neuartige Explorationsaufgaben.

Die Gruppe Schwarm-Exploration entwickelt Algorithmen für maschinelles Lernen, mit denen ein Roboterschwarm lernen kann, wie er komplexe Explorationsaufgaben ausführt. Insbesondere konzentrieren wir uns hier auf modellfreie Deep Reinforcement Learning (Deep-RL)-Ansätze, die kein Modell der Umgebung und des interessierenden Prozesses erfordern. RL-Algorithmen sind eine Familie von Algorithmen, die es einem Agenten ermöglichen, durch Interaktion mit der Umwelt zu lernen, wie er sich verhalten soll. Dies geschieht durch ein Belohnungssignal, das kodiert, wie gut der Agent arbeitet. Das Ziel eines RL-Agenten ist es also, eine Strategie zu erlernen, um die erwartete zukünftige Belohnung zu maximieren.

Es hat sich gezeigt, dass modellfreies RL für eine Vielzahl von Aufgaben hervorragende Ergebnisse liefert. Dennoch gibt es viele Anwendungen, für die ein Modell des interessierenden Prozesses gut untersucht wurde. Dies ist z. B. bei einer unserer Anwendungen der Fall: der Lokalisierung von Gasquellen. Bei der Lokalisierung von Gasquellen haben sich partielle Differentialgleichungen als sehr genaues Modell für die Gasausbreitung erwiesen. Eine der Fragen, mit denen wir uns in unserer Forschung befassen, lautet daher: Wie können wir Domänenwissen - ein Modell - eines physikalischen Prozesses in RL einbringen, um eine Erkundungsaufgabe zu lösen?

Wir haben einen Rahmen - DeepIG - entwickelt, der es mehreren Robotern ermöglicht, mit Hilfe von Deep RL zu lernen, wie sie komplexe Erkundungsaufgaben bewältigen können. Insbesondere liegt unser Fokus auf der Geländekartierung, der Überwachung von Waldbränden und der Lokalisierung von Gasquellen.

placeholder — Self-Aware Swarm Navigation in Autonomous Exploration Missions - DLR-Wissenschaftspreis 2021
In der Natur ist Schwärmen ein kollektives Verhalten, das von einer großen Anzahl tierischer Lebewesen gezeigt wird, um ein Situationsbewusstsein und eine Anpassung zu erreichen, die über die Fähigkeiten jedes Einzelnen hinausgehen. Ein Schwarm autonomer Roboter kann – analog zu einem Schwarm in der Natur – ein riesiges außerirdisches Gebiet schnell erkunden. Im Vergleich zu den Single-Rover-Systemen, die in heutigen Weltraumforschungsmissionen eingesetzt werden, kann ein Schwarm gleichzeitige Beobachtungen an verschiedenen Orten durchführen und einen Single Point of Failure vermeiden. Ein Schwarm ist daher ein vielversprechendes Konzept und stellt einen Paradigmenwechsel in zukünftigen Weltraummissionen dar. Siwei Zhang vom DLR-Institut für Kommunikation und Navigation untersucht die Grundlagen des Navigationsproblems eines solchen Roboterschwarms. Ein Ergebnis der Studie besagt, dass ein Schwarm seine Formation autonom anpassen kann, um Navigationsherausforderungen auf kollaborative Weise zu überwinden – genau wie Ameisen, die auf ihren Nahrungspfaden „lebende“ Brücken bauen, um Lücken zu überwinden. Für seine Arbeit erhielt Siwei Zhang vom DLR-Institut für Kommunikation und Navigation in Oberpfaffenhofen den DLR-Wissenschaftspreis 2021. Dieser Preis wird vom DLR alljährlich vergeben zur Anerkennung herausragender wissenschaftlicher und technischer Leistungen vor allem jüngerer Mitarbeiterinnen und Mitarbeiter. unikation selbst auf Kleinstsatelliten möglich.
Bild: 1/3, Credit:
© DLR. Alle Rechte vorbehalten

Schwarmsysteme für Exploationsaufgaben
Ein Schwarm von Rovern erstellt im Holodeck des Instituts für Kommunikation und Navigation gemeinsam und voll autonom eine Magnetfeldkarte. Bei der Schwarmexploration dient das Holodeck zum Austesten und zur Validierung der Explorationsalgorithmen und zur Vorbereitung der Outdoor-Experimente. Ferner werden hier hardware-in-the-loop-Simulationen durchgeführt.
Bild: 2/3, Credit:
DLR / Enno Kapitza
Download Download

Links und weiterführende Informationen

Autonomous Humanitarian Emergency Aid Devices

AHEAD

Das Projekt von mehreren DLR-Instituten und Technologiepartnern hat als Vision, Hilfsgüter mittels spezieller robotergesteuerter Offroad-Fahrzeuge sicher und kosteneffizient in Krisengebiete zu transportieren.

Über uns

Forschung & Transfer

Aktuelles

Medien

Karriere & Nachwuchs