DLR Portal
Home|Sitemap|Kontakt|Barrierefreiheit Impressum und Nutzungsbedingungen Datenschutz Cookies & Tracking |English
Sie sind hier: Home:Forschungsthemen:3D-Wahrnehmung
Erweiterte Suche
Institut für Robotik und Mechatronik
Abteilungen
Robotersysteme
Anwendungsfelder
Forschungsthemen
3D-Wahrnehmung
Stereo Vision
Lichtfeldkameras
Autonome 3D-Modellierung
Urbane Szenen
Formanalyse
Klassifikation
Beinbasierte Fortbewegung
Flugrobotik
Intelligente Industrierobotik
Medizinrobotik
Nachgiebige Robotik
Re-enabling Robotics
Telepräsenz und VR
Projekte
Technologietransfer
Veröffentlichungen und Downloads
Stellenangebote
Anreise
News-Verzeichnis

3D-Wahrnehmung

Fortschrittliche Robotersysteme erfordern visuelle Wahrnehmungsmöglichkeiten über einfache 2D-Bilder oder Näherungssensoren hinaus. Sie verlassen sich stattdessen auf die 3D-Wahrnehmung, um die ganzheitliche Wahrnehmung ihrer Umgebung zu ermöglichen, die letztlich für ein high-level, aufgabenbezogenes Urteilsvermögen benötigt wird.
Die 3D-Wahrnehmung umfasst die Datenakquise mittels handelsüblicher oder selbst entwickelter Sensoren, die Erstellung von 3D-Modellen und Formaten in unterschiedlichen Repräsentationen bis hin zur Verwendung dieser Modelle/Daten zur Objekterkennung. Zur robotischen Anwendung der 3D-Wahrnehmung zählen die Exploration, Navigation, Objektmanipulation und Telepräsenz.

Sensornahe Methoden

Visuelle Wahrnehmung ist ein klassischer Ansatz in der Robotik für die berührungslose Abtastung. Am RMC setzen wir vorrangig handelsübliche visuelle Sensoren ein (Digitalkameras, Stereokameras, Kinect etc.). Aufgrund gehobener Anforderungen komplexer Roboteranwendungen kommen wir oft an deren Leistungsgrenzen. In diesen Fällen nutzen wir High-End-Sensoren oder entwickeln selbst Sensorsysteme sowie die dafür erforderlichen Berechnungsverfahren.

Stereo Vision


Am RMC wurde Semi-Global Matching (SGM), ein dichtes Stereomatching Verfahren, welches zur genauen 3-D Rekonstruktion aus Bildpaaren genutzt werden kann, entwickelt. Es wird eingesetzt in der Photogrammetrie, für Fahrerassistenzsysteme, zur Umgebungsmodellierung aus Satelliten-, Luft- und Multikopterbildern, sowie zur Analyse des Arbeitsbereichs von Robotern.
Mehr
Lichtfeldkamera mit Lochkameramodell

Lichtfeldkameras


Eine Lichtfeldkamera nimmt, im Gegensatz zu einer herkömmlichen Kamera, Bilder mit mehr Dimensionen auf. Anstatt der üblichen 2D-Bilder werden 4D-Lichtfelddatensätze aufgenommen. Aufgrund der zusätzlichen Dimensionen ist es möglich, verschiedene Daten aus einer einzigen Aufnahme abzuleiten. Wir untersuchen die Verwendung von Lichtfeldkameras für robotische Systeme.
Mehr
DLR CalDe sample screenshot

DLR CalDe und DLR CalLab – Kamerakalibrierungs-Software


DLR CalDe und DLR CalLab bilden eine Kamerakalibrierungstoolbox, die die bekannte Methode nach Zhang, Sturm und Maybank implementiert. Die Toolbox besteht aus zwei unabhängigen Software-Komponenten: CalDe erkennt und lokalisiert Merkmale auf der Kalibrierplatte. CalLab befasst sich mit der Optimierung von den Kameraparametern.
Mehr
3D-Modellierung

3D-Modelle werden in einer Vielzahl von Anwendungen in der Robotik benötigt. Diese reichen von kleinen Objekten für die Lageschätzung und das Greifen bis zu großen Gebäuden oder Umgebungen für die Navigation und Lokalisierung. Je nach Anwendung sind unterschiedliche Repräsentationen von 3D-Modellen wie volumetrische, Oberflächen-, oder Merkmalspunktmodelle erforderlich. Die Datenerfassung und Modellierung soll für die sofortige Anwendung möglichst in Echtzeit erfolgen. Des Weiteren muss das 3D-Modell segmentiert werden um Objekte von Interesse wie zum Beispiel Wände, Tische, Objekte in Innenräumen zu identifizieren.

Autonome Objektmodellierung


Am Institut wird Robotersystemen ermöglicht, 3D-Modelle von unbekannten Objekten oder Szenen voll autonom zu erstellen. Die autonome 3D-Objektmodellierung erfolgt durch iterative Planung von Next-Best-Views und kollisionsfreien Bahnen bis zu dem Zeitpunkt, an dem das 3D-Modell möglichst komplett ist.
Mehr

Urbane Szenen


Ein Objekt kann aus Fotografien, die von mehreren Standpunkten aus aufgenommen wurden, dreidimensional rekonstruiert werden. Für diese Rekonstruktion wird eine präzise Orientierung der Bilder und eine effiziente Berechnung von Tiefenbildern benötigt. Funktionale Gebäudemodelle können später integriert werden.
Mehr
Objekterkennung

Sind über Objekte oder Ereignisse in der Arbeitsumgebung eines Roboters keine konkreten Modelle und spezifisches Wissen verfügbar, muss das Robotersystem auf eine allgemeinere Wissensbasis zurückgreifen, um den semantischen Gehalt der Situation zu erschließen. Dies ist ein typischer Fall etwa beim Einsatz in der Lebens- oder Arbeitsumgebung des Menschen sowie für Systeme, die in enger Interaktion mit Menschen arbeiten. Geeignete Modelle beschreiben dann Wissen über umfangreiche Kategorien von Objekten oder Ereignissen, empirisch gelernt durch Training an zahlreichen Beispieldaten. Wissen kann auch aus Ähnlichkeiten und Bezügen abgeleitet werden, die zwischen den neuen und bekannten Fällen erkannt werden.

Klassifizierung neuer Objekte


Objekterkennung ist gut untersucht. Jedoch sind bekannte Objektklassifizierer in der Regel spezialisiert und besitzen daher nur begrenzte Adaptivität auf unterschiedliche Anwendungsbereiche. Obwohl einige Anpassungsansätze vorgestellt wurden, haben sich nur wenige Arbeiten mit den Auswirkungen von Klassifikationsalgorithmen auf RGB-D für verschiedene Domänen konzentriert.
Mehr

Formkorrespondenzen und -analyse


Wenn ein Roboter in seiner Umgebung ihm unbekannte Objekte vorfindet, dann kann das perzeptuelle System Wissen aus Relationen zu bekannten Objekten ähnlicher Art ableiten. Diese Relationen ergeben sich aus der Verformung prototypischer Formen auf die vorgefundenen neuen Formen.
Mehr
Verwandte Themen
DLR CalDe und DLR CalLab – Kamerakalibrierungs-Software
DLR VR-SCAN (2011)
Multisensorieller 3D-Modellierer (2006–2017)
THR-Datensatz
Copyright © 2023 Deutsches Zentrum für Luft- und Raumfahrt e.V. (DLR). Alle Rechte vorbehalten.