Fortschrittliche Robotersysteme erfordern visuelle Wahrnehmungsmöglichkeiten über einfache 2D-Bilder oder Näherungssensoren hinaus. Sie verlassen sich stattdessen auf die 3D-Wahrnehmung, um die ganzheitliche Wahrnehmung ihrer Umgebung zu ermöglichen, die letztlich für ein high-level, aufgabenbezogenes Urteilsvermögen benötigt wird. Die 3D-Wahrnehmung umfasst die Datenakquise mittels handelsüblicher oder selbst entwickelter Sensoren, die Erstellung von 3D-Modellen und Formaten in unterschiedlichen Repräsentationen bis hin zur Verwendung dieser Modelle/Daten zur Objekterkennung. Zur robotischen Anwendung der 3D-Wahrnehmung zählen die Exploration, Navigation, Objektmanipulation und Telepräsenz.
Visuelle Wahrnehmung ist ein klassischer Ansatz in der Robotik für die berührungslose Abtastung. Am RMC setzen wir vorrangig handelsübliche visuelle Sensoren ein (Digitalkameras, Stereokameras, Kinect etc.). Aufgrund gehobener Anforderungen komplexer Roboteranwendungen kommen wir oft an deren Leistungsgrenzen. In diesen Fällen nutzen wir High-End-Sensoren oder entwickeln selbst Sensorsysteme sowie die dafür erforderlichen Berechnungsverfahren.
3D-Modelle werden in einer Vielzahl von Anwendungen in der Robotik benötigt. Diese reichen von kleinen Objekten für die Lageschätzung und das Greifen bis zu großen Gebäuden oder Umgebungen für die Navigation und Lokalisierung. Je nach Anwendung sind unterschiedliche Repräsentationen von 3D-Modellen wie volumetrische, Oberflächen-, oder Merkmalspunktmodelle erforderlich. Die Datenerfassung und Modellierung soll für die sofortige Anwendung möglichst in Echtzeit erfolgen. Des Weiteren muss das 3D-Modell segmentiert werden um Objekte von Interesse wie zum Beispiel Wände, Tische, Objekte in Innenräumen zu identifizieren.
Sind über Objekte oder Ereignisse in der Arbeitsumgebung eines Roboters keine konkreten Modelle und spezifisches Wissen verfügbar, muss das Robotersystem auf eine allgemeinere Wissensbasis zurückgreifen, um den semantischen Gehalt der Situation zu erschließen. Dies ist ein typischer Fall etwa beim Einsatz in der Lebens- oder Arbeitsumgebung des Menschen sowie für Systeme, die in enger Interaktion mit Menschen arbeiten. Geeignete Modelle beschreiben dann Wissen über umfangreiche Kategorien von Objekten oder Ereignissen, empirisch gelernt durch Training an zahlreichen Beispieldaten. Wissen kann auch aus Ähnlichkeiten und Bezügen abgeleitet werden, die zwischen den neuen und bekannten Fällen erkannt werden.