Die Zukunft ist auf dem Vormarsch. Software nicht nur auf dem Bildschirm sehen, sondern darin eintauchen. Strukturen und Verbindungen anhand der Softwarevisualisierung „IslandViz“ als eine Insel-Metapher erleben.
Augmented Reality (AR) und Mixed Reality (MR) -Anwendungen und die dazu gehörigen Headsets prägen schon jetzt die Forschungswelten in der Abteilung für Intelligente und Verteilte Systeme. Um in Zukunft nicht nur Software zu sehen, sondern auch besser mit ihr zu interagieren, haben wir begonnen ein Sprachassistenzsystem zu implementieren. Peter Seipel, Masterstudent im Fach Informationsverarbeitung, schrieb seine Masterarbeit in Kooperation mit dem DLR. Er konzipierte eine Architektur, um eine Mixed-Reality-Anwendung durch ein natürlich-sprachliches Assistenzsystem zu erweitern.
Intuitive Sprachassistenz
Softwareentwicklungen finden derzeit noch immer im Editor oder in einer integrierten Entwicklungsumgebung (IDE) statt. Die Wissenschaftler der Abteilung Intelligente und Verteilte Systeme arbeiten derweil schon an neuen Möglichkeiten, um Code zu verstehen und zu analysieren. Viele Anwendungen im Virtual- und Augmented- Reality Bereich bieten schon etliche Möglichkeiten der Interaktionen. Dafür muss der Nutzer allerdings in den meisten Fällen bestimmte Befehle lernen. „Diese Befehle können vordefinierte Tastkombinationen oder bestimmte Gesten sein“ erklärt Peter. „Die Bedienung von VR/AR-Anwendungen ist deshalb nicht immer so intuitiv, wie sie sein könnte.“ Mit Sprache ist das anders. Die Einbindung von Sprachservices bietet eine Möglichkeit, schnell und ohne Vorwissen, mit dem System zu interagieren. „Das Gute an dem System, das ich mit dem Team entwickelt habe ist, dass es nicht auf Schlüsselwörtern basiert. Stattdessen basiert es auf der Bedeutung des Gesagten.“ so Peter. Doch was bedeutet das für den Nutzer? Dieser kann nun beliebig Sätze bilden, die in den meisten Fällen von dem System verstanden werden. So weiß es, was gemeint ist und kann entsprechend auf den Nutzer reagieren. „Meine Arbeit war es hierbei, eine Architektur zu entwickeln, die sowohl mit dem AR-Gerät, als auch mit einer Datenbank und einem entsprechenden Sprachservice kommuniziert.“ Um genau das zu untersuchen, hatte Peter beim DLR die Möglichkeit mit einer modernen Mixed-Reality Brille (Microsoft HoloLens) zu arbeiten. Dies ermöglichte ihm, seinen geschriebenen Code live zu testen und zu verbessern. Dadurch erfuhr er, welche Vorgehensweise funktioniert und welche nicht.
Anpassung an die Schnelllebigkeit der Technologien
Wie schnell sich VR und AR-Technologien entwickeln, zeigen die neuesten Veröffentlichungen, so Peter. Erst im Februar wurde die neue Mixed-Reality-Brille HoloLens von Microsoft auf der katalanischen Bühne des Mobile World Kongresses vorgestellt. Gleichzeitig entwickeln sich Sprachassistenzsysteme rasend schnell. „IBM, Google, Amazon und Facebook sind da die großen im Rennen. Es gibt aber auch viele Open-Source-Lösungen die man nutzen kann. Durch diese Schnelllebigkeit habe ich die Architektur so gebaut, dass jeder Bestandteil möglichst einfach austauschbar ist“ erklärt er. Dadurch sollte es möglich sein, auf alle neuen Technologien zu reagieren und dazu in der Lage sein, diese zu nutzen wenn gewollt.
Mit neuesten Technologien arbeiten
Auch schon vor seiner Zeit beim DLR hat Peter viel Positives von seinen Freunden gehört, die bereits zuvor an verschiedenen Standorten des DLR gearbeitet hatten. Als er schließlich mit seiner Masterarbeit beginnen wollte, war ihm sofort klar, beim DLR anzufragen. Die Vereinbarung zwischen Universität und DLR verlief ohne Probleme. „Mein Professor wurde von mir immer auf dem Laufenden gehalten und über die Themenfindung informiert.“ So konnte Peter beim DLR mit neuesten Technologien forschen und seine Software entwickeln. „Meine Kollegen haben mir zusätzlich viel frischen Input gegeben und mir auch Literaturempfehlungen gegeben“ berichtet Peter. Dadurch bekam er die Möglichkeit, über seine Forschung und Entwicklungen zu diskutieren. Des Weiteren hat Peter während seiner Zeit beim DLR an zwei wissenschaftlichen Veröffentlichungen teilhaben dürfen: „Das was wirklich spannend!“ berichtet er.