Projektbeschreibung
In den DLR-Instituten entstehen in zunehmendem Maß große Datensätze, beispielsweise durch die Erfassung von Planetenoberflächen mithilfe hochauflösender Multispektralkameras oder durch die Simulation komplexer Strömungsfelder auf Supercomputern. Die Größe solcher Datensätze geht in den Tera- oder sogar Peta-Byte-Bereich. Da eine effiziente Analyse dieser Datensätze durch eine lokale Workstation schwierig ist, werden Ansätze für das verteilte Post-processing benötigt.
Dabei wird die Rendering-Pipeline in Teile zerlegt und auf verschiedene HPC-Systeme mit großem Hauptspeicher und Multi-Prozessor-Architektur verteilt. Nur so ist es möglich die Datensätze in einer akzeptablen Zeit zu verarbeiten. Für eine interaktive Untersuchung der Rohdaten müssen dann üblicherweise charakteristische Merkmale extrahiert bzw. informative Teilansichten generiert werden, die der Wissenschaftler dann auf seiner lokalen Workstation darstellen kann.
Ein weiteres Problem großer Datensätze stellt die Datenhaltung dar. Es werden große File-Server benötigt die sich in unmittelbarer Nähe zum Supercomputer befinden sollten um hohe Bandbreiten und geringe Latenzen zu gewährleisten. Da Benutzergruppen an verschiedenen DLR-Standorten Datenzugriff benötigten, spielt der Transport dieser Daten eine entscheidende Rolle.
Das Ziel muss es daher sein, eine Software-Infrastruktur zu schaffen, die bei Bedarf
Projektpartner
Laufzeit
01.01.2010 - 31.12.2012