Verteiltes Post-Processing



Projektbeschreibung

 Isosurface - component
zum Bild Isosurface - component

In den DLR-Instituten entstehen in zunehmendem Maß große Datensätze, beispielsweise durch die Erfassung von Planetenoberflächen mithilfe hochauflösender Multispektralkameras oder durch die Simulation komplexer Strömungsfelder auf Supercomputern. Die Größe solcher Datensätze geht in den Tera- oder sogar Peta-Byte-Bereich. Da eine effiziente Analyse dieser Datensätze durch eine lokale Workstation schwierig ist, werden Ansätze für das verteilte Post-processing benötigt.

Dabei wird die Rendering-Pipeline in Teile zerlegt und auf verschiedene HPC-Systeme mit großem Hauptspeicher und Multi-Prozessor-Architektur verteilt. Nur so ist es möglich die Datensätze in einer akzeptablen Zeit zu verarbeiten. Für eine interaktive Untersuchung der Rohdaten müssen dann üblicherweise charakteristische Merkmale extrahiert bzw. informative Teilansichten generiert werden, die der Wissenschaftler dann auf seiner lokalen Workstation darstellen kann.

Ein weiteres Problem großer Datensätze stellt die Datenhaltung dar. Es werden große File-Server benötigt die sich in unmittelbarer Nähe zum Supercomputer befinden sollten um hohe Bandbreiten und geringe Latenzen zu gewährleisten. Da Benutzergruppen an verschiedenen DLR-Standorten Datenzugriff benötigten, spielt der Transport dieser Daten eine entscheidende Rolle.

 Cut Cylinder - component
zum Bild Cut Cylinder - component

Das Ziel muss es daher sein, eine Software-Infrastruktur zu schaffen, die bei Bedarf

  • für alle DLR-Institute zur Verfügung steht,
  • gruppenübergreifendes Arbeiten an verschiedenen Standorten erlaubt,
  • HPC-Ressourcen transparent für den Benutzer integriert und
  • sich auch für nicht interaktive Berechnungen verwenden lässt.

Projektpartner

Laufzeit

01.01.2010 - 31.12.2012


Kontakt
Markus Flatken
Deutsches Zentrum für Luft- und Raumfahrt (DLR)

Simulations- und Softwaretechnik
, Software für Raumfahrtsysteme und interaktive Visualisierung
Tel: +49 531 295-2034

Fax: +49 531 295-2767

E-Mail: Markus.Flatken@dlr.de
URL dieses Artikels
http://www.dlr.de/sc/desktopdefault.aspx/tabid-6352/10413_read-22827/