Datenarchivierung, Datenprozessierung, Datenanalyse und In-Situ-Datenerfassung vor einer Darstellung der Bodenstation Neustrelitz und des Produktes Total Electron Content (TEC)
Die Arbeitsgruppe Data Science & Services entwickelt und betreibt Forschungsdateninfrastruktur mit einem Schwerpunkt auf der Prozessierung, dem Management sowie der Kalibrierung bzw. Validierung von Fernerkundungsdaten. In den Zuständigkeitsbereich der Arbeitsgruppe fallen außerdem
die Konzeption und die Verantwortung operationeller Prozessketten für Fernerkundungsdatenprodukte,
die Erforschung von Methoden der mathematische Datenanalyse mit dem Ziel der Bodenstationsentwicklung,
das IT-Management der Bodenstation Neustrelitz,
die Weiterentwicklung von Kalibrierungs- und Validierungsmethoden für Fernerkundungsdaten und
die Unterstützung des abteilungsweiten Projektmanagements.
Datenprozessierung
Ein wichtiger Bestandteil unseres Aufgabenportfolios ist die Erzeugung von qualitativ hochwertigen Fernerkundungsdatenprodukten aus empfangenen Rohdaten. Hierbei handelt es sich um sogenannte ARD-Produkte (ARD: Analysis Ready Data), die die Grundlage für alle weitergehenden Verarbeitungsschritte bilden.
Unsere Kompetenzen liegen sowohl in der Entwicklung, der Implementierung, dem Betrieb als auch der Wartung der zugehörigen Prozessketten. Dabei berücksichtigen wir missions-spezifische Bedarfe wie beispielsweise Produktparameter oder zeitliche Anforderungen für die Produktbereitstellung.
Eine der Grundvoraussetzungen für die effiziente Implementierung und den Betrieb von Prozessketten ist ein geeignetes Software-Framework. Dieses entwickeln wir in Abstimmung mit weiteren Kollegen des Deutschen Fernerkundungsdatenzentrums.
Um die Dynamik und die damit einhergehende notwendige Skalierung der Prozessketten abbilden zu können, setzen wir auf moderne Ansätze der containerbasierten Datenprozessierung, wie z. B. Kubernetes.
Wir verfügen über eine langjährige Erfahrung im Bereich der Datenprozessierung von Fernerkundungsdaten und betreiben eine Vielzahl von unterschiedlichen Prozessketten. Diese gehen einher mit vielfältigen Anforderungsprofilen, die u. a. von vielen kleinen Prozessierungs-Aufträgen mit Produkten geringer Dateigröße und Nahe-Echtzeit-Anforderungen (z. B. Produktbereitstellung in weniger als 5 Minuten) bis hin zur Erzeugung komplexer Produkte mit langen Prozessierungszeiten (Prozessierungsdauer ca. 3 Tage) reichen. Aktuell entwickeln und betreiben wir u. a. Prozessketten für die Missionen EnMAP und DESIS sowie das Ionosphere Monitoring and Prediction Center (IMPC).
Wir entwickeln und betreiben einen von zwei Standorten des Deutschen Satellitendatenarchivs (D-SDA). Oberste Prämisse ist hierbei die zuverlässige und langfristige Speicherung von Fernerkundungsprodukten unterschiedlichster Missionen sowie die Sicherstellung des Zugriffs hierauf.
Unsere Infrastruktur ist für die Verwaltung von Datenmengen im Petabyte-Bereich ausgelegt.
1. Kopie
IBM TS-4500 Bandbibliothek mit LTO-9 Laufwerken
FastLTA virtuelle Bandbibliothek
2. Kopie
Oracle SL-8500 Bandbibliothek mit LTO-6 Laufwerken
Zwischenspeicher
NetApp E2824 Speichersystem
Tabelle: Überblick Systeme D-SDA Neustrelitz
Mit der Organisation von jährlichen Konferenzen zu aktuellen Trends der Datenspeicherung und des hierarchischen Speichermanagements fördern wir den fachlichen Austausch zwischen Nutzern, Herstellern, Entwicklern und Dienstleistern im Kontext von Datenmanagementsystemen.
Bandbibliothek und -roboter des Deutschen Satellitendatenarchivs
Vor, während und nach der Kommunikation mit einem Satelliten werden an der Bodenstation Neustrelitz – zusätzlich zu den Nutzlastdaten – eine Vielzahl von Informationen erfasst.
Mit dem Ziel der Optimierung und Automatisierung von Bodenstationsprozessen erforschen wir Methoden zur mathematischen Analyse dieser Daten. Basierend auf unserer Forschung entwickeln und implementieren wir Prototypen sowie operationelle Dienste zur Erfassung und Verarbeitung von Bodenstationsdaten.
Gemeinsam mit den Kollegen der Arbeitsgruppen Systementwicklung Bodenstationen und Softwaresysteme schaffen wir die hierfür nötigen Grundlagen. Dies umfasst u. a. folgende Aufgabenbereiche:
Identifikation und Erschließung von Datenquellen,
Entwurf und Umsetzung von Datenmodellen für Bodenstationen,
Planung und Implementierung von Frameworks für das Management von Bodenstationsdaten
Oben: Visualisierung des gemessenen Satelliten-Signalpegels
Unten: Blick auf den zugehörigen Bereich der Bodenstation Neustrelitz aus Sicht der Empfangsantenne
Mit der Großforschungsanlage DEMMIN entwickeln und betreiben wir seit dem Jahr 2004 einen Mess- und Kalibrierungsstandort für Fernerkundungsdaten. Zu unseren Aufgaben gehört sowohl die Instandhaltung der Messinfrastruktur als auch die Speicherung und Bereitstellung von In-Situ Daten und die Organisation und Durchführung von Messkampagnen.
Wir sind u. a. Teil der Netzwerke TERENO und JECAM.
Teststandort DEMMIN in Mecklenburg-Vorpommern
Karte, Logo und Aufnahmen des Gebietes um die Stadt Demmin von Landsat 8 (2014), RapidEye (2014) und Ikonos (2006)
Um den operationellen Betrieb der Bodenstation Neustrelitz sicherzustellen, gehört es zu unseren wichtigsten Aufgaben, die hierfür notwendige und entsprechend ausfallsichere IT-Infrastruktur zu planen, umzusetzen und zu überwachen.
Darüber hinaus fallen folgende Tätigkeiten in unseren Aufgabenbereich:
Konzeption, Implementierung und Betrieb von Rechenclustern (vmWare vSphere / Proxmox VE),
Netzwerkdesign und Netzwerksicherheit,
automatisierte Ressourcenbereitstellung (z. B. virtuelle Maschinen),
Konzeption und Management von Kommunikationsschnittstellen,
Backupstrategie und -implementierung,
Projektunterstützung (u. a. IT-Security, Machbarkeitsanalyse, Ressourcenabschätzung),
Koordination der abteilungsweiten IT-Infrastruktur (Arbeitsplätze).
Projektmanagement
Als Teil des abteilungsweiten Projektmanagements initiieren und begleiten wir eine Vielzahl von nationalen und internationalen Projekten (z. B. ESA, USGS).
Üblicherweise sind diese in den folgenden Bereichen angesiedelt:
