Abschluss der Sentinel-5P Satellitendaten-Reprozessierungskampagne
19. Oktober 2023
Abschluss der Sentinel-5P Satellitendaten-Reprozessierungskampagne
Die Copernicus Satellitenmission Sentinel-5 Precursor (S5P) hat kürzlich ihre erste Reprozessierungskampagne abgeschlossen. Ziel der Kampagne war es, das gesamte Produkt-Portfolio von S5P mit den aktuellsten Versionen der wissenschaftlichen Algorithmen zu erzeugen. Im Rahmen dieses Projekts wurden rund 950.000 Produkte und etwa 1,6 Petabyte an Daten berechnet. Sämtliche Datenprodukte der S5P-Mission wurden im Rahmen der Kampagne neu berechnet, z.B. die atmosphärischen Spurengase Methan, Stickstoffdioxid, Kohlenmonoxid, Ozon und Schwefeldioxid. Alle dieser Datenprodukte haben eine hohe Relevanz für die Beobachtung der Luftverschmutzung und die Klimaforschung im globalen Maßstab.
Die Reprozessierung umfasste den Zeitraum von Ende April 2018 (dem Beginn des Routinebetriebs des S5P-Satelliten) bis Ende Juli 2022. Als Ergebnis liegt damit nun erstmals ein kohärenter Datensatz über das gesamte Produkt-Spektrum der S5P-Mission vor. Dieser Datensatz weist jetzt für die gesamte Missionslaufzeit die gleiche hohe Datenqualität auf, wie die kontinuierlich erzeugten Standardprodukte, die tagtäglich vom S5P-Bodensegment-Team im Erdbeobachtungszentrum (EOC) des Deutschen Zentrums für Luft- und Raumfahrt (DLR) erzeugt werden.
Der Erfolg der Reprozessierungskampagne wurde ermöglicht durch die intensive Zusammenarbeit aller beteiligter europäischer Partner im Rahmen der S5P-Mission.
Das EOC des DLR war im Auftrag der ESA für die Reprozessierung der Daten zuständig und konnte dabei auf seine jahrzehntelange Erfahrung in der Erdbeobachtung und den Einsatz neuer Technologien zurückgreifen.
Für die Reprozessierung der S5P-Daten wurde das neu entwickelte Cloud-native Open-Source Software-System prosEO eingesetzt, das Erdbeobachtungsdaten in verschiedenen Varianten verarbeiten kann, von der systematischen Prozessierung im täglichen operationellen Betrieb, über die nutzergetriebene On-Demand-Prozessierung bis hin zur in diesem Projekt genutzten Reprozessierung umfassender Datenbestände. Die Software prosEO wird vom DLR in Zusammenarbeit mit Dr. Bassler & Co. Managementberatung (BCM) und Prophos Informatik entwickelt und ist unter https://github.com/dlr-eoc/prosEO zugänglich.
Die Reprozessierung erfolgte unter Nutzung der Cloud-Infrastruktur von IONOS, einem Cloud-Service-Anbieter, der vom DLR über eine öffentliche Ausschreibung ausgewählt wurde. Auf der Grundlage von IONOS‘ flexiblem Infrastructure as a Service (IaaS) konnte eine im Hinblick auf die Leistung und Ressourcennutzung optimale VM-Konfiguration mit 9 CPUs und 96 GiB RAM gefunden werden. Im Rahmen der Kampagne wurden bis zu 500 VMs dieser Größe parallel genutzt.
Die Software prosEO und die Parallelisierung der Datenberechnung im Cloud-Maßstab zeigten sich als außergewöhnlich robust, trotz der hohen Rechenbelastung mit sehr unterschiedlichen Nutzungsfällen für die verschiedenen Datenprodukte.
Das DLR-Projektteam dankt allen am Projekt beteiligten Partnern für deren Beiträge.
Der Betrieb des Sentinel-5 Precursor Bodensegments wird von der Europäischen Kommission im Rahmen des Copernicus-Programms finanziert und von der ESA geleitet.
Operationelle OFFL-Daten
Die beiden Abbildungen zeigen zwei Vergleiche mit GOME_2B und mit OMI für troposphärische Ozon-Säulen vor und nach der Reprozessierung. Die Daten aller drei Sensoren wurden sowohl für das gesamt Ozon als auch für das troposphärische Ozon mit vergleichbaren Algorithmen ausgewertet.
GOME-2 und OMI sind Vorläuferinstrumente von S5P. OMI ist seit 2004 im Orbit und GOME-2B seit 2012. Viele Produkte der S5P-Missionen beruhen auf den Erfahrungen, die mit diesen Instrumenten gemacht wurden. Auch OFFL-Gesamt-Ozon-Daten und Algorithmen für tropisches troposphärisches Ozon wurden für diese Instrumente entwickelt und für S5P verbessert und angepasst.
Für die operationellen OFFL-Daten (Abb. oben) sehen wir eine Zunahme der Unterschiede zwischen S5P-OMI und S5P-G2B. Dies deutet darauf hin, dass die S5P-Daten für die troposphärischen Säulen driften (oder besser: mit der Zeit zunehmen). Der Anstieg stoppte im Juli 2021 mit dem ersten Level-1-Update.
Die neu aufbereiteten Daten zeigen einen solchen Anstieg nicht - der Bias zwischen den Instrumenten ist konstant.
Dies ist eine deutliche Verbesserung durch die Reprozessierung.
