-
- Geodaten-Management
- Themen
- Systematische Datenprozessierung
Systematische Datenprozessierung: von Rohdaten zu Datenprodukten
Die Prozessierung von Daten ist eines der größten Aufgabenfelder der IT-Branche, denn sie findet in den unterschiedlichsten Bereichen unseres täglichen Lebens statt. Der Fotofilter in einer Messaging-App verarbeitet die Daten unseres Fotos, um das Bild optimal darzustellen. Wir versenden eine E-Mail und die Daten werden verschlüsselt an den Empfänger übertragen. Auch die Fahrzeugsteuerung im PKW prozessiert ständig Daten, um Gefahren zu erkennen und den Betriebsablauf zu optimieren.
Immer wenn regelmäßig und viele Daten anfallen, ist ein effizienter Mechanismus zur nahtlosen Abarbeitung der Aufgaben erforderlich.
Veröffentlichung im "Proceedings of the 2023 conference on Big Data from Space": Processing Framework für wissenschaftliche Erdbeobachtungsmissionen
Es wird ein Processing Framework für wissenschaftliche Erdbeobachtungsmissionen beschrieben und vorgestellt. Dieses Softwaresystem wurde für eine Reihe von Erdbeobachtungsmissionen entwickelt und zu einem Framework für die Verarbeitung mehrerer Missionen ausgebaut. Die Umstellung von Rechenumgebungen von On-Premise-Clustern auf Public-Cloud-Umgebungen wird durch dieses auf Mikrodiensten basierende Framework unterstützt. Die Flexibilität des Frameworks ermöglicht es, eine Reihe von Anwendungsfällen zu unterstützen, die von klassischen systematischen Verarbeitungseinrichtungen, On-Demand-Verarbeitungseinrichtungen, Archivdiensten bis hin zu Datenanalyseumgebungen reichen. Die Zusammenarbeit mit Interessenvertretern aus dem Bereich der wissenschaftlichen Missionen und mit IT-Experten aus der Industrie gewährleistet die Weiterentwicklung dieser stabilen und flexiblen Verarbeitungsumgebung.
Processing framework for scientific Earth observation missions (s. Seiten 309-312)
Richard Hofmeister, Knut Bernhardt, Alexander Strecker, Torben Keßler und Christophe Caspar
Proceedings of the 2023 conference on Big Data from Space, Soille, P., Lumnitz, S. and Albani, S. editor(s), Publications Office of the European Union, Luxembourg, 2023, doi:10.2760/46796, JRC135493.
Besondere Herausforderungen an die Prozessierung von Satellitendaten
Gerade im wissenschaftlichen Bereich finden sich viele Anwendungsfälle für die Datenprozessierung: Um das Öko- und Klimasystem der Erde zu verstehen, sammeln Wissenschaftler auf der ganzen Welt riesige Mengen an Daten. Im Weltraum beispielsweise kommen dafür Satelliten zum Einsatz, die mit Hilfe von Sensoren oder Kameras Daten aufnehmen und als sogenannte „Payload Data“ zur Erde senden.
Dabei fallen pro Satellit bis zu 1 TB an Rohdaten pro Tag an, die prozessiert, gespeichert und Folgesystemen zur Verfügung gestellt werden müssen. Die Prozessierung und Verarbeitung zu sogenannten Datenprodukten erfolgt tagtäglich mithilfe von wissenschaftlichen Algorithmen und unter Einbeziehung von Hilfsdaten. Durch die riesige Menge an Daten ist die effiziente Steuerung der Arbeitsabläufe beim systematischen Datenprozessieren von zentraler Bedeutung. Die Speicherung der Daten kann - aufgrund des großen und wachsenden Speicherplatzbedarfs - in erweiterbaren Datenzentren oder in der Cloud stattfinden.
So gelingt die effiziente Ausführung systematischer Prozessierungsketten auf Erdbeobachtungsdaten
Die effiziente Steuerung der Arbeitsabläufe wird durch passende Softwareplattformen garantiert, die je nach Einsatzgebiet spezifische Vorteile haben und im Bereich der Satellitendaten-Prozessierung für die dort typischen Systeminfrastrukturen und Dateistrukturen optimiert sind. Selbst bei stark variierendem Verarbeitungsaufwand, wie z.B. bei außergewöhnlich vielen Datenabrufen oder der Reprozessierung von Datenprodukten, ist die eingesetzte Software durch flexible Konfiguration von Cloud-Ressourcen in der Lage, die Leistung zu skalieren. So kann man die schnelle und sichere Verarbeitung großer Datenmengen gewährleisten und darüber hinaus den unnötigen Verbrauch an Energie und Infrastruktur vermeiden, wenn die Leistung nicht benötigt wird.
Wir kennen diese besonderen Herausforderungen an die systematische Datenprozessierung und haben bereits in vielen Projekten verlässliche Lösungen bereitgestellt. Ein beispielhaftes Kundenprojekt, in dem wir unser eigenes systematisches Datenprozessierungs-Framework einsetzen, ist die Bodensegmentsoftware einiger Earth-Explorer-Missionen der ESA, wie Biomass, EarthCARE und SWARM. Im Auftrag der ESA betreiben wir das Copernicus Long-Term Archive zur Sicherung von Sentinel-Satellitendaten in einem europäischen Cloud-System. Die Dateiarchivierung selbst enthält zunächst keine aufwändige Prozessierung, doch der Archivservice erfordert einen erheblichen Rechen-, bzw. Prozessierungsaufwand für die großen Datenmengen zur Verifizierung von Dateiinhalten, Komprimierung von Daten und zur Erzeugung von Metadaten für die Nachverfolgbarkeit.
Erfahren Sie hier mehr über unseren EO Processing Service:
