TOPIO

Anhand eines globalen Modells des Erdsystems untersucht TOPIO die Lese- und Schreibgeschwindigkeiten für große Datenmengen auf Hochleistungsdateisystemen, die der Projektpartner Universität Hohenheim einbringt. Zudem ermittelt das Projekt, wie eine deutliche Reduzierung der Datenmenge ohne signifikanten Informationsverlust erreicht werden kann.

Im Detail werden zwei Aspekte der I/O-Operationen optimiert: Die Menge der Daten, die geschrieben wird, und die Effizienz, mit der diese Daten geschrieben werden. Ersteres wird über Kompressionsmethoden verbessert, letzteres wird über einen Auto-Tuning-Ansatz verfolgt, der die Komplexität mehrerer I/O-Schichten vor den Benutzern verbirgt und die I/O-Leistung verbessern soll.

Als Anwendung für die Datenoptimierung wird in diesem Projekt das Model for Prediction Across Scales (MPAS) verwendet. MPAS ist ein vom US National Center for Atmospheric Research (NCAR) entwickeltes Open Source Erdsystemmodell. Es ist ein globales Vorhersagemodell, das mit einer hohen globalen Auflösung von wenigen Kilometern auf verschiedenen Zeitskalen bis hin zu einer Simulationsdauer von ca. zwei bis drei Monaten genutzt werden kann. Im Gegensatz zu traditionellen regionalen Vorhersagemodellen nutzt MPAS ein unstrukturiertes Voronoi-Gitter zur Darstellung der Erdoberfläche.

In diesem Projekt soll MPAS mit konvektionserlaubender Auflösung von wenigen Kilometern für sub-saisonale Simulationen angewandt werden. Die dabei entstehenden Datenmengen erreichen leicht Größenordnungen von mehr als 100 TB. Dabei wird die benötigte Zeit zum Schreiben der Daten ein zunehmend wichtiger Faktor und auch das Speichern der Daten ist mit nicht unerheblichen Ressourcen verbunden. Das Ziel des Projekts ist eine deutliche Verringerung der Datenmenge bei gleichzeitig optimierter Schreibleistung dieser Simulationen mit Hilfe von bereits existierenden und neu entwickelten Kompressionsmethoden sowie automatischer I/O-Optimierung. Der Informationsverlust soll dabei 1 % nicht überschreiten.