Höchstleistungsrechenzentrum Stuttgart
Zur Simulation atmosphärischer Turbulenzen stützen sich Wissenschaftler auf die Monin-Obukhov-Ähnlichkeitstheorie. Laut dieser Theorie lässt sich anhand der Windgeschwindigkeit zwischen zwei Punkten in der Grenzschicht vorhersagen, wie sich die Windgeschwindigkeit in höheren Schichten der Grenzschicht verändert. Damit dieser Ansatz mathematisch anwendbar ist, geht man nach Monin-Obukhov jedoch von einer flachen Erdoberfläche aus. In der Realität beeinflussen topografische Merkmale wie Berge und Täler die Entstehung von Turbulenzen in der atmosphärischen Grenzschicht. Daher haben Deshpande und seine Kollegen Methoden untersucht, um die Oberflächenrauheit besser in Modelle für atmosphärische Turbulenzen einzubeziehen.
Deshpande nutzt für diese Forschung einen Open-Source-Code namens tLab. tLab wurde ursprünglich von Juan Pedro Mellado, heute Professor an der Universität Hamburg, gemeinsam mit Cedrick Ansorge, Deshpandes Betreuer an der FU Berlin, entwickelt. Der Code wird für direkte numerische Simulation (DNS) eingesetzt. DNS-Methoden nutzen grundlegende Prinzipien der Strömungsmechanik, um Turbulenzen mit extrem hoher Präzision abzubilden – eine rechenintensive Aufgabe, die nur mit Höchstleistungsrechnern bewältigt werden kann.
Allerdings hat die DNS auch ihre Grenzen. Die enorme Anzahl der erforderlichen mathematischen Operationen sowie die dabei erzeugten Daten machen es rechnerisch unmöglich, die turbulente atmosphärische Grenzschicht in realistischen Maßstäben zu simulieren – selbst mit modernen Supercomputern. Um diese Herausforderung zu bewältigen, lösen DNS-Codes wie tLab eine dimensionslose Version der Navier-Stokes-Gleichungen, wodurch sich die Ergebnisse mithilfe der Prinzipien des Buckingham-π-Theorems auf reale Anwendungen hochskalieren lassen.
In jedem Experiment führen Deshpande und andere Nutzer von tLab in der Regel 20.000 bis 30.000 Iterationen desselben Systems durch. Durch die Berechnung eines statistischen Mittelwerts aus all diesen Ergebnissen können die Wissenschaftler genaue Vorhersagen über atmosphärische Turbulenzen in der Natur treffen. Die Durchführung so vieler Iterationen erhöht den Rechenaufwand zusätzlich. Daher hat sich die Arbeitsgruppe „Turbulenz in der Grenzschicht“ der FU Berlin in den letzten Jahren an das Höchstleistungsrechenzentrum Stuttgart (HLRS) gewandt, um Zugang zu dessen Supercomputern zu erhalten.
Die aktuelle Zuteilung von Rechenzeit für die Arbeitsgruppe der FU Berlin am HLRS war herausfordernd, da sie mit dem Austausch des Supercomputers Hawk am HLRS durch das aktuelle System Hunter zusammenfiel. tLab wurde ursprünglich für CPU-basierte Systemarchitekturen wie Hawk geschrieben. Der nächste Supercomputer des HLRS – Hunter – basiert auf AMD Accelerated Processing Units (APUs), die CPUs und GPU-Beschleuniger kombinieren. Aus diesem Grund musste der Code erheblich angepasst werden. Deshpande arbeitete über einen Zeitraum von acht Monaten in regelmäßigen Abständen daran, tLab auf GPUs zu portieren.
Das User Support Team des HLRS hat bereits seit Langem erkannt, dass viele Forschende mit ähnlichen Schwierigkeiten konfrontiert sein würden und unterstützte diese daher erfolgreich bei diesem Übergang. Ein Teil dessen waren mehrere Durchgänge des Workshops „Portierung und Optimierung für Hunter“. Dort arbeiten Forschende direkt mit dem User Support Team des HLRS sowie mit Vertreter:innen von HPE und AMD zusammen, die über Fachwissen zur Hunter-Hardware verfügen und Strategien zur Optimierung der Code-Leistung auf dem GPU-beschleunigten System ableiten können.
In den Jahren 2025 und 2026 nahm Deshpande an zwei Workshops zur Code-Portierung teil. Im ersten Workshop führte das User Support Team des HLRS einen Software-Profiler aus, der besonders langsam laufende Unterprogramme innerhalb von tLab identifizierte. Dadurch wurden Verbesserungsmöglichkeiten im Poisson-Löser des Codes aufgezeigt, einem Algorithmus zur Lösung linearer Differentialgleichungen zweiter Ordnung, die den Druck in turbulenten Systemen beschreiben. Es erwies sich als relativ unkompliziert, mehrere Unterprogramme innerhalb des Solvers mithilfe von OpenMP-Target-Offloading für GPUs umzustrukturieren und den gemeinsamen CPU-GPU-Speicher so zu nutzen, dass keine Daten hin und her kopiert werden mussten.
In einem zweiten Workshop implementierte Deshpande den Thomas-Algorithmus, einen seriellen Algorithmus innerhalb des Poisson-Lösers, der ein Gleichungssystem Zeile für Zeile löst, in tLab. GPUs sind nicht dafür ausgelegt, diese Art von Verfahren effizient zu bewältigen, weshalb ein anderer Ansatz erforderlich war. Wie Deshpande erklärte: „Mithilfe von GPU-Offloading habe ich die Struktur unseres Codes so geändert, dass mehrere Thomas-Algorithmen parallel laufen – ein Ansatz, der die massiv-parallelen Fähigkeiten von GPU-Prozessoren nutzt. Die gleichzeitige Lösung vieler Thomas-Algorithmen verschaffte uns eine zusätzliche Beschleunigung.“
Durch die erfolgreiche Portierung von tLab auf Hunter konnte Deshpande Leistungssteigerungen erzielen, die seine Forschung bereichert haben. Zuvor hatte Jonathan Kostelecky, ein ehemaliger Doktorand und Mitglied der Arbeitsgruppe an der FU Berlin, tLab auf Hawk genutzt und zwei wissenschaftliche Publikationen veröffentlicht, die auf Daten basierten, die am HLRS generiert wurden. Bei der Simulation eines Falls mit 9 Milliarden Datenpunkten unter Verwendung von 64 CPU-Knoten auf Hawk konnte es bis zu einen Monat lang dauern, bis er die Ergebnisse erhielt. Seit der Portierung der Software auf Hunter kann laut Deshpande eine ähnliche Simulation nun von einem einzigen AMD-APU-Knoten bewältigt werden, der die gleiche Arbeit innerhalb einer Woche erledigt. In einem Skalierungstest zeigte er, dass eine typische Simulationsaufgabe, bei der tLab auf den CPUs eines einzelnen Hunter-Knotens ausgeführt wurde, 1.332 Sekunden dauerte, während dieselbe Aufgabe mit den APU-Prozessoren von Hunter in 24,6 Sekunden abgeschlossen werden konnte – also etwa 54-mal schneller.
„Wir sparen nicht nur Zeit, sondern können auch mehr Simulationen durchführen. Das bedeutet, dass wir mit den uns zugewiesenen Rechenstunden mehr Forschungsarbeit leisten können“, erklärte Deshpande.
Die Ausführung des Codes auf Hunter ist darüber hinaus nachhaltiger: „Aus energetischer Sicht sparen wir zudem erheblich, wenn wir von 64 CPU-Knoten auf nur einen einzigen APU-Knoten umsteigen“, fügte er hinzu. HPE schätzt, dass Hunter etwa 10 Prozent der Energie verbraucht, die zuvor von Hawk für die gleiche Arbeitsleistung benötigt wurde.
Zukünftig könnten weitere Leistungssteigerungen bei tLab möglich sein. Deshpande hat tLab so angepasst, dass Speicherdaten von einer APU mithilfe von OpenMP direkt auf eine andere APU innerhalb desselben Knotens geschrieben werden können, was den Datentransfer äußerst reibungslos gestaltet. Beim Datenaustausch zwischen verschiedenen Knoten ist tLab jedoch weiterhin auf den MPI-Standard für parallele Programmierung angewiesen, der auf APUs aufgrund von Hardware-Inkompatibilität und Problemen mit der Compiler-Konformität zeitraubende Engpässe verursacht. Die Überwindung dieser Einschränkung könnte die Durchführung noch größerer Simulationen ermöglichen. Deshpande hat einige Ideen, wie man dieses Problem angehen könnte, und plant, dazu in Zukunft eine wissenschaftliche Veröffentlichung zu verfassen.
Doch schon jetzt sind die Vorteile einer Portierung von tLab auf GPUs offensichtlich. „Es ist extrem schnell“, sagt Deshpande. „Ich kann vier oder fünf Simulationen gleichzeitig ausführen und mehrere Fälle in einer einzigen Woche testen. Auf Hawk benötigten wir zwischen 48 und 64 Knoten, um einen Fall zu simulieren. Auf Hunter reicht ein Knoten aus. Mit 48 Knoten auf Hunter könnten wir potenziell reine Ensemble-Simulationen durchführen, die 48 unabhängige Realisierungen umfassen, wobei die Anfangsbedingungen variiert und die Veränderungen in den Ergebnissen aufgezeichnet werden. Ein solcher Test wäre eine echte Ensemble-Simulation, was zuvor nur schwer möglich war.“
Die Portierung von tLab auf APUs war technisch sehr aufwendig, führte jedoch zu bemerkenswerten Leistungssteigerungen. Über die reine Geschwindigkeitssteigerung hinaus ermöglicht dieser Übergang Wissenschaftlern nun die Durchführung hochauflösender Simulationen komplexer Oberflächenwechselwirkungen, die bisher rechnerisch nicht umsetzbar waren. Diese Möglichkeit könnte den Weg für ein besseres Verständnis realer atmosphärischer Turbulenzen ebnen.
— Christopher Williams
Als Mitglied des Gauss Centre for Supercomputing ist das HLRS eines der drei Bundeshöchstleistungsrechenzentren.
