explorer la montée en résolution dans la …...grand challenge tgcc / irene joliot-curie explorer...
TRANSCRIPT
![Page 1: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,](https://reader033.vdocuments.mx/reader033/viewer/2022042415/5f30b02ca1ee9e6b395a2460/html5/thumbnails/1.jpg)
Grand Challenge TGCC / Irene Joliot-Curie
Explorer la montée en résolution dans la modélisation du climat
Abdoul Khadre TRAORE15, Frédéric HOURDIN15, Thomas DUBOS35, OlivierBOUCHER14, Yann MEURDESOIF26, Arnaud CAUBEL26, Laurent
FAIRHEAD15, Joséfine GHATTAS14, Marie-Alice FOUJOLS14, SébastienDENVIL14, Jérome SERVONNAT26, Ehouarn MILLOUR15, Olivier MARTI26 ,
Sonia LABETOULLE14, Venkatramani BALAJI26
1CNRS 2CEA 3Polytechnique 4IPSL 5LMD/IPSL 6LSCE/IPSL
![Page 2: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,](https://reader033.vdocuments.mx/reader033/viewer/2022042415/5f30b02ca1ee9e6b395a2460/html5/thumbnails/2.jpg)
● Contexte
● Objectifs pour Grand Défi
● Bilan autour d’Irene
● Résultats : Grand Défi et post-GC
● Vers de nouveaux défis ?
![Page 3: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,](https://reader033.vdocuments.mx/reader033/viewer/2022042415/5f30b02ca1ee9e6b395a2460/html5/thumbnails/3.jpg)
Le temps : une réalisation ● Simuler● Prévoir
● 10jours en <1h = x200
Le climat : une statistique et son évolution● Modéliser● Comprendre/expliquer● Anticiper
● 30 ans en 1j (30 SYPD) = x10 000● au moins 3 SYPD = x1000
ContexteGrand Défi Irene – TGCC 24/06/19
![Page 4: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,](https://reader033.vdocuments.mx/reader033/viewer/2022042415/5f30b02ca1ee9e6b395a2460/html5/thumbnails/4.jpg)
P. Siebesma
différentes échelles, différents processus
ContexteGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL
![Page 5: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,](https://reader033.vdocuments.mx/reader033/viewer/2022042415/5f30b02ca1ee9e6b395a2460/html5/thumbnails/5.jpg)
ServeurXIOS
Environnement decontrôle
libIGCM / modipsl
Le modèle de climat de l'IPSL
ContexteGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL
![Page 6: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,](https://reader033.vdocuments.mx/reader033/viewer/2022042415/5f30b02ca1ee9e6b395a2460/html5/thumbnails/6.jpg)
● objectif général : explorer la montée en résolution spatiale de configurations globalesavec le modele de climat LMDZ,
plus précisément : LMDZOR (LMDZ-ORCHIDEE) et ICOLMDZOR (DYNAMICO-LMDZ-ORCHIDEE)
● motivation : étude d’événements extremes tels que cyclones ou précipitationsintenses, possible modification de leur fréquence et de leur intensité en réponse auréchauffement global.
● 3 sous-objectifs / 3 configurations :● montée en résolution de la configuration standard du modele : 50 km
en suivant le protocole HighResMIP (High Resolution Model IntercomparisonProject), partie de CMIP6 (Climate Model Intercomparison project)
● montée en résolution supplémentaire : 25 km – si nécessaire, sorties allégéespar rapport à HighResMIP
● configuration similaires avec DYNAMICO (plus scalable), voire à résolutionsplus fines jusqu’à 8 km
ObjectifsGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL
![Page 7: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,](https://reader033.vdocuments.mx/reader033/viewer/2022042415/5f30b02ca1ee9e6b395a2460/html5/thumbnails/7.jpg)
Montée en résolution
ObjectifsGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL
![Page 8: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,](https://reader033.vdocuments.mx/reader033/viewer/2022042415/5f30b02ca1ee9e6b395a2460/html5/thumbnails/8.jpg)
LM
DZ
DY
NA
MIC
O
ObjectifsGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL
![Page 9: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,](https://reader033.vdocuments.mx/reader033/viewer/2022042415/5f30b02ca1ee9e6b395a2460/html5/thumbnails/9.jpg)
HighResMIP Protocol
Tier 1 : Atmosphere-only historical 1950-2016● IPSL-CM6-LR 144x142 ( ~200 km at mid-lat)
● IPSL-CM7A-LR 10x402 ( ~200 km)● IPSL-CM6-HR 512x360 ( ~50 km at mid-lat)
● IPSL-CM7A-HR 10x1602 ( ~50 km)● IPSL-CM7A-VHR 10x3202 ( ~25 km)
Tier 2 : Ocean-Atmosphere historical 1950-2016 + future 2015-2050
Tier 3 : Atmosphere-only future 2015-2050-2100
ObjectifsGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL
![Page 10: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,](https://reader033.vdocuments.mx/reader033/viewer/2022042415/5f30b02ca1ee9e6b395a2460/html5/thumbnails/10.jpg)
HighResMIP ProtocolHaarsma et al., (2016) Geosci. Model Dev.
ObjectifsGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL
![Page 11: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,](https://reader033.vdocuments.mx/reader033/viewer/2022042415/5f30b02ca1ee9e6b395a2460/html5/thumbnails/11.jpg)
ObjectifsGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL
![Page 12: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,](https://reader033.vdocuments.mx/reader033/viewer/2022042415/5f30b02ca1ee9e6b395a2460/html5/thumbnails/12.jpg)
Workflow du modèle IPSL-CM6
ObjectifsGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL
![Page 13: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,](https://reader033.vdocuments.mx/reader033/viewer/2022042415/5f30b02ca1ee9e6b395a2460/html5/thumbnails/13.jpg)
ObjectifsGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL
![Page 14: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,](https://reader033.vdocuments.mx/reader033/viewer/2022042415/5f30b02ca1ee9e6b395a2460/html5/thumbnails/14.jpg)
● objectif général : explorer la montée en résolution spatiale de configurations globalesavec le modele de climat LMDZ,
plus précisément : LMDZOR (LMDZ-ORCHIDEE) et ICOLMDZOR (DYNAMICO-LMDZ-ORCHIDEE)
● motivation : étude d’événements extremes tels que cyclones ou précipitationsintenses, possible modification de leur fréquence et de leur intensité en réponse auréchauffement global.
● 3 sous-objectifs / 3 configurations :● montée en résolution de la configuration standard du modele : 50 km
en suivant le protocole HighResMIP (High Resolution Model IntercomparisonProject), partie de CMIP6 (Climate Model Intercomparison project)
● montée en résolution supplémentaire : 25 km – si nécessaire, sorties allégéespar rapport à HighResMIP
● configuration similaires avec DYNAMICO (plus scalable), voire à résolutionsplus fines jusqu’à 8 km
ObjectifsGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL
![Page 15: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,](https://reader033.vdocuments.mx/reader033/viewer/2022042415/5f30b02ca1ee9e6b395a2460/html5/thumbnails/15.jpg)
Scaling of DYNAMICO (dynamics + 4 tracers only)
Mill
isec
onds
per
full
time
step
Atmospheric columns / core
Weak and strong scaling, down to ~10ms/step for 50 columns/core
Bilan autour d’IreneGrand Défi Irene – TGCC 24/06/19 – T.Dubos/IPSL
Bilan autour d’Irene
Performance en calcul purvs Curie:
● 1x à 2x selon les cas
● Environ 1.3x enmoyenne
● Ratio calcul/mémoire ?
● Une machine proche de Curie => beaucoup d’éléments fonctionnels des le 1er jour
![Page 16: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,](https://reader033.vdocuments.mx/reader033/viewer/2022042415/5f30b02ca1ee9e6b395a2460/html5/thumbnails/16.jpg)
Bilan autour d’IreneGrand Défi Irene – TGCC 24/06/19 – T.Dubos/IPSL
Principales difficultés rencontrées
● I/O : une partie importante du défi est de réaliser des simulations avec des sorties detype CMIP
● Pb de performance (<3SYPD) de LMDZOR avec toutes les sorties demandéespar HighResMIP
● => désactivation de certaines sorties pour atteindre 3SYPD à 50km
● => pas de runs LMDZOR à 25km
● Runs DYNAMICO-LMDZ à grands nombre de coeurs (>3000)
● Difficultés initiales avec configurations DYNAMICO-LMDZ qui avaient tourné surCurie
● Environnement systeme évolutif => apparition/disparition de problemes
● Mélange de problemes syteme, disparus progressivement au cours du Défi, etde problemes liés aux codes (scalabilité mémoire / logs) identifiés et résoluspendant et apres le défi
● => runs DYNAMICO-LMDZ à basse résolution seulement pendant le grand Défi,à haute résolution apres (travail encore en cours, 50km et 25km)
● => encore du travail nécessaire pour atteindre 8km (CoE ESIWACE2)
![Page 17: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,](https://reader033.vdocuments.mx/reader033/viewer/2022042415/5f30b02ca1ee9e6b395a2460/html5/thumbnails/17.jpg)
Relative humidityZonal wind Temperature
=> some reduction of mean biases at higher resolution
Colors : bias = model-OBS
IPSL-CM6.1-LR
IPSL-CM6.1-HR
Contours : OBS (ERA)
RésultatsGrand Défi Irene – TGCC 24/06/19 – T.Dubos/IPSL
![Page 18: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,](https://reader033.vdocuments.mx/reader033/viewer/2022042415/5f30b02ca1ee9e6b395a2460/html5/thumbnails/18.jpg)
IPSL-CM6.1-HR
IPSL-CM6.1-LRAgoufou au Mali,
Distribution of precipitation at the Agoufou weather station, Mali :observed and modelled in 2004, 2005, 2006
Suggests better ability to produce high-intensity rainfall at higher resolution
RésultatsGrand Défi Irene – TGCC 24/06/19 – T.Dubos/IPSL
![Page 19: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,](https://reader033.vdocuments.mx/reader033/viewer/2022042415/5f30b02ca1ee9e6b395a2460/html5/thumbnails/19.jpg)
Liquid water
IPSL-CM7A-HR : DYNAMICO-LMDZ, 25km (1 024 000 atmospheric columns)
RésultatsGrand Défi Irene – TGCC 24/06/19 – T.Dubos/IPSL
![Page 20: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,](https://reader033.vdocuments.mx/reader033/viewer/2022042415/5f30b02ca1ee9e6b395a2460/html5/thumbnails/20.jpg)
IPSL-CM7A-HR : DYNAMICO-LMDZ, 50km (256 000 atmospheric columns)
Low-level cloudiness
RésultatsGrand Défi Irene – TGCC 24/06/19 – T.Dubos/IPSL
![Page 21: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,](https://reader033.vdocuments.mx/reader033/viewer/2022042415/5f30b02ca1ee9e6b395a2460/html5/thumbnails/21.jpg)
Prospects for higher-resolution climate modelling
● CMIP requires a throughput of x10000 (30SYPD)● Some climate modelling still doable with x1000 (3SYPD)● Ability to attain x1000 depends on maximum stable time step (numerics) and walltime
needed to perform one time step (implementation)● Assuming a large enough machine, reducing walltime is a strong scaling problem● For DYNAMICO, dt (in sec) is about 2.5*dx (in km)
=> ms/time step required to reach 3SYPD :● 25km 60 ms per full time step● 8km 20 ms per full time step● 1km 2.5 ms per full time step
CMIP6 physics (79 vertical levels) cost 2-3 ms per column per call (24 SYPD with 96 calls per day, 36 columns per core)
If physics are called every 5 dynamics time steps :
100 columns/core => 20+(100*2/5)=60 ms => 3 SYPD at 25 km with 10 000 cores
30 columns/core => 10+(30*2/5)=22 ms => 3 SYPD at 8 km with 300 000 cores ?
10 columns/core => 3+(10*2/5)=7 ms => 1 SYPD at 1 km with 50 million cores ??
Vers de nouveaux défis ?Grand Défi Irene – TGCC 24/06/19 – T.Dubos/IPSL
![Page 22: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,](https://reader033.vdocuments.mx/reader033/viewer/2022042415/5f30b02ca1ee9e6b395a2460/html5/thumbnails/22.jpg)
Vers de nouveaux défis ?Grand Défi Irene – TGCC 24/06/19 – T.Dubos/IPSL
Que serait une machine française à >> 100 000 coeurs ?
● Irene Skylake x 10 … ?
● CPU + GPU/IA
Jean Zay …
● CPU + accélérateur vectoriel ( NEC SX Aurora)
contrat 50 M€ NEC/Deutscher Wetterdiensthttps://www.nec.com/en/press/201906/global_20190617_01.html
100 colonnes/coeur => 20+(100*2/5)=60 ms => 3 SYPD at 25 km avec 10 000 coeurs
30 colonnes/coeur => 10+(30*2/5)=22 ms => 3 SYPD à 8 km avec 300 000 coeurs ?
10 colonnes/coeur => 3+(10*2/5)=7 ms => 1 SYPD at 1 km avec 50 millions de coeurs ?