datenhaltung beim deutschen wetterdienstkonferenz-nz.dlr.de/pages/storage2018/present/1....

Datenhaltung beim

Deutschen Wetterdienst

DLR-Konferenz Storagetechnology 2018, 7.6.2018, Ulrichshusen

Manuel Reiter, DWD

Datenhaltung beim DWD - M. Reiter, DWD, DLR-Konferenz Storagetechnology, 7.6.2018

Herzlichen Dank an D. Majewski für die Folien zur Numerischen Wettervorhersage!

Der DWD im Kurzportrait

1952 gegründet

Behörde des Bundesministeriums für

Verkehr und digitale Infrastruktur (BMVI)

Sitz der Zentrale in Offenbach am Main

6 Niederlassungen in Hamburg, Potsdam,

Leipzig, Essen, Stuttgart und München

Rund 2.300 Beschäftigte

Wissenschaftlich-technischer Dienstleister

mit Forschungsauftrag

Vertretung Deutschlands in internationalen

meteorologischen und klimatologischen

Organisationen


Unser gesetzlicher Auftrag (DWD-Gesetz §4, Abs. 1)

(1) Aufgaben des Deutschen Wetterdienstes sind

1. die Erbringung meteorologischer und klimatologischer Dienstleistungen für die Allgemeinheit oder einzelne Kunden und

Nutzer, insbesondere auf den Gebieten des Verkehrs, der gewerblichen Wirtschaft, der Land- und Forstwirtschaft, des

Bauwesens, des Gesundheitswesens, der Wasserwirtschaft einschließlich des vorbeugenden Hochwasserschutzes, des Umwelt-

und Naturschutzes und der Wissenschaft,

2. die meteorologische Sicherung der Luft- und Seefahrt, der Verkehrswege sowie wichtiger Infrastrukturen, insbesondere der

Energieversorgung und der Kommunikationssysteme,

3. die Herausgabe amtlicher Warnungen über Wettererscheinungen,

a) die zu einer Gefahr für die öffentliche Sicherheit und Ordnung führen können oder

b) die in Bezug zu drohenden Wetter- und Witterungsereignissen mit hohem Schadenspotenzial stehen,

4. die kurzfristige und langfristige Erfassung, Überwachung und Bewertung der meteorologischen Prozesse, Struktur und

Zusammensetzung der Atmosphäre,

5. die Erfassung der meteorologischen und klimatologischen Wechselwirkung zwischen der Atmosphäre und anderen

Bereichen der Umwelt,

6. die Analyse und Vorhersage der meteorologischen und klimatologischen Vorgänge sowie die Analyse und Projektion des

Klimawandels und dessen Auswirkungen,

7. die Überwachung der Atmosphäre auf radioaktive Spurenstoffe und die Vorhersage deren Verfrachtung,

8. der Betrieb der erforderlichen Mess- und Beobachtungssysteme zur Erfüllung der in den Nummern 1 bis 7 genannten

Aufgaben als Teil der Geodateninfrastruktur und

9. die Bereithaltung, Archivierung, Dokumentierung und Abgabe meteorologischer und klimatologischer Geodaten und

Dienstleistungen.


Weather prediction: Hi-tech for the public good


Die regionale Präsenz zur Erfassung aller wetter- und

klimarelevanten Daten

182 hauptamtliche Wetterwarten und

Wetterstationen

48 Stationen mit Radioaktivitätsmessung

Rund 1.761 ehrenamtl. betreute Messstationen

Ca. 1.149 phänologische Beobachtungsstellen

18 Wetterradarstandorte in Deutschland

2 Meteorologische Observatorien

2 hauptamtliche Bordwetterwarten

10 Radiosondenstationen mit rund 7.000

Aufstiegen pro Jahr


Meteorologische Beobachtungsdaten


Weather Satellites

METEOSAT

NOAA POES

FENGYUN 3

FENGYUN 1D

MODIS TERRA

MODIS AQUA

JPSS1

SUOMI NPP

Higher resolution

Color

Visible channel by night

METOP (EPS)


From observation to meteorological product

Observations

Weather forecasts Product

Generation

now +2 hour +1 day +3 days +10 days

Products

…

nowcasting Shortest

range

Short

range

Medium

range


The operational NWP system of DWD in 2018

Deterministic and probabilistic analyses and forecasts on global and regional scales

Regional

Ensemble

Data

Assimilation

KENDA

40 members

2.2 km

ICON deterministic

13 / 6.5 km (Europe)

Global Ensemble

Prediction System

ICON-EPS

40 members

40 / 20 km (Europe)

Global

Ensemble

Data

Assimilation

ICON-EDA

40 members

40/20 km

Regional Ensemble

Prediction System

COSMO-D2-EPS

20 members

2.2 km

COSMO-D2 deterministic

2.2 km

EnVAR Hybrid

DA-System

Physics

perturbations

G

L

O

B

A

L

R

E

G

I

O

N

A

L


Global Ensemble Prediction System: ICON-EPS

40 member; grid spacing 40 km (20 km over Europe), 90 layers

Initial state based on ICON ensemble data assimilation (LETKF)

including SST perturbation (every 3 h, temporally correlated)

Physics perturbations: Combination of (fixed) parameter

perturbations

Forecasts based on 00 /12 UTC up to 180 h, based on 06 / 18

UTC up to 120 h, and based on 03 / 09 / 15 / 21 UTC up to 30 h

Used to estimate the flow-dependent predictability


ICON-EPS: We 00+36h and Obs Thu 12 UTC

Probability (%) of gale force gusts (Bft 11)


ICON-EPS: Thu 00+12h and Obs Thu 12 UTC

Probability (%) of gale force gusts (Bft 11)


Improving the forecast quality from 1968 to 2017

Tendency correlation of surface pressure forecasts from

1968 to 2017 for North Atlantic and Central Europe

Forecast

range


Planned

Numerical Weather Prediction

and

Environmental Prediction Systems

2019 – 2022

Seamless Integrated Forecasting System for Nowcasting

and very short range forecasts (SINFONY)

DWD uses very different approaches for nowcasting (0 – 2h) and very short range forecasts (2 – 6/12 h) .

Nowcasting Feature based, e.g. detection of convective cells in radar images; estimation of propagation speed and direction; „linear“ extrapolation of detected objects/features. Update-rate of new forecasts ~ 5 to 15 min.

Very short range forecasts NWP model based; analysis of the initial state taking as much as possible high resolution observational data into account; solution of the hydrodynamical equations on a high resolution 3D-grid for the atmosphere and the surface/soil. Update-rate of new forecast 3 h; update-rate of new analyses 1 h (in 3-hourly blocks).

Seamless Integrated Forecasting System (SINFONY) Combination of both approaches to an ensemble-based seamless forecast product for forecast ranges from 0 to 6 (12) h with a rapid update rate (≤1 h).


NWP-System 2019 - 2022, Part I

(1) SINFONY RUC: hourly 12h ensemble forecasts based on very short data cut-off

(< 20 min); assimilation of esp. 3D-radar data, satellite (SEVIRI), Mode-S;

40 members for ensemble data assimilation and 40 members for EPS.

(2) ICON-LAM-EPS: every 3 hours ensemble forecasts up to 48h; 40 members for

ensemble data assimilation and 30 members for EPS.

Model domain of SINFONY RUC / ICON-LAM:

538.000 grid points / layer with a grid

spacing of 2.08 km for the full domain and

a 2-way nest with 707.000 grid points / layer

and a grid spacing of 1.04 km for Germany.

65 layers. Δ~ 2.08 km

Δ~ 1.04 km


NWP-System 2019 - 2022, Part II

(3) ICON-EDA and ICON–EPS (26 / 13 / 6.5 km); 250 members for global ensemble data

assimilation and 40 members for global ensemble prediction.

Model domain of ICON-EDA and ICON-EPS;

737.280 grid points / layer with a grid

spacing of 26 km for the global domain

and 2-way nests ICON-EU(NA)2 for Europe,

the North Atlantic and North Africa with

566.956 grid points / layer and a grid

spacing of 13 km and ICON-ME for Central

Europe with 99.084 grid points / layer and

a grid spacing of 6.5 km.

120 (global) / 90 (ICON-EU(NA)2) / 80 layers.


NWP-System 2019 - 2022, Part III

(4) ICON (13 / 6.5 km); global deterministic high resolution forecasts.

Model domain of ICON for deterministic

high resolution forecasts with

2.949.120 grid points / layer with a grid

spacing of 13 km for the global domain

and the 2-way nest ICON-EU(NA)2 for

Europe, the North Atlantic and North

Africa with 1.880.000 grid points / layer

and a grid spacing of 6.5 km.

120 (global) / 90 (ICON-EU(NA)2).


„Modell-Uhr”

Operational timetable of the

DWD model suite

Graphik: T. Hanisch, DWD


1966 1971 1976 1981 1986 1991 1996 2001 2006 2011 2016

1 TeraFLOP/s

1 MegaFLOP/s

1 GigaFLOP/s

CDC-3800 Cyber 76

Cray Y-MP

IBM

pSeries Cray

T3E

NEC

SX-9

su

sta

ine

d p

erf

orm

an

ce

, a

pp

lic

ati

on

bas

ed

Cra

y X

C30/X

C40

x 10

x 100

x 1.000

x 10.000

x 100.000

x 1.000.000

x 10.000.000

x 100.000.000

Cra

y X

C40

HPC performance at DWD


DMRZ (Offenbach) - Computing Center

HPC production

Megware

34 node

768 cores

6656 GiB main memory

Cray XC40

432+544 nodes

29952 cores

122 TiB main memory

Global filesystems

Cray Sonexion/

Panasas

2.8 PiB+120 TiB

Archive system Oracle/IBM-HPSS Data server production

5 xSUN X5-4

5 x 72 cores

5 x 1 TiB main memory

3.3 PiB disk storage

Oracle STK SL8500

2 tape silos

20000 storing positions

60 tape drives

35 PiB (25 PiB net)

IBM X3650 M5

9 nodes

184 cores

480 GiB main memory

2 PiB disk storage

Computing hall EAST Computing hall WEST

10 GBit

HPC research

Megware

66 nodes

1528 cores

10752 GiB main memory

Cray XC40

432+544 nodes

29952 cores

122 TiB main memory

Global filesystems

Cray Sonexion/

Panasas

5.5 PiB+170 TiB

Data server research

5 x SUN X5-4

5 x 72 cores

5 x 1 TiB main memory

3.5 PiB disk storage

10 GBit


Operational NWP data production at DWD (GByte / day)

Q4 2017

17 TByte / day Q4 2021

190 TByte / day



Data flow at DWD

NEC GxFS

Storage

Appliance

NEC GxFS

Storage

Appliance

HPC HPC pre/post

processing

pre/post

processing

Data server Data server

HSM Tape library Observations

Manual synchronisation

http://sharepoint.corp.netapp.com/sites/eseries/OEM/Logos/Oracle.jpg

http://sharepoint.corp.netapp.com/sites/eseries/OEM/Logos/Oracle.jpg

Requirements for our data servers

99.9% availability (99% per system)

>3 PB storage capacity

>36 GB/s file system performance

>20 GB/s network performance

Server performance benchmarks based on actual system usage

(Oracle, SKY)


Tiered Storage (data flow schematics)

45 TB

Tier 1 3 PB Tier 2

DA

Lot1


NEC GxFS Storage Appliance / building block approach

flexible approach (scalable in capacity and performance)

internal redundancies

powered by IBM Spectrum Scale ®

~ 6–12 GB/s throughput per building block,

dependent on I/O patterns, > 36 GB/s demonstrated out-

of-the-box

near 100% scaling when using multiple building blocks

4 clustered building blocks per hall

redundancies on all levels to minimize downtimes


building block architecture

NEC SNA660-I • redundant controllers

• redundant IB ports per

controller

• 224 Gbit/s throughput / Array

• ~ 8 TB SSD capacity

• ~ 660 TB NLSAS capacity

• 2 arrays per building block

Mellanox SB7800 • 36 EDR ports per switch

• built-in subnet manager

• SDR/DDR/QDR/FDR/EDR

support

NEC Express 5800 • 2 socket Broadwell system

• 128 GB RAM

• 2x IB FDR HIC

• 2x IB EDR HIC


SKY server

OHA controlled

QDR IB Switch QDR IB

Switch

Sun

Server

X5-4

Sun

Server

X5-4

Sun

Server

X5-4

NEC

SNA660

NEC

SNA660

NEC

SNA660

NEC

SNA660

NEC

SNA660

NEC

SNA660

NEC

SNA660

NEC

SNA660

NEC

SNA460

NEC

SNA460

NEC

SNA460

220 TiB

VG 3 TB NL SAS

220 TiB

VG 3 TB NL SAS

220 TiB

VG 3 TB NL SAS

220 TiB

VG 3 TB NL SAS

220 TiB

VG 3 TB NL SAS

220 TiB

VG 3 TB NL SAS

220 TiB

VG 3 TB NL SAS

220 TiB

VG 3 TB NL SAS 80 TiB

VG

0,6 TB SAS

80 TiB

VG

0,6 TB SAS

80 TiB

VG

0,6 TB SAS

EDR IB Switch EDR IB Switch

Data access server Database server

160 TiB

DDP 6 TB NL SAS

160 TiB

DDP 6 TB NL SAS

160 TiB

DDP 6 TB NL SAS

160 TiB

DDP 6 TB NL SAS

160 TiB

DDP 6 TB NL SAS

160 TiB

DDP 6 TB NL SAS

160 TiB

DDP 6 TB NL SAS

160 TiB

DDP 6 TB NL SAS

8 TiB SSD

8 TiB SSD

8 TiB SSD

8 TiB SSD

8 TiB SSD

8 TiB SSD

8 TiB SSD

8 TiB SSD

EDR IB Switch EDR IB Switch x4

x4

x4

x4

39 TiB

VG

1,8 TB SAS

39 TiB

VG

1,8 TB SAS

39 TiB

VG

1,8 TB SAS

VG: Volume Group

DDP: Dynamic disk

pool

Sun

Server

X5-4

Sun

Server

X5-4

x6 x6 x6

data server architecture

NEC GxFS

appliance

(2 Server) NEC GxFS

appliance

(2 Server) NEC GxFS

appliance

(2 Server)

NEC GxFS

Storage

Appliance

(2 Servers)



Vielen Dank!

Fragen? Anmerkungen?

[email protected]

datenhaltung beim deutschen wetterdienstkonferenz-nz.dlr.de/pages/storage2018/present/1....

Documents