Hamburg, Mar 2002 DKRZ Workshop, J. Behrendt MIRAKEL Die Klimadatenbank des DWD Johannes Behrendt...

Hamburg, Mar 2002DKRZ Workshop, J. Behrendt

MIRAKELDie Klimadatenbank des DWD

Johannes BehrendtDeutscher Wetterdienst (DWD)

Hamburg, March 26, 2002


Übersicht

• Eigenschaften der MIRAKEL Datenbanko Nationale Datenbasis

o Aspekte des Datenmodells

o Anwendungen

• Verbesserung des externen Datenbankzugriffso Interner und externer Datenbankzugriff

o Anforderungen an eine verbesserte Webschnittstelle (UNIDART)


Datenbasis

•Nationale Klimadaten

•Internationale Klimadatenzentren (GPCC, GCC)

•Globale SYNOP Daten (seit 2001)

Eigenschaften

•Direkter Zugriff auf alle Daten in einer relationalen Datenbank

(Zeitreihen und synoptische Sortierung)

•Eindeutige Identifizierung aller Stationen (global, national einschließlich der Stationsgeschichte)

Die MIRAKEL Datenbank


Datenmodell für Daten

10 Minuten-Werte

Niederschlag

Stündl. Werte

SYNOP

KlimaOberfläche

Aerologische Daten

Erdbodentemperatur

Monatswerte

Langj. Mittel

M e t a

d a t e n


Datenmodell

Tägliche Werte

WetterlagenklassifikationPhänologische Daten


Geschichte der Datenbasisseit 1767 Monatswerteseit 1781 Tageswerte (Hohenpeissenberg)seit 1960 Datenerfassung auf computerlesbarem Mediumseit 1975 Quallitätskontrolle mit Computerprogrammen1945- 1990 unterschiedliche Datenverarbeitung in DWD und MDseit 1997 Import der Archivdateien nach MIRAKELseit 1998 Import aktueller deutscher Daten nach MIRAKELseit 2001 Import globaler SYNOP nach MIRAKEL

Status der Migration nach MIRAKEL

Vollständige Migration des historischen Archivs außer:

•SYNOP-Daten vor 1979•Aerologische Daten vor 1998•Phänologische Daten, Strahlungsdaten


Geschichte der Klimadaten im DWD


Globale Verteilung28 essential SYNOP Stationen (ECOMET)

Im DWD verfügbarca 200 SYNOP Stationen (stündlich)

ca 600 Klimastationen (täglich)ca 4000 Niederschlagsstationen (täglich)

DKRZ Workshop, J. Behrendt Hamburg, Mar 2002

Anzahl der Stationen


• Identifikation aller Datensätze durch

• Fremdschlüssel zu den Metadateno Stations_id

o Messnetz_id

o Mess_datum (für Stationsgeschichte)

Eigenschaften des Datenmodells für die Daten

Druck / TiefeLuftdruck, Tiefe (teilweise)

Messnetz DatenquelleMessnetz_id

Beschreibung der QualitätskontrollverfahrenQualitäts_niveau

Beschreibung der KodierungStruktur_version

Datum/Zeit der BeobachtungMess_datum

Eindeutige StationsnummerStations_id


Mengengerüst der MIRAKEL-Datenbank


Anzahl der Tabellen 179

Anzahl der Tabellen mit Daten 50

Daten 55 Gb

Indizes 65 Gb

größte Tabelle 10 Gb

Anzahl Zeilen in größter Tabelle 102 Mill Zeilen

Zeilen pro Minute beim Retrieve 10-30 k Zeilen/Min


Anwendungen

• Import aktueller und historischer Klimadaten• Qualitätssicherung• Maskengesteuerter interaktiver Zugriff • Internes Retrieval• Web Anwendungen


Anwendungs system old file

formats Reports

OLMFORMS

REPORTS

MIRAKELDATABASE

MIRAKEL_RETRIEVE QUERY_BUILDER / MS ACCESS

old file formats

ad- hoc-queries


SQLWWW

IMPORTGTS

Data Service

NA

TIO

NA

L

DA

TA


Internetzugang zu Klimadaten im DWD

KLIS:Das Klima Informations System

http://ww.dwd.de/research/klis

Klimadaten online

http://www.dwd.de/research/klis/daten/dat.htm


Klimadaten im Internet

mean, min, max temperature TM, TX, TN

sum precipitation RS

sum sunshine duration SD

mean cloud cover N

mean, max wind speed FM, FX

daily data (28 stations since 1991)

mean, min, max TM, TX, TN

sum, max RS

sum SD

mean N

mean, max FM, FX

monthly data (40 stations since 1981)

monthly mean TM, N

monthly sum RS, SD

30 year meansSelected maps



Metadaten im Internet

• Beschreibung der Datenkollektive

• Beschreibung der Datenpolitik

• Aktuelle Stationsinformationen

- Stationsnummern

- Stationsname

- Koordinaten

- Stationshöhe

• Verfügbarkeit der Zeitreihen

- Zeitraum (für ein Datenkollektiv an einer Station)



Geplante Weiterentwicklung

•Vergrößerung der MIRAKEL- Datenbasis•Zusätzliche Metadaten

•Verfügbarkeit von Zeitreihen, detailliertere historische Informationen

•Zusätzliche Klimadaten

•zusätzliche SYNOP und aerologische Daten

•Phänologische Daten

•Strahlungsdaten

•Historische globale Daten


•Verbesserung der Qualitätssicherung

•Verbesserung des Internetzugangs (UNIDART)


National Climate Data Warehouses

NMS

internet application

NMS


NMS


GTS



International Climate Data Centres

NMS NMS NMS

Data Centre


Data Centre


Data Centre




Data Exchange Platform

NMS

NMS NMS

Integration Software

Virtual Climate Database

Internet applications

UNIDART



Definition von Anforderungen an UNIDART

• ECSN Workshop in Langen (Nov 12-13, 2001)http://www.dwd.de:8080/research/klis/internat/ecsn/ecsn_workshop12112001/index.htm

• UNIDART Workshop in Langen (Jan 28-30, 2002) http://www.dwd.de/UNIDART/Workshop/

Hamburg, Mar 2002DKRZ Workshop, J. Behrendt Hamburg, Mar 2002

Klimadaten Klimadaten von der Oberfläche und aus der freien Atmosphäre

Zeitreihen

monatliche und tägliche Werte

DKRZ Workshop, J. Behrendt

Metadaten Verfügbarkeit Datenproduzent Daten- und Nutzerklassifikation (Zugriffsrechte) Stationsinformationen (auch historisch) Beschreibung der Elemente (einschließlich der Qualität) Nutzung von Metadatenstandards (CBS Empfehlungen)

Anforderungsliste für UNIDART

Hamburg, Mar 2002DKRZ Workshop, J. BehrendtDKRZ Workshop, J. Behrendt Hamburg, Mar 2002

Schlussbemerkung

•MIRAKEL ist optimiert für die interne Nutzung im DWD

•UNIDART ist vorgesehen für einen besseren Webzugang

Hamburg, Mar 2002 DKRZ Workshop, J. Behrendt MIRAKEL Die Klimadatenbank des DWD Johannes Behrendt...

Documents

Transcript of Hamburg, Mar 2002 DKRZ Workshop, J. Behrendt MIRAKEL Die Klimadatenbank des DWD Johannes Behrendt...