Datagrid in Earth System Sciences (DGESS) - Integration und Erweiterungen - Projektreffen am...
-
Upload
berahthraben-zemke -
Category
Documents
-
view
103 -
download
0
Transcript of Datagrid in Earth System Sciences (DGESS) - Integration und Erweiterungen - Projektreffen am...
![Page 1: Datagrid in Earth System Sciences (DGESS) - Integration und Erweiterungen - Projektreffen am Max-Planck-Institut für Meteorologie Heinrich Widmann 28.](https://reader035.fdocuments.net/reader035/viewer/2022070310/55204d6949795902118bfa22/html5/thumbnails/1.jpg)
Datagrid in Earth System Sciences (DGESS)
- Integration und Erweiterungen -
Projektreffenam Max-Planck-Institut für Meteorologie
Heinrich Widmann
28. November 2005
![Page 2: Datagrid in Earth System Sciences (DGESS) - Integration und Erweiterungen - Projektreffen am Max-Planck-Institut für Meteorologie Heinrich Widmann 28.](https://reader035.fdocuments.net/reader035/viewer/2022070310/55204d6949795902118bfa22/html5/thumbnails/2.jpg)
Projektplan – Planung Kickoff 05/05AP Beschreibung
04/05
05/05
06/05
07/05
08/05
09/05
10/05
11/05
12/05
01/06
02/06
03/06
04/06
05/06
06/06
07/06
08/06
09/05
10/06
11/06
12/06
01/06
02/06
03/06
I.1 InstallationI.2 BenutzerI.3 ProzesseI.4 AnwendungenI.5 Anfoderungsf.I.6 MonitoringI.7 HardwareII.1 Integration HostsII.2 Integration UserII.3 AbhaenigkeitenII.4 Automat. InstallII.5 BenutzerfuehrungII.6 LDAPII.7 SoziologieII.8 PortalIII.1 Allg. Anford.III.2 TestphaseIII.3 ProduktivsystemP IV OptimierungenP V Erweiterungen
![Page 3: Datagrid in Earth System Sciences (DGESS) - Integration und Erweiterungen - Projektreffen am Max-Planck-Institut für Meteorologie Heinrich Widmann 28.](https://reader035.fdocuments.net/reader035/viewer/2022070310/55204d6949795902118bfa22/html5/thumbnails/3.jpg)
Phase II : Integration und Anpassung
AP II.1 : Integration weiterer Rechner als 'grid hosts'AP II.2 : Integration weiterer Benutzer und ArbeitsgruppenAP II.3 : Platform-, Architektur- und Ressourcenabhängigkeit testenAP III.4 : Automatische Installation der execution hostsAP II.5 : Benutzerführung und DokumentationAP II.6 : VerzeichnisdiensteAP II.7 : Soziologie : Verabredungen, Policies und AccountingAP II.8 : Portal
![Page 4: Datagrid in Earth System Sciences (DGESS) - Integration und Erweiterungen - Projektreffen am Max-Planck-Institut für Meteorologie Heinrich Widmann 28.](https://reader035.fdocuments.net/reader035/viewer/2022070310/55204d6949795902118bfa22/html5/thumbnails/4.jpg)
Phasen III bis V
Phase III : Institutsweite EinführungAP III.1 : Gewährleistung von allgemeinen Anforderungen
AP III.2 : Eröffnung der institutsweiten Testphase
AP III.3 : Aufnahme des produktiven Betriebs
Phase IV : OptimierungenPhase V : Institutsübergreifende Erweiterungen
![Page 5: Datagrid in Earth System Sciences (DGESS) - Integration und Erweiterungen - Projektreffen am Max-Planck-Institut für Meteorologie Heinrich Widmann 28.](https://reader035.fdocuments.net/reader035/viewer/2022070310/55204d6949795902118bfa22/html5/thumbnails/5.jpg)
Ausgangslage : ZMAW und IT-Infrastruktur
Das Zentrum für Marine und Atmosphärische Wissenschaften (ZMAW) besteht aus dem MPI für Meteorologie und sechs Instituten der Universität Hamburg Komplexe und heterogene Infrastruktur ca. 400 Workstations + Server (Sun Fire 15k, Opteron, ...) Große Datenmengen werden über das Netzwerk bewegt Zentraler IT-Support (CIS) 2006 : zus. Storage (32 TB 'disc cache'??) und Linuxcluster
![Page 6: Datagrid in Earth System Sciences (DGESS) - Integration und Erweiterungen - Projektreffen am Max-Planck-Institut für Meteorologie Heinrich Widmann 28.](https://reader035.fdocuments.net/reader035/viewer/2022070310/55204d6949795902118bfa22/html5/thumbnails/6.jpg)
Datagrid am ZMAW
10 executionhost (Kursrechner kursNN.zmaw.de) : meist idle
Master (yoda.zmaw.de)
Shadow (gallia.zmaw.de)
RAID
Gridsharesvon zentraler NFS-Server mounten
Fileserver
![Page 7: Datagrid in Earth System Sciences (DGESS) - Integration und Erweiterungen - Projektreffen am Max-Planck-Institut für Meteorologie Heinrich Widmann 28.](https://reader035.fdocuments.net/reader035/viewer/2022070310/55204d6949795902118bfa22/html5/thumbnails/7.jpg)
10 executionhost (Kursrechner kursNN.zmaw.de) : meist idle
Master (yoda.zmaw.de)
Shadow (gallia.zmaw.de)
RAID
Gridsharesvon zentraler NFS-Server mounten
Fileserver
IT-Umgebung des ZMAW :I/O zwischen Compute-, Datei- und DB-Systemen
M&D : Datenmanagement und CERA Datenbank
DWD, ...ZMAW -LAN/Grid
DKRZ : HPC und Archiv
Paralleles FS (GFS)
CERADB
- Archiv- Tapes
- NEC-SX6
- Metadatenbankmodell
Weitere, assozieerteKlimaforschungsinstitute :- z.T. Assoz. Projektpartnerund/oder im C3-Grid und Teilhaber des DKRZ
AWIGKSS
Weitere, entfernte Datenzentren
Met-Office,
...
ECMWF
Earth-simulator, ...
ZMAW
![Page 8: Datagrid in Earth System Sciences (DGESS) - Integration und Erweiterungen - Projektreffen am Max-Planck-Institut für Meteorologie Heinrich Widmann 28.](https://reader035.fdocuments.net/reader035/viewer/2022070310/55204d6949795902118bfa22/html5/thumbnails/8.jpg)
10 executionhost (Kursrechner kursNN.zmaw.de) : meist idle
Master (yoda.zmaw.de)
Shadow (gallia.zmaw.de)
RAID
Gridsharesvon zentraler NFS-Server mounten
Fileserver
Einbinden in überregionale Grids (EGEE)
ZMAWals zertif.VO (virtuelleOrganistation)
LDAP
EGEE
Entfernte Resourcen
Portal
![Page 9: Datagrid in Earth System Sciences (DGESS) - Integration und Erweiterungen - Projektreffen am Max-Planck-Institut für Meteorologie Heinrich Widmann 28.](https://reader035.fdocuments.net/reader035/viewer/2022070310/55204d6949795902118bfa22/html5/thumbnails/9.jpg)
Konzept für Übergang vom Testbed zum Produktivsystem
Wie muessen die Server dimensioniert sein (CPU, memory, ...) ? Mit welcher realistischen Last ist zu rechnen ? Wie gross muss Storage/RAID ausgelegt werden, das
am grid haengt Was muss in Hinsicht auf Linuxcluster und
Multiprozessorserver prophylaktisch eingeplant werden ? Dazu bestehende Gridsysteme anschauen (DEISY
(Hamburg und Zeuthen), RWTH, ...)
![Page 10: Datagrid in Earth System Sciences (DGESS) - Integration und Erweiterungen - Projektreffen am Max-Planck-Institut für Meteorologie Heinrich Widmann 28.](https://reader035.fdocuments.net/reader035/viewer/2022070310/55204d6949795902118bfa22/html5/thumbnails/10.jpg)
Die übernächsten Schritte (Prio 2)
Über das Grid und mit Metadaten in die CERA-Datenbank schreiben (mit M&D)Testfileserver am DKRZRealistische LastszenarienZertifizierung für Einbindung in EGEELösungen für Datentransfer und -storage (mit DKRZ)...
![Page 11: Datagrid in Earth System Sciences (DGESS) - Integration und Erweiterungen - Projektreffen am Max-Planck-Institut für Meteorologie Heinrich Widmann 28.](https://reader035.fdocuments.net/reader035/viewer/2022070310/55204d6949795902118bfa22/html5/thumbnails/11.jpg)
Organisatorisches (1)
Websites :DGESS : www.cis.zmaw.de -> About Us -> Projects
HH-Cluster-C3-Grid-Dokuwiki : c3grid.dkrz.de
Mailingliste :[email protected]
Vielen Dank anSUN für Support und Verköstigung
das MariTeam (Mariola+Mario) für Kaffeeservice
alle für Teilnahme und Mitarbeit !!
![Page 12: Datagrid in Earth System Sciences (DGESS) - Integration und Erweiterungen - Projektreffen am Max-Planck-Institut für Meteorologie Heinrich Widmann 28.](https://reader035.fdocuments.net/reader035/viewer/2022070310/55204d6949795902118bfa22/html5/thumbnails/12.jpg)
Organisatorisches (2)
Abendessen :um 19 h
im R&B
Weidenallee 20, 20357 Hamburg
Naechstes Projektmeeting ?Sommer 2006 ?
Noch Fragen ? => Fragen !Diskussion ...