Geplante Speicherinfrastruktur der Universit¨at Bielefeld ... · Geplante Speicherinfrastruktur...

15
Geplante Speicherinfrastruktur der Universit ¨ at Bielefeld Inhalt: 1 Speichertechnologien 2 Motivation 3 Anforderungen 4 Vorgehensweise 5 M ¨ ogliche L ¨ osung Zentrale Speicher–Infrastruktur Dr. Lars K¨oller, 10. Dezember 2001 Hochschulrechenzentrum Universit¨ at Bielefeld

Transcript of Geplante Speicherinfrastruktur der Universit¨at Bielefeld ... · Geplante Speicherinfrastruktur...

Page 1: Geplante Speicherinfrastruktur der Universit¨at Bielefeld ... · Geplante Speicherinfrastruktur der Universit¨at Bielefeld Inhalt: 1 Speichertechnologien 2 Motivation 3 Anforderungen

Geplante Speicherinfrastruktur derUniversitat Bielefeld

Inhalt:

1 Speichertechnologien

2 Motivation

3 Anforderungen

4 Vorgehensweise

5 Mogliche Losung

Zentrale Speicher–InfrastrukturDr. Lars Koller, 10. Dezember 2001

HochschulrechenzentrumUniversitat Bielefeld

Page 2: Geplante Speicherinfrastruktur der Universit¨at Bielefeld ... · Geplante Speicherinfrastruktur der Universit¨at Bielefeld Inhalt: 1 Speichertechnologien 2 Motivation 3 Anforderungen

� Speichertechn.: Direct Attached Storage (DAS)

• Bisher eingesetzte Technologie ist DAS

• Probleme:

– Skalierbarkeit

– Performance

– Verfugbarkeit

– Administration

⇒ Auswege?

Zentrale Speicher–InfrastrukturDr. Lars Koller, 10. Dezember 2001

HochschulrechenzentrumUniversitat Bielefeld

Page 3: Geplante Speicherinfrastruktur der Universit¨at Bielefeld ... · Geplante Speicherinfrastruktur der Universit¨at Bielefeld Inhalt: 1 Speichertechnologien 2 Motivation 3 Anforderungen

� Speichertechn.: Network Attached Storage (NAS)

• Auspex,NetApp

• Vorteile:

– Geringe Komplexitat

– Nutzt Netzinfrastruktur

– Keine redundanten Daten

• Nachteile:

– Nur NFS und CIFS

– Novell–Integration

– Mangelhafter Support durchSoftware/System-Anbieter

Zentrale Speicher–InfrastrukturDr. Lars Koller, 10. Dezember 2001

HochschulrechenzentrumUniversitat Bielefeld

Page 4: Geplante Speicherinfrastruktur der Universit¨at Bielefeld ... · Geplante Speicherinfrastruktur der Universit¨at Bielefeld Inhalt: 1 Speichertechnologien 2 Motivation 3 Anforderungen

� Speichertechn.: Storage Area Network (SAN)

• SUN, HP,EMC2, LSI

• Vorteile:

– Integration aller Systeme

– und Applikationen

• Nachteile:

– Hohe Komplexitat

– Separates Netzwerk

– Hohe Kosten

Zentrale Speicher–InfrastrukturDr. Lars Koller, 10. Dezember 2001

HochschulrechenzentrumUniversitat Bielefeld

Page 5: Geplante Speicherinfrastruktur der Universit¨at Bielefeld ... · Geplante Speicherinfrastruktur der Universit¨at Bielefeld Inhalt: 1 Speichertechnologien 2 Motivation 3 Anforderungen

� Motivation: Ursachen

• Verteilung der Ressource Speicher auf viele Systeme

• In der Summe ausreichend Kapazitat und IO–Leistung

• Aber: Nicht dort verfugbar, wo sie gerade benotigt wird!

• Probleme nehmen zu mit wachsenden Datenmengen

Zentrale Speicher–InfrastrukturDr. Lars Koller, 10. Dezember 2001

HochschulrechenzentrumUniversitat Bielefeld

Page 6: Geplante Speicherinfrastruktur der Universit¨at Bielefeld ... · Geplante Speicherinfrastruktur der Universit¨at Bielefeld Inhalt: 1 Speichertechnologien 2 Motivation 3 Anforderungen

� Motivation: Konsolidierung Mailserver

• A1000 von SUN: 100 GB auf 12 Platten

• 26000 Nutzer mit 20 oder 100 MB Quoten begrenzen Wachstum(5–fache Uberbelegung)

• Quoten nicht mehr zeitgemaß bei Nutzung von IMAP/WebMail

⇒ Kapazitatserweiterung notwendig

• Hoher Zeitaufwand (ca. 10 h) fur Backup (30 GB)

– Ursache: Mangelnde IO-Leistung des Plattensubsystems

• Software verlangt DAS ⇒ SAN

• Doppelter Speicherbedarf bei Migration

⇒ SnapShot Funktionalitat hilfreich

Zentrale Speicher–InfrastrukturDr. Lars Koller, 10. Dezember 2001

HochschulrechenzentrumUniversitat Bielefeld

Page 7: Geplante Speicherinfrastruktur der Universit¨at Bielefeld ... · Geplante Speicherinfrastruktur der Universit¨at Bielefeld Inhalt: 1 Speichertechnologien 2 Motivation 3 Anforderungen

� Motivation: Konsolidierung Datenbankserver

• Universitatsweite Nutzung

– BIS–Server (Telefonantrage, KVV, Vorlesungsplan)

– IWT (Lit–Recherche)

– HRZ (BenVw, i.A. DNS, Netz–Management)

⇒ Hohe Verfugbarkeit notwendig

• Planung:

– HA–Cluster an zwei raumlich getrennten Lokationen

– Ausweichrechenzentrum, Fertigstellung Dez. 2001

– Sinnvoll nur mit Storage an zwei Lokationen

– Mit SCSI nicht realisierbar ⇒ Fibre Channel (”SAN“)

– Backup ohne Downtime (⇒ SnapShot)

Zentrale Speicher–InfrastrukturDr. Lars Koller, 10. Dezember 2001

HochschulrechenzentrumUniversitat Bielefeld

Page 8: Geplante Speicherinfrastruktur der Universit¨at Bielefeld ... · Geplante Speicherinfrastruktur der Universit¨at Bielefeld Inhalt: 1 Speichertechnologien 2 Motivation 3 Anforderungen

� Motivation: Konsolidierung File–Services

• Performance–Probleme bei NFS/CIFS Servern

• OS–unabhangiger Zugriff von UNIX/Windows

• Zahlreiche verteilte Fileserver in der Uni

• Zugriff auf Daten nur in Einrichtung/Fak. moglich

• Backup falls uberhaupt nur rudimentar vorhanden

⇒ Hoher Aufwand fur Administration undBeschaffung/Aufrustung von Fileservern

⇒ Verdeckte Kosten

Zentrale Speicher–InfrastrukturDr. Lars Koller, 10. Dezember 2001

HochschulrechenzentrumUniversitat Bielefeld

Page 9: Geplante Speicherinfrastruktur der Universit¨at Bielefeld ... · Geplante Speicherinfrastruktur der Universit¨at Bielefeld Inhalt: 1 Speichertechnologien 2 Motivation 3 Anforderungen

� Anforderungen

• Datenwachstum:

– Lehr- und Lernumgebungen

– Rich Media (Filme, Bilder, Dokumente, . . . )

• Performance:

– Durchsatz (Fileserver)

– IO-Leistung (Mailserver)

• Verfugbarkeit:

– zunehmende Bedeutung der IT-Dienste

– Datenbankserver, Netzmanagement, Security

• Flexibilitat:

– Applikationen

– Speichermanagement (SAN ⇔ NAS)

– Online–Erweiterung der Filesysteme

Zentrale Speicher–InfrastrukturDr. Lars Koller, 10. Dezember 2001

HochschulrechenzentrumUniversitat Bielefeld

Page 10: Geplante Speicherinfrastruktur der Universit¨at Bielefeld ... · Geplante Speicherinfrastruktur der Universit¨at Bielefeld Inhalt: 1 Speichertechnologien 2 Motivation 3 Anforderungen

� Anforderungen

• Dienste:

– File–Server (Data–Sharing)

– Backup, Archivierung

– Transparentes HSM

– Support

• Monitoring:

– Kapazitatsplanung

– SLA

⇒ Losungsansatz bietet zentrale Speicher–Infrastrukturmit leistungsfahiger Software

Zentrale Speicher–InfrastrukturDr. Lars Koller, 10. Dezember 2001

HochschulrechenzentrumUniversitat Bielefeld

Page 11: Geplante Speicherinfrastruktur der Universit¨at Bielefeld ... · Geplante Speicherinfrastruktur der Universit¨at Bielefeld Inhalt: 1 Speichertechnologien 2 Motivation 3 Anforderungen

� Vorgehensweise

• Es gibt keine”perfekte“ Losung

• Hersteller halten sich mit verbindlichen Konzepten zuruck

• Grobe Anforderungsskizze erarbeitet

⇒ Europaweite”Technologie“ Ausschreibung

• Vorteile:

– Breite Anbieterbasis

– Verbindliche Angaben der Hersteller

– Zeitersparnis (aktuelle Technologie)

– Fundierte Argumentation

• 26 Bewerber aber nur 4 abgelieferte Konzepte/Angebote

• Gewinner der Ausschreibung: Comparex/EMC2

• Parallel Formulierung des HBFG-Antragesund uniweite Bedarfsermittlung (2,5 TB, 60 % Wachst.)

Zentrale Speicher–InfrastrukturDr. Lars Koller, 10. Dezember 2001

HochschulrechenzentrumUniversitat Bielefeld

Page 12: Geplante Speicherinfrastruktur der Universit¨at Bielefeld ... · Geplante Speicherinfrastruktur der Universit¨at Bielefeld Inhalt: 1 Speichertechnologien 2 Motivation 3 Anforderungen

� Losung: Konzept

• Abgestimmte Konfiguration: Keine unnotigen Redundanzen

• Synchrone Spiegelung der”raw“–Platten an zwei Lokationen

• In der Flache Versorgung uber NAS (NFS/CIFS)

– Hardware nur in V0-200 (Maschinensaal)

– Einen Ersatz–Server (Datamover)

• Wenige Hochleistungsserver uber SAN versorgen

• Backup–Hardware nur Ausweichrechenzentrum

• Angebot der Datensicherung (Archivierung) uniweit

• Erweiterung der NAS– und Backup–Komponenten in S01moglich bei steigenden Anforderungen

⇒ Aber: Erweiterung der Kapazitat von Grundkonfiguration abhangig!

Zentrale Speicher–InfrastrukturDr. Lars Koller, 10. Dezember 2001

HochschulrechenzentrumUniversitat Bielefeld

Page 13: Geplante Speicherinfrastruktur der Universit¨at Bielefeld ... · Geplante Speicherinfrastruktur der Universit¨at Bielefeld Inhalt: 1 Speichertechnologien 2 Motivation 3 Anforderungen

� Losung: Planskizze

Page. 1

LAN

Volume Logix

SRDF

ESN-Manager

20 ServerHP-UX 10.20 / 11.0

30 ServerNOVELL 5.x

20 ServerSolar is 7 / 8

Celerr a FileServer3 Datamover Produktion1 Datamover Hotspare

2 Control-Stations8 x Giga-Ethernet9 x Fibre-Channel

2x10/100 IEEE 802.3

5 Ltg 3 Ltg

3 Ltg5 LtgSymmetr ix 85303 TB Kapazität

8 GB Cache4 x FC-Por ts

2 x SRDF-Por tsECC, SRDFTimefinder

Connectr ix DS-16B2 x 16 x Fibre-Channel

3 Ltg

Connectr ix DS-16B16 x Fibre-Channel

Optionalanschließbar

NFS/CIFS

Clienten

Zentrale Speicher–InfrastrukturDr. Lars Koller, 10. Dezember 2001

HochschulrechenzentrumUniversitat Bielefeld

Page 14: Geplante Speicherinfrastruktur der Universit¨at Bielefeld ... · Geplante Speicherinfrastruktur der Universit¨at Bielefeld Inhalt: 1 Speichertechnologien 2 Motivation 3 Anforderungen

� Losung: Warum?

• Datenwachstum (2,5 TB bis 17,4 TB)

• Performance:

– Cache, Plattenpool

– Spiegelung

• Verfugbarkeit:

– Spiegel (<10 % Mehrkosten)

– Hot–Standby–Datamover

– Ausbaubar

• Flexibilitat

– Integration aller Applikationen

– Ein Speicherpool (SAN ⇔ NAS)

– FS Online–Erweiterung NAS

– FS Online–Erweiterung SAN (VolMgt/FS)

Zentrale Speicher–InfrastrukturDr. Lars Koller, 10. Dezember 2001

HochschulrechenzentrumUniversitat Bielefeld

Page 15: Geplante Speicherinfrastruktur der Universit¨at Bielefeld ... · Geplante Speicherinfrastruktur der Universit¨at Bielefeld Inhalt: 1 Speichertechnologien 2 Motivation 3 Anforderungen

� Losung: Warum?

• Dienste:

– File–Server (integriert)

– Backup, Archivierung (TSM o. Legato, Grau–Library)

– Transparentes HSM (Grau–Library + SAN Speicher)

– Support bis auf OS–Level auch fur HA–Konfigurationen

• Monitoring:

– EMC Control Center

• Alternativen?

– Clarion

– Weniger Integration und mehr Personal

• Info: http://www.uni-bielefeld.de/hrz/storage/

Zentrale Speicher–InfrastrukturDr. Lars Koller, 10. Dezember 2001

HochschulrechenzentrumUniversitat Bielefeld