Geplante Speicherinfrastruktur der Universit¨at Bielefeld ... · Geplante Speicherinfrastruktur...
Transcript of Geplante Speicherinfrastruktur der Universit¨at Bielefeld ... · Geplante Speicherinfrastruktur...
Geplante Speicherinfrastruktur derUniversitat Bielefeld
Inhalt:
1 Speichertechnologien
2 Motivation
3 Anforderungen
4 Vorgehensweise
5 Mogliche Losung
Zentrale Speicher–InfrastrukturDr. Lars Koller, 10. Dezember 2001
HochschulrechenzentrumUniversitat Bielefeld
� Speichertechn.: Direct Attached Storage (DAS)
• Bisher eingesetzte Technologie ist DAS
• Probleme:
– Skalierbarkeit
– Performance
– Verfugbarkeit
– Administration
⇒ Auswege?
Zentrale Speicher–InfrastrukturDr. Lars Koller, 10. Dezember 2001
HochschulrechenzentrumUniversitat Bielefeld
� Speichertechn.: Network Attached Storage (NAS)
• Auspex,NetApp
• Vorteile:
– Geringe Komplexitat
– Nutzt Netzinfrastruktur
– Keine redundanten Daten
• Nachteile:
– Nur NFS und CIFS
– Novell–Integration
– Mangelhafter Support durchSoftware/System-Anbieter
Zentrale Speicher–InfrastrukturDr. Lars Koller, 10. Dezember 2001
HochschulrechenzentrumUniversitat Bielefeld
� Speichertechn.: Storage Area Network (SAN)
• SUN, HP,EMC2, LSI
• Vorteile:
– Integration aller Systeme
– und Applikationen
• Nachteile:
– Hohe Komplexitat
– Separates Netzwerk
– Hohe Kosten
Zentrale Speicher–InfrastrukturDr. Lars Koller, 10. Dezember 2001
HochschulrechenzentrumUniversitat Bielefeld
� Motivation: Ursachen
• Verteilung der Ressource Speicher auf viele Systeme
• In der Summe ausreichend Kapazitat und IO–Leistung
• Aber: Nicht dort verfugbar, wo sie gerade benotigt wird!
• Probleme nehmen zu mit wachsenden Datenmengen
Zentrale Speicher–InfrastrukturDr. Lars Koller, 10. Dezember 2001
HochschulrechenzentrumUniversitat Bielefeld
� Motivation: Konsolidierung Mailserver
• A1000 von SUN: 100 GB auf 12 Platten
• 26000 Nutzer mit 20 oder 100 MB Quoten begrenzen Wachstum(5–fache Uberbelegung)
• Quoten nicht mehr zeitgemaß bei Nutzung von IMAP/WebMail
⇒ Kapazitatserweiterung notwendig
• Hoher Zeitaufwand (ca. 10 h) fur Backup (30 GB)
– Ursache: Mangelnde IO-Leistung des Plattensubsystems
• Software verlangt DAS ⇒ SAN
• Doppelter Speicherbedarf bei Migration
⇒ SnapShot Funktionalitat hilfreich
Zentrale Speicher–InfrastrukturDr. Lars Koller, 10. Dezember 2001
HochschulrechenzentrumUniversitat Bielefeld
� Motivation: Konsolidierung Datenbankserver
• Universitatsweite Nutzung
– BIS–Server (Telefonantrage, KVV, Vorlesungsplan)
– IWT (Lit–Recherche)
– HRZ (BenVw, i.A. DNS, Netz–Management)
⇒ Hohe Verfugbarkeit notwendig
• Planung:
– HA–Cluster an zwei raumlich getrennten Lokationen
– Ausweichrechenzentrum, Fertigstellung Dez. 2001
– Sinnvoll nur mit Storage an zwei Lokationen
– Mit SCSI nicht realisierbar ⇒ Fibre Channel (”SAN“)
– Backup ohne Downtime (⇒ SnapShot)
Zentrale Speicher–InfrastrukturDr. Lars Koller, 10. Dezember 2001
HochschulrechenzentrumUniversitat Bielefeld
� Motivation: Konsolidierung File–Services
• Performance–Probleme bei NFS/CIFS Servern
• OS–unabhangiger Zugriff von UNIX/Windows
• Zahlreiche verteilte Fileserver in der Uni
• Zugriff auf Daten nur in Einrichtung/Fak. moglich
• Backup falls uberhaupt nur rudimentar vorhanden
⇒ Hoher Aufwand fur Administration undBeschaffung/Aufrustung von Fileservern
⇒ Verdeckte Kosten
Zentrale Speicher–InfrastrukturDr. Lars Koller, 10. Dezember 2001
HochschulrechenzentrumUniversitat Bielefeld
� Anforderungen
• Datenwachstum:
– Lehr- und Lernumgebungen
– Rich Media (Filme, Bilder, Dokumente, . . . )
• Performance:
– Durchsatz (Fileserver)
– IO-Leistung (Mailserver)
• Verfugbarkeit:
– zunehmende Bedeutung der IT-Dienste
– Datenbankserver, Netzmanagement, Security
• Flexibilitat:
– Applikationen
– Speichermanagement (SAN ⇔ NAS)
– Online–Erweiterung der Filesysteme
Zentrale Speicher–InfrastrukturDr. Lars Koller, 10. Dezember 2001
HochschulrechenzentrumUniversitat Bielefeld
� Anforderungen
• Dienste:
– File–Server (Data–Sharing)
– Backup, Archivierung
– Transparentes HSM
– Support
• Monitoring:
– Kapazitatsplanung
– SLA
⇒ Losungsansatz bietet zentrale Speicher–Infrastrukturmit leistungsfahiger Software
Zentrale Speicher–InfrastrukturDr. Lars Koller, 10. Dezember 2001
HochschulrechenzentrumUniversitat Bielefeld
� Vorgehensweise
• Es gibt keine”perfekte“ Losung
• Hersteller halten sich mit verbindlichen Konzepten zuruck
• Grobe Anforderungsskizze erarbeitet
⇒ Europaweite”Technologie“ Ausschreibung
• Vorteile:
– Breite Anbieterbasis
– Verbindliche Angaben der Hersteller
– Zeitersparnis (aktuelle Technologie)
– Fundierte Argumentation
• 26 Bewerber aber nur 4 abgelieferte Konzepte/Angebote
• Gewinner der Ausschreibung: Comparex/EMC2
• Parallel Formulierung des HBFG-Antragesund uniweite Bedarfsermittlung (2,5 TB, 60 % Wachst.)
Zentrale Speicher–InfrastrukturDr. Lars Koller, 10. Dezember 2001
HochschulrechenzentrumUniversitat Bielefeld
� Losung: Konzept
• Abgestimmte Konfiguration: Keine unnotigen Redundanzen
• Synchrone Spiegelung der”raw“–Platten an zwei Lokationen
• In der Flache Versorgung uber NAS (NFS/CIFS)
– Hardware nur in V0-200 (Maschinensaal)
– Einen Ersatz–Server (Datamover)
• Wenige Hochleistungsserver uber SAN versorgen
• Backup–Hardware nur Ausweichrechenzentrum
• Angebot der Datensicherung (Archivierung) uniweit
• Erweiterung der NAS– und Backup–Komponenten in S01moglich bei steigenden Anforderungen
⇒ Aber: Erweiterung der Kapazitat von Grundkonfiguration abhangig!
Zentrale Speicher–InfrastrukturDr. Lars Koller, 10. Dezember 2001
HochschulrechenzentrumUniversitat Bielefeld
� Losung: Planskizze
Page. 1
LAN
Volume Logix
SRDF
ESN-Manager
20 ServerHP-UX 10.20 / 11.0
30 ServerNOVELL 5.x
20 ServerSolar is 7 / 8
Celerr a FileServer3 Datamover Produktion1 Datamover Hotspare
2 Control-Stations8 x Giga-Ethernet9 x Fibre-Channel
2x10/100 IEEE 802.3
5 Ltg 3 Ltg
3 Ltg5 LtgSymmetr ix 85303 TB Kapazität
8 GB Cache4 x FC-Por ts
2 x SRDF-Por tsECC, SRDFTimefinder
Connectr ix DS-16B2 x 16 x Fibre-Channel
3 Ltg
Connectr ix DS-16B16 x Fibre-Channel
Optionalanschließbar
NFS/CIFS
Clienten
Zentrale Speicher–InfrastrukturDr. Lars Koller, 10. Dezember 2001
HochschulrechenzentrumUniversitat Bielefeld
� Losung: Warum?
• Datenwachstum (2,5 TB bis 17,4 TB)
• Performance:
– Cache, Plattenpool
– Spiegelung
• Verfugbarkeit:
– Spiegel (<10 % Mehrkosten)
– Hot–Standby–Datamover
– Ausbaubar
• Flexibilitat
– Integration aller Applikationen
– Ein Speicherpool (SAN ⇔ NAS)
– FS Online–Erweiterung NAS
– FS Online–Erweiterung SAN (VolMgt/FS)
Zentrale Speicher–InfrastrukturDr. Lars Koller, 10. Dezember 2001
HochschulrechenzentrumUniversitat Bielefeld
� Losung: Warum?
• Dienste:
– File–Server (integriert)
– Backup, Archivierung (TSM o. Legato, Grau–Library)
– Transparentes HSM (Grau–Library + SAN Speicher)
– Support bis auf OS–Level auch fur HA–Konfigurationen
• Monitoring:
– EMC Control Center
• Alternativen?
– Clarion
– Weniger Integration und mehr Personal
• Info: http://www.uni-bielefeld.de/hrz/storage/
Zentrale Speicher–InfrastrukturDr. Lars Koller, 10. Dezember 2001
HochschulrechenzentrumUniversitat Bielefeld