HPC Architekturen und HPC Architekturen und Anwendungen:Anwendungen:Anforderungen und Anforderungen und NotwendigkeitenNotwendigkeiten
Erich StrohmaierErich StrohmaierUniversity of Tennessee University of Tennessee
Architekturen und Architekturen und AnwendungenAnwendungen
RechnerarchitekturenRechnerarchitekturen
DatenstrukturenDatenstrukturen
Generationswechsel von Generationswechsel von ArchitekturenArchitekturen
Kriterien für MarkterfolgKriterien für Markterfolg
Der Wandel des HPC MarktesDer Wandel des HPC Marktes
ArchitekturenArchitekturen
Vektorrechner mit eng gekoppeltem Vektorrechner mit eng gekoppeltem Hauptspeicher - PVP.Hauptspeicher - PVP.
Symmetrische Multiprozessor Systeme -Symmetrische Multiprozessor Systeme -SMPSMP
Massiv Parallele Systeme - MPP.Massiv Parallele Systeme - MPP.
Cluster von Systemen.Cluster von Systemen.
Network of Workstations - NOW.Network of Workstations - NOW.
DatenaustauschDatenaustausch
PVPPVP
SMPSMP
MPPMPP
ClusterCluster
NOWNOW
1010
100100
10001000
1000010000
>100000>100000
Zeiten für Datenaustausch in Prozessorzyklen Zeiten für Datenaustausch in Prozessorzyklen
AlgorithmenAlgorithmen
FeinFein <100 <100
MittelMittel 1000 1000
GrobGrob 10000 10000
Sehr grobSehr grob 100000 100000
EPEP 10000001000000
Granularität in Operationen pro DatenaustauschGranularität in Operationen pro Datenaustausch
Granularitäts NomographGranularitäts Nomograph
Prozessor-Geschwindigkeit[MFlop/s]
Datenzugriffszeit[s]
Anwendungs-Granularität[Operationen]
Für 50% parallele Effizienz
DatenstrukturenDatenstrukturen
Struktur des DatenaustauschStruktur des Datenaustausch– wenige große - viele kleinewenige große - viele kleine
– reguläre - irreguläre Verteilung der reguläre - irreguläre Verteilung der AdressenAdressen
– kurz- oder langreichweitige kurz- oder langreichweitige KommunikationKommunikation
Globale SynchronizationspunkteGlobale Synchronizationspunkte
SystembalanceSystembalance
ProzessorgeschwindigkeitProzessorgeschwindigkeit
HauptspeicherHauptspeicher
Ein-/Ausgabe KapazitätEin-/Ausgabe Kapazität
Verbindungsnetzwerke Verbindungsnetzwerke – TopologieTopologie
– LeistungLeistung
Einfluß des Einfluß des HauptspeichersHauptspeichers Beispiel: Lösung einer partiellen Beispiel: Lösung einer partiellen
Differentialgleichung mit einem Differentialgleichung mit einem Domain Decomposition Verfahren:Domain Decomposition Verfahren:
Rechenaufwand: Rechenaufwand: n³n³
Kommunikation: Kommunikation: n²n²
Granularität: Granularität: //nn
SkalierungsverhaltenSkalierungsverhalten
Genauere Skalierungsanalyse Genauere Skalierungsanalyse beinhaltet:beinhaltet:– serielle Berechnungsanteileserielle Berechnungsanteile
– paralleler Overhead: paralleler Overhead: (p-1)(p-1)
– ......
t(p,n) = t(p,n) = n³ + n³ + n² + n² + (p-1)(p-1)
SkalierungsanalyseSkalierungsanalyset(p,n) = t(p,n) = n³ + n³ + n² + n² + (p-1)(p-1)
Konstante Problemgröße: N = nKonstante Problemgröße: N = np = p = constconst
3
3
3 )1(1
),(
Npp
N
p
pnpS
3
3 )1(1
),(
Npp
N
p
pnpS
SkalierungsanalyseSkalierungsanalyset(p,n) = t(p,n) = n³ + n³ + n² + n² + (p-1)(p-1)
Konstanter Speicherverbrauch pro Konstanter Speicherverbrauch pro Prozessor: n = Prozessor: n = constconst
3
)1(11
),(
np
n
pnpS
3
)1(11
),(
np
n
pnpS
SkalierungsanalyseSkalierungsanalyset(p,n) = t(p,n) = n³ + n³ + n² + n² + (p-1)(p-1)
Konstante Rechenzeit pro Zeitschritt: Konstante Rechenzeit pro Zeitschritt: t(p,n) = t(p,n) = constconst
3
3
0
3
03
)1(1),(
tp
tpnpS
3
3
0
3
03
)1(1),(
tp
tpnpS
SkalierungsverhaltenSkalierungsverhalten
Durch Vergrößern der Problemgröße pro Durch Vergrößern der Problemgröße pro Prozessor läßt sich das Prozessor läßt sich das Skalierungsverhalten verbessern.Skalierungsverhalten verbessern.
Gordon Bell (1993):Gordon Bell (1993):“Mit genug Hauptspeicher und Mühe “Mit genug Hauptspeicher und Mühe läßt sich (fast) jedes parallele Problem läßt sich (fast) jedes parallele Problem so skalieren, daß es auf (fast) jedem so skalieren, daß es auf (fast) jedem beliebigen parallelem Computer abläuft.beliebigen parallelem Computer abläuft.
Generationswechsel von Generationswechsel von parallelen Systemen:parallelen Systemen:Moore’s LawMoore’s Law Die Zahl der Transistoren pro Chip Die Zahl der Transistoren pro Chip
wächst pro Jahr um 60%.wächst pro Jahr um 60%.
Damit wachsenDamit wachsen– Prozessorgeschwindigkeit Prozessorgeschwindigkeit
– Hauptspeicher Hauptspeicher
ebenfalls um 60% pro Jahr.ebenfalls um 60% pro Jahr.
Performance in der Performance in der TOP500TOP500
0
10
20
Jun-
93
Nov-9
3
Jun-
94
Nov-9
4
Jun-
95
Nov-9
5
Jun-
96
Nov-9
6
Jun-
97
Nov-9
7
Jun-
98
Rela
tives
Wach
stum Linpack r_max
Zahl der ProzessorenProz.-Leistung
Performance in der Performance in der TOP500TOP500
0
0,5
1
1,5
2
2,5
Jun-
93
Nov-9
3
Jun-
94
Nov-9
4
Jun-
95
Nov-9
5
Jun-
96
Nov-9
6
Jun-
97
Nov-9
7
Jun-
98
Wach
stum
rela
tiv z
u M
oore
's L
aw
Linpack r_max
Zahl der Prozessoren
Proz.-Leistung
Granularität Granularität
Konvergenzgeschwindigkeit: Konvergenzgeschwindigkeit: n n
Hauptspeicher : Hauptspeicher : n³ n³ r r
Granularität:Granularität:
4
0
1
2
3
4
5
0 1 2 3 4 5 6 7 8 9 10Jahre
Speicher begrenztZeit begrenzt
MarkterfolgMarkterfolg
Beobachtungen:Beobachtungen:– Die meisten Firmen scheiterten.Die meisten Firmen scheiterten.
– Leistung ist keine Garantie für den Leistung ist keine Garantie für den Erfolg eines Systems.Erfolg eines Systems.
– Selbst Systeme die nicht absolute Selbst Systeme die nicht absolute Spitzenleistungen erbringen, können Spitzenleistungen erbringen, können sehr erfolgreich sein. sehr erfolgreich sein.
SkalierungsanforderungenSkalierungsanforderungen
GrößeGröße
Generationen und TechnologieGenerationen und Technologie
Code und ProblemCode und Problem
RaumRaum
AnwendungskompatibiltätAnwendungskompatibiltät
Der Wandel des HPC Der Wandel des HPC MarktsMarkts
Cray1: Cray1: – Konkurrenzlose Klasse von Rechnern.Konkurrenzlose Klasse von Rechnern.
– Leistungsfähig getrennt von anderen Leistungsfähig getrennt von anderen Rechnerklassen.Rechnerklassen.
– Leistung war ein ausschlaggebendes Leistung war ein ausschlaggebendes Verkaufsargument.Verkaufsargument.
– ““High-Tech” zahlte sich aus.High-Tech” zahlte sich aus.
Der Wandel des HPC Der Wandel des HPC MarktsMarkts
Heute:Heute:– Breite Konkurrenz verschiedener Konzepte.Breite Konkurrenz verschiedener Konzepte.
– Leistungskontinuum vom PC zum HPC Leistungskontinuum vom PC zum HPC System.System.
– Andere Kriterien als Leistung sind wichtig Andere Kriterien als Leistung sind wichtig eventuell sogar ausschlaggebend.eventuell sogar ausschlaggebend.
– ““High-Tech” kann schnell zum Hemmschuh High-Tech” kann schnell zum Hemmschuh werden.werden.
Top Related