Download - A rkitektura P araleloak IF - EHU Arquitecturas paralelas 9. Herramientas para la programación de aplicaciones paralelas: OpenMP y MPI (introducción).

Arkitektura ParaleloakIF - EHU

Arquitecturas paralelas

9. Herramientas para la programación de aplicaciones paralelas: OpenMP y MPI (introducción).

Computadores de alta velocidad (la lista top500).

Arquitecturas ParalelasFI - EHU

29

Array

Vectorial

MP

P

C

bus

memoria compartida

SMP

MPP/NUMA

Clusters

memoria distribuida

P

C

M

red general

1

1

N

N

SIMD MIMD

SISD

fl. instrucciones

flu

jo d

ato

sArquitectura de los sistemas paralelos


39

Un procesador (vectorial)

Sistemas SMP / sistemas SIMD

Sistemas masivamente paralelos MPPLas mejores prestaciones (velocidad de cálculo): comunicación de baja latencia y elevado ancho de banda, en algunos casos procesadores con diseño específico, software de control muy optimizado, etc.

Pero coste muy elevado. Clusters

Evolución de las arquitecturas


49

Lista de los 500 supercomputadores más rápidos del mundo ejecutando el banco de pruebas LINPACK.

Se mide el valor de Rmax, Nmax y N1/2.

También se empieza a medir la potencia consumida.

Sistemas de ecuaciones lineales densos (cálculo matricial). Permite obtener velocidades muy altas (un máximo virtual).

Top500 (www.top500.org)


59

Cada 6 meses desde 1993 (junio/noviembre)

Lista nº 40 - noviembre 2012

Más o menos aceptado por todos los fabricantes.

Análisis de tendencias / evolución del mercado.

Top500


69

Evolución de la velocidad de cálculo

Top5+

Fabricantes

Procesador: arquitectura / familia / número

Sistema: arquitectura / red / S.O.

Utilización

Top500


79

×1,9/año

162,1 PF/s14.885.800 cores(29.771 c. - 10,9 GF/s)

1 PF/s → 200810 PF/s → 2011100 PF/s → 2015

Top500

Intel ASCI Red SandiA

IBM ASCI White LLNL

NEC Earth Sim.

BlueGene

RoadRunner Jaguar

K-computerTitan

SequoiaTianhe-

1A


89

Rank Computer Core

s

Rmax Rpeak

(Pflop/s)

Power(kW)

Installation site Country/year

Type

Top5 (diciembre 12)

1mpp

Titan, Cray XK7 Opteron 6274, 16 core 2,2 GHzCray Gemini, NVIDIA K20x

560.64017,627,1

8.209Oak Ridge N.L.USA / 2012

-

2mpp

Sequoia, BlueGene/QPower BQC, 16c – 1,60 GHz

Custom (torus 5D)

1.572.864

(96x1024x16)

16,320,1

7.890DOE/NNSA/LLNL

USA/ 2012Research

3cluster

K computer, FujitsuSPARC67 viiifx - 2 GHz

Tofu interc., 6D torus/mesh705.027

10,511,3

12.660RIKEN AICS

Japonia/ 2011Research

6cluster

SuperMUC, IDataPlex DX360M4Xeon E5-2680 - 2,7 MHz

Infiniband FDR147.456 2,9

3,23.433

Leibnitz R.Alemania/ 2012

Academic

Más BueGene/Q: (4): Mira, 48x, USA; (5) JUQUEEN, 24x, Juelich; (9) Fermi, 10x, Bologna

8mpp

Tianhe-1A NUDT-MPPIntel EM64T Xeon X5670 - 2,93

GHzPropietary

186.3682,64,7

4.040Tianjin NSCTxina / 2010

Research


99

Cant. %Rmax (PF/s)

Cores

IBM 193 38,6 66,2 6.769.140

HP 146 29,2 18,1 2.300.904

Cray Inc. 31 6,2 28,2 1.908.880

Appro 24 4,8 5,1 373.200

SGI 19 3,8 5,1 434.406

Fujitsu 10 2 13,8 921.048

Total (+) 500 100 162,114.885.80

0

fabricante del sistema

Top500


109Top500


119

Cant. %Rmax (PF/s)

Cores

Escalar 499 99,4 162 14.884.520

Vectorial 1 0,2 0,12 1.280

Total 500 100 162,1 14.885.800

arquitectura del procesador

Top500

217: Earth Simulator 2, NEC – 0,12 PF/s – 1.280 cores


129Top500


139

Cant. %Rmax(PF/s)

Cores

Xeon 381 76,2 70,7 6.786.414

Opteron 61 12,2 32 2.620.330

Power 53 10,6 46,9 4.606.112

NEC 1 0,2 122 1.280

Total (+) 500 100 162,1 14.885.800

familia de procesadores

Top500


149Top500

Num. cores (mpp / cluster)


159

VP500

Y-MP C90

CM5

Paragon

T3D

SP2

T3E

ASCI Red

Sun HPC

CM2

Earth Sim.

Blue Gene

RoadRunner

Jaguar

Tianhe-1A

K computer

Top500

Sequoia

Titan


169

Cant. %Rmax (PF/s)

Cores

Clusters 411 82,2 83,4 8.060.460

MPP 89 17,8 78,7 6.825.340

Total 500 100 162,114.885.80

0

un año → x 2,20 x 1,6

arquitectura del sistema

Top500


179Top500


189

Cant. %Rmax (PF/s)

Cores

Infiniband 224 44,8 52,7 4.284.249

Gigabit Eth. 189 37,8 20.4 3.161.618

Custom 53 10.6 59,6 5.228.512

Proprietary 15 3 6,4 954.256

Cray 15 3 22,6 1.206.240

Myrinet 3 0,6 0,3 49.645

Fat tree 1 0,2 0,12 1.280

Total (+) 500 100 162,114.885.80

0

Red de conexión

Top500


199Top500


209Top500


219

Cant. %Rmax (PF/s)

Cores

Industry 247 49,4 28,5 3.933.385

Research 121 24,2 96,2 7.837.116

Academic 97 19,4 29,5 2.507.471

Government 18 3,6 3,4 299.860

Vendor 13 2,6 3,7 229.632

Classified 4 0,8 0,9 78.366

Total 500 100 162,114.885.80

0

área de utilización

Top500


229Top500


239Top500


249Top500: España/Francia (dic. - 12)

36 Mare Nostrum IBM iDataPlex, Xeon E5 (8c), Infiniband FDR

33.664 cores – 637 TF/s290 BSC Bull, cluster (Infin.) – 5.544

cores – 103 TF/s

>> 39.208 cores – 0,7 PF/s (0,3%)

11 Curie thin nodes, CEABullx B510 Xeon E5 (8c), Infniband, 77.184 c. – 1.359 TF/s

20 Tera-100, CEABullx super-node S6010/S6030, Infniband, 138.368 c. – 1.050 TF/s

31/32 BlueGene/Q Power BQC, 65.536 c. - 690 TF/s…Total: 21 sistemas (EDF, Airbus, CINES, Total,…)

>> 620.248 c.- 6,5 PF/s (4%)

>> Europa: Alemania (19 - 10,2 PF/s), G.B. (24 – 7,3 PF/s), Italia (7 - 2,4 PF/s)

Total: 31,2 PF/s (20%)


259El cluster ARINA de la UPV/EHU

Arina, Arinaz (260 núcleos, Itanium2)

Guinness (440 núcleos, Xeon)Maiz (40 núcleos, Opteron)

Sistema paralelo de ficheros (SFS)

4 servidores4,7 TB / 7,1 TB

Infiniband, 1 GB/s


269El cluster ARINA de la UPV/EHU


279

Aplicaciones

En general, de química, física y biología.Software adquirido:

CFX, dinámica de fluidos

MOLCAS, estructura molecular

ADF, estr. electrónica de las moleculasWIEN2K, estr. electrónica de sólidosQsite, proteínas

NBO5-NBOView, enlaces moleculares

El cluster ARINA de la UPV/EHU


289

Cluster del laboratorio

32 + 3×4 procesadores (Pentium IV)

Gigabit EthernetOpenMP, MPI, UPC

Laboratorio de Paralelismo


299Titan


309Cray Jaguar


319Cray Jaguar


329K computer


339Tianhe-1A


349Tianhe-1A


359Nebulae


369Hopper


379Tera-100


389RoadRunner

Cell


399RoadRunner


409RoadRunner


419RoadRunner


429RoadRunner


439RoadRunner


449RoadRunner


459JuGene - BlueGene/P


479

5,5 GB/s

11 GB/s

15 way fully assoc. pref. caches

5,5 GB/s

27 GB/s

22 GB/s

BlueGene/L


489BlueGene/L


499

32 x 32 x 64

1,4 Gb/s (x2)5,6 Tb/s bisección

tr (max) = 69 ns

cut-throughadaptativodeadlock-free

active messages

BlueGene/L


509BlueGene/L


549JuGene - BlueGene/Q


559Earth Simulator 2



Peak performance: 102,4 GF/s × 8 × 160 CPU = 131 TF/sShared memory: 128 GB × 160 = 20 TB

ES → ES2: proz: 1/4; mem: x2; perform: ×3,2; sarea: cross → fat tree



1 Chip LSI : 102,4 Gflops65 nm CMOS 11 Layers copper interconnection 21,04 mm x 19,84 mm 350 million transistors 8.960 pins Clock Cycle: 3,2 GHz Power Consumption: 240 W (Typ.)



Internode Crossbar Switch (IXS)


629Mare Nostrum (www.bsc.org.es)


639Mare Nostrum


649Mare Nostrum


659Mare Nostrum


669Mare Nostrum


679Mare Nostrum