Tema 3: Paralelismo en Multiprocesadores (I)

Perspectiva histórica: Diversas clasificaciones de las arquitecturasparalelas.

Enfoque global actual: Arquitecturas paralelas actuales

Aspectos fundamentales de diseño

Bibliografía: “Parallel Computer Architecture”, Draft version,Por J. Dongarra

Aportaciones: E.L. Zapata, J. Plata y M. Valero

Perspectiva histórica :

Diversas clasificaciones de lasarquitecturas paralelas.

Clasificación de Flynn

Basado en las nociones de flujo de instrucciones (control) y flujo de datos

Clasificación de las Organizaciones Paralelas

SISD : Single Instruction - Single Data

MISD: Multiple Instruction - Single Data

SIMD: Single Instruction - Multiple Data

MIMD: Multiple Instruction - Multiple Data

Máquinas SIMD

ControlM

P

Ventajas : Simplicidad del control, coste, facilidad en la depuración de programas

Desventajas : Modelo poco flexible, ineficiencia si pocos procesadores están Activados

Ejemplos : Illiac-IV, CM-1, Maspar MP-1

Máquinas MISD

Ejec. Ejec. Ejec.

Control Control Control

Memoria

Ventajas : Diseño simple, relación coste-rendimiento bajo para aplicaciones específicas (procesamiento de señales, …)

Desventajas : Aplicabilidad limitada, programación compleja

Ejemplos : Procesadores sistólicos, como el CMU Warp

Máquinas MIMD

M M M

PPP

P PM MRed Interconexión

Red Interconexión

Ventajas : Aplicabilidad general

Desventajas : Difíciles de diseñar, costes de sincronización medios/altos, progra-mación compleja.

Ejemplos : SGI Challenge, Cray T3D, NCube, CM-5

Clasificación (2)

Schwartz

Basada en el número de procesadores (granularidad) y el tipo de su conectividad

Grano grueso Hasta 10 procesadores

Grano medio Decenas a miles de procesadores

Grano fino Miles a …. de procesadores

El concepto de granularidad puede también aplicarse a la forma en que un algoritmoparalelo genera tareas concurrentes.

Clasificación (3)

Acceso a memoria

Basado en la forma en que los procesadores comparten los datos

SM Memoria compartida o memoria global

Todos los procesadores acceden a los mismos módulos de memoria

DM Memoria distribuida o memoria local

Cada procesador tiene su propia memoria. El acceso a los datos en lamemoria de otro procesador es mediante el pase de mensajes ( o en algunos casos mediante radiación)

Topologías (1)

Los computadores paralelos pueden clasificarse por la interconexión (comunicación)entre procesadores. Los procesadores pueden comunicarse mediante:

Memoria compartida

Buses compartidos

Red de interconexión

dinámica (reconfigurable): etapa simple o múltiple, barras cruzadas, …

estática: malla, árbol, toro, totalmente conectada, hypercubo, anillos, ciclos conectados en cubo, intercambio y barajamiento, …

Métodos de interconectividad más usuales

SM-MIMD Bus, conexión directa, red de conmutación multietapa

DM-MIMD Malla, toro, hipercubo, anillo, configurable.

SHARED MEMORY

P P P

M M M

NETWORK

DISTRIBUTED MEMORY

P P P

M M M

NETWORK

Bell’s Taxonomy

Gordon Bell, Scalable, Parallel Computers: Alternatives, Issues, and Challenges,Int. J. Paral. Progr., 22(1), 94, 9. 3-46

Bell’s Evolution

Gordon Bell, Scalable, Parallel Computers: Alternatives, Issues, and Challenges,Int. J. Paral. Progr., 22(1), 94, 9. 3-46