Arquitecturas Paralelas

download Arquitecturas Paralelas

of 90

  • date post

    14-Jan-2016
  • Category

    Documents

  • view

    43
  • download

    0

Embed Size (px)

description

Arquitecturas Paralelas. 6. La red de comunicación de los computadores paralelos. Comunicación mediante paso de mensajes. - Introducción - Redes basadas en conmutadores - Redes basadas en encaminadores - Estrategias de comunicación - Conflictos en la comunicación. Arquitecturas Paralelas. - PowerPoint PPT Presentation

Transcript of Arquitecturas Paralelas

Presentación de PowerPointArquitecturas Paralelas
IF - EHU
Arquitecturas Paralelas
6. La red de comunicación de los computadores paralelos. Comunicación mediante paso de mensajes.
- Introducción
RC-PM
Los sistemas paralelos necesitan un soporte robusto para la comunicación de procesos, sea para acceder a memoria compartida (centralizada, SMP, o distribuida, DSM), o sea para transportar mensajes entre procesos (MPP).
Aunque la red de comunicación es, en teoría, independiente del modelo, se utilizan redes adaptadas a cada modelo.
Introducción
RC-PM
Los multiprocesadores SMP suelen utilizar un bus para acceder a memoria.
Aunque el bus es una red sencilla y fácil de gestionar, tiene problemas de escalabilidad:
- no admite más que una comunicación simultánea.
- se satura cuando crece el número de procesadores.
La latencia de los accesos es inde-pendiente de la posición de memoria a la que se accede: todos los datos están a la misma “distancia” (UMA).
Introducción
M
P
C
bus
RC-PM
Para poder conectar muchos procesadores hay que distribuir la memoria (aunque tal vez sea compartida: DSM).
Hace falta otro tipo de red de comunicación.
La latencia de los accesos a memoria o de los mensajes no es constante: la comunicación con los procesadores más cercanos será más rápida.
El comportamiento de la red de comunicación es muy importante para minimizar las latencias.
Introducción
P
C
M
Algunas características deseables en las redes de comunicación:
que la latencia de las comunicaciones sea baja.
que se permitan muchas comunicaciones simultáneas (es decir, tener un alto throughput).
que pueda seguir en funcionamiento aunque existan fallos (averías) en la red.
que sea fácil de construir y ampliar, y que existan algoritmos simples para encontrar los caminos.
Introducción
- el hardware
- el software
RC-PM
La topología representa la forma de la red; es decir, especifica las conexiones entre procesa-dores por medio de un grafo.
Componentes del grafo:
- nodos: procesadores, o dispositivos especiales para la gestión de mensajes.
- arcos: conexiones entre nodos.
Complejidad
- Grado: número de conexiones de los nodos. Si es idéntico en todos, la red es regular.
- Simetría: misma visión de la red desde todos los nodos.
- Escalabilidad: facilidad de ampliación.
- Tolerancia a fallos.
- Conectividad de arcos y nodos: componentes que hay que eliminar para obtener un grafo no conexo.
Introducción: topología
RC-PM
Tráfico
- Bisección: conexiones que hay que eliminar para dividir el grafo en dos partes iguales.
Distancias (latencia)
Características topológicas principales:
Dos tipos de redes:
E0 → S0, S1
E1 → S0, S1
Cada conmutador conecta una fila y una columna.
El coste puede ser muy alto: O(P2)
Redes con conmutadores
2. Redes multietapa
Los conmutadores se organizan en varias etapas, y las conexiones entre distintas etapas se hacen por medio de una “permutación”.
Redes con conmutadores
Barajado perfecto:
logk P etapas
Rotación de un bit:
4 (100) → 1 (001)
5 (101) → 3 (011)
Encaminamiento en la red Omega (routing)
¿Cómo se escoge el camino para ir de i a j?
1 Bits de la dirección destino
0: salida 0 / 1: salida 1
→ 6 (110)
0: seguir / 1: cruzar
Redes Omega
Conflictos de salida
La red Omega admite P comunicaciones simultáneas, pero no cualesquiera (red bloqueante).
0 → 1 y 6 → 0?
- anular
Redes Omega
Redes Omega
O(w/P)→O(w)
Nodo de una red estática: proc./mem. + encaminador.
La distancia entre nodos no es constante.
Redes con encaminadores
RC-PM
Un conjunto de puertos de E/S para recibir y enviar paquetes; un conjunto de búferes para almacenar temporalmente los paquetes; y un autómata para procesar paquetes y asignarles una salida.
Encaminador de mensajes
1 Red crossbar : todos con todos.
Compleja de construir y de coste elevado cuando P es grande.
Además, el grado de los encaminadores (número de conexiones) no es constante: P-1.
Topologías más utilizadas
Grado:
Simetría:
RC-PM
3 Mallas y toros (n dimensiones, k>2 nodos por dim.)
k→ P = kn
RC-PM
3 Mallas y toros (n dimensiones, k>2 nodos por dim.)
Bisección:
Diámetro:
RC-PM
4 Hipercubo: caso paticular de una malla de n dimensiones, con sólo dos nodos por dimensión.
Enlaces con los nodos cuya dirección se diferencia en un bit.
Topologías más utilizadas
P/2 log2 P

Topologías más utilizadas
fat tree o árbol denso
Diámetro:
Proc.
Grado
Simetr.
Enlaces
12 11,3
RC-PM
El hipercubo tiene parámetros topológicos muy buenos, pero es complejo si el número de procesadores es grande; además, el grado no es constante. Fue la topología de los primeros sistemas MPP (pocos procesadores y la latencia de los mensajes dependiente de la distancia).
Las mallas y toros 2D y 3D se utilizan mucho en sistemas MPP: son topologías simples con grado bajo. Los parámetros de distancia son mayores, pero cambió la técnica de transmisión de mensajes y la latencia no depende tanto de la distancia.
Se utilizan también árboles (o similares tipo butterfly, para formar cluster-s, Myrinet), aunque son complejos cuando el número de procesadores es muy grande.
Resumen de topologías
RC-PM
La red se utiliza para la comunicación entre procesos, permitiendo el envío de mensajes de proceso a proceso.
¿Cómo se envían esos mensajes? ¿Por dónde? ¿Cómo se escoge el camino?...
Estructura de los mensajes (paquetes)
Unidad de información (de flujo): un flit (en general, un byte). Tiempo para transmitir un flit, un “ciclo”.
Comunicación
cabecera
datos
cola
Especifican cuándo y con quién se efectúa la comunicación. Evidentemente, depende de la aplicación.
Tamaño de los mensajes
En general, hay que transportar mensajes de diversos tamaños.
Los mensajes de control suelen ser pequeños (unos bytes); los de datos, mayores (normalmente divididos en paquetes de tamaño fijo).
Patrones de comunicación
Algunos patrones de comunicación habituales:
- Aleatorio: la probabilidad de comunicación entre dos nodos es la misma para cualquier par de nodos y uniformemente distribuida en el tiempo.
- Esferas de localidad: hay mayor probabilidad de comunicación con unos nodos que con otros, dependiendo de la distancia (cercanos).
- Broadcast, multicast, reporting...
Patrones de comunicación
- Conmutación de circuitos (circuit switching)
Antes de enviar el mensaje hay que reservar un camino “privado”, para lo que se envía un mensaje “sonda” hasta el destino.
Tras construir el camino, se transmite todo el mensaje (no se divide en paquetes).
Por ejemplo: red telefónica.
Problemas: hace falta tiempo para generar el camino; y se reservan enlaces de la red, aunque no estén siendo utilizados constantemente.
Construcción del camino
- Conmutación de paquetes (packet switching)
El mensaje se divide en varios paquetes de tamaño fijo. Cada paquete tiene información sobre el destino y va hasta el mismo, encaminador tras encaminador, compitiendo con el resto de los paquetes para la utilización de recursos.
Por ejemplo: servicio de correos.
Problemas: se genera una sobrecarga, porque cada paquete tiene que llevar información de control. Addemás, hay que reconstruir el mensaje en el destino.
Construcción del camino
Encaminamiento de paquetes (routing)
¿Por dónde van los paquetes desde el origen al destino? ¿Cuál es el camino?
- ¿Cómo indicar el camino a tomar?
registro de encaminamiento, RE (routing record)
- ¿Hay un sólo camino?
Encaminam. de paquetes
- Indicar en el paquete la dirección absoluta.
La información se procesa en los encaminadores intermedios para escoger la salida (tabla, función...).
- El paquete lleva el registro de encamina-miento que especifica el camino; normalmente, cuántos pasos dar en cada dimensión.
El RE se actualiza en cada encaminador. Se ha llegado al destino cuando todos los componentes del RE son 0.
Encaminam. de paquetes
X: (xn-1, xn-2, ..., x1, x0) → Y (yn-1, yn-2, ..., y1, y0)
Basta con hacer la resta de coordenadas para indicar el número de pasos a dar en cada dimensión.
RE = [yn-1 - xn-1, yn-2 - xn-2, ..., y0 - x0]
4 (1,0) → 15 (3,3) RE = [2, 3]
Registro de encaminamiento
Registro de encaminamiento en un toro
Tras restar las coordenadas, hay que analizar el resultado para escoger el camino más corto en cada anillo:
REi > k/2 → REi = REi – k
REi < -k/2 → REi = REi + k
4 (1,0) → 15 (3,3) RE = [2, 3] → [2, -1]
En cada dimensión hay dos opciones para ir al destino: hacia “adelante” o hacia “atrás”.
Nunca se recorre más de medio anillo en cada dimensión.
Registro de encaminamiento
RE = [i xor j]
2 (0010) → 12 (1100) RE = [1110]
No hay más que dos nodos en cada dimensión; por lo tanto, sólo se puede dar un paso por dimensión, si las coordenadas de esa dimensión son distintas:
1010
1011
Estrategias para escoger un camino concreto
El registro de encaminamiento no indica un único camino (en general). ¿Cuál hay que utilizar?
1. Encaminamiento estático
Se utiliza un único camino para ir de X a Y, y siempre el mismo: DOR.
+ Es simple
Elección del camino
2. Encaminamiento dinámico
En cada encaminador se escoge el camino en función del estado del sistema (ojo! hay que utilizar información local).
+ Se pueden evitar zonas de mucho tráfico (aprovechando la topología de la red)
- Es más complejo (hay que decidir)
- Los paquetes pueden llegar desordenados
- Pueden ocurrir bloqueos
Elección del camino
Hay que utilizar en general caminos de longitud mínima.
En algunos casos puede ser adecuado utilizar caminos más largos para evitar tráfico o superar averías.
Estrategias para escoger un camino concreto
Elección del camino
RC-PM
Un paquete contiene L flits (algunos para control y otros para datos).
¿Cómo se transmiten los flits de los paquetes entre encaminadores? ¿Qué hay que hacer con los flits de un paquete que se está transmitiendo?
Dos opciones:
- Cut-through / Wormhole
Control del flujo
Se transmite el paquete completo (todos los flits) entre encaminadores contiguos.
Durante la transmisión se almacena en un búfer interno.
Tsf ~ L × d
Cut-through / Wormhole
Tras procesar el primer flit de la cabecera de un paquete, se transmite al siguiente encaminador, sin esperar a la llegada del resto.
Tct/wh ~ L + d
Control del flujo: CT / WH
1
2
3
4
2
3
4
1
4
2
3
1
1
2
3
4
Cut-through / Wormhole
Diferencia: ¿qué hacer si el flit de cabecera de un paquete no puede continuar?
Wormhole
No hay que utilizar búferes.
Control del flujo: CT / WH
1
2
3
4
4
2
3
1
1
2
4
3
4
1
2
3
3
4
1
2
2
3
4
1
1
2
3
4
3
4
1
2
3
4
1
2
Cut-through
El primer flit se para, pero el resto continúa y los flits se almacenan en los encaminadores, en búferes.
Diferencia: ¿qué hacer si el flit de cabecera de un paquete no puede continuar?
Control del flujo: CT / WH
1
2
3
4
4
1
2
3
1
2
3
4
2
3
4
1
3
4
1
2
1
2
3
4
2
3
4
1
3
4
1
2
1
2
4
3
Los encaminadores de mensajes suelen tener espacio para almacenar paquetes (algunos flits).
SF → búfer para por lo menos un paquete.
WH → espacio de memoria para un flit (puerto de entrada).
CT → solución intermedia; hace falta capacidad para almacenar un paquete o algunos flits.
¿Espacio para muchos paquetes? No
- no tiene que haber muchos paquetes bloqueados.
- el encaminador tiene que ser rápido, es decir, simple.
Conflictos: búferes
¿Compartidos, o distribuidos?
- son más complejos, tienen que aceptar varias entradas y salidas
Conflictos: búferes
Salidas
- más difíciles de gestionar (entradas múltiples)
¿Cómo se estructuran los búferes?
Conflictos: búferes
¿Y si se llenan los búferes?
No debe ser una situación habitual, ya que significa que se ha superado la capacidad de comunicación de la red. Sólo para gestionar momentos de mucho tráfico.
¿Cómo se estructuran los búferes?
Conflictos: búferes
RC-PM
La red de comunicación no es más que un recurso para ejecutar programas en paralelo (otra “unidad funcional”), que tiene que ser lo más eficiente posible.
Principales parámetros de calidad:
- Latencia de los paquetes: tiempo necesario para realizar la comunicación.
- Throughput: el nivel de tráfico que puede aceptar / gestionar la red.
Latencia y Throughput
Algunas definiciones
- Anchura de los enlaces (phit): número de bits que se puede transmitir en paralelo (por ejemplo, 8 bits).
- Ciclo de transmisión: tiempo necesario para transmitir un phit (un ciclo).
- Ancho de banda (bandwidth) de los enlaces, B: cantidad de información transmitible en un segundo.
- Tiempo de encaminamiento (routing time), tr: tiempo para procesar la cabecera de un paquete.
Latencia y Throughput
d: distancia
Latencia y Throughput
Latencia y Throughput
D 10 32 62
d 5 16 22
máx. 2.570 8.224 15.934
med. 1.285 4.112 5.654
Latencia y Throughput
P/2 × (NPaq × L) × 1/2 = ABB
NPaq = 4 × ABB / (P × L)
NPaq: número de paquetes de L flits (bytes) que puede inyectar por segundo cada procesador
ABB: ancho de banda de la bisección
(= Bisec × B)
bisección
R = L / Tcom velocidad de transmisión
Rmax = lim R (L→∞) velocidad máxima
L1/2 = tini / tflit para obtener la mitad de la veloc. máxima
Resumen: componentes del tiempo de comunicación
Latencia y Throughput
Comunicación entre encaminadores
RC-PM
El proceso de comunicación es distribuido, y se ejecuta en paralelo en varios encaminadores de mensajes. Por lo tanto, puede aparecer un problema que ya hemos analizado: el bloqueo (deadlock) (livelock, starvation...).
Bloqueos: un conjunto de paquetes agota los recursos para seguir adelante (en modo CT, los búferes; en modo WH, los enlaces...), y se queda parado para siempre.
Problemas de la comunic.
Arquitecturas Paralelas IF - EHU
Problemas de la comunic.
Arquitecturas Paralelas IF - EHU
- Utilizar únicamente topologías o estrategias de encaminamiento que no generen bloqueos.
- Aceptar que pueden generarse bloqueos, y, cuando se generan, detectarlos y solucionarlos.
Las opciones más utilizadas son:
Bloqueos: estrategias
1. El encaminamiento estático ayuda
Por ejemplo, si utilizamos el encaminamiento estático DOR, no se generan bloqueos en las mallas.
Bloqueos: estrategias
RC-PM
2. Pero no es suficiente si la propia topología tiene ciclos.
Bloqueos: estrategias
3. Canales virtuales
Para no mantener bloqueados los enlaces de los encaminadores, los búferes se dividen en dos (o más) clases.
Bloqueos: estrategias
Doble objetivo:
1 Mejorar la eficiencia: si un paquete no puede seguir, no parar un paquete que viene por detrás y que tiene el camino libre.
2 Evitar las situaciones de deadlock.
Bloqueos: estrategias
Bloqueos: estrategias
Toros, DOR, 2 canales virtuales → no hay bloqueo
4. Pero, ¿se puede utilizar el encaminamiento dinámico sin bloqueos?
- mallas virtuales
Problemas de la comunic.
Arquitecturas Paralelas IF - EHU
- Añadir dos canales virtuales por cada canal físico.
- Clasificar los paquetes en cuatro categorías, en función de las posiciones de los destinos: NE, ES, SW, WN.
- En cada malla virtual los paquetes pueden tomar cualquier camino, ya que no se pueden formar ciclos.
- Generar cuatro mallas virtuales:
NE: N1-E0 ES: E1-S0
SW: S1-W0 WN: W1-N0
Problemas de la comunic.
4b. Turn model (mallas)
- Hay que hacer cuatro giros para formar un ciclo. Cuando se utiliza encaminamiento estático (DOR) dos de ellos están prohibidos.
- Basta con prohibir uno para que no se generen ciclos; p.e, prohibido girar al oeste:
- si no van hacia el oeste, como quieran;
- si no, recorrer inicialmente el camino hacia el oeste.
west-first
4c. Caminos seguros (red segura + no segura)
En este caso se acepta que los paquetes se puedan bloquear. Cuando ocurre, se detecta y se soluciona el problema. Por ejemplo, en mallas y los toros:
- 2 canales virtuales (2D), para generar dos redes virtuales.
- Los paquetes se inyectan en una red y se mueven libremente. La otra red se utiliza para moverse en modo seguro (por ejemplo DOR, en una malla 2D).
- Si un paquete se bloquea, se le hace pasar a la red segura, en la que avanzará hasta llegar al destino.
Problemas de la comunic.
Arquitecturas Paralelas IF - EHU
Por ejemplo, tras pasar cierto tiempo sin movimiento.
4d. Controlar la inyección de paquetes
Ocurren bloqueos porque se acaban los recursos.
Por lo tanto, los encaminadores rechazarán un paquete si en caso de que lo acepten se llenan los búferes. De esta manera, los recursos no se terminarán nunca (Mare Nostrum).
Problemas de la comunic.
Arquitecturas Paralelas IF - EHU
RC-PM
Ojo: el encaminador tiene que ser simple, para procesar paquetes lo más rápido posible. Por lo tanto, puede que el encaminamiento estático sea suficiente!
En resumen
- Toros, DOR, 2 canales virtuales → no hay bloqueo
Encaminamiento dinámico:
- En general, 1 canal virtual por dimensión en una malla, y 2 en un toro.
- Otras estrategias.
Problemas de la comunic.
Arquitecturas Paralelas IF - EHU
Livelock
Los paquetes van adelante y atrás, pero no consiguen llegar al destino.
Pueden aparecer problemas si se desvían paquetes de los caminos mínimos “para no perder tiempo”.
La causa puede estar relacionada con las prioridades.
Starvation
Algunos procesadores no consiguen inyectar sus paquetes en la red porque hay mucho tráfico alrededor.
Problemas de la comunic.
Arquitecturas Paralelas IF - EHU
RC-PM
Recuerda que en el proceso de comunicación toman parte muchos elementos.
El proceso más lento de la comunicación acotará la velocidad de comunicación del sistema.
Protocolos de comunicación
RC-PM
Hemos tenido en cuenta únicamente la transmisión de paquetes. Pero el interfaz “procesador/red” es también muy importante: ¿cómo se inyectan los paquetes en la red? ¿cómo salen?
Hay varios protocolos de comunicación para regular esos procesos:
- El más simple, TCP/IP
estandares: VIA, Infiniband...
propietario: gm (myrinet)...
Protocolos de comunicación
Protocolo de los primeros clusters (y los de bajo rendimiento).
c. mem. sistema
c. mem. sistema
Protocolos de comunicación
RC-PM
Ojo: la sobrecarga debida al sistema operativo y a las copias puede ser muy grande.
sobrecarga del protocolo
tiempo de transmisión
Protocolos de comunicación
Estándar de comunicación de los principales fabricantes.
No se hacen copias en la memoria del sistema operativo; se trabaja directamente con los encaminadores:
-- antes de enviar un mensaje se reserva sitio en la memoria física, en el emisor y en el receptor.
-- las operaciones send/receive envían un descriptor a una cola para procesar paquetes.
-- podemos esperar a la confirmación, o seguir trabajando.
Son protocolos de bajo nivel, con implementaciones nativas o emuladas.
Protocolos de comunicación
- Se utilizan adaptadores especiales para conectar nodos: HCA (nodos de computación) o TCA (nodos auxiliares).
- Para conectar nodos de redes locales se utilizan conmutadores y para conectar redes locales entre ellas se utilizan encaminadores.
- Los enlaces son de 2,5 Gb/s de un solo sentido, punto a punto.
Infiniband
Infraestructura de comunicación de alto rendimiento (caro).
Enlaces de 10 Gbit/s (full duplex), fibra óptica. Conmutadores en un crossbar (red Clos). Cut-through.
Software propio para gestión de mensajes (GM).
Implementaciones de Gbit ethernet / Via / Infiniband.
Latencias de paquetes pequeños: 1,2 µs (Gigabit, 50 µs)
Throughput máximo 9,6 Gbit/s
RC-PM | Protocolos de comunicación
OJO: si se utilizan PCs para crear un cluster, la conexión entre la red y los nodos se hará mediante el bus PCI.
¡Puede que sea ese bus el que limite la velocidad de la comunicación, y no los componentes de la red!
PCI → 32 bits / 33 MHz -- 64 bits / 66 MHz
110 - 480 MB/s
(× 32 → 6,4 GB/s)