Arquitecturas Paralelas IF - EHU Arquitecturas Paralelas 7. Coherencia de Datos en computadores DSM...

Arquitecturas ParalelasIF - EHU

Arquitecturas Paralelas

7. Coherencia de Datos en computadores DSM

- Introducción- Directorios de coherencia: MP/MC- Problemas: tráfico y atomicidad- Protocolo de coherencia Origin- Protocolo SCI (NUMA-Q)


CD-DSM 27

Coherencia de los datos en sistemas de memoria compartida SMP (red de comunicación, un bus)

> Snoopy > Estados / estados transitorios...

¿Y en sistemas DSM (mallas...)?

> La memoria es compartida, pero estáfísicamente distribuida entre los

nodos del sistema.> La red no es un bus. Por tanto,

snoopy ??

Introducción


CD-DSM 37

▪ El hardware no asegura la coherencia de los datos (es responsabilidad del programador):

→ NUMA

▪ El hardware sí asegura la coherencia de los datos: → cc-NUMA

Introducción

¿Cómo se mantiene la coherencia de los datos en los sistemas DSM?

¿Cómo? Directorios de coherencia.


CD-DSM 47

El directorio de coherencia guarda información sobre los bloques de datos:

- estado (estables o transitorios)- dónde están las copias

Problemas:- tamaño del directorio.- tráfico generado para mantener la coherencia.

- atomicidad de las operaciones.

El directorio está repartido entre los procesadores (no es un dispositivo “central”).

Introducción


CD-DSM 57

Lugar y estructura del directorio:

- junto a la MP, una palabra de coherencia por cada bloque de datos:

▪ full bit vector

▪ limited bit vector

- distribuido entre las MC (+MP), formando listas ligadas con la información de cada bloque:

▪ SCI, scalable coherent interface

Introducción


CD-DSM 67

1.Full bit vector (MESI)

Estructura del directorio- un bit por procesador

(1/0) para indicar si tiene o no copia del bloque.

- bits para indicar el estado del bloque (los habituales).

Directorios de coher.: MP

> E1 0 0 0 - 0

> S1 0 1 0 - 0

> M0 0 0 1 - 1

> I0 0 0 0 - 0

> no (MESI)1 1 0 1 - 1

P0 P1 P2 P3 Es


CD-DSM 77

Problemas

El tamaño del directorio crece linealmente con el número de procesadores.

- bloques de 64 bytes:

P = 64 → 65 bits (8 bytes)P = 256 → 257 bits (32 bytes)P = 1.024 → 1.025 bits (128 bytes) +200% !



CD-DSM 87

Para reducir el tamaño de la palabra de coherencia:

- bloques de 128 bytes / 4 proc. por nodo:

P = 1.024 (256x4)→ 257 bits (32 bytes) +25%

1. Usar bloques de datos “más grandes”

2. Reducir el número de nodos (estructura jerárquica: snoopy SMP + directorio)



CD-DSM 97

2. Limited bit vector

- se limita el número de copias de un bloque: sólo se admiten k copias.

- se guardan en la palabra de coherencia de cada bloque las direcciones (log2 P bits) de los procesadores que tienen una copia:

k × log2 P << P


@1, @2, ..., @k, estado


CD-DSM 107

- 4 procesadores por nodobloques de 128 bytes / 5 copias

P = 256 (64x4) → 5 x 6 + 1 = 31 bits ≈ 4 bytes

+ 3%

P = 1.024 (256x4) → 5 x 8 + 1 = 41 bits ≈ 5 bytes

+ 4%



CD-DSM 117

1 bit por proc. estado

0 ... 1 ... 0 M

L

CC = controlador de comunic.D = directorio de coherencia

L = local H = home R= remote

H

P

CCC

DMP

R

23

4

5

1

LD A

1 S



CD-DSM 127

2

1 0… 1 …1 0 S

otras dos copias estadoST A

0 …0 0 M

4

4’

3

3’

1

L

CC = controlador de comunic.D = directorio de coherencia

L = local H = home R= remote

H

P

CCC

DMP


R1

R2


CD-DSM 137

Directorios en MC: estructura

La información sobre cada bloque de datos no se concentra en una sola palabra en el directorio junto a MP, sino que reparte entre el directorio junto a MP y las caches, en los directorios de éstas.

La información de coherencia de cada bloque se estructura en forma de listas ligadas.

Directorios de coher.: MC


CD-DSM 147

Información de coherencia (por bloque)


@cop1 / estado

“MP” →

@copi-1 / @copi+1 / estado

MC →


CD-DSM 157

¿Cómo se organiza la información en colas ligadas?

Home(memoria principal)

Pj (cache) Pk (cache)Pi (cache)


Pk

*, * bl. datosbl. datos

bl. datosMP D

bl. datos

*,Pj *,Pk Pi,P

k Pj,*

Pj Pi


CD-DSM 167

1. MP 5 copias, 3 bits de estadoPalabra de coherencia: 5 x 10 + 3 = 53 bits

Directorio (nodo): 53 bit x 1 M bloque = 53 Mb

2. MCEn MP: 10 + 3 = 13 bits

En caches: 2 x 10 + 3 bit = 23 bits

Total (nodo): 13 x 1 M + 23 x 4 k = 13,1 Mb


P = 1.024 / MP = 128 MB / MC = 512 kB / bl = 128 bytes


CD-DSM 177

Mantener la coherencia debe generar el menor tráfico posible, tanto de paquetes de control como de paquetes de datos.

Las operaciones de coherencia deben tener la menor latencia posible.

Para ello hay que- Minimizar el número de mensajes (tráfico).- Reducir el camino crítico (latencia) de la

operación.

Problemas: tráfico de coh.


CD-DSM 187

Ejemplo: el procesador L lee una variable que no está en su cache, y que corresponde a un bloque sito en la memoria del procesador H, bloque que está modificado en la cache del procesador R.

Tres protocolos para efectuar las operaciones de coherencia:

1. Pregunta / Respuesta2. Intervention Forwarding3. Reply Forwarding



CD-DSM 197

1. Pregunta / Respuesta

L HI

R

1. Petición

2. Respuesta

4a. Respuesta (Bloque)

4b. Bloque (actual.)

3. Petición

mensajes: 5camino crítico: 4

0100 / M

M



CD-DSM 207

2. Intervention Forwarding

L HI

R

1. Petición

4. Respuesta(Bloque)


2. Petición

3. Respuesta(Bloque)

0100 / M

M



CD-DSM 217

3. Reply Forwarding

L HI

R

1. Petición

3a. Respuesta (Bloque)

3b. Bloque (actual.)

2. Petición


0100 / M

M



CD-DSM 227

Las operaciones de coherencia tienen que realizarse de forma atómica, sin interferencias entre ellas.

Problemas: atomicidad

1a. INV

2b. Respuesta

1b. INV

?

R1 HS

R2S

..1..1.. / S2a→ ..1..0.. / M

→ M??→M


CD-DSM 237

Para asegurar la atomicidad

Problemas: atomicidad

+ Hay que utilizar estados transitorios, busy, en las caches y en el directorio.

+ Si no se pueden procesar las peticiones o son incoherentes:- se rechazan mediante paquetes tipo

NACK.- o se guardan en un búfer para

procesarlas más tarde.


CD-DSM 247

Dos ejemplos:

1. Computadores Origin → MP

2. Protocolo SCI (Numa-Q) → MC

Protocolos comerciales


CD-DSM 257

▪ 512 nodos / 1.024 procesadores / hipercubo

▪ Encaminamiento adaptativo / canales virtuales

▪ Invalidación / MESI (en cache) / write-back

▪ Full bit vector / 7 estados en MPI / S / E cuidado: E = E o M (una copia única)

3 estados busy1 para otras cosas

▪ Reply forwarding / NACK

▪ Paquetes de control: Rd / INV / RdEx / ACK / NACK / Wr

Origin 2000

Algunas características de los computadores Origin 2000


CD-DSM 267

Hay que analizar tres operaciones para ver cómo mantener la coherencia de los datos:

▪ Lectura de una variable (fallo)▪ Escritura de una variable (acierto / fallo)▪ Reemplazo de un bloque (actualizar MP)

Origin 2000


CD-DSM 277

Lectura (fallo) Dir. = I/S

L H

1b. Rd A0000 / I

I → E/S3

1100 / S

2b. Bloque

1a→ busy

2a

→ 0001 / E

→ 1101 / S

Origin 2000


CD-DSM 287

L H

1000 / E

I → S4

E/M1a→ busy

2a→ 1001 / busy

R

1b. Rd A 2c. Rd A (+@L)

3b. ACK / Bloque

3c. ACK / Wr (Bl.)

→ 1001 / S4

3a→ S2b. Bloque

(espec.)

Origin 2000

Lectura (fallo) Dir. = E


CD-DSM 297

Lectura (fallo) Dir. = busy

L H

1b. Rd A

xxxx / busy

I

2. NACK

1a→ busy

Origin 2000


CD-DSM 307

Escritura (acierto-INV / fallo-RdEx)

Dir.: busy

L H

1b. INV A / RdEx A

xxxx / busy

S/I

2. NACK

1a→ busy

Origin 2000


CD-DSM 317

L HS/I → M

51a→ busy

2a→ 0001 / E

R1

1b. INV A / RdEx A

2b. n.cop. / +Bloque

2c. INV A (+@L)

3b. ACK

4aS → I

1101 / S1100 / S

R2

4b. ACK

2d. INV A (+@L)

3aS → I

eficiencia¡cuidado carreras!

Origin 2000

Escritura (acierto-INV / fallo-RdEx)Dir.: S


CD-DSM 327

L HS/I

1a→ busy

2a→ 0001 / E

R1

1b. INV A / RdEx A

2b. n.cop. / +Bloque

2c. INV A (+@L)

1101 / S1100 / S

R2

2d. INV A (+@L)

¡Ojo! carreras

R3 R4

NACKeficiencia:guardar, no rechazar

Rd A (@R3)

?

→ 0011 / busy

Origin 2000

Escritura (acierto-INV / fallo-RdEx)Dir.: S


CD-DSM 337

L H

1000 / E

I → M4

E/M1a→ busy

2a→ 0001 / busy

R

1b. RdEx A 2c. RdEx A (+@L)

3b. ACK / Bloque

3c. ACK / Wr (Bloque)

→ 0001 / E4

3a→ I2b. n.cop. +

Bloque (espec.)

Origin 2000

Escritura (fallo-RdEx)

Dir.: E


CD-DSM 347

L H

1b. INV A

1000 / E

S

2. NACK

1a→ busy

Origin 2000

Escritura (acierto-INV)

Dir.: E


CD-DSM 357

L H

1b. RdEx A

0000 / I

I → M3

2b. Bloque

1a→ busy

2a

→ 0001 / E

Origin 2000

Escritura (fallo-RdEx)

Dir.: I


CD-DSM 367

L H

1b. INV A

0000 / I

S

2. NACK

1a→ busy

Origin 2000

Escritura (acierto-INV)

Dir.: I


CD-DSM 377

L H

1b. Wr (Bloque)

0001 / E

M → x3

2b. ACK

1a→ busy

2a

→ 0000 / I

Origin 2000

Reemplazo – actualizar MPDir.: E


CD-DSM 387

L H

0001 / E

→ x4

I

2a→ 1001 / busy

R

3c. ACK

1b. Rd A

2b. Bloque (espec)

→ 1000 / E3a

1a→ busy

4→ E

2c. Rd A

M2→ busy 2d. Wr

(Bloque)

3b. Bloque

Origin 2000

Reemplazo – actualizar MPDir.: busy


CD-DSM 397Numa-Q

Estructura del multiprocesador NUMA-Q

PC

M S/I

PCI

S/I

IQ link

D

PC

PC

PC4P

4P

4P

4P

4P 4P

4P 4P


CD-DSM 407

▪ 8 x 4 procesadores / bus (snoopy)

▪ IQ-link remote access cache

▪ Invalidación / MOESI / write-back

▪ <Petición / Respuesta> / encolado de peticiones

▪ Listas doblemente ligadas en las caches:

directorio (MP): estado / @c1

directorio MC: estado / @ci-1 / @ci+1

▪ SCI scalable coherent interface

Numa-Q

Estructura del multiprocesador NUMA-Q


CD-DSM 417

Estados de los bloques:

▪ En MC: - posición: Only, Head, Mid, Tail- estado: Dirty (M), Fresh (S), Valid (S’), Exclusive (E)

Ej.: Only-Fresh, Head-Fresh, Head-Dirty, Mid-Valid...

- y estados busy

▪ En “MP”: Home (I), Fresh (E, S), Gone (M, O)

Protocolo de coh. SCI


CD-DSM 427

Tres funciones para mantener la coherencia de los datos:

▪ List Construction Para cargar un bloque de datos en la cache (Rd) y ponerlo en cabeza de la lista de copias.

▪ Roll-outPara eliminar un bloque de la cache (reemplazo), y quitarlo de la lista de copias.

▪ Purge Para modificar una variable (Wr), y, por tanto, invalidar el resto de copias y actualizar la lista.



CD-DSM 437

Lectura: List Construction (Home)

L H

1b. LC (Rd A)

2b. Bloque1a

→ busy 2a

→ F | @L

I

Dir (MC) H | *

Dir (MP)

→ O-F|*-*

3



CD-DSM 457

Escrituras: ¡sólo en la copia de la cabecera!acierto / head → Purge

fallo → List Construction + Purge

acierto / no head → Roll-Out + L. Const. + Purge



CD-DSM 467

Purge (Only-Fresh)

L H

1b. Wr (est. A)

2b. ACK1a

→ busy

2a

→ G | @L

O-F | *-*

Dir (MC)

F | @L

Dir (MP)

→ O-D | *-*

3



CD-DSM 477

LH R1

1b. Wr (est. A)

2b. ACK

3. INV A

4b. ACK + @R2

R2

6b. ACK + *

5. INV A

Purge (Head-Fresh)

F | @L

Dir (MP)

→ G | @L

2a

1a

→ busy H-F | *-@R1

Dir (MC)

→ O-D | *-*

7 M-V |@L-@R2

Dir (MC)

→ I | *-*

4a

T-V |@R1-* → I | *-*

6a



CD-DSM 487

Roll-Out (Wr / reempl.)

L R2

1c. RO A + @R1

3b. ACK

3a→ T-V | @R1-*T-V | @L-*

Dir (MC)

R1

1b. RO A + @R2

2b. ACK

2a→ H-D | *-@R2H-D | *-@L

Dir (MC)

1a→ busyM-V | @R1-@R2

Dir (MC)

4→ busy / I | *-*



CD-DSM 507Protocolo de coh. SCI

Problemas: atomicidad (ii)

R

Dir (MP)

F | @L

H

O-F | *-*

L

busy

LC

busy

Wr

Dir (MP)

F | @R??

NACK

any questions?

Arquitecuras ParalelasIF - EHU

CD - DSM | Protocolo de coh. SCI

R

H

O-F | *-*

L

busy

LC

busy

Wr

Dir (MP)

F | @R??

NACK

Problemas: atomicidad (ii)

Arquitecturas Paralelas IF - EHU Arquitecturas Paralelas 7. Coherencia de Datos en computadores DSM...

Documents

Transcript of Arquitecturas Paralelas IF - EHU Arquitecturas Paralelas 7. Coherencia de Datos en computadores DSM...