Вычислительные Кластеры

Кластер

2/30

• Группа компьютеров, объединённых высокоскоростными каналами связи и представляющая с точки зрения пользователя единый аппаратный ресурс.

• Разновидность параллельной или распределённой системы, которая:

1. состоит из нескольких связанных между собой компьютеров; 2. используется как единый, унифицированный компьютерный ресурс.

Грегори Пфистер (Gregory F. Pfister)

Один из первых архитекторов кластерной технологии

Схема кластера

3/30

Основные компоненты:

• Узлы кластера (одно- и

мультипроцессорные (многоядерные)

компьютеры)

• Межпроцессорные связи (heartbeat)

• Разделяемые диски (SCSI, Fiber

Channel)

Fibre Channel Clusters

4/30

Прямое соединение(direct attach)

SAN-соединение(SAN-attach)

Fibre Channel Clusters

5/30

Консолидация или объединение кластеров(Cluster consolidation)

Топология кластера

6/30

Топология кластера

7/30

Данные топологии кластера (в формате Pajek) представленные программойVANTED (Visualization and Analysis of Networks containing Experimental Data)

Исходный граф

Виды кластеров

8/30

• Отказоустойчивые кластеры (High-availability clusters, HA)

• Кластеры с балансировкой нагрузки (Load balancing clusters)

• Высокопроизводительные кластеры (High-performance clusters, HPC)

• Grid-системы

Отказоустойчивые кластеры

9/30

HA Clusters или Failover Clusters создаются для обеспечения высокой

доступности сервиса, предоставляемого кластером.

Избыточное число узлов (минимум 2), входящих в кластер, гарантирует

предоставление сервиса в случае отказа одного или нескольких серверов.

Создано множество программных решений для построения такого рода

кластеров. В частности, для GNU/Linux, FreeBSD и Solaris существует

проект бесплатного ПО Linux-HA.

Схема HA кластера

10/30

Методы повышения надежности:

• Зеркалирование дисков (Disk

mirroring)

• Избыточные связи LAN

• Избыточные связи SAN

• Избыточные линии

энергоснабжения и защита UPS

Кластеры с балансировкой нагрузки

11/30

Load balancing clusters распределяют запросы через один или несколько

входных узлов (front-ends), которые перенаправляют их на обработку в

вычислительные узлы (back-end servers).

Первоначальная цель такого кластера — производительность, однако, в них

часто используются также и методы, повышающие надёжность. Подобные

конструкции называются серверными фермами (server farms).

Программное обеспечение может быть как коммерческим (OpenVMS Cluster,

Platform LSF HPC, Sun Grid Engine, Moab Cluster Suite, Maui Cluster

Scheduler), так и бесплатным (Linux Virtual Server, Mosix).

Схема Load balancing кластера

12/30

Балансировка нагрузкиSAN

Балансировка нагрузкивебсерверов

Схема Load balancing кластера

13/30

Аппаратная и программная балансировка нагрузки

Высокопроизводительные кластеры

14/30

High performance cluster (HPC) позволяют увеличить скорость расчетов,

разбивая задание на параллельно выполняющиеся потоки.

Область применения — научные исследования.

Одна из типичных конфигураций — набор серверов с установленной на них

операционной системой Linux (кластер Beowulf).

Для HPC создается специальное ПО, способное эффективно распределять

задачу между узлами.

Схема Beowulf кластера

15/30

Группа идентичных РС (Client node) под управлением ОС Lunix (Server node), объединенных в небольшую TCP/IP LAN

IBM Roadrunner

16/30

Архитектура12,960 IBM PowerXCell 8i CPUs6,480 AMD Opteron dual-core processors, Infiniband, Linux

6,120 Opteron (2 cores) + 12,240 PowerXCell 8i (9 cores) = 122,400 cores

Потребляемая мощность 2.35 MW

Занимаемая площадь 296 racks (560м2)Память 103.6 TiBПроизводительность 1.7 petaflops (peak)Цена US$133M

LINPACK TOP500

17/30

Roadrunner TriBlade

18/30

Схема TriBlade модуля (платы QS22, LS21 и Expansion Blade)

Схема Roadrunner

19/30

3 модуля TriBlade образуют BladeCenter H4 BladeCenter H монтируются в 42U стойку

Схема Roadrunner

20/30

15 стоек образуют Connected UnitВесь кластер состоит из 18 CUs

Grid-системы

21/30

Грид (англ. grid — решетка, сеть) — согласованная, открытая и

стандартизованная компьютерная среда, которая обеспечивает гибкое,

безопасное, скоординированное разделение вычислительных ресурсов и

ресурсов хранения информации, которые являются частью этой среды, в

рамках одной виртуальной организации.

Грид является географически распределенной инфраструктурой,

объединяющей множество ресурсов разных типов (процессоры,

долговременная и оперативная память, хранилища и базы данных, сети),

доступ к которым пользователь может получить из любой точки, независимо

от места их расположения.

Схема Grid-системы

22/30

Центральный узел (Control Server) распределяет задачипо узлам грида (Grid Node) и контролирует результат

Grid вычисления

23/30

SETI@homeFolding@homeClimate PredictionLHC@home…

Персональный суперкомпьютер

24/30

Tesla S870

Tesla С870

Tesla D870