Солидекс ПИ - ЦОДы

20 марта 2012

ЦОД. Вокруг и внутри

СП ООО «Солидекс ПИ»

Иванов Сергей Евгеньевич

Ганус Сергей Александрович

Кацубо Сергей Михайлович

2

Содержание

• Уменьшение ART

• Резервирование и балансировка в WAN

• Непрерывность функционирования: два ЦОД

– Распределение запросов

– Миграция виртуальных машин

– Синхронизация данных

• Сеть ЦОД

– Производительность

– Уменьшение количества уровней

– Единая сеть для LAN и SAN

3

WAN


ОЦОД

Удаленное подразделение

WOC/WPC GSLB

Network-based Storage VirtSLB

РЦОД

Оператор А

Оператор B

VM VM

WOC/WPC GSLB

SLB

VM VM

WOC/WPC

4

WAN

Вариации дизайна ЦОД

ОЦОД


WOC/WPC GSLB


РЦОД

Оператор А

Оператор B

VM VM

WOC/WPC GSLB

SLB

VM VM

WOC/WPC

Связь «ОЦОД – РЦОД» через WAN

DMCDMC

5

WAN

Вариации дизайна ЦОД (2)

ОЦОД


WOC/WPC GSLB


РЦОД

Оператор А

Оператор B

VM VM

WOC/WPC

WOC/WPC GSLB

SLB

VM VM

1 уровень в сети ЦОД

6








• Сеть ЦОД




7

Проблемные точки в WAN

ЦОД


Оператор

Разница в скоростях

LAN и WAN:

очередь, сброс пакетов

при переполнении

буфера


На стороне оператора:

Rate Limiting –

сброс пакетов при

превышении порога

Congestion Points: задержки и сбросы пакетов,

рост ART

8

Шейпинг

(FIFO-очередь)

Разница в скоростях LAN и WAN. Пример

• Настроена очередь длиной 1000 пакетов

• Время ожидания

1000 х 1500 байт x 8 бит/байт : 4 Мбит/с = 3 сек

• Интерактивные приложения требуют* ART < 100 мс

ЦОД

Оператор

4 Мбит/с100 Мбит/с

* Источник: Top-Down Network Design, 3rd Edition. CiscoPress, 2011

9

К чему ведет разница в скоростях LAN и WAN?

• Буферизация

• Рост задержек (RTT, ART)

• Сброс пакетов для всех приложений независимо

от типа

10

Задача

• Для трафика интерактивных приложений:

сократить время ожидания в буфере

• Как этого добиться?

11

Помогает ли Network QoS? Пример 1

• Приложение совместной работы

– Признак интерактивного трафика: тип содержимого –

html, xml, js

• Нужно анализировать HTTP-заголовки

– Иначе не сможем отделить интерактивный трафик от

фоновой загрузки PDF или ZIP

12

Помогает ли Network QoS? Пример 2

• Терминальный доступ (Citrix)

– Признак интерактивного трафика: поле в L7-заголовке

• Нужно анализировать Citrix-заголовки

– Иначе не сможем отделить интерактивный трафик от

фоновой печати или передачи файлов

13

Помогает ли Network QoS?

• Распознавание ряда приложений требует анализа

на L7

• Network QoS ограничен L3/L4

• Вывод: не подходит

14

Что требуется от решения?

• Visibility: различать трафик на L7

• Control: обслуживать трафик в соответствии с

требованиями приложений

Приложение Пропускная способность

(на 1 пользователя)

Задержка Потери

Citrix

(интерактивный)

40 – 400 кбит/с 100 – 200 мс 1 – 2%

Citrix (фоновый) 50 – 1000 кбит/с 200 – 500 мс 1 – 5%

Exchange 100 – 2000 кбит/с 1 – 5 с 1 – 10%

Сетевые сервисы 20 – 200 кбит/с 100 – 500 мс 1 – 3%

15

Оптимизация

• Можно ли управлять

– Полосой пропускания: «увеличить» WAN-канал?

– Приложением: «улучшить» для работы в WAN?

16

Техники оптимизации

• Caching, deduplication

• Compression

• Protocol Acceleration

• Request Prediction

17

Результат

ЦОД


Оператор


WOC

WOCWOC

• Уменьшение времени отклика

интерактивных приложений

• Экономия на полосе

пропускания WAN-каналов

18








• Сеть ЦОД




19

WANОператор А

Оператор B

2 канала WAN

ЦОД


Задачи:

• Резервирование

• Параллельное использование

20


Оператор B

Резервирование

ЦОД


Активный

туннель

Резервный

туннель

• Статические маршруты + контроль доступности

второго конца туннеля

• Динамическая маршрутизация

21


Оператор B

Параллельное использование

ЦОД


Активный

туннель #1

Активный

туннель #2

• Статические маршруты + PBR + контроль доступности

второго конца туннеля

• Динамическая маршрутизация + ECMP

22

Общая проблема приведенных решений

• Не принимаются в расчет текущие

характеристики WAN – задержки, потери пакетов

• Не будет замечена, например, деградация WAN-

транспорта при возникновении перегрузки в сети

оператора

23

WAN Path Selection

• Мониторинг функционирования каждого WAN-

канала

– Доступность удаленных площадок

– Характеристики каналов: задержка, RTT, потери

• Динамическая балансировка сессий между WAN-

каналами с учетом их текущих характеристик

24

WAN Path Selection. Результат

Оператор А

Оператор B

ЦОД


WPS

WPS

• Параллельное использование

WAN-каналов

• Для интерактивного трафика –

выбор канала с наименьшей

задержкой

• Виртуализация WAN: несколько

каналов посредством WPS

представляются как один

логический

25








• Сеть ЦОД


– Уменьшение количества уровней сети


26

Задача Global Site Load Balancing

• Исходные данные: 2 ЦОД в режиме Active/Active

• Задача: выбор ЦОД для обслуживания запросов

27

Выбор ЦОД для обработки запроса

ОЦОД

VM

РЦОД

VM

Internet / WAN

SLB SLB

AppVIP-1 AppVIP-2

GSLB GSLB

Балансировка между

ЦОД:

DNS, HTTP Redirect

Балансировка между

серверами с учетом

показателей

функционирования

28

Сценарий 1

ОЦОД

VM

РЦОД

VM

AppVIP-1 AppVIP-2

21 3

4

app.by = AppVIP-1

29

Сценарий 2. Live VM Migration

ОЦОД

VM

РЦОД

AppVIP-1 AppVIP-2

VM

30

Сценарий 3

ОЦОД

VM

РЦОД

AppVIP-1 AppVIP-2

VM

23

GSLB учитывает новое

расположение VM1

SLB учитывает

расположение VM

4

app.by = AppVIP-2

31








• Сеть ЦОД




32

VM Mobility

• Миграция VM в пределах одного ЦОД

• Не составляет проблем

• Миграция VM между ЦОД

• С выключением VM

• Live Migration

33

Миграция с выключением VM. Этапы

1. Выключение VM

2. Создание копии VM в СХД резервного ЦОД

• задача синхронизации будет рассмотрена далее

3. Регистрация VM на сервере РЦОД

4. Запуск VM

34

Миграция без выключения VM. Этапы

1. Миграция VM

• при миграции передается содержимое RAM

(как правило, несколько гигабайт)

• WAN должен обеспечить достаточную пропускную

способность и отсутствие ошибок в канале

2. Storage Migration

• чтобы избежать обращения к СХД через WAN

VMVMVMVM VMVMVMVM

WAN

VMVM

35

Storage Migration. Shared Storage

• Работа с СХД через WAN

• Задержка при распространении сигнала ~ 5мкс/км

• Выполнение iSCSI команды – 4 сообщения => 20 мкс/км

• 100 км – дополнительная задержка в 2 мс

VMVMVMVM VMVMVMVM

WAN

VMVM

36

Storage Migration. Active-Standby режим работы

WAN

VMVMVMVM VMVMVMVM

Необходимо синхронизировать данные между СХД

Синхронизация через выделенный канал связи

Синхронизация через WAN

DMC DMC

37








• Сеть ЦОД




38

Варианты синхронизации

• Storage-Based

• Синхронизация обеспечивается средствами СХД

• Как правило, возможна только между одинаковыми

устройствами (или устройствами одного вендора)

• Network-Based

• Синхронизация обеспечивается средствами

промежуточного устройства

39

Преимущества network-based синхронизации

• Синхронизация между устройствами

• разных производителей

• с разными технологиями доступа (FC, iSCSI)

• Переключение ролей active-standby для LUN

WAN

VMVMVMVM VMVMVMVM

РЦОД можно

сделать

дешевле

40

Особенности синхронизации данных

• Большие объемы данных (десятки гигабайт)

• Информация повторяется (например,

синхронизация VM с одинаковыми гостевыми OS)

• Чем меньше загрузка WAN, тем быстрее можно

осуществить синхронизацию и миграцию

Поле деятельности для средств дедупликации

41

Дедупликация данных

• Средствами СХД

• Средствами платформы виртуализации

• Средствами платформы WAN-оптимизации: DMC

42

Пример работы дедупликации

Средствами СХД или платформы виртуализации

Блок данных, 8kB

Фактически измененные данные, 512B

В канал передаются только измененные данные -

512 B вместо 8 кB

43








• Сеть ЦОД




44

ЦОД сейчас

• STP – стандарт де-факто

• с учетом его разновидностей – RSTP, MSTP и т.д.

• STP обладает рядом недостатков

• bisectional bandwidth

• время конвергенции

• неоптимальный выбор пути

45

Bisectional bandwidth

Из возможных 8 аплинков задействованы 4

B B B B

46

Альтернативы STP. M-LAG

LAG

ISL

SW1

SW2 SW3

• Для SW1 – обычный LAG (802.3ad)

• Оба аплинка активны – передают трафик

SW23

SW1

Физическая топология Логическая топология

M-LAG

47

Варианты применения M-LAG

LAG

M-LAG

SRV1

SW2 SW3

LAG

ISL

SW1

SW2 SW3

M-LAG

ISL

LAG

48

Особенности топологии сети и M-LAG

M-LAG

M-LAG

M-LAGB

В некоторых случаях M-LAG не обеспечивает полную

утилизацию каналов

49

MLAG. Заключение

• Решается проблема задействования каналов*

• Остается ограничение: не более двух

коммутаторов для организации M-LAG

M-LAG

* для определенных топологий

50

Можно ли отказаться от STP?

• Отключить MAC-learning на коммутаторах ядра

• Отключить процесс STP: ввести другой control-

plane протокол

51

Альтернативы STP и M-LAG. SPB

• Задействуются все аплинки (все возможные

маршруты – до 16) между серверами Server A и

Server B

S1 S2

S3 S4 S5 S6

Server A Server B

52

SPB. Общая идея

• IS-IS обеспечивает расчет параллельных маршрутов

• Пограничный коммутатор добавляет в заголовок адрес

точки выхода (B-DA)

• Коммутаторы ядра используют этот адрес для передачи

S1S2

S3 S4 S5 S6

Server A Server B

Таблица MAC

Server A Порт 1

Server B S2

Таблица Switch

S2 Порт 3,4,5,6

----------------------------

53

Отличия TRILL и SPB

Характеристика SPB TRILL

Разработчик IEEE (802.1aq) IETF (RFC 5556)

Заголовок

Использует заголовок

PBB: не требует

замены оборудования

Собственный заголовок

TRILL: требует поддержки

“в железе”

Расчет топологииИспользует IS-IS для

расчета топологии

Использует IS-IS для расчета

топологии

Обеспечение

симметричности

трафика

Для всех типов

Только для unicast.

Для multicast и unknown

MAC – возможны

несимметричные пути

54








• Сеть ЦОД




55

Уровни сети в ЦОД: сейчас

РЦОД

VM VM

vSwitch

VM VM

vSwitch

Коммутаторы ядра

Коммутаторы агрегирования

Коммутаторы доступа

Blade-коммутаторы

Виртуальные коммутаторы

• Уровневый дизайн vs «Горизонтальный» трафик

56

Сколько уровней в самый раз?

57

3 уровня

РЦОД

VM VM

vSwitch

VM VM

vSwitch

Коммутаторы ядра и агрегирования


Виртуальные коммутаторы

• Исключены blade-коммутаторы

• Совмещены функции уровней ядра и агрегирования

• Можно ли убрать уровень виртуальных коммутаторов?

58

Исключаем vSwitch: IEEE 802.1Qbg (VEPA)

VM1 VM2 VM3

NIC

Коммутатор доступа

Сервер

Direct Path I/O

Virtual Station

Interface Discovery

and Configuration

Передача трафика без

привлечения виртуального

коммутатора

Динамическая настройка

VLAN при перемещении VM

Обработка VM-трафика

(коммутация, фильтрация,

обнаружение аномалий, учет)

59

2 уровня

РЦОД

VM VM VM VM

Коммутаторы ядра и агрегирования


60

1 уровень

РЦОДКоммутаторы ядра, агрегирования и доступа

VM VM VM VM

61








• Сеть ЦОД




62

2 разные сети или 1 универсальная сеть?

• Сейчас: разные сети (технологии, оборудование,

специалисты) под разные задачи

– Ethernet: для LAN

– FC для SAN: малые задержки и loseless-транспорт

• Можно ли отказаться от FC и использовать

Ethernet в сети хранения данных?

63

Требования к универсальной сети

От Ethernet потребуются новые «умения»

1. Гарантировать доставку без потерь

2. Гарантировать минимальную задержку

3. Гарантировать полосу пропускания

64

Datacenter Bridging: улучшенный Ethernet

Свойство Назначение

Priority-based Flow Control (PFC)

IEEE 802.1Qbb

Транспорт без потерь (loseless)

Enhanced Transmission Selection

(ETS)

IEEE 802.1Qaz

Приоритет и гарантированная полоса пропускания для каждого класса

Data Center Bridging Exchange

Protocol (DCBX)

IEEE 802.1Qaz

Согласование конфигурации

Congestion Notification

IEEE 802.1Qau

Управление перегрузками

65

Priority-based Flow Control (PFC)

• Уведомление PAUSE для линии (класса трафика)

при исчерпании соответствующего буфера

• Позволяет строить loseless-транспорт

Выходные очереди

Входные буферы

Буфер “Blue” заполнен?

PFC PAUSE: “Blue” lane

66

Enhanced Transmission Selection (ETS)

• Передача трафика на основе приоритета (Priority)

и минимальной полосы (Bandwidth)



PRI 1, BW 30%

PRI 2, BW 60%

67

Data Center Bridging Exchange Protocol (DCBX)



• Проверка и согласование конфигурации DCB

между соседними коммутаторами

– Параметры PFC и ETS

– Логическое состояние Virtual Lane

68

WAN


ОЦОД


WOC/WPC GSLB


РЦОД

Оператор А

Оператор B

VM VM

WOC/WPC GSLB

SLB

VM VM

WOC/WPC

Вопросы?

Солидекс ПИ - ЦОДы

Technology

Transcript of Солидекс ПИ - ЦОДы