Дизайн небольшого ЦОД часть 1.
-
Upload
cisco-russia -
Category
Technology
-
view
623 -
download
5
description
Transcript of Дизайн небольшого ЦОД часть 1.
Дизайн небольшого ЦОД часть 1
Максим Хаванкин системный инженер [email protected]
Игорь Гиркин системный инженер [email protected]
Введение
Классификация предприятий по размеру
• Cisco – количество сотрудников Small = 1 – 99 Medium = 100 – 249 Mid Market = 250 – 999
• Законодательство РФ* Распределение уставного капитала Выручка от реализации товаров Численность работников
• Средние предприятия = 100 – 250 • Малые предприятия = 1 – 100
* N 209-ФЗ «О развитии малого с среднего прредпринимательства в Российской Федерации»
Я получу готовый дизайн ЦОД своей компании?
• Не существует универсального дизайна • Разное
Количество серверов Типы интерфейсов Приложения Количество пользователей Сфера деятельности предприятий
• Цель презентации Что нужно принять во внимание при проектирововании Описать типовой дизайн Показать возможности масштабирования
Подходы к классификации размера ЦОД
• Количество пользователей в предприятии
• Количество физических серверов • Количество и тип приложений
(виртуальные + физические) • Площадь помещения • Подведенные мощности • Количество стоек • Размер используемого оборудования
Почему Cisco?
• Доверие со стороны потребителей
*Gartner, Fabric Computing Poised as a Preferred Infrastructure for Virtualization and Cloud Computing, Feb 11, 2011. 182 из 2000 участников
Эталонная архитектура ЦОД Data Center Business Advantage
http://www.cisco.com/go/dcba
Application Networking Switching Management Compute
Open / Standards
App. Performance
Energy Efficiency Security Continuity Workload
Mobility
Cloud Automation Virtualization Consolidation
Partner Ecosystem
Efficient Agile Transformative
Security OS Storage
Unified Network Services
Unified Computing
Unified Fabric
New Bus. Models,
Governance and Risk
Driving Profitability New Service
Creation and Revenue
Generation
Cisco Lifecycle Services
Policy
INFRASTRUCTURE INNOVATIONS
BUSINESS VALUE
SOLUTION DIFFERENTIATION
SYSTEMS EXCELLENCE
Комплексные решения
• Интегрированная вычислительная инфраструктура «Кирпичики» ЦОД
• Разделяемая многопользовательская среда VMDC Переход к модели «ИТ как услуга»
• Виртуализация рабочих мест Virtualization eXperience Infrastructure
• Совместная работа Hosted Unified Communications
Ключевые компоненты вычислительной инфраструктуры ЦОД
Компоненты ЦОД
Сеть передачи данных
Сервисы сети
Вычисления
Сеть хранения
Управление
Ресурсы хранения
Соединение площадок
Физический доступ
Виртуальный доступ
Агрегация
Разграничение доступа
Предотвращение вторжений
Балансировка нагрузки
Ядро
Доступ
Конвергентные сети
Дисковые массивы
IP
FC
Стоечные серверы
Блейд-шасси
Cisco UCS
Гипервизоры
Hypervisor
Менеджеры устройств
Автоматизация
Оркестрация
Сеть передачи данных
Уровни сети Оборудование
Агрегация • Nexus 7000 Модульный дизайн Высокая плотность портов Развитый функционал для широкого применения в ЦОД
Доступ физических серверов
• Nexus 5000 Фиксированная конфигурация Уровень доступа
• Nexus 2000 FEX Выносная линейная карта Распределенная фабрика коммутации
Доступ виртуальных машин
• Nexus 1000V Доступ виртуальных машин
Физическая инфраструктура
• Nexus 7000 Строгие требования к организации ДМЗ Разделение уровней доступ-агрегация Загрузка таблицы маршрутизации BGP MPLS Соединение с резервной площадкой по темному волокну >30 км
Простое в настройке соединение площадок
Масштабируемость Непрерывность функционирования ЦОД
Campus core
L3
Campus Access WAN
L2
VM #4
VM #3
VM #2
SiSiSiSi
Nexus 7009
Nexus 2232 and 2248TP
FCoE
NAS iSCSI
Физическая инфраструктура
• Nexus 5500 Распределенный уровень доступа с подключением серверов по FCoE
Подключение массивов по FC Единое управление виртуальной и физической сетью
Ограничение по мощности или свободному месту в стойке
Campus core
L3
Campus Access WAN
L2
VM #4
VM #3
VM #2
SiSiSiSi
Nexus 5548UP with L3 module
Nexus 2232 and 2248TP-E
FCoE FC
NAS iSCSI
Серверы Серверы Серверы Серверы Сеть
Горизонтальная СКС – оптика, твинаксиальные кабели
Вертикальная СКС – медь RJ-45, твинаксиальные
кабели
Физический дизайн уровня доступа
• Распределенная фабрика коммутации + универсальный уровень доступа • Ограничения
Nexus 5500 c L3 – 8 FEX Nexus 5500 c L2 – 24 FEX Nexus 7000 – 32 FEX
Выносные линейные карты Nexus 2000
Центральная фабрика
коммутации Nexus
5000/7000
Виртуальная инфраструктура
• Nexus 1000V Виртуализированные сервисы Перемещение виртуальных машин на резервную площадку
Более 100 виртуальных машин на сервер Nexus 1010 VMware vSphere
• Аппаратная коммутация
Единое управление виртуальным и физическим сетевыми уровнями
Фиксированная задержка коммутации Невиртуализированные приложения VMware vSphere (VM-FEX)
Campus core
L3
Campus Access WAN
L2
VM #4
VM #3
VM #2
SiSiSiSi
Сервисы сети
• Безопасность Межсетевые экраны (Cisco ASA, Cisco VSG)
• Сервисы прикладного уровня Мониторинг трафика (Cisco NAM) Балансировка нагрузки (Cisco ACE) Оптимизация трафика (Cisco WAAS)
• Связь с резервной площадкой Выбор технологии (темная оптика, VPLS, OTV и т.п.) Оборудование (Nexus 7000, ASR 1000, Cat 6500)
ЦОД
Application Optimizer
(AO)
TFO
Network
Data Link
Physical
Где поместить сервисы?
Клиент
Application
Presentation
Session
Transport
Network
Data Link
Physical
Маршрутизатор
Application Optimizer
(AO)
TFO
Network
Data Link
Physical
Маршрутизатор
VM-1
Application
Presentation
Session
Transport
Network
Data Link
Physical
Сеть
Филиал
Application
Presentation
Session
Transport
Network
Data Link
Physical
VM-N
Гипервизор
Разграничение доступа
• Физическое устройство ASA 5000 или ASA-SM Производительность Форм-фактор
• Виртуальное устройство Virtual Security Gateway Интеграция в стек управления виртуальными машинами
Защита отдельной виртуальной машины, включая резервную площадку
VMware vSphere
Campus core
L3
Campus Access WAN
L2
VM #4
VM #3
VM #2
SiSiSiSi
ASA 5500
NAS iSCSI
VSG
Мониторинг трафика
• Физическое устройство NAM 2200 Производительность Форм-фактор
• Виртуальное устройство NAM Virtual Service Blade Интеграция в стек управления виртуальными машинами
Защита отдельной виртуальной машины, включая резервную площадку
VMware vSphere
Campus core
L3
Campus Access WAN
L2
VM #4
VM #3
VM #2
SiSiSiSi
NAM 2200
NAM VSB
Балансировка нагрузки между серверами
• ACE 4710 Производительность до 4 Гбит/с Агрегация интерфейсов
• ACE30 Производительность до 16 Гбит/с Шасси Catalyst 6500
Campus core
L3
Campus Access WAN
L2
VM #4
VM #3
VM #2
SiSiSiSi
ACE
Оптимизация трафика в распределенной сети
• Физическое устройство Wide Area Virtualization Engine (WAVE) Производительность
• Виртуальное устройство Virtual WAAS (vWAAS) Интеграция с Nexus 1000V VMware vSphere
Campus core
L3
Campus Access WAN
L2
VM #4
VM #3
VM #2
SiSiSiSi
WAVE
NAS iSCSI
vWAAS
Соединение распределенных площадок
• OTV Nexus 7009 ASR1000 (ноябрь)
• A-VPLS Catalyst 6500
• EoMPLS ASR1000
• VPLS ASR9K
WDM • Темное волокно
vPC @ Nexus 7000, 5500
Функция Решаемая задача Связь систем хранения
Обеспечить приложениям непрерывный доступ к ресурсам хранения локально и удалённо оптимальным образом
Расширение LAN
Доступ к одним и тем же VLAN из разных ЦОД для поддержки отказоустойчивости и мобильности
Оптимизация пути
Оптимальная симметричная маршрутизация между пользователями и ЦОД, где находится приложение
Маршрутизация Маршрутизируемая связь между ЦОД
Насколько важно получить защищенное, надежное и управляемое хранение данных?
Тип доступа § Блочный § Файловый § Универсальный
Где хранить?
§ Внутренние диски § Внешние дисковые массивы
Функциональность
§ High-end
§ Mid-range § Entry-level
Сеть хранения
• Протоколы доступа к сети хранения iSCSI Fibre Channel NFS/CIFS
• Адаптеры в серверы • Специализированное сетевое оборудование
Уровни сети Сервер Сетевое оборудование
iSCSI Блочный доступ Адаптер
• аппаратное ускорение TCP и iSCSI • SAN boot • 10GBase-X
• Nexus 7000 • Nexus 5000 • Nexus 2000
Fibre Channel Блочный доступ Традиционный FC – Host Bus Adapter (HBA)
• Скорость 2/4/8G FC • Среда – оптика
FC over Ethernet – Converged Network Adapter (CNA) • Один провод – два протокола • 10GBase-X • Скорость 2/4/8G FC
• MDS 9100/9500 • Nexus 7000 • Nexus 5000 • Nexus 2232
NSF/CIFS Файловый доступ Обычный сетевой адаптер Скорости – гигабит, 10-гигабит
• Nexus 7000 • Nexus 5000 • Nexus 2000
• 802.3ad подразумевает равномерную загрузку агрегированных каналов
• Fibre Channel требует разделения фабрик A/B
• «Ручная» привязка фабрик к паре путей
• Ethernet по-прежнему загружает все каналы
Сервер с FCoE (CNA)
Отказоустойчивое подключение с FCoE FCoE FC
N5500-A(config)# fex 100 N5500-A(config-fex)# fcoe N5500-A(config)# fex 101
N5500-B(config)# fex 101 N5500-B(config-fex)# fcoe N5500-B(config)# fex 100
FEX 101
FEX 100
N5500-B N5500-A
Вычислительная платформа
Вычислительная система Cisco UCS § Централизация управления на уровне системы § Объединение физического и виртуального уровней доступа § Унификация подключений на уровне системы § Cервер – вычислительный ресурс
Стоечные серверы
§ Ethernet – от 2 до 4 на скорости 1 Гбит/с RJ-45
§ Возможность установки дополнительных устройств § Невысокая плотность серверов
Серверные лезвия
§ Компактый форм-фактор § Выбор интерфейсов подключения на уровне корзины
§ Централизация управления на уровне корзины
§ Улучшенные параметры энергоэффективности
Какие мощности Вы готовы подвести к стойке?
• Оказывает существенное влияние на дизайн ЦОД • Небольшие ЦОД часто выделяют не более 9кВт на стойку • 15-22 стоечных серверов • 16-25 блейд-серверов • Сетевое оборудование, дисковые массивы, … • Интерфейсы, миграция 1GE->10GE
Миграция 1GE->10GE
Серверы с 10GE подключены к Nexus 5500 (оптика SFP+ или медный кабель Direct Attached Cable)
Стойка с серверами 1GE, подключенными к Nexus 2248TP-E
• Используем распределенную фабрику коммутации • Выбираем модель Nexus 2000 FEX • Подключаем к нему интерфейсы 1GE • Интерфейсы 10GE подключаем к Nexus 5500
Вариации: Nexus 2232, FCoE
Выбор интерфейса 10GE
• Три варианта Оптика SFP+ Медь 10GBase-T RJ-45 Медь Direct Attached Cable SFP+
• Влияние на параметры Энергопотребления Длины кабеля Стоимости СКС
Кабель Задержка Потребление Расстояние Технология
Twinax ~0.1µs ~0.1W 10m SFP+ CU Copper
MM 62.5µm MM 50µm ~0 1W 82m
300m SFP+ SR short reach
Cat6 Cat6a/7 Cat6a/7
2.5µs 2.5µs 1.5µs
~6W ~6W ~4W
55m 100m 30m
10GBASE-T
2232PP
2232TM
PCIe x16
10GbE/FCoE
Eth
0
FC
1 2
FC
3
Eth
127
Виртуализация интерфейсов серверов – снижение затрат
• vNIC и vHBA представляются BIOS сервера как отдельные устройства PCIe
• Не требуется внесение изменений в ОС и приложения
• Аппаратная изоляция трафика между виртуальными интерфейсами
• Независимое, динамическое управление полосой пропускания каждого виртуального адаптера
• Интеграция с VMware vSphere • Управление на Nexus 5500
App
OS
App
OS
App
OS
Блейд-серверы
• Компактный размер, меньше энергопотребление, портов СКС
• Тренд – 10GE по умолчанию • Дополнительный уровень коммутации • Cisco Nexus B22 (HP)
Единая точка управления на Nexus 5500 Унификация политик
• Cisco Nexus 4000 (IBM) Упрощение конфигурации FC Единый интерфейс управления: Datacenter
Network Manager • Cisco Nexus 2232 + pass-thru (DELL)
ToR-коммутатор Nexus 2232PP/2232TM собирает 1/10GE и поддерживает
миграцию 1GE->10GE
Подключение блейд-серверов на 1GE, 10GE и FCoE
ToR-коммутатор Nexus 2248TP/2224TP собирает 1G
FC HBA подключаются к Nexus 5500
Подключение FC-коммутаторов шасси в режиме NPV
Коммутация – распределенная, управление - централизованное
• Универсальный уровень доступа • Поддержка миграции 1GE->10GE->FCoE
Вычислительная система Cisco UCS
Уровень виртуальной коммутации + Уровень доступа шасси
+ Уровень агрегации шасси
_________________________________
• Простота • Предсказуемость • Управляемость
slot 1 slot 2 slot 3 slot 4 slot 5 slot 6 slot 7 slot 8
blade1 blade2 blade3 blade4 blade5 blade6 blade7 blade8
slot 1 slot 2 slot 3 slot 4 slot 5 slot 6 slot 7 slot 8
blade1 blade2 blade3 blade4 blade5 blade6 blade7 blade8
slot 1 slot 2 slot 3 slot 4 slot 5 slot 6 slot 7 slot 8
blade1 blade2 blade3 blade4 blade5 blade6 blade7 blade8
slot 1 slot 2 slot 3 slot 4 slot 5 slot 6 slot 7 slot 8
blade1 blade2 blade3 blade4 blade5 blade6 blade7 blade8
slot 1 slot 2 slot 3 slot 4 slot 5 slot 6 slot 7 slot 8
blade1 blade2 blade3 blade4 blade5 blade6 blade7 blade8
slot 1 slot 2 slot 3 slot 4 slot 5 slot 6 slot 7 slot 8
blade1 blade2 blade3 blade4 blade5 blade6 blade7 blade8
FCoE FC
Campus core
L3
Campus Access WAN
SiSiSiSiNAS iSCSI
L2
Масштабируемость
§ ERP/CRM на гипервизоре
§ Виртуализация рабочих мест
Эффективность § Повышение утилизации оборудования § Сокращение расходов на электроэнергию § Управление из единой консоли
Гибкость
§ Ускорение ввода приложений в эксплуатацию
§ Перенос нагрузок § Интеллектуальное управление ресурсами
Виртуализация – новые возможности
Campus core
L3
Campus Access WAN
L2
VM #4
VM #3
VM #2
SiSiSiSi
FCoE
FC
NAS
iSCSI
CNA
Виртуализация бизнес-приложений
Виртуализация 30%
Виртуализация > 60% Нишевые приложения (LOB, Tier 2 DB и т.д.)
Простые приложения (инфраструктура, file,
print)
Гипервизор Гипервизор Гипервизор
vSphere 5.0 – виртуализация без ограничений
• Создание виртуальных машин: • 32 vCPU • 1 TB of RAM
• Источник: vSphere Configuration Maximums http://www.vmware.com/pdf/vsphere5/r50/vsphere-50-configuration-maximums.pdf
§ 4x кратное увеличение размера виртуальной машины
§ Запуск самых требовательных к ресурсам приложений теперь возможен на vSphere, включая очень большие БД
§ Виртуализация большего количества приложений (Tier 1 и 2)
4x
Что нового в vSphere 5.0
Преимущества
Виртуализация рабочих мест
Платформа виртуализации
Прошлое
Apps Apps
WinXP WinXP
Настоящее
Virtual Apps
VDI Win7
Будущее
Virtual Apps
VDI
Virtual Apps
Thin Client
Virtual Apps
Mobile Client
Централизованное развертывание, управление и обеспечение безопасности
пользователей и приложений
Виртуализация рабочих мест
• Типизация рабочих мест пользователей
Task worker Standard worker Power user
• Классификация сетевых подключений
Low bandwidth Local mode LAN
• Вычислительный блок • Система хранения и сеть хранения
Планирование нагрузки IOPS, а не размер диска
• PCoIP Качество обслуживания WRED, not tail drop
Campus core
L3
Campus Access WAN
L2
VM #4
VM #3
VM #2
SiSiSiSi
FCoE FC
NAS iSCSI
CNA
Управление вычислительной инфраструктурой ЦОД
• Менеджеры устройств Встроены и в большинстве случаев бесплатны
• Системы централизованного управления Сеть передачи данных и хранения
• Cisco Data Center Network Manager Ресурсы хранения
• Автоматическое управление Шаг на пути к модели «ИТ как услуга»
Спасибо! Просим Вас заполнить анкеты. Ваше мнение очень важно для нас!