GLOBAL RUSSIAN ADVANCED NETWORK INITIATIVE

GLOBAL RUSSIAN ADVANCED NETWORK INITIATIVE

Антоненко Виталий

RACK

План

Составляющие GR2

Оборудование GR3

ПО GR4

Перспективы5

Введение1

Требования и вызовы современных

исследователей

Вызовы

• Гетерогенная инфраструктура

• Обработка больших объемов данных

• Географически распределённые ресурсы

Требования

• Гибкая конфигурация• Экономия ресурсов• Удобные

междисциплинарные эксперименты

• Повторное использование результатов экспериментов

• Использование специализированных устройств

Современные исследователи сталкиваются с…

Уровень приложений

CPU Память Данные

Агенты Брокеры “Сделки”

Уровень ресурсов

Уровень ОС

Сеть

HPC (GRID)

Распределенный Центр

ОбработкиДанных

Распределенный ЦОД

ЦОД 1 ЦОД 2

ВМ 1 ВМ 2 ВМ 3 ВМ 4

Гипервизор

Гипервизор

Коммутатор

КоммутаторПр

ед

лага

ем

ый

сер

ви

с

Физический коммутатор

Физический

коммутатор

Туннель

GRANIT – это НЕ …

GRANIT

GRANIT

GRANIT

GRANIT

МоскваСанкт-

Петербург

Нижний Новгород

Ростов-на-Дону

Оренбург Томск

подключение к

международным проектамЯрославл

ь

Management Switch

Data Switch

Worker Node 1

Worker Node 2

Worker Node n

Head Node

Storage Node

Оборудование

GRПредоставляет доступ к локальным ресурсам

Обеспечивает работу OpenStack ВМ

Коммутирует экспериментальный трафик (L2)

Обеспечивает работу iSCSI SAN

При помощи:• ORCA• OpenStack • xCat создает, управляет, конфигурирует ВМ

• iSCSI• Puppet• Flukes

Management Switch

Data Switch

Worker Node 1

Worker Node 2

Worker Node n

Head Node

Storage Node

Оборудование

GR48 × 1 GbE RJ45 ports and 4 standard 10 GbE SFP+ ports

128GB SATA 2.5” x 2

Intel Xeon Processor E5-2640 v2 8C 2.0GHz 20MB

Cache1600MHz x 2

Intel x520 Dual Port 10GbE SFP+ Adapter x 2

8GB ECC DDR3 1600MHz x 8

300GB 10K 6Gbps SAS 2.5" SFF G2HS HDD

8GB ECC DDR3 1600MHz x 8

48 × 10 GbE SFP+ ports, 4 × 40 GbE QSFP+ ports in a 1U

2TB 7.2K 6Gbps NL SATA 3.5” x 6

Data 8264OpenFlow

Control 8052

ТопологияGR

Head node

Storage node

Worker nodes к

сетевом

у (

L2)

пр

овай

деру

Вид сзади

Вид спереди

СхемаRack

Видкабелировани

я:

• Сервисное

• Управляющее

• Рабочее

• OpenStack

• iSCSI

• Внешняя сеть

Management Switch

Data Switch

Worker Node 1

Worker Node 2

Worker Node n

Head Node

Storage Node

Локальные вычислительные

ресурсы(ВМ)

Специальные устроства

Физические вычислительные

ресурсы

Вы

сокоп

рои

звод

ите

льн

ые

вы

чи

сли

тел

ьн

ые (

HPC

) ресу

рсы

ORCA

GRANITРесурсы

Open Resource Control Architecture

Ломонос

ов

Чебышев

…

WiFi, WiMax, Сенсоры,

…

Пользователь Контроллер ORCASlice manager

ORCABroker

ORCAAggregate manager

2. запросslice

Множество вариантов развертки ПО

Федеративная организация, Авторизация и

предоставление ресурсов

3. запрос

ресурсов

6. выкуп

билетов

ORCA

4. запросресурсов 1. передача

билетов

5. продажабилетов

7. выкуп

билетов

8. выдача

ресурсов

Управляющий узел

Обслуживаемый

узел

PID

CLI Web/GUI

SNMP

ACL xcatd

actionDB

Доверенный

SSL

xCat

xcatd

action

xCatУдаленное управление оборудованием

Управление питанием, перезагрузка, инвентаризация, логи, обработка SNMP алертов Удаленное консольное

управлениеSerial консоль, SOL, Logging /

Video консоль (no logging)Удаленное управление загрузкой (Boot)

Local/SAN Boot, Network Boot, iSCSI Boot Удаленная настройка сети

Auto-Discovery MAC AddressKickstart, Imaging, iSCSI

Масштабируемость! Порядка 100,000 узлов.

xCAT делает Вас ЛЕНИВЫМИ. НЕТ

необходимости ходить в серверную.

Puppet

user {'katie': ensure => absent, }

Управление свойствами

машины

file {'testfile': path => '/tmp/testfile', ensure => present, mode => 0640, content => "I'm a test file.", }

Управление файлами

class ntp { package { 'ntp': ensure => installed, } file { 'ntp.conf': path => '/etc/ntp.conf', ensure => file, require => Package['ntp'], source => "/pathto/ntp.conf" } service { 'ntp': name => $service_name, ensure => running, enable => true, subscribe => File['ntp.conf'], } }

Управление приложениями

• кроссплатформенное клиент-серверное приложение

• позволяет централизованно управлять конфигурацией операционных систем и программ

• масштабируется на несколько компьютеров

IPзаголовок

TCPзаголовок

качество сервиса

iSCSIзаголовокДанные и команды

SCSI

маршрутизация

• Разработан для storage area networks (SANs)

• Основан на стеке TCP/IP• Устанавливает соединения между

сетевыми устройствами хранения• Клиент-серверная архитектура• IP-маршрутизация, управление

трафиком и безопасностью

iSCSI

протокол, который базируется на TCP/IP и разработан для установления взаимодействия и управления системами хранения данных, серверами и клиентами.

iSCSI = internet Small Computer System Interface

iSCSI

iSCSI клиент iSCSI сервер

iSCSIinitiato

r

iSCSIportal

iSCSIportal

iSCSIinitiato

r

iSCSIportal

iSCSIportal

IPсеть

OpenStack

Head node

OpenStack• Nova• Glance• Neutron

Worker node 1OpenStack

• Nova-compute

Worker node nOpenStack

• Nova-compute

Рабочий процесс

Текстовое описаниеGRANIT ГИП

ORCAOpenStack

VM postscript Neuca (ORCA)

Инструментымониторинга

Stage 1:Описание

эксперимента• Экземпляры ВМ

• Топология

• Пропускная способность сети

• Список установленных приложений

Stage 2:Предоставление

ресурсов• Проверка

статуса шаблонов ВМ

• Создание экземпляров ВМ

• Программирование Data switch

• Подготовка postscript приложений

Stage 3:Запуск

эксперимента• Запуск ВМ

• Запуск приложения Data switch на SDN котроллере

• Выполнение postscripts приложений

• Предоставление доступа к ВМ

Stage 4:Анализ результатов

• Получение данных от ВМ

• Сохранение данных для будущих экспериментов

• Визуализация данных

• Анализ данных

Вычислительные узлы

• До 100 ВМ на каждом Rack

• BYOI (Bring Your Own Image)

“Настоящие” L2 топологии

• В одном Rack

• Между Rack-ами

OpenFlow эксперименты

• В одном Rack

• Между Rack-ами

Исследователям предоставляютс

я все условия для

использования их собственных

виртуальных образов

Эксперименты

Поставщики оборудован

ия

ЧТО ДАЛЬШЕ?

…

ЧТО ДАЛЬШЕ?

…

СПАСИБО ЗА ВНИМАНИЕ!

Вопросы?

Партнеры

GRANITFUTURE

SOC

ORCA

SOCORCA

SOCORCA

interface

TODAY

TOMMOROW