1

Big Data и экстренные вычисления: поддержка принятия решений в критических ситуациях

А.В. Бухановский

BDBM-2014, 30 июня 2014 г.

2

Системы поддержки принятия решений на основе Big Data: Data Driven Approach

1. Неоднородность и распределенность источников данных

2. Использование данных как основы для моделирования

3. Интерактивность процесса изучения данных

4. Ограничение времени решения

3

Экстренные вычисления (1/2):

«сложности перевода»

Экстренные вычисления (Urgent Computing, UС) – раздел eScience, связанный с применением технологий высокопроизводительных вычислений для поддержки принятия решений в критических ситуациях1. Поддержка принятия решений на основе ресурсоемкого компьютерного

моделирования сценариев развития ситуации2. Наличие ограничений на время получения результата (принятия решений) вне

зависимости от сложности задачи и объема вычислений3. Неопределенность поступления вычислительных задач от пользователей –

«игровой» характер построения сценариев («а что будет, если так…»)4. Коллаборативность: большое количество участников, отвечающих за получение

результата и выработку решений для каждого из сценариев5. Доступ к внешними источникам данных в оперативном режиме(DDA – Data

Driven Approach)

Бухановский А.В. BDBM-2014, 30 июня 2014 г.

4

Экстренные вычисления (2/2):

«Технологическое» определение

Экстренные вычисления – это технология организации распределенных сред компьютерного моделирования и прогнозирования с повышенными требованиями к надежности и реактивности для поддержки принятия решений в критических ситуациях1.Использование уже существующих ресурсов и источников данных в распределенных средах (так как экстремальные события бывают редко)2.Возможность организации композитных приложений - связанных между собой задач, определяющих тот или иной сценарий анализа данных и моделирования3.Динамическое выделение ресурсов, потребных для выполнения того или иного сценария в заданный срок4.Управление приоритетами, обеспечение восстановления при сбоях и миграции заданий (с перепланированием ресурсов)5.Интерактивность работы с пользователем на всех уровнях выработки, согласования и принятия решений

Бухановский А.В. BDBM-2014, 30 июня 2014 г.

5

Облачные технологии для организации экстренных вычислений: платформа

CLAVIRE

Композитное приложение

Ресурсы и сервисы

Проект в рамках реализации Постановления Правительства РФ №218 (2010-2012 г.)

ИНИЦИАТОР: ЗАО «Фирма «АйТи». Информационные технологии» - многопрофильный ИТ-холдинг, предоставляющий весь спектр услуг и решений для создания, модернизации и сопровождения корпоративных информационных систем

СLAVIRE = CLoud Applications VIRtual Environment

Бухановский А.В. BDBM-2014, 30 июня 2014 г.

http://clavire.ru

6

Вычислительная инфраструктура:ориентация на неоднородные вычислительные среды и

хранилища данных

• Интегрируемые архитектуры: рабочие станции, суперкомпьютеры, Грид (ГридННС, EGI), облачные инфраструктуры (SARA, Amazon EC2*, OpenStack*)

• Доступ к ресурсам: прямой доступ (SSH), клиентское ПО, web-сервисы, системы управления задачами (PBS), PsExec*

• Операционные системы: Windows - на ядре NT 5.2 (XP) и выше, *nix (Linux)

• Системы управления задачами: Torque, Windows HPC 2008, Sun Grid Engine, Condor*

• Виртуальные машины: VirtualBox, KVM, VMWare*

• Cистемы обработки больших данных: Hadoop

* - функционал ограничен

Вычислительные архитектурыx86, CBEA, ПЛИС, GPGPUC

LA

VIR

E

Виртуализация ресурсовVirtualBox, VMWare, KVM

Операционные системыWindows, *nix

Управление задачамиPBS, Torque, HPC, прямой доступ (ssh)

Готовая инфраструктураГрид (ГридННС), облачные среды (Amazon

EC2, OpenStack)

Бухановский А.В. BDBM-2014, 30 июня 2014 г.

7

Композитные приложения в CLAVIRE: абстрактное описание workflow

Пример: задача моделирования конформационно-зависимых свойств белков(от конформационной подвижности – до докинга)

Бухановский А.В. BDBM-2014, 30 июня 2014 г.

8

Механизмы поддержки Big Data в CLAVIRE

Бухановский А.В. BDBM-2014, 30 июня 2014 г.

1. «Обертка» над существующими средами работы c Big Data (Hadoop, PanDA)

2. Распределенное хранилище данных CLAVIRE

3. Интеллектуальное управление данными на отдельных вычислительных узлах

9

Поддержка экстренных вычислений: «горячее» выделение ресурсов из облака

Бухановский А.В.

Пользователи

Облако вычислитель-ных ресурсов

M

В

А

В

Г

Предметные

модули

Источники данных

Компоненты платформы

Ресурсы

Запуск сервиса

Информа- ция о

сервисах

ВМ

ВМ

ВМ

Сбор данных с датчиков

ДиспетчерM

Среда разработки КП

CLAVIRE/Ginger

Ко

мп

он

ент

зап

уска

зад

ач

CL

AV

IRE

/Exe

cuto

r

Интерпретация композитных приложений

CLAVIRE/FlowSystem

ПОИ CLAVIRE/POIGen

Компонент визуализацииCLAVIRE/SXDX

База прикладных модулейCLAVIRE/

PackageBase

Управление средой

облачных вычислений

CLAVIRE/Farming

Пользователь

Пользователь

Ко

мп

он

ент

пл

ани

ро

ван

ия

C

LA

VIR

E/S

ched

ule

r

Облако ресурсов хранения данных

Распределенное хранилище

CLAVIRE/Storage

Исполнение сценариев

Непрерывное моделирование

Исполнение пакетных заданий

O

O

O

M

С приоритетом и ограничением по времени O!

CLAVIRE1. Определение конфигурации ВМ

2. Оценка количества ВМ и физических ресурсов для их размещения

3. Развертывание ВМ из образов

3. «Горячая» регистрация в CLAVIRE

10

Пример исполнения «экстренных» заданий в CLAVIRE

Бухановский А.В. Ларнака, 13 мая 2013 г.

Принцип выбора ресурса – «чтобы было в срок»

Принцип выбора ресурса – «как можно быстрее»

11

Задачи, требующие динамических ресурсов (1/2):мониторинг социальных медиа

Бухановский А.В. BDBM-2014, 30 июня 2014 г.

12

Задачи, требующие динамических ресурсов (1/2):моделирование социальной мобильности

Бухановский А.В. BDBM-2014, 30 июня 2014 г.

Прогноз загрузки транспортной сети

Данные о корресподенциях

Модуль

Демографичес-кие данные

Непрерывное моделирование динамики потока

Инт . модуль

Прогноз

Оценка качества прогноза

Модуль

Карта сети

Данные по использованию

территории

Данные мониторинга в реальном времени

Анализ прогноза

Расчет планов управления и

выбор лучшего

План управления

Визуализация

Модуль

Модуль

13

Моделирование распространения высококонтагиозных инфекций

14

Структура контактной эпидемиологической сети

(динамические связи)

15

Структура контактной эпидемиологической сети

(устойчивые связи)

16

Сопряжение среды UC с системой виртуальной реальности: анализ структуры сети контактов

Краулинг и расчет параметров сети выполняются в «облаке»

Бухановский А.В. BDBM-2014, 30 июня 2014 г.

17

Данные социальных медиа как инструмент валидации модельных расчетов

Бухановский А.В. BDBM-2014, 30 июня 2014 г.

Плотность населения (час-пик) и данные Instagram

Расчетная невязка между оценкой плотности и ее «отражением» в СМ

18

Вместо заключения: «куда копать в Big Data»?

1. Масштабируемые алгоритмы для работы с Big Data2. Эффективная интеграция технологий Big Data и вычислительных

приложений (C2D – D2C)3. Высокоуровневые средства работы с Big Data – языки, конструкторы,

интерфейсы (Big Data для предметников)4. Гибкие технологии для работы с динамическими потоками данных в

рамках парадигмы Big Data (размер и скорость поступления данных меняются во времени)

5. Средства унификации разнородных данных6. Механизмы контроля пропусков и засорений в Big Data7. Интерактивная визуализация Big Data и использование для

поддержки принятия решений

Бухановский А.В. BDBM-2014, 30 июня 2014 г.

19

Магистерская программа в области Big Data: «Экстренные вычисления и обработка

сверхбольших объемов данных»

Бухановский А.В. ИМТ-2013, 4 июля 2013 г.

20

БЛАГОДАРЮ ЗА ВНИМАНИЕ

www.ifmo.ruhttp://hpc-magistr.ru

http://escience.ifmo.ru

Бухановский А.В. BDBM-2014, 30 июня 2014 г.