Big Data Startup Accelerator Program ЮРИЙ КУПРИЯНОВ, Университетский Альянс SAP, SAP CIS

ГЕОРГИЙ ЛАПТЕВ, innovationStudion, МГУ

Big Data – группа технологий и методов

производительной обработки динамически растущих

объемов данных (структурированных и

неструктурированных) в распределенных

информационных системах, обеспечивающих

организацию качественно новой полезной

информацией.

В мире больших данных мы можем проанализировать

огромное количество данных, а в некоторых случаях –

обработать ВСЕ данные, касающиеся того или иного

явления, а не полагаться на случайные выборки.

Что мы называем Big Data?

1. Поиск и оценка данных: необходимо знать, какие данные

имеются у организации, и какие она может получить,

понимать экосистему данных, с которой работает

компания, и потенциальные возможности сотрудничества с

другими организациями

2. Выявление перспективных источников прибыли:

необходимо понимать способы анализа данных, чтобы

повысить ценность для бизнеса и открыть новые бизнес-

возможности

3. Распознавание и решение задач: необходимо заранее

знать о деловых, операционных, технологических и

юридических сложностях, которые могут возникнуть

Бизнес-задачи Big Data

SAP HANA Data Platform для Big Data

Consume

Store &

Process

Ingest

Приложения SAP BIG DATA

Чем более

персонализирова

нными являются

данные, которые

могут быть

собраны о

клиентах в

режиме

реального

времени, тем

больше их

потенциальная

ценность

6

Customer

Value

Intelligence

(CEI)

Audience

Discovery

(CEI)

Account

Intelligence

(CEI)

Fraud

Management

Demand

Signal

Management

Social Contact

Intelligence

(CEI)

Sentiment

Intelligence (RDS)

Manufacturing

(Operational

Intelligence)

Manufacturing

(Responsive

Manufacturing)

:-)

1. Электронная торговая площадка • Платформа для поддержки торгов/ аукционов

• «Большие данные» наоборот – ограниченные объемы информации, но огромный поток запросов

на запись и чтения (тысячи в секунду)

2. Анализ кредитоспособности Андеррайтинг

• Моделирование сценария прохождения заявки заемщика, в котором фиксируются отклонения от

кредитных правил и рассчитывается кредитный лимит. Интеграция такой подсистемы с системой

ввода кредитных заявок в несколько раз сокращает время рассмотрения заявок

Кредитный скоринг

• Построение скоринговых карт и автоматическое нахождение значимых факторов и подбор

оптимального скорингового балла. то позволяет проводить выбранную кредитную политику и

снижать уровень просроченной задолженности

3. Управление рисками ликвидности • Измерение ликвидности в реальном времени

• Является частью BASEL III

4. Расчет нормативов по достаточности капитала • Инструкция ЦБ 139-И

• Расчет большого кол-ва показателей (около 300) на огромном объеме исходных данных

Финансовые организации

1. Прогнозирование спроса и планирование

ассортимента • Внесение календарных событий и бизнес факторов в прогностические модели.

• Измерение влияния бизнес-факторов (в том числе предполагаемых изменений розничных цен) и

событий/мероприятий на прогнозы

• Анализ ассортимента для выявления имеющихся недостатков и возможностей.

• Оптимизация планов в целях повышения эффективности специальных рекламных акций и

распродаж.

• Планирование количества поставок, а также процесс инвентаризации.

2. Управление товарными запасами дистрибутора в

реальном времени • Ускорение цикла получения детализированной информации по товарам и запасам с 15 дней до 5

минут

• Точную и быструю идентификацию лежалых и непродающихся товаров

• Планирование на лету промо кампаний, перемещений на другие склады и магазины, возвратов

поставщикам и других действий по таким товаром в реальном времени.

3. Оптимизация использования торговых площадей • Ускорение цикла получения детализированной информации по товарам и запасам с 15 дней до 5

минут

• Планирование на лету промо кампаний, перемещений на другие склады и магазины, возвратов

поставщикам и других действий по таким товаром в реальном времени.

Розничная торговля

1. Слияние биллинговых систем • Быстрое слияние биллинговых систем, с использованием интеллектуальных процедур

• Технологическая поддержка для M&A (Вымпелком, МТС)

2. Хранилище данных с телекоммуникационной моделью • Хранилище данных, поддерживающая основные бизнес-задачи и приложения в

телекоммуникационной отрасли

• Интеграция с ключевыми для российского рынка системами (SAS)

3. Управление лояльностью абонента • Формирование профиля абонента: сегментация клиентской базы, оценка предпочтений и расчёт

доходности для каждой группы

• Анализ записей о звонках клиентов по десяткам и сотням настраиваемых параметров,

определение социальных групп абонентов, выявление лидеров мнений, последователей и

другие роли внутри этих социальных групп

• Нахождение внутренних взаимосвязей и зависимостей: позволяет создавать модели оттока

абонентов, сегментировать их, что в целом расширяет аналитические возможности оператора.

• Планирование и предварительная оценка маркетинговых компаний, качественное

таргетирование исходя из профилей абонентов

• Предотвращение оттока абонентов, за счет выявления и оценки значимости факторов, которые

влияют на лояльность клиентов

• Принятий решения о необходимости удержания клиента исходя из экономических соображений

Телекоммуникации

1. Сбыт в рознице (АЗС) • Прогнозирование спроса

• Бренд-аналитика

• Анализ цен и их изменение по конкурентам, регионам с учетом макроэкономических показателей

• Увеличение продаж сопутствующих товаров (за счет выявления закономерностей)

• Снижение простоев АЗС (за счет более точной логистики бензовозов)

2. Оценка экономической эффективности

месторождения • Оценка и комплексный анализ эффективности разработки месторождения

• Анализ и выявление неоптимальных участков разработки, адресное планирование мероприятий,

подбор ГТМ, прогноз эффектов

• Подбор оптимальных вариантов программ мероприятий, режимов разработки в соответствии с

требованиями по добыче, экономике, инфраструктурным ограничениям

3. Digital Oil Field – Монитор бурения • Монитор процесса бурения

• Отслеживания графика капитального строительства

• Анализ текущей ситуации на скважине относительно исторических данных

• Выявление инцидентов и дальнейший прогноз по возможным инцидентам на других активах

• Корпоративная технологическая база знаний

4. Кросс-индустриальные сценарии (см. далее)

Нефтегазовая промышленность

1. Ремонты по состоянию (Predictive Maintanance) • Снижение простоев оборудования

• Более аккуратное планирование ремонтов (включая все цепочку : формирование списка зап.

частей, заказ, логистика, склад, формирование бригад)

• Повышение производства за счет снижения простоя оборудования(выполнение

производственного плана, устойчивое развитие предприятия)

• Уменьшение складских запасов

2. Ситуационный центр • Моментальное реагирование на события с планом мероприятий по всем направлениям

(персонал, экология, производство)

• Стратегическое и оперативное планирование деятельности организации

• Мониторинг и оценка влияния внешних воздействий на объекты управления

• Автоматический контроль заданных параметров функционирования системы и выявление

возможных угроз

• Поддержка разработки решений в нетипичных, кризисных и чрезвычайных ситуациях

• Учет влияния управленческих воздействий на объекты в целом

• Накопление информационно-аналитической системой опыта управления

3. Противодействие мошенничеству • Выявление мошеннических транзакций и поведения по фильтрам

• Выявление отклонения поведения объектов от типичного (среднего) поведения

• Анализ социальных сетей

Кросс-индустриальные сценарии

1. Прогноз Социально-Экономического Развития • Порядка 50% регионов формируют прогноз СЭР ручным способом

• Почти все ФОВ реализуют его в Eхcel

• При этом прогнозные инструменты не используются по причине отсутствия актуальных данных.

• Прогноз формируется методом индексации

2. Централизованное хранилище данных электронного

бюджета • Самая крупная тема BigData в России: тема построение единого аналитического хранилища

данных для системы «Электронного бюджета» создаваемой МинФином и Федеральным

казначейством.

• В настоящий момент система содержит десятки реляционных баз данных и интегрированных

между собой систем.

• Отсутствует единое аналитическое хранилище данных системы «Электронный бюджет».

3. Ситуационный центр выявления угроз Национальной

безопасности • Выявление схем и инцидентов связанных с несанкционированным просмотром сотрудниками

службы информации об объектах хранящихся во внутренних БД в том числе:

o Выявление связей между физическим лицом и перечнем фирм по критерию

принадлежности физического лица к списку учредителей или руководителей фирмы;

o Выявление авторизованного списка дел по юридическим лицам просмотренных

сотрудниками РФМ;

Государственный сектор

© SAP 2012 | 13 BIG DATA STARTUP ACCELERATOR PROGRAM

Фокус на создании благоприятной среды для тех, кто хочет в ближайшие годы

создать новые продукты/сервисы, новые бизнесы на сегментах рынков

Больших данных (БД).

Портфель проектов в Акселераторе будет формироваться в течение 2014-2015

г.г. из выявленных верифицированных пользовательских кейсов , ценностных

предложений, и предпринимательских команд.

В Акселераторе можно будет:

Освоить необходимые компетентности: закрыть пробелы в необходимых

знаниях и умениях;

Отработать с потенциальным заказчиком концепцию бизнес модели,

продукта, сервиса;

Создать прототип и отладить его на железе и софте партнеров.

Реализация PoC под

задачи отраслевого

клиента

Уход всей или части

команды к клиенту

Use-case или легкий

прототип продукта или

сервиса

Обучение и технологическая

экспертиза

Коучинг и менторинг

Отдельные разработчики

Существующие команды

Отраслевые клиенты

Собственные идеи

Включение в работу команд

Поиск идей в рамках интенсивов

по Design Thinking

Сентбярь-октябрь

Первоначальная

регистрация для участия

в Big Data StartUp

Accelerator Program.

Сентбярь-октябрь

Ноябрь-февраль

Формулирование задачи

стартап-проекта, получение

необходимой технологической

экспертизы

Февраль Презентация

концептов и интенсив по

бизнес-развитию стартап-

проетков на зимней школе

iStudio и SAP

Март-июнь

Довtдение продукта до

рабочего прототипа,

коучиннг и

локализация в iStudio

Июль-август

Презентация итогов

работы в

акселерационной

программы в рамках

летней школы iStudio и

SAP

Регистрация на uasupport.cis@sap.com Регистрация на sap-reg.com/uni-entrepreneur

Be Creative! Куприянов Юрий Георгий Лаптев

Университетский Альянс SAP innovationStudio

ООО САП СНГ МГУ им. Ломоносова

yury.kupriyanov@sap.com gdlaptev@gmail.com

SAP HANA

SAP HANA

OLTP BI (OLAP)

■ Данные хранятся и обрабатываются непосредственно в оперативной памяти

■ «In-memory» позволяет избежать эффекта задержек ввода/вывода

■ Строчное и колоночное хранение данных позволяют оптимизировать выборку по запросу

■ Сжатие данных за счет хранения и обработки только значимого содержимого

■ Поставляется как единый программно-аппаратный комплекс

SAP HANA

CPU

STORAGE

MEMORY

Compression Partitioning

No Aggregate tables (Dynamic Aggregation)

Solid State Flash HDD

64bit address space 1 TB in current servers

Dramatic decline in price/performance

L3 Cache

L3 Cache

L3 Cache

L3 Cache

L3 Cache

L3 Cache

L3 Cache

L3 Cache

Multi-Core Architecture 8 CPU x 10 Cores per blade

Massive parallel scaling with many blades

Logging and Backup

OLTP+OLAP in column Store

«Встроенная» аналитика

Сокращение

времени принятия

решения

Интеллектуальное

моделирование на

уровне предприятия

Предиктивная

аналитика для

широкого круга

потребителей

Масштабируемая

интеграционная

платформа

SAP ADVANCED ANALYTICS

SAP

Predictive Analysis

SAP HANA

Predictive Analysis Library

(PAL)

Аналитическая

библиотека R

Predictive RDS

Преднастроенные сценарии для аналитических проектов

SAP Data Science

Индустриальная специфика, математические алгоритмы

прогнозной аналитики

InfiniteInsight

© 2013 SAP AG. All rights reserved. 20

Интеграционная модель

SAP

HANA

Визуализация и

прогноз

Журнал

ы Неструктурированны

е данные

Загрузка данных

для

предобработки

Загрузка

результатов в

SAP HANA

SAP IQ

(Data Services)

Федерация

запросов

Smart Query Access (Data Virtualization)

SAP IQ

Интеграция на уровне ETL

Data Services предоставляет прямой

доступ к Hadoop: SAP Data Services

генерируют и выполняют инструкции

HiveQL для запроса, выборки и

загрузки данных в таблицы Hive.

Анализ выполняется

непосредственно в HDFS как задания

модели MapReduce

ETL непосредственно в SAP IQ

Прямой доступ к Hadoop

Виртуальные таблицы (SAP HANA

smart data access)

Интеграция с HCatalog

Федерация запросов с SAP IQ

SAP BI доступ

Доступ SAP BOBJ напрямую к

Hadoop HIVE через JDBC

Ценность HADOOP заключается в том, чтобы создать

репрезентативную выборку из гигантских объемов первичных

данных и затем передать эту выборку для оперативной обработки в

SAP HANA (яркий пример – сборка генома)

Ценность HADOOP + SAP HANA