SAP HANA: Новая эпоха в Data Management и...
Transcript of SAP HANA: Новая эпоха в Data Management и...
SAP HANA: Новая эпоха в Data Management и
технологиях разработки. Сергей Кузин, Старший архитектор бизнес-решений
Апрель, 2015 Public
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 2 Public
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 3 Public
Что же необходимо для решения современных задач?
Обработка потоков данных
SAP HANA Stream Engine
Загрузка и обработка больших объемов
данных
SAP HANA EIM
Хранение больших объемов данных
SAP HANA Dynamic Tiering, Hadoop Integration
Платформа для разработки
SAP HANA XS and Calculation Engine
Управление ресурсами и приложениями
SAP HANA Multi-Tenant
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 4 Public
Что же необходимо для решения современных задач?
Обработка потоков данных
SAP HANA Stream Engine
Загрузка и обработка больших объемов
данных
SAP HANA EIM
Хранение больших объемов данных
SAP HANA Dynamic Tiering, Hadoop Integration
Платформа для разработки
SAP HANA XS and Calculation Engine
Управление ресурсами и приложениями
SAP HANA Multi-Tenant
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 5 Public
Что является источником нашей
информации?
Биржевые показатели
Транзакции
Социальные сети
Действия пользователей
Сенсоры
Обработка потоков данных
SAP HANA Stream Engine
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 6 Public
Считывание, фильтрация, анализ и реакция
на миллионы событий в секунду в реальном времени
Сохранение значимой информации в SAP HANA
и прямая запись потоковой информации в Hadoop
Анализ потоков информации – прямая интеграция с
операционными инфопанелями
Построение моделей обработки потоков
используя декларативный язык (CCL) и графические
модели обработки
Администрирование с помощью SAP HANA Studio и
SAP HANA Cockpit
SAP HANA – Stream Engine Встроенная поддержка обработки потоков данных
Incoming
streams
Stream
(push)
SAP HANA
Streamin
g
Service
Обработка потоков данных
SAP HANA Stream Engine
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 7 Public
Основная концепция Stream Engine
Входные потоки данных (окна событий) Данные рассматриваются как поток событий
Выходящий поток (окно
событий) Выполнение «continuous
query» к одному или
нескольким входящим
потокам для получения
результирующего потока
Аналогия к базам данных • Потоки – это таблицы
• События – записи в таблицах
• Поля в событиях – колонки
таблицы
Окна событий имеют свои параметры • Параметры хранения определяют как много
и как долго события хранятся в окне
событий
• Тип событий автоматически учитывается
при обработке события – автоматически
определяется добавить/обновить/удалить
информацию в окне
Обработка потоков данных
SAP HANA Stream Engine
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 8 Public
SAP HANA Studio – средство для
создания проектов Stream Engine
Создание и
отладка
проекта
Streaming plug-in
добавляет
новые
перспективы в
HANA Studio
Визуальны
й и
текстовый
формат
разработки
Обработка потоков данных
SAP HANA Stream Engine
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 9 Public
Что же необходимо для решения современных задач?
Обработка потоков данных
SAP HANA Stream Engine
Загрузка и обработка больших объемов
данных
SAP HANA EIM
Хранение больших объемов данных
SAP HANA Dynamic Tiering, Hadoop Integration
Платформа для разработки
SAP HANA XS and Calculation Engine
Управление ресурсами и приложениями
SAP HANA Multi-Tenant
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 10 Public
Использование встроенных в SAP HANA механизмов для
загрузки данных из внешних систем. Возможность
использования в собственных приложениях функционала SAP
HANA Smart Data Integration (ETL and Data Quality)
Встроенный функционал Real-time replication, пакетной
загрузки, преобразования и очистки данных
Встроенная среда разработки
– SAP HANA Studio
– SAP HANA WebIDE
Поддержка on-premise и cloud источников
Открытый SDK и преднастроенные адаптеры
SAP HANA – Smart Data Integration Новое интегрированное решение для загрузки и очистки данных
Загрузка и обработка данных
SAP HANA EIM
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 11 Public
SAP HANA EIM Встроенные возможности интеграции нового уровня
Упрощение ландшафта, Ускорение, Открытый SDK
Загрузка и обработка данных
SAP HANA EIM
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 12 Public
Что же необходимо для решения современных задач?
Обработка потоков данных
SAP HANA Stream Engine
Загрузка и обработка больших объемов
данных
SAP HANA EIM
Хранение больших объемов данных
SAP HANA Dynamic Tiering, Hadoop Integration
Платформа для разработки
SAP HANA XS and Calculation Engine
Управление ресурсами и приложениями
SAP HANA Multi-Tenant
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 13 Public
Использование дискового пространства и усовершенствованной
технологии поколоночного хранения
Поддержка петабайтных решений – отсутствие ограничений
оперативной памяти
Встроенная технология SAP HANA platform – отсутствие дупликации
данных
– «Push down» обработка запросов
– Поддержка SQL и Calculation View
Оптимизация ТСО и нахождение баланса
производительности/стоимости
– Хранение текущей, часто используемой информации в памяти и
исторических данных на диске
Поддержка SAP решениями. В настоящий момент SAP BW 7.4.
SAP HANA - Dynamic Tiering Реализация подхода температуры данных – warm data
Hot Warm
SAP HANA
Хранение больших
объемов данных
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 14 Public
Прямой доступ к файловой системе HDFS из SAP
HANA
Использование пользовательских функций для
вызова map-reduce jobs
– SAP HANA Studio как единая среда разработки для
вызова Map Reduce jobs
– Поддержка кэширования выполняемых функций
Поддержка всех текущих версий
распространения Hadoop (Hortonworks, Cloudera
etc.)
SAP HANA – Hadoop Integration Углубленная интеграция
SAP HANA
vUDF Operator
RFC Hadoop
Hadoop
Map Reduce
HDFS
YARN
HIVE
Virtual
Tables
SDA
(ODBC)
Spark
SQL
ODBC/
JDBC
SDI
Adapter
Framework
Хранение больших
объемов данных
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 15 Public
Что же необходимо для решения современных задач?
Обработка потоков данных
SAP HANA Stream Engine
Загрузка и обработка больших объемов
данных
SAP HANA EIM
Хранение больших объемов данных
SAP HANA Dynamic Tiering, Hadoop Integration
Платформа для разработки
SAP HANA XS and Calculation Engine
Управление ресурсами и приложениями
SAP HANA Multi-Tenant
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 16 Public
SAP HANA – разработка собственных
приложений $£¥ ©™
Платформа для разработки
SAP HANA XS and Calculation Engine
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 17 Public
HANA Web IDE – новая среда разработки
в SP9 $£¥ ©™
Платформа для разработки
SAP HANA XS and Calculation Engine
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 18 Public
Новый графический интерфейс для создания
новых расчетных функций и процедур в HANA
Studio
Исполнение функций в SQLScript
Интеграция с:
– Predictive Analysis Library (PAL)
– Business Function Library (BFL)
– Собственными AFL функциями
– R
Поддержка транспортов между системами
(хранится в HANA repository)
$£¥ ©™
SAP HANA – разработка приложений Новая среда для написания собственных функций
Платформа для разработки
SAP HANA XS and Calculation Engine
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 19 Public
Более 60 AFL прогнозных алгоритмов реализованных в
SAP HANA
Новые алгоритмы, включая:
– Classification Analysis – Neural network
– Clustering - K-medians
– Feature selection & dimensionality – Principal component analysis
– Time Series Analysis – ARIMA-X, 2nd order exp smoothing,
forecasting with simple linear regression, seasonal linear
regression, Croston’s method, time series comparison, forecast
accuracy, Brown’s simple exp smoothing
– Top-K Association rule mining – KORD
– …
$£¥ ©™
SAP HANA – разработка приложений Расширение библиотеки прогнозных функций
Платформа для разработки
SAP HANA XS and Calculation Engine
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 20 Public
$£¥ ©™
Deve
lop
er
too
l e
nh
an
ce
me
nts
• Web-based Development Workbench (Web IDE)
• SQLScript Debugging
• SQLScript Editor
• Calculation View editor
• XSOData editor
• Manual test explorer for XSOData artifacts (app explorer)
• Web Templates and code completion
• Application Preview
• Form based role editor for hdb objects
• Check File Access
• XSUnit integration
• CDS/HDBDD Editor with local semantic code completion
• SAP HANA Answers plug-in
• SAP HANA Studio
• Project set up – artifact generation
• Navigation to XS administration tool
• Run as configuration and execution)
Mo
deli
ng
en
han
ce
me
nts
• Web IDE
• Calculation View editor,
• Analytic Privilege editor
• SAP HANA Studio
• Editor usability
• Value help entity reference
• Calculation Views (Rank node, Table function as data sources)
• Script-based CV enhancements (Table function support, Output column structure import)
• History Views support (time travel support)
• Spatial support: spatial joins, spatial expressions in filters
• Harmonize Development- and Modeler- Studio perspectives
• Harmonize object naming
• Debugging Views with drill-down analysis, join cardinality
• Logging and tracing for modeler plugins (preferences)
• Replace node / replace node with a data source
• Propagate semantics from data sources / extract semantics
XS
Pro
gra
mm
ing
mo
de
l e
nh
an
ce
me
nts
• SMTP support in XS
• XML Parser
• ZIP
• $UTIL (CODEC/CRYPTO)
• Extended CORS support
• X-Frame
• New SQL DB interface
• User Self Service applications
• XSDS
• XSProcedures
• XSUnit
• REST API – Repo API
• Better Technical User support – default connection for user
• Better integration of Web Dispatcher
SQ
LS
cri
pt
en
han
ce
me
nts
• Tooling
• SQLScript Debugging in the Web-based Dev Workbench
• SQLScript Editor in the Web-based Dev Workbench
• SQLScript semantic code completion in the HANA Studio
• Enhanced SQL performance analysis in SAP HANA studio
• Language
• Table type definitions for input parameters
• Table type definitions for intermediate variables
• Autonomous transactions
SAP HANA – разработка приложений Платформа для написания собственных приложений
Платформа для разработки
SAP HANA XS and Calculation Engine
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 21 Public
Что же необходимо для решения современных задач?
Обработка потоков данных
SAP HANA Stream Engine
Загрузка и обработка больших объемов
данных
SAP HANA EIM
Хранение больших объемов данных
SAP HANA Dynamic Tiering, Hadoop Integration
Платформа для разработки
SAP HANA XS and Calculation Engine
Управление ресурсами и приложениями
SAP HANA Multi-Tenant
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 22 Public
Schema X
SAP HANA Instance
App X
Schema Y
App Y
HW
OS
Database
Schema
SAP HANA Instance
App
HW
OS
Database
Одна схема
Одна база данных SAP
HANA
Несколько схем (MCOD)
Одна база данных SAP HANA
Schema X
Database
SAP HANA Instance
App X
Schema Y
App Y
Database
SAP HANA Instance
Hypervisor
HW
OS OS
Несколько инстанций SAP HANA в
рамках нескольких виртуальных
машин
Schema X
Tenant DB
SAP HANA Instance
App X
Schema Y
App Y
Tenant DB
HW
OS
Несколько «тенантов» баз данных
Единый HANA сервер
Prior to SPS09 With SPS09 Multi-tenant
database feature
SAP HANA – Multi-tenant Оптимизация использования ресурсов
Управление ресурсами и приложениями
SAP HANA Multi-Tenant
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 23 Public
SAP HANA – Multi-tenant Концепция работы
Новый слой для администрирования всех
систем - System database
• Информация с топологией всего ландшафта
• Установка глобальных параметров
• Выполнение backup для всех «тенантов»
• Управление ресурсами во всей системе (CPU, memory,
disk для отдельных баз данных)
Доступ к базе по названию «тенанта»
• Установка специфических параметров для отдельного
«тенанта»
• Индивидуальное выполнение backup для «тенанта»
• Управление пользователями и данными конкретной
базы
*Единая версия SAP HANA
*Единые политики по HA/DR
AS ABAP
Connect to:
HAN.DB’A’
SAP HANA
SID: HAN
HAN.DB A
Any Application
Connect to:
HAN.<port>
HAN.DB B
HAN.SystemDB
Управление ресурсами и приложениями
SAP HANA Multi-Tenant
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 24 Public
SAP HANA System
SAP HANA – Multi-tenant Организация работы в scale-out конфигурации
Tenant DB A.3
Tenant DB B.1
System DB
(standby) System DB
Tenant DB C
Tenant DB B.2
Tenant DB A.2
System DB
(standby)
Tenant DB D
Tenant DB A.1
HOST 1 HOST 3 HOST 2 Standby (HOST 4)
System DB
(standby)
Управление ресурсами и приложениями
SAP HANA Multi-Tenant
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 25 Public
SAP HANA – Multi-tenant Доступ к данным из разных систем
SAP HANA System
Tenant DB
B
Tenant DB
A
Sca
n
Sca
n
Join
Sca
n
Sca
n
Tenant DB
C
Sca
n
HOST 1 HOST 2
Возможность
выполнения
запросов сразу по
нескольким
«тенантам»*
*на текущий
момент Read only
Управление ресурсами и приложениями
SAP HANA Multi-Tenant
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 26 Public
SAP HANA Monitoring Dashboard – Единое место отслеживания состояния систем
Управление ресурсами и приложениями
SAP HANA Multi-Tenant
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 27 Public
Подводя итоги
Обработка потоков данных
SAP HANA Stream Engine
Загрузка и обработка больших объемов
данных
SAP HANA EIM
Хранение больших объемов данных
SAP HANA Dynamic Tiering, Hadoop Integration
Платформа для разработки
SAP HANA XS and Calculation Engine
Управление ресурсами и приложениями
SAP HANA Multi-Tenant
© 2015 SAP SE or an SAP affiliate company. All rights reserved.
Разрабатывайте свои
приложения с SAP HANA!
Кузин Сергей
Эксперт в области баз данных и технологий, SAP СНГ
t: 8(963)672-57-94
E-mail: [email protected]