Подход Oracle к управлению метаданными для аналитических...
-
Upload
andrey-akulov -
Category
Technology
-
view
161 -
download
13
Transcript of Подход Oracle к управлению метаданными для аналитических...
Управление метаданными
Александр РындинВедущий консультант,Oracle СНГ
2 декабря 2014г.
Copyright © 2014, Oracle and/or its affiliates. All rights reserved.
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Программа
� Обзор новостей технологий интеграции данных Oracle
� Новости Oracle GoldenGate
� Новинка Oracle Enterprise Metadata Manager
� Новости Oracle Data Integrator
� Новости Enterprise Data Quality
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Big Data Reservoir – видение Oracle
4
Перенос в реальном времени– Минимальное влияние на
источник, stage в Hadoop или
Oracle
– Непрерывная доступность
Трансформация данных– Пакетный перенос данных
– Обработка данных Pushdown
Федерация данных– Виртуальные сервисы данных
Качество и проверка данных– Решаем проблемы на источнике
– Проверяем консистентность
Управление метаданными– Lineage и Impact анализ
– Семантический бизнес-словарь
Data GovernanceFoundation
Oracle Data Integrator(Трансформация)
Oracle Data Integrator(Трансформация)
Enterprise Data Quality(Profile, Cleanse, Match and De-duplicate)
Enterprise Data Quality(Profile, Cleanse, Match and De-duplicate)
FastLoad
Oracle GoldenGate(Перенос)
Oracle GoldenGate(Перенос)
Enterprise Metadata Management & Business Glossary(Business Glossary, Data Lineage, Impact Analysis and Data Provenance)
Enterprise Metadata Management & Business Glossary(Business Glossary, Data Lineage, Impact Analysis and Data Provenance)
Data Service Integrator(Федерация)
Data Service Integrator(Федерация)
GoldenGate Veridata(Online проверка)
GoldenGate Veridata(Online проверка)
ELT Processingon Hadoop or SQL
Continuous Availability
In-MemoryGrid
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Отличительные черты Oracle Big Data Reservoir
Динамический перенос данных– Real-time CDC по умолчанию, не
ETL
– Наименее нагружает источник
– Проверенная лучшая скорость
– Integrated Oracle capture/apply
Нет движка ETL– Перенос обработку к данным, а
не наоборот
– Используем Ваши движки для
выполнения работы
(Hadoop or SQL)
Лучшая гетерогенность– Используем открытый Hadoop (не
проприетарный)
– Hadoop – вот Hub, а не ETL tools
– Открытые стандарты метаданных
Data GovernanceFoundation
Oracle Data Integrator(Трансформация)
Oracle Data Integrator(Трансформация)
Enterprise Data Quality(Profile, Cleanse, Match and De-duplicate)
Enterprise Data Quality(Profile, Cleanse, Match and De-duplicate)
FastLoad
Oracle GoldenGate(Перенос)
Oracle GoldenGate(Перенос)
Enterprise Metadata Management & Business Glossary(Business Glossary, Data Lineage, Impact Analysis and Data Provenance)
Enterprise Metadata Management & Business Glossary(Business Glossary, Data Lineage, Impact Analysis and Data Provenance)
Data Service Integrator(Федерация)
Data Service Integrator(Федерация)
GoldenGate Veridata(Online проверка)
GoldenGate Veridata(Online проверка)
ELT Processingon Hadoop or SQL
Continuous Availability
In-MemoryGrid
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Гетерогенный резервуар
6
Flume
Hive on MR, Tez, Spark
Logs
OLTP DB
SQOOP
OGG
Pig on MR, Tez, Spark
ODIODI
SQOOP/
Big Data Connectors/
Big Data SQL Any DW
OGGOGG
Spark
OozieOozie
OEDQOEDQ OEMMOEMM
Проверка и
очистка данных
Управление
метаданными
API/File
Hive/HCat,
HDFS,HBaseHive/HCat,
HDFS,HBase
NoSQL
Flume
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Программа
� Обзор новостей технологий интеграции данных Oracle
� Новости Oracle GoldenGate
� Новинка Oracle Enterprise Metadata Manager
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Как работает GoldenGate
Source
Oracle & Non-Oracle
Database(s)
Target
Oracle & Non-Oracle
Database(s)
Захват: зафиксированные транзакции захватываются (фильтруются) по мере их появления в журналах
(online, arc).
Trail: записываем данные для маршрутизации.
«Pump»: передает данные на целевую систему
Маршрутизация: данные могут быть сжаты и зашифрованы
CaptureTrail
Files Pump Delivery
LAN / WAN / Internet
Over TCP/IP
Trail
Files
Доставка: применяет данные с
транзакционной целостностью
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Режимы работы GoldenGate
• Extract
– Классический (обычный, ALO, на ADG)
– Интегрированный (обычный, real-time downstream, archivelog downstream)
• Replicat
– Классический
– Интегрированный
– Координированный
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
ОписаниеОписаниеУлучшениеУлучшение
Integrated Capture
Компрессия Захват изменений сегментов, сжатых EHCC, OLTP сжатием
Transparent Data Encrypt Захват зашифрованных данных
Distributed Transactions XA-RAC, PDML
RAC, XAG, Standby Простое внедрение в RAC, Standby
XML XML as CLOB, XML Object-Relational, XML Binary, XML Type Tables
LOB (basic, secure) Практически все захватывается из журнала
REDO Processing Многопоточная обработка журналов
Deployment Развертывание в локальном и downstream-режиме
DDL Захват DDL-изменений без триггеров
User-Defined Types ANYDATA, SDO_GEOMETRY
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Integrated Extract – локальный режим
База данных и процесс Integrated Capture на одном сервере
User/Application changes
Record
changesCapture
changes
Redo Logs
Capture
Integrated
ExtractOracle Database
Trail
File…..
Source Machine
LCR1
LCR2
LCR3
….
….
….
Logical Change
Records
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Integrated Extract –Downstream режим, real-time
User/Application changes
Record
changes
Redo Logs Integrated
ExtractOracle Database
Trail
File
Source Machine
База данных источника и Integrated Capture на разных серверах
Standby
Redo LogsOracle Database
Downstream Machine
…..Continuous
REDO
Shipping
Capture
changes
LCR1
LCR2
LCR3
….
….
….
Logical Change
Records
Capture
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Integrated Extract – Downstream в архивном режиме
User/Application changes
Record
changes
Redo Logs
Cap
ture Integrated
ExtractOracle Database
Trail
File
Source Machine
База данных источника и Integrated Capture на разных серверах
Archive Logs
Oracle Database
Downstream Machine
…..
Capture
changes
LCR1
LCR2
LCR3
….
….
….
Logical Change
Records
Capture
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Prior to OGG 12c - High Volume Replication
Trail
Files
Delivery
Delivery
Delivery
Delivery
Customer
defined
split
SQL
SQL
SQL
SQL
Target
Oracle and Non-Oracle Databases
GoldenGate
Delivery
14
MAP sales.acct1, TARGET sales.acct1;
MAP sales.acct2, TARGET sales.acct2;MAP sales.acct2, TARGET sales.acct2;
MAP sales.acct3, TARGET sales.acct3;
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
DescriptionDescriptionCategoryCategory
Integrated Replicat
Parallel Apply Многопоточный процесс
Full Transaction Consistency Многопоточное применение транзакций не отменяет согласованность
DDL+DML DDL корректно применяется в многопоточном режиме
User-Defined Types ANYDATA, SDO_GEOMETRY
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Integrated Replicat
Replicat
• Читает trail file
• Создает logical change records
(LCRs)
• Передает LCRs в Oracle Database
через Lightweight Streaming API
Inbound Server (Database Apply Process)
• Receiver: Читает LCRs
• Preparer: Вычисляет зависимости между транзакциями (первичный ключ,
уникальный индекс, внешний ключ) , группирует транзакции, сортирует с учетом
зависимости
• Coordinator: Координирует транзакции, управляет порядком работы applier
• Applier: Применяет назначенные транзакции, включая разрешение конфликтов и
обработку ошибок.
Trail
FilesReplicat
Lightweight
Streaming
API
Receiver Preparer Coordinator
Inbound Server
Applier N
Applier 2
Applier 1
Oracle Database
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Coordinated Delivery для сторонних баз данных
Trail
Files
Thread
Thread
Thread
Thread
Админ
определяет
распределение
SQL
SQL
SQL
SQL
С точки зренияадминистратородин процесс
GoldenGate координирует
потоки для барьерных операций
Target
Oracle and Non-Oracle Databases
GoldenGate
Delivery
MAP sales.acct1, TARGET sales.acct1,
THREAD(2);
MAP sales.acct2, TARGET sales.acct2,
THREAD(3);
MAP sales.acct,3 TARGET sales.acct3,
THREADANGE(4-9);
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Тесная интеграция с Oracle CoherenceОбзор
• GoldenGate Coherence Adapter
запускает на базе данных источника
• Зафиксированные изменения
реплицируются в реальном
времени из источника в Coherence
через адаптер
• Интеграция с Coherence
обеспечивается с помощью TopLink
extensions
Oracle Coherence Grid Edition 12.1.2
Oracle & Non-Oracle Database(s)
Capture
Cohe
renc
eA
dapt
er
Trail
Files
Oracle TopLink
Reads/Writes Initiated
By Coherence
Third Party
DML Operations
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate Veridata 11.2/12c Components & Flow Communications and Startup
Сравнение меняющихся данных происходит в два этапа:
1. Начальное сравнение
2. Подтверждение расхождения
Target
Database
Source
Database
Veridata
Repository
Web Client
Veridata AgentVeridata AgentVeridata Agent
Veridata AgentVeridata AgentVeridata Agent
JDBC
JDBC
Veridata
Web Server
Command Line
(Vericom)
JDBC
TCP/IIP
TCP/IIP
TCP/IIP
HTTP
Agent Hashes Row
& Sends PK + Hash
Server Sorts Rows,
Compares Hash,
Generates COOS
OGG
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
New for Veridata 12.1.3
• Восстановление гетерогенных данных
• WLS 12.1.3 / Single Sign on
• SSL and IPv6 for Agents
• Шифрование отчетов (.rpt, .oos, .oosxml)
• Удаление старых отчетов
• Инструмент для скриптования (Load config API)
Oracle Veridata - Now & Later
Veridata Today
• Высокоскоростное, гетерогенное сравнение
• Низкое влияние: не блокирует; хэширование и сортировка не в базе
• Подмножество строк/столбцов; хранит историю аудита; визуализирует
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Программа
� Обзор новостей технологий интеграции данных Oracle
� Новости Oracle GoldenGate
� Новинка Oracle Enterprise Metadata Manager
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Ценность Enterprise Metadata Management
22
ETL
BI
DashboardsApp
ETL
ETL
Каким образом
рассчитывали
объем продаж?
Что будет если я
изменю эту
таблицу?
Какие отчеты
используют
данные
мэйнфреймов?
Системный
администратор
Руководитель
BI Разработчик
Откуда пришли
эти данные?
Пользователь
приложений
Какие отчеты
используют
информацию о
клиенте?
CDC
Hadoop
Data Lake
Data Steward
Могу ли я доверять
этой информации
о клиенте?
ETL
разработчик
Решает большое количество серьезных задач для различных бизнес-пользователей и технических специалистов
Я хочу спроектировать
эксперимент, для измерения
успешности регистрационной
страницы. Какими данными я
располагаю?
Data Scientist
GG
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Oracle Enterprise Metadata Management
Доверие к данным
Руководители Информационные панели / Отчеты
!=!=!=!=
!!!!!!!!!!!!????????????
•Информационные панели не совпадают с отчетами?
•Откуда эти данные?
•Могу ли я доверять другим отчетам?
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Oracle Enterprise Metadata Management
Происхождение данных и взаимосвязи
DBA’s / ETL / BI разработчики Управление данными / Среда разработки
•Что если я изменю этот столбец?
•Какое влияние имеет мой ETL маппинг?
•Где мне брать данные?
???????? !!!!!!!! ????????
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Представляем Oracle Enterprise Metadata Management
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Что такое метаданные
• Метаданные – это данные о данных.
• Метаданные создаются, когда данные создаются, извлекаются, добавляются, удаляются, изменяются в любом источнике данных
• Метаданные – неотъемлемая часть хранилищ данных, особенно Big Data хранилищ
26
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Ценность метаданных
• Повысить доходность и ценность• Создать «продаваемый» информационный продукт
• Использовать информационные активы для новых продаж
• Лучше понимать клиентов и продукты
• Сократить стоимость и сложность• Снизить дублируемость данных
• Снизить дублируемость процессов обработки данных
• Снизить вероятность ошибки
• Снизить риски и повысить уверенность• Повысить уверенность бизнеса в данных
• Снизить стоимость аудита
• Снизить репутационные риски
27
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 28
Big Data BI - ОтчетногстьСобытия
Полезная информация
Пр
ои
схож
де
ни
е д
ан
ны
хП
ро
исхо
жд
ен
ие
да
нн
ых
Ан
ал
из
вл
ия
ни
яА
на
ли
з в
ли
ян
ия
ETL Качество данных
Интеграция данных
Потоки данных Интеграция Исследование
Файлы Облака
Источники данных
Big Data Реляционные Приложения
Бизнесс
глоссарий
Репозиторий
метаданных
Семантически
е карты
Oracle Metadata Management Логическая архитектура
Управление
метаданными
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Исследование Метаданных
� Текстовый поиск и Браузер Метаданных
� Визуализация моделей/Диаграм, Общий обзор, Отчетность по метаданным
� Анализ потоков и происхождения данных
Соответсвие закону Сарбейнса Оксли
� Версионность и сопоставление моделей
� Обратный вызов по URI из отчетов BI или бизнес-приложений
Стратегическое управление
� Комментарии, обратная связи и экспертный совет
� Связка метаданных с ярлыками
� Мультимедийные приложения(документы, видео, презентации, коды)
� URL референсные ссылки на e-mail, блоги, социальные сети
Возможности Oracle Metadata Management Управление жизненным циклом
� Сбор метаданных из любых DM, DW, ETL/DI, BI инструментов и Big Data/Hadoop
� Управление Корпоративной Архитектурой(Управление конфигурацией метаданных)
� Оценка влияния изменений
Стандартизация и управление данными
� Поддержка различных стандартов управления метаданными
� Аннотации и метки
� Бизнес-глоссарий и происхождение данных
Интегрированно с продуктами Oracle
� Oracle Database
� Oracle Data Integrator, Oracle GoldenGate
� Oracle Business Intelligence Enterprise Edition
� Oracle Business Intelligence Applications(ODI and older Informatica based OBIA)
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Oracle : Наиболее открытый и гетерогенный
30
� Hadoop HBase
� Hadoop Hive/Flume
� HP Enscribe
� HP NonStop
� HP Neoview
� Hypersonic SQL
� IBM DB2 i Series
� IBM DB2 UDB
� IBM DB2 z Series
� IBM Informix
� IBM Netezza
� JMS / MQ
� Microsoft Access
� Microsoft SQLServer
� MySQL
� Pivotal Greenplum
� PostgreSQL
� Salesforce.com
� SAP BW / BI
� SAP ERP / ECC
� SAS
� SQL/MP
� SQL/MX
� Sybase ASE
� Sybase IQ
� Teradata
� Adaptive
� Altova
� Apache Hcatalog
� Apache Hive/HQL
� Borland
� CA ERwin
� Cloudera Impala
� COBOL Copybook
� DataStax
� Embarcadero
� EMC ProActivity
� GentleWare
� Google BigQuery
� Grandite
� Hadapt Hive
� Hortonworks Hive
� IBM Cognos
� IBM DB2
� IBM DataStage
� IBM Discovery
� IBM Federation Server
� IBM Lotus Notes
� IBM Netezza
� IBM Rational Rose
� IBM Rational Architect
� Informatica Metadata Mgr.
� Informatica PowerCenter
� CoSORT
� ISO SQL Standard (DDL)
� MapR Hadoop Hive
� MicroFocus
� Microsoft Access
� Microsoft Office Excel
� Microsoft Visio
� Microsoft SQL Server
� Microsoft SSIS
� Microsoft Visual Studio
� Microstrategy
� Magic Draw
� OMG CWM Standard
� OMG UML Standard
� Oracle BI Answers
� Oracle BI Enterprise Edition
� Oracle BI Server
� Oracle DAC
� Oracle Data Integrator
� Oracle Data Modeler
� Oracle Database
� Oracle Designer
� Oracle Hyperion Applications
� Oracle Hyperion Essbase
� Oracle Warehouse Builder
� Pivotal Greenplum
� PostgreSQL
� QlikView
� SAP BO Crystal Reports
� SAP BO Designer
� SAP BO Desktop Intelligence
� SAP BO Repository
� SAP BO Data Integrator
� SAP BO Data Steward
� SAP Master Data Management
� SAP Sybase PowerDesigner
� SAP Sybase ASE Database
� SAS Data Integration Studio
� SAS BI Server
� SAS Information Map
� SAS Metadata Management
� SAS OLAP Server
� Select
� Sparx Architect
� Syncsort
� Tableau
� Talend
� Teradata
� Tigris
� Visible
� W3C DTD & XSD Schema
Операционная интеграция (Перемещение и трансформации) Сбор метаданных (Глоссарии, взаимосвязи, анализ влияния))
� Oracle Database
� Oracle Exadata
� Oracle Big Data Appliance
� Oracle TimesTen
� Oracle OLAP
� Oracle Business Intelligence
� Oracle BI Applications
� Oracle E-Business Suite
� Oracle JD Edwards Enterprise One
� Oracle JD Edwards World
� Oracle Fusion Applications
� Oracle Governance Risk and Compliance
� Oracle Fusion AIA
� Oracle Retail Applications
� Oracle Agile BI / DW
� Oracle Agile PLM for Process
� Oracle iFlex FlexCUBE
� Oracle iFlex Mantas
� Oracle Hyperion Applications
� Oracle PeopleSoft
� Oracle Siebel CRM / OnDemand
� Oracle Communications
� Oracle WebLogic Server
� Oracle Coherence Data Grid
� Oracle SOA Suite
� Oracle Enterprise Service Bus+ open APIs and standards
based meta-model
+ open APIs and standards
based meta-model
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Metadata Harvesting from all Popular Platforms
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
OEMM Домашняя страница с панелью репозитория и закладками
Веб-приложение с
прикрепленным репозиторием метаданных
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Графический браузер диаграмм моделей данных
Просмотрщик метаданных
позволяет получить как
общую картину так и детали
zoom-in / zoom-out по по всей комплексной
модели метаданных
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Поиск по ключевым словам по всем метаданным
Полноценный текстовый
поиск позволяет
легко осуществлять навигацию по
большим моделям
метаданных
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Версионность моделей и возможность сопоставления
Легко группировать и
сравнивать модели данных однородных баз
данных или между
различными версиями для определения
значимых изменений
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Портал для совместной работы разработчиков
Полнофункциональная работа команд
включает поддержку
Анализа жизненного
цикла условия и домены
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Архитектура потоков данных от начала и до конца
Визуализация взаимодействая
систем Графическое
представление аннотаций и
границ систем
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Визуализация расчетов систем визуализации
Детализация формул и расчетов,
отображенные напрямую из
движков ETL иBI отчетов
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Просмотр истории происхождения данных
Визуализация колонок и
зависимости на уровне шагов
расчета показателей
между различными системами,
базами данных и отчетных
форм
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Встроенный Бизнес-глоссарий (не отдельный модуль)
Выходя за пределы словарей
базы данных, ссылается на
бизнес-термины
метаданных и систем
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Политики бизнес глоссария и референсных данных
Для ключевых таблиц и
диапазонов значений ,
ассоциирует с глоссарием
метаданных с актуальными
терминами данных,
типами и взаимосвязей
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 42