Oracle数据集成应用场景与案例分享 · 主应用灾备应用主数据库...

Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 1

Oracle数据集成应用场景与案例分享

苏桦

Oracle数据集成方案事业部


议程

Oracle数据集成解决产品简介

Oracle数据集成应用场景与案例


Oracle数据集成解决方案总览在整个企业中持续访问准确的实时数据

Oracle Enterprise Data Quality

MDM 管理软件

SOA平台商业智能活动监控自定义

应用程序

Oracle GoldenGate

SOA 抽象层服务总线流程管理数据服务

Oracle Data Integrator

数据集成/转换

OLTP系统 Flat Files 数据仓库/ 数据集市

OLAP 多维数据集

Web 2.0 Web和事件服务 SOA

存储

数据联邦

全面的数据集成解决方案

Oracle 管理软件

实时数据同步

数据质量管理


双向

捕获

捕获：通过读取事务日志，在事务发生时捕获（也可过滤）提交的事务。任何非实际事务均不被复制到目标，保证不传播错误。

队列

队列：准备数据，使数据排入队列以备路由。

传输

传输：分发数据以便路由到目标，可实现一次捕捉多次投递。

交付

交付：保证事务数据完整，根据需要转换数据。

源Oracle和非Oracle 数据库

目标Oracle和非Oracle 数据库

队列

路由：压缩、加密数据以便路由到目标，最小化的带宽占用。

LAN/WAN Internet

TCP/IP

GoldenGate 实时数据同步


GoldenGate关键特征实时、跨异构环境和保障事务完整性的数据同步

跨异构环境，对系统负载影响很低，对交易数据做实时抓取、路由、转换和传递

和其他产品关键差异点

非侵入式、低影响和秒级的延迟

开放和模块化的架构 – 支持异构数据源和目标

保持交易事务的完整性 – 对中断和失败容忍度高

性能

弹性、可扩展

可靠


GoldenGate异构环境支持支持所有主流平台，OS，RDBMS

Oracle GoldenGate Capture:

• Oracle

• DB2

• DB2 for v10 on z/OS

• DB2 on iSeries (AS/400)

• Microsoft SQL Server

• Sybase ASE

• Teradata

• SQL/MP

• SQL/MX

• MySQL

• JMS message queues

• Oracle Apps(E-Business Suite, JD Edwards, Peoplesoft)

Oracle GoldenGate Delivery:

• All listed in Capture, plus:

• TimesTen, IBM System I

• Netezza, Greenplum, & HP Neoview

• ETL products

OS & Platforms

• Linux

• Sun Solaris

• Windows 2000, 2003, XP

• HP NonStop

• HP-UX

• IBM AIX

• IBM z Series

• IBM iSeries (AS/400)

• zLinux


• 各种故障的解决方法

• GoldeGate的故障

进程故障 -> 进程自动重启

Trail文件故障 -> Checkpoint

• GoldenGate以外的故障

服务器/DB/网络的故障 -> Checkpoint

Trail Trail Replicat 目标数据库

Network （TCP/IP)

Collector Extract （Capture）

Extract （Data Pump）

Checkpoint

源数据库

自动重启自动重启

Checkpoint Checkpoint

GoldenGate事务完整性保障机制


传统的 ETL 架构

Extract Load Transform

新一代的ELT架构

“ELT” Load Extract

Transform Transform

传统的ETL: 单独的ETL 服务器

• 私有的 ETL 服务器

• 性能差

• 需要购买单独的硬件服务器

• IBM & Informatica采用这种方式

ODI: 不需要单独的硬件服务器

• 费用低: 充分利用计算资源 & 有效分发工作负载

• 高效: 有效利用数据库的优化技术

• 速度快: 调用数据库的内部接口，如批量加载

• 高扩展: 可以在源端或者目的端加强计算能力，有效分发负载

优势

• 优化的效率和可扩展性

• 充分利用现有硬件资源

• 管理简单，费用低

Oracle Data Integrator 新一代的ELT架构


传统ETL工具: 主要基于C++

– 过时的重量级体系架构

– SOA是系统的附加– 不是一体集成的

– 对Java的支持只是一个 “wrapper” – 不是内在的

ODI: 轻量级的 & 100% Java实现

– 轻量级的JAVA运行引擎

<36MB memory, 在任何支持JAVA的平台上

– 可以通过Web Service访问数据流程

开箱即用的数据访问服务，易于测试发布

将服务发布到UDDI (Service Registry)

– 数据清洗转化服务

可以部署成基于SQL的转化(结构化的数据源）

或者基于 XSL-T的转化(非结构化的数据源)

– 非常容易的实现SOA集成

在ESB中调用数据流

通过SOA调用工作流来进行错误处理

作为服务嵌入到Oracle SOA套件中，实现全面整合

ODI Agent Data Flow Conductor

Sources

CRM

Legacy

ERP

Custom Database

Files / XML

ESB

Targets

Custom DB

Apps

Data Warehouse

Files / XML

ESB

Staging

Any DB

Data

Data Access Service

Batch Data Service

Transformation

Service

SOA Clients Business Intelligence | Web 2.0 Mashups etc.

ODI 内在的SOA实现


Journalize

Read from CDC Source

Load

From Sources to Staging

Check

Constraints before Load

Integrate

Transform and Move to Targets

Service

Expose Data and Transformation

Services

Source

Engineer Metadata

充分利用数据源、数据目标的优化功能: Native SQL; Native Functions; Native Loads; Native Journaling / CDC

针对企业的最佳实践可以对其进行优化易于管理性价比好

Journalize

Load

Check

Integrate Services

CDC

Sources

Staging Tables

Error Tables

Target Tables

SAP/R3

Siebel

Log Miner

DB2 Journals

SQL Server Triggers

Oracle DBLink

DB2 Exp/Imp

JMS Queues Check MS

Excel

Check Sybase

Oracle SQL*Loader

TPump/ Multiload

Type II SCD

Oracle Merge

Siebel EIM Schema

Oracle Web Services

DB2 Web Services

知识模块示例

好处

ODI 可热插拔的知识模块组件化、可灵活扩展

封装底层技术实现广泛支持结构化、半结构化、非结构化数据


解决方案

• 分析散布在多个应用系统的同类数据

• 匹配业务逻辑上“相同”的记录

• 标准化数据格式，修复错误数据

• 缺失信息互补，合并生成“最佳”记录

• 发现和剔除重复记录

优势

• 在数据集成过程中加入数据质量管理，持续改善数

据质量，避免传播“垃圾”数据

• 丰富并不断扩展的规则库，基于先进的语义技术，

支持自定义规则

• 支持实时和批量处理

Oracle Data Integrator

目标

源

ETL/E-LT 流程

分析、清理、标准化、匹配

ODI + EDQ：集成并改善数据质量


议程

Oracle数据集成解决产品简介

Oracle数据集成应用场景与案例


场景一：数据库容灾/应急低成本、低风险、高可用

主应用灾备应用

主数据库灾备数据库

实时增量数据复制

灾备接管期间反向数据复制

产品： • GoldenGate

方案特点： • 支持多种数据库

• 低延迟（亚秒级RPO）、低带宽要求，适合远程容灾

• 灾备端Active，实现快速接管（最小化RTO），消除切换风险

• 灾备端可灵活选择硬件、OS、数据库版本，支持利旧

• 支持部分核心数据应急、逻辑一备多、误删除保护

场景扩展： • 灾备库用于查询分载 • 双活数据中心


案例：XX政府机关异地容灾

远距离容灾 – 2000KM

低带宽 – 2Mbps × 2

低延时 – 3秒

可随时接管的双业务中心 – 主备中心每4

个月互换一次

快速业务切换 – 业务切换过程为分钟级

Oracle 9i

RAC

Oracle 9i

RAC

Oracle 9i

RAC

决策支持库

GoldenGate单向复制

GoldenGate单向复制

H2000生产库

Oracle 9i

全国各地41个口岸H2000应用

GoldenGate双向复制

广州北京

H2000生产库

决策支持库

网络


案例：XX移动电子渠道和BOSS系统应急

项目背景和数据规模

为配合春节保障工作以及满足未来业务连续性的需求，对BOSS核心系统及接入的网上营业厅、短信营业厅、自助终端、空中充值系统实施应急；

单个数据库平均每天日志增量300GB，高峰期单个数据库交易吞吐量超过2万笔/秒

项目实施成果

高峰期生产系统数据可在10秒内复制到应急库，以最低的代价获得接近“两段式事务提交”才具有的同步效果；

投入使用以来，在系统割接保障、故障应急方面发挥了重要作用，共启用应急系统8次，应急切换成功率100%，切换时间均小于10分钟；

批量数据查询、统计等非关健业务转移至应急数据库，有效减轻生产端负载压力，分担生产系统20%的压力

对于BOSS系统：目前采用1台IBM p595（40C）作为应急端的数据库服务器，

计划扩容至2台p595，采用RAC方式

对于网厅系统：采用两个24C的分区作为数据库服务器（IBM p595），两端

系统均采用DB2

对于短信、空中充值系统：采用2个22C的分区作为数据库服务器（IBM

p595），ORACLE RAC方式

对于自助终端系统：两端系统均为Solaris平台，均为Oracle数据库的RAC


场景二：系统迁移/升级/维护最小化停机时间

应用

数据初始化和增量同步

反向数据同步，保障失败回退


方案特点： • 业务零中断或近似零中断

• 广泛适用于各种系统迁移/升级/维护需求

• 支持分段迁移

• 支持数据转换/映射

• 反向同步便于失败回退，降低风险

• 基于GoldenGate Veridata实现数据比对

场景扩展： • 旧库用于应急/查询分载

切换

Veridata数据比对


案例：第一资讯数据库升级迁移

解决方案 • 使用 Oracle GoldenGate 实现 Oracle 8i

到 Oracle 10g 的升级、从 HP/UX 到 AIX 的操作系统迁移

• 历时 3 个多月的分段迁移方法

• 两个环境在 1 个月的时间内采用主动-主动配置同时联机

投资回报消除了 Oracle Database 升级和操作系统

迁移期间的停机

改善基础架构的同时不会中断商户的业务运营

通过分段迁移将风险降至最低

业务挑战 • 网上订单和电话订单的商户服务基础架构需要从 Oracle 8i 升级到

Oracle 10g，同时迁移操作系统

• 为了支持商户的支付处理，不能容忍停机


挑战解决方案

• 在接近零停机的情况下按计划实现系统迁移。

• 尽可能减少业务中断，并在公司向企业和消费者提供高速和新一代电信服务的过程中杜绝业务中断带来的不利影响。

• 将停机时间减少 90%。

• 在将 HP-Tru64 迁移至 Oracle Linux 系统的过程中，在每分钟 40000 个事务和 2,000 并发会话的环境下保持系统可用性。

• 避免预计系统停机时间超过 20 小时，同时保证应有的灾难恢复能力。

案例：英国电信将停机时间减少 90%


场景三：查询分载/集中查询有效提高生产数据库性能


方案特点： • 实时数据复制，支持查询/只

读操作

• 降低/剥离OLTP应用后台数据库的查询负载，提高数据库性能

• 支持异构环境，以低成本、开放式平台分担昂贵生产系统或遗留系统的压力

• 可以集中/合并多个应用的数据，从而实现统一查询/报表

事务操作

只读操作

OLTP应用

实时增量数据复制

集中查询/报表应用


来自业务的挑战:

在系统升级和迁移期间确保机票销售引擎（ATSE）系统的连续可用性

优化系统性能来应对业务的增长和扩张，同时通过改变系统平台来减少拥有成本

实现在 OLTP (“bookers”)系统和查询数据库 (“lookers”)

之间低延迟的交换数据

GoldenGate 解决方案:

实现迁移和升级ATSE期间数据库的零宕机

Database数量的递增要确保高可用性，最好的性能和低成本

在低成本平台上为“lookers”系统的查询提供实时数据集成

结果:

减少了80%的拥有成本-节省了数百万美元

更高的客户满意度-提高了响应时间和可靠性

在Linux之上有156 个MySQL 数据库

Database 数目的增加提高了性能和无限的可扩展性

Schedule &

Availability Updates Fare & Rule Updates

Oracle Databases

“Lookups”

GoldenGate 的交易处理量达到800,000 /小时, 1.6 TB/天

机票销售 Schedule &

Availability Changes

账务和计费

案例：SabreHoldings


场景四：双活/多主数据中心

中心A 应用中心B 应用

双向数据复制，冲突侦测处理


方案特点： • 亚秒级延迟、低带宽要求、

无距离限制的双向数据复制

• 分布式计算提高性能

• 任一中心计划/非计划停机时，保障业务的连续可用性

• 支持广泛异构环境

• 尽可能避免数据冲突和及时自动处理冲突是实现双活的关键：GoldenGate提供冲突侦测处理机制，发现和记录数据冲突，按照设定规则自动处理冲突中心A 数据库中心B 数据库


案例：RIM 制造系统多主数据中心

• 在分布于全球的 5 个数据中心之间进行多主数据复制

• 实现具有冲突管理、无距离限制的完全双向的数据移动

• 确保全球制造/维修服务的全天候可用性

• 在全球范围同步设备制造信息

• 在不同的地区间共享新产品测试信息以支持全球制造


RIM 制造系统QA分载

• 使用GoldenGate的“ALO”模式从灾备数据库上分流QA报表


RIM 中心2迁移到SuperDome

• 跨操作系统从单节点迁移到具有自动存储管理功能的双节点 RAC


RIM 运营报表分载到Exadata

• 实时从生产数据库集中到 Exadata，用于生成报表


产品：

• GoldenGate

• ODI

• EDQ 解决方案：

• 提高业务分析能力

• 为决策提供实时数据

• 全天候业务运营，消除批处理时间窗口

• 分析和改善数据质量收益： • 从OLTP系统获取最新的实时数据，更

好运营于市场决策 • 提供实时数据，不需要批处理窗口 • 对OLTP的资源和性能影响最小 • 高效率的数据移动和转化 • 操作性和分析性BI同时进行

场景五：实时数据仓库/BI


• 使用复杂的适配器在 OLTP 系统上进行侵入式捕获

• 依赖批处理窗口 • 在昂贵的中间层服务器上通过 ETL 引擎进

行转换 • 通过在夜间/白天进行大批处理，将数据

批量加载到数据仓库

• 从运营系统连续传送 • 最大化源和数据仓库的可用性 • 非侵入式数据捕获 • 瘦中间层，在数据库平台（目标）上执行

转换 • 白天进行小批量处理或夜间进行大批量处

理

Oracle GoldenGate + ODI

暂存

少量

查找数据

加载

提取

查找数据

转换转换批量

GG

+ O

DI

GG

+ O

DI

异构

传统 ETL + CDC

ODS和企业数据仓库的最佳实时集成解决方案


解决方案:

– 三个核心业务系统（CRM, Billing, 服务开通）之间数据同步

– 核心业务系统向ODS-A同步数据用于实时报表和统一客户视图

– 核心业务系统向ODS-D同步数据用于EDW

的数据转换和清洗

– 核心业务系统向服务监控管理同步数据用于服务监管

– 服务开通和资源管理之间数据同步

优势:

– 核心业务系统快速稳定的数据交互为6000万用户的提供可靠服务

– 通过ODS系统有效的降低了对业务系统的报表/批处理的压力

– ODS-A上形成有效的统一客户视图对客户行为分析和营销决策

– ODS-D获得实时数据为EDW提供数据源消

除了对核心业务系统的数据批处理窗口时间的要求

– 服务质量监控通过获得核心业务系统的数据可以有效地监控客户服务的各个环节

服务开通客户关系管理 Service Level

Management

ODS-A

账务

Query & Reporting

GZ SZ

DG

FouSan

GZ SZ

DG

FouSan

GZ SZ

DG

FouSan

ODS-D

Resource

management

案例：XX电信MBOSS-ODS集成

Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 29 29

Oracle 10g

Linux

Enterprise

Data

Warehouse

Oracle 9i Oracle 10g

Linux AIX

业务挑战: • 电子商务系统在数据库&平台迁移期间宕机时间最短

• 通过减少数据仓库系统的数据获得延迟时间来提高商业智能的能力

• 通过统一客户视图更好地理解客户的订购习惯使市场活动更加有针对性来获得更大的业务

• 售货系统的报表分载

GoldenGate & Oracle Data Integrator解决方案:

• 2个关键业务迁移期间的零宕机时间

• 通过实时数据集成实现了操作型EDW

• 通过负载均衡实现高可用性

• 实时报表

“Accessing the data in real time using GoldenGate

we can immediately see if we’re profitable and if our

business processes are working.”

- Sam Peterson, SVP Technology, Overstock.com

High Availability & Real-Time Data

Warehousing

Oracle 9i Oracle 10g

Linux Linux

Read-Only

Reporting

Oracle Data

Integrator

Enterprise

Data

Warehouse

(H.A)

客户简介 Overstock.com 一家在线的高品质品牌商品清货零售商，其出售的商品包括床上用品，家庭用品，厨房用品，表，珠宝，电子产品，电脑，体育用品，服装以及各类折扣商品的附件

案例：Overstock实时数据仓库


面向大数据的商务分析

Oracle 数据库、

Exadata

转换

通过 MapReduce

加载

激活

Oracle Loader

for Hadoop

Oracle Data

Integrator

Oracle Big Data Connectors

Hadoop 集群

Oracle

GoldenGate

实时事务

转换

Oracle Enterprise

Data Quality

Oracle Data

Integrator

清洗

产品： • ODI • GoldenGate • EDQ

方案特点： • 支持 Hadoop、

MapReduce、Hive、NoSQL、HDFS 标准

• 图形化界面，自动生成优化的HiveQL，简化MapReduce程序开发

• 统一非结构化、半结构化和结构化数据的集成工具

• 优化大数据加载到 Oracle 数据库的过程

• 包含事务数据实时集成和数据质量管理的整体解决方案

http://hadoop.apache.org/


场景六：数据变更消息集成/事件驱动


方案特点：

• 实时数据变更（业务事件）驱动Java API

• 实时数据变更消息发布

• 订阅JMS消息


案例：XX银行电子渠道风险监管平台

电子渠道风险监管平台

OAAM

网银数据库监管平台在线库监管平台离线库

网银应用解决方案：

• GoldenGate实时捕获网银数据库已提交交易，通过Java接口交付到电子渠道风险监管平台进行风险管理

• 风险分析评估结果存入监管平台在线库

• 用户发起新的交易请求时，网银系统调用监管平台接口，结合在线库的现有交易信息进行风险控制

• GoldenGate将监管平台在线库的数据实时同步到离线库

• 监管平台从离线库生成风险管理报表

• 统一模式扩展到其它电子渠道系统

Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Restricted 33 2013/1/15 33

来自业务的挑战:

使用互联网、全球配送系统、在线旅行社代理和酒店的Websites等多种渠道优化获得酒店空闲房间的能力

实时的从各种源数据集成数据为酒店的管理层提供实时的数

据视图.

向消费者低延迟的提供酒店价格和实用性数据.

酒店渠道需要提供诸如JMS/XML的接口能力

GoldenGate 解决方案:

为在线订房系统提供从Oracle数据源获取最新的酒店房间订购情况的（ARI）数据

事件驱动的架构 (EDA) 支持多个订购者通过JMS主题获取相同的事件，系统可以方便地加入客户来扩展并且不增加基础架构的成本

价值:

可重用性：通过入住率、空房率的变化触发业务流程.

通过一个高效性和可扩展性的机制生成驱动SOA所需要的事件

Oracle 10g

Sun Solaris 9

Reporting App

Oracle 10g

Red Hat Linux 5

“GoldenGate可以确保通过实时渠道获得实时的、变化的数据—管理层可以获得精确的实时的信息，作出更好的愿景规划。我们也可以获得用户方使用GoldenGate产品的良好印象.”

- David Marshall, Chief Architect, TravelCLICK

把实时数据提供给消息中间件供商业伙伴使用

Channel

Partners

ARI Application

(Availability, Rates & Inventory)

Event Stream

(XML Message) Capture

Delivery

Source Trail

案例：TravelCLICK B2B集成

http://images.google.com/imgres?imgurl=http://www.jboss.com/company/logos/jboss_inc_logo.jpg&imgrefurl=http://www.jboss.com/company/logos&h=474&w=765&sz=20&hl=en&start=2&um=1&tbnid=jjc3R5dAxcvq-M:&tbnh=88&tbnw=142&prev=/images?q=JBoss&um=1&hl=en&rlz=1T4GGIH_enUS253US253&sa=N


数据集成应用场景小结

1) 数据库容灾/应急

2) 系统迁移/升级/维护

3) 查询分载/集中查询

4) 双活/多主数据中心

5) 实时数据仓库/BI

6) 数据变更消息集成/事件驱动

7) SOA数据服务（数据访问/转换/批处理）

8) …


Q & A

Oracle数据集成应用场景与案例分享 · 主应用灾备应用主数据库...

Documents

Transcript of Oracle数据集成应用场景与案例分享 · 主应用灾备应用主数据库...

Oracle数据集成 应用场景与案例分享 · 主应用 灾备应用 主数据库...

Documents

Transcript of Oracle数据集成 应用场景与案例分享 · 主应用 灾备应用 主数据库...

Oracle数据集成应用场景与案例分享 · 主应用灾备应用主数据库...

Transcript of Oracle数据集成应用场景与案例分享 · 主应用灾备应用主数据库...