<Insert Picture Here>

Oracle 11g数据库及其选件介绍 陈新

技术顾问

Oracle广州分公司

我们的客户普遍面临哪些IT问题？

系统性能 •直接影响企业业务的吞吐效率，代表IT系统的服务能力

•高峰期系统性能问题，通常会带来用户更严重的投诉

•不能提供“可扩展的性能scalable performance”，是多数系统失败的关键

•性能是客户体验的最重要指标

业务连续性 (可用性或服务水平承诺)

•系统的非计划停顿，会导致直接的业务损失

•交易数据的丢失，难以完全用金钱衡量

•用户因为访问不到系统，而造成生意流失

•消极的品牌影响力和信用危机

自动化管理 •如何多维度、多层次地、主动地、自动化地管理复杂的软件生产环境？

•怎样依赖系统智能化建议，有效提升管理效率？

•怎样减少人员技能的单纯依赖，减少人为错误？

•如何自动化地监测、配置、调优、资源部署、报告？

安全合规 •如何能够对系统进行自动审计，追搠历史上曾经发生过的增删改？

•怎样确保具有超级系统权限的管理员不能察看或修改数据？

•如何合理分拆DBA

的权限？

•怎样能够对数据进行有效的加密？

数据服务 •如何管理非结构化数据？

•怎样抓取数据进行数据集成？

•如何利用数据进行在线分析？

3

产品发展史

Total Recall

Advanced Data Guard

Audit Vault

Database Vault

Grid Computing

Automatic Storage Mgmt

Self Managing Database

XML Database

Oracle Data Guard

Real Application Clusters

Flashback Query

Virtual Private Database

Built in Java VM

Partitioning Support

Built in Messaging

Object Relational Support

Multimedia Support

Data Warehousing Optimizations

Parallel Operations

Distributed SQL & Transaction Support

Cluster and MPP Support

Multi-version Read Consistency

Client/Server Support

Oracle 9i Oracle 5

Oracle 6

Oracle 7

Oracle 8

Oracle 8i

Oracle 10g

Oracle 11g

Oracle 12c

Lifecycle Management

Cloud Management

Oracle 48.8%

IBM 20.2%

Microsoft 17.0%

Teradata 3.7%

SAP/Sybase 4.6%

Other 5.7%

Source: Gartner report entitled, “Market Share, All Software Markets Worldwide 2011,” March 29, 2012

Oracle #1 关系型数据库供应商 - Gartner

Oracle数据库功能模块

Sun SPARC and Solaris #1 in OLTP TPC-C

World Record: 30,249,688 tpmC

Sun SPARC TPC-C性能纪录: 比IBM最好纪录快3倍，比HP快7.4倍

业内基准测试的领导者

基准测试 世界纪录保持者

TPC-C Oracle

TPC-H@300GB Oracle

TPC-H@1000GB Oracle

TPC-H @3000GB Oracle

TPC-H@10000GB

Non-Clustered

Oracle

SAP Sales & Distribution (SD), Business

Information Warehouse (BIW) 2-tier

Oracle

SAP Transaction Banking (TRBK) Oracle

Oracle高性能解决方案

Storage

Active Data Guard 数据完全可读 分担查询、分析和报表类应用

集群数据库技术 • 企业级数据处理 • 服务器水平扩展 • 提高并发连接， • 提供多服务器并行处理

Database Database

Storage 自动存储技术 存储水平扩展和条带化 发挥多个磁盘的IO能力

高性能是分区、自动存储、集群、活动数据卫士、内存

数据库技术、自动诊断调优的最佳结合

数据分区技术 多种分区技术，性能成倍提高

内存数据库技术 • 高性能的数据处理 • 缓冲热点数据 • 多服务器水平扩展

TimesTen内存数据库

Oracle RAC集群数据库技术体系架构

集群数据库

服务器

存储设备

高速交换机或

直连模式

存储交换机

三层架构/两层架构 集中管理平台

SAN存储网络

高速网络互连

用户

避免单点故障

大吞吐量、 高性能、 可扩展性

RAC随需扩展

3 6 9 12 15 18 21 24

月份

100%

200%

300% 工作负载

• RAC 可以扩展适应工作量需求

RAC实现的高可扩展性 通过节点的追加提升系统的吞吐量

RAC的节点增加对系统吞吐量提高的实测

平均响应时间

（比值）

吞吐量的比值

平均响应时间以及吞吐量的值是以一个节点作为基准1计算。

集群提供强大的运算能力和优异的性能

0

5000000

10000000

15000000

20000000

25000000

30000000

35000000

tpm

C

Oracle IBM

Oracle on Sun: 运行最快的网格数据库之一

27 Sun SPARC T3-4, 30,249,688 tpmC, available 02/Dec/10. Source: Transaction Processing Council (TPC), www.tpc.org

30,249,688

RAC的高性价比

0

4,000

8,000

12,000

16,000

20,000

24,000

1x16 4x4

支持用户数

22,008 21,168

Source http://www.oracle.com/apps_benchmark - Audited Results

$1.405750 M Total Cost

$788 K Total Cost

Same 1.7 GHz Power4+ CPUs , Same 256G memory , Same OS

•用相对低端的设备，通过网格技术达到高档设备同样的性能和更高的安全性，降低了硬件的成本

•集成的集群软件CRS和自动存储管理模块ASM，简化了系统管理和实施的复杂程度，无须购买额外的软件，节省了软件成本

自动存储管理ASM实现存储网格

集群化的存储池，最大支持40EB

的存储空间

整合多个10g/11g数据库的存储空间，共享的存储池

动态容量管理

添加、移除、重组

自动进行数据的均匀分配，存储设备利用率高

持续自动的IO优化，减少热点块，性能与裸设备相同

支持智能镜像 网络存储

ASM

多数据库

HR 数据库

CRM 数据库

SRM 数据库

全球超过16,000家用户使用Oracle RAC

Manufacturing & Transportation

Financial Services

Government & Public Sector

Technology & Communications

Retail & Consumer Products

国内大量客户的系统采用了集群数据库

为何要数据分区

• 表与索引数据的爆炸性增长

• 在大型数据库系统中 表数据量通常 >> 10GB

• 现在表的数据量比以前中等规模的数据库还大 !!

• 超大规模表与索引的要求

• 部分数据区失败不会对其他数据区造成影响

• 数据管理操作可在固定的维护窗口下运行

• 数据大量增长的情况下，保持执行效率

• 解决方案 : 表分区

• 分而治之

数据分区技术大大提高访问速度 —

“有的放矢、并行处理”

将大型表或索引在数据库内部分割成

多个区域进行管理。

普通的表 分区化表

只需要访问数据所在分区即可 即使查找一部分数据

也需要查找整张表

1-3月

4-6月

各种维护工作以分区为单位

进行，其他分区仍可访问

各种维护工作会影响到

整张表不能使用

7-9月

10-12月

内部把

表分割

分区的并行处理

• 随着数据库的增长，必须采用 并行处理方式以保证响应时间

• 在数据库中进行并行处理可以 显著提高批量操作的性能

• 批量更新

• 批量删除

• 批量插入

• 并行执行 SQL语句

C

P

U

C

P

U

C

P

U

C

P

U

C

P

U

C

P

U

C

P

U

C

P

U

Query--Index--Load

Insert--Update--Delete

Oracle 分区技术的历史 10 年的创新历史

核心功能

Oracle8 范围分区, 全局范围索引

Oracle8i 哈希和组合范围-哈希分区

Oracle9i 列表分区

Oracle9i R2 组合范围-列表分区

Oracle 10g 全局哈希索引

Oracle 10g R2 每张表支持超过1M 的分区数量

参照分区

虚拟列分区

自动间隔分区

新的组合分区 :

范围-范围, 列表-范围, 列表-列表, 列表-哈希

分区顾问

Oracle Database 11g的高级压缩功能

• 丰富的数据压缩能力

• 结构化数据，非结构化数据，备份数据，网络传输数据

• 减少存储开销 2 – 3 倍

• 相应的使得测试，开发，QA，备份，灾备等环境受益

• 提高应用的性能

• 提高内存和网络的效率

• 完全的应用透明

• 各种类型的应用都可以受益

• 事务处理

• 数据仓库

• 内容管理

表压缩 - 真实环境的测试结果

0

500

1000

1500

2000

2500

存储空间

节省超过 70%的存储资源

表扫描的性能

0

0.1

0.2

0.3

0.4

DML性能

0

10

20

30

40

2.5 x速度

少于3% 的额外开销

© 2009 Oracle Corporation - Confidential 23

50X Up To

仅Exadata可用

Exadata 混合列式压缩

• 数据按列分组然后压缩

• 查询模式 – 针对数据仓库 • 针对速度进行了优化

• 典型情况下可达到10倍的压缩率

• 扫描速度也成比例提升

• 归档模式 – 针对较少访问的数据 • 针对空间进行优化

• 典型情况下可达到15倍的压缩率

• 某些数据可达到50倍

Oracle In Memory Database Cache 将数据处理卸载到中间层资源

• 数据缓存在应用程序内存中

• 与 Oracle 数据库同步

• 快速、一致的响应时间

• 高事务吞吐量

• 通过内存中缓存的网格向外扩展

• 标准 Oracle 接口

• SQL、PL/SQL、OCI

缓存的表

业务 应用产品

缓存的表

业务 应用产品

TimesTen提升Oracle的响应速度及吞吐量

交易响应时间 交易吞吐量

• TimesTen通常作为Oracle数据库的高速缓存加速器联合使用，并实现了数据的无缝联结

• Timesten提高系统的响应速度和吞吐量

• Oracle数据库提供海量存储等功能和特性

调优包

• 提供专家级的性能优化管理，包括SQL调优和存储优化

• SQL Access Advisor

• SQL Tuning Advisor Oracle

• SQL 调整工具集

• 重组对象

调优包

Oracle数据库功能模块

Storage

Data Guard、GoldenGate

完全激活

故障切换到复制点

Recovery Manager &

Oracle Secure Backup

低成本高性能

数据保护 & 归档

Real Application Clusters & Clusterware

容错

服务器水平扩展

Flashback

退回到指定时间点

修正错误

联机重定义

联机重定义表

Database Database

Storage

Oracle的最大可用性体系结构（MAA）

Automatic Storage

Management

容错

存储水平扩展

最佳HA 技术的完整集合

- 每个都是可以水平扩展的, 完全激活的

最高可用性和最低的成本

联机升级

联机升级

硬件和软件

OS 故障切换 或 冷故障切换

集群软件

数据库

F:

心跳

数据库

集群软件

• 故障切换时间长 • 备份节点不可用

传统的双机热备集群

RAC为应用提供24*7 的安全可靠性

透明的应用程序故障切换、消除单点故障

– 应用程序和用户连接在故障发生时，可以自动透明地连接到其它的服务器上

– 应用程序和查询不会中断，用户感觉不到故障的发生

– 安全认证信息可持续保留

Computer

A

Computer

B

Computer

A

Computer

B

Node A in a cluster fails, users

are migrated

通过 ASM 实现数据镜像

• ASM 在 低成本 的模块化存储阵列上镜像数据

• 按需分配

• 在线添加/删除存储

• 自动I/O负载均衡

• 容错, 高性能

• 自动镜像和条带化(stripes)

• 低成本

• 减少DBA工作量: 无须I/O调整

• 没有卷管理或文件系统

• 更高的磁盘利用率

• ASM 增强

• 从镜像备份中自动修复损坏的数据块

• 从瞬时的磁盘故障恢复时快速同步镜像备份 – 仅使用修改的数据块

• ASM 实例滚动版本升级

为解决存储阵列故障而设计

Database

Storage

通过 Flashback 实现错误调查

• 闪回查询

• 查询某时间点的所有数据

Tx 1

Tx 2

Tx 3

select * from Salary AS OF ‘12:00 P.M.’ where …

select * from Salary VERSIONS BETWEEN ‘12:00 PM’ and ‘2:00 PM’ where …

select * from FLASHBACK_TRANSACTION_QUERY where xid = ‘000200030000002D’;

闪回事务查询

• 查看某个事务进行的全部更改

闪回版本查询

• 查看某一行在两个时间点之间的全部版本

• 查看更改此行的事务

增强的数据闪回技术

• Flashback Data Archive

• 轻松的在表中增加时间向量

• 例如变更的跟踪, ILM, 审计,

合规性, …

• 查询关键字“AS OF”以前的所有数据

• 有效的存取UNDO数据

• 快速访问旧版本数据

• 根据策略保留闪回数据,清除过时的数据

• 简易的历史数据存储方法

ORDERS

User

Tablespaces

Flashback Data

Archive

Archive

Tables

Select * from orders AS OF ‘Midnight 31-Dec-2003’

Total Recall

Oracle Data Guard备用数据库技术原理

• 备用数据库是主数据库的复制备份（可支持30个备用库）

• 当主数据库发生变化，记录修改的日志信息会被复制到备用数据库，然后利用日志实施数据同步

• 如果主数据库发生故障，可以激活备用数据库

生产节点 备用节点

Log Data

主数据库 备用数据库

• Physical Standby可以用来处理:

• 报表

• 只读 Physical Standby

• 在线升级

• Transient Logical Standby

• 测试

• Snapshot Stanby

• 备份

• 快速增量备份

• 整体性能提升

Oracle 数据库11g 的Active Data Guard

物理备用用于实时查询

物理备用数据库 主数据库

连续的日志

传送和应用

并发的实时查询

• 在物理备用上的只读查询和日志应用可以同时进行

• 在主 / 备用数据库上支持 RAC

• 查询可以获得事物一致性结果

• 可以处理所有数据类型, 但仍然不如逻辑备用数据库灵活

支持网络压缩

Active Standby

Database

Active Data Guard自动数据块修复 通过在线修复损坏的数据提供高可用性

• 自动数据块修复

• 当Oracle检测到主数据库发生数据坏块时，会自动通过从Active Data Guard备用数据库中复制完好的数据块来进行在线的数据坏块修复(反之亦然)

• 对用户和应用是透明的

主数据库

读/写操作

连续的日志发送，校验及应用

实时报表

Oracle Database 11g Release 2

•标准化的单一的技术解决多种不同的需求

•同时满足系统的连续可用性和报表/BI系统的实时数据访问的要求

•高度的灵活性

•快速部署

•更低总拥有成本(TCO)，更高投资回报率(ROI)

Oracle GoldenGate解决方案 满足整个企业的实时数据访问需求

基于Log的实时变化数据捕获

(CDC)

异构源系统

企业数据仓库(EDW) ODS

EDW

容灾, 数据保护

零停机迁移或升级

业务报表

实时 BI

备用库

(处于打开 & 活动状态)

报表库

OGG

ETL

ETL

分担查询负载

数据分发

GoldenGate 工作原理

网络

源数据库 目的数据库

双向复制

队列文件: 暂存数据变化.

传输: 数据经过压缩和加密传送到目的地.

Capture: 实时读取交易日志，捕捉数据变化并可实现过滤.

Delivery:执行所需的数据变化，然后将数据变化提交到目的库.

Capture Source Trail Target Trail

Source Trail Target Trail

Delivery

Delivery Capture

支持异构环境、支持从z/OS到开放平台

Capture(捕获)源数据库:

• Oracle

• IBM DB2

• MS SQL Server

• Sybase ASE

• Teradata

• Enscribe

• SQL/MP

• SQL/MX

Delivery(投递)目标数据库:

• Oracle

• IBM DB2

• MS SQL Server

• Sybase ASE

• Teradata

• Enscribe

• SQL/MP

• SQL/MX

• Ingres

• MySQL

• HP Neoview

• 所有ODBC兼容数据库

平台: Sun Solaris, IBM AIX, HP-UX, Linux, Windows 2000, 2003, XP

HP NonStop, HP TRU64, HP OpenVMS, IBM z/OS

• 降低成本

– 充分利用既有系统

– 系统可高低搭配

Goldengate灵活的部署架构

单向复制

备份、查询

双向复制

灾备、双业务中心

点对点

多业务中心

广播复制

数据分发

集中复制

数据仓库、N+1灾备

多级复制

层次化企业数据

Oracle数据库功能模块

Oracle 身份管理

IDM

安全备份

强认证

网络传输加密

数据库防火墙

企业用户安全

（OAAM网银反欺诈）

细粒度访问控制

数据屏蔽

审计、Total Recall

透明数据加密

Database Vault

数据安全域

因子&命令规则集

数据分类

基于行的访问控制

Audit

Vault

EM

配置&监控

Oracle数据库最大安全性体系架构 访问控制、加密与屏蔽、审计、监视与阻止

Oracle最大安全性解决方案

存储加密

数据安全

网络安全

行级过滤

职责分离

集中审记

备份加密

数据屏蔽

漏洞扫描

嗅 探

篡 改

Database Vault 保护敏感信息免遭内部威胁

Ora

cle MS

A B

est Pra

ctices Advanced Security

存储数据加密--保护超级敏感数据

Label Security 行标签安全--增强行级数据安全

Audit Vault

提供了数据访问审计数据仓库

Secure Backup 数据加密功能的磁带备份管理软件

Data Masking Pack 保护敏感的生产数据

Configuration Management Pack 扫描数据库的安全漏洞和关键补丁

Advanced Security 加密与数据库连接的所有协议--防

止嗅探及篡改

Oracle数据库防火墙

Oracle高级安全选件

备份文件数据加密

应用服务器/客户端

数据存盘

自动加密 数据读取

自动解密

Oracle高级安全

网络加密

Oracle 高级安全

强认证

Oracle高级安全

透明数据加密

redo logs 包含加密数据

备份数据库

Redo apply

• 保护数据,抵御内部威胁

• DBA和其他权限用户不能访问其他应用数据

• 通过域来保护应用

• 特定规则 (时间, IP 地址, 等)

• 责任分离

• 针对何时何地何人对应用数据进行访问上进行更好的控制

• Vault管理员和DBA相互独立

• 安全报告

• 常规制度

Database Vault

Database Vault

HR

数据 HR

应用管理员

DBA 应用管理员可以访问数据

DBA有敏感数据的控制权

HR

数据

HR

应用管理员

DBA

仅应用管理员可以访问区域中的数据 DBA被屏蔽在敏

感数据区域外

Database Vault

Database Vault 规则和多因素授权

DBA

HR DBA

HR

数据库DBA 试图远程“更改系统”

(Alter System)

alter system…….

基于IP 地址的规则阻止动作

create … 在运营过程中人力资源部DBA 执行

未经授权的操作 3pm Monday

基于日期和时间的规则阻止动作

HR 域

HR

因素和命令规则提供

灵活和可修改的安全控制

数据库审计 - 客户的挑战

• 许多分散的审计孤岛

• 大量的关键业务系统

• 报表，警报及分析困难

• 本地脚本是手工写且代价昂贵

• 审计设置管理

• 耗时且易出错

• 审计数据的安全性

• 审计数据易于被内部人员篡改

Oracle Audit Vault

• 简化了合规性报告

• 内置报表

• 开放的数据仓库schema

• 降低成本及合规的复杂性

• 消除审计孤岛

• 集中审计策略管理

• 检测及预防内部威胁

• 提早检测及警报嫌疑活动

• 监控及检测数据变化

• 扩展及安全

• 内置在Oracle中的安全

• 职责分离

• 分区

安全audit数据仓库

监控

策略

报表/警报

Audit 控制台

分布audit数据

Oracle 10gR2 Oracle 10gR1

Oracle 9iR2

(未来)

其它数据库

其它数据源

53

数据屏蔽

• 在测试、支持和分析期间保护 PII 和敏感数据

• 信用卡、纳税人 ID

• 业务敏感数据

• 内部或外包

• 屏蔽过程

• 识别需要屏蔽的数据

• 定义格式掩码或从库中选择

• 安排屏蔽任务运行的时间

• 自定义的屏蔽规则

Oracle数据库功能模块

易于操作的数据库日常管理与维护

内存管理

数据库参数管理

对象管理

用户管理

空间管理

数据导入与导出

备份与恢复

Oracle Enterprise Manager

自我管理的数据库

自动调整

顾问

仪表化

自我管理的数据库

自动调整

顾问

仪表化

Oracle11g提供了全面的自动管理能力

• 在数据库内存参数管理方面

• 只需要设置一个内存参数memory_target

• 自动根据数据库的工作负载动态调整内存分配

• 在数据库应用程序的自动优化方面

• Oracle10g以上版本支持自动进行性能诊断，并通过优化向导功能自动优化

• 甚至无须修改应用的SQL语句就可以进行优化

• 在运行维护的管理和监控方面

• 实现对数据库、应用服务器、开发的应用、主机、存储、网络设备等的全面监控和管理能力

通过工具大大提高了性能优化的效率

现状和挑战 方案及带给工行的价值

•数据大集中，200多个数据库集中

分布在北京、上海数据中心，迫切需要管理的集中

•大量手工重复劳动，如日常管理维护、升级、打补丁等，要求提高技术人员生产率

•业务要求支撑平台的主动式监控管理，从而保证业务的最大高可用

•手工的excel报表占用大量人力，且效率不高

•系统优化依赖于技术人员能力，处理问题耗时，效果不佳

•SLA难以量化和评估

•采用的企业管理器产品

–Diagnostics 、Tuning、Configuration

Management、Database Change

Management 、Provisioning

•带来的价值

–集中管理，避免IT孤岛

–提高了管理水平

•从业务角度设计运维目标，保证SLA

的可管理性

•变被动管理为前瞻式的主动管理、异常处理的速度大大提高，减少对业务的影响

•实现了标准化管理，提高了生产率

–提高了硬件利用率，避免无谓投资

–保护现有投资

中国工商银行 数据中心开放平台数据库集中管理

Oracle Database丰富的Option扩展功能

• 数据库诊断包

• 性能优化包

• 变更管理包

• 配置管理包

• 针对数据库的供应包

• 数据遮蔽包

•虚拟专用数据库(VPD)

• 透明数据加密(TDE)

• Oracle Label Security

• Oracle Database Vault

• Oracle Audit Vault

• Oracle Advanced Security

•Database Firwall

• 真正应用集群(RAC)

• 分区(Partition)

• 内存数据库（Timesten）

• 数据压缩

• 数据卫士(DataGuard)

• 闪回(Flashback)

• 安全备份(Secure Backup)

安全性 企业管理器(EM) 高可用、可伸缩性

• 空间数据库(Spatial Option)

• 内容数据库

• Text全文检索

• XML DB

•GateWay数据库网关

•高级队列

• ….

• 多维分析引擎（OLAP）

•数据挖掘引擎(Data Mining)

•信息生命周期管理（ILM）

• 数据仓库构件器(OWB)

• OWB Connector

• 企业管理器(EM)

• 自动内存管理

• 自动撤消管理

• 自动存储管理(ASM)

• 各种建议器

• RUEI

数据仓库 还有很多… 可管理性

• 扩展：Exadata、Berkeley、OEL Linux、Oracle VM、SQL Develop 、 GoldenGate、

RUEI、ODI 、IDM、BI EE …

Oracle数据库的优势

• 先进的集群数据库技术，满足大集中下的高性能、高可用、可扩展、低成本的要求

• 数据分区及压缩技术满足海量数据的效率和可靠性需求；内存数据库可以更大程度提高性能和吞吐量

• 完整的数据保护手段，防止数据丢失、实现数据的灾难备份；

• 最安全的数据库，通过B1级的安全认证

• 易于管理和使用，自动化管理、集中的管理平台

• 领先的市场占有率，具有良好的开放性，成为数据库领域的首选平台

63