Oracle Exadata: Uma Visão Técnica Aprofundada · Hybrid Columnar Compression (HCC) ... Completo....

Oracle Exadata: Uma Visão Técnica Aprofundada Gurmeet Goindi Group Product Manager - Exadata Fernando Melo Sales Consultant – Engineered Systems Andre Ronchi Database Manager - Assai Junho, 2015

Oracle Confidential – Internal/Restricted/Highly Restricted Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |

Safe Harbor Statement The preceding is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle.

Copyright © 2015, Oracle and/or its affiliates. All rights reserved.

Oracle Exadata Database Machine

• Software e Hardware Pré-Integrados – O hardware mais recente – dimensionado, otimizado e testado para cargas de trabalho de Banco de Dados Oracle

• Software e Protocolos Únicos – banco de dados, rede, e software no storage colaboram para fornecer o mais rápido e mais eficiente processamento para bancos de dados Oracle

• Suporte de Fim-a-Fim – um time de suporte integrado para reduzir complexidade e custos operacionais. Todas as tecnologias são de propriedade e suportadas pela Oracle

3

A Melhor Plataforma para Banco de Dados Oracle


• DATA WAREHOUSING

4

• PROCESSAMENTO TRANSACIONAL (OLTP) • BANCO DE DADOS IN-MEMORY

Casos de Uso Exadata

• CONSOLIDAÇÃO / DBaaS

Real-Time Analytics

Service Catalog


Exadata Hardware

5


• Servidores de Banco de Dados – 2 Processadores 18-core x86 (36 cores) – Oracle Linux 6 – Oracle Database Enterprise Edition – Oracle VM (opcional) – Oracle Database options (opcional)

• Rede mais Rápida – 40 Gb/s InfiniBand – Ethernet para Conectividade Externa

• Servidores de Storage Inteligentes – Servidor de Storage High-Capacity – Servidor de Storage Extreme Flash – Exadata Storage Server Software

Exadata X5-2 Componentes

6

Servidor de Banco de Dados X5-2

Servidor de Storage High-Capacity

Servidor de Storage Extreme Flash

36 cores por servidor 256 – 768 GB DRAM


Performance Extreme Flash High-Capacity Scans Analíticos 263 GB/s 140 GB/s

OLTP Leituras (8K) 4.14 M IOPS 4.14 M IOPS

OLTP Escritas (8K) 4.14 M IOPS 2.69 M IOPS

Flash Latência 0.25 ms @ 2M IOPS 0.25 ms @ 1M IOPS

Exadata X5 Servidores de Storage

* Full Rack : 8 servidores de DB, 14 servidores de storage

Capacidade Extreme Flash High-Capacity Cores (para SQL offload) 16 16

Disco (por servidor) - 48 TB

Flash (por servidor) 12.8 TB 6.4 TB

Disco (full rack)* - 672 TB

Flash (full rack)* 179.2 TB 89.6 TB

NVMe PCIe flash Estado-da-Arte Baixo Tempo de Resposta Consistentemente

Protocolo InfiniBand I/O otimizado

Exadata Storage Server Software Smart Scan (SQL Offload)

Smart Flash Cache I/O Resource Management

Hybrid Columnar Compression

Extreme Flash Servidor de Storage

All-Flash

High-Capacity Servidor de Storage

Disco + Flash Cache


Exadata X5-2 Configurações Elásticas

8

Otimize o Exadata para qualquer workload

Comece Com 2 Servidores de BD

3 Servidores de Storage

Adicione Servidores Qualquer tipo

Qualquer quantidade

Full Rack

Servidor de BD

Extreme Flash Storage

High-Capacity Storage

Qtr Rack

576 BD Cores 13.3 TB RAM 192 TB Disco

396 BD Cores 8 TB RAM

140 TB Flash

512 Cores 90 TB Flash Cache

672 TB Disco

DB In-Memory Machine

Extreme Flash OLTP Machine

Data Warehousing Machine

Exemplos de Configuração

15 Serv. de BD 5 Serv. de Storage



Copyright © 2015, Oracle and/or its affiliates. All rights reserved. 9

Escale de Configurações Pequenas para Muito Grandes e Multi-Rack

Menor Config: 1/8 Rack c/ Capacity on Demand Qty Cores Disco Flash

Servidores de BD 2 16 4.8 TB 0

HC Servidor Storage (ou) 3 24 72 TB 9.6 TB

EF Servidor Storage 3 24 0 19.2 TB

1/8 Rack 1/4 Rack 1/2 Rack Full Rack

. . . . . . . . . . . .

Full Rack Config: Com 8 Serv. BD, 14 Serv. de Storage Qty Cores Disco Flash

Servidores de BD 8 288 19.2 TB 0

HC Servidor Storage (ou) 14 224 672 TB 89.6 TB

EF Servidor Storage 14 224 0 179.2 TB

. . . .

Multi Rack Multi Rack

Elastic Configs

Elastic Configs

Elastic Configs

Elastic Configs

. . . . Online

Upgrade


Exadata Software

12


Exadata Storage Server Software • Smart Scan

– Scans/filtros de Dados são executados nos servidores de storage – Só resultados relevantes retornam aos servidores de banco de dados – Melhoria significativa de performance (10x ou mais) para relatórios, etc

• Smart Flash Cache / Tierização de Storage – Dados Ativos são automaticamente armazenados em flash no storage – A inteligência de I/O no storage otimiza o uso do flash – Flash caches Reads, Writes, Log Writes – Performance do flash com a capacidade do disco

• I/O Resource Management (IORM) – Alocação baseada em prioridade de I/O por banco de dados e workload – Essencial para mixed workloads e consolidação de banco de dados

• Hybrid Columnar Compression (HCC) – Melhor compressão de dados da indústria (10x média) – Dados permanecem compactados no flash, memória, backups, standbys

13

HCC

10:1

SQL

Servidor de Banco de Dados

Servidor de Storage

I/O I/O I/O

Ultra-Fast PCIe Flash Cards


Gestão de Recursos para Cargas de Trabalho Consolidadas

• Instance Caging – Limita uma instância de banco consumir um # máximo de CPUs – Prevenção de exaustão de recursos que impactam outros BDs

• Gestão de Recursos de CPU – Aloca CPU entre diferentes bancos de dados – Aloca CPU entre cargas de trabalho dentro de um banco de dados – Implementa políticas de processamento paralelo – Prevenção contra queries que consomem muitos recursos

• Gestão de Recursos de Rede – Automaticamente prioriza mensagens críticas na rede Infiniband – Log writes, mensagens do RAC cluster, etc.

• Gestão de Recursos de I/O (IORM) – Prioriza I/O para cargas críticas sobre cargas não-críticas – Permite um compartilhamento justo dos recursos do banco de dados

14

Prioriza Recursos de HW por Banco de Dados, Carga de Trabalho e Hora do Dia

I/O I/O I/O

OLTP

TXNS RPTS

BACKUPS WAREHOUSE

ETL BATCH

AD-HOC

PRIORITY LANE


Custo mais Eficiente de Storage • Exadata software transparentemente dá o melhor da memória,

flash e disco – Custo e Capacidade de um disco SAS – I/Os de um PCI Flash – Velocidade de um banco de dados In-Memory

• Hybrid Columnar Compression (HCC) – Melhor compressão da indústria (10x média) para analytics & archive – Os dados permanecem comprimidos no flash, memória, backups e

standbys

15

Por DB Machine full rack padrão 8 BD, 14 HC servidores de storage

672 TB DISCO

89 TB PCI FLASH

6 TB DRAM

Dados Frios

Dados Mais Quentes

Dados Ativos

Morrisons PLC “Exadata entrega uma incrível compressão

de 20x para nosso Data Warehouse.” HCC

10:1


Maximum Availability Architecture (MAA) Nenhum Ponto de Falha

16

Recuperação Mais Rápida de um Nó do RAC | Backup Mais Rápido - RMAN Offload para o Storage Profunda Integração com ASM | Data Guard Redo Apply Mais Rápido | Teste Completo de Falha

Standby Local para HA Failover

Replicação baseado em

redo com checagem de consistência

Patch, reconfiguração e expansão online

LAN WAN

Servidores, Discos, Flash, Rede,

Energia

Clusters ativos, Espelhamento de

disk/flash

Dentro do Exadata Dentro de um Site Standby Remoto para Disaster Recovery

Entre os Sites

DA

TAB

ASE IN

-MEM

OR

Y

DA

TAB

ASE IN

-MEM

OR

Y

DA

TAB

ASE IN

-MEM

OR

Y

Software Redundante

Hardware Redundante

Hardware Redundante Banco de Dados Redundante

Hardware Redundante Banco de Dados Redundante


Exachk: Ferramenta Compreensiva de Health-Check

18

• Utilitário para automatizar os health checks do Exadata

• PASS | FAIL | WARNING

• Valida compliance com as melhores práticas do MAA, versões de software, configuração de parâmetros, etc.

• Regularmente atualizado com novas recomendações e releases


PLATINUM SERVICES

Suporte Compreensivo de uma Equipe Integrado

19

• Equipe de suporte especializado em Engineered Systems

• Suporte 24/7 • Resposta on-site em 2-horas para

problemas com hardware • Atualizações e upgrades para banco de

dados, servidores, storage, e S.O. • Portal pró-ativo de suporte (MOS)

Completo. Pró-Ativo.

• Os engenheiros da Oracle aplicam patch remotamente e fazem monitoramento de falha 24x7

• Tempo mais rápido de resposta e restauração:

Integrado. Sem Custo Adicional.

5 Minutos Notificação de falha 15 Minutos Restauração ou Escala para Desenvolvimento

30 Minutos Debugging junto com Desenvolvimento


Novas Features de Sofware no X5-2

20


• ALTA-DISPONIBILIDADE – Detecção de Falha Instantânea – Controle de latência de I/O – In-Memory tolerante a falhas

• CONSOLIDAÇÃO – Snapshots de storage – Oracle VM

21

• DESEMPENHO – Flash Cache Colunar – JSON/XML Smart Scan – Direct-to-wire OLTP protocol

• FLEXIBILIDADE DE LICENCIAMENTO – Trusted Partitions – Capacity-on-Demand

Novas Features de Software no X5-2

Sparse Snap

Base DB

Sparse Snap

CDB

VM VM

DATAB

ASE IN-M

EMO

RY

FINANCE VM

SALES VM

Database Vault Option

Spatial and Graph Option


Novas Features de Alta-Disponibilidade no X5-2 • Detecção Instantânea de Falhas para os Servidores de Banco de Dados e

Storage – Se um servidor desaparecer dos switches Infiniband, declare como fora – Não há espera por longos timeouts do heartbeat

• Controle de Latência de I/O – Disco e flash podem mostrar longas latências ocasionais enquanto realiza

operações de recovery ou manutenção internas – O Exadata automaticamente redireciona leituras lentas para uma outra célula – As escritas são redirecionadas do disco ou flash lento para um outro dispositivo

mais saudável

• Elimina Falhas Falsas de Disco e Flash – Muitas falhas de drive aparentes são na verdade travamentos de software – O Exadata automaticamente suspende o ciclo de energia do drive para limpar o

travamento de software

22


Novo In-Memory Tolerante a Falhas A Única Plataforma de Banco de Dados In-Memory com Tolerância a Falhas

23

• Similar ao storage mirroring

• Duplica as colunas do Oracle Database In-Memory em outro servidor – Habilitado por tabela/partição – Transparente para Aplicação

• Downtime eliminado pela troca automática para a réplica após a falha de servidor

Duplicate Duplicate Duplicate


Novo “Exafusion” Protocolo OLTP Direct-to-Wire

• InfiniBand tem grande throughput – Mas o overhead de chamar o S.O. em todas as mensagens

limita a taxa de transferência para as mensagens curtas

• Exafusion re-implementa o Cache Fusion do RAC • O Banco de Dados chama diretamente o hardware

Infiniband – Ignora o stack de software da rede, interrupções, scheduling

25

O Primeiro Protocolo Infiniband para Banco de Dados

8K OLTP Block Transfers/sec

InfiniBand Exafusion

InfiniBand

10 GigE

3X Mais Rápido


Novo Snapshots Rápidos para Banco de Dados para Dev/Test

• Rápido provisionamento de Banco de Dados com Snapshot – Crie um sparse diskgroup no storage do Exadata – Então crie um snapshot do banco de dados ou snapshot do PDB

que lê de uma cópia read-only do BD e escreve no sparse diskgroup.

• Integração com pluggable database permite a criação do snapshot com apenas um comando

• Todas as features do Exadata funcionam nos Snapshots (smart scans, smart flash cache, resource management …)

26

Sparse Snap

Base DB

Sparse Snap

CDB


• VMs tem bom isolamento mas tem pouca eficiência e muito gerenciamento – Separa S.O., memória, CPUs, e patching – Isolamento sem necessidade de confiar no DBA, System Admin

• Consolidação em BD em um servidor é altamente eficiente mas tem pouco isolamento – O isolamento do DB Resource manager não adiciona overhead; deve

confiar nos DBAs para configurar

• Melhor estratégia é combinar VMs com consolidação de banco de dados nativa

– Múltiplos DBs/PDBs em uma VM – Poucas VMs por servidor para limitar

overhead

Oracle VM + Oracle Database 12c Multitenant

27

VM

Database 12c Multitenant

Muitos BDs em um servidor

Virtual Machines

Servidores BD dedicados

Mais Isolam

ento Mai

s Efic

iênc

ia

VM VM

VM VM


Nova Forma Flexível de Licenciamento

• Oracle VM Trusted Partitions – Licencia o software Oracle apenas nos cores da

máquina virtual – Ideal para options de propósito-especial

• Capacity-on-Demand – Desligue até 60% dos cores nos servidores de banco de

dados durante a instalação – Habilite os cores em incrementos de 2 – Licencia somente o software para os cores ativos – “Pay as you Grow”

28

DATAB

ASE IN-M

EMO

RY

FINANCE VM

SALES VM

Database Vault Option

Spatial and Graph Option

Servidor de Banco de Dados

Capacity-on-Demand Cores Ativos

$$ Licencia software Oracle somente nos cores ativos

OVM Trusted

Partitions

Oracle Exadata Database Machine Nova Solução para Bancos de Dados Oracle

São Paulo, 19 de Junho de 2015

30

Cenário 2014 – Banco de Dados: Instabilidade no ambiente

Não atendimento de SLA´s

Tempos de resposta dos sistemas inadequados

Monitoramento nos ambientes ineficaz ou inexistente

Indisponibilidades frequentes em todos os ambientes

Alto esforço operacional de TI

Projeto Exadata Nova Solução Banco de Dados Oracle Exadata

31

Desafios para 2015 – Banco de Dados(Exadata): Estabilização do ambiente

Melhorar níveis de SLA´s de TI

Melhorar tempos de resposta dos sistemas e janela processamento batch Criação de ambientes em alta disponibilidade/DR(Active Dataguard)

Monitoramento proativo altamente eficaz garantido pela Oracle

Ambiente dedicado para o negócio do Assai

Menor esforço operacional de TI por conta da produtividade do ambiente


Benefícios:

Escalabilidade do ambiente pode ser feita 100% Online Alta disponibilidade em 100% do ambiente Monitoração 24x7 preventiva e corretiva Ambiente compliance com requisitos e normas de segurança. Oracle garante aplicação de patches trimestralmente no ambiente Ambiente 100% dedicado ao negócio do Assaí.

CBDX89 RUB


0% 200% 400% 600% 800% 1000% 1200%

SISTEMA HORUS - IMPORTAÇÃO VENDAS DA C5

SISTEMA HORUS - CALCULO DA IDADE DE PRODUTOS

SISTEMA HORUS - ESTOQUE ONLINE

SISTEMA GERENCIAL - CARGA MICROSTRATEGY

SISTEMA GERENCIAL - RELATÓRIOS GERENCIAIS(MICROSTRATEGY)

SISTEMA GERENCIAL - CARGA SAU

BACKUP ORACLE

GANHOS DE PERFORMANCE(%) TEMPO ANTERIOR(MIN) TEMPO ATUAL(MIN)

960 120

5 0,6

200 20

240 120

120 12

300 60

60 10

CBDX89 RUB


Tempo de execução – JOB´s malha batch

3:50:00

5:35:00

0:27:00 0:08:10 0:00:00

1:12:00

2:24:00

3:36:00

4:48:00

6:00:00

JOB2014 JOB2900 JOB2901 BAIXA1 BAIXA2 BAIXA3 BAIXA4 BAIXA5 BAIXA6 BAIXA9 BAIXA10 JOB6021 JOB6022 JOB2810 JOB2811 JOB2812 JOB2813

EXADATA vs HP´S

TEMPO HP´S TEMPO EXA

34

Resultado:


Load Balance

Tolerância a Falhas

Disaster Recovery

Replicação de Dados

Ambiente Dedicado


Exadata vs. Hardware Genérico Gap de Benefícios está Crescendo, e vai Crescer cada vez Mais

35

Bene

fício

s par

a Ap

licaç

ão

Melhorias de Hardware Comuns ao Exadata & Plataformas Genéricas • Processadores Mais Rápidos • Flash Mais rápido, Mais Barato • Disk Drives Maiores • Rede Interconnect Mais Rápida

Tempo

• Smart Scan • InfiniBand Scale-Out

• Database Aware PCI Flash • Storage Indexes • Columnar Compression

• IO Priorities • Data Mining Offload

• In-Memory Fault Tolerance • Direct-to-wire Protocol • Columnar Flash Cache • JSON and XML offload • I/O latency capping • Instant failure detection

2008 2015

• Network Resource Management • Multitenant Aware Resource Mgmt • Compressed Flash Cache • Prioritized File Recovery

Oracle Exadata: Uma Visão Técnica Aprofundada · Hybrid Columnar Compression (HCC) ... Completo....

Documents

Transcript of Oracle Exadata: Uma Visão Técnica Aprofundada · Hybrid Columnar Compression (HCC) ... Completo....