6/7/2016
1
17-11-2011
Overview The Situation Benefits Experience
Exadata X5-2 Architectuur / DR / Snapshots
Informix Oracle11g stretched RAC
Oracle12c RAC+Exadata
17-11-2011
Overview The Situation Benefits Experience
Exadata X5-2 Architectuur / DR / Snapshots
Even voorstellen:
Rob Lasonder
• werkzaam bij Atos Global Exa Competence Center• laatste 6 jaar projecten met Oracle Appliances
(Exadata, Exalogic, Exalytics, ZFS Storage Appliance, OPCA)
• OCP : 8.0 t/m 12c • OCE : RAC11g, Exadata X2, X3 Administration, Big Data Implementation
Email: [email protected]
6/7/2016
2
17-11-2011
Overview The Situation Benefits Experience
Exadata X5-2 Architectuur / DR / Snapshots
“Machbarkeits Studie”
Laatste Exadata (X5-2) project, afgelopen 10 maanden in Duitsland.
Project ESPE: Einführung Starter Paket Exadata/Exalogic
Nieuwe Infra (on premise): 3 x Exadata X5-2 + 3 x Exalogic X5-2
Software: • Informix DB => Oracle (20 TB, verwachte groei 90 TB)• o.a. Oracle ODI (opvolger Warehouse Builder)
17-11-2011
Overview The Situation Benefits Experience
vooraf: Enkele Duitse weetjes
Als je “s avonds naar huis gaat: Ich mache jetzt Feierabend
Elkaar ‘s middags begroeten: Mahlzeit !
Als je een presentatie goed vindt: Keihard op de tafel roffelen
Bij de lunch een bonnetje vragen: Haben Sie den Beleg für mich
Een wit biertje graag Ein Weissen bitte
Verder voor ieder computer woord een Duits equivalent:Speichern, Festplatte, Rechner, der Spiegel, Datenbank, Sicherung, neustarten, Verzeichnis, Kenntnis, Verknüpfung, hochladen, herunterladen, Order, Benutzer, die Bandsicherung, hochfahren, herunterfahren, . . ..
Aparte uitspraak : ProCdur, Archieeeeven, Oraaaakel
6/7/2016
3
17-11-2011
Overview The Situation Benefits Experience
Exadata X5-2 DWH Migratie Project
Informix
1 Exadata Architectuur
2 Exadata Snapshots
3 12c NF Refresh from Service
4 Exadata Migratie
17-11-2011
The Situation Benefits Experience
I Exadata Architectuur. . . Exadata Refresher
Informix
Exadata eerste Oracle Appliance. Een toepassing geoptimaliseerd voordatabases.
Componenten:• Compute Nodes (database instances)• Storage Nodes (database storage)• Zeer snel Infiniband Netwerk• Exadata Software optimalisaties (SQL Offloading, EHCC
compressie, etc.)
Voor de Oracle DBA: Oracle RAC, Oracle +ASM Storage
6/7/2016
4
17-11-2011
The Situation Benefits Experience
I Exadata Architectuur. . . Exadata Refresher
Informix
17-11-2011
Overview The Situation Benefits Experience
DR
coy
I Exadata architectuur. . . Exadata Refresher
Nieuwste versie: X6
6/7/2016
5
17-11-2011
Overview The Situation Benefits Experience
DR
coy
I Exadata architectuur
Kenmerken architectuur
Intern high speed, low latency Infiband network
HA via clustering• Applicaties: vServers• Databases: RAC
Disaster Recovery via replicatie• Applicaties: storage replicatie• Databases: dataguard• type DR: Active / Passive• type DR: vaak geen zero data loss.
17-11-2011
Overview The Situation Benefits Experience
L0/L1 backup
DB
replication
DR
coy
dataguard
I Exadata architectuur
ZFS replicatie
6/7/2016
6
17-11-2011
Overview The Situation Benefits Experience
I Exadata architectuur
Pluspunten Exa architectuur:• “proven” architectuur, zeer breed ingezet• low latency, high speed infiniband netwerk• zeer snelle time to market (appliances, standaard componenten)• Oracle Services (Platinum Support, monitoring, patching, etc.)• multifunctioneel
• active dataguard, offloading reports naar standby• standby databases inzetten voor andere doeleinden (snapshots)• dataguard: automatische block recovery corrupt blocks
Aandachtspunten Exa architectuur:• complexiteit. van DBA naar Full Stack DBMA, RAC• DR: Active-Passive• DR: vaak geen zero data loss• Dataguard DR vereist FORCE LOGGING.
17-11-2011
Overview The Situation Benefits Experience
I Exadata architectuur
DR: Active / PassiveBij een failover/switchover is er downtijd.• bij activeren standby DB rollback van niet gecommitte transacties• Mogelijk transactie verlies (indien geen zero data loss configuratie)• alle applicatieservers vereisen herstart (voormalige passieve kant)• alle sessies moeten opnieuw opgebouwd worden.• applicatie moet overweg kunnen met herstart en deels doorgevoerde transacties.
ZERO Data Loss: geen enkele gecommitte transactie gaat verloren.• vereist: dataguard maximum availability mode.• Een transactie is pas gereed nadat deze zowel op de primary als de standby als
de primary database is gecommit. (2 phase commit)• toegenomen latency• toegenomen afhankelijkheid
Database Force LoggingAlle transacties worden weggeschreven in de online redo log file, geen nologging operaties toegestaan. (in DWH omgevingen vaak nologging operaties tijdens laadacties).
6/7/2016
7
17-11-2011
Overview The Situation Benefits Experience
I Exadata architectuur
Dataguard Far Sync Instance (12c New Feature) bevat alleen de online redo log files, geen datafiles
Dataguard Far Sync Instance voor zero data loss
17-11-2011
Overview The Situation Benefits Experience
I Exadata architectuur
Oplossingen voor nologging operaties:
• isoleer nologging operaties in bepaalde tablespaces en sluit deze uit (testen!)• refresh standby database na afloop van nologging operaties in de Primary
6/7/2016
8
17-11-2011
Overview The Situation Benefits Experience
II Project Bron Architectuur : Stretched RAC
DC 1 DC 2
Node 1 Node2
local RAC componenten• compute nodes• shared storage• netwerk
network heartbeat
disk heartbeat (voting disks)
17-11-2011
Overview The Situation Benefits Experience
II Project Bron Architectuur : Stretched RAC
DC 1 DC 2
Node 1 Node2
stretched RAC componenten• compute nodes• shared storage• netwerk• 2e datacenter
Storage Replicatie: via ASM Failure groups
6/7/2016
9
17-11-2011
Overview The Situation Benefits Experience
II Project Bron Architectuur : Stretched RAC
Pluspunten Stretched RAC architectuur:• DR is Active / Active• Geen Dataguard configuratie nodig (minder administratieve overhead)• Dus: databases kunnen ook in NOLOGGING modus draaien.• Zero Data Loss configuratie
Aandachtspunten Stretched RAC architectuur:• hogere complexiteit dan local RAC, met name de netwerk laag.• Hoge eisen aan netwerk, dedicated high bandwidth redundant netwerk• Latency (maximum “comfortabele” rijkweidte 20 km)• gevaar van split brain• Oracle ziet een stretched RAC nog steeds als HA, en NIET als DR oplossing.• Toegenomen netwerk complexiteit kan ook tot uitval leiden. Hoe
verhoudt zich dat tot de kans op een rekencentrum uitval.
11g new Features interessant voor stretched RAC:• preferred mirror read (aangeven per instance)• fast disk resync (synchroniseren failed disk)
17-11-2011
Overview The Situation Benefits Experience
II Project Bron Architectuur : Stretched RAC. . . Latency
Maximale “acceptabele” afstand 20 km, afhankelijk van type netwerk.
bron: Oracle White Paper: Oracle Real Application Clusters on Extended Distance Clusters.
RAC interconnect data + storage (mirrors)
6/7/2016
10
17-11-2011
Overview The Situation Benefits Experience
II Project Bron Architectuur : Stretched RAC. . . Voting Disks
DC 1 DC 2
Node 1 Node2
X
split brain: geen communicatie meer tussen de clusternodes en elke clusternode gedraagt zich onafhankelijk van de andere
Oracle MAA: 3e voting disk in 3e datacenter.
DC 3voting 1
voting 2
voting 3
17-11-2011
Overview The Situation Benefits Experience
II Project Bron Architectuur : Stretched RAC
create diskgroup data normal redundancy
failgroup fg1 disk 'ORCL:ASMDISK1'
failgroup fg2 disk 'ORCL:ASMDISK2'
quorum failgroup fg3 disk 'ORCL:ASMDISK3'
attribute 'compatible.asm' = '11.2.0.0.0';
6/7/2016
11
17-11-2011
Overview The Situation Benefits Experience
II Project Bron Architectuur : Stretched RAC. . . Stretched RAC = HA en geen DR
+ Human error (flashback standby)
+ Rolling Upgrade Support+ offload reporting (active DG)+ Exadata snapshots
17-11-2011
Overview The Situation Benefits Experience
II Project Bron Architectuur : Stretched RAC
DB Instance 1 DB Instance 2
local FMW app server
local FMW app server
Global Load Balancer
DC 1 DC 2
stretched RAC ingezet als DR oplossing: Active / ActiveDWH databases in NOLOGGING tijdens batcheszero data loss (niet tijdens NOLOGGING laadacties)
wekelijks L0 Tape Backup Dagelijks +ASM
incrementally updated copy, 3 dagen delay
DG: +DATA1, +DATA2, + RECO+DATA1 en +DATA2 identiek i.v.m. switch to copy
6/7/2016
12
17-11-2011
Overview The Situation Benefits Experience
II Project Doel Architectuur : “De ExaStack”. . . Database Layer
OLTP OLTP
KenmerkenDR met dataguard.Max performance modus• DG Far Sync Instance in studie• Failover tijd in studie
Nologging laadacties => 12c Refresh from service
Extra mogelijkheden: Exadata snapshots.
X5-2 nodes: 768 GB memory 2 x 18 core dual threaded CPU (CPU_COUNT = 72)1 x ½ rack1 x ¼ rack (met 3 compute nodes)1 x 1/8 rack
17-11-2011
Overview The Situation Benefits Experience
II Project Doel Architectuur : “De ExaStack”. . . Application Layer
OLTP
OLTP OLTP
OLTP
OLTP
X5-2 Compute NodesZs3-2 Storage Cluster
Configuraties:1 physical (1/4 rack)1 virtual (1/4 rack)1 hybrid (1/2 rack)
6/7/2016
13
17-11-2011
Overview The Situation Benefits Experience
II Exadata Snapshots
PROD DR
DB in Force LoggingTijdens laadacties in Nologging
SNAP1
SNAP2
Een snapshot is een virtuele R/W kopie van de (standby) database. Aanvankelijk 0 bytes groot.• De snapshot datafiles zijn pointers naar de master datafiles• Alleen de mutaties worden weggeschreven in de +SPARSE diskgroup.
17-11-2011
Overview The Situation Benefits Experience
II Exadata Snapshots
Randvoorwaarden• Exadata Storage Software version 12.1.2.1.0• Oracle RDBMS Software version 12.1.0.2 BP5 ++• Sparse Grid Disks & ASM Disk group
Referentie:Oracle Exadata Storage Server Software User's GuideHoofdstuk 12 Setting up Oracle Exadata Storage Snapshotshttps://docs.oracle.com/cd/E50790_01/doc/doc.121/e50471/snapshot.htm#CIHDFIFE
6/7/2016
14
17-11-2011
. . .
Overview The Situation Benefits Experience
II Exadata Snapshots : algemeen
Wat is het “probleem” ?• Vaak hebben productie databases veel kopieen (klonen) voor diverse
doeleinden. • Dit kan veel (dure) Exadata Storage kosten.• Opbouwen van de clones kost relatief veel tijd & administratieve overhead
P 15 TB Q1
Q2
Dev 1 Dev 12
Totaal 14 clones = 14 x 15 TB = 210 TB
17-11-2011
Overview The Situation Benefits Experience
II Exadata Snapshots : algemeen
Mogelijke oplossingen:• Aanpassen ontwikkelingsprocessen en procedures • Flashback Technologie (Flashback Query), edition-based redefinition.• Active Dataguard (open read only voor rapporten)• Subsetting (+ datamasking)• Storage Tiering (Development Clones op goedkopere Storage)
P 15 TBEen Snapshot Clone is een virtuele Clone van de Database (Master)• Voor Read Operaties wordt de MASTER geraadpleegd.• Write Operaties worden in de Snapshot Clone weggeschreven.• De virtuele kloon is dus aanvankelijk 0 bytes en groeit naarmate het
aantal wijzigingen toeneemt.• De Master is READ ONLY geopend
Snapshot Clones zijn al langer mogelijk op ZFS Storage en in ACFS. Sinds kort ook in Exadata +ASM Diskgroups. Grote voordeel: Exadata Features zoals SQL*Offloading en IORM zijn ook op de snapshot clones van toepassing.
• Snapshot Clones
6/7/2016
15
17-11-2011
Overview The Situation Benefits Experience
II Exadata Snapshots : algemeen
Snapshot Datafilepointers naar data blokken• originele blokken: Data Diskgroup• gewijzigde blokken: Sparse Diskgroup
Sparse Diskgroup: Grid Disks met fysieke en virtuele grootte. (max 100 TB virtual size per disk)
A sparse file contains only changes made to blocks from the parent file (the parent file remains unchanged) and maintains a pointer to the parent file for access to unchanged data.
17-11-2011
Overview The Situation Benefits Experience
II Exadata snapshots : +SPARSE diskgroups
Snapshot Clones op Exadata : griddisks vereist van type +SPARSE, met een physieke een virtuele grootte.
P 15 TB 12 cell disken per cell server (8 TB)
Exadata ¼ Rack
6/7/2016
16
17-11-2011
Overview The Situation Benefits Experience
II Exadata snapshots : +SPARSE diskgroups
P 15 TB
Intern backup: RECO = 60%, DATA = 40 %Extern backup: RECO = 20%, DATA = 80 %
ASM: +DBFS +DATA +RECO
Aanpassing voor project vereist:1 Geen GRID Disks van type +SPARSE2 Geen onderlinge uitwisselbaarheid tussen +DATA en +RECO
17-11-2011
Overview The Situation Benefits Experience
II Exadata snapshots : +SPARSE diskgroups
P 15 TB
ASM: +DBFS +DATA +SPARSE +RECO
Voordeel 1: SPARSE Disks aangemaakt met fysieke en virtuele grootteVoordeel 2: onderlinge uitwisselbaarheid grid disks
Werkinstructie opgesteld en doorgevoerd
6/7/2016
17
17-11-2011
Overview The Situation Benefits Experience
II Exadata snapshots : +SPARSE diskgroups
P 15 TB
Stap 1: ASM Diskgroups verwijderen
SQL> drop diskgroup DATAC1;
SQL> drop diskgroup RECOC1;
Stap 2: Grid Disks verwijderen
cellcli> drop griddisk DATAC1_CD_01_EXA01_CELL01
Stap 3: Grid Disks opnieuw aanmaken
cellcli> create griddisk ora001_CD_00_EXA01_CELL01
CELLDISK=CD_00_EXA01_CELL01, SIZE=461,4374G
cellcli> create griddisk ora004_CD_00_EXA01_CELL01
CELLDISK=CD_00_EXA01_CELL01, SIZE=461,4374G, virtualsize=20000G
17-11-2011
Overview The Situation Benefits Experience
II Exadata snapshots : +SPARSE diskgroups
P 15 TB
_EXA01_CEL01 detail
EXA01_CEL01
EXA01_CEL01
6/7/2016
18
17-11-2011
Overview The Situation Benefits Experience
II Exadata snapshots : +SPARSE diskgroups
P 15 TB
Stap 4: ASM Diskgroups opnieuw aanmaken
SQL> create diskgroup exa01_sparse normal redundancy disk
'o/*/ORA004_CD_0[0-3]_exa01_CELL01',
'o/*/ORA004_CD_0[0-3]_exa01_CELL02',
'o/*/ORA004_CD_0[0-3]_exa01_CELL03'
ATTRIBUTE 'au_size'='4M',
'compatible.asm'='12.1.0.2.0',
'compatible.rdbms'='12.1.0.2.0',
'cell.smart_scan_capable'='TRUE',
'content.type'='data',
'cell.sparse_dg'='allsparse';
17-11-2011
Overview The Situation Benefits Experience
II Exadata snapshots : +SPARSE diskgroups
P 15 TB
6/7/2016
19
17-11-2011
Overview The Situation Experience
II Exadata snapshots : create snapshot
P 15 TB
Basis: READ-ONLY geopende database (MASTER). . . in geval dataguard => log apply moet uitstaan
Multitenant Configuratie:SQL> create pluggable database PROD_SNAP from PROD
create_file_dest='+EXA01_SPARSE' snapshot copy;
“Klassieke” Configuratie:Oracle Exadata Storage Server Software User's Guide, hoofdstuk 12, setting up Oracle Exadata Storage Snapshots
Projekt : werkinstructie Clone DB
17-11-2011
Overview The Situation Experience
II Exadata snapshots : create snapshot
P 15 TB
6/7/2016
20
17-11-2011
Overview The Situation Experience
II Exadata snapshots : create snapshot cyclus
P 15 TB
NOLOGGING Batch operations primary+ Refresh Standby
17-11-2011
Overview The Situation Experience
III 12c Dataguard: Recover from Service
P 15 TB
Probleem: tijdens maandelijkse laadjobs database in NOLOGGING. . . niet compatible met dataguard configuratie
6/7/2016
21
17-11-2011
Overview The Situation Experience
III 12c Dataguard: Recover from Service
P 15 TB
Oplossing:
Voorafgaand aan maandelijkse batchjob :• dataguard log shipping & log apply uitzetten• force logging primary database uitschakelen
Maandelijkse batchjob draaien
Na afloop van de maandelijkse batchjob:• Primary database: force logging weer inschakelen• Standby database weer bijwerken m.b.v. 12c Recover from service• dataguard log shipping & log apply weer aanzetten• Na afloop van maandelijkse batchjob dataguard log shipping & log apply
weer activeren m.b.v. 12c New Feature “Refresh from Service”
17-11-2011
snap clone
snap clone
Overview The Situation Experience
III 12c Dataguard: Recover from Service
P 15 TB
Primary Standby
StandbyPrimary
Primary Standby
1
2
3
4snap clone
6/7/2016
22
17-11-2011
Overview The Situation Experience
III 12c Dataguard: Recover from Service
P 15 TB
Dataguard Log shipping & Log Apply uitzetten
DGMGRL> edit database PROD set property logshipping=OFF;
Property "logshipping" updated
DGMGRL> edit database PROD set state=APPLY-OFF;
Succeeded
Database Force Logging uitzetten
SQL> alter database no force logging;
17-11-2011
Overview The Situation Experience
III 12c Dataguard: Recover from Service
P 15 TB
Recover Database from Service• Uitvoeren op de Standby database• Maakt een incrementele backup van alle wijzigingen in de primary
database t.o.v. de SCN van de standby data file header• Verplaatst de backup over het netwerk (SQL*Net) naar de standby DB• Speelt de incrementele backup in de standby database.
6/7/2016
23
17-11-2011
Overview The Situation Experience
III 12c Dataguard: Recover from Service
P 15 TB
17-11-2011
Overview The Situation Experience
III 12c Dataguard: Recover from Service
P 15 TB
Controlfile Standby DB bevat nog oude SCN waardes en moet ook ververst worden.
procedure voor hernoemen datafiles in controlfile => werkinstructie
6/7/2016
24
17-11-2011
Overview The Situation Experience
IV Exadata Migration
P 15 TB
Diverse Migratie Methoden Exadata:• Dataguard• Golden Gate• Datapump• (Incrementally Updated) Transportable Tablespaces• Proprietary tooling
Keuze van migratie methode afhankelijk van diverse methodes:• beschikbare downtime• beschikbare licenties• beschikbare storage• beschikbare migratie infrastructuur• etc.
17-11-2011
Overview The Situation Experience
IV Exadata Migration. . . Proprietary Tool: HIPAS
P 15 TB
Randvoorwaarden bij dit project:• Veel NOLOGGING operaties tijdens laadacties• VLDB (kan groeien tot 90 TB, nu nog Informix)• Veel objecten zonder PMK/UK• Direkt EHCC compressie nodig, anders past het niet (DG, TTS kan dus niet)• Database bevat veel BLOBS => gaan heel langzaam in DWH• Al veel ervaring in organisatie met proprietary tool “Hipas”.
Kenmerken HiPas• offline variant en minimal downtime variant• geschreven in SQL & PL/SQL• Schema based migratie over database links (INSERT /*+APPEND */)• Vanaf doel data halen van de bron (pull gaat sneller dan push)
6/7/2016
25
17-11-2011
Overview The Situation Experience
IV Exadata Migration. . . Proprietary Tool: HIPAS
P 15 TB
• USER HIPAS installeren in beide DB's.• Data worden via database link overgehaald, PULL source DB vanaf target DB• Gepartitioneerde objecten per (sub)partitie• Overige objecten in gelijke chunks• versie & platform onafhankelijk• Allerlei aanpassingen in target DB mogelijk tijdens migratie (remap table/schema,
character set aanpassing, selecties van tabellen en data, EHCC, etc.)
Snelheid (dedicated 10 Gb lijn) : 700 MB / seconde
Top Related