Oracle Warehouse Technologie Single-Engine-Based-Data-Warehouse
-
Upload
lael-murray -
Category
Documents
-
view
109 -
download
0
description
Transcript of Oracle Warehouse Technologie Single-Engine-Based-Data-Warehouse
Oracle Warehouse TechnologieSingle-Engine-Based-Data-Warehouse
Phasen der Data Warehouse Entwicklung mit Oracle Warehouse Builder 10g R2 (OWB)
Stichpunkte zuRessourcen – schonenden Techniken
mit dem Oracle – basiertenData Warehouse
Alfred SchlaucherLeitender Berater Business Integration & Data Warehouse ORACLE Deutschland GmbH
Tel.: 040 / 89091-132Email: [email protected]
Themen
Oracle Warehouse Builder 10g R2 (OWB)- allgemein
Phasen der Data Warehouse Entwicklung- unterstützt durch OWB
Weitere Informationen und Umsetzung
businessintelligence &data warehouse
Themen
Oracle Warehouse Builder 10g R2 (OWB)- allgemein
Phasen der Data Warehouse Entwicklung- unterstützt durch OWB
Weitere Informationen und Umsetzung
businessintelligence &data warehouse
Verwaltung und DokumentationMetadatenOwnerschaftenGrid Control
Aufbau und Verwaltung von Data Warehouse-Umgebungen
Effiziente Datenhaltung SpeichertechnikILMHardwareASMOLAP
Datenintegrationschnelles Bereitstellen DB-basiertes Laden MDMETL-Option Qualitäts-
managementData ProfilingData Auditing Daten-Zugriff
SecurityMandanten BI-Anwendungen
Standard-Berichte Interaktive BerichteData MiningKomplexe Analysen
Oracle Warehouse Builder
Design des kompletten Data Warehouse SystemsLogisches Design und BeschreibungsinformationenPhysisches Oracle Datenbank DesignFast alle Datenbankobjekte von Oracle 10g
Bereitstellung der Datenbeschaffungsroutinen Runtime – System Universelles Metadatenrepository Automatisiertes ETL durch Scriptsprache Data Quality / Data Profiling Zugang zu allen EAI – Komponenten von
Oracle 10g
Immer mehr Anwenderbenutzen Daten
Die Anzahl der Systeme und damit der
Schnittstellen steigt
Die Bereitsstellungszeitder Daten wird
zunehmend kürzer
Datenmengenwachsen
Herausforderungenfür
Datenintegrationund
Datenmanagement
Neue Anforderungen an Datenintegration und Datenmanagement
Datenintegrations- und Datenmanagementaufgaben Zusammenführen von Daten aus heterogenen Systemen Korrigieren von Daten
Garantieren von Datenqualität
Datenmigration von System zu System Harmonisieren von Datenbeständen
Inhaltliches Angleichen
Synchronisierenz. B. Abstimmung von verschiedenen Schlüsseln
Zuliefern von DatenBenutzergerechtes Bereitstellen
Verwalten von Datenbeständenz. B. Historisieren / Archivieren / ILM
„Lösungen“ der Vergangenheit
Programmierung von HandZerstreute Programm-SourcenFehler bei der EntwicklungUnnötige Doppelarbeit
Schlechte oder fehlende DokumentationSchlechte WartbarkeitEnorme Folgekosten
Unkündbare „Inselexperten“ Immer wieder „Katastrophen“
im Echtbetrieb
Wie wardas nur?
Die Geschichte der ETL-Tools geht in Richtung integrierter Werkzeuge
Handprogrammierung
1992 1996 2000
Programm-generatoren
SeparateEngine-gestützteETL-Werkzeuge
DatenbankbasierteETL-Werkzeuge
2005
Warehouse Datenbank
TabellenIndex
ViewMView
SequenzFunctionProcedure
Cube
Log
Access/Excel
MessageBroker
Siebel
Peoplesoft
Webservices
DB2 OS390, UDBSybase, Informix,SQL-Server...
Oracle (Remote)
XML
PL/SQLUTL_FILE
XML
DB-Link
Queue
Gateway
ODBC DB-Link
Queue
CDCtcp
Adapter
StreamsExt. TableSAP Int.
Schnittstellenkomponenten Oracle Data Warehouse
XMLPort
XML
FlatFile
FlatFile
FTPPort
FlatFile
SQL Loader
XML
In MemoryIn Memory nnnn JCAJCA COM+COM+ SOAPSOAP
WSIF & JBIWSIF & JBI
Enterprise Service BusEnterprise Service BusRoutingRouting QOSQOS BPELBPEL TransformTransform RulesRules
Repository
Variablen Variablen
Steuertabellen
Metadaten gestützte Steuerungslogik für das Data Warehouse
Workflow / BPEL
A1
Datenbank-basiertes Laden
Datenbank – basiertes ETL
SQL basiert, d. h. die Oracle Datenbank wird ausgenutztMöglichkeit primär mengenbasierte Operationen durchzuführenWesentlich höhere PerformanceAutomatisiertes Datenbankgeregelte ParallelisierenDatenbankgestütztes Ressources - Management
Unterstützung aller aktuellen Datenbank – ETL – Funktionen wie
Multiple InsertsMerge (Insert/Update)Direct Path LoadTable FunctionsPartition Exchange and Load
Datenbank – basiertes ETL
Vollständige Hints – Bibliothek Verwendung aller Datenbank – Funktionen, z. B.
auch analytische FunktionenIm Gegensatz zu den von 3. Herstellern nachgebildeten z. T. unvollständigen Funktionen (Beispiel SQL CASE, Decode)
Datennahes EntwickelnLeichtes performantes und mengenbasiertes Updaten von SätzenAusnutzen temporärere Strukturen
Temp – TablesCache – Tables
Ausnutzen besonders schneller Tabellen – ObjekteIndex – Based Tables
Direkter Zugriff auf Tabelleninhalte
Datenbank - basiertes ETL
Nähe zu KatalogstrukturenAlle Informationen stehen sofort zur Verfügung
Komplett – Definition aller physikalischen Objekte im Data Warehouse
(Tables, Index, Materialised Views, Partitioning ...)
Datenbank – basiertes ETLim Zusammenhang mit OWB
ETL - Integriertes Data QualityData Cleansing / Data Profiling
ETL – Makro – Bildung / Experts Integrierte datenbankbasierte Workflow –
Umgebung Web – basiertes Auswerten von Metadaten und
Laufzeitergebnissen Unterstützung der Datenbank – Near Realtime –
Funktionalität wie Queues, Streams, CDC, Web Services
Workflow-Steuerung
ColumnTransformation
Tabellen-Mapping
Teil-Prozess
Gesamt-Prozess
4 – Schichten Prozessverwaltung
Es gibt 3 Hauptgründe für den Einsatz von OWB
1. Performance2. Effizientere Warehouse Architekturen3. Preis
Datenmodeller
Change Manager
Data Viewer
Repository Browser
Mapper
Control Center
Scheduler
Runtime Audit
Process Editor
Rules Editor
Experts-Macros
Dependencies
Data Profiler
KomponentenOWB
Quell-Systeme Ziel-System
SRC DWHOracle 9i /10g Oracle 9i/10g
WarehousetabellenWarehouse
tabellenBestellung
Tabellen
WarehousetabellenWarehouse
tabellenWH_Trans-aktionen
Tabellen
My_ProjectPL/SQL
DesignMetadatenOWB-Modelle
RuntimeMetadaten(Deploys)
Unified Repository
OWB
Datenfluss
Deploy
Import
Design
LocationLOC_SRC
LocationLOC_DWH
Modul Bestelldaten Modul Warehouse
Bestellung WH_Transaktionen
Das OWB Entwicklungs – Szenario
Warehouse Datenbank
TabellenIndex
ViewMView
SequenzFunctionProcedure
Cube
Log
Access/Excel
MessageBroker
Siebel
Peoplesoft
Webservices
DB2 OS390, UDBSybase, Informix,SQL-Server...
Oracle (Remote)
XML
PL/SQLUTL_FILE
XML
DB-Link
Queue
Gateway
ODBC DB-Link
Queue
CDCtcp
Adapter
StreamsExt. TableSAP Int.
Schnittstellenkomponenten Oracle Data Warehouse
XMLPort
XML
FlatFile
FlatFile
FTPPort
FlatFile
SQL Loader
XML
In MemoryIn Memory nnnn JCAJCA COM+COM+ SOAPSOAP
WSIF & JBIWSIF & JBI
Enterprise Service BusEnterprise Service BusRoutingRouting QOSQOS BPELBPEL TransformTransform RulesRules
Themen
Oracle Warehouse Builder 10g R2 (OWB)- allgemein
Phasen der Data Warehouse Entwicklung- unterstützt durch OWB
Weitere Informationen und Umsetzung
businessintelligence &data warehouse
Laufzeit-management
Prozess-analyse
Quellen-studium
Ziel-Daten-
modelle
Daten-bank-
entwurf
Test-daten
Info FAfehlerhafteProzesse
InfoFA
Daten-transport
System-entwurf
ProzessmodellObjektmodell
Data ProfilingReverse Engineering
BebauungspläneKomponenten
3NFDimensionalMdimensional
DDL / DML
ETL
Jobmanagement
Metadaten
Knowledge
Weiter
Zurück
Hinterlegung fachlicherBeschreibungen
Zrück
Analyse der Quelldaten- Data Profiling
Zurück
Das gesamte Systemmodellieren
Zurück
Datenmodelle entwerfen
Zurück
Komplette Definition von Tabellen
Zurück
Transformationenmit Mappings
Zusätzliche Hilfsfensterdes Mappingeditors
Operatoren desMappingeditors
Zurück
Testdaten-generierung
Zurück
Zusammenfassen von Mappings zu Prozessen
Prozesssteuerung z. B.mit Schleifen und Variablen
Reporting über stattgefundene Ladeläufe
Zurück
Abhängigkeits- und Auswirkungsanalyse
Zurück
Individuelle Listenreports über Metadaten
HTMLDB
Zurück
Themen
Oracle Warehouse Builder 10g R2 (OWB)- allgemein
Phasen der Data Warehouse Entwicklung- unterstützt durch OWB
Weitere Informationen und Umsetzung
businessintelligence &data warehouse
Weitere Infoshttp://www.oracle.com/technology/products/warehouse/index.html
Die neue Software OWB 10G R2 (Paris) kann über OTN bezogen werden.http://www.oracle.com/technology/software/products/warehouse/index.html
Email: [email protected].: 040 / 89091-132
Neue Projekte sollten nur mit diesem Release beginnen.
Step By Step kann bestellt werden bei:
Vorgehensweise Entwickeln Multidimensionale Strukturen mit OWB
DefinitionDimensionenund Fakten
Binding /AbleitungRelationaleTabellen
GenerierungDimensionsund Tabellen
DefinitionMappingsDim + Fakten
GenerierungMappings(PLSQL)
Zuweisen AnalyticalWorkspace +Def. Aggregationen
GenerierungDimensionaleObjekte in AnalyticalWorkspace
Definition1 MappingCube
GenerierungMappingsCube DML
Data Object Editor Control Center Mapping Editor Control Center
Themen
Einführung: Multidimensionale Modelleim Oracle Data Warehouse
Oracle Warehouse Builder 10g R2 (OWB)- allgemein
Erstellen multidimensionaler Modelle mit OWBBeispielscreens: Wizard zur Erstellung einer ZeitdimensionData Object EditorDeployment Control CenterDer Mapping EditorAbleiten EUL für Discoverer
Weitere Aspekte OWB Umsetzung
businessintelligence &data warehouse
Verschiedene Arten der Erstellung der Zeitdimension
Storage TypeROLAP / MOLAP
Festlegen Anzahl Jahre
Auswahl Hierarchie-Level
Mapping
DimensionalTable
Table
Sequence
Übersicht generierteObjekte zum Aufbauder Zeitdimension
Generiertes Mappingzum Laden der Kalenderdaten
Ergebnisdaten(DatenViewer)
Themen
Einführung: Multidimensionale Modelleim Oracle Data Warehouse
Oracle Warehouse Builder 10g R2 (OWB)- allgemein
Erstellen multidimensionaler Modelle mit OWBBeispielscreens: Wizard zur Erstellung einer ZeitdimensionData Object EditorDeployment Control CenterDer Mapping EditorAbleiten EUL für Discoverer
Weitere Aspekte OWB Umsetzung
businessintelligence &data warehouse
Data Objekt Editor
Eine Dimensiondefinieren- Dimensionsattribute
Eine Dimensiondefinieren- Dimensionslevel
Eine Dimensiondefinieren- Dimensionshierarchie
Eine Dimensiondefinieren- Speicherart
Sparsity-Eigenschaftendefinieren
Die Art der Vorberechnungenfür die Kennzahlen festlegen
Themen
Einführung: Multidimensionale Modelleim Oracle Data Warehouse
Oracle Warehouse Builder 10g R2 (OWB)- allgemein
Erstellen multidimensionaler Modelle mit OWBBeispielscreens: Wizard zur Erstellung einer ZeitdimensionData Object EditorDeployment Control CenterDer Mapping EditorAbleiten EUL für Discoverer
Weitere Aspekte OWB Umsetzung
businessintelligence &data warehouse
Control Center
Generierter Codezur Definition eines Würfels
Themen
Einführung: Multidimensionale Modelleim Oracle Data Warehouse
Oracle Warehouse Builder 10g R2 (OWB)- allgemein
Erstellen multidimensionaler Modelle mit OWBBeispielscreens: Wizard zur Erstellung einer ZeitdimensionData Object EditorDeployment Control CenterDer Mapping EditorAbleiten EUL für Discoverer
Weitere Aspekte OWB Umsetzung
businessintelligence &data warehouse
Mapping zumBefüllen einer Zwischentabelle
Operatoren desMappingeditors
Einfaches Mapping zur Befüllung eines Würfels- Eingeblendet ist die OLAP-Sicht
Themen
Einführung: Multidimensionale Modelleim Oracle Data Warehouse
Oracle Warehouse Builder 10g R2 (OWB)- allgemein
Erstellen multidimensionaler Modelle mit OWBBeispielscreens: Wizard zur Erstellung einer ZeitdimensionData Object EditorDeployment Control CenterDer Mapping EditorAbleiten EUL für Discoverer
Weitere Aspekte OWB Umsetzung
businessintelligence &data warehouse
Themen
Einführung: Multidimensionale Modelleim Oracle Data Warehouse
Oracle Warehouse Builder 10g R2 (OWB)- allgemein
Erstellen multidimensionaler Modelle mit OWBBeispielscreens: Wizard zur Erstellung einer ZeitdimensionData Object EditorDeployment Control CenterDer Mapping EditorAbleiten EUL für Discoverer
Weitere Aspekte OWB Umsetzung
businessintelligence &data warehouse
Process-Editor
Metadaten-Dependency-Manager
Metadaten-Browser (Web)
Job-Kontrolle im Web