Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und...
Transcript of Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und...
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 1 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titelfolie: • Damit beginnt ein Vortrag.
• Haupttitel: 1zeilig!
• Untertitel: max 2. Zeilen
• Referent: Name, Funktion,
OC Niederlassung
• Logo: Optional.
Entweder ein Kunden/ oder
themenbezogenes Logo
verwenden. Ideal
quadratisch, 3 Raster breit.
• Fußzeile mit Haupttitel füllen.
Ingo Reisky
Senior Consultant
OPITZ CONSULTING Deutschland GmbH
Matthias Fuchs
Solutions Architect
ISE Information Systems Engineering GmbH
Historisierung und Analyse von Daten aus OEM Cloud Control in Hadoop
Nürnberg, 19.11.2014
Design: • Das Farbschema ist im
Design als „OC 2009“
hinterlegt.
• Ebenso sind die Schriftarten
als „OC 2009“ hinterlegt.
• Die Standardfarben sind:
Oracle® Enterprise Manager 12c:
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 2 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
1Pager • Layout ausschließlich für den
1Pager
• Einsatz ist bei Konferenzen,
ext. Veranstaltungen etc.
obligatorisch. Die Folie ist
Folie 2 (nach der Titelfolie)
• Der Inhalt darf nicht
verändert werden.
• Ausnahme: Der Block
Märkte darf situativ um
Partnerlogos
(ORACLE, etc.) ergänzt
werden
Mission
Wir entwickeln gemeinsam mit allen
Branchen Lösungen, die dazu führen, dass
sich diese Organisationen besser entwickeln
als ihr Wettbewerb.
Unsere Dienstleistung erfolgt
partnerschaftlich und ist auf eine langjährige
Zusammenarbeit angelegt.
Leistungsangebot
Business IT Alignment
Business Information Management
Business Process Management
Anwendungsentwicklung
SOA und System-Integration
IT-Infrastruktur-Management
Märkte
Branchenübergreifend
Über 600 Kunden
29%
Industrie / Versorger /
Telekommunikation
29%
Handel / Logistik /
Dienstleistungen
42%
Öffentliche Auftraggeber / Banken und
Versicherungen / Vereine und Verbände
Eckdaten
Gründung 1990
400 Mitarbeiter
9 Standorte
Vorstellung OPITZ CONSULTING
© OPITZ CONSULTING GmbH 2014
www.ise-informatik.de
Copyright (C) ISE GmbH - All Rights Reserved 3
Enable
eXtreme
Performance. ISE Information Systems Engineering
Gegründet 1991
Mitarbeiteranzahl: 50
Hauptsitz in Gräfenberg, Niederlassungen in München und Nürnberg
Schwerpunkte:
Oracle Engineered Systems (Exadata / Exalogic / Exalytics)
Data Warehousing & Business Intelligence
Oracle DB – Migrationen, Optimierungen, Hochverfügbarkeit
Managed Service für Datenbanken, BI und Middlewareapplikationen
Oracle Partner Engineered Systems Award 2013
www.ise-informatik.de
Copyright (C) ISE GmbH - All Rights Reserved 4
Enable
eXtreme
Performance.
Erstes und einziges Exastack Technology Center in
Deutschland in Nürnberg
ISE Oracle Technology Center
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Agenda • Diese Folie dient zur
Darstellung der Agenda
• Haupttitel: 1zeilig!
• Die Agenda sollte
möglichst nur die
Hauptteile erläutern.
• Die 1. Ebene ist numeriert,
• Sofern Ebene 2 genutzt
wird, ist diese als
Spiegelstrichaufzählung zu
gestalten.
• Wichtig: Die Agenda ist
kein Inhaltsverzeichnis!!!
Agenda
1. Big Data aus dem Enterprise Manager?
2. Lösungsansätze im OEM
3. Lösungsansätze in Apache Hadoop
4. Praktischer Lösungsvorschlag
5. Zusammenfassung & Ausblick
Design: • Das Farbschema ist im
Design als „OC 2009“
hinterlegt.
• Ebenso sind die Schriftarten
als „OC 2009“ hinterlegt.
• Die Standardfarben sind:
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 6 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Teiltrenner • Layout für Trennseiten
zwischen Teilen in einer
Präsentation
• Titel: 1-2zeilen
• Bitte den Titel immer auf die
Agenda abstimmen.
• Bitte die Teile gemäß
Agenda nummerieren.
• Eine Grafik ist auf dieser
Seite nicht vorgesehen.
1 Big Data aus dem Enterprise Manager?
Design: • Das Farbschema ist im
Design als „OC 2009“
hinterlegt.
• Ebenso sind die Schriftarten
als „OC 2009“ hinterlegt.
• Die Standardfarben sind:
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 7 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Der OEM als Datenstaubsauger
Design: • Das Farbschema ist im
Design als „OC 2009“
hinterlegt.
• Ebenso sind die Schriftarten
als „OC 2009“ hinterlegt.
• Die Standardfarben sind:
Oracle Enterprise Manager 12c (OEM) sammelt zahlreiche
Kennzahlen (Metriken) auf fast allen Ebenen der IT-
Infrastruktur
OEM unterstützt zahlreiche unterschiedliche Zieltypen: OS-Metriken (Windows, Linux, Unix, …)
Oracle DB-Ziele: DB, GI, RAC, DG, …
Oracle FMW-Ziele: WLS Cluster, OSB, SOA, WCP, WCC, OAM, OVD, …
Non-Oracle DB und MW (z.B. MYSQL DB und Tomcat AS)
Weitere Zieltypen (z.B. HW-LB via snmp)
… bis hin zu Oracle Engineered Systems (z.B. Exadata)
Standardmetriken unterschiedlich je Zieltyp, erweiterbar mit
Metric Extensions oder eigenen Agent Plug-ins
Zusätzlich On-Demand-Funktionen (z.B. Logfile-Viewing)
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 8 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Beteiligte Systemkomponenten im OEM 12c R4
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 9 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Rolle des OEM in der Praxis
Design: • Das Farbschema ist im
Design als „OC 2009“
hinterlegt.
• Ebenso sind die Schriftarten
als „OC 2009“ hinterlegt.
• Die Standardfarben sind:
Oft steht in der Praxis der Einsatz als Monitoring-Werkzeug
im Vordergrund: Hauptfunktion Überwachung/Alarmierung im Fokus
Nebenfunktionen Kapazitätsplanung, Reporting, … nicht im Fokus
Alte Metrikdaten werden oft zeitnah aggregiert und später
ganz gelöscht, da sie für Überwachung und Alarmierung
nicht mehr relevant sind Frische Incidents und Problems, also junge Metriken, am interessantesten
1-2 Wochen alte Metriken nur noch für z.B. Ursachenforschung gebraucht
Danach Schnee von gestern
Damit stehen die Metrikdaten aber nicht in Rohform und
nicht dauerhaft für eigene Auswertungen zur Verfügung
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 10 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Der Lebenszyklus der OEM Metrikdaten
Design: • Das Farbschema ist im
Design als „OC 2009“
hinterlegt.
• Ebenso sind die Schriftarten
als „OC 2009“ hinterlegt.
• Die Standardfarben sind:
Vier zentrale DB-Views im OEM Repository (SYSMAN): MGMT$METRIC_CURRENT: jüngster Metrikwert
MGMT$METRIC_DETAILS: gesammelte Rohdaten
MGMT$METRIC_HOURLY: Stundenwerte
MGMT$METRIC_DAILY: Tageswerte
Reduktion des Datenvolumens durch Aggregation: Standardwerte Aufbewahrungszeit: Rohdaten für 7 Tage; Stunden-Daten für
31 Tage; Tages-Daten für 1 Jahr (keine Monats-/Jahres-Daten)
Konfigurierbar (MOS Doc ID 1405036.1 => Änderung Partitionierung)
Kompromiss zwischen Datenwachstum im Repo und
Aufbewahrungszeit (retention times)
Rohdaten (höchster Detaillierungsgrad) sind also in der
Standardkonfiguration schon nach einer Woche weg!
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 11 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
OEM Reporting-Werkzeuge & Datenmodell
Design: • Das Farbschema ist im
Design als „OC 2009“
hinterlegt.
• Ebenso sind die Schriftarten
als „OC 2009“ hinterlegt.
• Die Standardfarben sind:
Grundsätzlich gelten die Einschränkungen des OEM
Datenmodells: Aufbewahrungsfristen der Metrikdaten (Purging Policies)
Auf effektives Schreiben der vom OMS empf. Agent-Uploads hin optimiert
Oracle Information Publisher (IP): Integriert in OEM 11g und 12c, bewährte Reports
Produkt schon länger abgekündigt, keine langfristige Lösung
Oracle Business Intelligence Publisher (BIP): In OEM 12c integriert, für Reports mit begrenzter Komplexität gut geeignet
Komplexe Abfragen mit dem BIP auf das OEM Repo dauern zu lange für
interaktives Online-Reporting und können hohe DB Last verursachen
Bugs: Seit OEM 12c R4 nun BIP 11.1.1.7 möglich plus Bundle Patches
SQL Zugriff auf Repository, SQL Developer: MGMT$ Views
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 12 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Alternativen zu den OEM Reporting-Werkzeugen?
Design: • Das Farbschema ist im
Design als „OC 2009“
hinterlegt.
• Ebenso sind die Schriftarten
als „OC 2009“ hinterlegt.
• Die Standardfarben sind:
Aufbewahrungsfristen der Metrikdaten im OEM Repository
könnten erhöht werden, aber:
Performance des OEM muss gewährleistet bleiben und hohe
Kosten der Datenhaltung stehen dem entgegen… Kostenargument gilt auch bei Transfer der Metrikdaten in dediziertes, hoch-
performantes DWH/RDBMS
Datenmengen können ziemlich groß werden… (in der Praxis zusätzliche
Metrik-Rohdaten in Größenordnung 50-100 GB/Monat gesehen)
Lösungsvorschlag: Verwendung von Commodity Hardware
und Open Source Software: Apache Hadoop
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 13 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Teiltrenner • Layout für Trennseiten
zwischen Teilen in einer
Präsentation
• Titel: 1-2zeilen
• Bitte den Titel immer auf die
Agenda abstimmen.
• Bitte die Teile gemäß
Agenda nummerieren.
• Eine Grafik ist auf dieser
Seite nicht vorgesehen.
2 Lösungsansätze im OEM
Design: • Das Farbschema ist im
Design als „OC 2009“
hinterlegt.
• Ebenso sind die Schriftarten
als „OC 2009“ hinterlegt.
• Die Standardfarben sind:
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 14 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Ansatzpunkte im OEM im Überblick
Design: • Das Farbschema ist im
Design als „OC 2009“
hinterlegt.
• Ebenso sind die Schriftarten
als „OC 2009“ hinterlegt.
• Die Standardfarben sind:
An welchen Stellen im OEM System können Metrikdaten
abgegriffen werden?
Zentrale Ansatzpunkte:
Direkte Datenübernahme aus der OEM Repository DB SQL Zugriff, DB Link, …
Verwendung von OEM Data Exchange Connectors Spezieller Typ von OEM Management Connector, JMX-basiert
Dezentrale Ansatzpunkte:
OEM Management Agents auf den Zielsystemen Verwendung von OEM Metric Extensions (früher: „User-Defined Metrics“)
Verwendung von Custom Agent Plug-ins (Hardcore)
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 15 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Ansatzpunkte für den Datentransfer im OEM 12c
Design: • Das Farbschema ist im
Design als „OC 2009“
hinterlegt.
• Ebenso sind die Schriftarten
als „OC 2009“ hinterlegt.
• Die Standardfarben sind:
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 16 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Direkte Datenübernahme aus OEM Repository DB
Design: • Das Farbschema ist im
Design als „OC 2009“
hinterlegt.
• Ebenso sind die Schriftarten
als „OC 2009“ hinterlegt.
• Die Standardfarben sind:
Haupt-Views können ausgelesen werden: MGMT$...
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 17 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Direkte Datenübernahme aus OEM Repository DB
Design: • Das Farbschema ist im
Design als „OC 2009“
hinterlegt.
• Ebenso sind die Schriftarten
als „OC 2009“ hinterlegt.
• Die Standardfarben sind:
DDL von View MGMT$METRIC_CURRENT:
Leider kein Primary Key…
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 18 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Verwendung von Data Exchange Connectors
Design: • Das Farbschema ist im
Design als „OC 2009“
hinterlegt.
• Ebenso sind die Schriftarten
als „OC 2009“ hinterlegt.
• Die Standardfarben sind:
Data Exchange-Konnektoren sind eine Funktionalität im
OEM 12c, um externe Systeme per Java Messaging Service
(JMS) anzubinden, eingehend oder ausgehende Nachrichten
Es gibt Werkzeuge im Hadoop-Ökosystem, die eingehende
JMS-Nachrichten aufnehmen können (z.B. Apache Flume)
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 19 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Verwendung von Metric Extensions (ME)
Design: • Das Farbschema ist im
Design als „OC 2009“
hinterlegt.
• Ebenso sind die Schriftarten
als „OC 2009“ hinterlegt.
• Die Standardfarben sind:
ME werden zentral im OMS gepflegt, dezentral auf die
Agenten deployed und können dort beliebige Skripte
ausführen => möglicher Weg, Hadoop direkt anzusprechen?
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 20 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Verwendung von Custom Agent Plug-ins
Design: • Das Farbschema ist im
Design als „OC 2009“
hinterlegt.
• Ebenso sind die Schriftarten
als „OC 2009“ hinterlegt.
• Die Standardfarben sind:
Falls die Möglichkeiten von Metric Extensions den
Anforderungen nicht genügen, können via Oracle
Extensibility Development Kit (EDK) eigene Agent Plug-ins
entwickelt werden.
Sind Java-basiert => Möglichkeit, den Hadoop Cluster direkt
per Webservice Call anzusprechen?
Näheres siehe „Cloud Control Extensibility Programmer's
Guide “.
Analog zu Metric Extensions sind auch hier ggf. Netzwerk-
/Firewall-Freischaltungen für die Kommunikation Host
Target – Hadoop erforderlich.
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 21 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Teiltrenner • Layout für Trennseiten
zwischen Teilen in einer
Präsentation
• Titel: 1-2zeilen
• Bitte den Titel immer auf die
Agenda abstimmen.
• Bitte die Teile gemäß
Agenda nummerieren.
• Eine Grafik ist auf dieser
Seite nicht vorgesehen.
3 Lösungsansätze in Hadoop
Design: • Das Farbschema ist im
Design als „OC 2009“
hinterlegt.
• Ebenso sind die Schriftarten
als „OC 2009“ hinterlegt.
• Die Standardfarben sind:
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 22 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Bestandteile von Apache Hadoop
Hadoop Common:
enthält von den Komponenten gemeinsam genutzte Utilities
Hadoop HDFS (“Hadoop Distributed File System”):
ein verteiltes, hochverfügbares Datei-System, welches auf
Schreibzugriff und große Dateien hin optimiert ist
Hadoop YARN (“Yet Another Resource Negotiator”):
Ressourcen-Manager
Hadoop MapReduce (MR):
der ursprüngliche Map-and-Reduce Algorithmus
Zweck: Parallele Ausführung von Java-Programmen auf
großen Filesystem-Daten, die verteilt über Daten-Knoten mit
rel. kostengünstiger Hardware „von der Stange“ erfolgt
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 23 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Wo ist die Brücke zwischen den Welten?
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 24 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Übersicht Hadoop Ökosystem
Die vier Kernkomponenten werden durch einen bunten
Blumenstrauß an Bearbeitungswerkzeugen ergänzt!
Storage Layer
Filesystem (HDFS)
Resource Management YARN + MapReduce
Processing Layer
Stinger
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 25 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Hadoop Processing Layer und Daten-Basis
Basis kann jegliche Art von unstrukturierten Daten sein,
Nutzung ist abhängig von der Processing Layer Erweiterung Bilder
Logfiles
Filme
Dokumente
Die Analyse der Daten erfolgt über YARN Ressourcen-
Management verteilt im Cluster
Die Geschwindigkeit ist somit nur noch von der Anzahl der
Datenverarbeitungsknoten und dem Storagesystem
abhängig
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 26 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Teiltrenner • Layout für Trennseiten
zwischen Teilen in einer
Präsentation
• Titel: 1-2zeilen
• Bitte den Titel immer auf die
Agenda abstimmen.
• Bitte die Teile gemäß
Agenda nummerieren.
• Eine Grafik ist auf dieser
Seite nicht vorgesehen.
4 Praktischer Lösungsvorschlag
Design: • Das Farbschema ist im
Design als „OC 2009“
hinterlegt.
• Ebenso sind die Schriftarten
als „OC 2009“ hinterlegt.
• Die Standardfarben sind:
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 27 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Gewählter Architekturansatz
SQL-Import von OEM Metrikdaten
Datei-Import aus Filesystemen (Logfiles von OEM-Zielen)
Auswertung mit ausgewählten Werkzeugen
Design: • Das Farbschema ist im
Design als „OC 2009“
hinterlegt.
• Ebenso sind die Schriftarten
als „OC 2009“ hinterlegt.
• Die Standardfarben sind:
HDFS
Analytic output
Weblogs
CC RDBMS
Flume SQOOP
YARN/MR
Elasticsearch
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 28 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Verwendete Werkzeuge
Sqoop
SQL to Hadoop – Integration in Hadoop um Daten als
relationalen DBs in HDFS zu laden
Flume
Tool zum einsammeln von Logs
verteilt, hochverfügbar
Elasticsearch
Server für Enterprise-Suche
(mandantenfähig, volltextfähig),
basierend auf JSON-Dokumenten
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 29 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Sqoop Daten-Import
Abfrage der Metadaten in der Oracle DB zur Partitionierung
der MapReduce Jobs
Übergabe der Jobs an YARN
Start der Jobs
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 30 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Nur Titel • Dies ist eine Variante des
Haupttemplates für
Inhaltsseiten, ohne
vordefinierten Textbereich
• Titel: 1-2zeilig!
• Inhalt:
• Grafik/Diagramm etc. aus
externen Quellen
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Sqoop Workflow
Sqoop DB Load
Store Data in HDFS
Load Data into HIVE
Analytic Queries mit Impala oder Big Data SQL
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 31 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Ergebnis: Sqoop Job erfolgreich
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 32 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Ergebnis: Dateien im Sqoop Ausgabe-Verzeichnis
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 33 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Ergebnis: Externe Tabelle in Hive anlegen
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 34 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Ergebnis: Tabelle in Hue
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 35 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Ergebnis: Beispieldaten in Hue
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 36 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Nächste Schritte
Automatisierung mit Oozie:
Workflow anlegen, um die zuvor gezeigten manuellen
Schritte zu automatisieren
Auswertung der Daten in Hive mit Standard-BI-Tools
Echtzeit-Abfragen über z.B. Cloudera Impala
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 37 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Nur Titel • Dies ist eine Variante des
Haupttemplates für
Inhaltsseiten, ohne
vordefinierten Textbereich
• Titel: 1-2zeilig!
• Inhalt:
• Grafik/Diagramm etc. aus
externen Quellen
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Flume Integration
Weblogs
Flume
Weblogs
Flume HDFS
Elastic Search
Kopieren der
Logs,
komprimieren
Weitere
Auswertung mit
z.B. PIG
Speichern der
Logdaten als
Jason, Real Time
Index,
Auswertung mit
Kibana
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 38 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Konfiguration Flume-Agent für Log-Kopie
<…>
source_agent.sources = wls_server</pre>
source_agent.sources.wls_server.type = spooldir
source_agent.sources.wls_server.channels = memoryChannel
source_agent.sources.wls_server.fileHeader = true
source_agent.sources.wls_server.deletePolicy = immediate
source_agent.sources.wls_server.spoolDir =
/.../user_projects/domains/base_domain/logrotate
#source_agent.sources.wls_server.ignorePattern =
soa_server1.log
<…>
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 39 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Log Files in Hue
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 40 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Inhalt der Logs
Weiterverarbeitung mit z.B. R oder PIG
Und laden in Elasticsearch
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 41 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Flume nach Elasticsearch
Weitere Konfiguration Flume-Agent
<…>
e_agent.sources.tail.type = exec
e_agent.sources.tail.command = tail -f --retry /u01/12.1/oracle/middleware/
user_projects/domains/base_domain/servers/soa_server1/logs/soa_server1-diagnostic.log
e_agent.sources.tail.interceptors=i1 i2 i3
e_agent.sources.tail.interceptors.i1.type=regex_extractor
e_agent.sources.tail.interceptors.i1.regex = \\[(.*)\\] \\[(.*)\\] \\[(.*)\\] \\[(.*)\\] \\[(.*)\\]
\\[(.*)\\] \\[(.*)\\] \\[(.*)\\] \\[(.*)\\] (.*)
e_agent.sources.tail.interceptors.i1.serializers = s1 s2 s3 s4 s5 s6 s7 s8
e_agent.sources.tail.interceptors.i1.serializers.s1.name = date
e_agent.sources.tail.interceptors.i1.serializers.s2.name = mangedserver
e_agent.sources.tail.interceptors.i1.serializers.s3.name = type
e_agent.sources.tail.interceptors.i1.serializers.s4.name = addon
e_agent.sources.tail.interceptors.i1.serializers.s5.name = ComponentID
e_agent.sources.tail.interceptors.i1.serializers.s6.name = tid
e_agent.sources.tail.interceptors.i1.serializers.s7.name = userID
e_agent.sources.tail.interceptors.i1.serializers.s8.name = ecid
<…>
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 42 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Nur Titel • Dies ist eine Variante des
Haupttemplates für
Inhaltsseiten, ohne
vordefinierten Textbereich
• Titel: 1-2zeilig!
• Inhalt:
• Grafik/Diagramm etc. aus
externen Quellen
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Flume-Meldungen in Kibana
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 43 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Nur Titel • Dies ist eine Variante des
Haupttemplates für
Inhaltsseiten, ohne
vordefinierten Textbereich
• Titel: 1-2zeilig!
• Inhalt:
• Grafik/Diagramm etc. aus
externen Quellen
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Kibana Analytics
Visual Analytics
in Kibana
Beispiel
Fehlerklassen
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 44 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Teiltrenner • Layout für Trennseiten
zwischen Teilen in einer
Präsentation
• Titel: 1-2zeilen
• Bitte den Titel immer auf die
Agenda abstimmen.
• Bitte die Teile gemäß
Agenda nummerieren.
• Eine Grafik ist auf dieser
Seite nicht vorgesehen.
5 Zusammenfassung und Ausblick
Design: • Das Farbschema ist im
Design als „OC 2009“
hinterlegt.
• Ebenso sind die Schriftarten
als „OC 2009“ hinterlegt.
• Die Standardfarben sind:
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 45 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Zusammenfassung
Design: • Das Farbschema ist im
Design als „OC 2009“
hinterlegt.
• Ebenso sind die Schriftarten
als „OC 2009“ hinterlegt.
• Die Standardfarben sind:
Oracle Enterprise Manager 12c sammelt bereits im Standard
eine große Vielfalt von Metriken für heterogene Arten von
Zielen (DB, Middleware, Apps, Engineered Systems, …)
Datenmodell des OEM ist historisch auf Monitoring &
Alarmierung ausgerichtet, Repository hat Einschränkungen
bzgl. Online-Auswertungen / Information Discovery
Durch den Transfer der Metrik-Daten in einen Hadoop
Cluster können diese Einschränkungen umgangen werden:
Rohdaten speicherbar, eigene Datenmodelle verwendbar
Sind die Metrikdaten in Hadoop verfügbar, bieten sich dort
alle bekannten Möglichkeiten der Werkzeuge des Hadoop-
Ökosystems: Schema-on-Read, Suche, Visualisierung,…
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 46 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Ausblick
Rolle des OEM wird durch Engineered Systems wichtiger,
zukünftig noch höheres Volumen und Vielfalt der
Metrikdaten zu erwarten. Mehr Mehrwert!
Oracle trägt dem Rechnung: „Oracle Analytics Cloud “
kürzlich angekündigt. Big data as a service – BDaaS https://www.oracle.com/corporate/pressrelease/analytics-cloud-092914.html
„Leveraging Oracle Big Data SQL, Hadoop, and Oracle Database as a
Service together”
Partnerschaft zwischen Oracle und Cloudera, einer der
führenden Hadoop-Distributionen: Cloudera in Oracle Big Data Appliance enthalten (Engineered System)
“Oracle Big Data Lite Virtual Machine” ausprobieren, VBox VM enthält in
aktueller Version 4.0.1 u.a. Cloudera CDH 5.1.2 – viel Spass beim Testen!
Design: • Das Farbschema ist im
Design als „OC 2009“
hinterlegt.
• Ebenso sind die Schriftarten
als „OC 2009“ hinterlegt.
• Die Standardfarben sind:
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 47 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Oracle Unified Query
Oracle Integration Hadoop
Abfrage der Daten über SQL
Die Daten können in Hadoop
oder einer Oracle DB liegen
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 48 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Oracle Hadoop Integration
Oracle Hadoop Erweiterung
Query Offloading to Hadoop
Hive Metastore
Hive Impala SparkSQL Oracle Big Data SQL
…
Table Definitions: movieapp_log_json Tweets avro_log
Metastore maps DDL to Java access classes
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 49 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Fragen und Antworten: • Diese Folie kann als Q&A
Folie verwendet werden,
sofern dies überhaupt nötig
ist.
• Die Alten Folien F&A, Q&A
(mit/ohne Schatten, aus
anderen Design abgekupfert
oder wie auch immer, werden
NICHT MEHR
EINGESETZT.)
Fragen und Antworten
Design: • Das Farbschema ist im
Design als „OC 2009“
hinterlegt.
• Ebenso sind die Schriftarten
als „OC 2009“ hinterlegt.
• Die Standardfarben sind:
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 50 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Kontakt 2fach: • Diese Folie wird als vorletzte
Folie genutzt, um den
individuellen Bezug zu 2
Referenten herzustellen.
• Als Fotos müssen
quadratische Fotos der
Referenten in qualitativ
hochwertiger Form vorliegen.
• Die Fotos geht über 2
Rasterbreiten.
• Die Daten der Adresse sollten
vollständig eingegeben
werden
Ansprechpartner bei OPITZ CONSULTING
Ingo Reisky
Senior Consultant, Infrastructure Consulting
OPITZ CONSULTING Deutschland GmbH
Telefon +49 89 680 098 -1489
Mobil +49 172 204 8789
Design: • Das Farbschema ist im
Design als „OC 2009“
hinterlegt.
• Ebenso sind die Schriftarten
als „OC 2009“ hinterlegt.
• Die Standardfarben sind:
youtube.com/opitzconsulting
@OC_WIRE
slideshare.net/opitzconsulting
xing.com/net/opitzconsulting
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 51 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Kontakt 2fach: • Diese Folie wird als vorletzte
Folie genutzt, um den
individuellen Bezug zu 2
Referenten herzustellen.
• Als Fotos müssen
quadratische Fotos der
Referenten in qualitativ
hochwertiger Form vorliegen.
• Die Fotos geht über 2
Rasterbreiten.
• Die Daten der Adresse sollten
vollständig eingegeben
werden
Ansprechpartner bei ISE
Matthias Fuchs
Solutions Architect
ISE Information Systems Engineering GmbH
Telefon +49 9192 9929 505
Mobil +49 172 8288 751
Blog - http://hias222.wordpress.com
LinkedIn - https://www.linkedin.com/pub/matthias-fuchs/2/6a6/620
Xing - https://www.xing.com/profile/Matthias_Fuchs17
Twitter - https://twitter.com/Hias222
Design: • Das Farbschema ist im
Design als „OC 2009“
hinterlegt.
• Ebenso sind die Schriftarten
als „OC 2009“ hinterlegt.
• Die Standardfarben sind: