Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und...

51
© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 1 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop Ingo Reisky Senior Consultant OPITZ CONSULTING Deutschland GmbH Matthias Fuchs Solutions Architect ISE Information Systems Engineering GmbH Historisierung und Analyse von Daten aus OEM Cloud Control in Hadoop Nürnberg, 19.11.2014 Oracle ® Enterprise Manager 12c:

Transcript of Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und...

Page 1: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 1 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titelfolie: • Damit beginnt ein Vortrag.

• Haupttitel: 1zeilig!

• Untertitel: max 2. Zeilen

• Referent: Name, Funktion,

OC Niederlassung

• Logo: Optional.

Entweder ein Kunden/ oder

themenbezogenes Logo

verwenden. Ideal

quadratisch, 3 Raster breit.

• Fußzeile mit Haupttitel füllen.

Ingo Reisky

Senior Consultant

OPITZ CONSULTING Deutschland GmbH

Matthias Fuchs

Solutions Architect

ISE Information Systems Engineering GmbH

Historisierung und Analyse von Daten aus OEM Cloud Control in Hadoop

Nürnberg, 19.11.2014

Design: • Das Farbschema ist im

Design als „OC 2009“

hinterlegt.

• Ebenso sind die Schriftarten

als „OC 2009“ hinterlegt.

• Die Standardfarben sind:

Oracle® Enterprise Manager 12c:

Page 2: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 2 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

1Pager • Layout ausschließlich für den

1Pager

• Einsatz ist bei Konferenzen,

ext. Veranstaltungen etc.

obligatorisch. Die Folie ist

Folie 2 (nach der Titelfolie)

• Der Inhalt darf nicht

verändert werden.

• Ausnahme: Der Block

Märkte darf situativ um

Partnerlogos

(ORACLE, etc.) ergänzt

werden

Mission

Wir entwickeln gemeinsam mit allen

Branchen Lösungen, die dazu führen, dass

sich diese Organisationen besser entwickeln

als ihr Wettbewerb.

Unsere Dienstleistung erfolgt

partnerschaftlich und ist auf eine langjährige

Zusammenarbeit angelegt.

Leistungsangebot

Business IT Alignment

Business Information Management

Business Process Management

Anwendungsentwicklung

SOA und System-Integration

IT-Infrastruktur-Management

Märkte

Branchenübergreifend

Über 600 Kunden

29%

Industrie / Versorger /

Telekommunikation

29%

Handel / Logistik /

Dienstleistungen

42%

Öffentliche Auftraggeber / Banken und

Versicherungen / Vereine und Verbände

Eckdaten

Gründung 1990

400 Mitarbeiter

9 Standorte

Vorstellung OPITZ CONSULTING

© OPITZ CONSULTING GmbH 2014

Page 3: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

www.ise-informatik.de

Copyright (C) ISE GmbH - All Rights Reserved 3

Enable

eXtreme

Performance. ISE Information Systems Engineering

Gegründet 1991

Mitarbeiteranzahl: 50

Hauptsitz in Gräfenberg, Niederlassungen in München und Nürnberg

Schwerpunkte:

Oracle Engineered Systems (Exadata / Exalogic / Exalytics)

Data Warehousing & Business Intelligence

Oracle DB – Migrationen, Optimierungen, Hochverfügbarkeit

Managed Service für Datenbanken, BI und Middlewareapplikationen

Oracle Partner Engineered Systems Award 2013

Page 4: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

www.ise-informatik.de

Copyright (C) ISE GmbH - All Rights Reserved 4

Enable

eXtreme

Performance.

Erstes und einziges Exastack Technology Center in

Deutschland in Nürnberg

ISE Oracle Technology Center

Page 5: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Agenda • Diese Folie dient zur

Darstellung der Agenda

• Haupttitel: 1zeilig!

• Die Agenda sollte

möglichst nur die

Hauptteile erläutern.

• Die 1. Ebene ist numeriert,

• Sofern Ebene 2 genutzt

wird, ist diese als

Spiegelstrichaufzählung zu

gestalten.

• Wichtig: Die Agenda ist

kein Inhaltsverzeichnis!!!

Agenda

1. Big Data aus dem Enterprise Manager?

2. Lösungsansätze im OEM

3. Lösungsansätze in Apache Hadoop

4. Praktischer Lösungsvorschlag

5. Zusammenfassung & Ausblick

Design: • Das Farbschema ist im

Design als „OC 2009“

hinterlegt.

• Ebenso sind die Schriftarten

als „OC 2009“ hinterlegt.

• Die Standardfarben sind:

Page 6: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 6 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Teiltrenner • Layout für Trennseiten

zwischen Teilen in einer

Präsentation

• Titel: 1-2zeilen

• Bitte den Titel immer auf die

Agenda abstimmen.

• Bitte die Teile gemäß

Agenda nummerieren.

• Eine Grafik ist auf dieser

Seite nicht vorgesehen.

1 Big Data aus dem Enterprise Manager?

Design: • Das Farbschema ist im

Design als „OC 2009“

hinterlegt.

• Ebenso sind die Schriftarten

als „OC 2009“ hinterlegt.

• Die Standardfarben sind:

Page 7: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 7 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Der OEM als Datenstaubsauger

Design: • Das Farbschema ist im

Design als „OC 2009“

hinterlegt.

• Ebenso sind die Schriftarten

als „OC 2009“ hinterlegt.

• Die Standardfarben sind:

Oracle Enterprise Manager 12c (OEM) sammelt zahlreiche

Kennzahlen (Metriken) auf fast allen Ebenen der IT-

Infrastruktur

OEM unterstützt zahlreiche unterschiedliche Zieltypen: OS-Metriken (Windows, Linux, Unix, …)

Oracle DB-Ziele: DB, GI, RAC, DG, …

Oracle FMW-Ziele: WLS Cluster, OSB, SOA, WCP, WCC, OAM, OVD, …

Non-Oracle DB und MW (z.B. MYSQL DB und Tomcat AS)

Weitere Zieltypen (z.B. HW-LB via snmp)

… bis hin zu Oracle Engineered Systems (z.B. Exadata)

Standardmetriken unterschiedlich je Zieltyp, erweiterbar mit

Metric Extensions oder eigenen Agent Plug-ins

Zusätzlich On-Demand-Funktionen (z.B. Logfile-Viewing)

Page 8: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 8 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Beteiligte Systemkomponenten im OEM 12c R4

Page 9: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 9 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Rolle des OEM in der Praxis

Design: • Das Farbschema ist im

Design als „OC 2009“

hinterlegt.

• Ebenso sind die Schriftarten

als „OC 2009“ hinterlegt.

• Die Standardfarben sind:

Oft steht in der Praxis der Einsatz als Monitoring-Werkzeug

im Vordergrund: Hauptfunktion Überwachung/Alarmierung im Fokus

Nebenfunktionen Kapazitätsplanung, Reporting, … nicht im Fokus

Alte Metrikdaten werden oft zeitnah aggregiert und später

ganz gelöscht, da sie für Überwachung und Alarmierung

nicht mehr relevant sind Frische Incidents und Problems, also junge Metriken, am interessantesten

1-2 Wochen alte Metriken nur noch für z.B. Ursachenforschung gebraucht

Danach Schnee von gestern

Damit stehen die Metrikdaten aber nicht in Rohform und

nicht dauerhaft für eigene Auswertungen zur Verfügung

Page 10: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 10 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Der Lebenszyklus der OEM Metrikdaten

Design: • Das Farbschema ist im

Design als „OC 2009“

hinterlegt.

• Ebenso sind die Schriftarten

als „OC 2009“ hinterlegt.

• Die Standardfarben sind:

Vier zentrale DB-Views im OEM Repository (SYSMAN): MGMT$METRIC_CURRENT: jüngster Metrikwert

MGMT$METRIC_DETAILS: gesammelte Rohdaten

MGMT$METRIC_HOURLY: Stundenwerte

MGMT$METRIC_DAILY: Tageswerte

Reduktion des Datenvolumens durch Aggregation: Standardwerte Aufbewahrungszeit: Rohdaten für 7 Tage; Stunden-Daten für

31 Tage; Tages-Daten für 1 Jahr (keine Monats-/Jahres-Daten)

Konfigurierbar (MOS Doc ID 1405036.1 => Änderung Partitionierung)

Kompromiss zwischen Datenwachstum im Repo und

Aufbewahrungszeit (retention times)

Rohdaten (höchster Detaillierungsgrad) sind also in der

Standardkonfiguration schon nach einer Woche weg!

Page 11: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 11 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

OEM Reporting-Werkzeuge & Datenmodell

Design: • Das Farbschema ist im

Design als „OC 2009“

hinterlegt.

• Ebenso sind die Schriftarten

als „OC 2009“ hinterlegt.

• Die Standardfarben sind:

Grundsätzlich gelten die Einschränkungen des OEM

Datenmodells: Aufbewahrungsfristen der Metrikdaten (Purging Policies)

Auf effektives Schreiben der vom OMS empf. Agent-Uploads hin optimiert

Oracle Information Publisher (IP): Integriert in OEM 11g und 12c, bewährte Reports

Produkt schon länger abgekündigt, keine langfristige Lösung

Oracle Business Intelligence Publisher (BIP): In OEM 12c integriert, für Reports mit begrenzter Komplexität gut geeignet

Komplexe Abfragen mit dem BIP auf das OEM Repo dauern zu lange für

interaktives Online-Reporting und können hohe DB Last verursachen

Bugs: Seit OEM 12c R4 nun BIP 11.1.1.7 möglich plus Bundle Patches

SQL Zugriff auf Repository, SQL Developer: MGMT$ Views

Page 12: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 12 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Alternativen zu den OEM Reporting-Werkzeugen?

Design: • Das Farbschema ist im

Design als „OC 2009“

hinterlegt.

• Ebenso sind die Schriftarten

als „OC 2009“ hinterlegt.

• Die Standardfarben sind:

Aufbewahrungsfristen der Metrikdaten im OEM Repository

könnten erhöht werden, aber:

Performance des OEM muss gewährleistet bleiben und hohe

Kosten der Datenhaltung stehen dem entgegen… Kostenargument gilt auch bei Transfer der Metrikdaten in dediziertes, hoch-

performantes DWH/RDBMS

Datenmengen können ziemlich groß werden… (in der Praxis zusätzliche

Metrik-Rohdaten in Größenordnung 50-100 GB/Monat gesehen)

Lösungsvorschlag: Verwendung von Commodity Hardware

und Open Source Software: Apache Hadoop

Page 13: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 13 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Teiltrenner • Layout für Trennseiten

zwischen Teilen in einer

Präsentation

• Titel: 1-2zeilen

• Bitte den Titel immer auf die

Agenda abstimmen.

• Bitte die Teile gemäß

Agenda nummerieren.

• Eine Grafik ist auf dieser

Seite nicht vorgesehen.

2 Lösungsansätze im OEM

Design: • Das Farbschema ist im

Design als „OC 2009“

hinterlegt.

• Ebenso sind die Schriftarten

als „OC 2009“ hinterlegt.

• Die Standardfarben sind:

Page 14: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 14 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Ansatzpunkte im OEM im Überblick

Design: • Das Farbschema ist im

Design als „OC 2009“

hinterlegt.

• Ebenso sind die Schriftarten

als „OC 2009“ hinterlegt.

• Die Standardfarben sind:

An welchen Stellen im OEM System können Metrikdaten

abgegriffen werden?

Zentrale Ansatzpunkte:

Direkte Datenübernahme aus der OEM Repository DB SQL Zugriff, DB Link, …

Verwendung von OEM Data Exchange Connectors Spezieller Typ von OEM Management Connector, JMX-basiert

Dezentrale Ansatzpunkte:

OEM Management Agents auf den Zielsystemen Verwendung von OEM Metric Extensions (früher: „User-Defined Metrics“)

Verwendung von Custom Agent Plug-ins (Hardcore)

Page 15: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 15 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Ansatzpunkte für den Datentransfer im OEM 12c

Design: • Das Farbschema ist im

Design als „OC 2009“

hinterlegt.

• Ebenso sind die Schriftarten

als „OC 2009“ hinterlegt.

• Die Standardfarben sind:

Page 16: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 16 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Direkte Datenübernahme aus OEM Repository DB

Design: • Das Farbschema ist im

Design als „OC 2009“

hinterlegt.

• Ebenso sind die Schriftarten

als „OC 2009“ hinterlegt.

• Die Standardfarben sind:

Haupt-Views können ausgelesen werden: MGMT$...

Page 17: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 17 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Direkte Datenübernahme aus OEM Repository DB

Design: • Das Farbschema ist im

Design als „OC 2009“

hinterlegt.

• Ebenso sind die Schriftarten

als „OC 2009“ hinterlegt.

• Die Standardfarben sind:

DDL von View MGMT$METRIC_CURRENT:

Leider kein Primary Key…

Page 18: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 18 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Verwendung von Data Exchange Connectors

Design: • Das Farbschema ist im

Design als „OC 2009“

hinterlegt.

• Ebenso sind die Schriftarten

als „OC 2009“ hinterlegt.

• Die Standardfarben sind:

Data Exchange-Konnektoren sind eine Funktionalität im

OEM 12c, um externe Systeme per Java Messaging Service

(JMS) anzubinden, eingehend oder ausgehende Nachrichten

Es gibt Werkzeuge im Hadoop-Ökosystem, die eingehende

JMS-Nachrichten aufnehmen können (z.B. Apache Flume)

Page 19: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 19 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Verwendung von Metric Extensions (ME)

Design: • Das Farbschema ist im

Design als „OC 2009“

hinterlegt.

• Ebenso sind die Schriftarten

als „OC 2009“ hinterlegt.

• Die Standardfarben sind:

ME werden zentral im OMS gepflegt, dezentral auf die

Agenten deployed und können dort beliebige Skripte

ausführen => möglicher Weg, Hadoop direkt anzusprechen?

Page 20: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 20 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Verwendung von Custom Agent Plug-ins

Design: • Das Farbschema ist im

Design als „OC 2009“

hinterlegt.

• Ebenso sind die Schriftarten

als „OC 2009“ hinterlegt.

• Die Standardfarben sind:

Falls die Möglichkeiten von Metric Extensions den

Anforderungen nicht genügen, können via Oracle

Extensibility Development Kit (EDK) eigene Agent Plug-ins

entwickelt werden.

Sind Java-basiert => Möglichkeit, den Hadoop Cluster direkt

per Webservice Call anzusprechen?

Näheres siehe „Cloud Control Extensibility Programmer's

Guide “.

Analog zu Metric Extensions sind auch hier ggf. Netzwerk-

/Firewall-Freischaltungen für die Kommunikation Host

Target – Hadoop erforderlich.

Page 21: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 21 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Teiltrenner • Layout für Trennseiten

zwischen Teilen in einer

Präsentation

• Titel: 1-2zeilen

• Bitte den Titel immer auf die

Agenda abstimmen.

• Bitte die Teile gemäß

Agenda nummerieren.

• Eine Grafik ist auf dieser

Seite nicht vorgesehen.

3 Lösungsansätze in Hadoop

Design: • Das Farbschema ist im

Design als „OC 2009“

hinterlegt.

• Ebenso sind die Schriftarten

als „OC 2009“ hinterlegt.

• Die Standardfarben sind:

Page 22: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 22 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Bestandteile von Apache Hadoop

Hadoop Common:

enthält von den Komponenten gemeinsam genutzte Utilities

Hadoop HDFS (“Hadoop Distributed File System”):

ein verteiltes, hochverfügbares Datei-System, welches auf

Schreibzugriff und große Dateien hin optimiert ist

Hadoop YARN (“Yet Another Resource Negotiator”):

Ressourcen-Manager

Hadoop MapReduce (MR):

der ursprüngliche Map-and-Reduce Algorithmus

Zweck: Parallele Ausführung von Java-Programmen auf

großen Filesystem-Daten, die verteilt über Daten-Knoten mit

rel. kostengünstiger Hardware „von der Stange“ erfolgt

Page 23: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 23 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Wo ist die Brücke zwischen den Welten?

Page 24: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 24 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Übersicht Hadoop Ökosystem

Die vier Kernkomponenten werden durch einen bunten

Blumenstrauß an Bearbeitungswerkzeugen ergänzt!

Storage Layer

Filesystem (HDFS)

Resource Management YARN + MapReduce

Processing Layer

Stinger

Page 25: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 25 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Hadoop Processing Layer und Daten-Basis

Basis kann jegliche Art von unstrukturierten Daten sein,

Nutzung ist abhängig von der Processing Layer Erweiterung Bilder

Logfiles

Filme

Dokumente

Die Analyse der Daten erfolgt über YARN Ressourcen-

Management verteilt im Cluster

Die Geschwindigkeit ist somit nur noch von der Anzahl der

Datenverarbeitungsknoten und dem Storagesystem

abhängig

Page 26: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 26 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Teiltrenner • Layout für Trennseiten

zwischen Teilen in einer

Präsentation

• Titel: 1-2zeilen

• Bitte den Titel immer auf die

Agenda abstimmen.

• Bitte die Teile gemäß

Agenda nummerieren.

• Eine Grafik ist auf dieser

Seite nicht vorgesehen.

4 Praktischer Lösungsvorschlag

Design: • Das Farbschema ist im

Design als „OC 2009“

hinterlegt.

• Ebenso sind die Schriftarten

als „OC 2009“ hinterlegt.

• Die Standardfarben sind:

Page 27: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 27 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Gewählter Architekturansatz

SQL-Import von OEM Metrikdaten

Datei-Import aus Filesystemen (Logfiles von OEM-Zielen)

Auswertung mit ausgewählten Werkzeugen

Design: • Das Farbschema ist im

Design als „OC 2009“

hinterlegt.

• Ebenso sind die Schriftarten

als „OC 2009“ hinterlegt.

• Die Standardfarben sind:

HDFS

Analytic output

Weblogs

CC RDBMS

Flume SQOOP

YARN/MR

Elasticsearch

Page 28: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 28 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Verwendete Werkzeuge

Sqoop

SQL to Hadoop – Integration in Hadoop um Daten als

relationalen DBs in HDFS zu laden

Flume

Tool zum einsammeln von Logs

verteilt, hochverfügbar

Elasticsearch

Server für Enterprise-Suche

(mandantenfähig, volltextfähig),

basierend auf JSON-Dokumenten

Page 29: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 29 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Sqoop Daten-Import

Abfrage der Metadaten in der Oracle DB zur Partitionierung

der MapReduce Jobs

Übergabe der Jobs an YARN

Start der Jobs

Page 30: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 30 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Nur Titel • Dies ist eine Variante des

Haupttemplates für

Inhaltsseiten, ohne

vordefinierten Textbereich

• Titel: 1-2zeilig!

• Inhalt:

• Grafik/Diagramm etc. aus

externen Quellen

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Sqoop Workflow

Sqoop DB Load

Store Data in HDFS

Load Data into HIVE

Analytic Queries mit Impala oder Big Data SQL

Page 31: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 31 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Ergebnis: Sqoop Job erfolgreich

Page 32: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 32 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Ergebnis: Dateien im Sqoop Ausgabe-Verzeichnis

Page 33: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 33 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Ergebnis: Externe Tabelle in Hive anlegen

Page 34: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 34 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Ergebnis: Tabelle in Hue

Page 35: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 35 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Ergebnis: Beispieldaten in Hue

Page 36: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 36 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Nächste Schritte

Automatisierung mit Oozie:

Workflow anlegen, um die zuvor gezeigten manuellen

Schritte zu automatisieren

Auswertung der Daten in Hive mit Standard-BI-Tools

Echtzeit-Abfragen über z.B. Cloudera Impala

Page 37: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 37 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Nur Titel • Dies ist eine Variante des

Haupttemplates für

Inhaltsseiten, ohne

vordefinierten Textbereich

• Titel: 1-2zeilig!

• Inhalt:

• Grafik/Diagramm etc. aus

externen Quellen

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Flume Integration

Weblogs

Flume

Weblogs

Flume HDFS

Elastic Search

Kopieren der

Logs,

komprimieren

Weitere

Auswertung mit

z.B. PIG

Speichern der

Logdaten als

Jason, Real Time

Index,

Auswertung mit

Kibana

Page 38: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 38 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Konfiguration Flume-Agent für Log-Kopie

<…>

source_agent.sources = wls_server</pre>

source_agent.sources.wls_server.type = spooldir

source_agent.sources.wls_server.channels = memoryChannel

source_agent.sources.wls_server.fileHeader = true

source_agent.sources.wls_server.deletePolicy = immediate

source_agent.sources.wls_server.spoolDir =

/.../user_projects/domains/base_domain/logrotate

#source_agent.sources.wls_server.ignorePattern =

soa_server1.log

<…>

Page 39: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 39 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Log Files in Hue

Page 40: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 40 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Inhalt der Logs

Weiterverarbeitung mit z.B. R oder PIG

Und laden in Elasticsearch

Page 41: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 41 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Flume nach Elasticsearch

Weitere Konfiguration Flume-Agent

<…>

e_agent.sources.tail.type = exec

e_agent.sources.tail.command = tail -f --retry /u01/12.1/oracle/middleware/

user_projects/domains/base_domain/servers/soa_server1/logs/soa_server1-diagnostic.log

e_agent.sources.tail.interceptors=i1 i2 i3

e_agent.sources.tail.interceptors.i1.type=regex_extractor

e_agent.sources.tail.interceptors.i1.regex = \\[(.*)\\] \\[(.*)\\] \\[(.*)\\] \\[(.*)\\] \\[(.*)\\]

\\[(.*)\\] \\[(.*)\\] \\[(.*)\\] \\[(.*)\\] (.*)

e_agent.sources.tail.interceptors.i1.serializers = s1 s2 s3 s4 s5 s6 s7 s8

e_agent.sources.tail.interceptors.i1.serializers.s1.name = date

e_agent.sources.tail.interceptors.i1.serializers.s2.name = mangedserver

e_agent.sources.tail.interceptors.i1.serializers.s3.name = type

e_agent.sources.tail.interceptors.i1.serializers.s4.name = addon

e_agent.sources.tail.interceptors.i1.serializers.s5.name = ComponentID

e_agent.sources.tail.interceptors.i1.serializers.s6.name = tid

e_agent.sources.tail.interceptors.i1.serializers.s7.name = userID

e_agent.sources.tail.interceptors.i1.serializers.s8.name = ecid

<…>

Page 42: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 42 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Nur Titel • Dies ist eine Variante des

Haupttemplates für

Inhaltsseiten, ohne

vordefinierten Textbereich

• Titel: 1-2zeilig!

• Inhalt:

• Grafik/Diagramm etc. aus

externen Quellen

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Flume-Meldungen in Kibana

Page 43: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 43 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Nur Titel • Dies ist eine Variante des

Haupttemplates für

Inhaltsseiten, ohne

vordefinierten Textbereich

• Titel: 1-2zeilig!

• Inhalt:

• Grafik/Diagramm etc. aus

externen Quellen

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Kibana Analytics

Visual Analytics

in Kibana

Beispiel

Fehlerklassen

Page 44: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 44 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Teiltrenner • Layout für Trennseiten

zwischen Teilen in einer

Präsentation

• Titel: 1-2zeilen

• Bitte den Titel immer auf die

Agenda abstimmen.

• Bitte die Teile gemäß

Agenda nummerieren.

• Eine Grafik ist auf dieser

Seite nicht vorgesehen.

5 Zusammenfassung und Ausblick

Design: • Das Farbschema ist im

Design als „OC 2009“

hinterlegt.

• Ebenso sind die Schriftarten

als „OC 2009“ hinterlegt.

• Die Standardfarben sind:

Page 45: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 45 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Zusammenfassung

Design: • Das Farbschema ist im

Design als „OC 2009“

hinterlegt.

• Ebenso sind die Schriftarten

als „OC 2009“ hinterlegt.

• Die Standardfarben sind:

Oracle Enterprise Manager 12c sammelt bereits im Standard

eine große Vielfalt von Metriken für heterogene Arten von

Zielen (DB, Middleware, Apps, Engineered Systems, …)

Datenmodell des OEM ist historisch auf Monitoring &

Alarmierung ausgerichtet, Repository hat Einschränkungen

bzgl. Online-Auswertungen / Information Discovery

Durch den Transfer der Metrik-Daten in einen Hadoop

Cluster können diese Einschränkungen umgangen werden:

Rohdaten speicherbar, eigene Datenmodelle verwendbar

Sind die Metrikdaten in Hadoop verfügbar, bieten sich dort

alle bekannten Möglichkeiten der Werkzeuge des Hadoop-

Ökosystems: Schema-on-Read, Suche, Visualisierung,…

Page 46: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 46 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Ausblick

Rolle des OEM wird durch Engineered Systems wichtiger,

zukünftig noch höheres Volumen und Vielfalt der

Metrikdaten zu erwarten. Mehr Mehrwert!

Oracle trägt dem Rechnung: „Oracle Analytics Cloud “

kürzlich angekündigt. Big data as a service – BDaaS https://www.oracle.com/corporate/pressrelease/analytics-cloud-092914.html

„Leveraging Oracle Big Data SQL, Hadoop, and Oracle Database as a

Service together”

Partnerschaft zwischen Oracle und Cloudera, einer der

führenden Hadoop-Distributionen: Cloudera in Oracle Big Data Appliance enthalten (Engineered System)

“Oracle Big Data Lite Virtual Machine” ausprobieren, VBox VM enthält in

aktueller Version 4.0.1 u.a. Cloudera CDH 5.1.2 – viel Spass beim Testen!

Design: • Das Farbschema ist im

Design als „OC 2009“

hinterlegt.

• Ebenso sind die Schriftarten

als „OC 2009“ hinterlegt.

• Die Standardfarben sind:

Page 47: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 47 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Oracle Unified Query

Oracle Integration Hadoop

Abfrage der Daten über SQL

Die Daten können in Hadoop

oder einer Oracle DB liegen

Page 48: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 48 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern

• Fußzeile mit Haupttitel füllen.

Oracle Hadoop Integration

Oracle Hadoop Erweiterung

Query Offloading to Hadoop

Hive Metastore

Hive Impala SparkSQL Oracle Big Data SQL

Table Definitions: movieapp_log_json Tweets avro_log

Metastore maps DDL to Java access classes

Page 49: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 49 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Fragen und Antworten: • Diese Folie kann als Q&A

Folie verwendet werden,

sofern dies überhaupt nötig

ist.

• Die Alten Folien F&A, Q&A

(mit/ohne Schatten, aus

anderen Design abgekupfert

oder wie auch immer, werden

NICHT MEHR

EINGESETZT.)

Fragen und Antworten

Design: • Das Farbschema ist im

Design als „OC 2009“

hinterlegt.

• Ebenso sind die Schriftarten

als „OC 2009“ hinterlegt.

• Die Standardfarben sind:

Page 50: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 50 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Kontakt 2fach: • Diese Folie wird als vorletzte

Folie genutzt, um den

individuellen Bezug zu 2

Referenten herzustellen.

• Als Fotos müssen

quadratische Fotos der

Referenten in qualitativ

hochwertiger Form vorliegen.

• Die Fotos geht über 2

Rasterbreiten.

• Die Daten der Adresse sollten

vollständig eingegeben

werden

Ansprechpartner bei OPITZ CONSULTING

Ingo Reisky

Senior Consultant, Infrastructure Consulting

OPITZ CONSULTING Deutschland GmbH

[email protected]

Telefon +49 89 680 098 -1489

Mobil +49 172 204 8789

Design: • Das Farbschema ist im

Design als „OC 2009“

hinterlegt.

• Ebenso sind die Schriftarten

als „OC 2009“ hinterlegt.

• Die Standardfarben sind:

youtube.com/opitzconsulting

@OC_WIRE

slideshare.net/opitzconsulting

xing.com/net/opitzconsulting

Page 51: Oracle Enterprise Manager 12c - hias222.files.wordpress.com · DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop © OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 5 OPITZ

© OPITZ CONSULTING, I.S.E. GmbH 2014 Seite 51 DOAG 2014: Analyse und Historisierung von OEM Metrikdaten in Hadoop

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Kontakt 2fach: • Diese Folie wird als vorletzte

Folie genutzt, um den

individuellen Bezug zu 2

Referenten herzustellen.

• Als Fotos müssen

quadratische Fotos der

Referenten in qualitativ

hochwertiger Form vorliegen.

• Die Fotos geht über 2

Rasterbreiten.

• Die Daten der Adresse sollten

vollständig eingegeben

werden

Ansprechpartner bei ISE

Matthias Fuchs

Solutions Architect

ISE Information Systems Engineering GmbH

[email protected]

Telefon +49 9192 9929 505

Mobil +49 172 8288 751

Blog - http://hias222.wordpress.com

LinkedIn - https://www.linkedin.com/pub/matthias-fuchs/2/6a6/620

Xing - https://www.xing.com/profile/Matthias_Fuchs17

Twitter - https://twitter.com/Hias222

Design: • Das Farbschema ist im

Design als „OC 2009“

hinterlegt.

• Ebenso sind die Schriftarten

als „OC 2009“ hinterlegt.

• Die Standardfarben sind: