T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5 f3 Vs of Big Data Big Data ... Sybase IQ...
-
Upload
phungduong -
Category
Documents
-
view
215 -
download
0
Transcript of T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5 f3 Vs of Big Data Big Data ... Sybase IQ...
�
���� www.steria-mummert.de
© Steria Mummert Consulting AG
Big Data - Warum Big nicht immer auch beautiful ist
Hype oder disruptive Innovation?
T1A Vortrag 1: 19. Juni 2012, 10:00-11:30Klaus-Dieter Schulze / Dr. Carsten Dittmar
���� www.steria-mummert.de
�
20.06.2012 T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5.pptm © Steria Mummert Consulting AG2
Dieses Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt.
Jede Verwertung, die nicht ausdrücklich vom Urheberrechtsgesetz zugelassen ist, bedarf der vorherigen schriftlichen Zustimmung von Steria Mummert Consulting.
Das gilt insbesondere für Vervielfältigungen, Bearbeitungen, Übersetzungen und die Einspeicherung und Verarbeitung in elektronischer Form. Eine Weitergabe an Dritte ist nicht gestattet.
Big Data - Warum Big nicht immer auch beautiful ist
Datum:
Perfekte Lösungen mit persönlicher Note
Steria Mummert Consulting AGDerendorfer Allee 33, D-40476 Düsseldorf
Telefon: +49 211 385467-0Fax: +49 211 385467-6510
E-Mail: [email protected]
Team: : Klaus-Dieter SchulzeSenior Executive Manager
Dr. Carsten DittmarSenior Manager
Vorsitzender des Aufsichtsrates: Jürgen SponnagelVorstand: Oliver Nazet (Vors.), Dr. Reinhard Liedl, Dr. Fritz Moser
Gesellschaftssitz: Hamburg - HR B 61 116 Amtsgericht Hamburg - USt-ID-Nr.: DE118671351
Hype oder disruptive Innovation?
���� www.steria-mummert.de
�Simples Verständnis von Big Data: Big Data durch das Internet für das Internet?
20.06.2012 T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5.pptm © Steria Mummert Consulting AG3
Einleitung
���� www.steria-mummert.de
� Agenda
1. Big Data: Alter Wein in neuen Schläuchen?
2. Wie relevant ist Big Data für Sie wirklich?
3. Das DWH ist tot, es lebe das DWH!
4. Fazit
20.06.2012T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5.pptm © Steria Mummert Consulting AG4
���� www.steria-mummert.de
� Kapitel 1
1. Big Data: Alter Wein in neuen Schläuchen?� Verständnis und Einordnung
� Technologien für Big Data
20.06.2012T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5.pptm © Steria Mummert Consulting AG5
���� www.steria-mummert.de
�Big Data – Nur ein neuer Begriff für altbekannte Herausforderungen im BI & DM Umfeld?
20.06.2012 T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5.pptm © Steria Mummert Consulting AG6
Volume
From gigabyte and terabyte to petabyte
and exabyte
Velocity
From hours andminutes to (milli-)
seconds andstreams
Variety
From structureddata to semi- and
unstructureddatat
3 Vs ofBig Data
Big Data beschreibt Technologien, Applikationen und Prozesse für die Sammlung, Speicherung und Verarbeitung von Daten, die die Fähigkeiten der heutigen Business Intelligence (BI) und Data Management (DM) Systeme - angeblich - übertreffen.
Definition und Einordnung
���� www.steria-mummert.de
�
20.06.2012 7
Wo genau sind eigentlich die heutigen BI und DM Systeme überfordert?
Mangel an Sponsoren
FehlendeVision/Strategie für BI
Probleme mit derDatenqualität
Keine einheitlichenDefintionen undBezeichnungn
Fehlende Firmenkulturund "politische"
Gegensätze
Fehlende Governancefür BI und
Informationsverwaltung
Zustimmung nach Zahl der BranchenSource: Gartner BI Summit Survey 2008
An welchen Hemmnissen scheitern BI/DM Initiativen in der Praxis?
Mensch und Organisation scheint auch zur Überforderung beizutragen.
Definition und Einordnung
T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5.pptm © Steria Mummert Consulting AG
���� www.steria-mummert.de
�
20.06.2012 8
Verbreiterung der Datengrundlage durch Big Data
Definition und Einordnung
T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5.pptm © Steria Mummert Consulting AG
���� www.steria-mummert.de
� Welche Technologie ist neu?
What kinds of techniques and tool types is your organization using foradvanced analytics and big data, both today and in three years?
20.06.2012 T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5.pptm © Steria Mummert Consulting AG9
Source: TDWI 2011: Big Data Analytics
Central Enterprise Data Warehouses, OLAP tools, Analytical Data Marts, Real Time Dashboards, etc. gab es auch schon im Zeitalter ‚Small‘ Data
Technologien für Big Data
���� www.steria-mummert.de
�Neue analytische Plattformen jenseits klassischer relationaler DBMS
20.06.2012 T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5.pptm © Steria Mummert Consulting AG10
Technologie Beschreibung Produkt/Vendor
Massively parallel processing analytic DB
Zeilenbasierte DBs, die in Cluster-Architektur komplexe Abfragen massiv parallel abarbeiten können
Teradata Active Data Warehouse, Greenplum(EMC), Microsoft Parallel Data Warehouse, Aster Data (Teradata), Kognitio, Dataupia
Columnar DBDaten wird spaltenorientiert mit hoher Komprimierung gespeichert
ParAccel, Infobright, Sand Technology, Sybase IQ (SAP), Vertica (Hewlett-Packard), 1010data, Exasol, Calpont
Analytical ApplianceVorkonfigurierte HW-SW Kombinationen designed für Abfragen und Analytics
Netezza (IBM), Teradata Appliances, Oracle Exadata, Greenplum, Data Computing Appliance (EMC)
Analytical bundlesVordefinierte HW-SW Kombinationen die zertifiziert sind für spezielle Performance Kriterien
IBM SmartAnalytics, Microsoft FastTrack
In-Memory DBDaten und Abfragen werden im Memory abgelegt bzw. ausgeführt
SAP HANA, Cognos TM1(IBM), QlikView, Membase
Distributive, File-basierte Systeme
Zur Speicherung, Indexierung & Abfrage großer Mangen an unstrukturierten und semi-strukturierten Daten
Hadoop (Apache, Cloudera, MapR, IBM, HortonWorks), Apache Hive, Apache Pig
Analytische Services Cloud-basierte analytische Leistungen 1010data, Kognitio
Nicht-Relationale DB Optimierte DB für die Verarbeitung von strukturierten und unstrukturierten Daten
MarkLogic Server, MongoDB, Splunk, Attivio, Endeca, Apache Cassandra, Apache HbaseacheHbase, Marklogik, MongoDB
CEP/streaming enginesSysteme zur Verarbeitung von großen Mengen an diskreten Ereignisse und Anwenden von Konditions-orientierten Regeln
IBM, Tibco, Streambase, Sybase (Aleri), Opalma, Vitria, Informatica
Technologien für Big Data
���� www.steria-mummert.de
�In der Sinnflut der Daten die relevanten Informationen finden..
20.06.2012 T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5.pptm © Steria Mummert Consulting AG11
Die aktuelle technologiegetriebene Debatte um Big Data klammert die wesentliche Frage nach dem Business Nutzen regelmäßig aus.
� Werden die bestehenden ‚Small Data‘ überhaupt schon hinreichend genutzt?
� ‚Jäger und Sammler Mentalität‘ für Daten oder Orientierung an klarem Business Case?
� Wie relevant ist Big Data für mein Geschäftsmodell wirklich?
Technologien für Big Data
���� www.steria-mummert.de
� Kapitel 2
2. Wie relevant ist Big Data für Sie wirklich?� Zeitliche Relevanz:
Wann beginnt Big Data für mein Unternehmen?
� Inhaltliche Relevanz:Welche Rahmenbedingungen sind bei Big Data zu berücksichtigen?
20.06.2012T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5.pptm © Steria Mummert Consulting AG12
���� www.steria-mummert.de
� Wann beginnt die Zukunft?
� Through 2015, 15% of enterprises will adapt their informationinfrastructure for extrem data, socially mediated content and newconnected devices [Source: Gartner 2012: Information 2020: Scenario for BI & IM]
� Big Data steckt noch früh im Hype Cycle: Breite Adaption und Produktivität ist erst in einigen Jahren zu erwarten
20.06.2012 T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5.pptm © Steria Mummert Consulting AG13
Gartner Hype Cycle for Emerging Technologies, 2011
Zeitliche Relevanz von Big Data
���� www.steria-mummert.de
�Ist die Zeit schon reif für Social Media als etablierten Servicekanal?
� Social Media sind in aller Munde, die gefühlte Allgegenwärtigkeit im privaten Umfeld wird häufig 1:1 auf Business Bereiche projiziert.
� Facebook als Platzhirsch: Zum Teil deutlich weniger als 1 User Post pro Tag über Facebook in unterschiedlichen Branchen
20.06.2012 T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5.pptm © Steria Mummert Consulting AG14
Banken und FinanzvertriebeAnzahl initialer User Posts im Zeitraum 1.1.11-31.12.2011
Im Durchschnitt fielen 2011 nur rund 3 Posts pro Woche und pro Seite an
Source: KEYLENS 2012, Banken & Finanzvertrieb auf Facebook
VersicherungenAnzahl User Kommentare im Zeitraum 1.1.11-31.12.2011
Source: KEYLENS 2012, Versicherungen auf Facebook
Sofern nicht incentiviert (z.B. Gewinn-spiel) geringe Kommentarintensivität auf Unternehmens Posts
Zeitliche Relevanz von Big Data
���� www.steria-mummert.de
� Der Intelligente Zähler auf dem Vormarsch
Mithilfe eines digitalen, fernauslesbaren Messgerätes (Smart Meter) werden Energieverbräuche auch von Privathaushalten permanent ausgelesen.
20.06.2012 T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5.pptm © Steria Mummert Consulting AG15
Bei Big Data gilt in der Regel leider keine lineare Skalierung!
� In Deutschland (derzeit noch keine Verpflichtung zum Ein-satz), sollen bis 2022 80% aller Haushalte mit Smart Meter ausgestattet sein.
� Derzeit werden deutschland-weit Smart Meter mit Fern-auslesung in Pilotprojekten bei Energieversorgern getestet (Z.B. E.ON Bayern hat Pilotprojektes mit 10.000 Haushalten aufgesetzt).
Zeitliche Relevanz von Big Data
Smart HomeSmart Grid Smart Meter
���� www.steria-mummert.de
�Business Case für Big Data umfasst gesamten Prozess der Informationsverarbeitung
Collection Integration Analyze & Filter Decide/Action
20.06.2012 T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5.pptm © Steria Mummert Consulting AG16
Inhaltliche Relevanz von Big Data
� Datenverfügbarkeit an sich ist kein Use Case, sondern die gezielte Verwendung der abgeleiteten Informationen zur Entscheidungsfindung.
We are hungry for knowledge ...
... and drown in Information[John Naisbitt, 1982]
� Im Prozess der Informationsverarbeitung ergeben sich zusätzliche Herausforderungen durch Big Data.
���� www.steria-mummert.de
� Wo bezieht man eigentlich „sein“ Big Data?
20.06.2012 T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5.pptm © Steria Mummert Consulting AG17
Inhaltliche Relevanz von Big Data
Im Retail ist insbesondere im B-C Segment die Quellenselektion und -analyse zur Sammlung von Netzinhalten eine zentrale Fragestellung
� Relevanz (Search Engine Optimization, Doorwaypages, Coacking)
� Verlässlichkeit(Fake Blogs, Community based personalization, Collaborative filtering, Guerilla-Marketing, Identitätsdiebstahl)
� Aktualisierungsfrequenz(Community Offenheit, Community Fluktuation)
� Stabilität
� …
• Blogs und Microblogs wie Twitter, Friendfeed, Google Buzz
• Social Networks wie Facebook, Netlog oder LinkedIn
• Foren, insbesondere relevante Fachforen
• Content-Communities wie YouTube oder flickr
• Klassische Onlinemedien und Wikipedia
Collection Integration Analyze & Filter Decide/Action
���� www.steria-mummert.de
� Integration von Small Data und Big Data
20.06.2012 T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5.pptm © Steria Mummert Consulting AG18
Inhaltliche Relevanz von Big Data
Die Integration von Big Data mit ‚Small Data‘ kann aus Datenschutz-gesichtspunkten in speziellen Branchen kritisch bewertet werden. Legale Rahmenbedingungen sind noch nicht endgültig definiert.
� Debatte um den Schutz des Social Web vor datenhungrigen Firmen beginnt.
� Reform des Datenschutzrecht s wird gefordert und eine Redu-zierung des Möglichkeitsraums von Aktionen wird erwartet.
Collection Integration Analyze & Filter Decide/Action
���� www.steria-mummert.de
� Analyse von Big Data benötigt Kontextbezug
20.06.2012 T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5.pptm © Steria Mummert Consulting AG19
Inhaltliche Relevanz von Big Data
Kontexteinordnung hilft bei Mensch-Maschine Kommunikation zur Filterung /Selektion des richtigen Contents. Bei Big Data muss eine definierte und etablierte Governance die Rolle übernehmen (Organisatorische statt physische Integration).
� Jede Branche hat eigenen Kontext, der in Metadaten angereichert wird.
� Die Festlegung auf denrelevanten, branchen-spezifischen Kontext ist Voraussetzung um ein zielorientierten Filtern und Analysieren zu erlauben.
Collection Integration Analyze & Filter Decide/Action
���� www.steria-mummert.de
� Auf der Suche nach dem Business Case
20.06.2012 T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5.pptm © Steria Mummert Consulting AG20
Inhaltliche Relevanz von Big Data
Agilität und Realtime Fähigkeit von Geschäftsprozessen bildet die Herausforderung bei vielen Big Data Anwendungsszenarios. Die Qualität der Entscheidung steigt nicht unbedingt durch die Quantität der Daten.
� Logistikprozesse versus realtime Stock Analysis
� Responce-Verhalten in Sozialen Netzwerken
� Informationsüberlastung aus ‚Small Data‘ ist jetzt schon Realität
� Hadoop ist Batch orientiert
Collection Integration Analyze & Filter Decide/Action
Höher – schneller – weiter ?
���� www.steria-mummert.de
� Kapitel 3
3. Das DWH ist tot, es lebe das DWH!� Zur Zukunft des Patienten DWH
� Neue Paradigmen erfordern neue Lösungen
� Analytical Ecosystem of the Future
20.06.2012T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5.pptm © Steria Mummert Consulting AG21
���� www.steria-mummert.de
�
20.06.2012 T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5.pptm © Steria Mummert Consulting AG22
Ist die herkömmliche Theorie noch gültig?
Patient DWH
Trotz reifer Technologien und hoher Investitionen, sind in der Regel die Versprechungen der Theorie nicht realisiert worden.
Smart Data ist noch nicht besiegt, da kommt Big Data gerade recht!
�Single Point of Truth
�Hub & Spoke Architektur
�Transparenz über Daten und deren Verarbeitung
�Hoher Standardisierungsgrad
�Redundanzfreiheit und physische Integration
�Definierte und umgesetzte BI-Strategie
�Strategischer Architekturausbau
�Hohes Engagement des Fachbereichs
�Zentral gepflegte Business Rules
�Effiziente spezialisierte BI Organsiation
�Informationssilos und heterogene Architekturen
�Unkontrolliertes Wachstum von Spread-Marts
�Schlechte Datenqualität
�Inkonsistente Semantik
�Hohe Komplexität und Intransparenz
�Projektgetriebenes Vorgehen
�Individuelle Datenintegration
�Hohe manuelle Analyseaufwendungen
�Technologie-getriebene Projekte
�Keine projektübergreifende Governance
Theorie Realität
���� www.steria-mummert.de
�
20.06.2012 T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5.pptm © Steria Mummert Consulting AG23
Auch Gartner kündigt den radikalen Wechsel an
>33% of BI functionality will be consumed via handheld devices
>50% of information management professionals will not report to the CIO
>33% of BI functionality will be consumed via handheld devices
>50% of information management professionals will not report to the CIO 2013
85% of currently deployed data warehouses will not scale appropriately to meet new information volume and complexity demands85% of currently deployed data warehouses will not scale appropriately to meet new information volume and complexity demands2014
15% of enterprises will adapt their information infrastructure for extreme data, socially mediated content and new connected devices
60% of business analytics purchasing decisions will be controlled by business line
15% of enterprises will adapt their information infrastructure for extreme data, socially mediated content and new connected devices
60% of business analytics purchasing decisions will be controlled by business line2015
25% of traditional DW/OLTP systems .will be replaced by column-store in-memory DBMS using storage-class memory
20% of CIOs will lose their jobs for failing to implement regulations & compliance demands
25% of traditional DW/OLTP systems .will be replaced by column-store in-memory DBMS using storage-class memory
20% of CIOs will lose their jobs for failing to implement regulations & compliance demands2016
Patient DWH
���� www.steria-mummert.de
�
20.06.2012 T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5.pptm © Steria Mummert Consulting AG24
Etablierte Denkmuster stehen auf dem Prüfstand
Paradigmenwechsel
AnalyticalEcosystem
of thefuture
Dezentral
Logische Integration
Use Case & Service
Orientierung
Technische Heteroge-
nität
Prozessuale Standardi-
sierung
Flexibilität
���� www.steria-mummert.de
�
20.06.2012 25
Zielbild zum Analytical Ecosystem of the future
Analytical Ecosystem of the future
T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5.pptm © Steria Mummert Consulting AG
���� www.steria-mummert.de
� Die logische Architektur wird nicht einfacher
20.06.2012 T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5.pptm © Steria Mummert Consulting AG26
Analytical Ecosystem of the future
Business Layer
���� www.steria-mummert.de
� Kapitel 4
4. Fazit
20.06.2012T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5.pptm © Steria Mummert Consulting AG27
���� www.steria-mummert.de
� Big Data stellt eine echte Herausforderung dar
Die Big Data Parabel ist eingängig, daher wächst die Zahl der (Nach-)Fragen.Interesse
20.06.2012 T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5.pptm © Steria Mummert Consulting AG28
Fazit
Use Case vor Technik
Die Suche nach Big Data Use Cases hat gerade erst begonnen, Qualität und Nutzen von Analyseergebnissen ist oft nicht absehbar.
MitarbeiterDie richtige Mischung aus Data Scientists, Power User & Data Analyst mit Know-How in den spezifischen Geschäftsprozessen und den analytischen Tools/Plattformen ist entscheidend.
Paradigmen Traditionelle zentralistische Ansätze geraten zunehmend in die Kritik. Auch Big Data zeigt den Bedarf zum Paradigmenwechsel.
Analytical Ecosystem
Neue Ansätze verarbeiten u.a. große Mengen poly-strukturierter Daten und stellen diese unterschiedlichen Nutzerkategorien über unterschiedliche analytische Plattformen bereit.
�
���� www.steria-mummert.de
© Steria Mummert Consulting AG
Vielen Dank für Ihre Aufmerksamkeit!
© Steria
Klaus-Dieter Schulze / Dr. Carsten Dittmar
[email protected] / [email protected]
Business Intelligence SolutionsSteria Mummert Consulting AG