Pénzügyi adattárház építése az ... - BI...
Transcript of Pénzügyi adattárház építése az ... - BI...
![Page 1: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/1.jpg)
Pénzügyi adattárház építése az Aegon Biztosító Zrt-nél
ELNÖK-IGAZGATÓSEBESTYÉN ZSOLT
+36-30-385-14-05
![Page 2: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/2.jpg)
Mivel foglakozunk?
Üzleti folyamat
• Egyedi ügyviteli rendszerek fejlesztése
• Core biztosítói rendszer fejlesztése
• Workflow
Adat tárolás
• Adattárház építése
• Data Vault modellezés
• ETL
Üzleti előny
• BI kiaknázás
• Prediktív analízis, pénzügyi tervezés
![Page 3: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/3.jpg)
Bemutatkozás számokban
ZRT. alakulás éve – 2011
2011 – IBM Cognos „Év üzleti partnere”
2012 – IBM Cognos „Év üzleti partnere”
2014 – IBM Cognos „Év üzleti partnere”
IBM Cognos BI – 10 fő (alkalmazott)(minősítés 28 db)
DWH szakértő – 13 fő (alkalmazott)
Szoftverfejlesztés – 18 fő (alkalmazott)
![Page 4: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/4.jpg)
Referenciák
![Page 5: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/5.jpg)
Utasbiztosítás
Életbiztosítás
Befektetési
Kockázati
Nem biztosítási termékek
LTP
Önkéntes nyugdíj Lakásbiztosítás
Az Aegon termék portfolió
Vállalati vagyon biztosításCsoportos életbiztosítás
Gépjármű biztosítások
Viszontbiztosítás
Balesetbiztosítás
![Page 6: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/6.jpg)
Több mint fél éves előkészítés
Kiírás, több mint 30 első körös meghívott
6-os shortlist
Prezentációk, bemutatók, árak
Kiválasztási folyamat
![Page 7: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/7.jpg)
MNB jelentések
Adattárház alapú főkönyvi feladás
Kontrolling elemzésekAktuáriusi számítások támogatása
Megrendelői siker kritériumok
Önkiszolgáló BI
Mindezt egységesített analitikával, többmint 10 forrás rendszerből
![Page 8: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/8.jpg)
Másodlagos célok
Gyorsabb zárási folyamat
Gyorsított tartalék számítások
Egyszerűen auditálható, transzparens folyamatok
Integrált Data Governance, Data Quality Managements
Önkiszolgáló riporting, dashboarding
Adatbányászati támogatás – Data Science Experience
Aktuáriusi számítások támogatása – Beépített R támogatás
![Page 9: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/9.jpg)
MNB jelentések
készítése, követése
Biztosítási szakma ismerete
Adattárház szaktudás
Több mint 15 éves
biztosítástechnika
rendszer fejlesztésében
szerzett tapasztalat
Mivel nyert a BPC Zrt.?
Reporting szaktudás
![Page 10: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/10.jpg)
One more thing – És még egy dolog
A nyertes ajánlatunk nem tartalmazott hardver és adattárház adatbázis szoftver licenceket
Kiderült, hogy a szükséges licenc igen drága
Ekkor ajánlottuk az IBM appliance lehetőségét
Megcsináltunk egy proof of concept feladatot
IBNR tartalék számítás volt, amely az eredeti környezetben 6 órán keresztül futott
Az IBM appliance környezetben a kérdéses számítás 1 perc !
Az IBM appliance hardverrel együtt olcsóbb volt mint a konkurrens szoftver termék.
![Page 11: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/11.jpg)
IBM Integrated Analytic System
Adattárház
IBM InfoSphere Information Governance Catalog
Data Governance
IBM InfoSphere Data Stage
ETL
IBM Cognos Analytics
Reporting
HW – SW környezet
![Page 12: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/12.jpg)
IBM Integrated Analytic System
Adattárház
IBM InfoSphere Information Governance Catalog
Data Governance
IBM InfoSphere Data Stage
ETL
IBM Cognos Analytics
Reporting
HW – SW környezet
![Page 13: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/13.jpg)
Hagyományos adattárház komplexitás
![Page 14: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/14.jpg)
Appliance – egyszerűsített adattárház
![Page 15: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/15.jpg)
1
5
Erőmű az adattárházhozPowered by RedHat® on Power
X86-os géphez képest 4x több szál magonként, 4x
nagyobb memória sávszélesség, 4x több cache
memória
IBM Flash Storage
Az alapértelmezett Flash tároló a hardveres gyorsító
architektúrával közelít az in memory sebességhez
Designed For Massively Parallel Performance
Tiered Storage TechnologyTöbb hőmérsékletű tárolás, a forró adatok az extrém gyors Flash,
míg a hidegebb adatok a gazdaságos merevlemez alapú tárolóba
kerülnek
Memory Optimized
In memory BLU columnar technology
Data Skipping
Skips unnecessary processing of irrelevant data
Actionable Compression
Patented technique that preserves order so data can be used
without decompressin
POWER
2X - 5X
PL/SQL compatibiltity
![Page 16: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/16.jpg)
Business Process Consulting_Pénzügyi
adattárház_Vezetői összefoglaló_2017121216
1
6
IBM Integrated Analytics System configurations
M4001-0031/3 Rack
M4001-0062/3 Rack
M4001-010Full Rack
M4001-0202 Racks
M4001-0404 Racks
Servers 3 5 7 14 28
Cores 72 120 168 336 672
Memory 1.5 TB 2.5 TB 3.5 TB 7 TB 14 TB
User
capacity(Assumes 4x
compression)
64 TB 128 TB 192 TB 384 768
IBM Power 8 S822L 24 core server 3.02GHzTMS 900 Flash systems
In-place Expansion Tiered storage
Mellanox 10G Ethernet switches Brocade SAN switches
![Page 17: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/17.jpg)
A Db2Wh BLU gyorsítóAz IBM Research & Development páratlan innovácója
Instructions Data
Results
C1 C2 C3 C4 C5 C6 C7 C8C1 C2 C3 C4 C5 C6 C7 C8
Next Generation In-Memory
In memory Oszlop folytonos feldolgozás és
dinamikus adatmozgatás a tároló rétegről
Analyze Compressed Data
A szabadalmazott tömörítési technika megtartja a
sorrendet, az adat a kitömörítés nélkül is
használható
CPU Acceleration
Több magos feldolgozás, egyutasítással több
adat SIMD (Single Instruction Multiple Data)
Data Skipping
Az irreleváns adatok átlépésével kihagyjuk a
szükségtelen műveleteket
Encoded
![Page 18: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/18.jpg)
MACHINE LEARNING READY
Built-in RStudio with Spark embed parallelizes & accelerates data
science tasks using Sparklyr and dplyr libraries.
Self Service Data for new DiscoveriesFull Integration with InfoSphere Governance Catalog
For additionalvalue
Beépített Spark és DSX az interaktív és csoportos Data Science képességekhez
Data mining, prediction, transformations, statistics, spatial, data preparation for predictive and prescriptive in-place analytics
Built-in Jupyter Notebooks for visualizing and coding on data science
tasks using Python, R, & Scala.
Full Integration with Tools for BI & VisualizationIBM Cognos, Tableau, Microstrategy, Business Objects, SAS, MS Excel, SSRS, Kognitio, Qlikview
Full Integration with Tools for Model Building and ScoringIBM SPSS, SAS, Open Source R, Fuzzy Logix
Full Integration for Custom AnalyticsOpen Source R, Java, C, C++, Python, LUA
1
8
![Page 19: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/19.jpg)
IBM Integrated Analytic System
Adattárház
IBM InfoSphere Information Governance Catalog
Data Governance
IBM InfoSphere Data Stage
ETL
IBM Cognos Analytics
Reporting
HW – SW környezet
![Page 20: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/20.jpg)
InfoSphere DataStage
A beépített funkciók lehetővé teszik, hogy kódolás nélkül vizuálisan tervezzük meg az adatfolyamokat
Támogatja a batch és a valós idejű feldolgozásokat
Újra felhasználható komponenseket készíthetünk, amelyek más jobokbanismét felhasználhatunk
Teljes körű, metaadat-vezérelt ETL funkcionalitás
Teljes körű csapatmunka támogatás
Támogatja és integrálja a különböző adatforrásokat
Join
Load
Lookup
Transform
Load Dataset
Integrate, transform and
deliver data on demand across
multiple sources and targets
including databases and
enterprise applications
![Page 21: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/21.jpg)
Transzformációs stagek
Több mint 50 előre beépített transzformációs és adatfeldolgozó stage-gel rendelkezik, elősegítve a gyors munkavégzést
Számos beépített függvénnyel rendelkezik a bonyolultabb transzformációs logika egyszerű elkészítéséhez
Az egyszerűen használható stagek gyors testreszabást tesznek lehetővé
C++ és JAVA segítségével bővíthető a funkcionalitás
![Page 22: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/22.jpg)
DataStage szekvenciák
Dinamikus munkafolyamatok is definiálhatóak
Külső folyamatokat indíthatunk és komplex kiértékeléseket is végezhetünk
Haladó funkciók, mint például a ciklusok készítése is támogatott
![Page 23: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/23.jpg)
Párhuzamosítás
A végrehajtás során pedig a több példányban futó job
A fejlesztő által készített job
Folyamat szintű párhuzamosítás
Partíció szintű párhuzamosítás
![Page 24: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/24.jpg)
InfoSphere QualityStage
Adatminőség ellenőrző folyamat a tiszta, szabványosított és egyedi információkhoz
Vizuális eszközök segítenek az egyes szabályok és a hozzájuk tartozó logika kialakításához
Intuitív felhasználói felület a gyorsabb fejlesztésért és karbantartásért
Zökkenőmentes integráció az DataStage programmal
Rules Development Toolkit
Visual Match Rule Design
Summary Reporting on
Data Standardization
![Page 25: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/25.jpg)
IBM Integrated Analytic System
Adattárház
IBM InfoSphere Information Governance Catalog
Data Governance
IBM InfoSphere Data Stage
ETL
IBM Cognos Analytics
Reporting
HW – SW környezet
![Page 26: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/26.jpg)
A komponensek mély integrációja
Hozzáférés a központi „tudástárhoz”
IT és az üzlet együttműködését segítő eszközök
A gyors élesítést segítő funkciók
Az InfoSphere portfólió egyedülálló szinergikus értékkel rendelkezik,
melynek köszönhetően vállalkozás hatékonyabbá és gyorsabbá válik.
Költségei és kockázatai csökkennek, így javítva üzleti eredményességét.
Information Server
Segíti a gyorsabb értékteremtést:
![Page 27: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/27.jpg)
Business Process Consulting_Pénzügyi
adattárház_Vezetői összefoglaló_2017121227
Information serverA teljes adatintegrációs folyamat támogatása
Import Industry Data Models
Search and Profile Source Data
Information AnalyzerInformation
Governance Catalog
DataStage and QualityStage
Transform and Cleanse
Map Sources to Target Model
FastTrack
Services Oriented Architecture
Information Services Director
Populate
Share
Deploy
Share Share Share
Metadata Server
Active Cross-Platform Administration, Management and Reporting
Exchange Data Structures
Link
Common Enterprise Vocabulary
InfoSphere Data Architect
![Page 28: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/28.jpg)
Elősegíti az üzlet és informatika hatékonyabb kommunikációját egy közös üzleti szótár létrehozásával
Rálátást biztosít az üzletiösszefüggésekre
Nagyobb bizalom és elfogadottság az információk kontextusba helyezése révén
Összekapcsolja az üzleti fogalmakat a technikai eszközökkel
Adatszótárhoz való hozzáférhetőség számos eszköz segítségével
Information Governance Catalog Browser
InfoSphere Glossary Anywhere
REST API (bármely alkalmazásba történő integráció)
Blueprints
Business Terms
Taxonomy
Glossary Anywhere
Smart Hover
Information Governance Catalog
![Page 29: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/29.jpg)
Business Process Consulting_Pénzügyi
adattárház_Vezetői összefoglaló_2017121229
Segít a változáskezelésikockázat felmérésében és enyhítésében
Támogatja a vállalati információk hatékony kezelését az adatok, adatmodellek és a BI tartalom változásainak nyomon követhetősége révén
Vizsgálhatóak az Information Server és a nem IBM eszközökközötti függőségek
Testreszabott lekérdezésekkészíthetőek
Queries
Lineage
Policies and Rules
Information Governance Catalog
![Page 30: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/30.jpg)
Az Information Governance Catalog segítségével...
Függőségeket és kapcsolatokat vizsgálhatunk:
Nyomon követhető az információ áramlása az adatbázisoktól
az ETL folyamatokon keresztül a BI riportokig
Megérthetjük az adatbázis táblák és oszlopok tartalmát
A lineage (származás) segítségével meghatározható, hogy az
adatok honnan származnak, vagy hova tartanak.
Az impact (behatás) analízis segít megérthatjük a
függőségeket, valamint a töltési folyamatok, vagy oszlopok
változtatásának hatásait
A futáskori meta adatok vizsgálatával megtudjuk, hogy egy
folyamat futtatása hány sort érintett és sikeres volt-e
![Page 31: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/31.jpg)
IBM Integrated Analytic System
Adattárház
IBM InfoSphere Information Governance Catalog
Data Governance
IBM InfoSphere Data Stage
ETL
IBM Cognos Analytics
Reporting
HW – SW környezet
![Page 32: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/32.jpg)
Történelem…
![Page 33: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/33.jpg)
Kvíz – I.
Cognos
![Page 34: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/34.jpg)
Kvíz – II.
Cognos
![Page 35: Pénzügyi adattárház építése az ... - BI Consultingbiconsulting.hu/letoltes/2018budapestdata/...statistics, spatial, data preparation for predictive and prescriptive in-place](https://reader031.fdocuments.net/reader031/viewer/2022013010/5f30099191e8026b402bf97b/html5/thumbnails/35.jpg)
Kvíz – III.
Cognos