20101001 DWH MDM JCano - PROFINIT€¦ · MDM Problémy - 5 Problém č.5: Duplikácia v rôznych...
Transcript of 20101001 DWH MDM JCano - PROFINIT€¦ · MDM Problémy - 5 Problém č.5: Duplikácia v rôznych...
![Page 1: 20101001 DWH MDM JCano - PROFINIT€¦ · MDM Problémy - 5 Problém č.5: Duplikácia v rôznych kontextoch ⇒⇒⇒⇒Potrebujeme distribuova ť a zdie ľ a ť k ľ ú č ové](https://reader034.fdocuments.net/reader034/viewer/2022050414/5f8a8eed1d4c142317071fc7/html5/thumbnails/1.jpg)
Dátové skladyMaster Data Management
Juraj Caňo
1.10.2010Pokrocile databazove technologie, FIIT STU
![Page 2: 20101001 DWH MDM JCano - PROFINIT€¦ · MDM Problémy - 5 Problém č.5: Duplikácia v rôznych kontextoch ⇒⇒⇒⇒Potrebujeme distribuova ť a zdie ľ a ť k ľ ú č ové](https://reader034.fdocuments.net/reader034/viewer/2022050414/5f8a8eed1d4c142317071fc7/html5/thumbnails/2.jpg)
Čo sú Master Data
MDM v BI architektúre
Master Data Management
Implementácia MDM
Zhrnutie a diskusia
Obsah
![Page 3: 20101001 DWH MDM JCano - PROFINIT€¦ · MDM Problémy - 5 Problém č.5: Duplikácia v rôznych kontextoch ⇒⇒⇒⇒Potrebujeme distribuova ť a zdie ľ a ť k ľ ú č ové](https://reader034.fdocuments.net/reader034/viewer/2022050414/5f8a8eed1d4c142317071fc7/html5/thumbnails/3.jpg)
Čo sú to master dáta?
Základné pojmy v biznise� Používané v rámci celej spoločnosti � Zdieľané medzi systémami
Typické oblasti� Zákazníci� Produkty� Dodávatelia� Organizačná štruktúra� Referenčné číselníky� ...
Master Data Management (MDM)� Súhrn nástrojov, procesov a ľudí pre
správu master dát� Súčasť Business Intelligence riešenia
Konsolidované master dáta = bohatstvo spolo čnosti
![Page 4: 20101001 DWH MDM JCano - PROFINIT€¦ · MDM Problémy - 5 Problém č.5: Duplikácia v rôznych kontextoch ⇒⇒⇒⇒Potrebujeme distribuova ť a zdie ľ a ť k ľ ú č ové](https://reader034.fdocuments.net/reader034/viewer/2022050414/5f8a8eed1d4c142317071fc7/html5/thumbnails/4.jpg)
Príklad master dát - bankaProdukty� Zoznam produktov
(účty, pôžičky, hypotéky, kreditné karty, ...)� Ale aj napr.
� Vzťahy medzi produktami (produkty predávané spolu)
� Hierarchie nad produktami
Organizačná štruktúra� Pobočky� Zamestnanci� Pozície, ...
Referenčné číselníky� Číselník Mena – EUR, USD, CZK,...� Číselník Typ zamestnania – Účtovníčka,
Programátor, …� …
Klienti, a ďalšie
Master dáta zah ŕňajú aj vzájomné vz ťahy medzi
dátami
![Page 5: 20101001 DWH MDM JCano - PROFINIT€¦ · MDM Problémy - 5 Problém č.5: Duplikácia v rôznych kontextoch ⇒⇒⇒⇒Potrebujeme distribuova ť a zdie ľ a ť k ľ ú č ové](https://reader034.fdocuments.net/reader034/viewer/2022050414/5f8a8eed1d4c142317071fc7/html5/thumbnails/5.jpg)
Čo sú Master Data
MDM v BI architektúre
Master Data Management
Implementácia MDM
Zhrnutie a diskusia
Obsah
![Page 6: 20101001 DWH MDM JCano - PROFINIT€¦ · MDM Problémy - 5 Problém č.5: Duplikácia v rôznych kontextoch ⇒⇒⇒⇒Potrebujeme distribuova ť a zdie ľ a ť k ľ ú č ové](https://reader034.fdocuments.net/reader034/viewer/2022050414/5f8a8eed1d4c142317071fc7/html5/thumbnails/6.jpg)
MDM v BI
Metadata
Back-end BI tools
ODS
DWH
Fro
nt
En
dB
Ito
ols
CRM
External
Technology
Billing
ERP
Operational Data Level
(OLTP, legacy systems)
Analytical level
(Query, reporting, dashboards, OLAP, data minning)
ETL
Source systems Metadata
DWH Metadata
Metadata
Access
Access
ETL
Access
ETL
ETL
ETL
StagingArea
ETL
ETL
MDM
![Page 7: 20101001 DWH MDM JCano - PROFINIT€¦ · MDM Problémy - 5 Problém č.5: Duplikácia v rôznych kontextoch ⇒⇒⇒⇒Potrebujeme distribuova ť a zdie ľ a ť k ľ ú č ové](https://reader034.fdocuments.net/reader034/viewer/2022050414/5f8a8eed1d4c142317071fc7/html5/thumbnails/7.jpg)
Business Intelligenceplatform
Core bankingsystems
Riešenie bez MDM
OperationalData Store
Data Warehouse
Deposits
Loans
...
Mort-gages
Reportingsystems
Vkladové produkty, Karty, Poistenie
Úverové produkty
Hypotéky, Poistenie
Master dáta (produkty)• Roztrúsené• Rôznorodé• Duplicitné, prekrývajúce sa
DWH (ODS)Musia obsahovať zložitéprocesy na konsolidáciu dát
![Page 8: 20101001 DWH MDM JCano - PROFINIT€¦ · MDM Problémy - 5 Problém č.5: Duplikácia v rôznych kontextoch ⇒⇒⇒⇒Potrebujeme distribuova ť a zdie ľ a ť k ľ ú č ové](https://reader034.fdocuments.net/reader034/viewer/2022050414/5f8a8eed1d4c142317071fc7/html5/thumbnails/8.jpg)
Business Intelligenceplatform
Core bankingsystems MDM Hub
Riešenie s MDM
MDM repository
GUI, Workflow
OperationalData Store
Data Warehouse
Debits
Credits
...
Mort-gages
Reportingsystems
Určení pracovníci banky sa starajú o údržbu master dát
Produkty
![Page 9: 20101001 DWH MDM JCano - PROFINIT€¦ · MDM Problémy - 5 Problém č.5: Duplikácia v rôznych kontextoch ⇒⇒⇒⇒Potrebujeme distribuova ť a zdie ľ a ť k ľ ú č ové](https://reader034.fdocuments.net/reader034/viewer/2022050414/5f8a8eed1d4c142317071fc7/html5/thumbnails/9.jpg)
Čo sú Master Data
MDM v BI architektúre
Master Data Management
Implementácia MDM
Zhrnutie a diskusia
Obsah
![Page 10: 20101001 DWH MDM JCano - PROFINIT€¦ · MDM Problémy - 5 Problém č.5: Duplikácia v rôznych kontextoch ⇒⇒⇒⇒Potrebujeme distribuova ť a zdie ľ a ť k ľ ú č ové](https://reader034.fdocuments.net/reader034/viewer/2022050414/5f8a8eed1d4c142317071fc7/html5/thumbnails/10.jpg)
MDM Problémy
� Typický informačný systém ...
![Page 11: 20101001 DWH MDM JCano - PROFINIT€¦ · MDM Problémy - 5 Problém č.5: Duplikácia v rôznych kontextoch ⇒⇒⇒⇒Potrebujeme distribuova ť a zdie ľ a ť k ľ ú č ové](https://reader034.fdocuments.net/reader034/viewer/2022050414/5f8a8eed1d4c142317071fc7/html5/thumbnails/11.jpg)
MDM Problémy - 1
� Problém č.1: Master dáta sú rozptýlené
⇒⇒⇒⇒ Potrebujeme unifikova ť popis produktu a jedno miesto správy
IDČíslo účtuMenoFaktúry...
IDNázovPopisCenaMktg. akcie...
IDČíslo súčiastkyRozmeryFarba...
IDHierarchieObchody...
![Page 12: 20101001 DWH MDM JCano - PROFINIT€¦ · MDM Problémy - 5 Problém č.5: Duplikácia v rôznych kontextoch ⇒⇒⇒⇒Potrebujeme distribuova ť a zdie ľ a ť k ľ ú č ové](https://reader034.fdocuments.net/reader034/viewer/2022050414/5f8a8eed1d4c142317071fc7/html5/thumbnails/12.jpg)
MDM Problémy - 2
� Problém č.2: Rozličné dátové typy a odkazy
⇒⇒⇒⇒ Potrebujeme flexibilný a rozšírite ľný dátový model pre vš etky master dáta
![Page 13: 20101001 DWH MDM JCano - PROFINIT€¦ · MDM Problémy - 5 Problém č.5: Duplikácia v rôznych kontextoch ⇒⇒⇒⇒Potrebujeme distribuova ť a zdie ľ a ť k ľ ú č ové](https://reader034.fdocuments.net/reader034/viewer/2022050414/5f8a8eed1d4c142317071fc7/html5/thumbnails/13.jpg)
MDM Problémy - 3
� Problém č.3: Komplexné životné cykly dát
⇒⇒⇒⇒ Potrebujeme vhodný nástroj na manažment životného c yklu dát
Verzia 1
Verzia 1.1Verzia 1.2
Verzia 2
Verzia 1
Verzia 3
![Page 14: 20101001 DWH MDM JCano - PROFINIT€¦ · MDM Problémy - 5 Problém č.5: Duplikácia v rôznych kontextoch ⇒⇒⇒⇒Potrebujeme distribuova ť a zdie ľ a ť k ľ ú č ové](https://reader034.fdocuments.net/reader034/viewer/2022050414/5f8a8eed1d4c142317071fc7/html5/thumbnails/14.jpg)
MDM Problémy - 4
� Problém č.4: Data Governance
⇒⇒⇒⇒ Potrebujeme manažova ť prístupové práva v rámci celej organizácie
Pravidlo:Cena < 20
Nový produkt:Cena = 25
?
![Page 15: 20101001 DWH MDM JCano - PROFINIT€¦ · MDM Problémy - 5 Problém č.5: Duplikácia v rôznych kontextoch ⇒⇒⇒⇒Potrebujeme distribuova ť a zdie ľ a ť k ľ ú č ové](https://reader034.fdocuments.net/reader034/viewer/2022050414/5f8a8eed1d4c142317071fc7/html5/thumbnails/15.jpg)
MDM Problémy - 5
� Problém č.5: Duplikácia v rôznych kontextoch
⇒⇒⇒⇒ Potrebujeme distribuova ť a zdieľať kľúčové dáta bez duplikácií
Slovensko Česko Poľsko
Meno= XYCena=20
Meno= XYCena=20
Meno= XYCena=15
Meno= XZCena=20
![Page 16: 20101001 DWH MDM JCano - PROFINIT€¦ · MDM Problémy - 5 Problém č.5: Duplikácia v rôznych kontextoch ⇒⇒⇒⇒Potrebujeme distribuova ť a zdie ľ a ť k ľ ú č ové](https://reader034.fdocuments.net/reader034/viewer/2022050414/5f8a8eed1d4c142317071fc7/html5/thumbnails/16.jpg)
MDM Riešenie
Modely dátRepository
Administrácia /Dozor
MDM Hub
![Page 17: 20101001 DWH MDM JCano - PROFINIT€¦ · MDM Problémy - 5 Problém č.5: Duplikácia v rôznych kontextoch ⇒⇒⇒⇒Potrebujeme distribuova ť a zdie ľ a ť k ľ ú č ové](https://reader034.fdocuments.net/reader034/viewer/2022050414/5f8a8eed1d4c142317071fc7/html5/thumbnails/17.jpg)
MDM - prínosy
� Kľúčové dáta na jednom mieste– Jedna verzia pravdy
� Integrácia s existujúcimi IS– Jednotnosť master dát
� Zjednotené názvoslovie– Jednoznačná komunikácia
� Zvýšenie kvality dát– Napr. odstránenie duplicít
� Jednoduchšia logika dátového skladu– Master dáta sú dodávané v konsolidovanej podobe
![Page 18: 20101001 DWH MDM JCano - PROFINIT€¦ · MDM Problémy - 5 Problém č.5: Duplikácia v rôznych kontextoch ⇒⇒⇒⇒Potrebujeme distribuova ť a zdie ľ a ť k ľ ú č ové](https://reader034.fdocuments.net/reader034/viewer/2022050414/5f8a8eed1d4c142317071fc7/html5/thumbnails/18.jpg)
Čo sú Master Data
MDM v BI architektúre
Master Data Management
Implementácia MDM
Zhrnutie a diskusia
Obsah
![Page 19: 20101001 DWH MDM JCano - PROFINIT€¦ · MDM Problémy - 5 Problém č.5: Duplikácia v rôznych kontextoch ⇒⇒⇒⇒Potrebujeme distribuova ť a zdie ľ a ť k ľ ú č ové](https://reader034.fdocuments.net/reader034/viewer/2022050414/5f8a8eed1d4c142317071fc7/html5/thumbnails/19.jpg)
Čo sú Master Data
MDM v BI architektúre
Master Data Management
Implementácia MDM
Zhrnutie a diskusia
Obsah
![Page 20: 20101001 DWH MDM JCano - PROFINIT€¦ · MDM Problémy - 5 Problém č.5: Duplikácia v rôznych kontextoch ⇒⇒⇒⇒Potrebujeme distribuova ť a zdie ľ a ť k ľ ú č ové](https://reader034.fdocuments.net/reader034/viewer/2022050414/5f8a8eed1d4c142317071fc7/html5/thumbnails/20.jpg)
Implementácia MDM
� Analýza obehu kľúčových dát v organizácii� Definícia dát� Ich odvodenie z existujúcich dát rozptýlených po
celej organizácii� Vytvorenie dát (extrakcia, vyčistenie,
konsolidácia, uloženie)� Stanovenie procesov a organizačného zázemia
pre správu master dát
![Page 21: 20101001 DWH MDM JCano - PROFINIT€¦ · MDM Problémy - 5 Problém č.5: Duplikácia v rôznych kontextoch ⇒⇒⇒⇒Potrebujeme distribuova ť a zdie ľ a ť k ľ ú č ové](https://reader034.fdocuments.net/reader034/viewer/2022050414/5f8a8eed1d4c142317071fc7/html5/thumbnails/21.jpg)
MDM – Referenčné číselníky
CARD_STATUSCODE NAME
ACTIVE Aktívna
NOUSE Nevyužíva
BLOCKED Blokácia
CLOSED Zrušená
CDPK_CARD STATUSCODE NAME
0 Aktívna
9 Nevyužíva
4 Blokácia
2 Zrušená
AMEX_CARD STATUSCODE NAME
A Active
C Nouse
MDM
Zdrojovésystémy
CDPK_CODE
0
9
4
2
AMEX_CODE
A
C
![Page 22: 20101001 DWH MDM JCano - PROFINIT€¦ · MDM Problémy - 5 Problém č.5: Duplikácia v rôznych kontextoch ⇒⇒⇒⇒Potrebujeme distribuova ť a zdie ľ a ť k ľ ú č ové](https://reader034.fdocuments.net/reader034/viewer/2022050414/5f8a8eed1d4c142317071fc7/html5/thumbnails/22.jpg)
Mapovací mechanizmus
MAPPING_TABLE
MDM_TABLE SOURCE_SYSTEM_TABLE SOURCE_SYSTEM SOURCE_SYSTEM_CODE MDM_CODE
CARD_STATUS CDPK_CARD_STATUS CDPK 0 ACTIVE
CARD_STATUS CDPK_CARD_STATUS CDPK 9 NOUSE
CARD_STATUS CDPK_CARD_STATUS CDPK 4 BLOCKED
CARD_STATUS CDPK_CARD_STATUS CDPK 2 CLOSED
CARD_STATUS AMEX_CARD_STATUS AMEX A ACTIVE
CARD_STATUS AMEX_CARD_STATUS AMEX C CLOSED
![Page 23: 20101001 DWH MDM JCano - PROFINIT€¦ · MDM Problémy - 5 Problém č.5: Duplikácia v rôznych kontextoch ⇒⇒⇒⇒Potrebujeme distribuova ť a zdie ľ a ť k ľ ú č ové](https://reader034.fdocuments.net/reader034/viewer/2022050414/5f8a8eed1d4c142317071fc7/html5/thumbnails/23.jpg)
Business v rámci MDM
� Na rozdiel od ostatných IS, v MDM sú veľkou a kľúčovou časťou riešenia business procesy
� Business procesy: záväzné postupy (predpisy), ako pridávať a editovať dáta (workflows)
� Pre efektívny Master data management je nutné implementovať obe kľúčové zložky:
technologické riešenie ↔ business riešeniekonsolidácia, čistenie dát odstránenie príčin problémov
![Page 24: 20101001 DWH MDM JCano - PROFINIT€¦ · MDM Problémy - 5 Problém č.5: Duplikácia v rôznych kontextoch ⇒⇒⇒⇒Potrebujeme distribuova ť a zdie ľ a ť k ľ ú č ové](https://reader034.fdocuments.net/reader034/viewer/2022050414/5f8a8eed1d4c142317071fc7/html5/thumbnails/24.jpg)
Definícia procesov - workflow
Changerequest
Request checkand assignment
to approvers
Requestapproval
Changespecification
Changeimplementation
OK
OK
OK
Implement.check
Implement.check
OK
Start
Final
Segmentation Owner/Business
SegmentationData Steward
SegmentationSpecialist
Segmentation Owner/Risk
Implement.check
OK
![Page 25: 20101001 DWH MDM JCano - PROFINIT€¦ · MDM Problémy - 5 Problém č.5: Duplikácia v rôznych kontextoch ⇒⇒⇒⇒Potrebujeme distribuova ť a zdie ľ a ť k ľ ú č ové](https://reader034.fdocuments.net/reader034/viewer/2022050414/5f8a8eed1d4c142317071fc7/html5/thumbnails/25.jpg)
Diskusia