Datov sklady a BI aplikaceMFF st 1jen 2004Ing. David Pirkl

1. Pednka

Cle kolenSeznmit s architekturou aplikac BI Datov skladyData MiningCRMPodrobn popsat metodologii tvorby datovch skladUkzat na monosti dimensionlnho modelovnPokroil analytick techniky vyuit dataObchodn pleitosti a typick lohy

Co byste si mli odnstPedstavu o architektue een BI a vznamu jednotlivch komponentDetailn znalost metodiky tvorby DW Principy dimensionlnho modelovnZnalost hlavnch technik pokroil analzy dat a jejich monosti vyuitPraktick zkuenosti s prce s eenm od firmy Microsoft a SPSSMS SQL Server 2000, MS Analysis ServicesClementine,

Pedpoklady dn speciln znalosti nejsou poadovnyUivatelsk znalostPrce na PCDatabz (nap. MS Access)Zklady statistiky a stedokolsk matematiky

LiteraturaKimball Raplh: The Data Warehouse Toolkit, John Wiley & Sons, 2002Kimball Raplh: The Data Warehouse Lifecycle Toolkit, John Wiley & Sons, 1998Inmon W. H.: Building the Data Warehouse, John Wiley & Sons, 2002Lacko Luboslav: Databze: datov sklady, OLAP a dolovn dat s pklady v MS SQL Serveru a Oracle, Computer Press, 2003Humphries M., Hawkins M. W. : Data warehousing : nvrh a implementace, Computer Press, 2002

Berry M. J., Linoff G.: Data Mining Techniques for marketing, sales and customer support, John Wiley & Sons, 1997Rud Olivia Parr: Data mining, Computer Press, 2001Berka Petr: Dobvn znalost z databz, Academia, 2003

LiteraturaRozshle zdroje na Internetu:www.rkimball.comwww.billinmon.comwww.dw-institute.comwww.dwinfocenter.orgwww.olapreport.comwww.microsoft.comwww.oracle.comwww.kdnuggets.comwww.dmreview.com

VyuujeIng. David Pirkl

Agenda dneZkladn pojmyMetodologie BDLC

Zkladn pojmy Mezi hlavn pojmy, s ktermi se seznmme, pat:BI Business IntelligenceDatov skladDatov tritProces ETLOLAPReporting

Business intelligence (BI)Oznauje proces transformace dat (daj) na informace a pevod tchto informac na znalosti, slouc k podpoe podnikn (rozhodovn)Identifikovat trhlinu mezi obchodnmi potebami a dostupnmi informacemi

Business intelligence (BI)DataInformaceZnalostiZpracovn datNzkVysokOLTPOperan databzeData miningNeuronov st, OLAPReportingData warehouse

Historie BINavazuje na rozvoj databzovch systm:Transakn systmy (OLTP)60. lta Dvkov zpracovn vkazSloit nalzt a analyzovat informaceNkladn a neflexibiln, peprogramovn dle novch poadavk70. lta prvn manaersk aplikace (Lockheed)Terminlov orientovan EIS a DSS aplikace80. lta Desktopov aplikace a analytick nstrojeDotazovac nstroje, tabulkov procesory, GUIJednoduch na pouvn, pstup pouze k operanm databzm90. lta Rozvoj datovch sklad, integrace OLAP databz a DM technik

Co vedlo k BIOrientace na zkaznkaPoteba efektivnch a flexibilnch analz cena informacePoteba oddlit analzu od operanch potebRozvoj technologie relan databze, OLAP databze

Co vedlo k BINemohu nalzt informace, kter potebujiData jsou v rznch mstech po stiRzn verze dat, li seNemohu se dostat k datm, kter potebujiPoteba kontaktovat IT expertaNerozumm datm, kter jsem zskalData nejsou dokumentovna (metadata)Nemohu vyut data, kter jsem zskalVsledky jsou nepravdpodobn (chyby)Potebuji transformovat data do jin formy

Souasn a ztej stav Mnoho nstroj pro podporu een BIPropracovan metodologieVvoj smrem k co nejvt uivatelsk pvtivostiMnoho konzultanch firem nabzejcch een BI

Komponenty a aplikace BIMezi komponenty BI een lze zaadit:Reportingov eenDatov skladyData Mining eenCRMspecializovan aplikace (optimalizace zsob, obchodnch cest, )

Architektura BIData martyProdejMarketingEkonomikaData mining modelyCentrln datov sklad

Data WarehouseDatov sklad je centrln loit rznorodch dat firmyeen integranch efektJednotn msto uloen datUreno pro analytickou podporu rozhodovn (drill-down, drill-up)Zahrnuje nejen data v databz, ale i nstroje pro extrakci dat, nstroje pro reporting, analzu dat, data miningPrezentace dat uivatelsky pjemnm zpsobem zamenm na stedn a vy management

Pedmtn orientace Prodejn systmVplatnsystmNkupn systmZkaznkProdejceZamstnanecProvozn systmyAplikan orientaceDatov skladPedmtn orientace

Integrace Prodejn systmVplatnsystmNkupn systmZkaznkProvozn systmyAplikan orientaceDatov skladPedmtn orientace

asov nemnnost, historie VplatnsystmZkaznkProvozn systmyAplikan orientaceDatov skladPedmtn orientaceinsertnatencreateupdatedeletezobrazen

Pnosy een datovho skladu Integrace a istota dat, integran efektyPodpora loh analytickho charakteru a jejich ekonomick a mimoekonomick efektyVy flexibilita zen a realizace zmnZptn vazbaNezvislost vedoucch pracovnk na oddlen ITKvalifikan efekty v IT i v ekonomice zen (prce s informacemi, uvaovn v kontextu)Automatizace rutinnch proces (tvorba vkaz, zprv)Kontrola plnn pln a finann analza

Vce

Pnosy een datovho skladu Podpora analzy dat:Trendy, sledovn a analza asovch adPomrov ukazateleIdentifikace odchylekDrill-down, Drill-up, Drill-across, Slice-dice

OLTP Provozn databze

OLTP vs. DW

Data Mart (Datov trit)Logick podmnoina datovho skladust een datovho skladu uren pro podporu specifick analzy (etnictv) nebo oddlen firmy (marketing, prodej)

ETLExtraction-Transformation-LoadingKompletn proces naten dat do datovho skladuZahrnuje mnoho subproces:Extrakce vbr datTransformace oven, itn, integrace datLoading naten dat do DWKontrola kvalityAuditovanBezpenostZlohovn & Obnova

OLAPOn-Line Analytic ProcessingObecn oznaen pro dotazovn a zobrazen dat z datovho skladu zaloen na dimenzionlnm modeluPrakticky zkratka oznauje multidimenzionln uloen a analzu dat (OLAP databze)

ODSOperational Data StoreArchitektura obsahujc pedmtov orientovan, integrovan, souasn, rychle se mnc a detailn data pro operan potebyODS typicky obsahuje dat rychle se mnc v relnm asePro podporu analytickch a CRM aplikac

Data MiningData mining je netriviln proces zjiovn platnch, neznmch, potencionln uitench a snadno pochopitelnch znalost zdat.Automatizovan zpracovn rozshlch datovch soubor metodami na pokraji statistiky, strojovho uen a uml inteligence.

CRMCustomer Relationship ManagementSystmy pro zen vztah se zkaznky

Shrnut pojmShrnut relevantnch pojm (nkter budou probrny dle)OLTP transakn systmyDatov sklad (DW)Datov tritETLODSOLAPCRMData Mining (DM)Dimensionln modelovnROLAP, MOLAP, HOLAPDotazovac nstrojeDM techniky

DW - opakovnCentrln loit relevantn firemnch datIntegrace firemnch datovch zdrojHistorie v datechCentrln msto pro podporu informanch poteb uivatelVelk objemy datNavreno pro podporu analzy speciln struktury uloen dat

Zkladn zpsoby budovn DWExistuj dva zkladn pstupy k budovn DW:Metoda velkho tesku Prstkov metoda

Pstupy k tvorb DS

Nezvisl datov tritOLTPETLDatov trit

Nezvisl datov tritETL 3 krt !!!

Nezvisl datov trit$Duplikace prce na ETLasov i finann nrondrba nezvislch DM je nron, tkopdn$

DW architekturaDWDeptlDeptlDeptlUivatelsk nstrojeZvisl datov trit s odpovdajcmi metadatyMetadata

DW architekturaKomplexn architekturaKonzistence datDetailn i agregovan dataMetadata jsou konzistentn Rychl vvoj, ale Budou ETL konzistentn?Jak je zena redundance?

Zkladn zpsoby budovn DWDnes je preferovan prstkov metodaPrstkov metoda zaruuje:Projektovou zvldnutelnost eenReln asov horizonty jednotlivch etap (2-4 msce)een aktulnch uivatelskch (obchodnch) potebZptnou vazbu uivatel

Cle datovho skladuZajistit dostupnost firemnch informacZajistit konzistenci firemnch informacVytvoit adaptivn a prun zdroj informacZabezpeit ochranu firemnch informacVytvoit zkladnu pro firemn podporu rozhodovn (analytick centrum)

DW procesyHlavn proces pi tvorb datovho skladuPodprocesy:ExtrakceTransformaceitn datVbr datIntegraceUml kleAgregaceNaten (Loading) a tvorba indexData Quality Assurance

DW procesyDal procesy v DWPublikace dat (prezentan server)Update datDotazovnZptn vazba (ist dat do OLTP, data z DM do DW)Audit datBezpenostZlohovn a obnova

ArchitekturaUloen dat: - 0. vrstva DW - Nen pro pm dotazovn

Procesy: - itn dat - Integrace - Full vs. Inkrem. - Vbr - Duplicity - Standardizace - Conformn dimenze - Pevod do prezentan vrstvy - a dal

B

U

SDatov trit - Dimenzionln - Pedmtn orientovan - BUS architekt. - OLAPDatov tritDatov tritDM modelovn - scoring - pedpovdi - segmentace - cross-selling - asov adyAd Hoc dotazovnReportovac nstrojeIntranetProvozn databzeETLDatov skladPrezentan vrstvaUivatelsk aplikaceVsledky modelOprava chybExtrakceExtrakceExtrakcePlnnPlnnPlnnPrezentacePrezentacePrezentaceAnalza

Architektura Ekon.ObchodProvozn databzedbfExtern dataExcelData mining aplikaceData mining modely Scoring, cross-selling, MS DTSETL Metainforman a reportingov portlMS Reporting ServicesMS SQL Server 2000 EEOLAPMS Analysis ServicesRelan databze datovho skladu (0. a 1. vrstva, datov trit a ODS)MS SQL Server 2000UivatelCRM aplikace a Internetov aplikaceInternetov a intranetov aplikace pro zen vztahu se zkaznkem, podporu pracovnk distribun st(nap. on-line scoring)WWW prohle (IE)Excel XPProClarity

Produkty pro BINstroje pro BIMicrosoft (MS SQL Server, Analysis Services, Reporting Services)OracleSybase IQIBM DB2, DB2 OLAP ServerMicrostrategySPSSSAS SAP Business WarehouseKlientsk nstrojeProClarityOracle DiscovererMS Excel 2000Business ObjectsCognos: PowerPlay, ImpromptuBrio: Brio QueryQuadbase EspressReport

2. Pednka

Business Dimensional LifeCycle Standardn metodologie vvoje datovho skladu od Ralpha Kimballa

Popis met