Datové sklady a BI aplikace

Click here to load reader

download Datové sklady a BI aplikace

of 90

  • date post

    16-Jan-2016
  • Category

    Documents

  • view

    45
  • download

    0

Embed Size (px)

description

Datové sklady a BI aplikace. MFF Část 1. Říjen 2004 Ing. David Pirkl. 1. Přednáška. Cíle školení. Seznámit s architekturou aplikací BI Datové sklady Data Mining CRM Podrobně popsat metodologii tvorby datových skladů Ukázat na možnosti dimensionálního modelování - PowerPoint PPT Presentation

Transcript of Datové sklady a BI aplikace

  • Datov sklady a BI aplikaceMFF st 1jen 2004Ing. David Pirkl

  • 1. Pednka

  • Cle kolenSeznmit s architekturou aplikac BI Datov skladyData MiningCRMPodrobn popsat metodologii tvorby datovch skladUkzat na monosti dimensionlnho modelovnPokroil analytick techniky vyuit dataObchodn pleitosti a typick lohy

  • Co byste si mli odnstPedstavu o architektue een BI a vznamu jednotlivch komponentDetailn znalost metodiky tvorby DW Principy dimensionlnho modelovnZnalost hlavnch technik pokroil analzy dat a jejich monosti vyuitPraktick zkuenosti s prce s eenm od firmy Microsoft a SPSSMS SQL Server 2000, MS Analysis ServicesClementine,

  • Pedpoklady dn speciln znalosti nejsou poadovnyUivatelsk znalostPrce na PCDatabz (nap. MS Access)Zklady statistiky a stedokolsk matematiky

  • LiteraturaKimball Raplh: The Data Warehouse Toolkit, John Wiley & Sons, 2002Kimball Raplh: The Data Warehouse Lifecycle Toolkit, John Wiley & Sons, 1998Inmon W. H.: Building the Data Warehouse, John Wiley & Sons, 2002Lacko Luboslav: Databze: datov sklady, OLAP a dolovn dat s pklady v MS SQL Serveru a Oracle, Computer Press, 2003Humphries M., Hawkins M. W. : Data warehousing : nvrh a implementace, Computer Press, 2002

    Berry M. J., Linoff G.: Data Mining Techniques for marketing, sales and customer support, John Wiley & Sons, 1997Rud Olivia Parr: Data mining, Computer Press, 2001Berka Petr: Dobvn znalost z databz, Academia, 2003

  • LiteraturaRozshle zdroje na Internetu:www.rkimball.comwww.billinmon.comwww.dw-institute.comwww.dwinfocenter.orgwww.olapreport.comwww.microsoft.comwww.oracle.comwww.kdnuggets.comwww.dmreview.com

  • VyuujeIng. David Pirkl

  • Agenda dneZkladn pojmyMetodologie BDLC

  • Zkladn pojmy Mezi hlavn pojmy, s ktermi se seznmme, pat:BI Business IntelligenceDatov skladDatov tritProces ETLOLAPReporting

  • Business intelligence (BI)Oznauje proces transformace dat (daj) na informace a pevod tchto informac na znalosti, slouc k podpoe podnikn (rozhodovn)Identifikovat trhlinu mezi obchodnmi potebami a dostupnmi informacemi

  • Business intelligence (BI)DataInformaceZnalostiZpracovn datNzkVysokOLTPOperan databzeData miningNeuronov st, OLAPReportingData warehouse

  • Historie BINavazuje na rozvoj databzovch systm:Transakn systmy (OLTP)60. lta Dvkov zpracovn vkazSloit nalzt a analyzovat informaceNkladn a neflexibiln, peprogramovn dle novch poadavk70. lta prvn manaersk aplikace (Lockheed)Terminlov orientovan EIS a DSS aplikace80. lta Desktopov aplikace a analytick nstrojeDotazovac nstroje, tabulkov procesory, GUIJednoduch na pouvn, pstup pouze k operanm databzm90. lta Rozvoj datovch sklad, integrace OLAP databz a DM technik

  • Co vedlo k BIOrientace na zkaznkaPoteba efektivnch a flexibilnch analz cena informacePoteba oddlit analzu od operanch potebRozvoj technologie relan databze, OLAP databze

  • Co vedlo k BINemohu nalzt informace, kter potebujiData jsou v rznch mstech po stiRzn verze dat, li seNemohu se dostat k datm, kter potebujiPoteba kontaktovat IT expertaNerozumm datm, kter jsem zskalData nejsou dokumentovna (metadata)Nemohu vyut data, kter jsem zskalVsledky jsou nepravdpodobn (chyby)Potebuji transformovat data do jin formy

  • Souasn a ztej stav Mnoho nstroj pro podporu een BIPropracovan metodologieVvoj smrem k co nejvt uivatelsk pvtivostiMnoho konzultanch firem nabzejcch een BI

  • Komponenty a aplikace BIMezi komponenty BI een lze zaadit:Reportingov eenDatov skladyData Mining eenCRMspecializovan aplikace (optimalizace zsob, obchodnch cest, )

  • Architektura BIData martyProdejMarketingEkonomikaData mining modelyCentrln datov sklad

  • Data WarehouseDatov sklad je centrln loit rznorodch dat firmyeen integranch efektJednotn msto uloen datUreno pro analytickou podporu rozhodovn (drill-down, drill-up)Zahrnuje nejen data v databz, ale i nstroje pro extrakci dat, nstroje pro reporting, analzu dat, data miningPrezentace dat uivatelsky pjemnm zpsobem zamenm na stedn a vy management

  • Pedmtn orientace Prodejn systmVplatnsystmNkupn systmZkaznkProdejceZamstnanecProvozn systmyAplikan orientaceDatov skladPedmtn orientace

  • Integrace Prodejn systmVplatnsystmNkupn systmZkaznkProvozn systmyAplikan orientaceDatov skladPedmtn orientace

  • asov nemnnost, historie VplatnsystmZkaznkProvozn systmyAplikan orientaceDatov skladPedmtn orientaceinsertnatencreateupdatedeletezobrazen

  • Pnosy een datovho skladu Integrace a istota dat, integran efektyPodpora loh analytickho charakteru a jejich ekonomick a mimoekonomick efektyVy flexibilita zen a realizace zmnZptn vazbaNezvislost vedoucch pracovnk na oddlen ITKvalifikan efekty v IT i v ekonomice zen (prce s informacemi, uvaovn v kontextu)Automatizace rutinnch proces (tvorba vkaz, zprv)Kontrola plnn pln a finann analza

    Vce

  • Pnosy een datovho skladu Podpora analzy dat:Trendy, sledovn a analza asovch adPomrov ukazateleIdentifikace odchylekDrill-down, Drill-up, Drill-across, Slice-dice

  • OLTP Provozn databze

  • OLTP vs. DW

  • Data Mart (Datov trit)Logick podmnoina datovho skladust een datovho skladu uren pro podporu specifick analzy (etnictv) nebo oddlen firmy (marketing, prodej)

  • ETLExtraction-Transformation-LoadingKompletn proces naten dat do datovho skladuZahrnuje mnoho subproces:Extrakce vbr datTransformace oven, itn, integrace datLoading naten dat do DWKontrola kvalityAuditovanBezpenostZlohovn & Obnova

  • OLAPOn-Line Analytic ProcessingObecn oznaen pro dotazovn a zobrazen dat z datovho skladu zaloen na dimenzionlnm modeluPrakticky zkratka oznauje multidimenzionln uloen a analzu dat (OLAP databze)

  • ODSOperational Data StoreArchitektura obsahujc pedmtov orientovan, integrovan, souasn, rychle se mnc a detailn data pro operan potebyODS typicky obsahuje dat rychle se mnc v relnm asePro podporu analytickch a CRM aplikac

  • Data MiningData mining je netriviln proces zjiovn platnch, neznmch, potencionln uitench a snadno pochopitelnch znalost zdat.Automatizovan zpracovn rozshlch datovch soubor metodami na pokraji statistiky, strojovho uen a uml inteligence.

  • CRMCustomer Relationship ManagementSystmy pro zen vztah se zkaznky

  • Shrnut pojmShrnut relevantnch pojm (nkter budou probrny dle)OLTP transakn systmyDatov sklad (DW)Datov tritETLODSOLAPCRMData Mining (DM)Dimensionln modelovnROLAP, MOLAP, HOLAPDotazovac nstrojeDM techniky

  • DW - opakovnCentrln loit relevantn firemnch datIntegrace firemnch datovch zdrojHistorie v datechCentrln msto pro podporu informanch poteb uivatelVelk objemy datNavreno pro podporu analzy speciln struktury uloen dat

  • Zkladn zpsoby budovn DWExistuj dva zkladn pstupy k budovn DW:Metoda velkho tesku Prstkov metoda

  • Pstupy k tvorb DS

  • Nezvisl datov tritOLTPETLDatov trit

  • Nezvisl datov tritETL 3 krt !!!

  • Nezvisl datov trit$Duplikace prce na ETLasov i finann nrondrba nezvislch DM je nron, tkopdn$

  • DW architekturaDWDeptlDeptlDeptlUivatelsk nstrojeZvisl datov trit s odpovdajcmi metadatyMetadata

  • DW architekturaKomplexn architekturaKonzistence datDetailn i agregovan dataMetadata jsou konzistentn Rychl vvoj, ale Budou ETL konzistentn?Jak je zena redundance?

  • Zkladn zpsoby budovn DWDnes je preferovan prstkov metodaPrstkov metoda zaruuje:Projektovou zvldnutelnost eenReln asov horizonty jednotlivch etap (2-4 msce)een aktulnch uivatelskch (obchodnch) potebZptnou vazbu uivatel

  • Cle datovho skladuZajistit dostupnost firemnch informacZajistit konzistenci firemnch informacVytvoit adaptivn a prun zdroj informacZabezpeit ochranu firemnch informacVytvoit zkladnu pro firemn podporu rozhodovn (analytick centrum)

  • DW procesyHlavn proces pi tvorb datovho skladuPodprocesy:ExtrakceTransformaceitn datVbr datIntegraceUml kleAgregaceNaten (Loading) a tvorba indexData Quality Assurance

  • DW procesyDal procesy v DWPublikace dat (prezentan server)Update datDotazovnZptn vazba (ist dat do OLTP, data z DM do DW)Audit datBezpenostZlohovn a obnova

  • ArchitekturaUloen dat: - 0. vrstva DW - Nen pro pm dotazovn

    Procesy: - itn dat - Integrace - Full vs. Inkrem. - Vbr - Duplicity - Standardizace - Conformn dimenze - Pevod do prezentan vrstvy - a dal

    B

    U

    SDatov trit - Dimenzionln - Pedmtn orientovan - BUS architekt. - OLAPDatov tritDatov tritDM modelovn - scoring - pedpovdi - segmentace - cross-selling - asov adyAd Hoc dotazovnReportovac nstrojeIntranetProvozn databzeETLDatov skladPrezentan vrstvaUivatelsk aplikaceVsledky modelOprava chybExtrakceExtrakceExtrakcePlnnPlnnPlnnPrezentacePrezentacePrezentaceAnalza

  • Architektura Ekon.ObchodProvozn databzedbfExtern dataExcelData mining aplikaceData mining modely Scoring, cross-selling, MS DTSETL Metainforman a reportingov portlMS Reporting ServicesMS SQL Server 2000 EEOLAPMS Analysis ServicesRelan databze datovho skladu (0. a 1. vrstva, datov trit a ODS)MS SQL Server 2000UivatelCRM aplikace a Internetov aplikaceInternetov a intranetov aplikace pro zen vztahu se zkaznkem, podporu pracovnk distribun st(nap. on-line scoring)WWW prohle (IE)Excel XPProClarity

  • Produkty pro BINstroje pro BIMicrosoft (MS SQL Server, Analysis Services, Reporting Services)OracleSybase IQIBM DB2, DB2 OLAP ServerMicrostrategySPSSSAS SAP Business WarehouseKlientsk nstrojeProClarityOracle DiscovererMS Excel 2000Business ObjectsCognos: PowerPlay, ImpromptuBrio: Brio QueryQuadbase EspressReport

  • 2. Pednka

  • Business Dimensional LifeCycle Standardn metodologie vvoje datovho skladu od Ralpha Kimballa

  • Popis met