SQL Server 2008 Üzleti intelligencia - BI Projekt · 2020. 6. 21. · Egy mini BPA, ami...
Transcript of SQL Server 2008 Üzleti intelligencia - BI Projekt · 2020. 6. 21. · Egy mini BPA, ami...
www.biprojekt.huwww.biprojekt.hu
Adatbetöltésre való Adatbetöltésre való (ETL eszköz) +(ETL eszköz) +
AdattisztításAdattisztítás
AdatprofilozásAdatprofilozás
Adatbányász modellek Adatbányász modellek FuttatásaFuttatása
Szövegbányászat Szövegbányászat (szótövezés, …)(szótövezés, …)
……
Része az SQL Server Része az SQL Server 2008 2008 programcsomagnakprogramcsomagnak
Teljesítmény növeléseTeljesítmény növelése
Továbbfejlesztett Továbbfejlesztett {{Data FlowData Flow}} TaskTask
Továbbfejlesztett Továbbfejlesztett {{LookupLookup}} TaskTask
Új, Új, {{AdatprofilozástAdatprofilozást}} támogató Data támogató Data Profiling Profiling TaskTask
Egyéb újdonságokEgyéb újdonságok
Új scripting Új scripting EngineEngine, új , új ConnectorConnector--okok, , SuperDumpSuperDump, …, …
{{OptimalizáltákOptimalizálták}} az egy az egy executionexecution treetree--bőlből álló, szinkron álló, szinkron transzformációk teljesítményét:transzformációk teljesítményét:
Exe
cutio
nE
xecu
tion
tree
tree1.
1.
Exe
cutio
nE
xecu
tion
tree
tree1.
1.
Exe
cutio
nE
xecu
tion
tree
tree22..
• Az SSIS 2005 nem vizsgálta az execution tree-nbelüli munka nagyságát. Minden execution tree kapott egy szálat és x mennyiségű memóriát.
• Egy szál = 1 processzor
SSIS SSIS {{20052005}} SSIS SSIS {{20082008}}
Az SSIS Az SSIS {{20082008}} képes az egy képes az egy executionexecution treetree--benben található található transzformációkat több szálon futtatni (Azaz a szálakat transzformációkat több szálon futtatni (Azaz a szálakat dinamikusan allokálni.)dinamikusan allokálni.)
IntegrationIntegration Services 2005Services 2005
IntegrationIntegration Services 2008Services 2008
Ténytábla forrás
Lookup
2008-05-07; 20080507 2008-05-07
Párosított Hiba
20080507
Dimtáblaforrás
Cache Nem talált
Dataflow 2Dataflow 1
Cache Connection
Manager
Megosztott cacheMegosztott cache
Nem talált kulcsok Nem talált kulcsok gyorsítótáragyorsítótára
Ténytábla forrás
Dimtáblaforrás
Lookup Cache
2008-05-07; 200805072008-05-07
Párosított Nem talált
20080507
Dataflow 1 IntegrationIntegrationServicesServices20052005 IntegrationIntegrationServicesServices20082008
{{Új scripting Új scripting engineengine}} --> C# is lehet a > C# is lehet a szkriptszkriptnyelvnyelv
Web szerviz hívás a Data FlowWeb szerviz hívás a Data Flow--bólból
{{SuperDumpSuperDump}:}: A futó csomagok aktuális A futó csomagok aktuális állapotának kipakolása állapotának kipakolása txttxt fájlbafájlba
ORACLE, ORACLE, TeradataTeradata, SAP BW , SAP BW connectorconnector (RTM (RTM után, után, FeatureFeature packpack--banban))
ConnectionConnection Manager,Manager,
BulkBulk ExtractExtract SourceSource
BulkBulk LoadLoad DestinationDestination, ,
IncrementalIncremental LoadLoad DestinationDestination
Mit nevezünk adat profilozásnak?Mit nevezünk adat profilozásnak?
Mire használhatjuk?Mire használhatjuk?
Forrásrendszerek felméréseForrásrendszerek felmérése
Adattárházak, üzleti intelligencia rendszerek Adattárházak, üzleti intelligencia rendszerek auditálására, minőség biztosításraauditálására, minőség biztosításra
forrásadatok betöltés előtti ellenőrzéséreforrásadatok betöltés előtti ellenőrzésére
Hogyan működik?Hogyan működik?
Kitöltöttség analízis Kitöltöttség analízis {{ColumnColumn Null RatioNull Ratio}}
Adathossz eloszlás elemzés Adathossz eloszlás elemzés {{ColumnColumn LengthLengthDistributionDistribution}}
kulcsképesség elemzés kulcsképesség elemzés {{CandidateCandidate KeyKey}}
Minták keresése Minták keresése {{PatternPattern}}
Oszlop statisztikák Oszlop statisztikák {{ColumnColumn statisticsstatistics}}
Érték eloszlás analízis Érték eloszlás analízis {{ColumnColumn ValueValue DistributionDistribution}}
Összefüggés vizsgálat Összefüggés vizsgálat {{FunctionalFunctional DependencyDependency}}
Részhalmazok keresése Részhalmazok keresése {{ValueValue InclusionInclusion}}
{{ }}fontosabb úfontosabb újdonságaijdonságai
{{TeljesítményTeljesítmény}} növelésenövelése
Motor: Blokkonkénti számítás, Visszaírás, új Motor: Blokkonkénti számítás, Visszaírás, új backup szerkezet, oldalra skálázhatóság backup szerkezet, oldalra skálázhatóság
{{HősökHősök}} támogatása: támogatása: Áttervezett (Áttervezett (kézreállókézreállóformokformok),tervezési figyelmeztetések, grafikus ),tervezési figyelmeztetések, grafikus attribútum reláció és attribútum reláció és aggregációaggregáció tervező, tervező, erőforrás monitorozás támogatása, …erőforrás monitorozás támogatása, …
Olyan horderejű változások, mint a 2000Olyan horderejű változások, mint a 2000--20052005--ös verziók esetén voltak, nem ös verziók esetén voltak, nem lesznek. lesznek. --> könnyű lesz áttérni > könnyű lesz áttérni
Egy példa: városonként Egy példa: városonként listázzuk ki, hogy hány listázzuk ki, hogy hány rendelést adtak fel rendelést adtak fel interneten keresztül az interneten keresztül az előző év eleje ótaelőző év eleje óta
WITH MEMBER [Measures].[WITH MEMBER [Measures].[RollingSumRollingSum] AS ] AS ([Date].[Calendar Year].([Date].[Calendar Year].PrevMemberPrevMember, [Internet Order , [Internet Order Quantity]) + [Internet Order Quantity]Quantity]) + [Internet Order Quantity]SELECTSELECT
[Date].[Calendar Year].&[2004] ON 0,[Date].[Calendar Year].&[2004] ON 0,[Customer].[City].members ON 1[Customer].[City].members ON 1
FROM [Adventure Works]FROM [Adventure Works]WHERE [Measures].[WHERE [Measures].[RollingSumRollingSum]]
Város 5 4 Város 5+
Város 6 Város 6+
Város 3 Város 3+
Város 4 Város 4+
[Város.*, 2004 Rendelések sz]
Város 1+
Város 2 6 Város 2 10+
[Város.*, 2003, Rendelések sz]
Város 1
Város 5 4
Város 6
Város 3
Város 4
Város 2 16
[Város.*, 2004, RollingSum]
Város 1
HátrányokHátrányok
Csak az erőforrást Csak az erőforrást pocsékoljuk a pocsékoljuk a {{NULL értékekNULL értékek}}összeadásáraösszeadására
Teljesen felesleges Teljesen felesleges végig mennünk végig mennünk minden cellán és minden cellán és kiértékelnünk pl. a kiértékelnünk pl. a rekurzív rekurzív hivatkozásokat!hivatkozásokat!
Város 5 4
Város 6
Város 3
Város 4
[Város.*, 2004, Rendelések sz]
Város 2 6 Város 2 10
[Város.*, 2003, Rendelések sz]
Város 5 4
Város 6
Város 3
Város 4
Város 2 16
[Város.*, 2004, RollingSum]
Város 1
+
11. A . A {{nem üresnem üres}} cellák cellák
felolvasása a lemezrőlfelolvasása a lemezről
22. A nem üres cellákon. A nem üres cellákon
(blokk) (blokk) elvégzi az elvégzi az összeadást (1 darab a összeadást (1 darab a 8 helyett)8 helyett)
33. Az összes többi cella . Az összes többi cella
NULLNULL maradmarad
Hurrá!Hurrá!
Fogalmazzuk át a lekérdezést úgy, hogy Fogalmazzuk át a lekérdezést úgy, hogy mutassuk meg hány olyan terméket rendeltek, mutassuk meg hány olyan terméket rendeltek, amelyre legalább 5 rendelés érkezett az amelyre legalább 5 rendelés érkezett az interneten.interneten.
WITH MEMBER [Measures].[5WITH MEMBER [Measures].[5--nel nel tobbtobb interneteninterneten rendeltrendelttermektermek] AS ] AS Count(Filter([Product].[Product].[Product], Count(Filter([Product].[Product].[Product], [Measures].[Internet Order Quantity] > 5))[Measures].[Internet Order Quantity] > 5))SELECT [Customer].[Customer Geography].[Country] ON 0, SELECT [Customer].[Customer Geography].[Country] ON 0, [Date].[Calendar].[Date].MEMBERS ON 1[Date].[Calendar].[Date].MEMBERS ON 1FROM [Adventure Works]FROM [Adventure Works]WHERE [Measures].[5WHERE [Measures].[5--nel nel tobbtobb interneteninterneten rendeltrendelt termektermek]]
-1000
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
0,000 50,000 100,000 150,000 200,000
2005 backup Katmai file copy Lineáris (Katmai)
Új belső Új belső
adatszerkezetadatszerkezet
A backupA backup
készítésének készítésének
sebessége nemsebessége nem
exponenciálisan függexponenciálisan függ
a mérettől és közelít a fájlmásolás sebességéheza mérettől és közelít a fájlmásolás sebességéhez
kompatibilis a korábbi backupkompatibilis a korábbi backup--okkal (Azaz vissza okkal (Azaz vissza tudjuk állítani a 2005tudjuk állítani a 2005--ös mentéseket is)ös mentéseket is)
A A DMVDMV--kenken keresztül keresztül
Lekérdezhetjük az SSAS objektumaitLekérdezhetjük az SSAS objektumait
Monitorozhatjuk az SSAS erőforrásaitMonitorozhatjuk az SSAS erőforrásait
Olyan kérdésekre kaphatunk választ, Olyan kérdésekre kaphatunk választ, mint…mint…
Több mint 50 DMV. Kérdezze le:Több mint 50 DMV. Kérdezze le:
Select * from $Select * from $system.dbschema_tablessystem.dbschema_tableswhere TABLE_SCHEMA = '$system'where TABLE_SCHEMA = '$system'order by order by Table_nameTable_name
Több mint 40 tervezési irányelvet (Best Több mint 40 tervezési irányelvet (Best PracticePractice) ) építettek a BI építettek a BI developmentdevelopment StudióbaStudióba
Egy mini BPA, ami folyamatosan elemzi, hogy mit alkot Egy mini BPA, ami folyamatosan elemzi, hogy mit alkot a fejlesztőa fejlesztő
Diszkrét, kikapcsolható, kommentezhető Diszkrét, kikapcsolható, kommentezhető figyelmeztetésekfigyelmeztetések
PéldákPéldák
Adatkockák tervezéseAdatkockák tervezése
Adatforrások tervezéseAdatforrások tervezése
Adatbázisok tervezéseAdatbázisok tervezése
Dimenziók tervezéseDimenziók tervezése
Partíciók és Partíciók és aggregációkaggregációk tervezésetervezése
Ilyen v
olt…
Ilyen v
olt…
Ilyen le
tt…Ily
en le
tt…
<<---- A régi áttekinthetetlen A régi áttekinthetetlen voltvolt
Tervezési Tervezési figyelmeztetésekfigyelmeztetések
Statikus nevesített halmazokStatikus nevesített halmazok
Dinamikus nevesített halmazokDinamikus nevesített halmazok
Mire fogjuk használni?Mire fogjuk használni?
Hogyan hozhatjuk létre őket?Hogyan hozhatjuk létre őket?
CREATE DYNAMIC SET CURRENTCUBE.[Top CREATE DYNAMIC SET CURRENTCUBE.[Top 33 OrszágOrszág]]AS AS TopCountTopCount((
[[OrszágOrszág].Members,].Members,33,,[Measures].[[Measures].[TervTerv--tény eltérés %tény eltérés %]]
););
{{ }}
www.biprojekt.huwww.biprojekt.hu//technettechnet
ArchitekturálisArchitekturális változásokváltozások
Szolgáltatások Szolgáltatások
JelentésfeldolgozásJelentésfeldolgozás
MemóriakezelésMemóriakezelés
Jelentéskészítési újdonságok Jelentéskészítési újdonságok
Új jelentéstervező Új jelentéstervező –– ReportReport DesignerDesigner 20082008
{{TablixTablix}} = = {{TablTabl}}e + e + MatrMatr{{ixix}}
DundasDundas grafikonok, műszerekgrafikonok, műszerek
FormázottFormázott {{szövegszöveg} }
Word exportWord export
Megnövelt
teljesítmény
{{ Gyorsan, megbízhatóan! Gyorsan, megbízhatóan! }}
ASP.NETASP.NET
IISIIS
3rd Party
ApplicationsReport Designer
Management Studio
Configuration Tool
Report Builder Report Manager
SharePoint V3
Report Server
Database
Configuration
Files
Report Data
Sources
SharePoint V3
Databases
WMIWMI
WMI ProviderWindows Service
Web Service
SOAP / URL elérés
Riport feldolgozás
Bővíthetőség
Web Service
ASP.NETASP.NET
IISIIS
3rd Party
ApplicationsReport Designer
Management Studio
Configuration Tool
Report Builder Report Manager
SharePoint V3
Report Server
Database
Configuration
Files
Report Data
Sources
SharePoint V3
Databases
WMIWMI
WMI ProviderWindows Service
Ütemezés / kézbesítés
Adatbázis karbantartás
Jelentés feldolgozás
Bővíthetőség
3rd Party
alkalmazásokReport Designer
Management Studio
Configuration Tool
Report Builder
Report Manager
SharePoint V3
Report Server
adatbázis
Konfigurációs
fájlok
Jelentés adat-
források
SharePoint V3
adatbázisok
WMIWMI
WMI Provider
Webszolgáltatások
Háttér feldolgozások
Platform
Windows szolgáltatás
3rd Party
ApplicationsReport Designer
Management Studio
Configuration Tool
Report Builder
SharePoint V3
Report Server
Database
Configuration
Files
Report Data
Sources
SharePoint V3
Databases
WMIWMI
WMI Provider
Platform
Web Service
Report Manager
Background Processing
Jelentés feldolgozás
Ütemezés / kézbesítés
Adatbázis karbantartás
Bővíthetőség
3rd Party
ApplicationsReport Designer
Management Studio
Configuration Tool
Report Builder
SharePoint V3
Report Server
Database
Configuration
Files
Report Data
Sources
SharePoint V3
Databases
WMIWMI
WMI Provider
Web Service
Report Manager
Background Processing
Platform
Szolgáltatás hálózati Szolgáltatás hálózati
interfészei
Szolgáltatás Szolgáltatás
platform
ASP.NET
Hitelesítés
App Domain App Domain
kezelés
Memória-
menedzsment
Memória-
menedzsment
Egy szolgáltatásEgy szolgáltatás
Könnyebb telepíteni, konfigurálni és felügyelniKönnyebb telepíteni, konfigurálni és felügyelni
Megszűnt az Megszűnt az IISIIS függőségfüggőség
A A Report Server Report Server eszközök biztosítják az IIS funkcionalitásteszközök biztosítják az IIS funkcionalitást
Nem kell Nem kell IISIIS--tt futtatni az adatbázis szerverenfuttatni az adatbázis szerveren
Az Az SQL ServerSQL Server--relrel közös belső komponensekközös belső komponensek
A hálózati interfészek közösek az A hálózati interfészek közösek az SQL ServerSQL Server--relrel
A A Report Server sReport Server szolgáltatászolgáltatás SQL CLRSQL CLR--benben implementálja az implementálja az ASP.NETASP.NET--netnet
Nem változik meg a telepítési topológiaNem változik meg a telepítési topológia
Változatlan Változatlan SOAP, URL Access SOAP, URL Access ésés Report Manager Report Manager támogatástámogatás
A frissítések támogatottakA frissítések támogatottak
Table
Matrix
List
Chart
Gro
up
Kalk
Adattár
Adatok
Tablix
Winforms
Webforms
CSV
XML
Image
ROM
HTML
Kép
HTML
Excel
Nyomtató
Kép
Hard Page
előállítás
Adat
Soft Page
előállítás
Chart
Word Word formátumformátum
Az előállított jelentés Word 2000 és újabb Az előállított jelentés Word 2000 és újabb verziókkal kompatibilisverziókkal kompatibilis
Javított Javított CSV CSV formátumformátum
Valódi adatformátumValódi adatformátum, , nem hibrid adat/szövegnem hibrid adat/szöveg
Javított Javított Excel Excel formátumformátum
Egymásba ágyazott adatrégiók támogatásaEgymásba ágyazott adatrégiók támogatása
Egymásba ágyazott Egymásba ágyazott aljelentésekaljelentések támogatásatámogatása
Formázási és lapozási konzisztenciaFormázási és lapozási konzisztencia
ElosztottElosztott ügyfélügyfél//kiszolgálókiszolgáló számításokszámítások
Robosztus, ügyfélRobosztus, ügyfél--oldali jelentés előállításoldali jelentés előállítás
Gyorsabb készülnek el az első oldalakGyorsabb készülnek el az első oldalak
TablixTablix
Szerver oldali memóriafelügyelő infrastruktúraSzerver oldali memóriafelügyelő infrastruktúra
DinamikusDinamikus, , önmagát menedzselő, memória krízisre reagálóönmagát menedzselő, memória krízisre reagáló
Memória hiány esetén automatikusan csökkenti a terheléstMemória hiány esetén automatikusan csökkenti a terhelést
Fájlrendszer alapú Fájlrendszer alapú gyorsítótárgyorsítótár
Memóriahiány esetén használjaMemóriahiány esetén használja
Amikor a feldolgozó alrendszer további memóriát igényelAmikor a feldolgozó alrendszer további memóriát igényel
Határértékeket állíthatunk be Határértékeket állíthatunk be (Min, Max)(Min, Max)
A szerver azt feltételezi, hogy a Minimum értékkel jelzett memória A szerver azt feltételezi, hogy a Minimum értékkel jelzett memória rendelkezésre állrendelkezésre áll
Több memóriát csak akkor foglal a rendszer, ha szükség van ráTöbb memóriát csak akkor foglal a rendszer, ha szükség van rá
A A Maximum Maximum határérték azt jelzi, hogy azt nem szabad túllépnihatárérték azt jelzi, hogy azt nem szabad túllépni
Figyeli más rendszerek memóriafoglalását isFigyeli más rendszerek memóriafoglalását is
Az egyes lapok előállítására fordított Az egyes lapok előállítására fordított
idő közel állandóidő közel állandó
Az első lap előállítási ideje változóAz első lap előállítási ideje változó
JelentésfüggőJelentésfüggő
AzAz RS 2008 RS 2008 adatok kisebb adatok kisebb
változatosságot mutatnakváltozatosságot mutatnak
0
200
400
600
800
1000
1200
0 200 400
Vála
szid
ő[m
s]
Lapok száma
Válaszidő (csoportosított táblázat)
RS 2005 SP1
RS 2008 Back Compat
SQL 2008 RS
SSRS 2008
{{MemóriakezelésMemóriakezelés}}
{{ Szebbet, egyszerűbben! Szebbet, egyszerűbben! }}
20012001 20022002 TotalTotal
1,1151,115 1,3311,331 2,4462,446
152152 642642 794794
11,15611,156 13,31213,312 24,46824,468
1,5231,523 6,4216,421 7,9447,944
13,94613,946 21,70621,706 35,65335,653
RetailRetail AcmeAcme
Nadir, Inc.Nadir, Inc.
WholesaleWholesale ABC Corp.ABC Corp.
XYZ, Ltd.XYZ, Ltd.
Grand TotalGrand Total
CustomerCustomer
RetailRetail
AcmeAcme
Nadir, Inc.Nadir, Inc.
WholesaleWholesale
ABC Corp.ABC Corp.
XYZ, Ltd.XYZ, Ltd.
Grand TotalGrand Total
GrowthGrowth
19%19%
322%322%
19%19%
322%322%
56%56%
Tabl ixe + Matr
MMáátrixtrix ++::
Többszörös egymás melletti sor/oszlop elemek Többszörös egymás melletti sor/oszlop elemek minden szintenminden szinten
Bármelyik elem lehet statikus vagy dinamikusBármelyik elem lehet statikus vagy dinamikus
Az elemek fejlécei elhagyhatóakAz elemek fejlécei elhagyhatóak
TTááblblázatázat ++::
DinamikusDinamikus, , egymásba ágyazhatóegymásba ágyazható oszlopcsoportokoszlopcsoportok
Többszörös párhuzamos sorcsoportokTöbbszörös párhuzamos sorcsoportok
Statikus sorokStatikus sorok
Átnyúló sorfejlécekÁtnyúló sorfejlécek
Table Chair
WA Seattle 20 30
Spokane 10 20
OR Portland 10 10
Eugene 25 5
2005 2006
WA Seattle 50 60
Spokane 30 40
OR Portland 40 50
Eugene 20 30
SQL 2005
SQL 2008
Year Product
2005 2006 Table Chair
WA Seattle 50 60 20 30
Spokane 30 40 10 20
OR Portland 40 50 10 10
Eugene 20 30 25 5
State City Pop Area
WA Seattle 20 30
WA Spokane 10 20
OR Portland 10 10
OR Eugene 25 5
State City 2005 2006 Pop Area
WA Seattle 50 60 20 30
Spokane 30 40 10 20
OR Portland 40 50 10 10
Eugene 20 30 25 5
2005 2006
WA Seattle 50 60
Spokane 30 40
OR Portland 40 50
Eugene 20 30
SQL 2005
SQL 2008
2005 2006
West Total 140 180
Washington Total 80 100
Seattle 50 60
Spokane 30 40
Oregon Total 60 80
Portland 40 50
Eugene 20 30
East Total 200 220
2005 2006
West 140 180
Washington 80 100
Seattle 50 60
Spokane 30 40
Oregon 60 80
Portland 40 50
Eugene 20 30
East 200 220
SQL 2005 SQL 2008
...
...
AA DundasDundas SoftwareSoftware alábbi komponenseitalábbi komponenseitlicenszeljüklicenszeljük::
ChartChart
GaugeGauge
MapMap
BarcodeBarcode
CalendarCalendar
Grafikonok Grafikonok –– CTP4CTP4--tőltől
GaugeGauge--okok –– CTP 6CTP 6--tóltól
Map, Map, BarcodeBarcode, , CalendarCalendar??
A szövegdobozokban többfajta stílust A szövegdobozokban többfajta stílust használhatunkhasználhatunk
A kevert statikus szövegek, referenciák, A kevert statikus szövegek, referenciák, kifejezések különböző formátumúak kifejezések különböző formátumúak lehetneklehetnek
BekezdésekBekezdések
LiListáksták
FelsorolásokFelsorolások
HTML HTML elemekelemek
{{A A ReportReport BuilderBuilder--tt és a és a ReportReport DesignerDesigner--tt aa
Report Builder 2008Report Builder 2008}} váltja ki hosszabb váltja ki hosszabb távontávon
Egységes felület, teljes RDL támogatásEgységes felület, teljes RDL támogatás
A A Report Builder modelReport Builder modell támogatása l támogatása megmaradmegmarad
A A szszemantiemantikuskus jelentésjelentésmodelmodelleklekmegmaradnakmegmaradnak
Az SQL Server 2008 utánAz SQL Server 2008 után: : {{a a Report Builder Report Builder 2008 2008 az SQL Server 2008 megjelenését az SQL Server 2008 megjelenését követően, önállóan jelenik megkövetően, önállóan jelenik meg}}
{{TablixTablix, , DundasDundas, Word, Word}}
Legfontosabb újdonságokLegfontosabb újdonságok
Egy szolgáltatás, IIS függetlenségEgy szolgáltatás, IIS függetlenség
Javított memóriakezelés, riport előállításJavított memóriakezelés, riport előállítás
Word exportWord export
TablixTablix, , DundasDundas
Miért érdemes váltani 2005Miért érdemes váltani 2005--rőlről
MegbízhatóbbMegbízhatóbb
GyorsabbGyorsabb
HatékonyabbHatékonyabb
SzebbSzebb