Pospeševalci baz podatkov - linux-konferenca.org file– izgradnja skladišta podataka Izgradnja BI...
Transcript of Pospeševalci baz podatkov - linux-konferenca.org file– izgradnja skladišta podataka Izgradnja BI...
![Page 1: Pospeševalci baz podatkov - linux-konferenca.org file– izgradnja skladišta podataka Izgradnja BI rješenja za velike količine podataka i broj korisnika Virtualizacija. Page 5/20](https://reader030.fdocuments.net/reader030/viewer/2022040706/5e068842871f687adb3e0ae1/html5/thumbnails/1.jpg)
bussiness solutionsVinteh
Pospeševalci baz podatkovkolumnarne arhitekture
Goran CvijanovićVinteh d.o.o.
rujan 2010
![Page 2: Pospeševalci baz podatkov - linux-konferenca.org file– izgradnja skladišta podataka Izgradnja BI rješenja za velike količine podataka i broj korisnika Virtualizacija. Page 5/20](https://reader030.fdocuments.net/reader030/viewer/2022040706/5e068842871f687adb3e0ae1/html5/thumbnails/2.jpg)
www.vinteh.hrPage 2/20
bussiness solutionsVinteh
Sadržaj prezentacije
Baze podataka ROW vs COLUMN
Zašto i kada koristiti baze s kolumnarnom strukturom
Baze za poslovnu inteligenciju
InfiniDB, Infobright
Platforme za BI koje mogu koristiti kolumnarne baze
Performanse i skalabilnost
Zaključak
![Page 3: Pospeševalci baz podatkov - linux-konferenca.org file– izgradnja skladišta podataka Izgradnja BI rješenja za velike količine podataka i broj korisnika Virtualizacija. Page 5/20](https://reader030.fdocuments.net/reader030/viewer/2022040706/5e068842871f687adb3e0ae1/html5/thumbnails/3.jpg)
www.vinteh.hrPage 3/20
bussiness solutionsVinteh
Open Source advokatura
NO COPYRIGHTS OR LICENSES. DO WHAT YOU LIKE.
This is the new jQuery Tools license
Copyrights and patents are evil. They block the natural progress of development. We all know it - if people start sharing instead of owning the world would be a better place
![Page 4: Pospeševalci baz podatkov - linux-konferenca.org file– izgradnja skladišta podataka Izgradnja BI rješenja za velike količine podataka i broj korisnika Virtualizacija. Page 5/20](https://reader030.fdocuments.net/reader030/viewer/2022040706/5e068842871f687adb3e0ae1/html5/thumbnails/4.jpg)
www.vinteh.hrPage 4/20
bussiness solutionsVinteh
Open Source advokatura - g.c.
Optimiranje baza
BI expertiza
– integracija podataka
– Pentaho i Palo platforme
– izgradnja skladišta podataka
Izgradnja BI rješenja za velike količine podataka i broj korisnika
Virtualizacija
![Page 5: Pospeševalci baz podatkov - linux-konferenca.org file– izgradnja skladišta podataka Izgradnja BI rješenja za velike količine podataka i broj korisnika Virtualizacija. Page 5/20](https://reader030.fdocuments.net/reader030/viewer/2022040706/5e068842871f687adb3e0ae1/html5/thumbnails/5.jpg)
www.vinteh.hrPage 5/20
bussiness solutionsVinteh
Strukture baza podataka
Kolumnarne baze spremaju podatke na drugačiji način od klasičnih relacijskih baza
ROW
– OLTP baze
COLUMN
– OLAP baze
[ali ne nužno]
![Page 6: Pospeševalci baz podatkov - linux-konferenca.org file– izgradnja skladišta podataka Izgradnja BI rješenja za velike količine podataka i broj korisnika Virtualizacija. Page 5/20](https://reader030.fdocuments.net/reader030/viewer/2022040706/5e068842871f687adb3e0ae1/html5/thumbnails/6.jpg)
www.vinteh.hrPage 6/20
bussiness solutionsVinteh
Prednosti kolumnarne arhitekture
Kolumnarne baze dohvaćaju samo one kolone koje su navedene u upitu
Efekti selektivnog dohvata zamjenjuju potrebu za indeksima
Za tablice sa velikim brojem kolona značajno poboljšava performanse
Smanjuje broj I/O upita do 75%, te eliminira potrebu za particioniranjem
Uobičajeno ubrzavaju izvršavanje upita za 5 do 10 puta
Nepotrebni su materijalizirani pogledi (view) i prekalkulirane vrijednosti
![Page 7: Pospeševalci baz podatkov - linux-konferenca.org file– izgradnja skladišta podataka Izgradnja BI rješenja za velike količine podataka i broj korisnika Virtualizacija. Page 5/20](https://reader030.fdocuments.net/reader030/viewer/2022040706/5e068842871f687adb3e0ae1/html5/thumbnails/7.jpg)
www.vinteh.hrPage 7/20
bussiness solutionsVinteh
Kada kolumnarne arhitekture nisu prednost
Ukoliko aplikacija koristi puno SELECT * upita, dohvaćaju se sve kolone
Kada se izvršava veliki broj pojedinačnih INSERT i DELETE nardbi koje su u načinu rada zapravo RAW orjentirane (za razliku od UPDATE)
Za korištenje u sustavima koji su prvenstveno OLTP
Za male baze podataka, dobitak na performansama je manji
![Page 8: Pospeševalci baz podatkov - linux-konferenca.org file– izgradnja skladišta podataka Izgradnja BI rješenja za velike količine podataka i broj korisnika Virtualizacija. Page 5/20](https://reader030.fdocuments.net/reader030/viewer/2022040706/5e068842871f687adb3e0ae1/html5/thumbnails/8.jpg)
www.vinteh.hrPage 8/20
bussiness solutionsVinteh
Trendovi u BI sferi
Razlozi za korištenje novih arhitektura baza podataka za BI
– loše performanse upita 45%
– napredne analitičke funkcije nisu podržane 40%
– nedovoljna brzina učitavanja podataka 39%
– nemogućnost skaliranja za velike količine podataka 37%
– cijena licenci i ostalih troškova mogućeg skaliranja je previsoka 33%
TDWI, 2009
![Page 9: Pospeševalci baz podatkov - linux-konferenca.org file– izgradnja skladišta podataka Izgradnja BI rješenja za velike količine podataka i broj korisnika Virtualizacija. Page 5/20](https://reader030.fdocuments.net/reader030/viewer/2022040706/5e068842871f687adb3e0ae1/html5/thumbnails/9.jpg)
www.vinteh.hrPage 9/20
bussiness solutionsVinteh
Predviđanja analitičkih kuća
za OLAP sustave :
“... it outperforms anything that doesn't take
a column-store approach”
![Page 10: Pospeševalci baz podatkov - linux-konferenca.org file– izgradnja skladišta podataka Izgradnja BI rješenja za velike količine podataka i broj korisnika Virtualizacija. Page 5/20](https://reader030.fdocuments.net/reader030/viewer/2022040706/5e068842871f687adb3e0ae1/html5/thumbnails/10.jpg)
www.vinteh.hrPage 10/20
bussiness solutionsVinteh
Infobright
Connectors
– Standard MySQL
Knowledge Grid
– Node
– Data Pack
![Page 11: Pospeševalci baz podatkov - linux-konferenca.org file– izgradnja skladišta podataka Izgradnja BI rješenja za velike količine podataka i broj korisnika Virtualizacija. Page 5/20](https://reader030.fdocuments.net/reader030/viewer/2022040706/5e068842871f687adb3e0ae1/html5/thumbnails/11.jpg)
www.vinteh.hrPage 11/20
bussiness solutionsVinteh
Infobright
Prednosti
– visoki stupanj kompresije
– poboljšana funkcionalnost rada SQL upita
– poboljšane performanse SQL upita
– kvalitetan meta-data sloj i arhitektura
Nedostaci
– koristi samo jedan procesor, nema MPP, loša skalabilnost
– community verzija ne podržava DML funkcije
![Page 12: Pospeševalci baz podatkov - linux-konferenca.org file– izgradnja skladišta podataka Izgradnja BI rješenja za velike količine podataka i broj korisnika Virtualizacija. Page 5/20](https://reader030.fdocuments.net/reader030/viewer/2022040706/5e068842871f687adb3e0ae1/html5/thumbnails/12.jpg)
www.vinteh.hrPage 12/20
bussiness solutionsVinteh
InfiniDB – community version
User Module
– standard MySQL kompatibilnost
– query procesiranje
Performance Module
– load i write procesiranje
– data cache procesiranje
Storage
– blok, extent, segment, particija
– logička kompresija podataka
![Page 13: Pospeševalci baz podatkov - linux-konferenca.org file– izgradnja skladišta podataka Izgradnja BI rješenja za velike količine podataka i broj korisnika Virtualizacija. Page 5/20](https://reader030.fdocuments.net/reader030/viewer/2022040706/5e068842871f687adb3e0ae1/html5/thumbnails/13.jpg)
www.vinteh.hrPage 13/20
bussiness solutionsVinteh
InfiniDB – enterprise version
SK
ALA
BIL
NO
ST
PE
RF
OR
MA
NS
E
![Page 14: Pospeševalci baz podatkov - linux-konferenca.org file– izgradnja skladišta podataka Izgradnja BI rješenja za velike količine podataka i broj korisnika Virtualizacija. Page 5/20](https://reader030.fdocuments.net/reader030/viewer/2022040706/5e068842871f687adb3e0ae1/html5/thumbnails/14.jpg)
www.vinteh.hrPage 14/20
bussiness solutionsVinteh
InfiniDB
Prednosti
– odličan skup mogućnosti i visoke performanse
– skalabilnost na više procesora SMP (vertikalna) i MPP (vodoravna), ali ne u community verziji
– unaprijeđen rad optimizatora upita u odnosu na standardni MySQL
Nedostaci
– ograničena kompatibilnost sa SQL standardima
– nema kompresiju podataka u fizičkom sloju
![Page 15: Pospeševalci baz podatkov - linux-konferenca.org file– izgradnja skladišta podataka Izgradnja BI rješenja za velike količine podataka i broj korisnika Virtualizacija. Page 5/20](https://reader030.fdocuments.net/reader030/viewer/2022040706/5e068842871f687adb3e0ae1/html5/thumbnails/15.jpg)
www.vinteh.hrPage 15/20
bussiness solutionsVinteh
BI platforme s kolumnarnim bazama
Podrška za standardne protokole MySQL baze
– osnova za podršku velikog broja BI alata
Suradnja s vodećim OpenSource BI vendorima
– Pentaho
– Jaspersoft
Alati za integraciju podataka
– Pentaho kettle
– Talend
![Page 16: Pospeševalci baz podatkov - linux-konferenca.org file– izgradnja skladišta podataka Izgradnja BI rješenja za velike količine podataka i broj korisnika Virtualizacija. Page 5/20](https://reader030.fdocuments.net/reader030/viewer/2022040706/5e068842871f687adb3e0ae1/html5/thumbnails/16.jpg)
www.vinteh.hrPage 16/20
bussiness solutionsVinteh
Integracija podataka – Pentaho Kettle
INT
EG
RIR
AN
O U
PL
AT
FO
RM
UM
OD
ULA
RN
O
![Page 17: Pospeševalci baz podatkov - linux-konferenca.org file– izgradnja skladišta podataka Izgradnja BI rješenja za velike količine podataka i broj korisnika Virtualizacija. Page 5/20](https://reader030.fdocuments.net/reader030/viewer/2022040706/5e068842871f687adb3e0ae1/html5/thumbnails/17.jpg)
www.vinteh.hrPage 17/20
bussiness solutionsVinteh
Integracija podataka - Talend
OP
EN
ST
UD
IOIN
TE
GR
I RA
NI D
EB
UG
ER
Q/A
PO
DA
TA
KA
![Page 18: Pospeševalci baz podatkov - linux-konferenca.org file– izgradnja skladišta podataka Izgradnja BI rješenja za velike količine podataka i broj korisnika Virtualizacija. Page 5/20](https://reader030.fdocuments.net/reader030/viewer/2022040706/5e068842871f687adb3e0ae1/html5/thumbnails/18.jpg)
www.vinteh.hrPage 18/20
bussiness solutionsVinteh
Performanse
Usporedba kolumnarnih baza za standardni skup benchmark testova
ZAUZEĆE PROSTORA
Infobright 112G
InfiniDB 626G
LucidDB 127G+indx
MonetDB 650G
![Page 19: Pospeševalci baz podatkov - linux-konferenca.org file– izgradnja skladišta podataka Izgradnja BI rješenja za velike količine podataka i broj korisnika Virtualizacija. Page 5/20](https://reader030.fdocuments.net/reader030/viewer/2022040706/5e068842871f687adb3e0ae1/html5/thumbnails/19.jpg)
www.vinteh.hrPage 19/20
bussiness solutionsVinteh
InfiniDB performanse
Brže izvršenje upita
Nepotrebno dodavati i reorganizirati indekse
Predvidljivost trajanja izvršenja upita
![Page 20: Pospeševalci baz podatkov - linux-konferenca.org file– izgradnja skladišta podataka Izgradnja BI rješenja za velike količine podataka i broj korisnika Virtualizacija. Page 5/20](https://reader030.fdocuments.net/reader030/viewer/2022040706/5e068842871f687adb3e0ae1/html5/thumbnails/20.jpg)
www.vinteh.hrPage 20/20
bussiness solutionsVinteh
Zaključak
Open Source DBMS
Kolumnarna arhitektura
Baza podataka namijenjena za DW
Open Source integracija podataka
64bit hardver i softver
Napredne analitičke mogućnosti
Podrška i alati za Q/A podataka Koristi Planira/Testira
0
10
20
30
40
50
60
70
80
90