Terhelés modellek, benchmarkok
-
Upload
illana-wong -
Category
Documents
-
view
42 -
download
2
description
Transcript of Terhelés modellek, benchmarkok
Terhelés modellek, benchmarkok
Számítógépes infrastruktúra rendszertervezése
BME MIT 2004.
BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 2
Terhelés modell
IT fejlesztési terv
IT infrastruktúra
Költségmodellek
Választottköltségmodell
IT jellemzok
Terhelés leírás
Terhelésjellemzok
Terhelés modell
Teljesítménybecslés
Teljesítménymodellek
Teljesítménymodell
Kalibrálás ésvalidálás
What-if analízis
BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 3
Terhelés modell meghatározása
• Adatgyűjtés– benchmarkok (Terhelés ea.)– ökölszabályok– „best practices”– mérések
• Monitorozás– belső (szerver)– külső (kliens, hálózat)
• Adatok rendszerezése– klaszter technikák
BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 4
Terhelés mérése ellenőrzött környezetben
Teljesítmény monitorozás
Teljesítmény monitorozás
DEDIKÁLT HÁLÓZAT
Dedikált szerverKliens gépen futó tesztelő szkript
BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 5
Terhelés modell minta
1 napi mérés adataiÉrkezési ráta 20,000 kérés/óra LAN 1 100 Mbps LAN 2 100 Mbps T3 Link 1.5 Mbps
Egy kérés szolgáltatás igénye
E-business Funkció
Kérések száma
WS CPU (ms)
WS IO (ms)
AS CPU (ms)
AS IO (ms)
DB CPU (ms)
DB IO (ms)
LAN 1 (ms)
LAN 2 (ms)
T3 Link (ms)
Össz. szolg. igény
általános info 20,000 5.2 9.5 25.0 15.0 10.0 20.0 0.492 0.532 16.4 132.1
könyv keresés 18,900 4.8 8.5 18.0 14.0 13.0 40.0 0.328 0.352 12.0 91.0
könyv böngészés 14,120 4.9 8.2 13.0 12.0 13.0 40.0 0.287 0.328 12.0 83.7
bejelentkezés 8,020 5.1 8.4 12.0 10.0 13.0 20.0 0.295 0.492 11.5 80.8
regisztráció 892 32.0 15.0 16.0 30.0 15.0 20.0 0.655 0.000 32.8 126.4
bevásárlókosár 670 32.0 14.0 18.0 24.0 0.0 0.0 0.410 0.000 19.1 107.5
fizetés 584 31.0 15.0 35.0 90.0 30.0 80.0 0.819 0.901 43.7 326.4
BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 6
Mire jó a benchmark?• Felhasználók:
– termék összehasonlítás– méretezés meghatározása
• Gyártók– összehasonlítás a konkurenciával– tesztelés– teljesítményküszöb demonstráció
• Benchmark-kal mérhető– hardver erőforrások (CPU, VGA kártya, stb.)– szoftver rendszerek (DBMS, Web szerver, stb.)– komplex megoldások (üzleti rendszerek, ld. TCP-W), stb.
BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 7
Bechmark környezet• Specifikáció
– hardver– szoftver– üzemviszonyok– ütemezés– dokumentáció
• Alapelvek– kölcsönös zavarás minimalizálása (üzem közben)– Pareto elv (80/20)– prekoncepció (mit mérünk)– terhelés közelítse a valós mintát
• terhelésprofilok
BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 8
Benchmark terhelési modellek• Tudományos/műszaki rendszerek
– nagy mennyiségű adat feldolgozása (number crunching)
– párhuzamos módszerek
• Tranzakciókezelés (OLTP)– kliens-szerver környezet
– sok gyors, párhuzamos tranzakció
• Batch jellegű adatfeldolgozás– riport készítés nagy mennyiségű adatból
• Döntéstámogatás– kevés, bonyolult lekérdezés
– ad hoc műveletek
– sok adat
BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 9
Benchmark terhelési modellek
• Hálózati technológiák– Web szerver– Mail szerver– objektum technológiák (ORB, SOAP, stb.)– összetett (több rétegű) rendszerek
• Alkalmazások– automatikus végrehajtás
• Nehéz általános benchmarkot kidolgozni– sok mérés alkalmazás specifikus– pl. .NET vs. j2EE rendszerek – különböző benchmarkok
BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 10
Mérendő paraméterek
• Futási idő– kezdet, vég?– eloszlás– CPU, I/O, hálózat,…
• Tranzakiósebesség– rendszer reakcióideje– akár egymásba ágyazott tranzakciók
• Áteresztőképesség– feldolgozott adatmennyiség / futási idő– terhelés függvényében
BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 11
Mérendő paraméterek
• Válaszidő (folyt.)– terhelés függvényében
• felhasználók
• tranzakciók száma, stb.
– eloszlás meghatározása– szélsőséges értékek– legjellemzőbb:
percentil
BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 12
Eredmények összehasonlítása• pl. referenciarendszer alapján• Több paraméter alapján ellentmondást
kaphatunk• Absztrakt referencia („standard benchmark”)• Adatbányászati módszerek• Önskálázó benchmarkok
– formális rendszermodell alapján– referencia: jósolt teljesítmény
• elemi kérések nagysága• I/O arány• egyidejű kérések száma, stb.
BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 13
Tipikus problémák
• Túl kicsi problémaméret• Elavult referenciák• „Rejtett” paraméterek
– konfigurációs beállítások– adott környezet specifikus tulajdonságai
• Elfogultság• Hiányos specifikáció
BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 14
SPEC benchmarkok
• http://www.spec.org/benchmarks.html• Standard Performance Evaluation Corp.• Erőforrás és alkalmazás szintű benchmarkok
– CPU– Alkalmazások– Levelező szerverek– Web szerverek– Network File System, stb.
• Benchmark: megrendelhető szolgáltatás
BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 15
SPEC benchmarkok • SPECweb99
– Párhuzamos kapcsolatok– Dinamikus kérés generálás
• SPECmail2001– Válaszidő, áteresztőképesség– SMTP, POP3 protokollok– 10,000 – 1,000,000 felhasználó
• SPECviewperf– grafikus rendszerek (OpenGL)– viewset-ek definiálhatók (grafikus alkalmazás)
• árnyalás• fényerő• stb.
BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 16
SPECmail2001 példa
BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 17
Benchmark rendszerek összehasonlítása
n db különböző mérőszám rendszer kiértékelése m db mérendő rendszerre
távolság értékek normálása 0 és 1 közé
az i. és a j. benchmark mérőszám rendszer távolsága
a (mérőszám) rendszerek összehasonlítása
BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 18
Benchmark rendszerek összehasonlítása
• Benchmark rendszerek (pl. SPEC):– több mérőszámot használnak fel– melyik lényeges, hány mérőszám kell?
• Méret (size, D)– „gömb” (n. dimenziós) „térfogata”, amelyik tartalmazza az
összes értéket
• Lefedettség (utilization/coverage, U):3 1
( ) 100 , max( )max( ) 2
DU n ahol D n
D n n
SPEC rendszer lefedettségének fejlődése
BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 19
Benchmark rendszerek összehasonlítása
• Teljesség– mely mérőszám csoportok mennyire fedik le a rendszer
• Redundancia– az egyes mérőszámok közt mennyi az átfedés
– ha 10-20%-nál kisebb a különbözőség, helyettesíthető
pl. gcc mérőszámmal helyettesítjük a többit
forrás: Jozo J. Dujmovic, Ivo Dujmovic:
Evolution and evaluation of SPEC benchmarks
http://portal.acm.org
BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 20
TPC benchmarkok• http://www.tpc.org/information/benchmarks.asp
• Transaction Processing Council• TPC-C (elektronikus kereskedelem, banki rendszer):
– felhasználók tranzakciókat hajtanak végre– rendelés/lemondás, lekérdezés, stb.– szervereket hasonlít össze
• HW• OS• DBMS• egyéb paraméterek:
– tervezett rendelkezésre állás, elérhetőség (pl. 24/7 vs. 8/5)
– OLTP rendszerek mérőszámai:• tranzakciós ráta (tpmC): 5 különböző fajta tranzakció alapján• ár / tranzakció ($/tpmC): fenntartási költségek / tranzakciók
BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 21
TCP benchmarkok 2.• TCP-R (döntéstámogatás):
– összetett lekérdezések
• TCP-R metrikák:– QphR@Size, lekérdezések száma/óra– függ az adatbázis méretétől– $/QphR@Size, lekérdezések ára
• Példa (TCP-C): TpmC $/TpmC
BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 22
TPC-W
• TCP-W (Web e-Commerce rendszerek):– komplex rendszereket hasonlít össze
• különféle szerverek összekapcsolása
– dinamikus oldalak– 3 különböző profil vizsgálata
• rendelés gyakorisága különböző
– szimulált terhelés– könyvesbolt a mintarendszer
• bejelentkezés, bevásárlókocsi, online rendelés
• hitelkártya információ külső szolgáltatótól
(Payment Gateway)
• böngészőből elérhető
BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 23
TCP-W konfiguráció
BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 24
TCP-W mérés• Emulált böngészők
– „gondolkodási idő”, átlag 7 sec, max. 70 sec– döntési valószínűségek (Web Interaction Mix)– válaszidő követelmények– új / régi felhasználók (regisztrálás, cache)– felhasználók száma (Number of Users)
• Scale factor:– könyvek száma az adatbázisban, 1000…10,000,000
• Átlagos vagy Worst Case értékek
BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 25
TCP-W metrikák• Web Interactions Per Second (WIPS)
– tökéletes rendszer: WIPS = Number of Users / 7– ha WIPS < Number Of Users / 14
• nagy adatbázis méretnél gondok lehetnek– WIPSb: inkább böngészés (más emuláció)– WIPSo: inkább rendelés, erős adatbázis terhelés– WIPSo ~ WIPS*( 1/3…1/2)
• Web szerver teljesítmény mérés– CPU használat– HTTP bytes/sec
• Adatbázis szerver mértékek– mint a Web szervernél + Diszk I/O
BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 26
TCP-W tulajdonságai• Előnyök
– komplex rendszer tesztelés– valós viszonyok
• terheléskiegyenlítés a Web szerverek közt• külön Image szerver• Web cache használata
• Hátrányok:– nem valós alkalmazást használ
• alacsony szinten van kódolva
– túl egyszerű lekérdezéseket használ– kevés kép/oldal van a mintarendszerben
• ezért tiltja a cache-t az emulált böngészőben
forrás: Wayne D. Smith: TCP-W: Benchmarking An Ecommerce Solution
http://www.tpc.org/tpcw/TPC-W_Wh.pdf
BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 27
Terhelés benchmark példa• Standard Performance Evaluation Corp.• Alkalmazás szerver SPEC CINT2000=431• Egy szolgáltatás CPU igénye 10 ms• Új szerver, SPEC CINT2000=518• Új CPU igény:
10 / (518/431) = 8.3 ms
• Fontos: jó benchmarkot válasszunk!• Pl. lebegőpontos számítás esetén
SPEC CFP2000 kéne
BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 28
Terhelés előrejelzés
• A terhelési modell várható változása• Többféle technika létezik • Példa: lineáris regresszió
Trendline:No. Video Requests = 911.94 * Month + 16,153
0
5,000
10,000
15,000
20,000
25,000
1 2 3 4 5 6
Month
No
. of
Vid
eo
Re
qu
es
ts
BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 29
Terhelés előrejelzési technikák