terhelés modellek, benchmarkok

29
Terhelés modellek, benchmarkok Számítógépes infrastruktúra rendszertervezése BME MIT 2004.

Upload: illana-wong

Post on 30-Dec-2015

42 views

Category:

Documents


2 download

DESCRIPTION

Terhelés modellek, benchmarkok. Számítógépes infrastruktúra rendszertervezése BME MIT 2004. Terhelés modell. Terhelés modell meghatározása. Adatgyűjtés benchmarkok (Terhelés ea.) ökölszabályok „best practices” mérések Monitorozás belső (szerver) külső (kliens, hálózat) - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: Terhelés modellek, benchmarkok

Terhelés modellek, benchmarkok

Számítógépes infrastruktúra rendszertervezése

BME MIT 2004.

Page 2: Terhelés modellek, benchmarkok

BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 2

Terhelés modell

IT fejlesztési terv

IT infrastruktúra

Költségmodellek

Választottköltségmodell

IT jellemzok

Terhelés leírás

Terhelésjellemzok

Terhelés modell

Teljesítménybecslés

Teljesítménymodellek

Teljesítménymodell

Kalibrálás ésvalidálás

What-if analízis

Page 3: Terhelés modellek, benchmarkok

BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 3

Terhelés modell meghatározása

• Adatgyűjtés– benchmarkok (Terhelés ea.)– ökölszabályok– „best practices”– mérések

• Monitorozás– belső (szerver)– külső (kliens, hálózat)

• Adatok rendszerezése– klaszter technikák

Page 4: Terhelés modellek, benchmarkok

BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 4

Terhelés mérése ellenőrzött környezetben

Teljesítmény monitorozás

Teljesítmény monitorozás

DEDIKÁLT HÁLÓZAT

Dedikált szerverKliens gépen futó tesztelő szkript

Page 5: Terhelés modellek, benchmarkok

BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 5

Terhelés modell minta

1 napi mérés adataiÉrkezési ráta 20,000 kérés/óra LAN 1 100 Mbps LAN 2 100 Mbps T3 Link 1.5 Mbps

Egy kérés szolgáltatás igénye

E-business Funkció

Kérések száma

WS CPU (ms)

WS IO (ms)

AS CPU (ms)

AS IO (ms)

DB CPU (ms)

DB IO (ms)

LAN 1 (ms)

LAN 2 (ms)

T3 Link (ms)

Össz. szolg. igény

általános info 20,000 5.2 9.5 25.0 15.0 10.0 20.0 0.492 0.532 16.4 132.1

könyv keresés 18,900 4.8 8.5 18.0 14.0 13.0 40.0 0.328 0.352 12.0 91.0

könyv böngészés 14,120 4.9 8.2 13.0 12.0 13.0 40.0 0.287 0.328 12.0 83.7

bejelentkezés 8,020 5.1 8.4 12.0 10.0 13.0 20.0 0.295 0.492 11.5 80.8

regisztráció 892 32.0 15.0 16.0 30.0 15.0 20.0 0.655 0.000 32.8 126.4

bevásárlókosár 670 32.0 14.0 18.0 24.0 0.0 0.0 0.410 0.000 19.1 107.5

fizetés 584 31.0 15.0 35.0 90.0 30.0 80.0 0.819 0.901 43.7 326.4

Page 6: Terhelés modellek, benchmarkok

BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 6

Mire jó a benchmark?• Felhasználók:

– termék összehasonlítás– méretezés meghatározása

• Gyártók– összehasonlítás a konkurenciával– tesztelés– teljesítményküszöb demonstráció

• Benchmark-kal mérhető– hardver erőforrások (CPU, VGA kártya, stb.)– szoftver rendszerek (DBMS, Web szerver, stb.)– komplex megoldások (üzleti rendszerek, ld. TCP-W), stb.

Page 7: Terhelés modellek, benchmarkok

BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 7

Bechmark környezet• Specifikáció

– hardver– szoftver– üzemviszonyok– ütemezés– dokumentáció

• Alapelvek– kölcsönös zavarás minimalizálása (üzem közben)– Pareto elv (80/20)– prekoncepció (mit mérünk)– terhelés közelítse a valós mintát

• terhelésprofilok

Page 8: Terhelés modellek, benchmarkok

BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 8

Benchmark terhelési modellek• Tudományos/műszaki rendszerek

– nagy mennyiségű adat feldolgozása (number crunching)

– párhuzamos módszerek

• Tranzakciókezelés (OLTP)– kliens-szerver környezet

– sok gyors, párhuzamos tranzakció

• Batch jellegű adatfeldolgozás– riport készítés nagy mennyiségű adatból

• Döntéstámogatás– kevés, bonyolult lekérdezés

– ad hoc műveletek

– sok adat

Page 9: Terhelés modellek, benchmarkok

BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 9

Benchmark terhelési modellek

• Hálózati technológiák– Web szerver– Mail szerver– objektum technológiák (ORB, SOAP, stb.)– összetett (több rétegű) rendszerek

• Alkalmazások– automatikus végrehajtás

• Nehéz általános benchmarkot kidolgozni– sok mérés alkalmazás specifikus– pl. .NET vs. j2EE rendszerek – különböző benchmarkok

Page 10: Terhelés modellek, benchmarkok

BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 10

Mérendő paraméterek

• Futási idő– kezdet, vég?– eloszlás– CPU, I/O, hálózat,…

• Tranzakiósebesség– rendszer reakcióideje– akár egymásba ágyazott tranzakciók

• Áteresztőképesség– feldolgozott adatmennyiség / futási idő– terhelés függvényében

Page 11: Terhelés modellek, benchmarkok

BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 11

Mérendő paraméterek

• Válaszidő (folyt.)– terhelés függvényében

• felhasználók

• tranzakciók száma, stb.

– eloszlás meghatározása– szélsőséges értékek– legjellemzőbb:

percentil

Page 12: Terhelés modellek, benchmarkok

BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 12

Eredmények összehasonlítása• pl. referenciarendszer alapján• Több paraméter alapján ellentmondást

kaphatunk• Absztrakt referencia („standard benchmark”)• Adatbányászati módszerek• Önskálázó benchmarkok

– formális rendszermodell alapján– referencia: jósolt teljesítmény

• elemi kérések nagysága• I/O arány• egyidejű kérések száma, stb.

Page 13: Terhelés modellek, benchmarkok

BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 13

Tipikus problémák

• Túl kicsi problémaméret• Elavult referenciák• „Rejtett” paraméterek

– konfigurációs beállítások– adott környezet specifikus tulajdonságai

• Elfogultság• Hiányos specifikáció

Page 14: Terhelés modellek, benchmarkok

BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 14

SPEC benchmarkok

• http://www.spec.org/benchmarks.html• Standard Performance Evaluation Corp.• Erőforrás és alkalmazás szintű benchmarkok

– CPU– Alkalmazások– Levelező szerverek– Web szerverek– Network File System, stb.

• Benchmark: megrendelhető szolgáltatás

Page 15: Terhelés modellek, benchmarkok

BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 15

SPEC benchmarkok • SPECweb99

– Párhuzamos kapcsolatok– Dinamikus kérés generálás

• SPECmail2001– Válaszidő, áteresztőképesség– SMTP, POP3 protokollok– 10,000 – 1,000,000 felhasználó

• SPECviewperf– grafikus rendszerek (OpenGL)– viewset-ek definiálhatók (grafikus alkalmazás)

• árnyalás• fényerő• stb.

Page 16: Terhelés modellek, benchmarkok

BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 16

SPECmail2001 példa

Page 17: Terhelés modellek, benchmarkok

BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 17

Benchmark rendszerek összehasonlítása

n db különböző mérőszám rendszer kiértékelése m db mérendő rendszerre

távolság értékek normálása 0 és 1 közé

az i. és a j. benchmark mérőszám rendszer távolsága

a (mérőszám) rendszerek összehasonlítása

Page 18: Terhelés modellek, benchmarkok

BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 18

Benchmark rendszerek összehasonlítása

• Benchmark rendszerek (pl. SPEC):– több mérőszámot használnak fel– melyik lényeges, hány mérőszám kell?

• Méret (size, D)– „gömb” (n. dimenziós) „térfogata”, amelyik tartalmazza az

összes értéket

• Lefedettség (utilization/coverage, U):3 1

( ) 100 , max( )max( ) 2

DU n ahol D n

D n n

SPEC rendszer lefedettségének fejlődése

Page 19: Terhelés modellek, benchmarkok

BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 19

Benchmark rendszerek összehasonlítása

• Teljesség– mely mérőszám csoportok mennyire fedik le a rendszer

• Redundancia– az egyes mérőszámok közt mennyi az átfedés

– ha 10-20%-nál kisebb a különbözőség, helyettesíthető

pl. gcc mérőszámmal helyettesítjük a többit

forrás: Jozo J. Dujmovic, Ivo Dujmovic:

Evolution and evaluation of SPEC benchmarks

http://portal.acm.org

Page 20: Terhelés modellek, benchmarkok

BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 20

TPC benchmarkok• http://www.tpc.org/information/benchmarks.asp

• Transaction Processing Council• TPC-C (elektronikus kereskedelem, banki rendszer):

– felhasználók tranzakciókat hajtanak végre– rendelés/lemondás, lekérdezés, stb.– szervereket hasonlít össze

• HW• OS• DBMS• egyéb paraméterek:

– tervezett rendelkezésre állás, elérhetőség (pl. 24/7 vs. 8/5)

– OLTP rendszerek mérőszámai:• tranzakciós ráta (tpmC): 5 különböző fajta tranzakció alapján• ár / tranzakció ($/tpmC): fenntartási költségek / tranzakciók

Page 21: Terhelés modellek, benchmarkok

BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 21

TCP benchmarkok 2.• TCP-R (döntéstámogatás):

– összetett lekérdezések

• TCP-R metrikák:– QphR@Size, lekérdezések száma/óra– függ az adatbázis méretétől– $/QphR@Size, lekérdezések ára

• Példa (TCP-C): TpmC $/TpmC

Page 22: Terhelés modellek, benchmarkok

BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 22

TPC-W

• TCP-W (Web e-Commerce rendszerek):– komplex rendszereket hasonlít össze

• különféle szerverek összekapcsolása

– dinamikus oldalak– 3 különböző profil vizsgálata

• rendelés gyakorisága különböző

– szimulált terhelés– könyvesbolt a mintarendszer

• bejelentkezés, bevásárlókocsi, online rendelés

• hitelkártya információ külső szolgáltatótól

(Payment Gateway)

• böngészőből elérhető

Page 23: Terhelés modellek, benchmarkok

BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 23

TCP-W konfiguráció

Page 24: Terhelés modellek, benchmarkok

BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 24

TCP-W mérés• Emulált böngészők

– „gondolkodási idő”, átlag 7 sec, max. 70 sec– döntési valószínűségek (Web Interaction Mix)– válaszidő követelmények– új / régi felhasználók (regisztrálás, cache)– felhasználók száma (Number of Users)

• Scale factor:– könyvek száma az adatbázisban, 1000…10,000,000

• Átlagos vagy Worst Case értékek

Page 25: Terhelés modellek, benchmarkok

BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 25

TCP-W metrikák• Web Interactions Per Second (WIPS)

– tökéletes rendszer: WIPS = Number of Users / 7– ha WIPS < Number Of Users / 14

• nagy adatbázis méretnél gondok lehetnek– WIPSb: inkább böngészés (más emuláció)– WIPSo: inkább rendelés, erős adatbázis terhelés– WIPSo ~ WIPS*( 1/3…1/2)

• Web szerver teljesítmény mérés– CPU használat– HTTP bytes/sec

• Adatbázis szerver mértékek– mint a Web szervernél + Diszk I/O

Page 26: Terhelés modellek, benchmarkok

BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 26

TCP-W tulajdonságai• Előnyök

– komplex rendszer tesztelés– valós viszonyok

• terheléskiegyenlítés a Web szerverek közt• külön Image szerver• Web cache használata

• Hátrányok:– nem valós alkalmazást használ

• alacsony szinten van kódolva

– túl egyszerű lekérdezéseket használ– kevés kép/oldal van a mintarendszerben

• ezért tiltja a cache-t az emulált böngészőben

forrás: Wayne D. Smith: TCP-W: Benchmarking An Ecommerce Solution

http://www.tpc.org/tpcw/TPC-W_Wh.pdf

Page 27: Terhelés modellek, benchmarkok

BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 27

Terhelés benchmark példa• Standard Performance Evaluation Corp.• Alkalmazás szerver SPEC CINT2000=431• Egy szolgáltatás CPU igénye 10 ms• Új szerver, SPEC CINT2000=518• Új CPU igény:

10 / (518/431) = 8.3 ms

• Fontos: jó benchmarkot válasszunk!• Pl. lebegőpontos számítás esetén

SPEC CFP2000 kéne

Page 28: Terhelés modellek, benchmarkok

BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 28

Terhelés előrejelzés

• A terhelési modell várható változása• Többféle technika létezik • Példa: lineáris regresszió

Trendline:No. Video Requests = 911.94 * Month + 16,153

0

5,000

10,000

15,000

20,000

25,000

1 2 3 4 5 6

Month

No

. of

Vid

eo

Re

qu

es

ts

Page 29: Terhelés modellek, benchmarkok

BME MIT 2004. Számítógépes infrastruktúra rendszertervezése 29

Terhelés előrejelzési technikák