UNIVERZA V LJUBLJANI EKONOMSKA FAKULTETA

MAGISTRSKO DELO

EVALVACIJA ORODIJ ZA AVTOMATSKO TESTIRANJE

TELEKOMUNIKACIJSKE OPREME

Ljubljana, oktober 2005 Vladimir Ljevaja

IZJAVA �tudent Vladimir Ljevaja izjavljam, da sem avtor tega magistrskega dela, ki sem ga napisal pod mentorstvom dr. Borke Jerman Bla�ič in skladno s 1. odstavkom 21. člena Zakona o avtorskih in sorodnih pravicah dovolim objavo magistrskega dela na fakultetnih spletnih straneh. V Ljubljani, dne 26.10.2005 Podpis:________________________

II

III

KAZALO 1. UVOD.................................................................................................................... 1

1.1 Opis problematike z opredelitvijo predmeta in problema raziskave................ 1 1.2 Namen in cilji raziskave s temeljno hipotezo .................................................. 1 1.3 Opredelitev metode raziskovanja ................................................................... 2

2. RAZVOJ TELEKOMUNIKACIJ.............................................................................. 3 2.1 Telekomunikacije včeraj in danes................................................................... 3

2.1.1 Tradicionalno strate�ko načrtovanje........................................................ 4 2.1.2 Strate�ko načrtovanje v prihodnosti ........................................................ 4

3. STORITVE IN TRENDI RAZVOJA DIGITALNEGA NAROČNI�KEGA VODA ...... 5 3.1 Tehnologije digitalnega naročni�kega voda (DSL) ......................................... 5

3.1.1 Tehnologija asimetričnega naročni�kega voda (ADSL, ADSL2+) ........... 5 3.1.2 VDSL tehnologija .................................................................................... 8 3.1.3 Raz�irjenost ADSL tehnologije................................................................ 8

3.2 Govorne storitve in prenos do uporabnika prek DSL...................................... 9 3.2.1 VoIP telefonija ......................................................................................... 9 3.2.2 Vpliv VoIP storitev na sodobno poslovanje ........................................... 12

3.3 Video storitve in prenos do uporabnika prek DSL ........................................ 14 3.3.1 Vrste video storitev................................................................................ 15 3.3.2 Kodiranje video signala ......................................................................... 17

3.4 Storitev »triple play« in DSL ......................................................................... 18 3.5 Zagotavljanje kvalitete storitev ..................................................................... 19

4. TESTIRANJE TELEKOMUNIKACIJSKE OPREME ............................................ 24 4.1 Proces testiranja........................................................................................... 24 4.2 Izbira pravilnih testnih postopkov ................................................................. 25 4.3 Avtomatizacija testnih postopkov ................................................................. 27 4.4 Primerjava ročnega in avtomatskega testiranja............................................ 29 4.5 Izbira testov za avtomatizacijo ..................................................................... 31 4.6 Nadzor izvajanja avtomatskega testa........................................................... 32 4.7 Prednosti in omejitve avtomatskega testiranja ............................................. 33

4.7.1 Prednosti avtomatskega testiranja ........................................................ 33 4.7.2 Pomanjkljivosti avtomatskega testiranja................................................ 38 4.7.3 Kakovost izdelkov in testiranje .............................................................. 40

4.8 Donosnost avtomatizacije ............................................................................ 45 4.9 Proces uvajanja avtomatizacije testiranja..................................................... 48

5. EVALVACIJA IN IZBIRA ORODIJ AVTOMATSKEGA TESTIRANJA.................. 53 5.1 Načela dinamičnega razvoja avtomatskih orodij .......................................... 54 5.2 Skupina za razvoj avtomatskih testih orodij.................................................. 56 5.3 Skupina za izvedbo testiranja....................................................................... 58 5.4 Nakup orodja za avtomatsko testiranje ........................................................ 59

5.4.1 Določitev potreb in zahtev..................................................................... 61 5.4.2 Poslovni model izbire in nakupa orodja................................................. 63

IV

5.5 Določitev robnih pogojev izbire avtomatskega orodja .................................. 66 5.5.1 Omejitve testnega okolja (strojna in programska oprema) .................... 66 5.5.2 Omejitve ponudnikov avtomatskih orodij ............................................... 67 5.5.3 Omejitve pri financiranju nabave ........................................................... 68

5.6 Raziskava trga ............................................................................................. 70 5.7 Evalvacija ..................................................................................................... 71

5.7.1 Evalvacija tehničnih lastnosti in funkcionalnosti .................................... 71 5.7.2 Evalvacija ostalih lastnosti in pogojev nakupa....................................... 72

5.8 Končna faza evalvacije in izbira ................................................................... 76 5.9 Uporabnost postopka evalvacije na konkretnem primeru izbire in nabave... 77

6. SKLEPI IN UGOTOVITVE................................................................................... 80 7. LITERATURA ...................................................................................................... 83 KAZALO SLIK Slika 1: Prenosna hitrost ADSL tehnologije v odvisnosti od dol�ine telefonskega kabla

v smeri proti in od uporabnika ............................................................................... 6 Slika 2: Prenosna hitrost ADSL2 in ADSL2+ tehnologij v odvisnosti od dol�ine

telefonskega kabla v smeri proti uporabniku ......................................................... 7 Slika 3: Primerjava prenosnih karakteristik VDSL in ADSL tehnologij .......................... 8 Slika 4: Raz�irjenost ADSL dostopa v svetu................................................................. 9 Slika 5: Trend prodaje IP in klasičnih telefonskih central ............................................ 11 Slika 6: Trend nadgradnje obstoječih in naročilo novih IP telefonskih central ............ 12 Slika 7: Koncept omre�ja za storitev »triple play« ...................................................... 19 Slika 8: Verjetnost napake pri prenosu v odvisnosti od obremenjenosti povezave..... 22 Slika 9: Proces testiranja ............................................................................................ 24 Slika 10: Keviatov diagram ......................................................................................... 28 Slika 11: �ivljenjska doba avtomatskega testa. .......................................................... 30 Slika 12: Stopnja zrelosti procesa testiranja ............................................................... 52 Slika 13: Proces izbire in implementacije orodja za avtomatsko testiranje ................. 60 Slika 14: Proces izbire avtomatskega orodja .............................................................. 60 Slika 15: Postopek preverjanja delovanja orodja ........................................................ 74 Slika 16: Preverjanje zapletenosti upravljanja orodja ................................................. 75 Slika 17: Izbira med enakovrednimi orodji .................................................................. 76 Slika 18: Napačna izbira orodja .................................................................................. 77 KAZALO TABEL Tabela 1: �tevilo TV naročnikov v svetu do konca leta 2004...................................... 16 Tabela 2: Rezultati ankete podjetja Cisco o pripravljenosti plačila dodatnih storitev .. 17 Tabela 3: Vrste kodiranja video signala in uporaba le-teh .......................................... 18 Tabela 4: Odzivni časi odpiranja domačih strani podjetij Motorola in Amazon ........... 20 Tabela 5: Značilnosti in razlike med omre�jem fiksne telefonije ter IP omre�jem. ...... 21 Tabela 6: Primer poslovnega modela za nabavo avtomatskega orodja ..................... 65

1

1. UVOD

1.1 Opis problematike z opredelitvijo predmeta in problema raziskave

Telekomunikacije so v svetu ena od najhitreje rastočih in najbolj donosnih gospodarskih dejavnosti ter eden od ključnih elementov uspe�nega poslovanja. Tehnologija, ki je temeljila na povezavno usmerjenem konceptu je pre�la na nepovezavno usmerjen koncept (IP1 protokol). Z izgradnjo zmogljivih �irokopasovnih hrbteničnih in dostopovnih omre�ij za prenos podatkov so se odprle �iroke mo�nosti uporabe novih storitev. Najbolj raz�irjena �irokopasovna dostopovna tehnologija je asimetrični digitalni naročni�ki vod ADSL2. V svetu in�enirjev predstavlja izraz ADSL �irokopasovno dostopovno tehnologijo, v poslovnem svetu pa storitev, ki je ključna za prenos dodatnih storitev do uporabnika. Ob načrtovanju omre�ij, ki bi zagotovila kvaliteten prenos storitev, je bilo potrebno razviti precej zapleteno telekomunikacijsko opremo. Kljub natančnim raziskavam in načrtovanju so razvojne skupine naknadno odkrile �e precej dodatnih spremenljivk, ki so ključne za kvaliteto storitev. Delovanje precej zapletene in zmogljive opreme ni bilo več mogoče preveriti le z ročnim testiranjem, po�iljanje nepreverjene opreme na trg pa je zelo nevarno in tvegano. Obstoj proizvajalcev telekomunikacijske opreme je postal odvisen od uporabe avtomatskega orodja za testiranje. Le z orodjem za avtomatsko testiranje je mogoče preveriti delovanje oz. obna�anje telekomunikacijske opreme v realnem okolju. Proces uvajanja avtomatskega testiranja je zelo zapleten. Potrebno ga je obravnavati kakor vse druge projekte v podjetju, saj zahteva veliko člove�kih, finančnih in časovnih virov. Nepravilno načrtovanje in vodenje procesa ima lahko velike posledice za podjetje.

1.2 Namen in cilji raziskave s temeljno hipotezo

Glavni namen magistrskega dela je prikazati avtomatsko testiranje, iz finančnega in tehničnega vidika, kot neizogibni del procesa testiranja pri razvoju izdelkov, saj skraj�uje čas procesa razvoja izdelkov in čas do ponudbe kvalitetnega izdelka na trg.

1 IP � Internet Protocol 2 ADSL - Asymmetrical Digital Subscriber Line

2

Z zasedbo trga pred konkurenco si proizvajalci telekomunikacijske opreme vsaj kratkoročno zagotovijo obstoj in redne prihodke. Cilj dela je analizirati in oblikovati proces uvajanja avtomatskega testiranja. S tem �elim posredovati ugotovitve o mo�nostih avtomatskega testiranja proizvajalcem izdelkov, ponudnikom storitev in ostalim bralcem. V delu sem predstavil:

• metode za ocenjevanje pripravljenosti oz. stopnjo zrelosti razvojnih procesov, • izbiro optimalnih testov, ki so primerni za avtomatizcijo, • pogoje za odločitev glede razvoja oz. nakupa orodja za avtomatsko testiranje, • metode za načrtovanje procesa nabave avtomatskega orodja testiranje, • uporabo analize donosnosti in poslovnega modeliranja v primeru

avtomatskega testiranja. V začetnem delu magistrskega dela so prikazane lastnosti in trendi �irokopasovnih dostopovnih tehnologij, ki so omogočile prenos ogromnega �tevila dodatnih storitev za končne uporabnike. Prikazane so tudi značilnosti tr�no in tehnično najbolj zanimivih storitev. Predstavljeni so tr�ni kazalci primarnih telekomunikacijskih storitev za bli�njo prihodnost. Prav tako so predstavljene ključne te�ave pri zagotavljanju kvalitete storitev.

1.3 Opredelitev metode raziskovanja

V magistrskem delu sem uporabil znanje, ki sem si ga pridobil s �tudijem in izku�nje, pridobljene z delom na področju verifikacije in validacije �irokopasovne telekomunikacijske opreme. Uporabil sem deskriptivno metodo, ki je temeljila na �tudiju predvsem tuje literature (knjige, članki, poročila, statistična poročila penetracij posamezne tehnologije, evalvacije, napovedi�). Poslu�eval sem se tudi s strokovnimi članki in prispevki na internetu, ki ponujajo najnovej�e podatke. Zaradi hitrega razvoja dostopovnih tehnologij in storitev v zadnjem času, določenih podatkov in analiz (standardov, protokolov,�) ni dostopnih v knji�ni obliki. Enako hiter je tudi razvoj visokotehnolo�kih orodij za avtomatsko testiranje, ki so postala nujna za kvalitetno testiranje telekomunikacijske opreme in storitev. Za ugotavljanje osnovnih tehničnih lastnosti posameznih tehnologij in storitev je bila uporabljena metoda sistemske analize. Kot vir so bili uporabljeni najnovej�i prispevki strokovnjakov na področju razvoja telekomunikacijske opreme in tr�enja telekomunikacijskih storitev. S pomočjo metode primerjalne analize so predstavljene tako vse prednosti kot tudi nevarnosti, pomanjkljivosti uvajanja avtomatskega testiranja.

3

2. RAZVOJ TELEKOMUNIKACIJ

2.1 Telekomunikacije včeraj in danes

Telekomunikacijska industrija je pred več kot stoletjem začela graditi ogromna omre�ja, ki so omogočala ljudem hitro in enostavno medsebojno komunikacijo. Ponudniki telekomunikacijskih storitev so imeli tri primarne tokove prihodkov:

• mesečno naročnino za naročni�ki dostop do omre�ja, • zaračunavanje posameznega klica, • zaračunavanje dodatnih storitev vezanih na telefonijo in podatke (glasovna

po�ta, ...). Do pred kratkim so ti trije tipi prihodkov, kombinirani z monopolističnim okoljem, omogočali zdravo poslovanje. Toda 90.-ta leta prej�njega stoletja so bila prelomna. Deregulacija trga, internet in hitri razvoj novih tehnologij so povzročili nagle tr�ne spremembe. Dobiček javnega komutiranega telefonskega omre�ja se vsako leto zmanj�uje. Predvidoma po letu 2006 ne bo več rasti prihodkov iz naslova klasičnih telefonskih storitev. Zato je nujno, da ponudniki klasičnih telekomunikacijskih storitev najdejo nove vire, s pomočjo katerih bi povečali svoje prihodke. Nasprotno s pričakovanji se je izkazalo, da sam hitri dostop do storitev preko �irokopasovnih omre�ij ni tako donosen, kot je bilo predvideno na samem začetku. Po drugi strani pa so zaradi povečanega povpra�evanja končnih uporabnikov po novih storitvah, prihodki od multimedijskih storitev precej vi�ji. Zato so se proizvajalci telekomunikacijskih izdelkov in ponudniki telekomunikacijskih storitev v zadnjem času osredotočili prav na ta segment (Iskratel, interna dokumentacija). V svetu telekomunikacij se v zadnjem času dogajajo velike spremembe. V relativno kratkem času so se ponudniki telefonskih storitev po vsem svetu na�li v poziciji, ko morajo spremeniti svojo poslovno strategijo, da bi nadaljevali rast v pogojih hude konkurence in zakonodajne nesigurnosti. To pomeni precej�nje investiranje v omre�no infrastrukturo in tudi vstop v veliko neznano področje distribucije vsebin (Lavia, 2004, str. 56). Na srečo, to stanje sovpada s časom visokih tehnolo�kih napredkov. Proizvajalci telekomunikacijske opreme si po obstoječih medijih lahko zagotovijo �iroki podatkovni kanal do končnega uporabnika. Prav tako je hiter napredek tehnologije stiskanja podatkov občutno zmanj�al potrebe po pasovni �irini za kvaliteten prenos podatkov. Zahvaljujoč visokemu nivoju globalnega sodelovanja med operaterji in

4

proizvajalci opreme, so tudi standardi za prenos vsebin preko �irokopasovnih omre�ij �e v veliki meri definirani. Spremenjen trg telekomunikacijskih storitev zahteva spremembo strategije podjetij, ki ponujajo re�itve za telekomunikacijske operaterje. Proizvajalci telekomunikacijske opreme ugotavljajo, da dobri izdelki niso edini pogoj za poslovno uspe�nost. Svojo ponudbo raz�irjajo s celovitimi re�itvami, ki predstavljajo vse člene v verigi, ki so potrebni za prenos vsebin od operaterja do končnega uporabnika. Enako velja za podjetje Iskratel, ki se ukvarja z razvojem in proizvodnjo telekomunikacijske opreme. Podjetje Iskratel se osredotoča na celovite re�itve in na koristi, ki jih bodo imeli kupci, lastne izdelke pa vključuje kot del teh re�itev (Iskratel, interna dokumentacija).

2.1.1 Tradicionalno strate�ko načrtovanje

V preteklosti je bilo za tradicionalne operaterje načrtovanje za 20 let vnaprej nekaj povsem običajnega. V tistem času je bil tehnolo�ki napredek izredno počasen in zelo predvidljiv. Spremembe so se uvajale počasi, konkurenca ni obstajala oz. je bila pod nadzorom monopolnih podjetij. Najbolj raz�irjeno telefonijo, ki temelji na digitalni stikalni tehnologiji, je prvič predstavilo podjetje Nortel (kasneje Nortel Telecom) v 70.-ih letih prej�njega stoletja. Za popolno zamenjavo zastarelih mehanskih central s koordinatnimi stikali, so svetovni operaterji potrebovali 30 let. Operaterji niso imeli ne potrebe ne �elje, da bi v čim kraj�em času nadomestili obstoječo telekomunikacijsko opremo z novej�o. Danes operaterji delujejo v precej zapletenem in dinamičnem okolju. Tradicionalno poslovanje je potrebno zamenjati s povsem novim načinom poslovanja. Govorne storitve so v preteklosti predstavljale vsaj 70% prihodkov, danes je ta dele� precej manj�i. V bli�nji prihodnosti bo dobiček operaterjev predvsem v paketno orientiranem prenosu, govorna storitev pa z veliko verjetnostjo lahko postane neprofitna storitev, saj bodo v ospredju bolj aktualne druge storitve (Lavia, 2004, str. 56).

2.1.2 Strate�ko načrtovanje v prihodnosti

Danes je �e kratkoročno načrtovanje (5 let) vpra�ljivo, kaj �ele dolgoročno za npr. dobo 20 let vnaprej. Prav tako je nesmiselno, da proizvajalci telekomunikacijske opreme posredujejo operaterjem re�itve, ki zajemajo obdobje dalj�e od 5-ih let. Predvsem se je izredno povečalo �tevilo pomembnih spremenljivk, ki vplivajo na načrtovanje. Telekomunikacijska podjetja pri načrtovanjih vse bolj uporabljajo verjetnostne metode. Na trgu so poleg operaterjev fiksne telefonije tudi kabelski in mobilni operaterji, ki bodo vsekakor privabili veliko �tevilo uporabnikov in povečali svoj tr�ni dele�.

5

Tehnolo�ke inovacije se vse hitreje pojavljajo, konkurenca je vse močnej�a, zato je za podjetje nujno, da svoje izdelke čim prej po�lje na trg. Zato je pravilno načrtovanje procesov v podjetjih postalo ključno za uspeh. Potrebno je previdno pretehtati vse mo�nosti, določiti prioritete in oceniti prilo�nosti. Izredno pomembno pa je opredeliti čas načrtovanja od 3 do 5 let (Lavia, 2004, str. 56-57).

3. STORITVE IN TRENDI RAZVOJA DIGITALNEGA NAROČNI�KEGA

VODA

3.1 Tehnologije digitalnega naročni�kega voda (DSL3)

Telekomunikacijski operaterji so začeli v poznih 70-tih letih izgubljati monopol na trgu glede govornih in podatkovnih komunikacij. Dobički so bili vse manj�i, hkrati so se začele razvijati nove tehnologije, ki so omogočale bolj�o izkori�čenost obstoječe infrastrukture telefonskega omre�ja. Z uvajanjem DSL tehnologij so operaterji začeli sodelovati v tekmi prenosa podatkovnih storitev. Trenutno sta najbolj aktualni ADSL in VDSL4 tehnologiji ter re�itve le-teh. Druge vrste tehnologij iz dru�ine DSL so manj zanimive za operaterje oz. ponudnike telekomunikacijskih storitev.

3.1.1 Tehnologija asimetričnega naročni�kega voda (ADSL, ADSL2+)

Prva v dru�ini DSL tehnologij je bila razvita ADSL tehnologija. ADSL so razvili leta 1989 v raziskovalnih laboratorijih podjetja AT&T. Primarni cilj razvoja te tehnologije je bil omogočiti prenos videa in ne hitrej�i dostop do internetnih storitev, kot prevladuje mi�ljenje v svetu. ADSL tehnologija je asimetrične narave in omogoča hiter prenos podatkov v smeri od operaterja proti uporabniku. Precej bolj počasen je prenos v smeri od uporabnika proti operaterju (Dukić, str. 2). Prvi testni projekt za transport MPEG25 video kanala po ADSL tehnologiji je bil izveden leta 1997, vendar rezultati testiranja niso bili zadovoljivi oz. niso bili primerljivi s kvaliteto, ki so jo ponujali kabelski operaterji (Ginsburg, 1999, str. 18). Razmerje med hitrostjo prenosa podatkov od operaterja proti naročniku in hitrostjo prenosa od naročnika proti operaterju je v teoriji lahko največ 10:1. Najvi�ja hitrost 3 DSL � Digital Subscriber Line 4 VDSL - Very high-bit-rate DSL 5 MPEG - Moving Pictures Expert Group je skupina, ki dela pod skupnim vodstvom Mednarodne organizacije za standarde (ISO, International Standards Organisation) in Mednarodnega sveta za elektrotehniko (IEC, International Electrotechnical Commision). Njeno delo zajema dru�ino zmogljivih standardiziranih načinov za računalni�ko stiskanje zvočnih in video podatkov

6

prenosa v smeri proti uporabniku je ponavadi nekaj več kot 8 Mbit/s, v smeri od uporabnika pa pribli�no 900 kbit/s. Hitrost povezave je odvisna od dol�ine telefonskega kabla, fizikalnih lastnosti samega kabla ter zunanjih vplivov (slika 1) (Starr, 2003, str. 42-44).

Slika 1: Prenosna hitrost ADSL tehnologije v odvisnosti od dol�ine telefonskega kabla v smeri proti in od uporabnika

0123456789

800 2400 4000 5600

Dol�ina telefonskega kabla (m)

Pren

osna

hitr

ost

Proti uporabniku

Od uporabnika

Vir: Starr, 2004, str. 44. Operaterji opravijo tehnično analizo posameznih naročni�kih vodov, da bi ugotovili omejitve prenosnega medija. Določena skupina naročnikov zaradi fizikalnih omejitev ne more biti naročnik DSL tehnologije oz. storitve, zato pri napeljevanju novih telefonskih kablov uporabljajo operaterji novej�e kable, ki imajo bolj�e fizikalne lastnosti. Operaterji v bolj razvitih dr�avah se v zadnjem času vedno bolj odločajo za optične kable, saj so zaradi masovne proizvodnje cenovno vedno bolj ugodni. V bli�nji prihodnosti bodo optični kabli povsem nadomestili klasični bakreni telefonski kabel (Krapf, 1999, str 52-53). Posamezni parametri in vrednosti DSL tehnologij so standardizirane po odborih DSL foruma. DSL forum je organizacija, ki deluje od leta 1994. Vanjo je včlanjenih čez 275 svetovnih telekomunikacijskih operaterjev, ponudnikov, proizvajalcev ter drugih organizacij, ki se ukvarjajo s telekomunikacijami. Prav tako tesno sodeluje z drugimi pomembnimi krovnimi organizacijami kot so ITU6, ETSI7, ANSI8, UAWG9 in DAVIC10 (Ginsburg, 1999, str. 19). 6 ITU � International Telecommunications Union 7 ETSI � European Telecommunications Standardization Institute 8 ANSI � American National Standards Institute 9 UAWG � Universal ADSL Working Group 10 DAVIC � Digital Avdio-Video Interactive Council

7

Proizvajalci strojne računalni�ke opreme so v kratkem času uspeli povečati zmogljivosti procesorjev. Temu so se prilagodili tudi proizvajalci programske opreme. �e hitreje pa se je raz�iril nabor zanimivih vsebin, ki so dostopne na internetu. Zato so zahteve po povečanju pasovne �irine dostopovnih omre�ij postale skoraj neomejene. Ne dolgo nazaj so večjo pasovno �irino in zanesljivo povezavo zahtevali le večji poslovni uporabniki, univerze, večje organizacije ter vojska. Danes kapacitete vodov ne zadovoljijo niti rezidenčnih uporabnikov (Ginsburg, 1999, str. 2). Strokovnjaki pa so si �e naprej prizadevali za bolj�o izkori�čenost obstoječega telefonskega kabla, ker so se zavedali, da bo optična infrastruktura draga za končnega rezidenčnega uporabnika. V juliju leta 2002 je DSL forum potrdil predlagano izbolj�ano re�itev za prenos po klasičnem telefonskem kablu - ADSL2 tehnologijo. ADSL2 tehnologija omogoča prenos podatkov od operaterja proti uporabniku s hitrostjo pribli�no 12 Mbit/s. Januarja leta 2003 so potrdili �e ADSL2+ tehnologijo, ki je trenutno najbolj aktualna za vse operaterje po svetu. ADSL2+ tehnologija teoretično omogoča hitrost nekaj več kot 25 Mbit/s. ADSL2+ omogoča dvojno hitrost ADSL2 tehnologije, vendar le do razdalje 1500 m. Pri razdalji večji od 2500 m sta tehnologiji enakovredni (slika 2) (DSL forum, 2003, str 1-8).

Slika 2:Prenosna hitrost ADSL2 in ADSL2+ tehnologij v odvisnosti od dol�ine telefonskega kabla v smeri proti uporabniku

0

5

10

15

20

25

30

1 2 3 4 5 6 7 8 9 10 11 12

Dol�ina telefonskega kabla (m)

Pren

osna

hitr

ost v

sm

eri p

roti

upor

abni

ku (M

b/s)

ADSL2+

ADSL2

. Vir: DSL forum, 2003, str. 6. Z vi�anjem hitrosti od uporabnika proti operaterju se zaradi medsebojnega vpliva pretoka podatkov zmanj�a hitrost navzdol proti uporabniku. Zato je hitrost prenosa proti uporabniku ostala 1 Mbit/s, kar je po mnenju strokovnjakov več kot dovolj (Starr, 2003, str.44).

8

3.1.2 VDSL tehnologija

Tehnologija VDSL je edini tekmec ADSL re�itvam. Prve testne meritve na VDSL tehnologiji so opravili leta 2000. Razvita je bila v dveh različicah. Asimetrična re�itev omogoča hitrost proti uporabniku do 52 Mbit/s, simetrična re�itev omogoča hitrosti do 26 Mbit/s v obe smeri. Velika slabost VDSL tehnologije je velika odvisnost od razdalje med uporabnikom in operaterjem. Izredno visoke hitrosti lahko dosegamo le pri razdalji do 300 m, skrajna meja uporabe pa je 1200 m (slika 3) (Starr, 2003, str.9). Kasneje razvita VDSL2 tehnologija je izbolj�ana re�itev VDSL tehnologije in dose�e izjemno visoke hitrosti prenosa podatkov. Omogoča prenos podatkov s hitrostjo 100 Mbit/s v obe smeri, vendar ni primerna za telefonski kabel. Glavni cilj razvoja tehnologije VDSL2 je bil (Finneran, 2005, str. 34):

• omogočiti prenosno hitrost 25 Mbit/s do razdalje 1200m, • omogočiti prenosno hitrost 100 Mbit/s do razdalje 300m.

Slika 3: Primerjava prenosnih karakteristik VDSL in ADSL tehnologij

50M

25M

12M

6M

2M

400k144k

Pren

osna

hitr

ost p

roti

upor

abni

ku (b

it/s)

144k 768k 2M 6M 12M Presnosna hitrost od uporabnika (bit/s)

VDSL

ADSL3 km

4 km5 km

ISDN

300 m

300 m1000 m

1000 m1200 m

Vir: Starr, 2004, str. 9.

3.1.3 Raz�irjenost ADSL tehnologije

V Evropi je �irokopasovni dostop najbolj raz�irjen na Nizozemskem. Do konca leta 2004 je 75% domačih uporabnikov uporabljalo �irokopasovni dostop do interneta (60% ADSL in 40% kabelski dostop). Predvidevajo, da bo do konca leta 2010 54% prebivalstva v Evropi uporabljalo �irokopasovni dostop do interneta (Tilak, 2005). V Sloveniji je bilo konec leta 2004 pribli�no 76 tisoč naročnikov ADSL dostopa, za

9

katerega je bil pogoj digitalno omre�je z integriranimi storitvami ISDN11. Do konca leta 2004 je bilo v Sloveniji nekaj več kot 160 tisoč ISDN naročnikov (�krjanček, 2005, str. 4). V svetovnem merilu je �irokopasovni dostop do interneta najbolj raz�irjen v Ju�ni Koreji, kjer ima kar 24,9% celotnega prebivalstva �irokopasovni dostop (večina ADSL). Na drugem mestu je Nizozemska, ki ima pokritost 19%. ZDA, Kanada in Portugalska so �e edine dr�ave, v katerih je kabelski dostop bolj raz�irjen od DSL dostopa. Slika 4 prikazuje raz�irjenost dostopov v svetu za leto 2004. ADSL dostop je najbolj raz�irjen (60%), na drugem mestu je kabelski dostop (33%), 7% zasedajo druge tehnologije (optični dostop, brez�ični dostop,�) (Telecompaper, 2005).

Slika 4: Raz�irjenost ADSL dostopa v svetu

60%

33%

7%

ADSL dostopKabelski dostopDrugi dostopi

Vir: Telecompaper, 2005. Razdalje med uporabniki in centralnimi točkami v omre�ju operaterja (dol�ina telefonskega kabla) so v ZDA precej večje kot v Evropi. V ZDA je 90% uporabnikov oddaljenih do 6,4 km, 99% uporabnikov pa je oddaljenih do 6,8km od centralne točke operaterja (Starr, 2003, str. 45). V Evropi je v povprečju 60% uporabnikov oddaljenih od centralne točke do 3km. V �paniji in Italiji pa je 90% uporabnikov oddaljenih do 3 km (McClune, 2003).

3.2 Govorne storitve in prenos do uporabnika prek DSL

3.2.1 VoIP telefonija

Da se dobiček fiksne telefonije v svetu vse bolj krči ni nobena skrivnost. Temu sta botrovala prehod na govor preko internetnega protokola, VoIP12 telefonija, ter 11 ISDN � Integrated Services Digital Network

10

izjemna priljubljenost mobilne telefonije. Do prvega kvartala leta 2005 podjetje Telekom Austria Group bele�i padec skupnega časa pogovorov čez fiksno telefonijo za 7,5% na leto, ne glede na �tevilo pogovorov in tarifni razred. Z enakimi te�avami se soočajo tudi drugi operaterji (Wieland, 2005, str. 18). Kar nekaj let je izraz VoIP telefonija zaznamoval prenos govora po kateremu koli omre�ju, ki temelji na IP protokolu. V dana�njem poslovnem svetu predstavlja izraz VoIP telefonija prenos govora po nadzorovanem omre�ju, ki temelji na IP protokolu. Večje organizacije so začele z uporabo telefonije po IP omre�ju, z namenom da zmanj�ajo stro�ke predvsem mednarodnih pogovorov in drugih storitev. Izjemno promocijo VoIP telefonije je imelo podjetje T-Systems, ki je hčerinsko podjetje podjetja Deutche Telekom. Z različnimi tr�nimi pristopi so javnosti prikazali prednosti VoIP telefonije �e v letu 2002 (Abrahams, 2003, str. 10-11). Sam začetek uvajanja VoIP telefonije je glede ekonomskih kazalcev povezan s precej pesimističnimi napovedmi. Visoke investicije v razvoj VoIP telefonije so bile ključne za njen razvoj, ne pa za uspeh pri dobički. Prav tako so proizvajalci telekomunikacijske opreme precej investirali v tr�ne aktivnosti, z namenom, da čim bolj učinkovito stimulirajo trg za sprejem nove tehnologije. Ključni razlogi za �iritev VoIP telefonije in uspe�no ekonomsko upravičenost pri uporabi so:

• povi�ana stopnja zrelosti tehnologije, • povečana proizvodnja telekomunikacijske opreme tradicionalnih in novih

proizvajalcev, • upočasnitev razvoja klasične telefonije sta znatno upadli, • padec cen telefonskih aparatov in druge strojne opreme potrebne za IP

telefonijo, • povečana sprejemljivost na trgu, razpoznavnost tehnologije in seznanitev s

prednostmi, ki jih VoIP telefonija prina�a, • razvojne aktivnosti v infrastrukturo IP omre�ij, ki so usmerjene k zagotavljanju

kvalitete storitev (QoS13), • močne tr�ne aktivnosti dobaviteljev telekomunikacijske opreme, ponudnikov

storitev ter medijev. V ZDA se je VoIP telefonija najbolj raz�irila. Prva večja naročila IP telefonskih central segajo v leto 2000 (slika 5). Od leta 2000 do 2004 je bele�imo 100% letni porast naročil IP telefonskih central. �tevilo naročil central za fiksno telefonijo pa pada od leta 2000 naprej po 10% do 20% na leto. V ZDA je predvideno, da bo konec leta

12 VoIP � Voice over IP 13 QoS � Quality of Service

11

2005 �tevilo naročenih IP telefonskih central izenačeno s �tevilom naročenih central za analogno in digitalno telefonijo. Predvideva se, da bo do leta 2010 oprema za VoIP telefonijo presegla 75% vseh naročil na področju telefonije (Sulkin, 2004, str. 18-20).

Slika 5: Trend prodaje IP in klasičnih telefonskih central

0

2

4

6

8

10

v m

ilijo

nih

IP 0,25 0,5 1 2 2,7 3,375 4,1 5,2 6,2 7,2

PSTN 7 5,85 5,175 4,6 4,3 4,125 3,8 3,1 2,6 2

2000 2001 2002 2003 2004 2005 2006 2007 2008 2009

Vir: Sulkin, 2004, str. 18. Za popolni prehod na VoIP telefonijo bo potrebno �e nekaj časa. Te�ko je napovedati čas, v katerem bodo operaterji mnoge obstoječe priključke fiksne telefonije nadgradili z opremo potrebno za VoIP telefonijo (Sulkin, 2004, str. 18-21). Proizvajalci telekomunikacijske opreme so poleg popolnoma novih in sodobnih central, ki omogočajo VoIP telefonijo, videli predvsem prilo�nost v razvoju tehnologije za nadgradnjo obstoječih central za klasično telefonijo. Ta omogoča hitro, enostavno in poceni nadgradnjo (Sulkin, 2004, str.19-21) (slika 6). Na trgu �irokopasovnega dostopa v ZDA prevladujejo kabelski operaterji, ki so �e opravili nadgradnjo svojega omre�ja. Začeli so s tr�enjem VoIP storitev in tako uspe�no začeli zasedati trg telefonskih operaterjev. Na drugi strani telefonski operaterji precej vlagajo v omre�ja večjega dosega, s pomočjo katerih bi lahko omogočili �irokopasovni dostop za prenos podatkov oddaljenim uporabnikom. Teh je zaradi razse�nosti ZDA precej (Frankel, 2005, str. 60).

12

Slika 6: Trend nadgradnje obstoječih in naročilo novih IP telefonskih central

0

2

4

6

8

10

v m

ilijo

nih

Nove centrale 4,5 4,013 3,9 4,2 4,5 4,85 5,1 5,3 5,5 5,8

Nadgradnja 2,525 2,325 2,2 2,4 2,55 2,575 2,725 2,95 3,2 3,35

2000 2001 2002 2003 2004 2005 2006 2007 2008 2009

Vir: Sulkin, 2004, str. 19.

3.2.2 Vpliv VoIP storitev na sodobno poslovanje

Klasična telefonija je omre�je, ki ga nadzirajo operaterji. Skrbijo za nenehno delovanje telefonije, vzpostavljanje klicev in ponujajo različne dodatne storitve. Seveda to počnejo za primerno ceno. Operaterji te�ijo k enakemu načinu poslovanja tudi v primeru internetne telefonije (VoIP telefonije). Izraz internetna telefonija pogosto predstavlja splo�en izraz za govorno komunikacijo po internetu. Pri komunikaciji dveh strank čez internet ni pomembno kje se stranki geografsko nahajata. Stro�ki so vezani le na ceno dostopa do interneta. Dve osebi se tako lahko s pomočjo osebnega računalnika, slu�alk in mikrofona poljubno dolgo pogovarjata zunaj sistema obračunavanja (ang. billing) operaterjev, kar predstavlja drugo smer internetne telefonije (Frankston, 2005, str. 46). V zadnjih letih se je razvilo precej sistemov za telefoniranje po internetu zunaj sistema obračunavanja telefonskih operaterjev. Zelo priljubljen sistem za brezplačno (le med napravami povezanimi v internet) internetno telefoniranje je Skype, ki ima trenutno �e več kot 2,5 milijona uporabnikov. Veliko uporabnikov �e vedno �eli uporabljati klasični telefonski aparat. Tako so nekatera podjetja razvila vmesnike, ki jih na eni strani priklopimo na vsestransko zaporedno vodilo (USB14) računalnika, na drugi strani pa je običajen telefonski priključek v katerega lahko priklopimo poljuben telefonski aparat. S pomočjo te naprave so odpravili te�avo ločenih slu�alk in mikrofona ter se pribli�ali klasičnemu načinu telefoniranju (Pečjak, 2005, str. 12).

14 USB � Universal Serial Bus

13

Proizvajalci opreme poleg osnovne in dodatne strojne opreme ponujajo operaterjem tudi dodatne aplikacije, ki omogočajo zdru�itev trenutno aktualne VoIP telefonije in zanimivih dodatnih storitev. S pomočjo teh aplikacij napovedujejo veliko prednosti pri poslovanju podjetij. Raziskovalno podjetje Miercom je v svojih laboratorijih preverjalo delovanje aplikacij, ki nam omogočajo:

• zdru�itev glasovne po�te, elektronske po�te in faksa, • konference (video konference), • oddaljeno poslovanje (skupna raba in dostop do dokumentov, elektronska

tabla,�), • multimedija.

Podjetje Miercom je uspe�nost aplikacij ugotavljalo v luči prenove načina tarifiranja medkrajevnih klicev med podjetji, ki so geografsko ločena. Za medkrajevni klic znotraj ZDA je sedaj potrebno vtipkati 12 mestno �tevilko. Nov načrt pa predvideva 5 mestno �tevilko. Predviden je prihranek 3,5 sekund po klicu, kar za podjetja z več tisoč zaposlenimi predstavlja velik časovni prihranek v komunikaciji na letni ravni. Raziskave podjetja Miercom so opozorile na te�ave pri telefonski komunikaciji ljudi, ki so bolj delovno obremenjeni. Namreč, izkazalo se je, da se stik s sogovornikom vzpostavi �ele po tretjem klicu. Raziskave so pokazale, da se za neuspele poskuse komunikacije porabi v povprečju 3,5 minut. Kot re�itev te te�ave so proizvajalci opreme razvili aplikacijo »Find Me/Follow Me«, ki locira klicano stranko v času do 30 sekund. Aplikacija teče s pomočjo re�iteve VoIP (Krapf, 2004a, str. 15-18). Vsekakor je VoIP telefonija storitev prihodnosti. Uporabniki se bodo vedno bolj odločali za VoIP telefonijo. Le vpra�anje časa je, kdaj se bodo odločili za prehod. Poslovni uporabniki morajo posegati v strukturo lastnega omre�ja, ki bo zagotavljalo nemoteno delovanje. Potrebno je zagotoviti �irokopasovni dostop do interneta, ki bo neprekinjen in varen, ter dodatno strojno opremo (VoIP telefonske aparate). Podjetja se v teh primerih odločajo s pomočjo poslovnega modela. Dejstvo je, da cena strojne opreme pada. Operaterji pa zagotavljajo, da bo odločitev za prehod na VoIP telefonijo pravilna, saj bodo podjetja privarčevala �e s cenej�imi telefonskimi klici in mno�ico cenovno ugodnih dodatnih storitev (Krapf, 2004, str. 19-21). Video telefonija Pred 40-imi leti je podjetje AT&T v New Yorku prvič predstavilo video telefonijo. V tistih časih je bil odziv precej negativen. Glavni razlogi so bili slaba kvaliteta slike, visoki začetni in sprotni stro�ki uporabe ter tehnične omejitve dostopovnih omre�ij. Vsa ta leta so proizvajalci opreme investirali precej v razvoj opreme za video telefonijo. Uspeli so doseči, da je razmerje cena/kvaliteta padalo od 20 do 25% letno. V tem času se je povečalo zanimanje za �irokopasovna dostopovna omre�ja, ki so

14

zdru�ljiva z drugimi omre�ji po IP protokolu. Tako se danes v ZDA letno proda več kot 100.000 aparatov, ki podpirajo video telefonijo. V svetovnem merilu se predvideva največja porast uporabe video telefonije v naslednjih 2 do 4 letih. Podjetja vedno bolj uporabljajo zunanje izvajanje, �irijo se na vzhodne trge ter se povezujejo z drugimi podjetji. Video telefonija bo vsekakor postala nepogre�ljiva. Na drugi strani ponudniki telekomunikacijskih storitev zagotavljajo izbolj�ano kvaliteto govorne in video telefonije ter cenovno sprejemljive storitve (Davis Andrew W. et al., 2004, str. 38-41). Uspe�no integrirana telefonija in video sta vsekakor zelo prijazna storitev za končne uporabnike. Največ zaslug za to ima protokol za zagon internetne seje (SIP15), ki video signal obravnava enako kot govor. Tudi uporaba na posebnem video telefonu ali osebnem računalniku je izjemno enostavna. Vse funkcije, ki jih je podpirala VoIP telefonija se v video telefoniji uporabljajo povsem enako (Greenfield, 2005, str. 32-33). Kvaliteta te storitve je odvisna od pasovne �irine dostopa obeh sogovornikov. Če imata oba sogovornika pasovno �irino dostopa vsaj 700 kbit/s v obe smeri, je kvaliteta izjemno visoka. Z ni�jo pasovno �irino dostopa, se zmanj�a tudi kvaliteta slike. Veliko te�avo predstavlja prenos videa v lokalno omre�je podjetij, ki morajo na po�arnem zidu (ang. firewall) omogočiti prenos video signala po SIP protokolu znotraj podjetja. S tem se podjetje odpre proti zunanjem svetu in je hkrati bolj odprto za zunanje napade na lokalno omre�je in zato je ta prehod pogosto onemogočen (Passmore, 2004, str 14-16). Video konferenca je dodatna funkcija video telefonije. Večinoma se aplikacije lahko po�enejo kar na osebnem računalniku. Med pogovorom lahko na zaslonu vidimo več sogovornikov hkrati ter se pogovarjamo z njimi. Na voljo nam je tudi e-tabla (ang. whiteboard). Je enostaven program za risanje, ki ga lahko po�ene poljuben sogovornik in se prika�e na zaslonih vseh udele�enih (Vučić, 2004, str. 62-63).

3.3 Video storitve in prenos do uporabnika prek DSL

Zaradi visokih hitrosti prenosa so �irokopasovna dostopovna omre�ja učinkovit mehanizem za dostavo mnogih storitev, saj omogočajo obojestransko povezavo uporabnika s storitvenimi centri. Ena pomembnej�ih spremenljivk pri dostavi video vsebine je uporaba učinkovitih metod za stiskanje videa, ki omogočajo prenos kvalitetne slike tudi s hitrostmi, ki jih danes operaterji zagotovljajo uporabnikom. 15 SIP � Session Initiation Protocol

15

Telefonski operaterji na razvitih trgih upajo, da bodo na ta način ustavili nalet kabelskih operaterjev na trg. Na teh trgih so kabelski operaterji zelo močni, saj so veliko investirali v novo omre�no infrastrukturo za multimedijske storitve. Na trgih v razvoju pa bodo telefonski operaterji �e naprej preprečevali nadaljnji razvoj in pojav močnej�ih kabelskih operaterjev. Seveda je realno pričakovati, da bodo tudi kabelski operaterji poskusili ponuditi celovite re�itve, vključno s telefonijo, kar povečuje konkurenčni pritisk na telefonske operaterje (Iskratel, interna dokumentacija). Telefonski operaterji imajo nekaj prednosti pred kabelskimi operaterji. Največja prednost je daleč najbolj raz�irjeno omre�je v svetu. Na svetu imajo v lasti več kot 800 milijonov bakrenih telefonskih paric po katerih ponujajo DSL dostop (Starr, 2003, str. 2). Druga pomembna prednost DSL tehnologije je, da ta zagotavlja namenski, zasebni in varen komunikacijski kanal med uporabnikom in ponudnikom storitev. Podatki potujejo preko uporabni�kih zasebnih povezav, nasprotno s kabelsko tehnologijo kjer je linija deljena. Slaba lastnost deljene linije je, da s povezovanjem dodatnih uporabnikov postane prenos storitev manj kvaliteten in počasnej�i. DSL tehnologija omogoča namensko linijo. Namenska linija pa pomeni, da se določena pasovna �irina lahko dodeli s pomočjo mehanizmov za zagotavljanje kakovosti storitev. (Iskratel, interna dokumentacija).

3.3.1 Vrste video storitev

Telefonski operaterji se vedno bolj izogibajo naziva telefonisti oz. nazivov, ki se navezujejo na telefonijo. V sedanjem svetu se �elijo videti v očeh uporabnikov kot ponudniki multimedijskih storitev. Nove tehnologije so jim omogočile prenos video storitev preko njihovih omre�ij. Nova video storitev, ki jo ponujajo je oddajanje televizijskih programov po IP omre�ju (IPTV). Iz poslovnih modelov operaterjev za to storitev je razvidno, da so stro�ki razdeljeni na 10% za investicije v tehnologijo in 90% za pogodbe z lastniki vsebin in pakiranje celovitih storitev. (Wieland, 2005, str 18-19). Evropski operaterji, ki so prvi začeli investirati v VoD storitve leta 2003, pričakujejo povračilo investicij v letu 2006 (McClune, 2003). Televizijski sprejemnik (TV) je bil desetletja naprava za gledanje multimedijskih vsebin in je splo�no sprejet kot naprava za zabavo na domu. Čeprav je osebni računalnik obravnavan kot mo�na alternativna za TV, je ostal naprava, ki je namenjena samo opravilom kot so pisanje, branje elektronske po�te in igranje. Do sedaj �e ni bil sprejet kot glavna multimedijska hi�na naprava. Ker TV uporablja in obvlada �ir�i krog uporabnikov, med njimi so tudi tak�ni, ki nimajo izku�enj z osebnimi računalniki, se s postavljanjem TV aparata kot glavne komunikacijske

16

naprave na domu, krog potencialnih naročnikov za nove multimedijske storitve poveča (Iskratel, interna dokumentacija). Sama ponudba IPTV storitve vsekakor ne bo prepričala uporabnikov, da preidejo iz preverjene in kvalitetne kabelske TV na IPTV, ki bo prenesena čez DSL tehnologijo. Potrebno bo pripraviti in omogočiti �e dodatne, kvalitetne, zanimive in poceni (video) pakete storitev, ki bodo pritegnile uporabnike (Wieland, 2005, str. 18-19). �tevilo TV naročnikov v svetu do konca leta 2004 je prikazano v tabeli 1. Tabela 1: �tevilo TV naročnikov v svetu do konca leta 2004

Satelitski sprejem (v milijonih)

Kabelski sprejem (v milijonih)

Skupaj (v milijonih)

Evropa 23,8 35,3 59,1 Severna Amerika 28,7 78,1 106,8 Azija 9 120,3 129,3 Preostali del sveta 7,35 12,1 19,45 Skupaj 68,85 245,8 314,65

Vir: Wieland, 2005, str. 19 Pravi video na zahtevo ( ang. true VoD16) bo verjetno za končne uporabnike najbolj zanimiva storitev. Namenjena bo predvsem ogledu filmov. Ponudniki storitev bodo omogočali veliko izbiro filmov, ki si jih bo uporabnik lahko ogledal ob poljubnem času. Prav tako bo mogoče uporabljati identične funkcije, kot jih uporabljamo na video rekorderju (pavza, vrtenje naprej in nazaj). VoD bo popolnoma nadomestil klasično izposojo video kaset oz. DVD zgo�čenk. VoD zajema več vrst video storitev. Sem spadajo telemedicina, učenje na daljavo, dostop do interneta, delo na daljavo, igre na daljavo ter �e omenjena podpora za IP telefonijo. Načinov za obračunavanje VoD storitev ter IPTV bo veliko. �e vedno bo obstajala mo�nost klasične naročnine. Prav tako zanimivo bo plačilo za ogled (ang. pay-per-view). Na ta način bodo obračunani programi, ki ponujajo (novej�e) filme in VoD. Tudi plačilo za ogled bo razdeljeno v več skupin. Obstaja �e mo�nost predvajanja filmov z dodanimi oglasi. Tako bodo določen prihodek operaterji dobili od ogla�evanih podjetij, končni uporabniki pa bodo ceneje dostopali do storitve. Vsekakor cena ogleda filma ne bo smela preseči cene za izposojo video kasete ali DVD zgo�čenke ali cene vstopnice za ogled filma v kinu. Ključni dejavniki za pridobivanje naročnikov bodo predvsem izvirnost, bogata izbira storitev in vsebin, pristopne cene ter načini obračunavanja (Iskratel, interna dokumentacija).

16 VoD � Video on Demand

17

Pričakujejo se tudi različni načini obračunavanja za dodatne storitve. Podjetje Cisco, ki je v svetu vodilno na področju razvoja in prodaje telekomunikacijske opreme, je med domačimi uporabniki dostopa do interneta opravilo raziskavo o pripravljenosti plačila dodatnih storitev. Rezultati ankete so predstavljeni v tabeli 2 (Krapf, 2004b, str. 10). Tabela 2: Rezultati ankete podjetja Cisco o pripravljenosti plačila dodatnih

storitev

Vrsta storitve Pripravljeno plačati (%)

Ni pripravljeno plačati (%)

1. Ogled oz. shranjevanje vsebine »za odrasle« 86 6 2. Varno shranjevanje slik, videa ali drugih datotek na

stre�nike ponudnika storitev 77 12

3. Dostop do informacij o izobra�evanje, medicini in evalvaciji različnih izdelkov

76 10

4. Igre na daljavo 76 13 5. Ogled oz. shranjevanje filmov, koncertov ali �portnih

dogodkov 69 19

6. Shranjevanje glasbe dostopne na internetu 64 21 7. Za�čita računalnikov pred virusi in neza�eljeno e-

po�to 36 49

Vir: Krapf, 2004b, str. 10.

3.3.2 Kodiranje video signala

Zadovoljiva pasovna �irina ni edini pogoj za kvaliteten prenos video storitev. Prav tako pomembni so načini kodiranja. Koliko bitov bo potrebno za to storitev, je pogosto vpra�anje strokovnjakov, ki se ukvarjajo z načrtovanjem prenosa video signala. Tradicionalna kabelska TV temelji na analognem prenosu video signala. Prenos digitalnega signala je povsem drugačen. V zadnjih letih je bilo razvitih precej načinov za stiskanje in kodiranje video signala. Za prenos IPTV in VoD storitev, ki zahtevajo visoko kvaliteto se uporablja MPEG-2 kodiranje. Ogled IPTV storitve z MPEG-2 metodo kodiranja je enake kvalitete kot ogled video vsebine predvajane iz DVD zgo�čenke. Kvaliteta video signala bo odvisna od vrste storitve. Člove�ki mo�gani zaznajo video vsebino, če se slike spreminjajo pri frekvenci 25 slik (okvirjev) na sekundo (ang. frames per second - fps). Standardni TV sprejemnik osve�uje sliko 50 krat v sekundi, ker je frekvenca električnega omre�ja 50 Hz (v ZDA je frekvenca električnega omre�ja 60Hz pri 110V izmenične napetosti). Pri ni�jih frekvencah mo�gani vidijo prekinjeno predvajanje video vsebine. Določene storitve (npr. video telefonija) ne zahtevajo predvajanja video vsebine z visoko kvaliteto. Različne vrste kodiranja video in audio signala so prikazane v tabeli 3.

18

Tabela 3: Vrste kodiranja video signala in uporaba le-teh

Video kodek Audio kodek Prenosna

hitrost (bit/s) �t. okvirjev v

sekundi Praktična uporaba

H.263 AMR 24k do 56k 2,5 do 5 GPRS telefonija H.263, MPEG-4

AMR, G.723 56k do 128k 5 do 10 UMTS telefonija

H.263, MPEG-4

AMR, AAC 128k do 144k 12,5 UMTS video storitve

H.263, MPEG-4, realni video

G.711, AAC, realni audio

1M 12,5 do 25,

ali 30 Video storitve na osebnem računalniku

MPEG-2, H.264

MPEG-2 1,5M do 4M 25 ali 30 »triple play« storitve

MPEG-2, H.264

MPEG Več kot 4M 50 ali 60 DVD predvajanje

Vir: Greenfield, 2005, str. 31. V prihodnjih letih bo MPEG-2 kodiranje nadomestilo MPEG-4 kodiranje, ki bo za visoko kvaliteto predvajanja video vsebin zasedalo precej manj�o pasovno �irino. Do leta 2009 predvidevajo kvaliteten prenos video vsebine pri zasedenosti pasovne �irine le 1 Mbit/s (Finneran, 2005, str. 33).

3.4 Storitev »triple play« in DSL

Večina telefonskih operaterjev po svetu se je v zadnjih letih povsem usmerila v storitev s tr�nim imenom »triple play«. »Triple play« zdru�uje storitve telefonije (VoIP), video storitve (IPTV in VoD) ter �irokopasovni dostop do interneta. Koncept omre�ja za storitev »triple play« je prikazano na sliki 7. S to storitvijo �elijo telefonski operaterji konkurirati drugim, predvsem kabelskim operaterjem (Finneran, 2005, str. 32-33). Uporabniki »triple play« storitve imajo doma name�čen DSL modem na katerega se priključi televizijski komunikator (STB17), VoIP telefon in osebni računalnik. STB slu�i za dekodiranje digitalnega signala in pretvarjanje v analogni signal, ki je potreben za standardni TV sprejemnik. STB ima vgrajene �e dodatne funkcije, ki podpirajo VoD storitve v celoti (Iskratel, interna dokumentacija).

17 STB � Set-top box

19

Slika 7: Koncept omre�ja za storitev »triple play«

Vir: Iskratel, interna dokumentacija Ponudniki telekomunikacijske opreme danes ponujajo �e dovolj zrele izdelke, ki omogočajo nadzorovan in zanesljiv prenos vseh treh storitev. Prava vrednost »triple play« storitve ni le omogočanje treh neodvisnih storitev. Uporabnike bodo dodatno privabile funkcije, kot je npr. prikaz telefonske �tevilke ob zvonjenju VoIP telefona na TV sprejemniku (Wieland, 2005, str. 19). V Sloveniji to storitev podpira podjetje SiOL.

3.5 Zagotavljanje kvalitete storitev

Organizacija IFCA-SCIC18 se ukvarja z analizo internetnih povezav od leta 1995. Z aplikacijo ping19 preverjajo odzivne čase med več kot sto računalniki povezanimi v internet. Izgubljenih pingov (pingi brez odziva) je vsako leto manj, kar pomeni, da je 18 IFCA-SCIC � International Committee for Future Accelerators � Standing Committee on Inter-Regional Connectivity 19 ping � Packet Internet Groper (prestreznik internet paketov). Program, ki ga uporabljamo za preverjanje dosegljivosti računalni�kega sistema (stre�nika) v internetu. Ko ga za�enemo, po�lje ping v internet sporočilo sistemu, za katerega �elimo ugotoviti, ali je dosegljiv. Če je sistem dosegljiv odgovori na sporočilo. Ping prestre�e pakete odgovora in hkrati sporoči, koliko časa je minilo, da je odgovor pri�el.

20

povezljivost v internetu vsako leto bolj�a. Leta 1995 je bilo v domeni »edu« izgubljenih 10% pingov. Danes ista meritev poka�e dva oz. tri izgubljene pinge od 100.000 poslanih. Vse mednarodne povezave po svetu bele�ijo manj kot 1% izgub. Tudi odzivni čas pinga čez internet se letno zmanj�a od 10 do 20%. V letu 2003 je bil odziv pinga po 40% povezavah v svetu pod 250 ms, kar pomeni, da je povratna informacija potovala manj kot 250 ms. Leta 2001 je bilo le 8% uporabnikov povezanih v internet čez omre�je, ki je imelo izgubo prenosa podatkov manj�o od 1%. Do leta 2003 se je razmerje uporabnikov, ki so povezani v internet z izgubo prenosa manj kot 1%, povzpelo na 64% (Isenberg, 2005, str. 48). Podjetji Motorola in Amazon imata javno objavljeno domačo stran. Med dostopanjem do teh strani so nadzorovano vna�ali izgubo paketov in izmerili čas potreben, da se odpre osnovna stran v celoti. Rezultati vpliva izgub na čas potreben za odpiranje osnovne strani so prikazani v tabeli 4 (Bartlett, 2004, str. 16-22): Tabela 4: Odzivni časi odpiranja domačih strani podjetij Motorola in Amazon

Izguba paketov (%) Motorola (sekund) Amazon (sekund) 0,01 3,4 8,8 0,1 3,5 9 1 4 10,2 2 4,5 11,6 4 5,6 14,4 6 6,8 17,2

Vir: Bartlett, 2004, str. 18. Na samem začetku so bila IP omre�ja zasnovana tako, da se je ves promet obravnaval enakovredno. Skrbniki omre�ij niso jamčili za kvaliteto prenosa storitev. Veliko dana�njih storitev zahteva določeno stopnjo kvalitete storitev (QoS). To so predvsem govorne in video storitve. Omre�je fiksne telefonije je izredno dobro zasnovano za kvaliteten prenos govora (tabela 5). Za zagotavljanje zadovoljive kvalitete govora po IP omre�ju je potrebno upo�tevati naslednjih pet spremenjivk:

• �tevilo pokvarjenih paketov pri prenosu (ang. transmission errors), • �tevilo izgubljenih paketov pri prenosu (ang. packet loss), • zakasnitev prenosa v eno smer (ang. one-way delay), • trepetanje (ang. jitter), • paketi, ki so prene�eni izven zaporedja (ang. out-of-sequence packets).

21

Nadzorovana IP omre�ja (npr. omre�ja znotraj podjetij) omogočajo visoko kvalitetno VoIP telefonijo, vendar je priporočljivo opraviti testiranje in opraviti potrebne modifikacije pred uporabo VoIP telefonije (tabela 5) (Audin, 2004, str. 9-12). Tabela 5: Značilnosti in razlike med omre�jem fiksne telefonije ter IP omre�jem.

Fiksna telefonija

Omejitve za VoIP telefonijo

Nadzorovano IP omre�je Internet

Pokvarjeni paketi

Zelo malo in so prezreti

So prezreti; ni ponovitve prenosa

Manj�e �tevilo (popravi se ponovnim po�iljanjem)

Manj�e �tevilo (popravi se ponovnim po�iljanjem)

Zakasnitev v eno smer 1 � 30 ms 40 � 120 ms 20 � 200 ms 40 � 2000 ms

Trepetanje 0 � 5 ms 10 � 25 ms 10 � 75 ms 10 � 100 ms Izguba paketov 0% 1 � 4% 1 � 5% 1 � 30 ms Paketi izven zaporedja

Ni paketov izven zaporedja

Potrebno bi bilo ponoviti prenos, vendar vpliva na zakasnitev

Potrebno bi bilo ponoviti prenos, vendar vpliva na zakasnitev

Potrebno bi bilo ponoviti prenos, vendar vpliva na zakasnitev

Vir: Audin, 2004, str. 9-12. VoIP telefonija zveni precej dobro tudi ob izgubi nekaj paketov. Video storitve pa so precej bolj občutljive in zahtevajo bolj�o kvaliteto prenosa po omre�ju. Za kvaliteten prenos video in VoIP storitev mora biti izguba paketov manj�a od 0,1%. Zakasnitev je odvisna tudi aplikacije, ki omogoča video storitev na video stre�niku. Ves čas je potrebno nadzorovati obremenjenost povezave. Bolj je povezava obremenjena, večja je mo�nost napake. Verjetnost napake pri prenosu v odvisnosti od obremenjenosti povezave je prikazana na sliki 8 (velja za rafalni promet) (Bartlett, 2004, str. 16-22). Načrtovanje omre�ja za prenos VoIP telefonije je precej zapleten proces, saj se popolnoma razlikuje od načrtovanja omre�ja za fiksno telefonijo. Kvaliteta VoIP telefonije je najbolj ogro�ena zaradi naslednjih parametrov (Hersent, 2000, str. 198-200):

• IP omre�je, zaradi narave osnovnega protokola IP, povzroči izgube paketov, zakasnitve in trepetanje,

• vhodni predpomnilniki vplivajo na končno zakasnitev in izgubo paketov, • akustični vmesniki povzročajo akustični odmev, • analogni vmesniki povzročajo električni odmev.

22

Slika 8: Verjetnost napake pri prenosu v odvisnosti od obremenjenosti povezave

0

10

20

30

40

50

60

0 10 20 30 40 50 60 70 80 90Obremenjenost povezave (%)

Verje

tnos

t nap

ake

(%)

Vir: Bartlett, 2004, str. 18. Obstajajo le trije načini za izbolj�anje kvalitete:

• zmanj�ati pretok podatkov po omre�ju (skoraj nemogoče), • povečati pasovno �irino, • vpeljati mehanizme za zagotavljanje kvalitete storitev (na stikalih in

usmerjevalnikih). Po dosedanjih analizah in testiranjih IP omre�ij, največjo te�avo predstavlja trepetanje. Odpravljanje trepetanja je izjemen izziv za proizvajalce telekomunikacijske opreme. Če ne bo vpliv trepetanja po IP omre�ju omejen, bo vsekakor potrebno prilagoditi standarde, izdelke in storitve (Audin, 2004, str. 9-12). Tako proizvajalci telekomunikacijske opreme kot ponudniki storitev, napovedujejo veliko novih storitev. Vse napovedi so podprte tudi s časom, kdaj bo storitev razpolo�ljiva na trgu. V večini primerov so se časovni roki precej zamaknili. Temu je botroval zamik razvoja opreme, saj kvaliteta izdelkov ni bila zadovoljiva. Končna testiranja so odkrila veliko napak, ki jih je bilo nujno potrebno odpraviti. Nekatere napake so se pojavile �ele po mno�ičnem priključevanju uporabnikov. Uporabniki klasične telefonije so se navadili na kvalitetno in brezhibno telefoniranje z navadnimi telefonskimi aparati. Zgolj futuristični izgled VoIP telefonskih aparatov, ki imajo velik barvni zaslon ter ogromno dodatnih funkcionalnosti, ne bo zadovoljil končnih uporabnikov, če bo kvaliteta osnovne govorne storitve slab�a od klasičnega telefoniranja. Proizvajalci opreme so zato začeli povpra�evati po testnih orodjih, ki bi lahko simulirala delovanje opreme, ko je le-ta obremenjena z večjim �tevilom

23

uporabnikov. Zato so se proizvajalci testnih orodij usmerili k razvoju namenske strojne in programske opreme za testiranje, ki naj bi čim bolj kvalitetno preverila delovanje opreme in odkrila morebitne napake. Na trgu so se pojavila različna testna orodja, ki so podprta z avtomatskim delovanjem. Avtomatska testna orodja so vnesla popolnoma nove metode dela v proces testiranja. Najenostavnej�a so orodja namenjena testiranju grafičnih vmesnikov in komandnih vrstic in ne zahtevajo posebne strojne opreme. Mo�no jih je zaganjati iz osebnega računalnika in delujejo na več vrstah operacijskih sistemov. Bolj zapletena orodja zahtevajo namensko strojno in programsko opremo. Nekateri proizvajalci testnih orodij so videli tr�no prilo�nost v razvoju avtomatskih orodij, ki omogočajo testiranje IP omre�ij ter simuliranje storitev, ki se stre�ejo čez IP omre�je, saj so proizvajalci telekomunikacijske opreme imeli največ te�av prav na tem segmentu. Testiranje izdelka, ki stre�e »triple play« storitev npr. sto naročnikom, je skoraj nemogoče opraviti v laboratoriju. Potrebno je pripraviti okolje, ki zajema sto osebnih računalnikov, sto VoIP telefonov, sto televizijskih komunikatorjev, sto DSL modemov ter sto TV sprejemnikov. Za uspe�no testiranje bi bilo potrebno anga�irati �e sto ljudi, kjer bi vsak posameznik moral upravljati tri naprave: VoIP telefon, TV sprejemnik in osebni računalnik. Voditi 100 ljudi, da sočasno upravljajo z vsemi omenjenimi napravami in izvedejo različne scenarije, je seveda nemogoče. Vse to nam lahko nadomesti eno avtomatsko orodje, ki je v velikosti standardnega TV sprejemnika ter en strokovnjak za to orodje. Zamislimo si lahko poljubne testne scenarije, ki so lahko natančni do tisočinke sekunde. Seveda za ceno orodja od nekaj 100.000 USD. Operaterji oz. ponudniki storitev objavljajo mednarodne razpise za nabavo telekomunikacijske opreme. Običajno se prijavi več kot deset proizvajalcev opreme iz celega sveta. Pribli�no polovica jih zaradi tehničnih pomanjkljivosti ne pride v naslednji krog (tehnična predstavitev opreme in testiranje pri operaterju), ker večina podjetij, ki tehnično predstavljajo svojo opremo pri operaterju, nima dovolj kvalitetnih izdelkov. Operaterji imajo na voljo le nekaj dni časa, da preverijo delovanje opreme ponudnikov in ocenijo kvaliteto opreme ter se odločijo za nakup. Delovanje telefonskega omre�ja po masovnem priključevanju naročnikov in po dalj�em času delovanja ne morejo predvideti, če jim to ne zagotovi testno orodje. Zato se tudi operaterji vedno bolj odločajo za nakup avtomatskih testnih orodij, ki v enakem času opravijo veliko �tevilo zelo kvalitetnih testov. Tako se operaterji la�je odločajo o stopnji kvalitete izdelkov. Običajno se operaterji zaradi varnosti, odločijo za dva do tri proizvajalce telekomunikacijske opreme.

24

4. TESTIRANJE TELEKOMUNIKACIJSKE OPREME

4.1 Proces testiranja

Za testiranje visoko kvalitetnih, zanesljivih in tehnolo�ko novih izdelkov ne zado�ča le navadno pregledovanje sistema ali le eden tip testiranja. Zahteva se dobro načrtovana in obse�na testna metodologija, ki predvideva uporabo različnih tehnik testiranja v posameznih fazah testiranja in na koncu razvojnega procesa. Na sliki 9 je prikazana metodologija testiranja kompleksne komunikacijske opreme, ki se izvaja v petih korakih:

Slika 9: Proces testiranja

Identifikacija testov

Oblikovanjetestnih

postopkov

Izdelavatestnih

postopkov

Izvajanje testov

Analiza rezultatov

- Določitev funkcij, ki jih lahko testiramo- Določitev pogojev za testiranje- Določanje prioritet za posamezne teste

- Določitev testnih postopkov (kaj in kako bo testirano)

- Priprava podatkov, okolja in testnih scenarijev potrebnih za testiranje

- Izvajanje načrtovanih testov

- Primerjava dobljenih rezultatov s pričakovanimi

Vir: Fewster, 1999, str. 13. Prvi korak je identifikacija testov. V tem delu postopka določimo funkcije oz. podsisteme, ki jih lahko stestiramo. Določijo se tudi prioritete za izvajanje testov. V tej fazi se prav tako določijo uporabljene tehnike testiranja (funkcionalno, performančno, varnostno,�).

25

Naslednji korak je oblikovanje testnih postopkov. Ta faza določa na kak�en način bomo testirali sistem. Testni postopek je skupina testov in zaporedje testov, ki bodo izvedeni. Specificirajo se pogoji testiranja, vhodni podatki, pričakovani izhodni podatki, spremembe na sistemu, ki jih povzroči test (npr. sprememba podatkovne baze), ipd. Vsak test mora imeti določene pričakovane izhodne podatke ali rezultate. Ti podatki so referenčni za določanje pravilnosti delovanja sistema. Začetna nepravilna analiza pričakovanih izhodnih podatkov lahko povzroči veliko �kode v procesu testiranja. Najbolje je oblikovati testne postopke vzporedno z razvojem izdelka, ki ga testiramo. Za tem sledi izdelava testnih postopkov. V tretji fazi se realizira testni postopek. Pripravi se potrebna strojna in programska oprema. Če test potrebuje dostop do določenih datotek v testiranem sistemu oz. izdelku, se ti predhodno pripravijo in shranijo v sistem. V primeru avtomatske analize dobljenih rezultatov, je potrebno organizirati datoteke v katere bo orodje shranjevalo rezultate analize. Četrti korak je izvajanje testnih postopkov. Izvajanje testnih postopkov je zagon zaporednih testov, ki smo jih predhodno določili. Odvisno od raz�irjenosti in zapletenosti testov se lahko časi izvajanja testa precej razlikujejo. Zadnji korak je analiza dobljenih rezultatov. Zadnja faza je primerjava med pričakovanimi rezultati in pridobljenimi rezultati po testiranju. Enostavno povedano, če se dobljeni testni rezultati ujemajo s pričakovanimi je test pozitiven, v nasprotnem primeru je test negativen oz. neuspe�en. Seveda pod pogojem, da so pričakovani rezultati pravilno določeni. �ele po natančni analizi dobljenih rezultatov lahko ocenimo pravilnost delovanja testiranega sistema. Nekateri rezultati se lahko preverijo �e med samim izvajanjem testov. Če je test negativen, je potrebno raziskati vzrok negativnega rezultata. Vzrok je lahko nepravilna izvedba testnega postopka, nepravilno pripravljeno testno okolje, nepravilno določeni pričakovani rezultati in ne nazadnje napaka testiranega sistema. Procesa primerjave in verifikacije rezultatov se med seboj razlikujeta. Avtomatsko orodje lahko opravi le primerjavo rezultatov in more oceniti kvalitete izdelka. Verifikacijo primerjanih rezultatov lahko opravi le človek (Fewster, 1999, str. 13-17).

4.2 Izbira pravilnih testnih postopkov

Izbira pravilnih testnih postopkov je kritična za donosnost izdelka. Tehnike se med seboj razlikujejo glede na pristop k testiranju. Nekateri testni postopki so usmerjeni k analiziranju strukture sistema, drugi k analizi obna�anja sistema. Vsak postopek ima veliko prednosti in zahteva specifična znanja za izvajanje testov. Izbira pravilne

26

kombinacije testnih postopkov so pogoj za visoko kvaliteto izdelka. Poznamo tri vrste izbire testnih postopkov:

• Statično testiranje. Statično testiranje se izvaja na �e ne delujočem sistemu in nastopi v zgodnji razvojni fazi. Namen statičnega testiranja je sprotno odkrivanje napak. Tak primer je preverjanje programske kode po celovito zaključenem podsistemu. Lahko jo preverja isti programer, ki je kodo pisal, v najbolj�em primeru jo preverja drug programer oz. strokovnjak, ki se ukvarja s pregledovanjem programske kode. S tem smo izločili napako, ki bi se lahko prenesla skozi celoten razvojni proces. Statično testiranje programske kode se lahko izvaja tudi s posebnimi avtomatskimi orodji, ki preverjajo skladnost napisanega s specificiranimi standardi (Black, 2002b, str. 1-6).

• Strukturirano (»White box«) testiranje. Statično testiranje je dokaj učinkovito,

vendar je treba opraviti testiranje tudi na delujočem sistemu. Strukturirano testiranje se opravi na delujočem sistemu in temelji na podrobnej�em poznavanju izdelka. Opravi se testiranje na posameznem modulu. Ker se posamezni moduli med seboj razlikujejo, se prilagodijo testni postopki. Izvede se tudi testiranje zaporednega medsebojnega delovanja med dvema ali več moduli. Zato je pri načrtovanju tesnih postopkov za strukturirano testiranje potrebno veliko izku�enj (Zorko, 2004, str. 66).

• Vedenjsko (»Black box«) testiranje. Vedenjsko testiranje je tudi testiranje na

delujočem sistemu. Osredotočenost je le na tem, kaj sistem dela in ne kako sistem dela. Obravnava se kot črna �katla, v katero na vhod vnesemo vhodne podatke, sprejemamo izhodne podatke ter jih obdelamo. Ta vrsta testiranja se uporablja pri globalnem testiranju kot so testiranje zmogljivosti, obremenitev, konfiguracij, itd. Vedenjsko testiranje je tudi najbolj podprto z avtomatskimi testnimi orodji. Prav tako se pri tej vrsti testiranja odkrije največ napak, ki so moteče za kupca. Kupci oz. končni uporabniki večinoma obravnavajo sisteme oz. izdelke kot črne �katle. Zanima jih le namen in uporabnost sistema in ne kako sistem deluje (Zorko, 2004, str. 66).

Testiranje je ve�čina. Za vsak sistem obstaja izjemno veliko �tevilo mo�nih testov, ki bi lahko bili opravljeni. Zaradi časovnih in finančnih omejitev, se podjetja ponavadi odločajo za manj�e �tevilo skrbno izbranih testov od katerih pričakujemo, da bodo odkrili čim večje �tevilo napak, predvsem tak�nih, ki so najbolj kritične za delovanje in stabilnost sistema. Zato je potrebna previdnost pri izbiri testnih postopkov, če �elimo najbolj�e rezultate. Testni postopek lahko opi�emo s �tirimi parametri, ki so prikazani na sliki 10. Najpomembnej�i parameter je učinkovitost pri odkrivanju napak. Drugi pomemben

27

parameter je pokritost testov. Od pokritosti testov pričakujemo, da s posameznim testom pokrijemo več kot eno funkcijo ali podsistem in zmanj�amo skupno �tevilo testov, ki bi zagotovili kvalitetno testiranje celotnega izdelka. Naslednja dva parametra sta finančno usmerjena. Ekonomičnost testnega postopka glede celotne izvedbe testiranja (priprava, zagon, analiza,�) in prilagodljivost testnega postopka. Slednja določa vire potrebne za spremembo testnega postopka, ki so nastali zaradi spremembe testiranega podsistema (spremembe nastanejo ob odpravljanju odkritih napak). Ti �tirje parametri se ponavadi uravnote�ujejo med seboj. V primeru, ko imamo testni postopek, ki pokriva veliko �tevilo podsistemov, je cena testnega postopka visoka. Zahteval bo tudi visoke stro�ke za prilagajanje zaradi sprememb na testiranem modulu. Temu primerno bosta ekonomičnost in prilagodljivost precej nizko. Učinkovitost testiranja ni odvisna samo od učinkovitosti odkrivanja nepravilnosti v delovanju izdelka. Potrebno je optimalno načrtovati testne postopke in se izogibati odvečnim stro�kom v razvojnih fazah (Fewster, 1999, str. 4-5).

4.3 Avtomatizacija testnih postopkov

Za avtomatske teste je značilno, da jih izvaja za ta namen razvita naprava. Ta naprava je lahko bodisi bolj zmogljiv osebni računalnik, na katerem je name�čena posebna programska oprema, bodisi posebna naprava, ki je specializirana za določene vrste testov. Večkrat gre za posebne naprave, ki jih krmilimo tako, da z vnosom podatkov v registre nastavimo �eljeno delovanje naprave. V splo�nem velja, da manj�i je poseg človeka med samim izvajanjem testa bolj je test avtomatiziran. Ročno ali s skriptami nastavimo test in ga po�enemo; od tu naprej se test izvaja avtomatsko. Avtomatizacija testa je ve�čina, ki se razlikuje od samega testiranja. Prav tako je potrebno razlikovati kvaliteto avtomatizacije testa od kvalitete testiranja. Četudi smo uspe�ni pri opravilu avtomatizacije testov, je trud zaman, če test ne opravi �eljene naloge dovolj dobro. Tudi hitrost nam v tem primeru kaj dosti ne pomaga. Avtomatizacija testiranja v večini primerov pomeni avtomatski testni scenarij, ki v poljubnem vrstnem redu izvaja poljubne teste. Avtomatski testni scenarij je program, katerega razvoj poteka na enak način kot poteka razvoj ostalih izdelkov v podjetju. Po uspe�no opravljeni avtomatizaciji testiranja se stro�ki testiranja dolgoročno zni�ajo. Zagon avtomatskega testa je cenej�i od opravljanja ročnega testiranja. Stro�ki avtomatiziranih testov narastejo pri vzdr�evanju in nadgradnji le-teh. Zato je pomembno, da pri načrtovanju avtomatiziranega testiranja razmi�ljamo dolgoročno. Pri kratkoročnem načrtovanju lahko stro�ki ob nadgradnji dose�ejo stro�ke, v nekaterih primerih celo prese�ejo, ki bi jih imeli z ročnim testiranjem od samega

28

začetka. Poleg finančnega vidika, se podjetja odločajo za avtomatizacijo testiranja, predvsem zaradi izbolj�ave kvalitete izdelka, ki ga ponujajo na trgu.

Slika 10: Keviatov diagram

Učinkovitost

Ekonomičnost Prilagodljivost

Pokritost testov

Ročni test

Avtomatski test po velikem �tevilu

ponovitev

Avtomatski test opravljen prvič

Vir: (Fewster, 1999, str. 5) Na sliki 10 je prikazan Keviatov diagram. Ročni test je prikazan s polno črto, avtomatski test pa s prekinjeno črto. Prikazana je ekonomičnost avtomatskega testa ob prvem zagonu in po velikem �tevilu ponovitev. Ob prvem zagonu so upo�tevani stro�ki povezani z vlaganjem v avtomatizacijo testiranja. Čim vi�ji sta vrednost posameznega parametra in povr�ina, ki jo oklepajo črte ki povezujejo točke, tem bolj�i je testni postopek. Pred začetkom procesa avtomatizacije testiranja mora vodja skupine za testiranje pripraviti in preveriti teste, ki jih �elimo avtomatizirati. Strokovnjak za avtomatizacijo testov zbere vse podatke in opravi analizo vseh testnih postopkov. Teste, glede na smiselno povezanost, razvrsti na skupine. To opravi zaradi ni�jih stro�kov realizacije, enostavnej�e uporabe testnega orodja in ni�jih stro�kov pri nadgradnji in vzdr�evanju avtomatiziranega sistema (Fewster, 1999, str. 5-6).

29

4.4 Primerjava ročnega in avtomatskega testiranja

Danes so na trgu razpolo�ljiva izjemno napredna orodja za avtomatsko testiranje. Tudi narava nekaterih �e uveljavljenih testov je taka, da zahteva podporo avtomatskih orodij, če �elimo opraviti nalogo čim bolje. Po drugi strani, imamo teste, ki zahtevajo ročno testiranje. Končni cilj načrtovanja testiranja ni določiti kaj bomo testirali. Potrebno je analizirati kako testirati ter določiti vrstni red testnih postopkov. Vrste testov, pri katerih je uporaba avtomatizacije in avtomatskega orodja najbolj primerna (Black, 2002c, str. 1-5):

• Regresijsko testiranje in preverjanje odprave napak. Ob zadnji izdaji izdelka se preverja, če je delovanje izdelka nespremenjeno. Preverjajo se tudi popravki napak, ki so bile prijavljene.

• Vnos naključnih vhodnih podatkov. V sistem vnesemo podatke, ki imajo različne parametre. Tako �elimo preveriti delovanje sistema in odziv na te podatke.

• Obremenitve in zmo�nosti sistema. Potrebno je preveriti kako se obna�a sistem pri velikih obremenitvah. Z ročnimi testi ni mogoče simulirati nekaj tisoč uporabnikov, ki sočasno obremenjujejo sistem.

• Performance in zanesljivost. Z avtomatskimi testi določimo robne pogoje delovanja sistema. Teste lahko pustimo delovati dalj�e časovno obdobje in opazujemo kak�en je odziv sistema po določenem časovnem intervalu.

Avtomatsko testiranje �e vedno ne more popolnoma pokriti vse vrste testiranja. Tudi pri pregledu rezultatov avtomatskega testiranja je �e vedno potreben strokovnjak, ki bo analiziral rezultate dobljene z avtomatskim orodjem. Obstaja �e veliko testov, ki jih ni mogoče avtomatizirati, med te �tejemo:

• In�talacija, administriranje in vzdr�evanje. Potrebno je vstaviti zgo�čenko, zamenjati strojno opremo ali veliko drugih opravil, ki jih lahko opravi le oseba.

• Konfiguriranje in kompatibilnost. Opraviti je potrebno povezovanje različnih komponent, preveriti delovanje posamezne komponente in povezovanje komponent med seboj.

• Ravnanje ob napakah in ponovni zagon. Z ročnimi posegi lahko obvladujemo neza�eljene situacije in izdelek ponovno postavimo v delujoče stanje.

• Lokalizacija. Testerji s posebnimi izku�njami preverjajo pravilnost in smiselnost prevodov ter kulturno skladnost za določen trg.

• Uporabnost. Preverja se lahko uporabnost, enostavnost in oblika. Najenostavnej�i primer je grafični vmesnik.

• Dokumentacija in pomoč. Tako kot lokalizacija in uporabnost, je kontrola dokumentacije mogoča le z ročnim posegom.

30

Pri odločitvi o avtomatiziranju določenega �tevila testov je potrebno predhodno opraviti natančno analizo testnih postopkov. Enako velja pri odločitvi za ročno testiranje (Black, 2002c, str. 1-5). Izku�nje so najpomembnej�e pri določanju mejnika, kdaj naj se test opravi ročno in kdaj avtomatsko. Z uvedbo avtomatskega testiranja se zmanj�a obseg ročnega testiranja ali celo popolnoma ukinejo ročni testi, ki so pokrivali določeno področje. Ob ukinitvi se porajata vpra�anji, koliko napak bi odkrili z ročnim testiranjem in kako nevarne so te napake. Če popolnoma avtomatiziramo proces testiranja, je končni uporabnik prvi, ki bo opravil ročni test (Marick, 1998, str. 3). Ena od prednosti avtomatskega testiranje je preverjanje odpravljanja napak. V primeru napake se ponovi popolnoma enak test, ki je odkril napako, in se preveri ustreznost popravka. Odvisno od �tevila in kritičnosti napak, se lahko in�enirji za razvoj po določenem času odločijo za večje posege v sistem, ki bi sistem izbolj�ati ali stabilizirali. V tem primeru ne moremo ponoviti enakega testa, ker test ni prilagojen preoblikovanemu sistemu. �ivljenjska doba testa se je iztekla (slika 11). Test je potrebno odvreči ali popraviti.

Slika 11: �ivljenjska doba avtomatskega testa.

Priprava sistemaPriprava testa

Zagon testa

Izdaja popravkov

Zagon testa

Izdaja popravkov

Izdaja popravkov Zagon testa ni uspe�en (test odmre)

Vir: Marick, 1998, str. 5. V obeh primerih, pri načrtovanju popolnoma novega testa ali pri popravljanju obstoječega testa, so stro�ki visoki. Če se do te stopnje razvoja vlaganje v avtomatizacijo testiranja ni povrnilo, bi bilo bolj smotrno �e na začetku vse teste opravljati ročno. Preden se odločimo za avtomatizacijo testiranja je potrebno pribli�no

31

oceniti čas uporabnosti testa. Odločamo se glede na zapletenost testiranega izdelka (Marick, 1998, str. 4-18).

4.5 Izbira testov za avtomatizacijo

Od celotnega nabora testov so nekateri bolj primerni za avtomatizacijo kot drugi. Med tistimi, ki jih lahko avtomatiziramo, moramo izbrati tiste, ki jih bomo dejansko avtomatizirali. Nikoli ne bomo uspeli avtomatizirati vseh testov. Verjetno nekateri testi, tudi dolgoročno, ne bi povrnili vlaganj v avtomatizacijo, zato jih zaradi njihove neprofitabilnosti ni smiselno avtomatizirati. Kriteriji glede odločanja o prenosu testov iz ročnega v avtomatizirani način so različni. Če za 10% testov porabimo 90% časa, je vsekakor smiselna avtomatizacija vsaj teh. Ponavadi se odločamo za avtomatizacijo testov:

• za najpomembnej�e funkcije ali podsisteme, • ki se najla�je avtomatizirajo, • pri katerih bo nalo�ba hitro povrnjena, • ki se najbolj pogosto uporabljajo.

Običajno se podjetja odločajo za avtomatizacijo velike skupine testov v en avtomatiziran sistem. Bolje je zdru�iti le funkcionalno podobne teste v podsisteme avtomatskega orodja. Tako jih lahko poganjamo ločeno. Avtomatizirani testi morajo biti obravnavani enako kot drugi testi. Moramo jih dokumentirati. Določene morajo imeti tudi prioritete izvajanja (Fewster, 1999, str. 292-231). Določitev ciljev, ki jih �elimo doseči z avtomatizacijo je izrednega pomena. Iskanje napak? Podpora razvojni skupini? Potrjevanje o nespremenjenem delovanju izdelka? Ti cilji oz. vpra�anja morajo biti odgovorjena ob načrtovanju uvajanja avtomatizacije. Način razvoja izdelkov, orodja in pripomočki v trenutni uporabi ter izku�nje zaposlenih bodo imeli velik vpliv pri procesu določanja ciljev in kasneje orodja potrebnega za avtomatizacijo testiranja (Kelly, 2004, str. 2-5). Ena najbolj znanih napak pri testiranju je poskus avtomatizacije prevelikega �tevila testov v kratkem času. Običajno je to �elja po visokem napredku na področju testiranja, ki se ne obnese. Zato je najbolj priporočljiva postopna avtomatizacija. Tako bolje spoznamo avtomatska orodja in pridobimo izku�nje pri delu z njimi. Te izku�nje nam precej pomagajo pri izbiri avtomatskih orodij v prihodnosti (Fewster, 1999, str. 231-232).

32

V praksi so prvi poskusi avtomatizacije testiranja večinoma neuspe�ni. Ko skupina za testiranje izbere teste, ki jih lahko avtomatizira, jih uspe�no avtomatizira le 40 do 50%. Nekateri od teh testov predstavljajo prevelik izziv in jih izjemno te�ko uspe�no in kvalitetno avtomatiziramo v prvem poskusu (Fajardo, 2002, str. 13). Ponavadi skupina, ki testira �eli pognati čim več testov istočasno. Najraje pusti avtomatsko orodje, da dela čez noč ali čez vikend. Če se opravlja testiranje v regresijski fazi, se ponavadi sprejeme odločitev za podskupino testov, ki preverjajo delovanje le spremenjenih modulov na testiranem sistemu (Fewster, 1999, str. 231-233).

4.6 Nadzor izvajanja avtomatskega testa

Če pustimo več avtomatskih testov delovati čez noč, ne �elimo naslednje jutro porabiti preveč časa za pridobitev rezultatov. Avtomatska orodja shranijo dobljene rezultate v datoteke. Za pregled vseh teh datotek bi porabili preveč časa. Čeprav orodje kvalitetno opravi proces testiranja, je velikega pomena način prikaza rezultatov. Dobra avtomatska orodja lahko opravijo tudi analizo in osnutek poročila o testiranju. Ponavadi se podrobni rezultati testiranja shranijo v ogromne tekstovne datoteke. Enostavna funkcija lahko v kratkem času pregleda datoteke in nam posreduje ključne rezultate testiranja (Fewster, 1999, str. 244-245). Značilnost kvalitetnih avtomatskih orodij je, da nam sproti posredujejo dobljene rezultate. Dobro oblikovani grafični vmesniki osve�ujejo podatke med testiranjem po določenih intervalih. Tako lahko sproti, �e pred zaključkom testa, opazujemo obna�anje testiranega izdelka. Če opazimo veliko neza�eljenih odstopanj, lahko test prekinemo in nemudoma posredujemo podatke razvijalcem. Le-ti lahko takoj začnejo odpravljati napake. (Fajardo, 2002, str. 3). Različni proizvajalci na različne načine prikazujejo rezultate in poročila. Priporočljive in za�eljene informacije v poročilu so (Fewster, 1999, str. 244-245):

• �tevilo izbranih testov, • �tevilo testov, ki so bili dejansko izvedeni, • �tevilo pozitivnih testov, • �tevilo negativnih testov, • �tevilo odkritih napak (en test lahko odkrije več napak), • �tevilo nedokončanih testov, • podrobne informacije o negativnih in nedokončanih testih (informacije o

mo�nih napakah),

33

• omejitve orodja (prostor na disku, razpolo�ljivost naprav,�), • časovne parametre (čas trajanja posameznega testa, skupni čas,�).

Razlog za neuspeli test je napaka, ki ima svojo zaporedno �tevilko in prioriteto. Podrobne informacije o negativnih in nedokončanih testih naj vsebujejo vsaj:

• napaka pri pripravi, »sporočilo«, • napaka pri zagonu, »sporočilo«, • izhodna datoteka ne obstaja: »ime datoteke«, • odstopanje izmerjenih rezultatov: »ime datoteke«.

Dobra avtomatska orodja imajo mo�nost priredbe oblike izpisa za generiranje poročil. Omogočajo nam spreminjanje nastavitev. Izmed mno�ice rezultatov, ki so shranjeni v orodju, si po potrebi prilagodimo parametre in informacije, ki nas najbolj zanimajo.

4.7 Prednosti in omejitve avtomatskega testiranja

4.7.1 Prednosti avtomatskega testiranja

Avtomatsko testiranje ima veliko prednosti pred ročnim testiranjem. Poglavitne prednosti, ki jih prinese avtomatizacija so (Fewster, 1999, str. 9-10):

• Preverjanje pravilnosti delovanja (regresijsko testiranje) nove različice izdelka. Ponovitev identičnih testov je eno najpogostej�ih opravil avtomatskih orodij. Časovni vlo�ek za preverjanje pravilnosti delovanja v regresijskih testiranjih mora biti čim manj�i.

• Večkratne ponovitve testov. So velika prednost avtomatskega testiranja. Časovni vlo�ek za zagon avtomatskega testa je majhen, testi pa lahko tečejo poljuben čas. Zagotovimo si varnost glede stabilnosti in zanesljivosti delovanja izdelka.

• Izvedba testov, ki jih ni mogoče izvesti z ročnim testiranjem. Nekatere funkcionalnosti je izredno te�ko ali nemogoče preveriti z ročnimi testi. Vzemimo za primer ADSL centralo, na katero je priključenih 200 modemov oz. naročnikov. Naročniki uporabljajo storitve kot so video na zahtevo, VoIP, igre na zahtevo, ipd. Tak�en test je lahko opravljen le z avtomatskim orodjem visokega cenovnega razreda.

• Bolj�a izkori�čenost izvajalcev testiranja. Namesto opravljanja monotonih in dolgočasnih opravil, se lahko in�enirji uporabijo za razvoj ali optimizacijo testnih postopkov. Poveča se tudi motiviranost in�enirjev za testiranje. Na �alost, ali morda na srečo, nekaterih postopkov enostavno ni mogoče avtomatizirati in morajo biti opravljeni ročno.

34

• Hitrej�i prihod na trg. Čas izvajanja testiranja se skraj�a. Hitreje odkrivamo napake in jih sporočamo razvijalcem. Prav tako se hitreje preverijo popravki. Zmanj�ajo se časovni rok potrebni za razvoj kvalitetnega izdelka, kar pomeni hitrej�i prihod na trg.

Poleg prednosti ima avtomatsko testiranje tudi omejitve. Najhuj�e omejitve so tiste, ki nas presenetijo in se te�ko spoprimemo z njimi. Zato je dobro na�teti nekaj znanih te�av, ki so najbolj pogoste pri avtomatizaciji testiranja (Fewster, 1999, str. 10-13):

• Premalo izku�enj pri testiranju. Avtomatizacija testiranja je nesmiselna, če je proces testiranja nekvalitetno načrtovan in voden (nizka učinkovitost testov, nepopolna dokumentacija,�). Najprej je potrebno optimizirati in urediti celoten proces testiranja. Avtomatizirani kaos je le hitrej�i kaos.

• Nerealna pričakovanja. Dana�nja industrija je usmerjena na uvajanje novih tehnologij z namenom odpravljanja čim več napak. Testna orodja niso izjema. Pogosto se zgodi, da smo preveč optimistični glede dose�kov avtomatskih testnih orodij.

• Pričakovanja, da bodo avtomatska orodja na�la veliko novih napak. Najverjetneje bo test ob prvem zagonu na�el obstoječo napako. Če po�enemo test in je status testa pozitiven (napake nismo na�li), je majhna verjetnost, da bo napaka najdena v drugem poskusu. Tak�na napoved velja za nespremenjen testni postopek in za nespremenjen testirani sistem.

• Zavajajoč občutek varnosti. Če po opravljenem testu nismo na�li napake, �e ne pomeni da napaka ne obstaja. Testi so lahko nepopolni ali pa sami vsebujejo napake. Recimo, da dobimo napačne rezultate meritev in nam avtomatske orodje dobljene rezultate shrani kot nepopolno opravljene. V tem primeru je končna analiza orodja nepravilna.

• Vzdr�evanje avtomatskih orodij. Po spremembi testnega sistema je potrebna delna, včasih celotna sprememba testnih postopkov. S tem podalj�amo �ivljenjsko dobo testa. To velja predvsem za avtomatske teste. Viri potrebni za vzdr�evanje so ponavadi ključni za ukinjanje testov. Če je vlo�ek za ročno opravljanje testa manj�i od vlo�ka za nadgradnjo avtomatskega testa, se bo test opravil ročno. Avtomatski test bo odvr�en.

• Tehnične te�ave. Kupljeno orodje od proizvajalca, ki se ukvarja z razvojem in proizvodnjo avtomatskih testnih orodij je integracija strojne in programske opreme. Tudi ta ni imuna na napake. Kupec testnega orodja se razočara, ko odkrije, da testna oprema vsebuje veliko napak, ker ni bila dovolj natančno preverjena, kar se seveda tudi dogaja. Dodatno razočaranje lahko povzroči slaba tehnična podpora in nadgradnja orodij. Prilagoditev orodja na obstoječi sistem in povezovanje z drugimi proizvajalci je včasih lahko te�avno. Veliko orodij je idealno predstavljenih. Ob dejanskem preverjanju in ocenjevanju se (lahko) izka�e drugače.

35

Kupljena avtomatska orodja so ponavadi zapletene naprave, ki ob preverjanju pravilnosti delovanja zahteva izku�ene strokovnjake za ocenjevanje. Potrebno je tudi �olanje za delo na avtomatskem orodju. Ob nakupu avtomatskega orodja proizvajalec le-tega omogoča �olanje strokovnjakov, ki bodo uporabljali to orodje. Veliko te�av nam lahko povzroči tudi na� sistem, katerega �elimo preveriti. Pomembno je, da je na� sistem zmo�en testiranja. To pomeni, da lahko orodje brez večjih te�av priključimo na na� sistem in ga ustrezno stestiramo.

• Potrebe podjetja. Zelo pomembno je, da je uporaba avtomatskega testiranja odobrena tudi od vodstva podjetja. Z dobrimi argumenti lahko dose�emo visoko stopnjo razumevanja. Tako je la�je rezervirati čas potreben za izbiro orodja, �olanje kadrov, eksperimentiranje in spoznavanje delovanja orodja. �e manj�a skeptičnost vodstva lahko privede do te�av. Navidez majhna te�ava je nakup določenega �tevila licenc za uporabo orodja. Če je �tevilo licenc manj�e od �tevila oseb, ki bi istočasno uporabljala orodje, se zmanj�a učinkovitost avtomatskega testiranja.

Izredno te�avno delo je vnaprej oceniti odziv skupine za testiranje ob uvajanju avtomatskih orodij. Odzivi posameznikov so različni. Tudi najbolj�e avtomatsko orodje ne bo pripomoglo k procesu testiranja, če bodo imeli posamezniki v skupini odpor do dela z avtomatskim orodjem. Med izvajalci testiranja velikokrat prevladuje mnenje, da je ročno testiranje dovolj kvalitetno in si ne �elijo sprememb pri svojem delu. Zato je nujno potrebno skupino, ki bo uporabljala avtomatsko testno orodje, vključiti v uvajanje procesa avtomatizacije. Njihovo sodelovanje v procesu bo motivacijsko pozitivno vplivalo na delo z avtomatskim testnim orodjem. Prav tako je potrebno zagotoviti pravočasno in kvalitetno �olanje izvajalcev testiranja za delo z avtomatskim orodjem. (Elfriede Dustin, 1999, str. 16-21). Z uvedbo avtomatizacije lahko s pravilnimi pristopi pridobimo na veliko področjih. Avtomatizacija testiranja lahko sprosti zasedenost strokovnjakov, ki so pred tem opravljali testiranje ročno. Na drugi strani, avtomatska orodja po končanju testov registrirajo ogromno �tevilo rezultatov, ki jih je treba naknadno analizirati. Tako delo lahko zahteva več strokovnjakov, ki bodo analizirali rezultate orodja in izločili odstopanja, ki lahko nastanejo zaradi nepravilnega delovanja testiranega sistema. Z različnimi metodami določimo efektivnost testa pred in po uvajanju avtomatizacije testiranja. Avtomatsko testiranje bo najbolj efektivno, če bo imelo orodje popolno pokritost nad testiranim sistemom in dostop do programske opreme testiranega sistema. Avtomatsko orodje nam omogoča izvajanje testov, katere ne bi mogli izvesti z ročnim testiranjem. Generirajo se lahko milijoni dogodkov in zaporedij, ki so omejena le z zmo�nostmi strojne opreme in razpolo�ljivim časom za testiranje. Tak�ni testi lahko najdejo veliko napak na testiranem sistemu, čeprav je bil z ročnim

36

testiranjem predhodno popolnoma preverjen. Velika prednost avtomatskih testov je naključno in nadzirano generiranje dogodkov in zaporedij. Med zagonom testov orodje preveri stanje programske opreme na merjenem sistemu. Preveri lahko stanje podatkovne baze ter zasedenost pomnilnika in procesorja. Referenčne podatke predhodno vnesemo v orodje. S pomočjo teh podatkov avtomatsko orodje oceni in registrira stanje sistema po vsakem opravljenem testu. Tak�en način testiranja zagotovi registriranje dogajanj na testiranem sistemu. Prav tako lahko testi povzročijo delno ali popolno odpoved delovanja testiranega sistema, včasih tudi izgubo zabele�enih podatkov v sistemu (Hoffman, 1999, str. 1-4). Veliko podjetij pričakuje, da bo uvajanje avtomatizacije testiranja magična pu�čica, ki bo pokončala vse te�ave pri načrtovanju testiranja, stro�kih testiranja, napačnih prijavah napak, ipd. Avtomatizacija testiranja ima lahko pozitiven vpliv na mnoga področja testiranja. Mnogo podjetij, ki se jim je avtomatizacija testiranja obrestovala, lahko predstavlja upanje, da bo avtomatizacija veliko privarčevala in hkrati re�ila veliko odprtih te�av v procesu testiranja. Po drugi strani je več razočaranih podjetij. Med njimi so tudi taka, ko je bila avtomatizacija testiranja koristna le v tehničnem pogledu. Podjetja so investirala veliko časa in denarja v avtomatizacijo testiranja ter po nekaj letih opustila program. Pri načrtovanju avtomatizacije je potrebno upo�tevati veliko spremenljivk. Avtomatizacija spremeni značaj in organizacijo testiranja, od načrtovanja, implementacije do izvajanja testov. Običajno ima �irok vpliv pri organizaciji testiranja. Spremenita se način izvajanja nalog in pristop testiranju. Včasih vpliva tudi na značilnosti oz. funkcionalnosti izdelka (Hoffman, 1999, str. 1-4) . Zapletenost izdelkov je iz leta v leto vse večja. Podjetja veliko vlagajo v razvoj strojne in programske opreme. Eden od pogojev za kvaliteten izdelek je uvajanje avtomatskega testiranja. �tevilo testov, ki jih ni mogoče opraviti ročno nenehno raste. V tak�nih primerih izdelava natančnega poslovnega modela ni potrebna. Simulacijo obna�anja sistema, ki je obremenjen s tisoč uporabniki ni mogoča z ročnim testiranjem. Sistem bo na trgu v kratkem času deloval pod tak�nimi pogoji. V večini primerov so stro�ki, ki jih povzroči nekvaliteten izdelek na trgu vi�ji od stro�kov uvajanja avtomatskega testiranja (Hoffman, 1999, str. 3-4). Pomembno je razumeti potencialne stro�ke in prednosti �e pred osnovnim načrtovanjem avtomatizacije. Organizacijske spremembe zahtevajo izku�nje za načrtovanje in implementacijo avtomatskih testov, avtomatskih orodij in okolja za avtomatizacijo. Razvoj in vzdr�evanje avtomatskih testov se precej razlikujeta od ročnih. Z uvedbo avtomatizacije testiranja se spremenijo delovne izku�nje strokovnjakov in pristopi k testiranju. Spremeni se tudi razvoj in značaj sistema na katerem se izvajajo avtomatski testi. Ta način ima pozitivne in negativne vplive, ki jih je potrebno upo�tevati. Postavitev realnih ciljev in razumevanje kaj pridobimo z avtomatizacijo testiranja je ključ do uspeha. Vodstvu lahko enostavno predstavimo

37

finančne prednosti, ki nam prina�a avtomatizacija. Proizvajalci testnih orodij uspe�no tr�ijo svoje izdelke. Strokovnjaki za tr�enje s spretnimi izračuni na več načinov predstavijo avtomatizacijo kot nalo�bo z visoko stopnjo donosnosti. Analiza ugodnosti in stro�kov nam pomaga pri odločanju o vlaganju v testiranje (Hoffman, 1999, str. 3-4). Vidiki vodilnih v podjetju na avtomatizacijo testiranja Pričakovanje vodstva je, da je potrebno na več področjih določiti: nedoločene stro�ke in prednosti, slabo določene prednosti, skupne parametre ročnega in avtomatskega testiranja ter organizacijske vplive. Pri določanju meril in ocen posameznih parametrov moramo ravnati previdno. Največji vpliv lahko imajo nedoločeni stro�ki. Če so merljivi, lahko pride do večjega odstopanja od predhodno določene vrednosti. Na splo�no se pojavijo te�ave pri zajemanju parametrov, s katerimi ocenimo spremembe zaradi uvajanja avtomatizacije. Nedoločeni parametri so običajno pozitivni, lahko pa so tudi negativni. Ker je za te parametre te�ko določiti objektivna merila jih običajno izločimo pri izračunu donosnosti avtomatizacije. Parametri, za katere je te�ko določiti objektivna merila so (Hoffman, 1999, str. 3):

• Porast strokovnosti v organizaciji testiranja. Povečata se motivacija in produktivnost. Ti sta predvsem posledici nove discipline in nalog, ki jih zahteva avtomatizacija

• Uvajanje naprednih metod testiranja. Odpirajo se nove smeri v testiranju, ki nam jih omogoča avtomatsko orodje.

• Vsi člani skupine za testiranje ne bodo takoj pripravljeni za spremembe. Po uvedbi avtomatskih orodij se lahko zgodi, da nekateri od zaposlenih �e vedno nadaljuje z ročnimi testi.

• Spremembe v kvaliteti testiranja. Kvaliteta se lahko poveča ali zmanj�a. Vsekakor sta ročni in avtomatski testi različni opravili, ki se lahko uspe�no dopolnjujeta.

• �tevilo regresijskih faz. Z avtomatskimi testi se hitreje potrjuje vmesno stanje razvijajočega izdelka. Izdelek lahko hitreje dose�e zahtevano kvaliteto. Prehitri prehodi med razvojnimi in testnimi fazami lahko zmanj�ajo previdnost in pozornost.

Pri odločanju o nabavi orodij imajo na vodilne v podjetju običajno največji vpliv kvalitetne metode tr�enja proizvajalcev avtomatske opreme podprte z mediji, konferencami in seminarji. Večina podanih informacij je resničnih, običajno pa ne odkrijejo vseh podrobnosti, ki so lahko ključne. V primeru, da se lahko primerjajo finančne vrednosti, je proces odločanja o uvajanju avtomatizacije dokaj enostaven. Te�ave nastanejo, če so spremembe v organizaciji in učinkovitost testiranja parametri, za katere je te�ko določiti merila. Kljub vpra�ljivim prednostim in neznanim

38

spremenljivkam, je primerneje za začetek uporabiti pribli�ne izračune, kot da se trudimo z določanjem natančnih izračunov (Hoffman, 1999, str. 4).

4.7.2 Pomanjkljivosti avtomatskega testiranja

Vsekakor avtomatsko testno orodje ne more popolnoma nadomestiti in�enirjev za testiranje. Je le pripomoček v celotnem procesu testiranja, s pomočjo katerega bo delo opravljeno hitreje in bolj kvalitetno. �olanje vseh članov skupine za uporabo orodja je dolgotrajen in precej drag proces. Delo na avtomatskih orodjih mora biti porazdeljeno. Potrebno je določiti osebe, ki bodo delale na določenem orodju. Če je delo na orodju zapleteno in zahteva posebna znanja je potrebno zaposliti dodatno osebo in jo iz�olati za delo na orodju (Zambelich, str. 17-18). Pri uvajanju avtomatskega testiranja moramo upo�tevati najbolj znane omejitve, kot so (Fewster, 1999, str. 22-23):

• Avtomatsko testiranje ne more popolnoma nadomestiti ročnega testiranja. Ni mogoče in ni za�eljeno avtomatizirati vseh testnih aktivnosti. Vedno bodo ostali testi, ki bodo la�je izvedeni ročno kot avtomatsko. Prav tako ostane določeno �tevilo testov, ki bodo neekonomični za prenos iz ročne izvedbe testiranja na avtomatsko testiranje. Testi, ki jih ne bi smeli avtomatizirati so:

o Občasno izvedeni testi. Če test izvedemo le nekajkrat v letu, avtomatizacija ni smiselna.

o Testi na sistemih, ki se močno spreminjajo pri prehodu iz ene različice v drugo. Avtomatski testi ponavadi niso dovolj robustni, da jih lahko hitro in poceni prilagodimo testiranemu sistemu.

o Testi, ki jih enostavneje, hitreje in natančneje izvede človek. To so na primer testi kvalitete zvočnega ali vizualnega signala. Človek in stroj različno ocenjujeta kvaliteto multimedijskih naprav.

• Ročni testi odkrijejo več napak od avtomatskih. Če napaka na testiranem sistemu obstaja, se v večini primerov pojavi ob prvem zagonu testa. Avtomatsko orodje deluje točno tako kot je bilo predhodno nastavljeno. Človek pa lahko pri ročnem testiranju sproti prilagaja testne parametre.

• Povečano zaupanje v kvaliteto testiranja. Avtomatsko orodje nam zagotovi

izhodne rezultate ter opravi primerjavo s pričakovanimi. Pove nam tudi, kateri testi so se uspe�no izvedli in kateri testi se niso uspeli izvesti. Če so pričakovani rezultati predhodno natančno določeni, se lahko zanesemo na avtomatske teste.

• Avtomatski testi ne povečajo vedno učinkovitost testiranja. Ob avtomatizaciji

skupine testov ne povečamo vedno tudi učinkovitosti testiranja. Učinkovitost je

39

večkrat enaka, kot pri ročnem zagonu posameznega testa. Prihranimo pa čas potreben za pripravo vhodnih podatkov, čas potreben za zagon testov in čas potreben za primerjavo izhodnih rezultatov.

• Avtomatizacija lahko omeji razvoj sistema. Avtomatski testi so bolj občutljivi na

spremembe na testiranem sistemu od ročnih testov. Ob večjih spremembah na sistemu lahko avtomatski test odmre in se nadalje vsi testi izvajajo ročno. Nekatera podjetja ob razvoju sistema upo�tevajo znane omejitve avtomatskega orodja. Odločijo se za rahlo prilagajanje razvoja izdelka avtomatskemu orodju. Tako je potrebno precej manj prilagajati orodje za novo različico izdelka.

• Avtomatska orodja nimajo domi�ljije. Na avtomatskem orodju teče program, ki

izvaja dobljene ukaze. Svoje delo opravlja vedno enako, vse dokler ne dobi drugega nabora ukazov. Človek lahko enako nalogo opravi na več načinov. Lahko opravi določeno nalogo po sistemu, ki ni določen v načrtu in ima mo�nost odstopanja od določene poti. Človek lahko tako v času testiranja opazi sumljivo delovanje sistema. V tem primeru se bo posvetil določeni nalogi in raziskal dvome o pravilnem delovanju sistema. Čas, ki ga bo porabil za raziskavo odstopanj ni točno določen in je subjektivne narave. Avtomatsko orodje tak�no situacijo spregleda. Registrira le izmerjene rezultate, jih shrani in nadaljuje postopek, ki mu je bil podan. Te�ava nastane, ko se testirani sistem zablokira. Človek bi z ročnim posegom takoj usposobil sistem in ga pripravil za nadaljevanje ročnega testiranja. Avtomatsko orodje bo opozorilo na napako in prekinilo izvajanje. Sistem je potrebno ročno spraviti v delovanje ter ponovno zagnati program, ki deluje na avtomatskem testnem orodju.

Kljub vsemu je glavna prednost avtomatskih testov ponovljivost. Uporabimo enake vhodne podatke in zaporedje vna�anja vhodnih podatkov. Tak�nih pogojev ni mogoče ustvariti z ročnim testiranjem. Orodja za avtomatsko testiranje so dopolnitev procesu testiranja in niso magična re�itev vseh te�av. Ne morejo popolnoma zamenjati sposobnosti strokovnjakov in analitikov ter ročnega testiranja. Ideja o avtomatizaciji vseh testov je vsekakor pogoj za neuspe�nost testiranja. (Marick, 1997, str. 17-19). Ideja o avtomatskem testiranju prina�a velika pričakovanja. Nekateri imajo predstavo, da bo orodje sprostilo vse faze od planiranja testiranja do izvajanja testov. Prav tako zmotno je prepričanje, da bo eno avtomatsko orodje lahko opravilo vse �eljene teste. Po drugi strani prevladuje prepričanje, da bo avtomatsko testiranje zmanj�alo uspe�nost izvajanja in načrtovanja procesa testiranja. Vrednost avtomatskega testiranja je preverjena in lahko povrne vrednost investicije. Dogaja se, da na samem

40

začetku procesa uvajanja avtomatskega testiranja pade uspe�nost testiranja, dolgoročno pa se izka�e kot pravilna odločitev. Razlogi so ponavadi nerealna pričakovanja, nepravilna implementacija ali izbira napačnega orodja (Elfriede, 2003, str. 144-148).

4.7.3 Kakovost izdelkov in testiranje

Čas, ki preteče začetka razvoja izdelka do izdaje na trg in kvaliteta izdelka sta obratno sorazmerna. Več časa bomo razvijali izdelek, bolj�a bo kvaliteta izdelka, vendar tvegamo prihod drugih podjetij s konkurenčnim izdelkom na trg pred nami. Če ponudimo pomanjkljiv izdelek, se sicer skraj�a čas razvoja izdelka, vendar so stro�ki odpravljanja napak visoki, hkrati pa tvegamo izgubo ugleda podjetja na trgu. Pogosto se uporabniki srečujejo z napakami na nabavljeni programski ali strojni opremi. Nekateri od dejavnikov, ki vplivajo na kvaliteto izdelka so (Rakitin, 1999, str. 54-55):

• Uporabnik ne zna točno določiti zahteve za izdelek. Pogosto jih tudi spreminja. • Delo razvojnih in�enirjev je tehnični izziv. Zaradi nenehnega porasta potreb na

trgu je postalo delo zelo zapleteno in časovno vedno bolj omejeno. • Univerze preveč časa porabijo za učenje programerskih spretnosti in premalo časa za učenje discipline in organizacije v programiranju.

• Redko kateri razvojni in�enir se je udele�il tečajev projektnega vodenja, načrtovanja razvoja programske opreme, verifikacije in validacije programske opreme,� Ti tečaji raz�irjajo obzorje in izbolj�ajo kvaliteto dela skupine za razvoj.

• Upravljalci premalo vlagajo v izobra�evanje razvojnega kadra. • Ocenjevanje razvojnih in�enirjev je večinoma osredotočeno na produktivnost

in manj na kvaliteto. Watts Humphrey je leta 1997 opravil analizo dela programerjev. V povprečju naredijo eno napako na deset vrstic programske kode. Pri tem razmerju ima program z milijon vrsticami pribli�no 100.000 napak. Pribli�no 95% napak se bo odkrilo in odstranilo preden bo izdelek na trgu, 5% pa jih ostane. Pri drugih vrstah izdelkov kupci ne bi sprejeli tolik�nega �tevila napak. Zakaj bi torej končni uporabniki sprejeli toliko napak v programski opremi, ki je postala nepogre�ljivi del vsakdanjika (Rakitin, 1999, str. 54-55). Cena kvalitete izdelka Proces pogajanja o vi�ini proračuna za nalo�bo v testiranje je običajno zelo te�aven. V očeh nekaterih upravljalcev je proces testiranja nujno zlo, ki predstavlja zadnjo

41

stopnjo projekta. Prevladuje mi�ljenje, da je cena testiranja previsoka, testiranje traja predolgo, zavira nastajanje izdelka, vna�a spor med skupino za razvoj in skupino za testiranje. Ob tak�nem pogledu na testiranje, ni nič čudnega, da �elijo čim manj vlagati v testiranje. Izku�eni upravljalci se odločajo za vi�je vlaganje v testiranje. Vedo, da je nalo�ba v testiranje hkrati nalo�ba v kvaliteto končnega izdelka. Optimalno se znajo odločati koliko denarja je potrebno vlo�iti v določeno vrsto testiranja. Cena kvalitete je določena z enačbo (Black, 2000, str. 1-3): Ckvalitete = C skladnosti + Cneskladnosti

Cena skladnosti je določena kot preventivni ukrep, ki zagotavlja visoko stopnjo kvalitete. Med take ukrepe spadajo tudi tečaji, pregledovanje programske kode, natančno načrtovanje testov, razvoj testnih postopkov, itd. Cena neskladnosti se deli na stro�ke odprave notranjih in zunanjih napak. Cena odprave napake je najni�ja v primeru, ko skupina za razvoj odkrije napako �e v času razvoja. Ko izdelek preide v fazo končnega testiranja celovitega izdelka, se stro�ki odprave notranjih napak povi�ajo. Napaka se uradno prijavi, skupina za razvoj jo odpravi, izdelek se ponovno integrira in na koncu skupina za testiranje preveri popravek. Zunanje napake so napake, ki jih odkrijejo končni uporabniki. V tem primeru se skupni stro�ki odprave napak najvi�ji. Stro�ki povezani s tem, so stro�ki odprave notranje napake povi�ani za stro�ke dobave popravkov in tehnične podpore. Nemerljive posledice so nezadovoljstvo kupcev, izguba ugleda, izguba kupcev oz. trga, skrajni ukrep je lahko tudi podana to�ba. Zato se na proces testiranja gleda kot na nalo�bo, ki daje v kratkem času pozitivne rezultate. Vedno bo veljalo pravilo, da je napake ceneje preprečiti kot odpravljati (Black, 2000, str. 3-5). Veliko podjetij, ki se ukvarja z razvojem programske opreme, ne uspe spremljati hitrih sprememb in zahtev na trgu. Podjetja se odločijo za agresivne časovne roke za razvoj izdelka. Posledica tega je veliki pritisk na razvijalce, ki morajo v kratkem času pripraviti izdelek, ki bo zadovoljil potrebe trga. Pri določanju časovnih rokov, se običajno ne upo�tevajo v celoti parametri kot so zapletenost izdelka, zasedenost kadrov in stopnjo strokovnosti kadrov ter izku�nje iz preteklosti. Ko sprejmejo razvojni in�enirji naloge in časovne omejitve, mora skupina za razvoj opraviti »načrtovanje nazaj«. »Načrtovanje nazaj« pomeni, da morajo začeti načrtovati od dneva zaključka nazaj. Časovni roki niso več roki potrebni za naloge, temveč roki razpolo�ljivi za naloge. Razčlenjevanje projekta na posamezne funkcije in določanje povezovanja med funkcijami se opravi zelo povr�no. Tak�no načrtovanje je predpogoj za veliko �tevilo napak pri delovanju izdelka. Razvojni in�enirji se tega zavedajo, vendar nimajo druge izbire. Tak�en način razvoja se najbolj odra�a na kvaliteti. Iz vidika uporabnikov je delo na nekvalitetni programski opremi izguba časa, visoka stopnja

42

nezadovoljstva in delovna neučinkovitost. Iz vidika proizvajalca programske opreme je prodaja slabe programske opreme neekonomična. Poleg dodatnih časovnih virov, ki jih potrebujejo razvojni in�enirji, da ponovijo, odkrijejo in odpravijo napako, se povečajo stro�ki za tehnično podporo. Ti stro�ki močno zni�ajo profitabilnost izdelka (Rakitin, 1999, str. 55-57). »Načrtovanje nazaj« je popolnoma zaprt način načrtovanja in ne upo�teva nepričakovanih dogodkov, ki se običajno v času razvoja tudi pojavijo. Mo�ni nepričakovani dogodki so (Rakitin, 1999, str. 55-57):

• spremembe začetnih zahtev, • ključni razvojni in�enir zapusti podjetje, • �olanje strokovnjakov za uporabo novih tehnologij in orodij ni načrtovano, • nepopolne informacije pomembne za naloge porazdeljene po skupinah, • naraste odvisnost izdelka od parametrov, ki so v začetnih fazah bili označeni

kot nepomembni, • nekateri razvojni in�enirji morajo začasno ustaviti delo, zaradi prehoda na

drugi projekt. Zaradi neupo�tevanja zapletenosti izdelka, organizacijskih sposobnosti, zasedenosti razvojnih in�enirjev in nenačrtovanih opravil, postane načrtovanje za izvedbo nepomembno. Čez čas postane očitno, da bo projekt zamujal oz. izdelek ne bo dokončan v celoti. Pri spreminjanju zahtev lahko ponovno načrtovanje traja dlje časa, kot da bi končali začetno načrtovani projekt. Preverjanje načrtov, dokumentacija, pisanje programske kode lahko traja dlje kot smo pričakovali, ker naloge v samem začetku niso bile popolnoma razumljive in specificirane, povezave med posameznimi nalogami niso bile ustrezno določene in načrti za nenadno pomanjkanje kadrov niso bili pripravljeni. V tej točki postanejo projektni vodje panični. Končni datum je dogovorjen, saj je kupcu obljubljeno da bo izdelek na razpolago. Edini izhod predstavlja iskanje bli�njic. Projektni vodje se odločajo za opu�čanje nalog. Potrebno je določiti katere naloge se bodo opustile. Umaknejo manj potrebne funkcionalnosti in prestavijo kadre na implementacijo bolj pomembnih funkcionalnosti. Aktivnosti, kot so regresijsko testiranje ali pregled programske kode, se umaknejo. Čas predviden za aktivnosti skupine, ki skrbi za validacijo oz. kontrolo kvalitete izdelka, se prav tako močno skraj�a. Odstranitev tak�nih aktivnosti ali skraj�anje rokov za opravilo pomeni manj�o kvaliteto končnega izdelka.

43

Najbolj zanimive ob tak�nem poteku dogodkov so reakcije projektnih vodij:

• zgro�enost nad visokimi stro�ki podpore (ti so predvsem zaradi realizacije popravkov in nadgradnje izdelka),

• zgro�enost nad slabo kvaliteto (izdelek vsebuje veliko �tevilo napak), • obto�ba in�enirjev za slabo opravljeno delo.

Osredotočenost le na »čas potreben do trga« ali osredotočenost le na kvaliteto ni primerna. Če razvijemo izdelek, ki zamuja več mesecev, se zaradi zamude na trg ponavadi ne bo uspel prodati. Pravočasno in slabo razvit izdelek se prav tako ne bo prodal (kvaliteta je za kupca zelo pomembna). Potrebno je uravnote�iti »čas do trga« in kvaliteto (Rakitin, 1999, str. 55-57). Kvaliteta izdelka Točne zahteve kupcev so le redko točno določene. Zaradi pomanjkljivih zahtev se v tak�nih situacijah podjetja odločajo za vse ali nič strategijo. Ena pot je oskubljen izdelek, razvit v kratkem času. Druga pot je vlaganje več virov v razvoj, z namenom poslati na trg kvaliteten izdelek z veliko dodatnih funkcij. Seveda je za razvoj kvalitetnega izdelka potreben dalj�i čas. Ne ena ne druga pot ni primerna. Izraz Jamesa Bacha (1997) »dovolj dobra kvaliteta« je v zadnjem času postal priljubljen pri razvojnih podjetjih. Ko je izdelek »dovolj dober«, ga sprostijo na trg. Zavedajo se, da kupci niso pripravljeni čakati in plačati »idealen izdelek«. Operacijski sistem Windows 95 je imel odprtih 13.000 znanih napak za katere je podjetje Microsoft določilo začasen odlok za odpravljanje. Čez čas so začeli odpravljati kritične napake. Izdali so tudi popravke za te. Odpravljanje vseh napak pa ni bilo smiselno ne profitabilno (Rakitin, 1999, str. 55-57). V ciklu razvoja izdelka, se vodstvo podjetja najbolj osredotoča na �tiri vrste nevarnosti, ki ogro�ajo kvaliteto izdelka:

• finančna (kako lahko razvoj prese�e odobren proračun), • načrtovanje (kako lahko razvoj izdelka prese�e časovne mejnike), • uporabnost izdelka (kako lahko razvijemo izdelek, ki ne bo dovolj zadovoljil

potrebe na trgu), • kvaliteta (kako lahko kvaliteta izdelka vpliva na zadovoljstvo kupca).

Na nevarnost za kvaliteto izdelka vpliva veliko parametrov. Vodstvo podjetja se najbolj osredotoča na:

• funkcionalnost (izdelek ne pokriva vse predvidene funkcije določene pred začetkom razvoja),

• zmogljivosti (izdelek deluje pravilno, vendar zelo počasi),

44

• lokalizacija (te�ave z jezikom, časovnim pasom, denarno enoto, ipd.), • kapaciteta (pri visokih obremenitvah izdelek preneha z delovanjem), • zanesljivost (pod določenimi pogoji, se izdelek odziva nepravilno in

nekontrolirano) . Tak�nim vrstam neugodnosti se lahko izognemo z natančno predhodno analizo in načrtovanjem testiranja. Naredimo lestvico, ki predstavlja nevarnosti razvr�čene glede na stopnjo vpliva na končno kvaliteto. Nevarnosti vi�je stopnje se testirajo natančneje, dlje časa in z večkratnim ponavljanjem (Black, 2002a, str. 3-7). Čas do trga in kvaliteta se medsebojno ne izključujeta. S pravilnimi pristopi se lahko dose�eta oba cilja. Med tak�ne pristope �tejemo (Rakitin, 1999, str. 57):

• Pravilna motivacija. Če pogledamo v dokumentih podjetij, se med merili, ki vplivajo na plače zaposlenih, se beseda kvaliteta pojavlja redko. Zaposleni osredotočajo svoje delo in zmo�nosti samo na področja po katerih so ocenjevani. Ta področja so merila za njihovo plačilo. Projektne skupine bi morali ocenjevati glede na produktivnost in kvaliteto. Če vodstvo podjetja �eli povečati nivo kvalitete je potrebno s kvaliteto postopati enako kot s »časom do trga«. Potrebno jih je pribli�no izenačiti.

• Uvedba kulture kvalitete. Kvaliteta je največji pogoj za dolgoročni uspeh.

Zveza med prodajo in kvaliteto izdelka je izredno močna. Dobra kvaliteta lahko raz�iri �tevilo trgov in poveča tr�ni dele�. Z uvedbo kulture kvalitete znotraj podjetja lahko vodstvo zlahka dose�e, da se »čas do trga« skraj�a. Kvaliteta kulture ima kar nekaj atributov: • Stopnja kvalitete mora biti merljiva. Da to dose�emo morajo zaposleni

videti povezavo med svojim delom in kvaliteto izdelka ali storitvijo, ki jo podjetje ponuja. Podjetja morajo postaviti objektivna merila za kvaliteto.

• Načrtovanje naprej. Ko načrtujemo projekte in časovne roke za naprej, dobimo ostre kritike. Te večinoma veljajo za vse projekte. Načrtovanje postane bolj razumljivo in natančno. Člani projektne skupine se dr�ijo načrtovanih rokov, saj so sami izdelali načrt za posamezno nalogo. S tem se poveča odgovornost posameznikov. V primeru zamude se ne morejo izgovoriti, da so jim načrti in časovni roki bili vsiljeni. Če v času razvoja kak�na naloga očitno zamuja, se hitro organizira prenos kadra iz drugih nalog z namenom, da se dose�ejo zastavljeni roki. Pri načrtovanju so pomembne izku�nje ter poznavanje in zaupanje v ljudi, ki bodo prisotni pri razvoju projekta.

• Čim več ljudi v podjetju mora biti vpletenih pri uvajanju kulture kvalitete. Največji učinek se bo poznal pri razvojnem delu. Razvojni in�enirji najbolje vidijo kje so pomanjkljivosti v razvojnem procesu. Z upo�tevanjem njihovih

45

idej, se bodo z veseljem dr�ali novih pravil, saj so jih delno tudi sami postavljali.

Omogočanje nenehne podpore. Vodstvo mora omogočati nenehno podporo v celotnem razvojnem postopku, če �eli doseči zahtevano kvaliteto v zahtevanem roku. Mora se naučiti zaupati procesu. Projektni vodje ne smejo v kritičnih situacijah opustiti zastavljene procese. Pripravljeni morajo biti na odločanje v kritičnih situacijah. Ko sprejmejo od razvojne skupine sporočilo, da projekt ne bo končan, morajo biti sposobni hitro analizirati stanje, ter se odločiti za ukrepe. Odločijo se za ukrepe in obvestijo razvojno skupino, po potrebi tudi kupca. Morajo vztrajati pri točni definiciji izdelkov in zastavljenih kriterijih. �e posebej pri zadnjih tednih razvoja izdelkov (Rakitin, 1999, str. 57).

4.8 Donosnost avtomatizacije

Obstaja več načinov za izračun donosnosti avtomatizacije testiranja. Večina načinov privede do enostavnega izračuna:

1. Določimo vrednost koristi, ki nam je prinesla avtomatizacija. 2. Določimo vrednost nalo�be v avtomatizacijo. 3. Korist delimo z nalo�bo.

Če smo v avtomatizacijo investirali 50.000USD in z avtomatizacijo privarčevali 100.000USD, je donosnost 200%, kar je dobra nalo�ba. Pomanjkljivost tak�ne metode za izračun donosnosti avtomatizacije testiranja je, da je spregledanih nekaj va�nih spremenljivk. Te�ko je določiti dejansko vrednost koristi, ki nam jo prinese avtomatizacija. Ena od skupnih metod za določitev dejanske vrednosti je �tevilo ponovitev testov, ki jih je opravilo avtomatsko orodje. Ali je res korist dvakrat večja, ker smo namesto 5 ponovitev opravili 10 ponovitev? Če med pridobitve �tejemo tudi hitrost opravljanja testov, privarčevan čas skupine za testiranje, večjo uspe�nost iskanja napak, je skoraj nemogoče določiti dejansko vrednost koristi. Ob pripravi proračuna za nabavo testnega orodja za avtomatizacijo testiranja lahko upo�tevamo ceno avtomatskega orodja, ceno �olanja in ceno dodatne opreme na kateri bo orodje delovalo ter plače in�enirjev za testiranje usposobljenih za delo na orodju. Te�ja naloga je določiti časovne vire za vzdr�evanje orodja ali vire skupine za testiranje, ki s pomočjo ročnih testov dopolnjuje avtomatsko testiranje. Donosnost avtomatizacije testiranja je podatek, ki najbolj zanima vodstvo podjetja. Običajno se ob predstavitvi vodstvu pretirava s prednostmi in se prikrije običajno visoka cena avtomatskih orodij. Natančen izračun donosnosti običajno ni pogoj za najbolj�o odločitev glede uvajanja strategije avtomatizacije testiranja. »Avtomatizirati vse« ni strategija, temveč past. Potrebno je določiti pomen besede »vse« in razloge za avtomatizacijo. Popolna

46

avtomatizacija lahko prese�e stro�ke, ki smo jih na začetku predvidevali. Testiranje ne bo popolno, saj so ročni testi �e vedno potrebni (Hendrickson, 2001, str. 1-6). Avtomatizacija testiranja zahteva v začetku visoko nalo�bo, ki s časom zmanj�uje stro�ke testiranja. S pomočjo analize donosnosti uvajanja avtomatizacije bomo pribli�no določili stro�ke. Tako se la�je odločamo katere faze testiranja bomo najprej avtomatizirali, katere pripomočke bomo potrebovali ter katera znanja so potrebna, da se projekt lahko v celoti izvede. Analizo donosnosti avtomatizacije ne smemo izvajati preden povsem ne razumemo vseh stro�kov povezanih s projektom, različne tipe modelov avtomatizacije in strategije, ki lahko povečajo donosnost avtomatizacije (Kelly, 2004, str. 1-2). Donosnost avtomatizacije je običajno določena kot razmerje med pridobitvami in investicijo. Običajno se podjetja odločajo za avtomatizacijo testiranja po dalj�em času izvajanja ročnih testov. V tem primeru je la�je določiti donosnost avtomatizacije. Izdelki hitreje dose�ejo kvaliteto potrebno za trg. S tem raste tudi �tevilo izdelkov, ki jih podjetje razvija in proizvaja, saj podjetje porabi manj časa za razvoj kvalitetnega izdelka. Po dalj�em času uporabe lahko analiziramo spremembo prihodka in primerjamo z obdobjem, ko so bili uporabljeni le ročni testi. Finančne stro�ke avtomatizacije lahko generalno delimo na nespremenljive in spremenljive. Nespremenljivi stro�ki se nana�ajo na opremo, avtomatsko orodje, �olanje, itd. Spremenljivi stro�ki se nana�ajo na �tevilo opravljenih testov in na �tevilo ponovitev slehernega testa. Tipični nespremenljivi stro�ki so (Hoffman, 1999, str. 5-6):

• strojna oprema, • programska oprema, • licence potrebne za programsko opremo, • načrtovanje okolja za avtomatska testiranja, • vzdr�evanje okolja za avtomatska testiranja, • �olanja potrebna za uporabo orodja, • orodja za pisanje testnih scenarijev.

Tipični spremenljivi stro�ki so:

• načrtovanje testnih postopkov za testna orodja, • izvajanje testnih scenarijev, • vzdr�evanje testov, • analiza testnih rezultatov, • prijava odkritih napak, • priprava končnega poročila o testiranju.

47

Določeni parametri so skupni za ročno in avtomatsko testiranje. Te je potrebno izločiti pri izračunu donosnosti avtomatizacije. Ti so:

• analiza testiranega sistema, • primarno načrtovanje testiranja, • poročanje o rezultatih testiranja vodstvu.

Finančni vpliv avtomatizacije lahko določimo tudi s primerjavo dveh mo�nosti. Prva mo�nost je ročno testiranje, druga pa, da testov sploh ne opravimo. Pri prvi mo�nosti je enostaven izračun, če upo�tevamo vse spremenljivke povezane s stro�ki ročnega testiranja. Seveda je določanje parametrov in vrednosti le-teh večinoma zahtevna naloga. Pri drugi mo�nosti sprejemamo tveganje o nevednosti. Te�ave pri izračunu donosnosti avtomatskega testiranja nastanejo, če avtomatsko orodje in ročni test ne opravita naloge enako kvalitetno. Nekatere prednosti in stro�ki so primerni le za avtomatske teste, primerjava učinkovitosti testov �e posebej. Veliko avtomatskih orodij je sposobna opraviti teste in v grobem opraviti analizo rezultatov po končanem testiranju. V tem primeru je potrebno opraviti primerjavo prednosti in stro�kov glede zmanj�anja tveganja napake, ki bi se pojavila �ele pri kupcu. Pri izračunu moramo biti vsekakor pozorni na razumevanje, merljivost in določanje vrednosti posameznih spremenljivk. Prav tako je potrebno čim bolj izločiti subjektivni vpliv pri določanju donosnosti avtomatizacije testiranja (Hoffman, 1999, str. 7-14). Donosnost avtomatizacije je precej odvisna od vrste izbrane avtomatizacije in njene dodane vrednosti na proces testiranja. Različne vrste avtomatizacije imajo različno stopnjo donosnosti in različno vplivajo na ročno testiranje. Natančno je potrebno definirati določene in nedoločene koristi. Za nedoločene koristi vemo, da imajo dodane vrednosti, vendar je dejansko te�ko določiti koliko je privarčevanih sredstev z avtomatizacijo. Splo�na formula za izračun privarčevanih sredstev ne obstaja. Izračun donosnosti avtomatizacije predstavlja nalogo, ki pomaga pri izbiri testov za avtomatizacijo. Ko določimo teste, ki jih je potrebno avtomatizirati, je potrebno določiti prioritete, stro�ke in koristi. Naslednja faza je izračun donosnosti za izbrani nabor testov. Prav tako je potrebno določiti načine avtomatizacije za izbrane teste. Najbolj pogosto se podjetja odločajo za avtomatizacijo naslednjih testov:

• test obremenitve in zmogljivosti, • test namestitve, • test stabilnosti, • podpora razvojni skupini za testiranje posameznih modulov, • analiza časovnega poteka izvajanja programske kode.

48

Splo�no pravilo avtomatizacije testiranja je, da je treba najprej avtomatizirati teste, katerih nalo�ba se hitro povrne ter teste, ki jih ni mogoče opraviti ročno. Drugo pravilo je, da če imamo te�avo prepričati vodilne glede določene avtomatizacije, ne smemo zlorabiti izračuna donosnosti. V mnogih primerih se je izkazalo, da �tevilke lahko priredimo v izračunih donosnosti. Če izračun ne poka�e visoke donosnosti, kar vodilni običajno �elijo videti, je potrebno določeno avtomatizacijo testa opustiti. Ni potrebe po izvajanju projektov, ki imajo majhno mo�nost za uspeh. (Kelly, 2004, str. 2-6). Avtomatiziranje testiranja moramo obravnavati enako kot avtomatizacijo katerega koli od poslovnih procesov znotraj podjetja. �elimo poiskati re�itev, ki bo zadovoljila na�e potrebe in �elje (Bos, 2005, str. 2).

4.9 Proces uvajanja avtomatizacije testiranja

Katera pot je prava? Christopher Columbus je imel jasen odgovor na to vpra�anje, ko je odplul iz �panije leta 1492. Njegov namen je bil potovati na zahod in najti najenostavnej�o pot do vzhodnih de�el. Na poti je pri�el do nepričakovanega kopna, ki ni bilo označeno na njegovem zemljevidu. Načrti Columbusa so bili jasno opredeljeni, vendar je bila realnost daleč od pričakovanega. Enako se nam lahko zgodi pri uvajanju avtomatizacije testiranja v podjetju. Avtomatizacija testiranja je lahko prava pot za nekatera podjetja, medtem ko druga podjetja nikoli ne dose�ejo �eljenega cilja. Tako kot pri Columbusu se pričakovanja precej razlikujejo od izku�enj na njihovi poti. Tisti, ki so imeli večkrat izku�nje z uvajanjem avtomatizacije, pravijo da so tak�ni primeri pogosti. Ob postavitvi ciljev, moramo biti pripravljeni na različne poglede. Različne osebe v podjetju si različno predstavljajo končni cilj, s tem se razhajajo tudi poti do ciljev. Povezovanje različnih pogledov, dojemanja in prednosti avtomatizacije bo povečalo mo�nosti za doseganje bolj kvalitetnega procesa testiranja. Preden začnemo poizvedovati po različnih načinih avtomatizacije, je potrebno najprej določiti vse vpletene spremenljivke v procesu (Zallar, 2001, str. 22-23). Avtomatizacija testiranja je razvoj programske opreme Najbolj pomembno pri uvajanju avtomatizacije testiranja je, da vsi vpleteni gledajo na avtomatizacijo kot na razvoj programske opreme. Avtomatizacija testiranja ni le priključitev avtomatskega orodja, ki bo skraj�alo proces testiranja. In�enirji za testiranje precej časa porabijo za upravljanje, oblikovanje in zagon testov. Za opravljanje ročnih testov imajo vse manj časa. V tej fazi se oblikuje ideja o nabavi avtomatskega orodja, ki bo avtomatsko opravilo testiranje. Slaba informiranost, nepopolno razumevanje in neizku�enost na področju avtomatizacije, bo te�ila k nabavi avtomatskega orodja na trgu, ki bo le navidez pripomoglo pri testiranju.

49

Opravijo se povr�na predstavitvena testiranja, takoj za tem sledi nabava orodja. Dejansko se obseg dela celo poveča, saj se odprejo nove naloge, pri katerih skupina za testiranje nima izku�enj. Pogosto vodilni v podjetju pričakujejo, da bodo avtomatska orodja sama izbrala teste in jih zagnala ob poljubnem času s funkcijo ponavljanja testov. Na njihovo srečo, nekatera avtomatska orodja delujejo na ta način, vendar bo zana�anje le na tak�en način dela privedlo do te�av. Scenarij zajema in ponovnega zagona ob demonstraciji orodja večinoma navdu�uje prisotne. Kasneje se izka�e, da je vzdr�evanje nekaj sto testov prava nočna mora. Ob spremembi testiranega sistema (grafični vmesnik, funkcionalnosti), je potrebno prirediti ogromno �tevilo testov, ki smo jih �e uporabljali. Proces spremembe cele mno�ice testov se izka�e kot zapleteno in neučinkovito opravilo. Ko se zgodi, da je vzdr�evanje avtomatskega orodja zapleteno in prezahtevno, se in�enirji za testiranje ne �elijo več ukvarjati z vzdr�evanjem orodja, saj s tem izgubijo precej časa. V tem primeru nalo�ba v avtomatizacijo propade. Vodja skupine za testiranje se mora pred nabavo orodij popolnoma seznaniti z opravili in te�avami pri testiranju. Prav tako je potrebno pridobiti izku�nje o prednostih in slabostih oz. poenostavitvah in zapletenostih nalog pri uvedbi avtomatizacije testiranja (Zallar, 2001, str. 22-23). Avtomatska orodja ne vedo katere teste je potrebno izvajati. Če sami ne prepoznamo najpomembnej�ih testov oz. testov, ki jih je smiselno avtomatizirati, bo avtomatsko orodje le pohitrilo izvajanje slabo načrtovanih testov (Rice, 2003, str. 6). Dobra novica je, da projekt uvajanja avtomatizacije ni povsem drugačen od projektov, ki jih projektni vodje vodijo znotraj podjetja. To pomeni, da učinkovita avtomatizacija prav tako zahteva vodenje, logično in modularno načrtovanje oblike programske kode, standardizacijo, dokumentiranje in na koncu �e testiranje. Potrebna je tudi optimalna porazdelitev virov, da dose�emo najbolj�e mogoče rezultate ob uvedbi avtomatizacije testiranja (Zallar, 2001, str. 23). Avtomatizacija testiranja je nalo�ba Nalo�ba v avtomatizacijo testiranja je upravičena, če je ni�ja od stro�kov:

• vzdr�evanja, ki ga zahtevajo kupci na�ega, ne dovolj kvalitetnega izdelka, • vzdr�evanja potrebna v proizvodnem procesu izdelka, • prekinitve pogodbe z kupci, ki so nezadovoljni z na�im izdelkom.

Avtomatizacija ima dva dodatna vidika glede vlaganja. Prvi vidik je, da mora biti avtomatsko orodje popolnoma razvito in izdelano pred prvo uporabo. S tem se lahko stro�ki �e dodatno povečajo. Drugi vidik je takoj�nje upo�tevanje stro�kov vzdr�evanja. Orodja mora biti uporabna ves čas razvoja in proizvodnje lastnega

50

izdelka. Visoka stopnja odprtosti orodja glede vzdr�evanja precej vpliva na uspe�nost nalo�be (Zallar, 2001, str. 23-26). Ocena kadrov in izku�enj Visoka stopnja učinkovitosti procesa avtomatizacije zahteva vizionarja tj. osebo, ki bo prevzela odgovornost za vodenje procesa, dolgoročni uspeh in visoko donosnost avtomatizacije. Ta oseba je lahko trenutni vodja skupine za testiranje oz. novo zaposleni strokovnjak, ki bo zadol�en le za področje avtomatskega testiranja. Odgovoren bo za celoten proces in bo zagotovil najvi�jo stopnjo učinkovitosti avtomatizacije. Prav tako bo vodil dokumentiranje procesa in strate�kega načrtovanja za kratkoročno uvajanje avtomatizacije ter dolgoročno vzdr�evanje orodja. Zagotovil bo načrtovanje, oblikovanje in upravljanje, ki bo povrnilo nalo�bo v zastavljenem roku. Ko določimo osebo, ki bo upravljala proces avtomatizacije, je potrebno �e določiti preostale člane skupine, ki bodo sodelovali v procesu uvajanja avtomatizacije. Večina avtomatskih orodij zahteva znanje nekaterih programskih jezikov, s pomočjo katerih prilagajamo delovanje orodja glede na na�e potrebe. Nekateri proizvajalci orodij izdelajo grafični vmesnik, ki olaj�a funkcijo prirejanja avtomatskega orodja, vendar to velja le za enostavne primere. Za zahtevne posege je vedno potreben poseg v programsko kodo avtomatskega orodja. Skupina zadol�ena za avtomatizacijo bo skrbela za vzdr�evanje orodja in testnih scenarijev. Potrebna so znanja osnovnih programskih jezikov in strukturiranega programiranja (Zallar, 2001, str. 23-24). Pri izbiri skupine za avtomatizacijo se najprej osredotočimo na kadre, ki so člani skupine za testiranje. Ocenimo njihovo strokovnost na področju (ročnega) testiranja in zmo�nost delovanja v skupini za avtomatizacijo. Tudi če imajo sposobnosti potrebne za delovanje v skupini za avtomatizacijo, ne bodo mogli delati v obeh skupinah zaradi časovnih omejitev. Priporoča se ravno nasprotno. Kadre, zaposlene v skupini za testiranje, ni priporočeno dodeliti tudi v skupino za avtomatizacijo testiranja. Obstaja velika nevarnost zaradi prioritet nalog. V primeru, da je po načrtih ročno testiranje v kratkem obdobju v prednosti pred avtomatskim, bo slednje postavljeno na stranski tir. Izkori�čenost avtomatskega orodja bo manj�a, ker je zaposleni na orodju preusmerjen na drugo nalogo. Tudi to je eden od vzrokov, zaradi katerega se nalo�ba v avtomatizacijo testiranja ne obnese. Avtomatizacija testiranja zahteva pridobitev strokovnjakov, ki bodo delovali le v skupini za avtomatizacijo testiranja. Proces avtomatizacije testiranje ne smemo obravnavati kot projekt, ki ima svoj konec. Avtomatizacijo testiranja je potrebno obravnavati enako kot proces razvoja izdelkov v podjetju. Potreben bo tako dolgo, dokler bo prisoten proces testiranja v podjetju (Fajardo, 2002, str. 5-7).

51

Eno od pomembnih dejstev pri tem procesu je, da metoda univerzalnega pristopa k avtomatizaciji testiranja ne obstaja. Učinkovitost avtomatskega orodja je najbolj odvisna od testiranega sistema, količine denarja, ki smo ga pripravljeni investirati, stopnje zrelosti razvoja izdelkov in časa v katerem pričakujemo, da se bo nalo�ba v avtomatizacijo testiranja obrestovala. Odločitev o uvajanju avtomatizacije je velikega pomena in ima lahko velik vpliv na celotno podjetje. Hitro uvajanje avtomatizacije testiranja si privo�čijo velika in hitro se razvijajoča podjetja. Običajno začnejo z avtomatizacijo določenega segmenta testiranja, v kratkem času pa se odločijo za avtomatizacijo �e preostalih segmentov, ki jih je smiselno avtomatizirati. Visoka stopnja avtomatizacije zahteva veliko vzdr�evanja in prilagajanja avtomatskih orodij. Potrebno je zaposliti veliko �tevilo strokovnjakov, ki bodo opravljali to nalogo. Velika podjetja se običajno odločijo za zunanje izvajanje. Najamejo zunanje podjetje, ki se ukvarja s prilagajanjem in nadgradnjo orodja. Uporaba orodja oz. testiranje vselej ostane znotraj podjetja. Nenehna komunikacija z zunanjim podjetjem je pogoj, da se zunanje izvajanje obnese. Vsa podjetja nimajo mo�nost vzpostaviti visoko stopnjo avtomatiziranosti in najema zunanjega izvajalca za prilagajanje in vzdr�evanje avtomatskih orodij. Manj�a podjetja so pri uvajanju avtomatizacije testiranja izredno previdna. Najprej se odločijo za avtomatizacijo le nekaterih segmentov testiranja. Tako pridobijo nekaj izku�enj pri delu z avtomatskimi orodji. Za raz�iritev se odločijo le v enostavnej�ih segmentih, ki bodo hitro obrodili rezultate. Visoke finančne in časovne investicije so lahko kritične glede povrnitve nalo�be v avtomatizacijo testiranja. Vsekakor ostane določeno �tevilo testov, ki bodo opravljeni ročno, ne glede na zapletenost izdelka, ki ga podjetje razvija. Namen avtomatizacije je povečati efektivnost testiranja izdelkov. Vpliv avtomatizacije se poveča, čim vi�ja je stopnja zmo�nosti testiranja izdelka. Izku�nje, zrelost in dobro načrtovanje razvoja izdelka so pogoj za visoko zmo�nost testiranja izdelka (Zallar, 2001, str. 23-25). Ali obstaja spor med razvojnimi in�enirji in in�enirji za testiranje? To je te�ava, ki zadeva osebnostno zrelost zaposlenih in je ne obravnavamo v procesu uvajanja avtomatizacije testiranja. Potrebno je obravnavati zrelost procesov in vpliv le-teh na uspe�nost razvoja. Podjetje Standish Group20 predvideva, da se v povprečju 31,3% razvojnih projektov prekine pred končanjem in le 16,2% projektov se konča v roku z (načrtovanimi stro�ki). Pri analizi uvajanja v avtomatizacijo je nujno pregledati procese znotraj razvoja. Če podjetje ne upo�teva osnovnih in preverjenih načel načrtovanja in izvajanja razvojnih procesov, avtomatizacija vsekakor ne bo prava re�itev glede doseganje vi�je stopnje kvalitete izdelka. Verjetno se bo tak�en način načrtovanja procesov prenesel tudi na avtomatizacijo. Bolj primerno bi bilo investirati

20 Standish Group - podjetje specializirano za svetovanja pri uvajanju informacijskih tehnologij s sede�em v Massachusetts (ZDA)

52

v sredstva za izobra�evanje o optimalnem in naprednem načrtovanju procesov. Vsekakor je preprečevanje napak ceneje od iskanja napak na izdelku. Če ima podjetje visoko stopnjo zrelosti v vseh stopnjah razvoja, se z uvajanjem avtomatizacije testiranja povečajo mo�nosti za vi�jo stopnjo kvalitete izdelka (Zallar, 2001, str. 23-25). Stopnja zrelosti procesa testiranja Ali je zagotovljeno neodvisno testiranje v podjetju? Se izvaja po »ad hoc« načinu ali je natančno strukturirano? Je dokumentirano? Avtomatizacija testiranja je lahko kritična, če nismo prepričani katere teste je potrebno avtomatizirati oz. če so rezultati ročnih testov nepredvidljivi in neskladni. Doseganje potrebne discipline za vzdr�evanje avtomatskih testov lahko predstavlja precej sprememb za zaposlene na področju testiranja. Stopnja zrelosti ročnega testiranja ima velik vpliv pri uvajanju avtomatizacije (slika 12).

Slika 12: Stopnja zrelosti procesa testiranja

Velika verjetnost

-

-

-

-

- Strukturirano neodvisno testiranje, nadzorovano izdajanje novih različic izdelka,. popolno načrtovanje in dokumentiranje celotnega procesa testiranja

Stop

nja

zrel

osti

proc

esa

test

iranj

a

VISOKA

NIZKA

, da bo avtomatizacija

uspe�na

Neodvisno in delno strukturirano testiranje, okrnjeno dokumentiranje opravljenega testiranja

Neuspe�no strukturirano testiranje zaradi slabega načrtovanja in nadzora izdajanja novih različic izdelka

Neodvisno testiranje, opravijo se le namenski testi, ni dokumentiranja opravljenega dela

Testiranje ni neodvisno, opravijo se le namenski testi, testira le skupina za razvoj izdelkov

Vir: Zallar, 2001, str. 25. Včasih �eli skupina za testiranje uvesti najbolj�e in preizku�ene metode testiranja, vendar se njihov učinek ne obrestuje, ker je postopek za izdajanje različic izdelkov slabo voden. Dogaja se, da so spremembe na izdelkih nepopolno določene, frekvenca izdajanja različic izdelka je previsoka, pri načrtovanju izdajanj se ne upo�teva rokov potrebnih za testiranje. Takrat je testiranje podobno ciljanju

53

premikajoče in spreminjajoče se tarče. V tak�nem delovnem okolju je uvajanje avtomatizacije testiranja ote�eno ali celo nemogoče. Dobro upravljanje izdajanja različic izdelkov je pogojeno z disciplino, dobrim načrtovanjem prioritet in konstruktivno komunikacijo med vsemi vpletenimi skupinami, ki sodelujejo pri razvoju izdelka (Zallar, 2001, str. 24-26). Predstavljajmo si, da je potrebno natančno oceniti, če ima organizacija dovolj visoko stopnjo discipliniranosti in da je pripravljena vpeljati pripomoček pri razvoju izdelkov v obliki avtomatskega testiranja. Pri na�em ocenjevanju je potrebno imeti na umu dve najpomembnej�i točki. Prva točka je, da je avtomatizacija več kot nakup avtomatskega orodja. Je prav tako razvojni postopek in zahteva ustrezno voden proces razvoja in vzdr�evanja. Druga točka je, da moramo na uvajanje avtomatizacije gledati kot na dolgoročno nalo�bo. Izpopolnjevanje zrelosti postopkov zaradi uvajanja avtomatizacije je vsekakor pogoj za dobro nalo�bo, ki se bo v obrestovala (Zallar, 2001, str. 26).

5. EVALVACIJA IN IZBIRA ORODIJ AVTOMATSKEGA TESTIRANJA

Pred nakupom orodja za avtomatizacijo testov se odločamo za raziskovanje trga. Včasih se lahko zgodi, da orodja, ki so razpolo�ljiva na trgu, ne zadovoljujejo na�ih potreb. V tem primeru se odločimo za razvoj orodja znotraj podjetja ali pa se zadovoljimo z obstoječim ročnim testiranjem. V nekaterih primerih na trgu najdemo primerno avtomatsko testno orodje, ki presega na�e zahteve in pokriva veliko več področij kot potrebujemo. S tem je cena orodja precej vi�ja, kot smo pripravljeni plačati. Tudi v tem primeru se nagibamo k razvoju orodja za avtomatizacijo testov znotraj podjetja. Pri tem je potrebno izvesti natančno analizo in določiti mejnik za izdelavo orodja. Potrebno je izdelati dolgoročni načrt o časovnih in finančnih investicijah za razvoj in izdelavo orodja ter določiti vire za nadgradnjo orodja. Z natančnim načrtovanjem bomo preprečili, da lastno razvito orodje ne prese�e cene orodja dobavljivega na trgu. V primeru odločanja za nakup ali izdelavo orodja za avtomatsko testiranje vi�jega cenovnega razreda, je potrebno upo�tevati potrebe celotnega podjetja. Orodje mora biti zdru�ljivo s tehnologijo uporabljeno v podjetju. S tem se upo�teva obremenitev proračuna za vlaganja v razvojne procese na nivoju organizacije (Elfriede, 2003, str. 137-142).

54

Spodaj so na�tete nekatere od značilnosti pri uporabi lastno razvitega orodja (Fewster, 1999, str. 267-268):

• Prilagojeno je le na�im potrebam. • Če ima na� sistem nizko stopnjo zmo�nosti testiranja, lahko le namensko

orodje popolnoma opravi avtomatsko testiranje. • Velika verjetnost je, da bo orodje podprto s slabo dokumentacijo in �olanjem. • Grafični vmesnik ne bo dovolj podrobno dodelan. Avtomatsko orodje, ki so ga

v celoti razvile le tehnično usmerjene osebe, ni vedno prijazno za uporabo. Prevladuje mnenje, da je enostavna uporaba nepomembna. Pomembno je le izpopolnjeno delovanje avtomatskega orodja.

Pri razvoju avtomatskega orodja ne smemo te�iti k izdelavi orodja, ki je dosegljivo na trgu in je visokega kakovostnega in cenovnega razreda. V večini primerov se tak�na orodja razvijajo tudi do nekaj let. Pri razvoju avtomatskega orodja mora sodelovati veliko �tevilo izku�enih strokovnjakov iz področja razvoja testnih orodij. Bolje je razviti manj obse�na orodja od katerih bomo prej imeli korist. Za začetek je najbolj�a pot, da zberemo informacije od strokovnjakov v podjetju, ki so �e razvijali testna orodja (Fewster, 1999, str. 267-268). Uspe�na in kvalitetna avtomatizacija testiranja zahteva visoke začetne stro�ke. Namen ni popolnoma nadomestiti ročno testiranje. Je le dodatna metoda v procesu testiranja in razvoj, testiranje in dokumentiranje avtomatskega testa traja 3 do 10 krat dlje od priprave ročnega testa (Thirumalai, str. 2).

5.1 Načela dinamičnega razvoja avtomatskih orodij

Dinamični razvoj avtomatskih orodij za testiranje zahteva skupino za razvoj testnih orodij, ki bo sledila dinamičnemu razvoju testiranih sistemov glede na trenutne te�ave pri uvajanju avtomatizacije. Nenehno so v stiku s skupino za testiranje, ki posreduje podatke potrebne za izbolj�anje kvalitete dela. Skupina za razvoj testnih orodij na osnovi teh podatkov takoj začne iskati re�itev. Pomagajo si z uvajanjem novih tehnik in tehnologij, ki so dostopne na trgu. Re�itve so v obliki majhnih projektov, ki so lahko končani v nekaj tednih. Skupina za razvoj testnih orodij sodeluje tudi s skupino za razvoj izdelka, ki ga na�e podjetje razvija in prodaja. Nenehna dvosmerna komunikacija zagotovi razvoj sistema, katerega pravilnost delovanja je la�je preveriti. Za bolj�i pristop k sistematski in produktivni avtomatizaciji je potrebno upo�tevati naslednja načela (Bach, str. 1-3):

• Avtomatizacija testiranja ne podvoji dela in�enirja za testiranje. Avtomatsko orodje ni zmo�no v celoti opraviti testiranja (odkrivanje, prijava, analiza napak)

55

na zaključenem modulu, kot to lahko opravi in�enir za testiranje. Sem spadajo tudi tisti in�enirji, ki nimajo specializiranih znanj na področju testiranja. Kljub temu predstavlja avtomatizacija testiranja določene prednosti. Učinek avtomatizacije bo največji, če gledamo na avtomatizacijo kot na raz�iritev zmo�nosti dela celotne skupine za testiranje. Uvajanje avtomatizacije testiranja z namenom nadomestitve in�enirjev za testiranja, lahko privede do negativnega učinka. Tendenca izločanja člove�kega faktorja v strategiji testiranja lahko privede do ponavljanja enakih aktivnosti, ki bodo vedno manj odkrivale napake v testiranem sistemu.

• Avtomatizacija je več kot zagon testov. Večina ljudi ob besedi avtomatizacija pomisli na »testiranje, ko mi spimo«. Pričakujejo, da bodo avtomatska orodja celotno delo opravila samostojno. Samostojno delovanje je ena od dobrih lastnosti avtomatskih orodij, vendar je potrebno upo�tevati �e veliko parametrov. Spodaj navedena področja so lahko do določene mere avtomatizirana, pri večini bo ostal člove�ki vpliv nenadomestljiv:

- generiranje testov � avtomatsko orodje lahko generira in posreduje naključne podatke in različne kombinacije parametrov, s katerimi �elimo preveriti pravilno delovanje sistema,

- konfiguracija sistema � orodje lahko spreminja parametre na testiranem sistemu in opravi enake teste ob različnih delovanjih sistema,

- simulacije � orodje lahko simulira podsistem ali okolje pri robnih pogojih delovanja,

- zagon testov � orodje lahko samo nadzoruje upravljanje testiranega sistema. Prav tako lahko vna�a spremembe v grafični vmesnik testiranega sistema, kakor da bi jih vna�al človek,

- zajem in analiza rezultatov � orodja nenehno spremljajo potek testiranja in bele�ijo rezultate. Obve�čajo nas o izvedbi in uspe�nosti testov.

• Avtomatizacija testa je nagnjena hitremu zastaranju. Testirani sistemi so

običajno integracija programske in strojne opreme. Testi so prilagojeni trenutnemu razvojnemu stanju sistema. Večja sprememba na sistemu lahko povzroči ponovno načrtovanje testnih postopkov. Posledice so dodatna vlaganja in podalj�anje faze testiranja. Če upo�tevamo stali�če podjetja in ekonomske vidike je tak�en ukrep upravičen, saj �elimo na trgu predstaviti kvaliteten izdelek. Ob predvidevanju velikih sprememb imamo na voljo dva načina za razvoj testnih postopkov. Prvi način je vlaganje veliko denarja v robustno testno orodje, ki bo precej neobčutljivo na spremembe na sistemu. Druga pot je uporaba poceni testnih orodij. Občutljiva so na spremembe, vendar jih lahko hitro priredimo. Seveda ta pot zahteva več časovnih virov, ki so potrebni za prilagajanje testnega okolja in orodij.

56

• Testna orodja na trgu. Vodstvo podjetja si predstavlja, da so testna orodja na

trgu le tiste naprave, ki se predstavljajo z imenom »testna orodja«. Ta so predvsem visokega cenovnega razreda. Veliko podjetij uporablja kot testna orodja naprave, ki so izdelane za druge namene (npr. za razvoj dodatnih funkcionalnosti). Nekatere od teh so tudi brezplačne.

• Avtomatizacija testiranja je odvisna od zmo�nosti testiranja izdelka.

Avtomatizacija se nam obrestuje, ko imamo z orodjem omogočen dostop do testiranega sistema. Temeljna pogoja za kvalitetno testiranje sta upravljanje in nadzor sistema. Testiranje grafičnih vmesnikov je precej bolj zapleteno od testiranja komandnih vrstic. Testiranje grafičnih vmesnikov zahteva tudi precej vi�ja vlaganja.

• Avtomatizacija testiranja nas lahko odvrne od kvalitetnega testiranja. V

nekaterih primerih se podjetje preveč zana�a na avtomatska orodja. Usmerijo se k nabavi večjega �tevila orodij s katerimi �elijo pokriti celotno testiranje. Tak�en koncept se oddaljuje od pravilne strategije testiranja, ki se bo v kratkem času pokazal kot razlog za poslovni neuspeh.

Pri izvajanju testov je potrebno določiti prioritete. Lahko testiramo storitev, ki jo uporabljajo le redki kupci, lahko testiramo konfiguracijo, ki jo nihče ne uporablja ali prijavljamo in re�ujemo te�ave, ki ne motijo nobenega kupca. S tem smo izgubili precej časovnih in finančnih virov. Potrebno se je osredotočiti na testne postopke, ki bodo zagotovili odkrivanje napak, ki vplivajo na stabilnost in pravilno delovanje sistema. Potrebno se je postaviti v polo�aj kupca in opazovati izdelek iz njegovega zornega kota (Black, 2002, str. 1-4).

5.2 Skupina za razvoj avtomatskih testih orodij

V zadnjih desetih letih se je dinamični razvoj avtomatskih orodij po svetu povečal. Največji vzpon je v ZDA, �e posebej pri podjetjih, ki se ukvarjajo s prodajo komercialne programske opreme. Za uspe�no uvajanje avtomatizacije testiranja je potrebno upo�tevati naslednja operativna načela (Bach, str. 3-4):

• avtomatizacija testiranja pomeni podporo v celotnem procesu razvoja in ne le izvajanje testov,

• skupina za testiranje usmerja avtomatizacijo testiranja, • avtomatizacijo testiranja izpopolnjujejo usposobljeni razvojni in�enirji testnih

orodij,

57

• razvojni in�enirji avtomatskih orodij se zavzemajo za razvoj sistemov, za katere bodo lahko izdelali čim bolj izpopolnjeno orodje,

• razvojni in�enirji avtomatskih orodij zbirajo in uporabljajo �iroko paleto pripomočkov za testiranje, ki so dostopna na trgu,

• avtomatsko testiranje je potrebno organizirati na način, ki bo pripomogel čim hitrej�emu doseganju �eljenih ciljev,

• dolgoročno uvajanje avtomatizacije zahteva izdelavo natančnega poslovnega modela.

Skupina za razvoj avtomatskih testnih orodij opravlja naslednje naloge (Bach, str. 4):

• v čim kraj�em času se odziva na zahteve skupine za testiranje, • i�če mo�ne re�itve, ki bi olaj�ale delo skupine za testiranje, • uveljavlja nove tehnologije, z namenom izbolj�anja procesa avtomatskega

testiranja, • i�če nova avtomatska orodja in se izpopolnjuje pri upravljanju teh orodij, • evidentira in preverja orodja, ki jih izdelajo oddelki za razvoj in oddelki za

testiranje, • analizira načrte za nove izdelke in oceni mo�nosti za avtomatsko testiranje le-

teh. Razmerje �tevila in�enirjev za razvoj testnih orodij in �tevila in�enirjev za testiranje ni točno določeno. Odvisno je od testiranega sistema. V nekaterih podjetjih lahko razvoj avtomatskega orodja opravi ena sama oseba. Ta ves čas sodeluje s skupino za testiranje. Pri večanju skupine za testiranje se lahko povečajo ideje in zahteve po avtomatizaciji večjega �tevila testov. Zato je potrebno povečati tudi �tevilo in�enirjev za razvoj testnih orodij. Po drugi strani je lahko v podjetju večja skupina za razvoj testnih orodij in en sam in�enir za testiranje. Tak�en primer ne predstavlja te�avo, če so in�enirji za razvoj testnih orodij pripravljeni tudi testirati izdelek. To pomeni, da prevzamejo odgovornost za testiranje nekaterih izdelkov oz. funkcionalnosti izdelkov. Skupina za razvoj testnih orodij prevzame vlogo skupine za testiranje, če je razvoj avtomatskega orodja ni�je prioritete. Potrebno je natančno načrtovati časovne roke in naloge, saj ista oseba opravlja dve funkciji v podjetju. S slabim načrtovanjem lahko pride do situacije, ko je delo na razvoju avtomatskih orodij popolnoma opravljeno, testirani izdelek pa ostane nepreverjen. Po drugi strani pa lahko zaostajamo z razvojem avtomatskih orodij, ki bi jih lahko koristno uporabili pri trenutnem testiranju, s katerim izgubimo precej časa (Bach, str. 4). Potrebno se je izogniti primerom, ko �eli skupina za razvoj testnih orodij opravljati le eno funkcijo. Kvaliteta avtomatskih orodij je precej slab�a, če razvijalci avtomatskih orodij nimajo izku�enj pri testiranju. S časom spoznajo problematiko testiranja.

58

Poraja se vpra�anje, zakaj ne bi vsi člani skupine za testiranje hkrati opravljali tudi funkcijo in�enirja za razvoj avtomatskih orodij. Razloga za to sta dva. Izredno dobri razvijalci avtomatskih testnih orodij so redki in dragi. Drugi razlog je, da se skupina za testiranje ukvarja le s testiranjem. Strokovnjaki zadol�eni za prilagajanje in vzdr�evanje orodja skrbijo, da je orodje ves čas pripravljeno za uporabo, četudi se je testirani izdelek precej spremenil. Prav tako ves čas razvoja izdelka sodelujejo s skupino za razvoj in s skupino za testiranje (Kaner, 1997, str. 114). Proces dinamičnega razvoja avtomatskih orodij je kro�nega tipa. Potrebno je razumeti kako se testiranje izvaja, poiskati re�itev, ki bo odpravila te�avo in jo v čim kraj�em času posredovati skupini za testiranje. Proces se v istem zaporedju ponavlja. Celoten proces razvoja avtomatskega orodja se lahko nadzoruje s petimi dokumenti (Bach, str. 5):

• Zahteva. V tem dokumentu skupina za testiranje določi zahteve in opi�e problematiko.

• Delovni nalog. V njem določimo naloge za vsakega in�enirja, ki se ukvarja z razvojem avtomatskih testnih orodij.

• Trenutne re�itve. Vsebuje seznam re�itev, s katerimi se trenutno odpravljajo te�ave pri uporabi orodja. Vsaka od re�itev mora biti na kratko opisana. Podane morajo biti tudi prednosti, ki jih dose�emo z začasnimi re�itvami.

• Vzdr�evanje. Vsebuje seznam funkcij, ki morajo biti izbolj�ane ali prirejene. Razporejene morajo biti po prioritetah. V tem vrstnem redu bodo nadgradnje tudi opravljene in dostavljene.

5.3 Skupina za izvedbo testiranja

Skupina za razvoj testnih orodij mora biti seznanjena z nalogami skupine za testiranje, čeprav ne bodo ves čas v neposrednem sodelovanju z vsemi člani skupine za testiranje. In�enirji za testiranje so stranke razvijalcev testnih orodij. Vsaka re�itev, ki ni dostavljena v skladu z zahtevami se obravnava kakor da ni bila dostavljena. Skupina za testiranje lahko vedno zahteva pomoč od skupine za razvoj orodij. Potrebno je organizirati periodične sestanke, na katerih lahko vodja skupine za testiranje posreduje te�ave, ki bi lahko bile odpravljene z avtomatskimi orodji. Pri zahtevnej�ih nalogah so člani za testiranje ves čas prisotni ob razvoju orodja. Ob sprotni medsebojni komunikaciji ne pride do odstopanja od �eljenega cilja pri razvoju avtomatskega orodja.

59

Običajne zahteve skupine za testiranje (Bach, str. 5-6):

• Kako naj preverim delovanje novega izdelka ali funkcionalnosti? • Kako lahko opazujemo delovanje izdelka? • Kako naj vem, če je test opravljen uspe�no ali neuspe�no? • Ali je mo�no avtomatizirati to operacijo? • Ali obstaja test, s katerim bi la�je ponovil napako? • Tukaj imam test, ki ga moram opraviti. Ali je mo�no avtomatsko opraviti 1000

ponovitev tega testa? • V kolik�ni meri smo zmo�ni preveriti delovanje izdelka? • Opraviti �elim testiranje izdelka pod največjo prometno obremenitvijo. Ali

imamo orodje, ki bi lahko opravilo ta test? Skupina za razvoj izdelka je prav tako stranka skupine za razvoj testnih orodij. In�enirji za razvoj izdelkov, morajo svoje delo ves čas preverjati. Za pomoč uporabljajo razna avtomatska orodja, ki jih izdelajo sami ali pa kupijo. Ta orodja posredujejo tudi skupini za razvoj avtomatskih testnih orodij. Če je bilo orodje razvito znotraj podjetja, prevzame skupina za razvoj avtomatskih orodij odgovornost za vzdr�evanje in nadgradnjo orodja ter ga posreduje skupini za testiranje. Skupina za razvoj izdelka la�je sodeluje s skupino za razvoj orodja kot s skupino za testiranje, saj imata obe razvojno naravo dela. Tako se la�je načrtujejo avtomatska orodja, ki jih bo v zadnji fazi uporabljala skupina za testiranje (Bach, str. 6).

5.4 Nakup orodja za avtomatsko testiranje

Včasih se podjetja odločijo za nakup orodja za avtomatsko testiranje in ne za razvoj lastnega orodja. Pri nakupu avtomatskega orodja pa je odločilnega pomena proces izbire orodja. Proces izbire orodja za avtomatizacijo je vrednotenje in izbira avtomatskega orodja, primernega za podjetje, izmed mnogih na trgu (slika 13). Proces implementacije testiranja zagotavlja, da bo izkori�čenost orodja čim bolj�a. Če i�čemo orodje, ki ga bo uporabljalo veliko �tevilo zaposlenih, je postopek izbire lahko bolj natančen in formalen. V primeru, da ga uporablja le nekaj zaposlenih, je proces izbire avtomatskega orodja manj zapleten (Fewster, 1999, str. 248-249).

60

Slika 13: Proces izbire in implementacije orodja za avtomatsko testiranje

Vrednotenje

Mno�ica orodij Eno orodje Mno�ična uporaba orodja

Izbira

Proces izbire Proces implementacije

Vir: Fewster, 1999, str. 248. Če podjetje �e nima orodja za avtomatizacijo testiranja, se običajno najprej opravi analiza orodij na trgu. Tak�en začetek ni primeren za najbolj�o izbiro orodja. Najprej je potrebno natančno določiti zahteve in problematiko, ki jo v procesu testiranja re�ujemo. Po končani analizi zahtev lahko določimo minimalne zahtevane funkcionalnosti, ki jih mora avtomatsko orodje zagotoviti. Izbira napačnega orodja ima lahko velike finančne posledice za podjetje (Rice, 2003, str. 10). Slika 14 prikazuje proces izbire avtomatskega orodja. Proces izbire orodja za avtomatizacijo moramo obravnavati kot projekt, saj zahteva precej časovnih, finančnih in kadrovskih virov. Optimalen mora biti iz vseh vidikov.

Slika 14: Proces izbire avtomatskega orodja

- Definiranje problema

- Avtomatizacijo obravnavamo kot re�itev

- Naredimo poslovni model

Definiramo zahteve

- O�ji izbor orodij

- Evalvacija

- Demonstracija

- Začasna uporaba

Odločitev

Omejitve

Vir: Fewster, 1999, str. 251. Pri srednje velikih podjetjih je predviden čas za izbiro od �tiri do �est človek-tednov. Sodeluje lahko od tri do deset oseb. Projekt izbire orodja mora pridobiti primerno

61

prioriteto. S tem vplivamo na druge projekte. Zmanj�a se razpolo�ljivost zaposlenih, ki izbirajo orodje, na drugih projektih. Pri procesu izbire orodja, ne smejo biti udele�eni zaposleni, ki so časovno preobremenjeni na projektih razvoja oz. testiranja. Časovna stiska je lahko ključna pri napačni izbiri avtomatskega orodja (Fewster, 1999, str. 250)! Pri določanju skupine skrbno izberemo vodjo in strokovnjake primerne za nalogo. Skupina določena za odločanje ne sme porabiti več kot pet dni, v obdobju od �tirih do �est tednov. Več časa potrebuje le vodja, ki je odgovoren za končno odločitev. Vodja skupine je odgovoren za vodenje in vrednotenje celotnega procesa izbire. Pomembno je tudi, da ima nekaj izku�enj na področju vodenja. Vodja skupine sodeluje tudi pri izbiri skupine. Zato je pomembno, da pozna delovanje drugih področij podjetja. Za�eljeno je, da je to oseba z velikim spo�tovanjem v podjetju. Člani skupine morajo biti iz vseh področij, kjer �elijo uporabljati orodje za avtomatizacijo testiranja. Ker avtomatsko orodje lahko poveča učinkovitost in produktivnost, morajo biti izbrani člani strokovnjaki iz čim več področij. Potrebno je objektivno vrednotiti proces nabave orodja in obve�čati sodelavce o dogajanju, �e posebej tiste, ki bodo končni uporabniki avtomatskega orodja. Vodja skupine posreduje podatke tudi vodjam drugih sektorjev v podjetju (Fewster, 1999, str. 251).

5.4.1 Določitev potreb in zahtev

�e ob razmi�ljanju o avtomatizaciji testiranja se pojavijo �tevilne zahteve, ki se nana�ajo na trenutne te�ave pri testiranju oz. olaj�anje testiranja in na tehnične zmogljivosti oz. omejitve avtomatskega orodja. Vse zahteve morajo biti na samem začetku natančno določene in dokumentirane. Na osnovi tega dokumenta poteka celoten proces izbire orodja. Ko določimo te�ave v procesu testiranja, je potrebno poiskati najprimernej�o re�itev. Pomembno je pretehtati tudi re�itve, ki ne zahtevajo izdelavo ali nakup orodja. S tem lahko privarčujemo precej finančnih sredstev. Običajno prevelika �elja po nakupu orodja zamegli alternativno mo�nost odprave te�ave, ki ne zahteva nabavo avtomatskega orodja. Te�ave ročnega testiranja so vezane na velik napor za opravilo testov, dolgočasnost opravil, dolgotrajna primerjava in analiza rezultatov. Na prvi pogled so ti argumenti dovolj za zahtevo za avtomatizacijo testiranja, vendar ni nujno da je vedno tako. Velikokrat se zgodi, da se pojavijo podvojeni testi, ki se prekrivajo med seboj, so časovno nedoločeni testi, ipd. Zato je pri tem zelo pomembna optimizacija testnih procesov. S tem se lahko bolj natančno in hitreje opravijo zahtevane naloge. Velik vpliv na izbiro ima tudi postavitev testnega okolja. Nepopolno določeno in povr�no postavljeno testno okolje, lahko predstavlja velike te�ave. Nekateri testi se lahko hkrati izvajajo na večih napravah, ki so razporejene v različnih prostorih. V tem primeru mora biti v vsakem prostoru ob vsaki napravi in�enir za testiranje, ki izvaja in nadzira delo. To je vsekakor slaba

62

izkori�čenost zaposlenih. Smiselno postavljeno in pravilno načrtovano testno okolje lahko precej olaj�a delo in izbolj�a kvaliteto opravljenega dela (Fewster, 1999, str. 252-253). Primerjava rezultatov je tudi eden od razlogov za prehod na avtomatizacijo. Po končanem testiranju dobimo velik nabor rezultatov, ki jih je potrebno primerjati z pričakovanimi rezultati. Na koncu je potrebna tudi verifikacija primerjave. Najbolj�a re�itev za primerjavo rezultatov je uporaba osebnih računalnikov. Ti v kratkem času opravijo primerjavo velikega �tevila izmerjenih rezultatov. Strokovnjak za pregled rezultatov je potreben za zaključno kontrolo analize izmerjenih rezultatov. Zato so ta dolgočasna opravila primerna za avtomatizacijo testiranja. Dokazano je, da pri dolgočasnih opravilih s časom pade motivacija in�enirjev in naraste mo�nost, da obstoječa napaka v sistemu ne bo odkrita. Avtomatsko orodje veliko pripomore pri regresijskem testiranju. Po prvi nastavitvi avtomatskega orodja se lahko celotna konfiguracija shrani. Tako je vsak naslednji zagon testov zelo hiter in porabi veliko manj časa kot bi ga porabili z ročnim testiranjem. Če so spremembe na testiranemu sistemu velike, je potrebno precej časa in truda, da se avtomatsko orodje prilagodi. V tem primeru se uporabi ročno testiranje. Priprava vhodnih podatkov in testov je običajno ponavljajoča se naloga. To opravilo prav tako dolgočasi in�enirje in je primerno za avtomatizacijo. Testna dokumentacija vsebuje informacije posredovane od vodje skupine za testiranje. Vsebuje natančne informacije o testnih postopkih, vhodnih podatkih, zaporedje izvajanja testov ter izvajalce. Ves čas testiranja je potrebno sporočati projektnemu vodji in vodji testiranja o opravljenih posameznih testih in rezultatih. Če evidenca o opravljenih testih ni dovolj natančna, se lahko zgodi, da se nekateri testi izvedejo več kot enkrat, nekateri pa ne bodo sploh izvedeni. V tem primeru je uvedba orodij za pripravo in sledenje testiranja smiselna. Orodja na trgu se med seboj razlikujejo po načinu delovanja. Nekatera so usmerjena k upravljanju testnih procesov, druga pa k neposrednemu upravljanju testov. Orodja so primerna tudi za obve�čanje vodilnih, ki lahko ob vsakem času preverijo stopnjo opravljenega dela. Če so dobljeni rezultati dobro organizirani, lahko z orodjem pripravimo tudi končna poročila (Fewster, 1999, str. 253-254). Orodja za avtomatsko testiranje ves čas delovanja posredujejo informacijo o trenutnem stanju. Prika�ejo �tevilo opravljenih testov, čas delovanja, �tevilo neopravljenih testov in čas do zaključka testiranja. Sproti lahko spremljamo tudi rezultate testov. Negativne teste takoj posredujejo skupini za razvoj, ki lahko začne z odpravljanjem napake. Z uporabo avtomatskih orodij la�je načrtujemo čas potreben za testiranje in dele� opravljenih nalog. Ročno testiranje ne omogoča tak�ne sledljivosti.

63

Najbolje je, če so napake odkrijte v začetnih fazah razvojnega procesa. Napake, ki jih odkrijejo kupci ka�ejo na nekakovost, saj bi te morale biti odkrite in odpravljene �e prej. To je posledica slabega načrtovanja razvojnega procesa in testiranja. Velikokrat se zgodi, da je čas za izvedbo vseh ročnih testov prekratek. Vodja skupine za razvoj se odloči za visoko prioritetne teste, ki jih je potrebno izvesti. Preostali testi se ne izvedejo. V tem primeru je najbolj�e testiranje z avtomatskim orodjem, ki lahko v kratkem času opravi celovito testiranje. Veliko te�avo lahko predstavljajo tudi testi, ki so neučinkoviti. Ne glede na to, ali jih izvajamo ročno ali avtomatsko, ne bodo odkrili napak v sistemu. Zato je kvaliteta testov najva�nej�a pri odkrivanju napak. Avtomatizacija testiranja nima vpliva na kvaliteto posameznih testov, ker vpliva le na zmogljivost testiranja. V veliko pomoč pri odkrivanju napak so orodja, ki so analitične narave. S statičnimi analitičnimi orodji odkrivamo napake na izdelku pred prvim zagonom. Odkrijemo lahko odvečno programsko kodo, neskončne zanke, podatke, ki ne bodo uporabljeni ali pa bodo uporabljeni pred pripravo podatkovne baze. Dinamična analitična orodja nam omogočajo odkrivanje napake v pomnilniku. Z njimi lahko odkrivamo napake na testiranem sistemu v času izvajanja testiranja (Fewster, 1999, str. 254-256). Če avtomatsko orodje lahko odpravi nekatere te�ave, ki jih imamo v procesu testiranja, se moramo odločiti tudi za prav�nji čas nakupa. Osnovnih te�av v testnem procesu nam orodje ne bo re�ilo. Prav�nji čas za izbiro in nakup avtomatskega orodja je, ko so izpolnjeni naslednji pogoji (Fewster, 1999, str. 257):

• urejeni in optimirani testni procesi, • nezadovoljstvo testnih in�enirjev s trenutnim stanjem, • končno odločitev za orodje ima v rokah le ena oseba, • vodstvo podjetja ne sme imeti dvomov glede nakupa avtomatskega orodja.

5.4.2 Poslovni model izbire in nakupa orodja

Po nakupu orodja je vsekakor potrebno prikazati dose�ke in zagovarjati odločitev glede nakupa. Treba je določiti kriterije, po katerih bomo ocenili nalo�bo. Začetki uporabe orodja ne bodo prinesli takoj�njih rezultatov. Prva uporaba orodja zahteva dlje časa, kot če ga uporablja izku�eni strokovnjak iz�olan za orodje. Ob vsakdanji uporabi odkrijemo tudi dodatne funkcionalnosti, ki jih ponuja orodje in jih uspe�no uporabimo pri svojemu delu. Pogosto nam predstavljajo te�ave ljudje, ki nasprotujejo visokemu vlaganju v avtomatizacijo �e v času odločanja. Potrebno jih je takoj prositi za ideje oz. druge alternativne re�itve, ki bi izbolj�ale kvaliteto dela �e pred odločitvijo. Običajno ne dobimo konkretnih odgovorov, zato nadaljujemo proces nabave orodja. Skupina, ki sodeluje pri evalvaciji orodja, je pod velikim pritiskom. Zavedajo se visokih investicij in zato preveč časa porabijo za ocenjevanje. Proces evalvacije orodja ne sme trajati dlje kot je predvideno. V večini organizacij bo vodstvo

64

zahtevalo poslovni model, ki bo upravičil nabavo avtomatske opreme. Tudi če ga ne zahteva, je poslovni model dober pripomoček pri izbiri. Poslovni model nam ovrednti koristi, ki jo bomo imeli od avtomatskega testnega orodja. Iz poslovnega modela lahko razberemo ali si to avtomatsko testno orodje lahko privo�čimo in čas potreben za povrnitev nalo�be. Enostavna metoda za določanje koristi je prihranek časa pomno�en s povprečnimi stro�ki, ki so potrebni za plačilo in�enirjev za testiranje. Če regresijsko testiranje, ki traja 4 človek-tedne z ročnim testiranjem, zmanj�amo za 2 človek-tedna z avtomatskim testiranjem, smo prihranili 2 človek-tedna. Predvidevamo, da se izvaja regresijsko testiranje vsak mesec, kar pomeni prihranek 24 človek-tednov letno. V primeru, da so stro�ki za človek-teden 2.000 USD, smo prihranili 48.000 USD letno. Seveda so tudi prednosti, ki so te�ko merljive. Ena tak�nih je zmanj�anje zadrege pri kupcih. Zvi�a se motivacija za delo pri zaposlenih. Poveča se tudi produktivnost zaposlenih. Določene teste sploh ni mogoče narediti z ročnim testiranjem. Iz ogromnega �tevila testov, ki jih orodje ponuja, bomo veliko koristnih testov spoznali �e pri predstavitvi in ocenjevanju orodja. Nekaj jih bomo spoznali za koristne ob redni uporabi in spoznavanju orodja (Fewster, 1999, str. 258-259). Primer poslovnega modela za nabavo avtomatskega orodja prikazuje tabela 6. Parametri, ki jih je potrebno upo�tevati pri izdelavi poslovnega modela so (Fewster, 1999, str. 259):

• Stro�ki ročnega testiranja. Ti se lahko določijo za zaključeno testiranje, druga mo�nost je določitev stro�kov za določeno časovno obdobje (mesec, leto). Te �tevilke ne morajo biti izredno natančne. Potrebno je določiti le pribli�ne stro�ke.

• Pokritost trenutnih testov. Potrebno je določiti kolik�en dele� izdelka ne moremo preveriti s trenutnimi ročnimi testi, z avtomatskim orodjem pa bi lahko opravili testiranje.

• Stro�ki, ki so nastali zaradi neodkritih napak trenutnih testov v preteklem letu. �tevilo odkritih napak pri kupcu pomno�imo s povprečnimi stro�ki za odpravljanje napake.

• Stro�ki prve uporabe orodja. Sem spadajo stro�ki naročila, �olanje, dodatna strojna in programska oprema. Skratka vse kar potrebujemo za prvi zagon testa. Čas za pripravo prvega testa je dalj�i. V povprečju je čas potreben za zagon prvega testa �tirikrat dalj�i od ekvivalentnega ročnega testa. Pri prvem zagonu testa prav tako porabimo več časa za analizo dobljenih podatkov. To je potrebno vsekakor upo�tevati pri izračunu.

• Stro�ki povezani z uporabo orodja skozi čas. Sem �tejemo stro�ke povezane z vzdr�evanjem orodja in testov, podalj�evanje licenc, nadgradnja testov, ipd. V kratkem času se vidi tudi resnična prednost avtomatskega orodja. Izurjeno

65

osebje spozna orodje in izkori�čenost le tega naraste (npr. vzporedno testiranje,�).

• Kalkulacija časa potrebnega za povrnitev nalo�be. Upo�tevamo stro�ke in koristi.

Tabela 6: Primer poslovnega modela za nabavo avtomatskega orodja

Poslovni model za orodje:____________________________ Pripravil:___________________________ Datum:________________

Brez orodja Z orodjem

Stro�ki Testna faza 1 Testna faza 2 Testna faza 1 Testna faza 2

Testna faza 10.000 USD 15.000 USD 17.650 USD 6.500 USD

Orodje 20.150 USD

Ocena 8.200 USD

Implementacija 15.000 USD

Drugo \ \ \ Licenca za vsako fazo: 500 USD

Skupaj 10.000 USD 15.000 USD 61.000 USD 7.000 USD

Povrnitev investicije

Testna faza 7 (14 mesecev)

Prihranek po 1 letu (-11.000 USD) Prihranek po 2 letih 37.000 USD Prihranek po 3 letih 85.000 USD Predvidevanja:

1. Testne faze se ponavljajo vsaka 2 meseca - 6 na leto

2. Za drugo leto in vsa nadaljna leta so stro�ki licenc 15% nabavnih stro�kov.

3. V vsaki testni fazi se vsi testi ponovijo.

4. Predvidevanja o nesupe�nosti izvedenih testih:

- tretjina novih testov bo neuspe�nih ob vsakem zagonu,

- predhodno neuspe�ni testi se ponovno za�enejo,

- potrebno bo teste ponoviti vsaj �tirikrat,

- 10% starih testov bo neuporabnih,

5. Vsako leto se za 25% poveča �tevilo novih funkcionalnosti, za katere bo potrebno napisati nove testne postopke.

Vir: Fewster, 1999, str. 260.

66

V poslovnem modelu navedemo tudi druga spremenljivke, ki vplivajo na izračune. Te so predvideno �tevilo neuspe�nih testov, �tevilo ponovitev testov, nove funkcionalnosti, ki morajo biti preverjene, itd. Potrebno je upo�tevati tudi parametre avtomatskega testiranja (prilagajanje orodja, vzdr�evanje). Pri pripravi modela lahko pride do nestrinjanja glede �tevilk. Priporočljivo je upo�tevati argumentirane pripombe sodelavcev in popraviti �tevilke. Bolj točni podatki v modelu bodo povi�ali na�e zaupanje v poslovni model. Namen poslovnega modela ni zagotoviti natančne �tevilke, predstavlja le pripomoček pri odločanju o izbiri avtomatskega orodja. Poslovni model naj bo konzervativen. Preveč optimistična �tevilke o povrnitvi nalo�be, nam lahko v prihodnosti predstavljajo te�avo pri doseganju navedenih ciljev. Potrebno je pustiti malo rezerve, ki bo potrebna ob nepričakovanih situacijah (Fewster, 1999, str. 259-260).

5.5 Določitev robnih pogojev izbire avtomatskega orodja

Po predstavitvi te�av in pomanjkljivosti procesa testiranja vodstvu podjetja, ter pridobitvi njihove odobritve za nakup orodja za avtomatizacijo, se je potrebno usmeriti na trg in najti najbolj�o re�itev. Pri izbiri bo potrebno upo�tevati omejitve. Predčasna določitev omejitev nam privarčuje veliko časa in truda pri iskanju orodja, saj bodo nekatera od njih �e v samem začetku izločena (Fewster, 1999, str. 260).

5.5.1 Omejitve testnega okolja (strojna in programska oprema)

Testno orodje je običajno sestavljeno iz specifične strojne in programske opreme. Za delovanje orodja je potrebno zagotoviti strojne in programske zahteve orodja za regularno delovanje (operacijski sistem, delovne postaje,�). Če orodje zahteva operacijski sistem Unix, se podjetja nerada odločajo za nakup, če njihova oprema temelji le na operacijskem sistemu Windows (Fewster, 1999, str. 261). Nekatera avtomatska orodja zahtevajo strojno ali programsko prilagoditev. V nekaterih primerih je tovrstna prilagoditev prej psiholo�ka ovira kot tehnična ali ekonomska. V procesu odločanja se je priporočljivo odločiti za nakup avtomatskega testnega orodja, ki deluje na lastnem, specifičnem okolju. To seveda vpliva na ceno orodja (Fajardo, 2002, str. 10). Nekateri strokovnjaki se zanimajo le za orodja, ki lahko delujejo na obstoječem lokalnem okolju. �elijo, da orodje deluje na sistemu, na katerem razvijajo in vzdr�ujejo svoj izdelek. Nekatera orodja so razvita le za ločeno delovanje. Oba primera imata nekaj prednosti in jih je potrebno upo�tevati pri dolgoročnem načrtovanju.

67

Prednosti, ko avtomatsko orodje in testirani sistem, delujeta na istem okolju (Fewster, 1999, str. 261-262):

• ni potrebe po nabavi dodatne strojne opreme, • la�je povezovanje med orodjem in sistemom (npr. časovna sinhronizacija med

obema). Prednosti ločenega delovanja:

• orodje deluje samostojno in ne vpliva na zmogljivosti sistema (zasedanje kapacitete trdega diska, procesorske moči,�),

• prekinitve delovanja in anomalije pri delovanju obeh so neodvisne.

5.5.2 Omejitve ponudnikov avtomatskih orodij

Podjetje od katerega bomo kupili orodje ima lahko velik vpliv na prihodnost na�ega podjetja. Če bomo imeli velike te�ave z orodjem in slab odziv od ponudnika za podporo, bomo vsekakor prekinili sodelovanje. Dobre izku�nje bodo okrepile medsebojno sodelovanje. S tem bomo dosegli bolj�o izkori�čenost avtomatskega orodja. Ponudniki avtomatskih testnih orodij predstavljajo povezavo med konkurenčnimi razvojnimi podjetji. V času predstavitev in ocenjevanja orodij predstavijo podjetja problematiko strokovnjakom, ki skrbijo za predstavitev orodja. To so večinoma napake, ki niso bile odkrite v času testiranja. Izdelek je pri�el na trg z napakami, ki jih je odkril kupec. Strokovnjaki natančno razi�čejo problematiko in poi�čejo re�itve. Te izku�nje nam lahko posredujejo in nas opozorijo na mo�ne te�ave. Najenostavnej�i način predstavitve avtomatskega testnega orodja je, da ponudnik avtomatskega orodja izvede nekaj testov na na�em sistemu. Če orodje odkrije �e neodkrito napako, je vtis na kupca vsekakor pozitiven. Ponudnik orodja si s spremljanjem problematike naročnikov, nenehnim izpopolnjevanjem orodij ter s tr�enjskimi sposobnostmi pridobi zaupanje naročnikov. Pri izbiri ponudnika orodja moramo biti pozorni na naslednje (Fewster, 1999, str. 261-262):

• Točnost navedenih podatkov o podjetju. Nekateri (javno dostopni) podatki se lahko preverijo.

• Zrelost podjetja in izdelka. Stabilno podjetje je eden od pogojev za zaupanje. Če se izdelek v zadnjem času ni kaj dosti spremenil, nam stabilnost podjetja ne pomaga kaj dosti pri izbiri. Podjetje ne spremlja zahteve na trgu in ne prilagaja svojih izdelkov trenutnim trendom.

• Tehnična podpora. Zanimajo nas časovni odzivi tehnične podpore podjetja. Potrebno je določiti stopnjo te�av in odzivni čas za vsako stopnjo. Sem spadajo tudi tečaji in kvaliteta izvajanja le-teh.

68

• Reference. Pridobitev seznama podjetij, ki so naročila to orodje je vsekakor koristna informacija. Prav tako bi bilo koristno pridobiti izku�nje uporabnikov. Vsekakor ni za�eljeno, da smo prvi uporabnik orodja.

• Natančna zgodovina orodja. Nekatera orodja so bila razvita glede na potrebe uporabnikov, druga se razvijejo kot izdelek, ki bi lahko bil zanimiv za trg (�pekulacijski pristop). Potrebno je pridobiti �tevilo obstoječih različic izdelka in pogostost nadgradnje izdelka. Najte�ja naloga je pridobitev �tevilo in kritičnost neodpravljenih napak na orodju.

Odnos med ponudnikom in kupcem nastane �e pri ocenjevanju in izbiri orodja. Če imamo te�ave pri odzivu �e na začetku, se bodo te kasneje najverjetneje �e stopnjevale. V tem primeru je najprimerneje izločiti ponudnika iz procesa izbire.

5.5.3 Omejitve pri financiranju nabave

Ob določanju finančnih omejitev se običajno pojavita dve vpra�anji:

• Koliko denarja si lahko privo�čimo za nakup orodja? • Kolik�en bo doprinos orodja?

Če je prihodnost podjetja odvisna od izdelka, ki mora biti zanesljiv in delovati neprekinjeno pod velikimi obremenitvami, je visoka nalo�ba v orodja smiselna. Na drugi strani imamo lahko velik proračun za nakup orodja, vendar je razvojna skupina �e razvila orodje, ki pokrije 50% zahtevanih testov, a je razvoj tega orodja zahteval le 5% denarja, ki ga zahteva orodje, ki bi teste pokrilo v celoti. (Hendrickson, 1999, str. 40). Cene avtomatskih testnih orodij se razlikujejo glede na zvrst testiranja. Med avtomatskim orodjem za izvajanje funkcionalnih testov in orodjem za izvajanje testov zmogljivosti je v ceni velika razlika. Običajno se cene orodij za funkcionalno testiranje gibljejo od 5.000 USD do 9.000 USD, medtem ko se cene za orodja teste zmogljivosti gibljejo od 25.000 USD in zlahka dose�ejo 60.000 USD, v določenih primerih tudi nekaj 100.000 USD. (Kandathil, str. 2005). Cena avtomatskega testnega orodja je velikokrat največja omejitev pri izbiri orodja. Nakup avtomatskega orodja ni končna investicija v orodje. Pri določanju končne nalo�be v avtomatsko orodje je potrebno upo�tevati (Fewster, 1999, str. 262-263):

• osnovno ceno orodja, • stro�ke licenc za uporabo orodja, • stro�ke �olanja,

69

• stro�ke za prilagoditev strojne opreme, • stro�ke za prilagoditev programske opreme, • stro�ke tehnične podpore, • stro�ke in�talacije orodja.

Politične omejitve lahko prese�ejo vpliv vseh drugih omejitev skupaj. Eden od primerov je, da lahko kupimo le orodje, ki ga uporablja krovno podjetje. Obstaja mo�nost nasprotovanja nakupa avtomatskih testnih orodij, katerih proizvajalci nimajo podpore v dr�avi. Mo�no je tudi, da ima eden od vodilnih v podjetju znanca ali sorodnika v podjetju, ki prodaja testno orodje in je mo�nost nabave od drugega proizvajalca nemogoča. Za osebo, ki vodi proces nabave testnega orodja, je lahko zelo neprijetno, da naknadno izve za podobne omejitve. Političnih omejitev ne smemo podcenjevati (Fewster, 1999, str. 263). Potrebno je določiti zahteve glede na stopnjo kvalitete avtomatskega testnega orodja. Upo�tevamo funkcionalni in nefunkcionalni vidik. Nekaj predlogov, ki jih je priporočljivo upo�tevati (Fajardo, 2002, str. 2-3):

• Koliko uporabnikov lahko istočasno dela na orodju? Ali testni scenariji prav tako omogočajo sočasno uporabo?

• Kolik�en nivo znanja je potreben za najbolj�o izkori�čenost orodja? Kolik�na je povprečna doba, potrebna za doseganje izpopolnjenega znanja za delo na orodju? Kolik�en nivo programerskih sposobnosti je potreben za pisanje testnih scenarijev?

• Kolik�na je stopnja kvalitete dokumentacije testnega orodja (v papirni ali elektronski obliki)? Kak�na je uporabnost dokumentacije? A obstaja dokument za hitro uporabo?

• Ali obstaja pomoč po telefonu, ki je na voljo 24 ur na dan? • Kolik�na je pogostost odpovedi avtomatskega orodja v času delovanja? • Ali lahko orodje negativno vpliva na na� sistem (permanentno brisanje

podatkov,�)? • Je mo�no povezovanje orodja z obstoječimi orodji, ki jih �e imamo v podjetju?

Seznam predlogov je vsekakor dalj�i, če �elimo kupiti avtomatsko orodje visoko kvalitetnega in visoko cenovnega razreda. V tem primeru so tudi podjetja bolj previdna.

70

5.6 Raziskava trga

Če se odločimo za nakup orodja, je potrebno v grobem analizirati orodja dosegljiva na trgu. Določimo lastnosti in funkcije, ki so najpomembnej�e. Izdelamo tabelo z potrebnimi lastnostmi in orodja razdelimo v različne skupine. Na koliko skupin jih razdelimo ni pomembno. Dovolj je �e, če lastnosti razdelimo na pomembne in manj pomembne. Obvezne lastnosti. Obvezne lastnosti, funkcije in omejitve določajo pravila pri izbiri orodja. Če orodje ne bo ustrezalo kateremu od pravil, bo �e v začetni fazi izločeno. Pomembno je, da v kategorijo obveznih lastnosti navedemo le bistvene. S tem si olaj�amo delo pri izbiri orodja. Vsekakor izbrano orodje ne bo imelo le-teh lastnosti. Verjetno bo poleg �e veliko koristnih lastnosti in funkcij. Nekatere bodo tudi tak�ne, ki jih ne bomo nikoli uporabili. Za�eljene lastnosti. Sem spadajo funkcije, ki bodo dodatno izpopolnjevale na�e delo. Ta kategorija lahko veliko vpliva na na�o izbiro. Nekatera orodja imajo veliko �tevilo dodatnih funkcij, ki podpirajo delovanje glavnih funkcij. Tudi to kategorijo lahko razdelimo na bolj pomembne in manj pomembne funkcije. Nepotrebne lastnosti. V to kategorijo lahko zapi�emo lastnosti, ki za na�e delo niso zanimive in so popolnoma nepotrebne. V času procesa izbire je mo�no, da bodo nekatere lastnosti prehajale iz ene kategorije v drugo. Prav tako bodo proizvajalci testnih orodij predstavili kak�no novo funkcijo, ki bi bila koristna pri na�em delu, pred tem pa ni bila razvr�čena v nobeno kategorijo. Lahko se zgodi, da bomo nekatere lastnosti, ki smo jih predhodno določili kot zelo pomembne, prenesli v skupino manj pomembnih lastnosti. Razlogi so lahko različni. Eden tak�nih je lahko neprimerna implementacija funkcionalnosti. Nekatere funkcionalnosti lahko le delno pokrivajo na�e zahteve. Za tak�ne primere je potrebno določiti lestvico, po kateri kvalificiramo stopnjo primernosti lastnosti ali funkcionalnosti (Fewster, 1999, str. 267-270). Priprava seznama proizvajalcev in orodij. Kako vemo, da je tr�i�če dovolj raziskano? V svetovnem merilu je veliko podjetij, ki se ukvarjajo z izdelavo avtomatskih testnih orodij. Trg se nenehno spreminja. Vse več podjetij se ukvarja z izdelavo testnih orodij, nekatera pa zapirajo svoja vrata. Če ne bomo dovolj raziskali trg, nam lahko uide orodje, ki bo najbolj ustrezalo na�im zahtevam. Najbolje je začeti pri podjetjih, katerih orodja imamo �e v uporabi in smo z njimi zadovoljni. Drugi korak je iskanje orodij na internetu. Večina proizvajalcev ima svoje domače strani, na katerih lahko za začetek najdemo dovolj osnovnih informacij. Ko najdemo orodja, ki bi lahko ustrezala, lahko začnemo navezovati stike s proizvajalci. Na domačih straneh

71

proizvajalcev lahko najdemo tudi podatke potrebne za stike (telefonska �tevilka ali elektronski naslov) (Fewster, 1999, str. 270). Selekcija orodij. Če poizvedujemo po manj zahtevnih avtomatskih testnih orodjih, bo seznam mo�nih kandidatov zelo dolg. Pri iskanju kompleksnih, visoko kvalitetnih orodij bo teh manj kot deset. V primeru večjega �tevila mo�nih kandidatov, je potrebno s pomočjo seznama �eljenih funkcij in lastnosti izločiti odvečne. Ostaneta naj dva do �tirje proizvajalci. Te bomo natančneje analizirali v naslednjih korakih procesa izbire avtomatskega testnega orodja (Fajardo, 2002, str. 1-2).

5.7 Evalvacija

5.7.1 Evalvacija tehničnih lastnosti in funkcionalnosti

Avtomatska testna orodja, ki so pri�la v o�ji izbor, natančneje analiziramo. Najprej nave�emo stike s proizvajalci in pridobimo natančne informacije. Te ocenimo in jih primerjamo med seboj. Če so nekatere informacije pomanjkljive, je potrebno zahtevati dodatne informacije od proizvajalcev testnih orodij. Pred nadaljevanjem procesa nabave avtomatskega orodja ne sme biti odprtih ključnih vpra�anj (Nguyen, 2001, str. 35). Vzemimo za primer avtomatska orodja proizvajalcev A, B in C. Lahko se zgodi, da najdemo funkcionalnost pri proizvajalcu A, katere proizvajalca B in C ne podpirata. Obstaja mo�nost, da imajo nekateri od njiju re�itev za na� te�avo, le da je izvedena na povsem drugačen način. Za tak�ne primere se je potrebno natančneje posvetovati s proizvajalci. V večini primerov se proizvajalci med seboj poznajo. Potrebno jih je vpra�ati zakaj je njihov izdelek primernej�i od konkurenčnih. To vpra�anje lahko izrodi veliko odgovorov. Natančno je potrebno spremljati na kaj odgovarjajo in na katera vpra�anja ni konkretnih odgovorov. Lahko nam tudi posredujejo napake konkurenčnih proizvajalcev, katere bi odkrili �ele po dalj�em času uporabe orodja. Pozorni moramo biti na izjemne tr�ne sposobnosti proizvajalcev, ki so lahko varljive. Predhodno moramo sestaviti seznam vpra�anj. Neodgovorjenih vpra�anj ne sme biti (Fewster, 1999, str. 271). Predstavniku podjetja je prav tako potrebno postaviti naslednja vpra�anja (Hendrickson, 1999, str. 41):

• Na kak�en način lahko primerjamo va�e orodje z drugimi orodji, ki so trenutno dostopna na trgu?

• V katerih primerih je va�e orodje najbolj�a izbira? • V katerih primerih va�e orodje ni primerna izbira?

72

• Katere značilnosti orodja označujete kod prednost pred konkurenčnimi orodji? • Katere so slabosti va�ega orodja?

Velika verjetnost je, da bodo predstavniki pripravljeni na ta vpra�anja in lahko dobimo precej posredne in politično oblikovane odgovore. Uredniki kvalitetnih strokovnih revij se odločajo tudi za primerjavo testnih orodij. V nekaterih od teh revij lahko najdemo osnutek poročila o delovanju in kvaliteti orodja, ki je pri�lo v na� o�ji izbor. Popolna poročila so plačljiva. Nekateri menijo, da so popolna poročila precenjena. Ceno poročil lahko primerjamo s stro�ki podjetja, ki je porabilo precej časa za ocenjevanje in se na koncu odločilo za napačno orodje. Pridobitev tak�nih poročil je vsekakor priporočljivo (Fajardo, 2002, str. 1-2). Proizvajalce prosimo za referenčni seznam podjetij s katerimi sodelujejo. Priporočljivo je vzpostaviti stike z nekaterimi od podjetjih in jih povpra�ati za mnenje in izku�nje pri dosedanjem delu z avtomatskim testnim orodjem. Ponudniki testnih orodij običajno navedejo svoje najbolj�e stranke, zato bo odziv od teh strank običajno pozitivno mi�ljenje glede uporabe orodij. Podjetja, ki so nam konkurenčna izločimo iz seznama podjetij pri katerih bomo povpra�evali. Nekateri proizvajalci na svoji domači strani rezervirajo prostor za uporabni�ke skupine. Ti si med seboj izmenjujejo izku�nje pri delu z avtomatskim testnimi orodji. Tudi tukaj lahko najdemo veliko koristnih informacij. Lahko spremljamo napake in re�itve napak, ki jih imajo uporabniki. Predstavijo tudi ideje oz. prilagoditve, ki so jih izdelali za kvalitetnej�e delo z orodjem. Podjetja, ki imajo manj kvalitetna orodja, vsekakor ne bodo rezervirala prostor za uporabni�ko skupino, saj jim ta lahko le �kodi. Pri poizvedovanju bomo naleteli na uporabnike s pozitivnimi in negativnimi izku�njami. Upo�tevati moramo, da različni uporabniki z avtomatskim tesnim orodjem re�ujejo različne te�ave. Osredotočimo se le na tiste, ki re�ujejo te�ave podobne na�im. V večini primerov strokovnjaki radi izmenjujejo izku�nje o svojem delu s predstavniki izven podjetja. Proizvajalci testnih orodij se zavedajo, da v velikem �tevilu primerov orodje ne bo popolno zadovoljilo potrebe kupca. V tem primeru nam predstavijo načrt nadgradnje orodja v prihodnosti. Velikokrat bomo srečali nepokrita področja, kot prioritetne naloge za nadgradnjo v bli�nji prihodnosti. Funkcionalnosti, po katerih je povpra�evanje največje, prioritetno uredijo in temu primerno usmerijo razvoj orodja. Nekvalitetno in funkcionalno siroma�no testno orodje slabo vpliva na ugled proizvajalca avtomatske testne opreme (Fewster, 1999, str. 271-273).

5.7.2 Evalvacija ostalih lastnosti in pogojev nakupa

S časoma se v procesu izbire orodja poka�e, katera orodja najbolj ustrezajo na�im potrebam. Vsa druga izločimo iz procesa izbire avtomatskega orodja in jih ne

73

vključujemo v naslednjih fazah procesa. Običajno sta to dva avtomatska orodja, v redkih primerih tri. Če smo dobro opravili naloge predhodnih faz, je le redko mogoče, da v o�jem izboru ostanejo več kot tri orodja. Proizvajalce prosimo za predstavitev orodja v podjetju. Pred prihodom njihovih predstavnikov, postavimo testno okolje v katero bo vključeno testno orodje ter pripravimo nekaj osnovnih testnih scenarijev. Testi naj se izvajajo izključno na sistemih, zaradi katerih orodje nabavljamo. Prehodno lahko opravimo ročno testiranje sistema in poi�čemo mo�ne napake. Od orodja pričakujemo, da odkrije te napake. Pripravimo tudi seznam testov, ki jih ni mogoče izvesti ročno. Ti so eni od ključnih razlogov za nabavo orodja. Seznam testov jim lahko posredujemo pred prihodom. Za vsako podjetje si rezerviramo enako dolgo časa za predstavitev. Čas potreben za predstavitev je odvisen od zapletenosti orodja. Najbolje je, da si zaporedno sledijo in da ne delamo dalj�ih časovnih premorov med predstavitvami. Tako imamo �e v spominu lastnosti predhodnega avtomatskega orodja. V času predstavitve moramo biti prilagodljivi glede izvajanja testov. Avtomatsko orodje lahko opravi zahtevane teste na drugačen način kot smo si predstavljali. Če bomo preostri pri načinu izvajanja testov, lahko izločimo orodje, ki bi sicer predstavljalo odlično re�itev za na�e te�ave. Proizvajalce predhodno prosimo za seznam pripomočkov, ki so potrebni za celovito predstavitev. Te upo�tevamo pri pripravi testnega okolja (Fewster, 1999, str. 274-275). Prav tako je potrebno natančno sestaviti seznam vpra�anj (tehnična in finančna), ki jih bomo postavili predstavniku podjetja. Seznam za evalvacijo naj zajema (Fewster, 1999, str. 275-276):

• splo�ni odnos predstavnika (odzivni čas, prilagodljivost, tehnična znanja, ipd.), • učinkovitost orodja (določimo merljive parametre, kot je čas potreben za

izvajanje testa, čas potreben za iskanje �eljenih navodil v dokumentaciji, ipd.), • sestavimo tudi testni scenarij, katerega �elimo avtomatizirati.

Pripravimo �e dodatni test, katerega predhodno ne posredujemo predstavnikom podjetja. Izvedbo tega testa zahtevamo na koncu. Namen testa je nadzor postopka, ki ga izvede predstavnik. Potrebno je natančno nadzirati korake, zapletenost priprave orodja za test in čas potreben za pripravo testa (slika 15). Velika verjetnost je, da bo predstavnik pripravil orodje v kratkem času, saj ga izredno dobro pozna.

74

Slika 15: Postopek preverjanja delovanja orodja

Testi

Osnovni

Zahtevnej�i Testni scenarij

Testni scenarij

Naknadni testi

Teste opravi predstavnik podjetja

Orodje

Testni sistem

Testniscenarij

Sami pripravimo in po�enemo test na dan predstavitve

Vir: Fewster, 1999, str. 276. Predstavitev orodja Med predstavitvijo si zabele�imo vse pomembne informacije in sproti postavljamo vpra�anja. Če posredujemo vpra�anja po odhodu predstavnikov podjetja, ne bo mogoče preveriti točnost delovanja funkcije na delujočem sistemu. Spoznali bomo verjetno tudi nekaj novih lastnosti orodja. Označimo si tudi funkcionalnosti, ki ne delujejo tako kot smo si predstavljali. Na koncu vsake predstavitve v podrobnem poročilu zapi�emo zaključke o orodju. Orodja se lahko v načinu delovanja med seboj zelo razlikujejo. Prav tako obstaja mo�nost, da imajo način delovanja precej enak, vendar se razlikujejo v nekaterih funkcionalnostih. Vzdr�evanje testnih scenarijev Testni scenariji se zaradi sprememb na izdelku skozi razvoj izdelka nenehno spreminjajo. Večinoma se spreminja fizična oblika grafičnega vmesnika, zmo�nosti posameznih funkcionalnosti in podatkovna baza izdelka. Prav tako se spreminja podatkovna baza izdelkov, ki se skozi razvoj spreminja oblikovno. Ker se v času testiranja vsebina podatkovne baze spreminja, je potrebno prirediti testni scenarij, ki bo popolnoma preveril pravilnost zapisovanja in branja podatkov shranjenih v podatkovni bazi (Bos, 2005, str. 3-4). Vzdr�evanje testnih scenarijev je zelo pomembno in zapleteno opravilo. Po pripravi nove različice izdelka, je potrebno znova priključiti avtomatsko testno orodje in ponoviti teste. Med delovanjem lahko opazujemo rezultate, ki jih posreduje testno orodje pri spremenjenem izdelku. Ker orodje ne bo moglo opraviti testov, je potrebno prilagoditi testni scenarij. Natančno spremljamo delo predstavnika, ki prireja testni scenarij za izvedbo testa na spremenjenem izdelku (slika 16).

75

Slika 16: Preverjanje zapletenosti upravljanja orodja

Orodje

Testni sistemVerzija 1

Testniscenarij

Testniscenarij

Orodje

Testni sistemVerzija 2

Prireditev skripta

- Kako zapleten je postopek prirejanja testnega scenarija?- Kolik�na je robustnost skripte glede na spremembe na testiranem sistemu?

Vir: Fewster, 1999, str. 277. Opazujemo te�avnost, koliko sprememb je potrebno vnesti v testni scenarij, prijaznost vmesnika za prirejanje testnih scenarijev, ipd. Nekateri testni scenariji ne omogočajo veliko sprememb in s tem lahko omejijo delovanje orodja. Če predstavnik ni uspel prirediti orodje spremembam testiranega sistema, se verjetno ne bomo odločili za orodje tega ponudnika (Fewster, 1999, str. 276-278). Začasna uporaba orodja V večjih organizacijah je velika mo�nost, da bo orodje uporabljalo večje �tevilo ljudi. S predstavnikom podjetja se lahko �e pred prihodom dogovorimo za začasno uporabo orodja. Tak�en pristop nam lahko prinese največ izku�enj za delo z orodjem. Čas začasne uporabe orodja je odvisen od zapletenosti orodja. Proizvajalec omogoči delo na orodju z začasno licenco, katere rok trajanja je odvisen od predhodnega dogovora. Po izteku licence je orodje neuporabno. Proizvajalci testne opreme lahko z začasno licenco omejijo tudi delovanje posameznih funkcionalnosti orodja. Priprava za začasno testiranje zajema pripravo testov, ki jih �elimo opraviti z avtomatskim orodjem. Odločimo se tudi za kriterije, po katerih bomo ocenjevali orodje. Pripravljene teste opravimo na vseh orodjih ter opravimo primerjavo med orodji. Primerjamo uspe�nost izvedenih testov, čas potreben za izvedbo testov, ipd. Med začasno uporabo avtomatskega orodja se nam lahko spremeni mnenje o ustreznosti orodja. Vsekakor je pomembno, da čim bolj izkoristimo čas začasne uporabe orodja. Tako bomo orodje bolje spoznali in odkrili veliko prednosti in slabosti posameznega avtomatskega orodja (Fewster, 1999, str. 276-278).

76

5.8 Končna faza evalvacije in izbira

Po končanem postopku izbire avtomatskega orodja je potrebno izdelati poročilo, v katerem je navedeno orodje, ki najbolje ustreza na�im zahtevam. Preden vodstvu posredujemo te podatke, je potrebno pripraviti tudi poslovni model za izbrano avtomatsko orodje. Vodstvo bo predvsem zanimala cena orodja, stro�ki izobra�evanja, čas potreben za povračilo nalo�be, ipd. Če eden od kandidatov odstopa od drugih, se proces izbire orodja lahko hitro konča. Proces izbire nadaljujemo toliko časa, dokler so vsi vpleteni v proces izbire orodja zadovoljni. S tem se izognemo kasnej�emu ugovarjanju o skraj�anem postopku procesa. Le redko se zgodi, da eden od kandidatov zelo odstopa od drugih. Čez čas spoznamo, da imajo vsi proizvajalci svoje slabosti in prednosti. Pri končnem odločanju se bolj upo�tevajo birokratski vidiki. Pozornost usmerimo na status podjetij na trgu, prilagodljivost in pristopnost podjetja glede �tevila in časovnih omejitev licenc. Te�ava se pojavi, če zmeraj katero od avtomatsko testno orodje ne odstopa od drugih orodij (slika 17). V tej točki je potrebno zbrati celotno skupino, ki je sodelovala v procesu izbire orodja. Vodja skupine in ostali člani se skupaj odločijo katero avtomatsko testno orodje bo izbrano. Lahko tudi vr�ejo kovanec (Fewster, 1999, str. 279-280).

Slika 17: Izbira med enakovrednimi orodji

Podobni orodji po evalvaciji

Vr�emo kovanec ?

Vir: Fewster, 1999, str. 279. Veliko podjetij se odloči za napačno orodje (slika 18). Kar se izka�e �ele po dalj�em času uporabe izbranega avtomatskega orodja. Vsekakor je to posledica nepravilno vodenega procesa izbire avtomatskega testnega orodja. Velikokrat se zgodi, da je bolj�e orodje bilo izločeno �e v začetnih fazah procesa (Fewster, 1999, str. 280-281).

77

Slika 18: Napačna izbira orodja

Izbrati bi morali drugo orodje

Vir: Fewster, 1999, str. 280. Preden izbrano podjetje obvestimo o na�i odločitvi za nabavo njihovega avtomatskega orodja, je priporočljivo izvesti pogajanja od dodatnih popustih glede cene orodja, podalj�anem času garancije, cene izobra�evanja za delo z orodjem, itd. Začnemo s procesom, ki bo zagotovil prostor in pogoje za delovanje nabavljenega orodja. Prav tako je potrebna priprava za �olanje za delo z orodjem (Hendrickson, 1999, str. 42). Potrebno je obvestiti tudi druge proizvajalce, da njihovega testnega orodja nismo izbrali. Ti nam bodo v prihodnosti posredovali novice o svojih razvitih izdelkih, ki nam lahko bolj ustrezajo pri naslednji izbiri orodja. Uporaba orodij različnih proizvajalcev je priporočljiva. S tem nismo omejeni le na eno podjetje. Če to podjetje preneha delovati, je potrebno znova poiskati podjetje in navezovati stike. Sodelovanje z večimi proizvajalci prina�a večjo dinamiko v procesu testiranja. Različni proizvajalci imajo različne pristope in poglede na določena področja testiranja, kar nam pomaga pri nadaljnjem načrtovanju, razvoju in testiranju izdelkov (Fewster, 1999, str. 279-280).

5.9 Uporabnost postopka evalvacije na konkretnem primeru izbire in nabave

V svetu telekomunikacij je obstoj na trgu pogojen z razvojem visokotehnolo�ke opreme. Z nadgradnjo obstoječe telekomunikacijske opreme z bolj zmogljivo strojno in programsko opremo, so se pojavile zahteve po novih funkcionalnih in

78

zmogljivostnih testih. Vpeljati je bilo potrebno avtomatsko izvajanje testov, predvsem zaradi:

• priprava in izvajanje ročnih testov je časovno potratna, • vse več je testov, ki jih ročnim testiranjem ni mo�no opraviti.

Po končani analizi razvoja in nabave avtomatske testne opreme, smo se v podjetju odločili za razvoj lastne programske opreme za izvajanje funkcionalnih in zmogljivostnih avtomatskih testov. Novorazvita programska oprema je delovala na klasičnem osebnem računalniku s podporo Linux operacijskega sistema. Kmalu so kupci na�ih izdelkov zahtevali nadgradnjo obstoječih sistemov z bolj zmogljivimi funkcijami. Posledica tega je bila, da lastno avtomatsko testno orodje ni več ustrezalo novim testnim zahtevam, zaradi omejitev strojne in programske opreme. Orodje ni bilo mogoče nadgraditi zaradi zahtevane hitrosti strojne opreme. Osebni računalnik ni več zmogel naloge. Ponovna analiza razvoja in nabave avtomatske testne opreme je pokazala, da nadgradnja obstoječega lastnega orodja ali razvoj novega ne bi bil smotern. Obstoj podjetja na trgu je bil pogojen z bolj kakovostim testiranjem, zato je bil nujen nakup namensko razvite strojne in programske opreme za avtomatsko testiranje, saj bi nepreverjen izdelek na trgu lahko povzročil veliko �kode podjetju (izguba ugleda, kupcev, ipd.). Ker so tovrstna avtomatska orodja zelo draga, stanejo nekaj 100.000 USD, nabava orodja pa ne sme biti odvisna od enega samega človeka, je bilo potrebno je bilo sestaviti skupino zadol�eno za proces izbire in nakupa avtomatskega orodja. Skupina je bila sestavljena iz vodje skupine ter petih članov. Med njimi smo bili trije predstavniki sektorja za verifikacijo in validacijo, predstavnik sektorja za razvoj programske opreme in predstavnik vodstva. Poizvedba po internetu in strokovni literaturi je pokazala, da obstaja v svetu le pet primernih tovrstnih proizvajalcev. Po natančnej�i analizi tehničnih specifikacij so pri�li v o�ji krog trije proizvajalci avtomatskih orodij: A, B in C. Vodja skupine je vzpostavil stik z izbranimi proizvajalci in jim predstavil problematiko na�ega podjetja. Nabavo opreme smo pogojili s prihodom predstavnikov na podjetje, za teoretično in nekaj dnevno (2-3 dni) praktično tehnično predstavitev delovanja v laboratoriju ter enomesečno uporabo opreme. Vodja skupine je pravtako načrtoval urnik predstavitve, ostali člani pa smo bili zadol�eni za pripravo skupine testov in testnih scenarijev, ki bih jih orodje moralo biti zmo�no opraviti. Proizvajalca A in B �e ob praktični tehnični predstavitvi nista zadovoljila skupine za nabavo orodja, ker orodji nista v celoti opravila predhodno pripravljenih testov. Orodji nista podpirali testiranja izdelkov z asimetričnimi dostopovnimi linijami (ADSL tehnologija). Avtomatsko orodje proizvajalca A je bilo poleg tega tudi zaprto za povezovanje z drugimi avtomatskimi testnimi orodji in je bilo zelo slabo prilagojeno za nastavljanje ter izvajanje različnih testnih scenarijev. Avtomatsko orodje proizvajalca B je imelo previsoko ceno, glede na to da ni podpiralo mo�nosti krmiljenja z nobenim skriptnim programskim jezikom. Predstavnika podjetij A in B sta bila slabo tehnično seznanjena z delovanjem orodja, zato sta med tehnično predstavitvijo v laboratoriju veliko časa porabila za telefonske

79

pogovore s tehničnimi strokovnjaki na sede�u podjetja. Njun nastop je bil predvsem tr�no usmerjen, torej nekoliko ponesrečen, ker je poleg skupine odgovorne za izbiro orodja pri predstavitvi sodeloval tehnični kader. Obstaja mo�nost, da bi se dalo orodji proizvajalca A in B, z določenimi nastavitvami uporabiti za izvajanje zahtevanih testov (testiranje asimetričnih dostopovnih linij), vendar nam predstavnika tega nista znala posredovati. Avtomatsko orodje proizvajalca C je uspe�no opravilo vse teste. Njihov predstavnik je, poleg dobre tr�ne in tehnične predstavitve, pokazal izredno praktično tehnično znanje uporabe orodja. Pri demonstraciji uporabe orodja je posredoval tudi veliko informacij in novih idej o načinu testiranja posameznih funkcij, ki jih je dobil v stikih z drugimi vodilnimi proizvajalci telekomunikacijske opreme. �e vnaprej nam je posredoval mo�ne probleme, s katerimi so se srečali drugi proizvajalci telekomunikacijske opreme. Vsi argumenti (tehnična predstavitev, cena, ustreznost orodja in uspe�na enomesečna testna uporaba avtomatskega orodja) so bili na strani proizvajalca C, zato smo se odločili za nakup njihovega orodja. Proizvajalec nam je omogočil takoj�nje izobra�evanje strokovnjakov za delo na avtomatskem orodju. Za izbiro in nakup orodja smo porabili pribli�no 5 človek-tednov. S pomočjo avtomatskega orodja smo avtomatizirali velik del testov, ki smo jih pred tem izvajali ročno. Pripravili smo tudi nove teste. Za skupino sorodnih testov, ki smo jih pred tem opravljali ročno, smo porabili pribli�no 4 človek-dni. S pomočjo avtomatskega orodja porabimo za izvajanje identičnih ter dodatnih testov 0,5 človek-dni. Največjo dodano vrednost pa imajo testi, ki jih prej nismo mogli opraviti. Poleg samega testiranja izdelkov znotraj podjetja, avtomatsko orodje uporabljamo tudi pri analizi te�av neposredno pri kupcu. Kupci se zaradi varnosti običajno odločajo za dva proizvajalca telekomunikacijske opreme. Če se izka�e, da ima kateri od izdelkov določenega proizvajalca kritično napako v delovanju, ga hitro nadomestijo z izdelkom drugega proizvajalca, ki opravlja isto funkcijo. S tem dose�ejo nemoteno delovanje svojega omre�ja. �e slab�e je, če eden od proizvajalcev preneha dostavljati svoje izdelke. V tem primeru naročijo opremo pri drugem, �e preverjenem, dobavitelju in takoj začnejo z iskanjem rezervnega dobavitelja. Večkrat se zgodi, da v primeru te�av na omre�ju dobavitelja prelagata krivdo drug na drugega. Takrat je v veliko pomoč avtomatsko orodje, s katerim problematične funkcionalnosti preverimo neposredno pri kupcu in analiziramo izvor napake. Ker so telekomunikacijski protokoli standardizirani, je mo�no hitro odkriti katera naprava povzroča te�ave v omre�ju. Poleg tega ima avtomatsko orodje precej�nji psiholo�ki učinek, saj kupec bolj zaupa meritvam dobljenim z avtomatskim orodjem kot meritvam opravljenim z programsko opremo, ki smo jo razvili sami in deluje na osebnem računalniku. Tudi pri tr�enju na�ih izdelkov nam je v veliko pomoč prikaz meritev dobljenih z avtomatskim testnim orodjem znanega proizvajalca, saj kupci tako la�je med seboj

80

primerjajo tehnične karakteristike izdelkov različnih ponudnikov telekomunikacijske opreme. Čeprav je bilo avtomatsko testno orodje v na�em primeru kupljeno z namenom testiranja v razvojnih fazah izdelka, se je izkazalo, da je dejanska uporaba orodja precej �ir�a. S tem je bila nabava avtomatskega testnega orodja toliko bolj upravičena.

6. SKLEPI IN UGOTOVITVE

Projektni vodje in skupine za razvoj izdelkov se v dana�njem času soočajo z izzivi, ki zahtevajo razvoj kvalitetnih izdelkov v minimalnem času in z minimalnimi viri. Vedno več je testov, ki jih ni mogoče opraviti z ročnim testiranjem. V času nenehnih sprememb in nadgradenj, predvsem programske opreme, je postalo testiranje ponavljalne narave. Za vsako nadgradnjo je potrebno dodatno načrtovati teste in jih povezati z obstoječimi testi. Avtomatsko testiranje je prineslo korenite spremembe v industrijo. Test, ki simulira 1000 uporabnikov, je mogoče opraviti le z avtomatskim orodjem. Tudi teste, ki se ponavljajo je smiselno opraviti z avtomatskim orodjem. Avtomatsko testiranje ne predstavlja le orodja, ki ga priključimo na �eljeni sistem in samostojno opravi zahtevano nalogo, temveč tudi spremembe v celotnem razvojnem procesu. Avtomatizacija testiranja ni vedno nujna, primerna ali profitabilna. Če se odločamo na podlagi stopnje donosnosti, nas kvalitetna analiza procesa testiranja pripelje do pravilnih odločitev. Potrebno je opraviti tudi računsko primerjavo med stro�ki, prednostmi in slabostmi, ki jih dose�emo z nadomestitvijo ročnih testov z avtomatskimi testi. Namen uvajanja procesa avtomatskega testiranja, v povezavi z ročnim testiranjem, je izdelava zanesljivega in kvalitetnega izdelka v čim kraj�em času, kar je posledica izbolj�anja kvalitete in učinkovitosti procesa testiranja. Če je uvajanje avtomatskega testiranja nujno potrebno (npr. zaradi tehničnih omejitev), nam primerjava z ročnim testom kaj dosti ne pomaga. Vse več je testov, ki jih ni mogoče opraviti z ročnim testiranjem. V tem primeru je potrebno določiti zgornjo mejo, do katere je podjetje pripravljeno investirati v avtomatska testna orodja. V redkih primerih je cena avtomatskega orodja visoko nad mejo, ki jo je podjetje pripravljeno plačati. V tem primeru je včasih bolje opustiti razvoj izdelka, ki bi bil brez kvalitetnega preverjanja poslan na trg. Stro�ke odpravljanja napak je te�ko oceniti, napovedati posledice, ki jih lahko utrpi podjetje, pa je dokaj enostavno. Izguba trga in ugleda na trgu je lahko usodno za podjetje.

81

Napačna pričakovanja in predstave o avtomatskem testiranju nas lahko privedejo na napačno pot. Uvajanje procesa avtomatskega testiranja običajno ne bo prineslo takoj�njo povrnitev investicije. Tudi čas procesa testiranja se ne bo nemudoma skraj�al, saj bomo precej časa potro�ili za spoznavanje avtomatskega orodja, kasneje je potrebno �e upo�tevati člove�ke, časovne in finančne vire potrebne za vzdr�evanje orodja. Potrebno je poudariti, da ne obstaja orodje, ki bo samostojno pripravilo testne scenarije, jih samostojno vzdr�evalo in samostojno zaganjalo teste. Prav tako zmotno pričakovanje je, da z enim orodjem lahko opravimo vse teste. Primerneje je nabaviti več manj zapletenih orodij, ki v celoti pokrivajo zaključeno �tevilo med seboj sorodnih testov. Najbolj napačno pa bi bilo pričakovati, da bomo z avtomatskim testiranjem lahko popolnoma nadomestili ročno testiranje. S procesom uvajanja avtomatizacije lahko pričnemo �ele po natančni analizi razvojnih procesov in procesa testiranja. Strukturirano neodvisno testiranje, nadzorovano izdajanje novih različic izdelka, popolno načrtovanje in dokumentiranje celotnega procesa testiranja so kazalci dovolj zrelega procesa testiranja. Izpopolnjevanje zrelosti postopkov zaradi uvajanja procesa avtomatskega testiranja je vsekakor pogoj za dobro nalo�bo. Ob uvajanju procesa avtomatizacije se lahko odločimo med razvojem lastnega orodja in nabavo avtomatskega orodja od zunanjih podjetij, ki se ukvarjajo z razvojem avtomatskih orodij. Razlogov za razvoj lastnega orodja je lahko več. Včasih se po raziskavi trga zgodi, da razpolo�ljiva orodja ne zadovoljujejo na�ih potreb. Na drugi strani pa obstajajo orodja, ki zadovoljujejo na�e potrebe, vendar podpirajo �e veliko dodatnih funkcionalnosti, ki so za na�e potrebe neuporabne. Bolj zmogljiva orodja pa so običajno visokega cenovnega razreda. Glavna prednost razvoja lastnega orodja je popolna prilagojenost za testiranje lastnih izdelkov, ki jih razvijamo. Za nadgradnjo in vzdr�evanje orodja je priporočljivo določiti strokovnjaka, ki ne bo član skupine za razvoj ali skupine za testiranje. Ves čas pa mora biti v stiku z navedenima skupinama, spremljati njihovo delo in izpopolnjevati avtomatsko orodje. Preden se odločimo za razvoj lastnega orodja je nujno opraviti natančno analizo zahtevanih časovnih, finančnih in člove�kih virov, saj mora biti avtomatsko orodje zelo natančno in izredno visoke kvalitete. Vsekakor si ne �elimo, da bi razvoj orodja presegel stro�ke in vire potrebne za nabavo orodja, ki je identično in razpolo�ljivo na trgu. V primeru potrebe po bolj zapletenih in zmogljivih avtomatskih orodjih, se podjetja odločajo za nakup orodja, saj je na trgu pestra izbira avtomatskih testnih orodij. Proces izbire avtomatskega orodja obsega nekaj precej skrbno načrtovanih korakov. Potrebno je določiti skupino, ki se bo odločala o izbiri orodja. Naloga skupine za izbiro orodja je opraviti poizvedbo po orodjih razpolo�ljivih na trgu, analizirati tehnične karakteristike orodij, vzpostaviti kontakte z izbranimi podjetji, opraviti preizkusno testiranje izbranih orodij, primerjati orodja, ki so bila evalvirana ter imenovati

82

proizvajalca oz. orodje, za katerega so se odločili. Skupina za izbiro mora poskrbeti tudi za pogajanja o ceni, sestavi pogodbe za vzdr�evanje in garancijsko dobo ter izobra�evanje kadrov za delo z orodjem. Na koncu je potrebno �e pripraviti testno okolje v katerem bo avtomatsko orodje delovalo. Za delo z avtomatskim orodjem je zelo primerno določiti strokovnjaka, ki ima precej izku�enj na področju testiranja in zelo dobro pozna naravo izdelkov, ki jih podjetje razvija. Potrebno ga je čim bolj razbremeniti drugih nalog ter ga usposobiti le za delo z avtomatskim orodjem. Spoznati mora avtomatsko orodje, pripravljati testne scenarije ter biti v nenehnem kontaktu s skupinama za razvoj in testiranje. Strokovnjak za testiranje mora biti tudi v kontaktu z dobaviteljem avtomatskega orodja ter spremljati nadgradnje in izbolj�ave za obstoječe orodje, ki jih dobavitelj ponuja. Avtomatsko testiranje ima veliko prednosti pred ročnim testiranjem. Avtomatska orodja lahko zaganjajo teste 24 ur na dan, 7 dni v tednu. Prav tako se avtomatsko orodje ne utrudi in se ne naveliča opravljati vedno istih in monotonih nalog. Med tem, ko avtomatska orodja zaganjajo teste, lahko zadol�imo in�enirje za testiranje za druge, bolj pomembne naloge, kot so izpopolnjevanje procesa testiranja ter načrtovanje novih testov in testnih scenarijev. S tem poraste motiviranost za delo v skupini za testiranje. V na�em primeru se je investiranje v avtomatsko testno orodje vsekakor obrestovalo, saj se je skraj�al čas za razvoj kvalitetnega izdelka. Dolgoročno smo se odločili za dodatna investicije v avtomatska testna orodja, vendar kot dopolnitev ročnemu testiranju. Tako bomo ohranili prednosti ročnega testiranja. Avtomatsko testno orodje nam je precej pripomoglo tudi pri analizi napak pri kupcu; rezultate meritev pridobljenih z avtomatskim orodjem pa navajamo pri tr�enju na�ih izdelkov. Kljub temu, da avtomatsko testiranje ne more in ne sme povsem nadomestiti ročnega testiranja in da zahteva zelo visoka vlaganja, ki se ne zdijo vedno upravičena vodstvu podjetja, se z dobro načrtovanim procesom uvajanja avtomatskega testiranja izka�e, da je smotrno vlagati v avtomatska orodja. Pri tem je potrebno paziti, da proces avtomatizacije testiranja uvajamo postopoma, torej s takimi orodji, ki pokrivajo zaključena področja testiranja.

83

7. LITERATURA

1. Abrahams John R. et al.: Centrex or PBX the impact of IP. Norwood: Artech House, Inc, 2003, 161 str.

2. Arieli Guy: Automation testing project requirements. 3. [URL:http://www.stickyminds.com/sitewide.asp?sid=1&sqry=%2AZ%28SM%29%

2AJ%28MIXED%29%2AR%28relevance%29%2AK%28simplesite%29%2AF%28Automation+testing+project+requirements%29%2A&sidx=0&sopp=10&ObjectId=7714&Function=DETAILBROWSE&ObjectType=ART ] 15.1.2005

4. Audin Gary: Architectures For Convergence. B.k., Business Communication Review, 10, 2004, str. 9-12.

5. Bach James: Agile Test Automation. 10 str. [URL: http://www.satisfice.com/agileauto-paper.pdf ] 12.2.2005

6. Bartlett John et al.: Economics Of QoS On Wan Access Lines. B.k., Business Communications Review, 10, 2004, str. 16�22.

7. Black Rex: Manual or Automated (Investing in Software Testing). 2002, 5 str. 8. [URL:http://www.stickyminds.com/sitewide.asp?ObjectId=3583&Function=DETAI

LBROWSE&ObjectType=ART ]20.12.2004 9. Black Rex: The Cost of Software Quality (Investing in Software Testing). 2000, 5

str. [URL:http://www.stickyminds.com/sitewide.asp?ObjectId=3529&Function=DETAILBROWSE&ObjectType=ART ] 15.1.2005

10. Black Rex: The Importance of The Right Technique (Investing in Software Testing). 2002, 6 str. [URL:http://www.stickyminds.com/sitewide.asp?ObjectId=3548&Function=DETAILBROWSE&ObjectType=ART ] 20.12.2004

11. Black Rex: The Risks to System Quality (Investing in Software Testing). 2002, 7 str. [URL:http://www.stickyminds.com/sitewide.asp?ObjectId=3564&Function=DETAILBROWSE&ObjectType=ART ] 15.1.2005

12. Bos J Frits: The Real Costs and Benefits of Test Automation, 2005, 4 str. [URL:http://www.stickyminds.com/sitewide.asp?function=search&kind=simplesite&tt=SRCHBOX&tth=Y&freetext=Frits+J.+Bos ], 11.3.2005

13. Lavia Anthony: Strategic Planning In Times Of Turmoil. B.k., Business Communications Review, 3, 2004, str. 56�59.

14. Davis Andrew W. Et al.: New Paradigms In Enterprise Video. B.k., Business Communications Review, 11, 2004, str. 38-41.

15. Dukić Miroslav L. et al.: Telekomunikacione pristupne mre�e. Beograd: Elektrotehnički fakultet. b.l., 8 str.

16. Elfriede Dustin: Effective Software Testing: 50 specific ways to improve your testing. Boston: Addison Wesley, 2003, 203 str.

84

17. Elfirede Dustin: Lessons in Test Automation. B.k., STQE Magazin, 5, 1999, str. 16-21.

18. Fajardo Jose: Working with automated testing tools from a pragmatic point of view. 2002, 14 str. [URL:http://www.stickyminds.com/sitewide.asp?sid=1&sqry=%2AZ%28SM%29%2AJ%28MIXED%29%2AR%28relevance%29%2AK%28simplesite%29%2AF%28Working+With+Automated+Testing+Tools%29%2A&sidx=0&sopp=10&ObjectId=6471&Function=DETAILBROWSE&ObjectType=ART ]. 11.3.2005

19. Fewster Mark et al.: Software Test Automation: Effective user of test execution tools. Great Britain: Addison Wesley, 1999, 574 str.

20. Finneran Michael: Three Architectures For The Telco Triple-Play. B.k., Business Communication Review, 3, 2005, str. 32-37.

21. Frankel Jonathan: We' re Not Bad- We' re Just Regulated That Way. B.k., Von Magazine, Vol. 3, 6, 2005, str. 60.

22. Frankston Bob: Phoney Economics. B.k., Von Magazine, Vol. 3, 5, 2005, str. 46. 23. Ginsburg David: Implementing ADSL. Massachusetts: Addison Wesley Longman,

1999, 292 str. 24. Greenfield David: Desktop Videoconferencing: Just Another Plaything. B.k.,

Network Magazine, 4, 2005, str. 28-51. 25. Hendrickson Elisabeth: Bang for the Buck Test Automation. 2001, 8 str.

[URL:http://www.stickyminds.com/sitewide.asp?ObjectId=2570&Function=DETAILBROWSE&ObjectType=ART ]15.1.2005

26. Hendrickson Elisabeth: Evaluating Tools. B.k., STQE Magazin, 1, 1999, str. 39-42.

27. Hersent Olivier et al.: IP Telephony, Packet-based multimedia communications systems. Harlow: Addison Wesley, 2000, 456 str.

28. Hoffman Douglas: Cost Benefits Analysis of Test Automation. Saratoga: Software Quality Methods, LLC. 1999, 14 str. [URL:http://softwarequalitymethods.com/SQM/Slides/CostBenefitAnalysisSlides.pdf ] 20.1.2005

29. Isenberg David S.: Best Effort? Good Enough! B.k., Von Magazine, Vol. 3, 5, 2005, str. 48.

30. Kandathil Jayan: Evaluating Test Automation Tools for Government. 2005. [URL:http://www.stickyminds.com/sitewide.asp?ObjectId=6267&Function=DETAILBROWSE&ObjectType=ART ]. 11.3.2005

31. Kaner Cern: Pitffals and Strategies in Automated Testing. B.k., IEEE Computer, 4, 1997, 114-116 str.

32. Kelly Michael: The ROI of Test Automation. 2004, 6 str. [URL:http://www.stickyminds.com/sitewide.asp?ObjectId=8502&Function=DETAILBROWSE&ObjectType=ART ] 15.1.2005

33. Krapf Eric: DSL: After The Land Rush. B. k., Business Communication Review, 11, 1999, str. 53-55.

85

34. Krapf Eric: Making The Business Case for IP-Telephony. B.k., Business Communication Rewiev, 10, 2004, str. 19-22.

35. Krapf Eric: The Payoff: Killer Applications. B. k., Business Communication Review, 10, 2004, str. 15-18.

36. Krapf Eric: What's Worth Payin For?. B.k., Business Communication Review, 12, 2004, str. 10.

37. Marick Brian: Classic Testing Mistakes. 1997, 25 str. [URL:http://www.testing.com/writings/classic/mistakes.pdf], 11.3.2005

38. Marick Brian: When Should a Test Be Automated? 1998, 20 str. [URL:http://www.testing.com/writings/automate.pdf ] 11.3.2005

39. Nguyen Quoc Hung: Tracking Down a Defectice Management Tool. b.k., STQE Magazin, 4, 2001, str. 32-37.

40. Passmore David: Ready Or Not, Video Chat Is Here. B. k., Business Communication Review, 3, 2004, str. 14-16).

41. Pečjak Jernej: Internetno klasično telefoniranje. Ljubljana: Moj mikro, 4, 2005, str.12.

42. Rakitin R. Steven: Balancing Time to Market and Quality. B.k., Software Quality Professional, Vol. 1, 3, 1999. 4 str.

43. Rice W. Randall: Surviving the Top Ten Challenges of Software Test Automation. 2003, 14 str. [URLhttp://www.stsc.hill.af.mil/crosstalk/2002/05/rice.html ]. 16.1.2005

44. Starr Thomas et al.: DSL Advances. New Yersey: Prentice Hall, 2003, 551 str. 45. Sulkin Allan: IP-Telephony Drives PBX Market Resurgence. B.k., Business

Communication Review, 1, 2004, str. 18-21. 46. Thirumalai V. M.: Cost-effective Automated Testing. 7 str.

[URL:http://www.stickyminds.com/sitewide.asp?sid=1&sqry=%2AZ%28SM%29%2AJ%28MIXED%29%2AR%28relevance%29%2AK%28simplesite%29%2AF%28Thirumalai%29%2A&sidx=1&sopp=10&ObjectId=6470&Function=DETAILBROWSE&ObjectType=ART ] 20.12.2004

47. Vučić Nenad: Okno v svet. Ljubljana: Kapital, 347, 2004, str. 62-63. 48. Wieland Ken: A yourney into the unknown. B.k., International

Telecommunications, Vol. 39, 6, 2005, str. 18-19. 49. Zallar Kerry: Are You Ready for the Test Automation Game?. b.k., STQE

Magazin, 6, 2001, str. 22�26. 50. Zallar Kerry: Automated Software testing � a perspective. 8 str.

[URL:http://www.testingstuff.com/autotest.html] 21.12.2004 51. Zambelich Keith: Totally Data-Driven Automated Testing. 18 str.

[URL: http://www.sqa-test.com/w_paper1.html ] 20.1.2005 52. Zorko R. Samo: Lovci na �u�elke. Ljubljana: Moj mikro, 3, 2004, 64-66 str.

86

VIRI: 1. DSL forum: ADSL2 and ADSL2plus � The New ADSL Standards. 2003, 9 str. 2. Iskratel d.o.o, interna dokumentacija. 3. McClune Emma: Video over DSL. 2003.

[URL:http://www.totaltele.com/telcorevolutions/bb3.shtml ], 1.6.2005. 4. Me�e Pavel: Angle�ko � slovenski, slovensko � angle�ki slovar,

telekomunikacije. Ljubljana: Smart COM, d.o.o., 1999, 450 str. 5. Pahor David et al.: Leksikon računalni�tva in informatike. Ljubljana: Pasadena,

2002, 786 str. 6. RADCOM Ltd.: Telecom Protocol Finder. 2001, 878 str. 7. �krjanček. Glasilo Skupine Telekom Slovenije. Ljubljana, 2005, 2, str. 4. 8. Telecompaper: Korea stays top broadband country, Netherland is 2nd. 25.5.2005.

[URL: www.telecompaper.com/site/news_ta.asp?type=abstract&id=80689&NR=790], 7.6.2005.

9. Tilak John: Netherlands to remain Europe's broadband leader in 2010 � report. Digital media news for Europe, 26.5.2005. [URL:http://dmeurope.com/default.asp?ArticleID=8053], 7.6.2005