Acceptanstest - SAST · SAST 14 oktober 2010 Henrik Rylander [email protected]...

19
SAST 14 oktober 2010 Henrik Rylander [email protected] kristina.snis@skatteverket Acceptanstest - är mer än du tror

Transcript of Acceptanstest - SAST · SAST 14 oktober 2010 Henrik Rylander [email protected]...

Page 1: Acceptanstest - SAST · SAST 14 oktober 2010 Henrik Rylander henrik.rylander@skatteverket.se kristina.snis@skatteverket Acceptanstest-är mer än du tror

SAST14 oktober 2010

Henrik [email protected]

kristina.snis@skatteverket

Acceptanstest- är mer än du tror

Page 2: Acceptanstest - SAST · SAST 14 oktober 2010 Henrik Rylander henrik.rylander@skatteverket.se kristina.snis@skatteverket Acceptanstest-är mer än du tror

2

Om skatteverket …

Henrik är testarkitekt på Skatteverket där han har varit anställd sedan 2002.

Tidigare har han arbetat i telekommunikation- och lotteribranschen. Henrik

har erfarenhet från att bygga testverksamheter, med att sätta upp

testorganisationer, öka mognadsgraden, ta fram processer och införa

verktyg. Henrik har mer än 20 års erfarenhet av test och är styrelsemedlem i

SAST.

Henrik Rylander

Skatteverket

10.800 personer är anställda vid Skatteverket. Skatteverket hanterar:

– skatter

– folkbokföring

– bouppteckningar

– borgenärsarbete

Page 3: Acceptanstest - SAST · SAST 14 oktober 2010 Henrik Rylander henrik.rylander@skatteverket.se kristina.snis@skatteverket Acceptanstest-är mer än du tror

3

komplex produktionsmiljö med fem plattformar

en blandning av gammal och ny teknik

stora datavolymer hanteras varje natt

många systemberoenden i produktionsmiljön

18 000 Windows XP clients

210 Windows programs

210 Server applications

105 Oracle database

155 WAN sites

UniSys OS 2200

IBM OS 390

275 Unix CPU

525 Windows CPU

135 Linux CPU

600 testsystem

1 200 WLS

300 Oracle db

110 serverar

100 förvaltningsprojekt

20 projekt > 10 årsarbetskrafter

800 årsarbetskrafter utveckling

10% av resurserna arbetar med test

130 användare i QC

komplex testmiljö

komplext testdata

många systemberoenden i testmiljön

Page 4: Acceptanstest - SAST · SAST 14 oktober 2010 Henrik Rylander henrik.rylander@skatteverket.se kristina.snis@skatteverket Acceptanstest-är mer än du tror

4

“Formal testing conducted to determine whether or not a system satisfies its acceptance criteria and to enable the customer to determine whether or not to accepts the system”

IEEE std 1012-1986

“A test executed by the user(s) and manager(s) in an environment simulating the operational environment the the greatest possible extent that should demonstrate that the developed system meets the functional and quality requirements”

TMap, 2002

Vad är acceptanstest?

”Acceptanstest är en validering av att programvaran är klar och kan användas av slutanvändare för att utföra de funktioner och uppgifter som programvaran är utvecklad för”

KUR, Riktlinjer för test

”Den slutgiltiga testfasen som genomförs för att godkänna systemet för driftsättning”

Test av kvalitetssäkring av IT system, Ulf Ericsson 2004

“Acceptance testing is the final test action before deploying the software. The goal of acceptance testing is to verify that the software is ready and can be used by your users to perform those functions and tasks for which the software was built”

RUP, Concept: Acceptance Testing, 2006

“The objective is to provide confidence that the delivered system meets the business requirements of both sponsors and users. The acceptance phase may also act as the final quality gateway, where any quality defects not previously detected may be uncovered.”

WIKIPEDIA (Eng), 2009

Validering, verifiering in en produktionslik miljö, kvalitetskontroll och godkännande

Page 5: Acceptanstest - SAST · SAST 14 oktober 2010 Henrik Rylander henrik.rylander@skatteverket.se kristina.snis@skatteverket Acceptanstest-är mer än du tror

5

Vad är inte acceptanstest?

Det blir inte en acceptanstest bara för att testen görs på slutet!

Det blir inte en acceptanstest bara för att den utförs av kunden!

Det blir inte en acceptanstest när testteamet enbart kör om systemtests testfall

Acceptanstest …

utförs i en produktionslik testmiljö och med egna testdata

ska validera verksamhetsprocessen (Kundens arbetssätt)

utförs parallellt med projektets sprintar eller iterationer

uppfyller kundens förväntningar och arbetar in ett förtroende

Notera att acceptanstest även kan utföras inom ett utvecklingsprojekt och kallas då oftast för “smoke test”. Enligt RUP så är acceptanstest den test som görs när något lämnas från en part till en annan part. Det finns inget som säger att just kunden är mottagare.

Page 6: Acceptanstest - SAST · SAST 14 oktober 2010 Henrik Rylander henrik.rylander@skatteverket.se kristina.snis@skatteverket Acceptanstest-är mer än du tror

6

Flera informella kunder

Utvecklingsprojekt

Slutanvändare

Driftsättning

Drift

Användarstöd

Beställare

Förvaltningsansvariga

Systemägare Acceptanstest

Unika leveranser Vid olika tidpunkter Till flera kunder

Page 7: Acceptanstest - SAST · SAST 14 oktober 2010 Henrik Rylander henrik.rylander@skatteverket.se kristina.snis@skatteverket Acceptanstest-är mer än du tror

7

Funktionellacceptanstest

Olika syften för en acceptanstest

Produktions-acceptanstest

Användar-acceptanstest

Godkännande av beställaren

Gör systemen vad som är tänkt?

Kan vi ta ansvar

och förvalta?

Kan vi driftsätt

a och övervak

a?

Är det tillräckligt

hög kvalité?

Har vi fått det

vi beställt?

Page 8: Acceptanstest - SAST · SAST 14 oktober 2010 Henrik Rylander henrik.rylander@skatteverket.se kristina.snis@skatteverket Acceptanstest-är mer än du tror

8

Beslutsmodell

Användaracceptanstest

Acceptans att systemet är användbart (validering)

Funktionell acceptanstest

Acceptans av att leveransen håller tillräckligt god kvalité (verifiering)

Produktionsacceptanstest

Acceptans att systemet går att produktionssätta, övervaka och att support kan ge användarna stöd vid problem

Godkännande av beställaren

Acceptans att kunden kan ta ansvar och förvalta systemet

Leveranskontroll – är det som är beställt levererat?

Page 9: Acceptanstest - SAST · SAST 14 oktober 2010 Henrik Rylander henrik.rylander@skatteverket.se kristina.snis@skatteverket Acceptanstest-är mer än du tror

9

Verksamhetsspecialister

Testledare

Testare

Testare

Verksamhets-specialister

Roller och organisation

MiljöstödTestdata

Kund

Leverantör

Projekt A Projekt B

Page 10: Acceptanstest - SAST · SAST 14 oktober 2010 Henrik Rylander henrik.rylander@skatteverket.se kristina.snis@skatteverket Acceptanstest-är mer än du tror

10

Från verksamheten lånas följande roller: 3-5 verksamhetsspecialister lånas in från verksamheten 1-3 kravställare lånas in från verksamheten 1 chef, redaktörer, operatörer och andra specialistroller lånas in från verksamheten

Från acceptanstestcenter används följande roller 1 testledare från acceptanstestcenter 1-2 ev. teknisk testare från acceptanstestcenter 1 testdatadesigner från acceptanstestcenter 1 miljöstödsansvarig från prestandatestcenter

Från utvecklingsprojektet lånas följande roller: Konfiguration och installation av testmiljöer görs av utvecklingsprojektet Acceptanstest använder utvecklingsprojektets CCB

Bemanning

Page 11: Acceptanstest - SAST · SAST 14 oktober 2010 Henrik Rylander henrik.rylander@skatteverket.se kristina.snis@skatteverket Acceptanstest-är mer än du tror

11

När i tiden

Testmiljö

C3 +RegC1 C2 +Reg

C3C2C1E1

P

Testmiljön förbereds

Första iterationen ligger en iteration efter ST

Regressionstest är med

Patchar

P

Testar även ”multipla stories” från olika

sprintar

Page 12: Acceptanstest - SAST · SAST 14 oktober 2010 Henrik Rylander henrik.rylander@skatteverket.se kristina.snis@skatteverket Acceptanstest-är mer än du tror

12

Manifest för Agil systemutveckling

Vi finner bättre sätt att utveckla programvaragenom att utveckla själva och hjälpa andra att utveckla.

Genom detta arbete har vi kommit att värdesätta:

Individer och interaktioner framför processer och verktygFungerande programvara framför omfattande dokumentation

Kundsamarbete framför kontraktsförhandlingAnpassning till förändring framför att följa en plan

Det vill säga, medan det finns värde i punkterna till höger,värdesätter vi punkterna till vänster mer.

Kent Beck , Mike Beedle, Arie van Bennekum, Alistair Cockburn ,Ward Cunningham, Martin Fowler, James Grenning, Jim Highsmith, Andrew Hunt ,Ron, Jeffries, Jon Kern, Brian Marick, Robert C.

Martin, Steve Mellor, Ken Schwaber, Jeff,Sutherland, Dave Thomas

Page 13: Acceptanstest - SAST · SAST 14 oktober 2010 Henrik Rylander henrik.rylander@skatteverket.se kristina.snis@skatteverket Acceptanstest-är mer än du tror

13

Testprocess

Efter det att vi har fått en överblick av systemet går vi in i en strukturerad testfas. Här validerar vi de verksamhetskrav som ställts på systemet. Alla testfall och avvikelser dokumenteras i QC.

Storybord,user stories,soap opera

Formell testning

SessionSheets

Eftersom vi alltid kommer på saker vi också skulle vilja ha testat under den formella testfasen så kompletterar vi testen med en fri del. Här använder vi en blandning av tekniker så som utforskande testning, error guessing, usage scenarios, elaka testdata samt de testtekniker som användes i den första ”bekantnings fasen”.

Story soard, user stories, soap opera tekniker används för att testarna ska bekanta sig med systemet och snabbt hitta de mest uppenbara felen.

Page 14: Acceptanstest - SAST · SAST 14 oktober 2010 Henrik Rylander henrik.rylander@skatteverket.se kristina.snis@skatteverket Acceptanstest-är mer än du tror

14

Ett agilt arbetssätt

Ett krav granskas och analyseras

Eventuella fel rapporteras

Testfall skriv

Testfallet granskas för att se om det ger upphov till nytt tesdata

Nytt eller befintligt testdata läggs in i testsystemet

Testfallet utförs

Nästa krav

Page 15: Acceptanstest - SAST · SAST 14 oktober 2010 Henrik Rylander henrik.rylander@skatteverket.se kristina.snis@skatteverket Acceptanstest-är mer än du tror

15

Acceptanstestcentret är en permanent testorganisation, en linje-organisation, som erbjuder acceptanstesttjänster

”En tjänst är till skillnad från en vara något som konsumeras samtidigt som den utförs” ur Wikipedia

Acceptanstestcenter

Acceptans-

testcenter

Testcenter

Tjänster

Indrivningen av bla bla bla och

folkbokföringen av bla bla

bla... och fastighetstaxeringen

bla bla bla... för att inte tala

om skatterna!

Page 16: Acceptanstest - SAST · SAST 14 oktober 2010 Henrik Rylander henrik.rylander@skatteverket.se kristina.snis@skatteverket Acceptanstest-är mer än du tror

16

Acceptanstestfabriken

A B A C B A B A

v35 v36 v37 v38 v39 v40 v41 v42 v43 v44 v45 v46 v47 v48 v49

säkrar resurs- och

kompetensförsörjningen

kontroll över nödvändig

infrastruktur

mäter kontinuerligt nyttan av

acceptanstesttjänsterna

ökar rörligheten

kortar ledtider

minskar kostnader

ökar leveransprecision

DynamisktTimeboxing Skalbart

Page 17: Acceptanstest - SAST · SAST 14 oktober 2010 Henrik Rylander henrik.rylander@skatteverket.se kristina.snis@skatteverket Acceptanstest-är mer än du tror

17

Nyttan med ett testcenter- för acceptanstest

en kontrollerad nivå av testexpertkompetens– testexpertens kompetens och arbetsförmåga tillkommer alla projekt

acceptanstesttjänster med en överenskommen kvalité– testtjänster utförs på enhetligt sätt inom testorganisationen– den avtalade tjänsten utförs, varken mer eller mindre

korta ledtider vid uppsättning av tests infrastruktur– testcentret förfogar över en permanent infrastruktur– standardiserade verktyg används

slippa beroendet av nyckelpersoner– partestning och arbetsrotation minskar beroendet av nyckelpersoner

en tjänsteportfölj som ständigt anpassas till kundens behov

– med en samlad testkompetens så finns ett klimat som utvecklar och effektiviserar testtjänster för hela företaget

– kan tjänsten mätas kan tjänsten effektiviseras

Page 18: Acceptanstest - SAST · SAST 14 oktober 2010 Henrik Rylander henrik.rylander@skatteverket.se kristina.snis@skatteverket Acceptanstest-är mer än du tror

18

Vi har olika syn på acceptanstest

En stor del av acceptanstesterna görs utanför testcentret där andra arbetssätt används. Det finns ett stort antal testare som hellre ser att acceptanstest ...

inte skall använda stegvisa instruktioner utan i stället testa klurigheter och problem utifrån sin erfarenhet i något som liknar utforskande testning

ska utföras på en produktionsklar produkt

ska levereras t.ex. i form av en länk till ett system – inget tekniskt trixande

Page 19: Acceptanstest - SAST · SAST 14 oktober 2010 Henrik Rylander henrik.rylander@skatteverket.se kristina.snis@skatteverket Acceptanstest-är mer än du tror

Tack !Henrik Rylander

Kristina Snis

[email protected]@sast.se

[email protected]

Frågor?