IBM Software Group

© 2005 IBM Corporation

®

Testhantering enligt RUP

Henrik SzemereProduct Specialisthenrik.szemere@se.ibm.com

IBM Software Group

© 2005 IBM Corporation2

IBM Software Group

© 2005 IBM Corporation3

Verifiera programvarans kvalitet kontinuerligtK

ost

nad

Ko

stn

ad

ÖverlämningKonstruktionEtableringFörberedelse

Kostnad för åtgärdande

Kostnad för uteblivna möjligheter

Kostnad för förlorade kunder

Kostnad för åtgärdande

Kostnad för uteblivna möjligheter

Kostnad för förlorade kunder

Programvaruproblem blir 100–1000 gånger dyrare att hittaoch åtgärda efter driftsättning

IBM Software Group

© 2005 IBM Corporation4

Typiska utmaningar för att uppnå hög kvalitet

Resurser är inte fokuserade på proriterade projektFörväntningar på kvalitet är inte uttalad – det finnsingen gemensam förståelse av kraven

Inga gemensamma metoder finns

Testningen tar för lång tid

Det finns ingen möjlighet att se ändringsprocessen

Det är svårt att förstå produktens arkitektur

Det finns inga gemensamma lösningar pågemensamma problem

IBM Software Group

© 2005 IBM Corporation5

Varför behövs en process?

Den ger riktlinjer för hur man utvecklarkvalitetsprogramvara på ett effektivt sätt

Den minskar riskerna och ger ökad förutsägbarhet

Den förespråkar en gemensam vision och kultur

Den fångar och representerar praxis

IBM Software Group

© 2005 IBM Corporation6

En teambaserad definition av process

En process definierar vem som gör vad, när ochhur, för att uppnå ett visst mål.

Nya eller

ändrade krav

Nytt eller ändrat

system

Programvaru-utvecklingsprocess

IBM Software Group

© 2005 IBM Corporation7

RUP: En riskdriven, användningsfallsbaserad,arkitektcentrisk, interativ, konfigurerbarmjukvaruutvecklingsprocess

IBM Software Group

© 2005 IBM Corporation8

Dvs, en process som stödjer

Iterativt tillvägagångssätt

Stöd för aktiviteter ochartefakter

Processen fokuserar påarkitektur

Användningsfall somdriver design ochimplementation

Modeller somabstraherar systemet

IBM Software Group

© 2005 IBM Corporation9

Disciplin: TestSyfte: Testning fokuserar huvudsakligen på att utvärdera kvalitetmed hjälp av ett antal grundläggande praxis: – Att hitta och dokumentera fel hos programvarans kvalitet. – Att ge en generell uppfattning om programvarans kvalitet. – Att visa att de antaganden man gjorde i design- och

kravspecifikationerna håller, i form av konkreta demonstrationer. – Att utvärdera funktionerna hos programvaran som den är designad. – Att säkerställa att kraven har implementerats korrekt.

Testdisciplinen förser i många avseenden övriga discipliner med tjänster.

IBM Software Group

© 2005 IBM Corporation10

RiskreduceringRiskreducering

TidTid

Ris

kR

isk

Vattenfallsrisk

Iterativ risk

Riskprofiler

IBM Software Group

© 2005 IBM Corporation11

FFöörberedelserberedelse EtableringEtablering KonstruktionKonstruktion ÖÖverlverläämningmning

Processtruktur - Livscykelfaser

Rational Unified Process definierar fyra faser:

– Förberedelse – Definierar projektets omfattning

– Etablering – Planera projektet, specificera egenskaper, ta framgrundversion av arkitekturen

– Konstruktion – Bygg produkten

– Överlämning – Överlämna produkten till slutanvändarna

tid

IBM Software Group

© 2005 IBM Corporation12

Översikt av Rational Unified Process-begrepp

En roll: definierar en persons beteende ochansvar, eller beteendetoch ansvaret hos en mängd personer somarbetar tillsammans i ettteam.

Discipliner Arbetsflödes-detaljer

Roll

Begrepp

Aktivitet Arbets-riktlinje

Verktygs-guideArtefakt

Kontroll-punkter

RapportArtefakts-riktlinje

Mall

refererar till

in ut

utför

ansvarar för

Artifakt:Informationsom produceras, utvecklas elleranvänds av en process

Aktivitet: En arbetsenhet somen roll ansvarar föroch som rollenkan tillfrågas attutföra

IBM Software Group

© 2005 IBM Corporation13

Resurser

Pelle

Maria

Josef

Stina

Janne

Roller används vid resursplanering

Varje person i projektet tilldelasen eller flera roller

Roll

Arkitekt

Systemanalytiker

Kravställare

Testanalytiker

Testare

Aktivitet

Identifiera Design Mechanisms

Finna aktörer och användningsfall

Skapa användingsfall

Identifiera test Idéer

Analysera felEn roll kantilldelas en ellerfler personer

IBM Software Group

© 2005 IBM Corporation14

RUP Test Manager Role, Activities, and Artifacts

Test Manager Test Plan Test EvaluationTest EvaluationSummarySummary

Test ManagerAgree Mission Identify Test

MotivatorsObtain

Testability Commitment

Assess and Advocate Quality

Assess and Improve Test

Effort

Activities:

Artifacts:

The Test Manager role is tasked with the overall responsibility for the test effort's success.

IBM Software Group

© 2005 IBM Corporation15

RUP Test Analyst Role, Activities, and Artifacts

Test AnalystIdentify Targets

of TestIdentify Test

IdeasDefine Test

DetailsDefine Assessment

and Traceability Needs

Determine Test Results

Test AnalystTest Ideas

ListTest Case Workload

Analysis ModelTest Data Test Results

The Test Analyst role is responsible for initially identifying and defining the required tests, and subsequently evaluating the results of the test effort.

Activities:

Artifacts:

IBM Software Group

© 2005 IBM Corporation16

RUP Test Designer Role, Activities, and Artifacts

Test DesignerDefine Test Approach

Define Test Environment

Configurations

Identify Testability

Mechanisms

Structure the Test

Implementation

Define Testability Elements

Develop Test Guidelines

Test Automation Architecture

Test Guidelines

Test Interface Specification

Test EnvironmentConfiguration

TestSuite

Test Designer

The Test Designer role is responsible for defining the test approach and ensuring its successful implementation.

Activities:

Artifacts:

IBM Software Group

© 2005 IBM Corporation17

RUP Tester Role, Activities, and Artifacts

Implement Test Implement Test Suite

Execute Test Suite

Analyze Test FailureTester

Test Scripts

Test LogTester

The Tester role is responsible for the core activities of the test effort, which involves conducting the necessary tests and logging the outcomes of that testing.

Activities:

Artifacts:

IBM Software Group

© 2005 IBM Corporation18

Ett villkorsstyrt flöde avhögnivåaktiviteter(arbetsflödesdetaljer) somproducerar ett resultat avmärkbart värde

Nyckelbegrepp i RUP: Arbetsflöde

IBM Software Group

© 2005 IBM Corporation19

Arbetsflödena ger stöd för iterativ utveckling

Arbetsflödes ex:

Test

Arbetsflödes ex :

krav

IBM Software Group

© 2005 IBM Corporation20

ArbetsflödesdetaljerExempel på arbetsflödesdetalj: Validate Build Stability

IBM Software Group

© 2005 IBM Corporation21

Vägen genom arbetsflödet beror på:

Läge i Livscykeln

Producerade artefakter

Teknologi

Iterationens mål

Exempel:Test

IBM Software Group

© 2005 IBM Corporation22

Arbetsflödet för testdisciplinen I RUP

Define Evaluation MissionIdentify the appropriate focus of the test effort for the iteration.Gain agreement with stakeholders on the corresponding goals that will direct the test effort.

IBM Software Group

© 2005 IBM Corporation23

Arbetsflödet för testdisciplinen I RUP

Test and EvaluateAchieve appropriate breadth and depth of testing to enable a sufficient evaluation of the targeted test items.

IBM Software Group

© 2005 IBM Corporation24

Arbetsflödet för testdisciplinen I RUP

Achieve Acceptable MissionDeliver a useful evaluation result to the stakeholders of the test effort.Actively prioritize the test work that remains to be conducted.

IBM Software Group

© 2005 IBM Corporation25

Arbetsflödet för testdisciplinen I RUP

Verify Test ApproachDemonstrate the techniques outlined in the Test Approach will support the required testing.Verify that the approach will work, produce accurate results and is appropriate for the available resources.

IBM Software Group

© 2005 IBM Corporation26

Arbetsflödet för testdisciplinen I RUP

Validate Build StabilityValidate that the build is stable enough for detailed test and evaluation work to begin.

IBM Software Group

© 2005 IBM Corporation27

Arbetsflödet för testdisciplinen I RUP

Improve Test AssetsMaintain and improve the evolving test assets.

(e.g. Maintain test suites and test data; harvest test-ideas into catalogs; clarify change request details)

IBM Software Group

© 2005 IBM Corporation28

Varje “bygge” är en testlivscykelkandidat

IBM Software Group

© 2005 IBM Corporation29

Sammanfattning av testdisciplinen i RUP

Är en iterativ testprocess

Är skalbar och går att skräddarsy

Är skapt för flexibiltet

Är en riskbaserad process

IBM Software Group

© 2005 IBM Corporation30

IBM Software Group

© 2005 IBM Corporation

®

Test i ClearQuest 7

Henrik SzemereProduct Specialisthenrik.szemere@se.ibm.com

IBM Software Group

© 2005 IBM Corporation32

ClearQuest Test Manager

Requirements Coverage

Versioned ArtifactsComponents & Subsystems

Baselines& Builds

ClearQuest

ClearCase

Unified Change Management

Defect and Change Tracking

Test Planning & Tracking

Rational Test Tools

Tester

RequisitePro

Analyst

Rational Software ArchitectVS.Net, other IDEs

To Do List

Developer ClearQuest is the HUB for Lifecycle Management•Drives Activity Workflow•Team Members get “To Do List”•Links to RequisitePro, Test Tools, ClearCase•Provides metrics and reporting

IBM Software Group

© 2005 IBM Corporation33

Lifecycle TraceabilityQuery one source for all aspects of project progress

Query to find

– Test results associated to requirements

– Defects associated to test results

– Defects associated to tests associated to requirements

Traceability from requirements to tests and defects closes the loop on the software development cycle

Requirements Tests Defects

IBM Software Group

© 2005 IBM Corporation34

Eclipse Based Test Management

– Joins Functional and Performance Tester to complete transition of testing tools to eclipse platform

– Native and web clients also available

Key Functional Areas

– Test Planning• Create test plans, test cases and

configured test cases

– Test Execution• Create suites or run individual

test cases

– Test Reporting• Extensive query and reporting

facilities to measure test progress

Test Management with ClearQuestEclipse, Windows and Web Clients for test project tracking

IBM Software Group

© 2005 IBM Corporation35

Extensible Test EcosystemIntegrated with Rational, open source and 3rd party test automation tools

Collect and report on results from Rational test execution engines

– Rational Manual Tester

– Rational Functional Tester

– Rational Performance Tester

Collect and report on results from Eclipse Test and Performance Tools Project

– jUnit tests

– Manual tests

– URL tests

Open API Extensibility

– SPI Dynamics QAInspect

– Ring-Zero

Partner solutions

Third party test automation

tools

Test automation

tools

Open source solutions

IBM Software Group

© 2005 IBM Corporation36

Communicate Real-time Project StatusQueries & Charts

– Easily create and modify with Wizards

– Charts: Aging, Trend, Distribution

Reports

– Use industry-standard reporting tools

– Export to many common formats (Excel, Word, HTML)

E-mail notification

– Automatic notification of events and state changes

– Configurable through GUI interface

IBM Software Group

© 2005 IBM Corporation37

1. User looks at the status of the tests…

3. A large portion of the Test Cases are scheduled but not executed yet.

4. User can go deeper into the executed Test Cases and look at the results distribution

2. The number of Test Cases planned or implemented is fairly low

Test Case Chart

IBM Software Group

© 2005 IBM Corporation38

Test Case Trending

Test Verdicts

Lifecycle TraceabilityQuery one source for all aspects of project progress

Leverage existing reports

orCreate new reports with Crystal

Reports

To provide the information you need for decision making

IBM Software Group

© 2005 IBM Corporation39

Compliance and ControlUsing Audit Trails and eSignatures to track change

Audit Trails can track changes to individual records

– Provides immutable change log of all record change activity

e-Signature requirement can be added to any event on any artifact

– Will record who changed a record, when and how the record was changed

– e-Signature provides immutable evidence of process completion

ValidateResults

TestExecutionTest CaseRequirement Approve

e-Signature Approval

IBM Software Group

© 2005 IBM Corporation

®

Henrik SzemereProduct Specialisthenrik.szemere@se.ibm.com

Frågor?