Testhantering enligt RUP - SAST
Transcript of Testhantering enligt RUP - SAST
IBM Software Group
© 2005 IBM Corporation
®
Testhantering enligt RUP
Henrik SzemereProduct [email protected]
IBM Software Group
© 2005 IBM Corporation2
IBM Software Group
© 2005 IBM Corporation3
Verifiera programvarans kvalitet kontinuerligtK
ost
nad
Ko
stn
ad
ÖverlämningKonstruktionEtableringFörberedelse
Kostnad för åtgärdande
Kostnad för uteblivna möjligheter
Kostnad för förlorade kunder
Kostnad för åtgärdande
Kostnad för uteblivna möjligheter
Kostnad för förlorade kunder
Programvaruproblem blir 100–1000 gånger dyrare att hittaoch åtgärda efter driftsättning
IBM Software Group
© 2005 IBM Corporation4
Typiska utmaningar för att uppnå hög kvalitet
Resurser är inte fokuserade på proriterade projektFörväntningar på kvalitet är inte uttalad – det finnsingen gemensam förståelse av kraven
Inga gemensamma metoder finns
Testningen tar för lång tid
Det finns ingen möjlighet att se ändringsprocessen
Det är svårt att förstå produktens arkitektur
Det finns inga gemensamma lösningar pågemensamma problem
IBM Software Group
© 2005 IBM Corporation5
Varför behövs en process?
Den ger riktlinjer för hur man utvecklarkvalitetsprogramvara på ett effektivt sätt
Den minskar riskerna och ger ökad förutsägbarhet
Den förespråkar en gemensam vision och kultur
Den fångar och representerar praxis
IBM Software Group
© 2005 IBM Corporation6
En teambaserad definition av process
En process definierar vem som gör vad, när ochhur, för att uppnå ett visst mål.
Nya eller
ändrade krav
Nytt eller ändrat
system
Programvaru-utvecklingsprocess
IBM Software Group
© 2005 IBM Corporation7
RUP: En riskdriven, användningsfallsbaserad,arkitektcentrisk, interativ, konfigurerbarmjukvaruutvecklingsprocess
IBM Software Group
© 2005 IBM Corporation8
Dvs, en process som stödjer
Iterativt tillvägagångssätt
Stöd för aktiviteter ochartefakter
Processen fokuserar påarkitektur
Användningsfall somdriver design ochimplementation
Modeller somabstraherar systemet
IBM Software Group
© 2005 IBM Corporation9
Disciplin: TestSyfte: Testning fokuserar huvudsakligen på att utvärdera kvalitetmed hjälp av ett antal grundläggande praxis: – Att hitta och dokumentera fel hos programvarans kvalitet. – Att ge en generell uppfattning om programvarans kvalitet. – Att visa att de antaganden man gjorde i design- och
kravspecifikationerna håller, i form av konkreta demonstrationer. – Att utvärdera funktionerna hos programvaran som den är designad. – Att säkerställa att kraven har implementerats korrekt.
Testdisciplinen förser i många avseenden övriga discipliner med tjänster.
IBM Software Group
© 2005 IBM Corporation10
RiskreduceringRiskreducering
TidTid
Ris
kR
isk
Vattenfallsrisk
Iterativ risk
Riskprofiler
IBM Software Group
© 2005 IBM Corporation11
FFöörberedelserberedelse EtableringEtablering KonstruktionKonstruktion ÖÖverlverläämningmning
Processtruktur - Livscykelfaser
Rational Unified Process definierar fyra faser:
– Förberedelse – Definierar projektets omfattning
– Etablering – Planera projektet, specificera egenskaper, ta framgrundversion av arkitekturen
– Konstruktion – Bygg produkten
– Överlämning – Överlämna produkten till slutanvändarna
tid
IBM Software Group
© 2005 IBM Corporation12
Översikt av Rational Unified Process-begrepp
En roll: definierar en persons beteende ochansvar, eller beteendetoch ansvaret hos en mängd personer somarbetar tillsammans i ettteam.
Discipliner Arbetsflödes-detaljer
Roll
Begrepp
Aktivitet Arbets-riktlinje
Verktygs-guideArtefakt
Kontroll-punkter
RapportArtefakts-riktlinje
Mall
refererar till
in ut
utför
ansvarar för
Artifakt:Informationsom produceras, utvecklas elleranvänds av en process
Aktivitet: En arbetsenhet somen roll ansvarar föroch som rollenkan tillfrågas attutföra
IBM Software Group
© 2005 IBM Corporation13
Resurser
Pelle
Maria
Josef
Stina
Janne
Roller används vid resursplanering
Varje person i projektet tilldelasen eller flera roller
Roll
Arkitekt
Systemanalytiker
Kravställare
Testanalytiker
Testare
Aktivitet
Identifiera Design Mechanisms
Finna aktörer och användningsfall
Skapa användingsfall
Identifiera test Idéer
Analysera felEn roll kantilldelas en ellerfler personer
IBM Software Group
© 2005 IBM Corporation14
RUP Test Manager Role, Activities, and Artifacts
Test Manager Test Plan Test EvaluationTest EvaluationSummarySummary
Test ManagerAgree Mission Identify Test
MotivatorsObtain
Testability Commitment
Assess and Advocate Quality
Assess and Improve Test
Effort
Activities:
Artifacts:
The Test Manager role is tasked with the overall responsibility for the test effort's success.
IBM Software Group
© 2005 IBM Corporation15
RUP Test Analyst Role, Activities, and Artifacts
Test AnalystIdentify Targets
of TestIdentify Test
IdeasDefine Test
DetailsDefine Assessment
and Traceability Needs
Determine Test Results
Test AnalystTest Ideas
ListTest Case Workload
Analysis ModelTest Data Test Results
The Test Analyst role is responsible for initially identifying and defining the required tests, and subsequently evaluating the results of the test effort.
Activities:
Artifacts:
IBM Software Group
© 2005 IBM Corporation16
RUP Test Designer Role, Activities, and Artifacts
Test DesignerDefine Test Approach
Define Test Environment
Configurations
Identify Testability
Mechanisms
Structure the Test
Implementation
Define Testability Elements
Develop Test Guidelines
Test Automation Architecture
Test Guidelines
Test Interface Specification
Test EnvironmentConfiguration
TestSuite
Test Designer
The Test Designer role is responsible for defining the test approach and ensuring its successful implementation.
Activities:
Artifacts:
IBM Software Group
© 2005 IBM Corporation17
RUP Tester Role, Activities, and Artifacts
Implement Test Implement Test Suite
Execute Test Suite
Analyze Test FailureTester
Test Scripts
Test LogTester
The Tester role is responsible for the core activities of the test effort, which involves conducting the necessary tests and logging the outcomes of that testing.
Activities:
Artifacts:
IBM Software Group
© 2005 IBM Corporation18
Ett villkorsstyrt flöde avhögnivåaktiviteter(arbetsflödesdetaljer) somproducerar ett resultat avmärkbart värde
Nyckelbegrepp i RUP: Arbetsflöde
IBM Software Group
© 2005 IBM Corporation19
Arbetsflödena ger stöd för iterativ utveckling
Arbetsflödes ex:
Test
Arbetsflödes ex :
krav
IBM Software Group
© 2005 IBM Corporation20
ArbetsflödesdetaljerExempel på arbetsflödesdetalj: Validate Build Stability
IBM Software Group
© 2005 IBM Corporation21
Vägen genom arbetsflödet beror på:
Läge i Livscykeln
Producerade artefakter
Teknologi
Iterationens mål
Exempel:Test
IBM Software Group
© 2005 IBM Corporation22
Arbetsflödet för testdisciplinen I RUP
Define Evaluation MissionIdentify the appropriate focus of the test effort for the iteration.Gain agreement with stakeholders on the corresponding goals that will direct the test effort.
IBM Software Group
© 2005 IBM Corporation23
Arbetsflödet för testdisciplinen I RUP
Test and EvaluateAchieve appropriate breadth and depth of testing to enable a sufficient evaluation of the targeted test items.
IBM Software Group
© 2005 IBM Corporation24
Arbetsflödet för testdisciplinen I RUP
Achieve Acceptable MissionDeliver a useful evaluation result to the stakeholders of the test effort.Actively prioritize the test work that remains to be conducted.
IBM Software Group
© 2005 IBM Corporation25
Arbetsflödet för testdisciplinen I RUP
Verify Test ApproachDemonstrate the techniques outlined in the Test Approach will support the required testing.Verify that the approach will work, produce accurate results and is appropriate for the available resources.
IBM Software Group
© 2005 IBM Corporation26
Arbetsflödet för testdisciplinen I RUP
Validate Build StabilityValidate that the build is stable enough for detailed test and evaluation work to begin.
IBM Software Group
© 2005 IBM Corporation27
Arbetsflödet för testdisciplinen I RUP
Improve Test AssetsMaintain and improve the evolving test assets.
(e.g. Maintain test suites and test data; harvest test-ideas into catalogs; clarify change request details)
IBM Software Group
© 2005 IBM Corporation28
Varje “bygge” är en testlivscykelkandidat
IBM Software Group
© 2005 IBM Corporation29
Sammanfattning av testdisciplinen i RUP
Är en iterativ testprocess
Är skalbar och går att skräddarsy
Är skapt för flexibiltet
Är en riskbaserad process
IBM Software Group
© 2005 IBM Corporation30
IBM Software Group
© 2005 IBM Corporation
®
Test i ClearQuest 7
Henrik SzemereProduct [email protected]
IBM Software Group
© 2005 IBM Corporation32
ClearQuest Test Manager
Requirements Coverage
Versioned ArtifactsComponents & Subsystems
Baselines& Builds
ClearQuest
ClearCase
Unified Change Management
Defect and Change Tracking
Test Planning & Tracking
Rational Test Tools
Tester
RequisitePro
Analyst
Rational Software ArchitectVS.Net, other IDEs
To Do List
Developer ClearQuest is the HUB for Lifecycle Management•Drives Activity Workflow•Team Members get “To Do List”•Links to RequisitePro, Test Tools, ClearCase•Provides metrics and reporting
IBM Software Group
© 2005 IBM Corporation33
Lifecycle TraceabilityQuery one source for all aspects of project progress
Query to find
– Test results associated to requirements
– Defects associated to test results
– Defects associated to tests associated to requirements
Traceability from requirements to tests and defects closes the loop on the software development cycle
Requirements Tests Defects
IBM Software Group
© 2005 IBM Corporation34
Eclipse Based Test Management
– Joins Functional and Performance Tester to complete transition of testing tools to eclipse platform
– Native and web clients also available
Key Functional Areas
– Test Planning• Create test plans, test cases and
configured test cases
– Test Execution• Create suites or run individual
test cases
– Test Reporting• Extensive query and reporting
facilities to measure test progress
Test Management with ClearQuestEclipse, Windows and Web Clients for test project tracking
IBM Software Group
© 2005 IBM Corporation35
Extensible Test EcosystemIntegrated with Rational, open source and 3rd party test automation tools
Collect and report on results from Rational test execution engines
– Rational Manual Tester
– Rational Functional Tester
– Rational Performance Tester
Collect and report on results from Eclipse Test and Performance Tools Project
– jUnit tests
– Manual tests
– URL tests
Open API Extensibility
– SPI Dynamics QAInspect
– Ring-Zero
Partner solutions
Third party test automation
tools
Test automation
tools
Open source solutions
IBM Software Group
© 2005 IBM Corporation36
Communicate Real-time Project StatusQueries & Charts
– Easily create and modify with Wizards
– Charts: Aging, Trend, Distribution
Reports
– Use industry-standard reporting tools
– Export to many common formats (Excel, Word, HTML)
E-mail notification
– Automatic notification of events and state changes
– Configurable through GUI interface
IBM Software Group
© 2005 IBM Corporation37
1. User looks at the status of the tests…
3. A large portion of the Test Cases are scheduled but not executed yet.
4. User can go deeper into the executed Test Cases and look at the results distribution
2. The number of Test Cases planned or implemented is fairly low
Test Case Chart
IBM Software Group
© 2005 IBM Corporation38
Test Case Trending
Test Verdicts
Lifecycle TraceabilityQuery one source for all aspects of project progress
Leverage existing reports
orCreate new reports with Crystal
Reports
To provide the information you need for decision making
IBM Software Group
© 2005 IBM Corporation39
Compliance and ControlUsing Audit Trails and eSignatures to track change
Audit Trails can track changes to individual records
– Provides immutable change log of all record change activity
e-Signature requirement can be added to any event on any artifact
– Will record who changed a record, when and how the record was changed
– e-Signature provides immutable evidence of process completion
ValidateResults
TestExecutionTest CaseRequirement Approve
e-Signature Approval