Iqnite Schweiz 2013: Requirements Validation & Requirements-based Testing bei Sunrise

© Sunrise 24.09.2013 1

Tester trifft Requirement: Liebe auf den zweiten Blick?

Requirements Validation & Requirements-based Testing

Christoph Wolf

Sunrise Communications AG

© Sunrise 24.09.2013 2

Agenda

Ausgangslage

Herausforderungen

Requirements Validation

Requirements-based Testing

Erfahrungen

Ausblick

© Sunrise 24.09.2013 3

Sunrise

Grösste private Telekommunikationsanbieterin der Schweiz

Full-service Provider für Mobile, Festnetz, Internet, TV und Geschäftskundenlösungen

2012: CHF 2.066 Mrd. Umsatz und und mehr als CHF 500 Mio. Investitionen in die Infrastruktur in den nächsten 2 Jahren

Festnetz

Internet

Mobile

Applications & Services

Enterprise Data Center

Security

Contact Center

Internet

Festnetz

TV

Mobile

Geschäftskunden/ Wholesale

Privatkunden

Ausgangslage: Releases/Projekte @ Sunrise

Releases

Feste Releases

Projekte

Project Management Framework Wasserfall-Modell

Zwei Tollgates: TG1 nach Ideen-Phase / TG2 nach Konzept-Phase

© Sunrise 24.09.2013 4

Idea Concept Implementation Testing

Idea Concept Implementation Testing

Implementation Testing

Idea Concept

Product Design

Rollout Test Software

Development Software Design

IT Scope Requirements Engineering

Feasibility Assessment

TG2 TG1

Test Design

Rollout

Rollout

© Sunrise 24.09.2013 5

Ausgangslage: Testing @ Sunrise

Testing

Managed Service durch SQS

Testausführung grösstenteils in Indien

Test-Management-Tool seit über 10 Jahren im Einsatz (HP ALM)

Testfälle basieren auf IT-Design

Requirements

Scope

Architectural Design

Low-level Design

(UAT/FUT)

System Testing

Integration Testing

Unit Testing

?

Coding

Product Design

Rollout Software




TG2 TG1

Test Design

Test

© Sunrise 24.09.2013 6

Ausgangslage: Business Analyse @ Sunrise

Business Analyse

Dediziertes Business-Analyse-Team seit 2009

Business-Analyse-Prozesse basieren auf BABOK V2 (IIBA)

Rolle des Business-Analysten wird oft vom Projektleiter besetzt

Tool für Requirements-Management seit 2012 (HP ALM)

SolutionAssessment& Validation

RequirementsElicitation

EnterpriseAnalysis

RequirementsAnalysis

RequirementsManagement

Business Analysis Planning and Monitoring

Product Design



IT Scope Feasibility

Assessment

TG2

Requirements Engineering

TG1

Test Design

© Sunrise 24.09.2013

Herausforderungen

Abschätzung des Testaufwandes war erst spät im Projekt möglich

Testfälle spiegelten unter Umständen die Anforderungen nicht korrekt wider

Fehler aufgrund ungenügender Anforderungen oder beim Erstellen des IT-Designs wurden zu spät oder gar nicht erkannt

Zufriedenheit mit Testaktivitäten

Testing Trends & Benchmarks Schweiz 2013, SwissQ

( )

= W

ert

e U

mfr

age 2

012

Testmanagement: 56%

Testplanung: 46%

Testfallermittlung: 38%

Testdurchführung: 56%

Testauswertung: 44%

Die grössten Herausfor- derungen beim Testing

© Sunrise 24.09.2013 8

Unsere Antwort


&



Requirements

Scope


Low-level Design

UAT/FUT

System Testing

Integration Testing

Unit Testing

Coding

Test Design

Product Design





TG2 TG1

© Sunrise 24.09.2013

9

Lebenszyklus einer Anforderung


Product Design





TG2 TG1

Test Design

Check requirement with source/SPOC

Elicit requirement

Verify requirement with Owner

Do IT Scoping

Approve requirement with all SPOCs

Approve TG2

Validate by Testing

Draft Proposed Verified Approved

Write Test Cases

Test Project

Do Design

Designed

Do Implementation

Implemented

Validation: OK

Requirement covered by Test Case

TG2

© Sunrise 24.09.2013 10


Service von SQS

Basierend auf dem Vorgehen “Early Error Detection”

Start: Ca. 1-2 Woche nach Start Anforderungsmanagement

Ende: Vor TG2 (Ende Concept-Phase/Start IT-Design)

Validierung nach dem IEEE Standard

• verifizierbar

• eindeutig

• konsistent

• vollständig

• korrekt

• modifizierbar

• verfolgbar

Ziel: Qualitativ hochwertige Anforderungen als Input für den IT Scope und für die Testfälle!

© Sunrise 24.09.2013 11

Requirements Validation: Durchführung

Einfacher Workflow

A predefined time-out mechanisms shall be implemented on communication flows with partner

Kommunikation über das Requirements- & Test-Management-Tool

Anforderung: Validierungs-Kommentar:

Not Validated

Status: Draft Not for

Validation Status:

*

Not Validated

Status: Verified, Approved

Not OK


Re-Validation


OK


BA

BA BA

Tester

Tester

Tester

Tester

Requirements Validation: Validierungsanalyse

© Sunrise 24.09.2013 12

Fortschritt Requirements Validation: Unterstützung, dass Anforderungen rechtzeitig validiert werden.

Requirements Validation per Projekt: Unterstützung BAs/PMs zur raschen Korrektur fehlerhafte Anforderungen

© Sunrise 24.09.2013 13


Basis für Testfälle: Anforderungen

Zusatzinformationen für Test-Design: IT Scope, IT Design

Testfälle werden mit Anforderungen verlinkt (Traceability)

Die Kritikalität für Sunrise wird für jede Anforderung festgelegt mit Auswirkungen auf:

Priorität der Testfälle

Übertragung von Testfällen zum Regression Test.

Requirements

Scope


Low-level Design

UAT/FUT

System Testing

Integration Testing

Unit Testing

Coding

Ziel: Sicherstellen, dass die Anforderungen korrekt in der Software implementiert wurden!

Erfahrungen

In den ersten Releases kontinuierliches Coaching der BAs/Projektleiter nötig

Disziplin im Anforderungsmanagement ist gestiegen

Qualität der Anforderungen ist gestiegen

Genauere Abschätzung des Testaufwandes und bessere Testplanung

Erstellung der Testfälle ist einfacher

? Gesamt-Qualität der letzten Releases ist gestiegen

© Sunrise 24.09.2013 15

Positiver Effekt auf die Qualität der Anforderungen

Positiver Effekt auf Testplanung und auf Testdesign

Positiver Effekt auf die Qualität der Software wahrscheinlich

0.000

0.005

0.010

0.015

0.020

0.025

0.030

0.035

R34 R35 R36 R37 R38 R39 R40

Weighted Warranty Defect Density


Requirements Validation & Requirements-based Testing

© Sunrise 24.09.2013 16

Ausblick

Verfolgbarkeit Anforderungen IT Scope (Modelle)

Standardisierung Testfälle

Verbesserter UAT

Regression-Testing basierend auf Business-Kritikalität der Anforderungen

Iqnite Schweiz 2013: Requirements Validation & Requirements-based Testing bei Sunrise

Documents

Transcript of Iqnite Schweiz 2013: Requirements Validation & Requirements-based Testing bei Sunrise