Christophe Guittet – ALL4TEC Génie Logiciel "Modélisation du comportement des systèmes...
-
Upload
agace-sauvage -
Category
Documents
-
view
109 -
download
3
Transcript of Christophe Guittet – ALL4TEC Génie Logiciel "Modélisation du comportement des systèmes...
Christophe Guittet – ALL4TEC Génie Logiciel
"Modélisation du comportement des systèmes embarqués par un modèle
d'usage issu des chaînes de Markov"
Journée du 2 février 2006
ENST – PARIS
Christophe Guittet – ALL4TEC Génie Logiciel
PRESENTATION D’ALL4TEC
Christophe Guittet – ALL4TEC Génie Logiciel
PRESENTATION D’ALL4TEC : UN INDUSTRIEL DU DÉVELOPPEMENT LOGICIEL
Création en 1998 autour de 2 métiers : le forfait et le conseil en amélioration de processus.
Présent à PARIS, LAVAL et TOULOUSE
1ere société européenne a être évaluée CMM4 en 2000
Création en 2004 d’ALL4TEC Génie Logiciel (R&D et commercialisation produit MATELO)
Création du pôle de compétence « sûreté de fonctionnement » au travers de la filiale MATHIX.
40 ingénieurs et consultants
Plus de 100 hommes.an d'expérience en savoir faire logiciel
Christophe Guittet – ALL4TEC Génie Logiciel
PRESENTATION D’ALL4TEC : OFFRES ET ACTIVITES
Ingénierie au forfait Développement de systèmes embarqués
Activités d'expertise Diminution du temps de test et Suppression des défauts critiques Retro engineering (documentation, industrialisation de logiciel, …) Amélioration continue des processus (CMMI, SPICE, Cleanroom) Amélioration de la productivité logicielle et maîtrise des coûts
logiciels Etudes de sûreté de fonctionnement (avec Mathix)
Activités de R&D au travers d’ALL4TEC Génie Logiciel Projet européen AIRNET du 6éme PCRD (système anti-collision) Produit MATELO issu d’un projet du 5ème PCRD Commercialisation de MATELO
Christophe Guittet – ALL4TEC Génie Logiciel
UN LARGE PANEL DE CLIENTS
TELECOM ALCATEL ABS BOUYGUES TELECOM FRANCE TELECOM CELLon NEC PHILIPS ST MICROELECTRONICS WAVECOM
AEROSPATIAL - DEFENSE AdP AIRBUS Industries ALENIA SPAZIO ARTUS CNES EADS Space Transportation EUROCONTROL EUROCOPTER GIAT INDUSTRIES ROCKWELL COLLINS France SAGEM DEFENSE THALES Communications - ATM -
Optronique - Underwater System
AUTOMOBILE Groupe DELPHI MAGNETI MARELLI PSA RENAULT SAGEM SIEMENS-VDO VALEO
AUTRES EDF IRSN RATP
DE DIETRICH SNCF BOMBARDIER SCHNEIDER
Christophe Guittet – ALL4TEC Génie Logiciel
Introduction
Notre approche du test
Christophe Guittet – ALL4TEC Génie Logiciel
Introduction : Notre approche du test
CONSTAT :
la maîtrise de la phase de test d'un système est essentielle car le coût de cette phase peut atteindre 50% du temps total
Un système livré avec des défauts résiduels engendre des coûts élevés
Un bug détecté en spécification coûte 1000 fois moins cher qu’un bug détecté en exploitation
ALL4TEC a basé sa stratégie de validation sur des méthodologies reconnues :
Le CMMI (Capability Maturity Model Integrated) : amélioration continue des processus
Cleanroom : approche incrémentale basée sur le test statistique d'usage (SUT)
Le Test à Géométrie Variable (méthode TGV) préconisée par Mathix, notre filiale experte en Sûreté de Fonctionnement
Christophe Guittet – ALL4TEC Génie Logiciel
MaTeLo : un projet ambitieux
Pourquoi MaTelo :
A l’origine, l’idée était de mesurer la fiabilité des systèmes qu’ALL4TEC livrait à ses clients, et de donner un critère d’arrêt des tests.
Depuis 1998, ALL4tec exploite la pertinence des chaînes de Markov dans ses modèles de spécification de tests.
L’intérêt des industriels étant très fort, un consortium est né pour faire un projet ambitieux, à envergure Industrielle et Internationale.
Le consortium :
nait en 2002 pour une commercialisation de Matelo depuis 2004
Comprend : Magneti Marelli, Nec, Philips, Aliena Spazio, IAI, Lucent Technologie, l’Union Européenne, le ministère de l’industrie française et plusieurs universités européennes (IRISA, Lund en Suède, Erlangen en Allemagne).
Budget de 5,5 milions d’euros
Christophe Guittet – ALL4TEC Génie Logiciel
Le nouveau moteur de la validation des systèmes
Trophée de l’innovation 2005 au salon
Christophe Guittet – ALL4TEC Génie Logiciel
MATELO dans le cycle de développement
MATELO teste en « boîte noire » et vérifie la conformité avec la spécification
Expression des besoins
Spécificationfonctionnelle
Conception du système
Conceptiondes composants
Validationdes besoins
Validationfonctionnelle
Test d’intégration
Implémentation
Test descomposants
Editeur Matelo
Testeur Matelo
Modèle d’usag
e
Plan de test
Analyse de la campagne
de test
Christophe Guittet – ALL4TEC Génie Logiciel
MATELO : Modélisation et génération de tests
MATELO comprend 2 modules principaux :
1 éditeur de modèles d’usage (Matelo Editor)
Qui représente les comportements du système
1 générateur de cas de tests (Matelo Testor)
Qui génère automatiquement l’ensemble des scénarios de test nécessaire à la validation de vos systèmes
Qui analyse la campagne de test (couverture fonctionnelle, MTTF)
Christophe Guittet – ALL4TEC Génie Logiciel
L’EDITEUR DE MODELES D’USAGE MATELO
Christophe Guittet – ALL4TEC Génie Logiciel
L’EDITEUR MATELO :écriture du modèle d’usage
Capture en entrée les éléments de spécification UML (XMI), SDL ou autre forme de spécification
Réalisation du modèle : Création des états stables du système
Définition de toutes les actions possibles dans un état donné, puis on réalise le modèle
Intégration des données d’entrée et des résultats attendus
Pose des fréquences d’usage
Génération des cas de test « à blanc » pour valider le modèle
Sauvegarde le modèle en XML pour en faciliter l’exploitation
Métrique : 0,5 à 3 jours par KLOC pour la réalisation du modèle d’usage.
Christophe Guittet – ALL4TEC Génie Logiciel
MATELO EDITOR : l’IHM
Christophe Guittet – ALL4TEC Génie Logiciel
LE GENERATEUR DE CAS DE TESTS MATELO
Christophe Guittet – ALL4TEC Génie Logiciel
Efficacité des cas de test
20 objectifs de test atteints pour 100 pas de test effectués
Start
Target
Close
Approche combinatoire (déterministe)Start
Close 80 objectifs de test atteints pour
100 pas de test effectués
Approche prédictive en largeur (non déterministe)
Christophe Guittet – ALL4TEC Génie Logiciel
Stratégie de test
Pour valider un logiciel, il est efficace d’alterner des phases de focalisation (en profondeur ou sur la couverture), et des approches en largeur, qui explorent les différentes combinaisons d’enchaînement des fonctions
Approche en profondeur
Start
CloseClose
Approche de couverture
StartStart
Close
Approche en largeur
Christophe Guittet – ALL4TEC Génie Logiciel
MATELO TESTOR : Génération de tests
Matelo génère automatiquement l’ensemble des scénarios de test nécessaire à la validation de vos systèmes :
Tests de début de validation Tests d’usage Tests de couvertureTests aux limites
Matelo permet une exécution des tests manuelle (HTML) ou automatique via les automates du marché (type TestStand, TTCN3 ou autres via l’export XML)
Matelo génère une analyse de la campagne de test (couverture fonctionnelle, MTTF)
Christophe Guittet – ALL4TEC Génie Logiciel
MATELO TESTOR :Cas de test HTML
Christophe Guittet – ALL4TEC Génie Logiciel
MATELO TESTOR Qualimétrie de la campagne de test
Enregistrement des résultats de test
Mise en place des critères d’arrêt des tests
Analyse de la campagne de test
Christophe Guittet – ALL4TEC Génie Logiciel
Mesure de performance (Retour d’expérience sur une base de
60 projets de 2 à 200 KLOC)
segment nb lines
Nb of defects found with
Matelo
Total project effort in days, all
included
Testing effort in Day using
Matelo
Deffects found 6 months after
validation
Remaining defect rate in
ppmNb jour pour 1000 LOC
ASD 7923 22 144 24 1 126 3
ASD 4156 7 101 29 0 0 7
ASD 14400 5 277 15 1 69 1
ASD 2100 10 240 10 0 0 5
Automotive 9500 15 400 85 2 211 9
Automotive 4900 6 327 15 0 0 3
Automotive 25700 325 18 700Automotive 4000 3 0 0 1
Automotive 37000 78 847 175 0 0 5
Automotive 44690 33 462 123 0 0 3
Automotive 26426 45 12 454industriel 10000 6 500 15 0 0 2
industriel 20161 123 500 120 6 298 6
industriel 8900 51 351 54 3 337 6
scientifique 15000 133 286 59 5 333 4
scientifique 14000 110 430 80 5 357 6
scientifique 31000 400 620 136 7 226 4
telecom 70000 336 1320 224 2 29 3
telecom 200000 20 10000 40 0
telecom 5000 22 250 5 1
Moyenne 112 ppm 4pondérée
En moyenne, la validation avec MATELO ne nécessite que 4 jours par KLOC avec une fiabilité de 110 défauts résiduels par million de loc :
1,5 jour de modélisation Matelo / 1,5 jour d’exécution / 1 jour de correction
Christophe Guittet – ALL4TEC Génie Logiciel
SYNTHESE
CARACTERISTIQUES - AVANTAGES
Travail croisé entre les spécificateurs et les valideurs
Dès la spécification, 5 à 20 défauts, par futures Kloc, sont trouvés
Matelo atteint plus d’objectifs de tests qu’une méthode traditionnelle
Génération de tests non intuitifs et très variables
Automatisation de l’exécution des Tests
Matelo fournit des métriques : critère d’arrêt des tests, MTTF
Campagne de tests facile à regénérer
+ de spécifications : 0,5 à 3 jours par KLOC pour la réalisation du modèle d’usage Matelo .
Génération de cas de test optimisés
Création d’un reporting
Modèle facile à maintenir
Christophe Guittet – ALL4TEC Génie Logiciel
CONCLUSION : LES BENEFICES
Des résultats très significatifs et rapides :
Matelo permet d’économiser jusqu’à 40 % du temps de la validation et 20 % du projet total.
Le ROI moyen chez nos clients est de 6 mois
Christophe Guittet – ALL4TEC Génie Logiciel
OFFRE COMMERCIALE
Validation d’un projet au forfait
Un pack licence, formation, accompagnement
Et en complément, l’offre de la première société de service évaluée CMM4 en Europe…
Contact Technique : [email protected]
Contact commercial : [email protected] - 06 08 06 48 98