Использование метрик в процессе обеспечения качества...
description
Transcript of Использование метрик в процессе обеспечения качества...
![Page 1: Использование метрик в процессе обеспечения качества сложных систем](https://reader034.fdocuments.net/reader034/viewer/2022052311/558b3fa5d8b42ab8558b456d/html5/thumbnails/1.jpg)
ИСПОЛЬЗОВАНИЕ МЕТРИК В ПРОЦЕССЕ ОБЕСПЕЧЕНИЯ КАЧЕСТВА
СЛОЖНЫХ СИСТЕМВИКТОР ГРЕБЕНЮК
![Page 2: Использование метрик в процессе обеспечения качества сложных систем](https://reader034.fdocuments.net/reader034/viewer/2022052311/558b3fa5d8b42ab8558b456d/html5/thumbnails/2.jpg)
Гребенюк Викторhttp://ru.linkedin.com/pub/viktor-grebenyuk/19/b55/76 Менеджер по координации процесса тестированияРайффайзенбанкМосква
КРАТКО О СЕБЕ
![Page 3: Использование метрик в процессе обеспечения качества сложных систем](https://reader034.fdocuments.net/reader034/viewer/2022052311/558b3fa5d8b42ab8558b456d/html5/thumbnails/3.jpg)
Словарь ISTQB (v2.2): Метрика (metric): Шкала измерений и метод, используемый для измерений [ISO 14598]ISO/IEC 14598-1:1999 : The term "metric" has been used in many senses in software engineering publications. In this international standard it is defined as a quantitative scale and method which can be used for measurement. The word "measure" is used to refer to the result of a measurement.
Wikipedia: М трика прогр ммного обесп чения (англ. software е́� а́� е́�metric) — мера, позволяющая получить численное значение некоторого свойства программного обеспечения или его спецификаций.
ЧТО ТАКОЕ МЕТРИКИ?
![Page 4: Использование метрик в процессе обеспечения качества сложных систем](https://reader034.fdocuments.net/reader034/viewer/2022052311/558b3fa5d8b42ab8558b456d/html5/thumbnails/4.jpg)
• отклонения от календарного плана;• отклонения по составу работ/трудозатратам;• возникновение необходимости доработок или исправления проблем после окончания запланированных работ.
МЕТРИКИ, КАК СРЕДСТВО ИДЕНТИФИКАЦИИ РИСКОВ
![Page 5: Использование метрик в процессе обеспечения качества сложных систем](https://reader034.fdocuments.net/reader034/viewer/2022052311/558b3fa5d8b42ab8558b456d/html5/thumbnails/5.jpg)
• нет универсального набора метрик; • нет единого подхода к использованию;• нет единого подхода к классификации; • много метрик - плохо; • некоторые метрики могут навредить; • нюансы тестируемых систем, организации, процессов.
ПОЧЕМУ ВЫБРАТЬ МЕТРИКИ НЕ ВСЕГДА ПРОСТО?
![Page 6: Использование метрик в процессе обеспечения качества сложных систем](https://reader034.fdocuments.net/reader034/viewer/2022052311/558b3fa5d8b42ab8558b456d/html5/thumbnails/6.jpg)
Сложная система — система, состоящая из множества взаимодействующих составляющих, вследствие чего сложная система приобретает новые свойства, которые отсутствуют на подсистемном уровне и не могут быть сведены к свойствам подсистемного уровня.
http://ru.wikipedia.org/wiki/Сложная_система
ЧТО ТАКОЕ «СЛОЖНАЯ СИСТЕМА»?
![Page 7: Использование метрик в процессе обеспечения качества сложных систем](https://reader034.fdocuments.net/reader034/viewer/2022052311/558b3fa5d8b42ab8558b456d/html5/thumbnails/7.jpg)
12линий
НАПРИМЕР… МЕТРО?
195станций
2 463 800 000перевезённых за год пассажиров
**данные годового отчёта Московского метрополитена за 2012 год
9 279 083перевезённых за день пассажиров
39 946работников метрополитена
3 656среднесуточный эксплуатируемый парк вагонов
![Page 8: Использование метрик в процессе обеспечения качества сложных систем](https://reader034.fdocuments.net/reader034/viewer/2022052311/558b3fa5d8b42ab8558b456d/html5/thumbnails/8.jpg)
• разная критичность подсистем;• разные технологии и языки программирования; • отсутствие доступа к исходному коду;• разное качество аналитики, разработки, тестирования; • нет унификации между информацией о найденных дефектах, деталях выполняемых испытаний и пр.
В ЧЕМ ОСОБЕННОСТЬ ВЫБОРА МЕТРИК ДЛЯ СЛОЖНЫХ
ИНФОРМАЦИОННЫХ СИСТЕМ?
![Page 9: Использование метрик в процессе обеспечения качества сложных систем](https://reader034.fdocuments.net/reader034/viewer/2022052311/558b3fa5d8b42ab8558b456d/html5/thumbnails/9.jpg)
КАК ПОЛУЧИТЬ МАКСИМУМ ИНФОРМАЦИИ ИЗ ВЫБРАННОГО
МАССИВА МЕТРИК?
![Page 10: Использование метрик в процессе обеспечения качества сложных систем](https://reader034.fdocuments.net/reader034/viewer/2022052311/558b3fa5d8b42ab8558b456d/html5/thumbnails/10.jpg)
Приведём различные виды и типы метрик к 2 видам: а. Метрики, описывающие качество продукта; б. Метрики, характеризующие качество процесса.
УПОРЯДОЧИВАЕМ И КЛАССИФИЦИРУЕМ МЕТРИКИ
КАЧЕСТВА
Используемые метрики
- плотность дефектов в коде/по функциональным областям;- полнота покрытия кода или требований тестами;- распределение инцидентов по типам;- распределение дефектов по фазам тестирования;- уровень удовлетворённости конечных пользователей продуктом;- эффективность нахождения дефектов во время тестирования.
![Page 11: Использование метрик в процессе обеспечения качества сложных систем](https://reader034.fdocuments.net/reader034/viewer/2022052311/558b3fa5d8b42ab8558b456d/html5/thumbnails/11.jpg)
Обобщим данные отдельных метрик используя шкалу оценки от 0 до 10 (чем выше качество, тем выше оценка).
ОБОБЩАЕМ ДАННЫЕ ОТДЕЛЬНЫХ МЕТРИК
Система Качество продукта Качество процесса
System ASystem BSystem CSystem DSystem E
7,785,304,80
2,463,58
1,756,786,457,023,40
![Page 12: Использование метрик в процессе обеспечения качества сложных систем](https://reader034.fdocuments.net/reader034/viewer/2022052311/558b3fa5d8b42ab8558b456d/html5/thumbnails/12.jpg)
I четверть (высокое качество процессов и продукта) – оптимальное
соотношение уровня качества процессов и продукта
II четверть(высокое качество процессов, но низкое качество продукта)
– хорошее/неплохое состояние
III четверть(низкое качество процессов и продукта) – наихудшее
состояние
IV четверть(низкое качество процессов,
но высокое качество продукта) – неопределённое состояние
ВИЗУАЛИЗИРУЕМ ПОКАЗАТЕЛИ КАЧЕСТВА
0 5 10
5
10
КАЧЕ
СТВО
ПРО
ЦЕС
СА
КАЧЕСТВО ПРОДУКТА
![Page 13: Использование метрик в процессе обеспечения качества сложных систем](https://reader034.fdocuments.net/reader034/viewer/2022052311/558b3fa5d8b42ab8558b456d/html5/thumbnails/13.jpg)
I четверть (высокое качество процессов и продукта) – оптимальное
соотношение уровня качества процессов и продукта
II четверть(высокое качество процессов, но низкое качество продукта)
– хорошее/неплохое состояние
III четверть(низкое качество процессов и продукта) – наихудшее
состояние
IV четверть(низкое качество процессов,
но высокое качество продукта) – неопределённое состояние
ВИЗУАЛИЗИРУЕМ ПОКАЗАТЕЛИ КАЧЕСТВА
0 5 10
5
10
КАЧЕ
СТВО
ПРО
ЦЕС
СА
КАЧЕСТВО ПРОДУКТА
![Page 14: Использование метрик в процессе обеспечения качества сложных систем](https://reader034.fdocuments.net/reader034/viewer/2022052311/558b3fa5d8b42ab8558b456d/html5/thumbnails/14.jpg)
I четверть (высокое качество процессов и продукта) – оптимальное
соотношение уровня качества процессов и продукта
II четверть(высокое качество процессов, но низкое качество продукта)
– хорошее/неплохое состояние
III четверть(низкое качество процессов и продукта) – наихудшее
состояние
IV четверть(низкое качество процессов,
но высокое качество продукта) – неопределённое состояние
ВИЗУАЛИЗИРУЕМ ПОКАЗАТЕЛИ КАЧЕСТВА
0 5 10
5
10
КАЧЕ
СТВО
ПРО
ЦЕС
СА
КАЧЕСТВО ПРОДУКТА
![Page 15: Использование метрик в процессе обеспечения качества сложных систем](https://reader034.fdocuments.net/reader034/viewer/2022052311/558b3fa5d8b42ab8558b456d/html5/thumbnails/15.jpg)
I четверть (высокое качество процессов и продукта) – оптимальное
соотношение уровня качества процессов и продукта
II четверть(высокое качество процессов, но низкое качество продукта)
– хорошее/неплохое состояние
III четверть(низкое качество процессов и продукта) – наихудшее
состояние
IV четверть(низкое качество процессов,
но высокое качество продукта) – неопределённое состояние
ВИЗУАЛИЗИРУЕМ ПОКАЗАТЕЛИ КАЧЕСТВА
0 5 10
5
10
КАЧЕ
СТВО
ПРО
ЦЕС
СА
КАЧЕСТВО ПРОДУКТА
![Page 16: Использование метрик в процессе обеспечения качества сложных систем](https://reader034.fdocuments.net/reader034/viewer/2022052311/558b3fa5d8b42ab8558b456d/html5/thumbnails/16.jpg)
Шаг 1. Определим критичность подсистем. Выставим уровень критичности каждой из подсистем по шкале от 1 до 5 (тем выше риск, тем выше оценка). Этот показатель будет определять «вес» системы на графике.
Шаг 2. Определим зависимости подсистем и нанесём на диаграмму их отображение. Это сделает возможным получение дополнительной информации о рисках, связанных с зависимыми системами.
ДОБАВЛЯЕМ НАГЛЯДНОСТИ
![Page 17: Использование метрик в процессе обеспечения качества сложных систем](https://reader034.fdocuments.net/reader034/viewer/2022052311/558b3fa5d8b42ab8558b456d/html5/thumbnails/17.jpg)
ОТОБРАЖАЕМ ПОЛУЧЕННЫЕ ДАННЫЕ НА ДИАГРАММЕ
System A
System B
System C
System D
System E
0
1
2
3
4
5
6
7
8
9
10
0 1 2 3 4 5 6 7 8 9 10
КАЧЕСТВО ПРОДУКТА
КАЧЕ
СТВО
ПРО
ЦЕС
СА
II I
III IV
![Page 18: Использование метрик в процессе обеспечения качества сложных систем](https://reader034.fdocuments.net/reader034/viewer/2022052311/558b3fa5d8b42ab8558b456d/html5/thumbnails/18.jpg)
• Наглядно отобразили текущую ситуацию с качеством в системы целом, как и для каждой подсистемы;• Упорядочили всё множество используемых метрик и показателей качества;• Избежали длинных аннотаций и пояснений;• Выделили масштабы систем и наиболее критичные связи.
ЧЕМ УДОБЕН ТАКОЙ МЕТОД?
![Page 19: Использование метрик в процессе обеспечения качества сложных систем](https://reader034.fdocuments.net/reader034/viewer/2022052311/558b3fa5d8b42ab8558b456d/html5/thumbnails/19.jpg)
Гребенюк Виктор
http://ru.linkedin.com/pub/viktor-grebenyuk/19/b55/76
ВОПРОСЫ?
![Page 20: Использование метрик в процессе обеспечения качества сложных систем](https://reader034.fdocuments.net/reader034/viewer/2022052311/558b3fa5d8b42ab8558b456d/html5/thumbnails/20.jpg)
1. Kan S.H., Metrics and Models in Software Quality Engineering, Second Edition. - Addison Wesle, 2002. - 560 c.2. Certified Tester, Expert Level Syllabus, Ed. by Veenendaal E., Bath G., Evans I. - ISTQB, 2011 Режим доступа: http://www.istqb.org/downloads/finish/18/12.html 3. Kaner C., Bond W.P., Software Engineering Metrics: What Do They Measure and How Do We Know?, 10th International Software Metrics Symposium, Metrics 2004. Режим доступа: http://testingeducation.org/a/34. Hoffman D. The Darker Side of Metrics // Сайт компании Software Quality Methods, LLC. Режим доступа: http://www.softwarequalitymethods.com/Papers/DarkMets%20Paper.pdf5. Гребенюк В.М. О методах определения эффективности и достаточности мер по обеспечению качества сложных информационных систем // INTERMATIC – 2013, Материалы Международной научно-технической конференции, 2 – 6 декабря 2013 г., Москва, часть 6, c. 11-12.6. SWEBOK v3.0, edited by Bourque P., Fairley R.E. – IEEE, 2014 Режим доступа: www.swebok.org 7. Northrop L. at al, Ultra-Large-Scale Systems: The Software Challenge of the Future. - Carnegie Mellon University, 2006. - 150 c..8. ГОСТ Р 51901-2002 "Управление надежностью. Анализ риска технологических систем"9. ГОСТ 27.310-95 "Надежность в технике. Анализ видов, последствий и критичности отказов. Основные положения"10. Схемы компонентов UML: справочные материалы // Microsoft Developer Network. Режим доступа: http://msdn.microsoft.com/ru-ru/library/dd409390(v=vs.100).aspx (дата обращения 19.03.2014)11. Гребенюк В.М. Использование метрик в процессе обеспечения качества сложных информационных систем // Интернет-журнал «INTERNATIONAL JOURNAL OF OPEN INFORMATION TECHNOLOGIES» [Электронный ресурс]. – Лаборатория Открытых Информационных Технологий факультета ВМК МГУ им. М.В. Ломоносова , № 4 2014 – Режим доступа: http://injoit.org/index.php/j1/article/view/94/69.12. Годовой отчет Московского метрополитена за 2012 год //http://mosmetro.ru/upload/1716/2012.pdf
ЛИТЕРАТУРА ПО ТЕМЕ