Конкурентоспособность региона как предмет аналитических исследований
Оптимизация процесса тестирования с использованием...
-
Upload
aleksandr-meshkov -
Category
Software
-
view
47 -
download
0
Transcript of Оптимизация процесса тестирования с использованием...
![Page 1: Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM](https://reader035.fdocuments.net/reader035/viewer/2022062400/589998551a28ab30328b7aaf/html5/thumbnails/1.jpg)
Software quality assurance days20 Международная конференция по вопросам качества ПОsqadays.com
Минск. 24–26 ноября 2016
Мешков АлександрPerformance Lab. Москва, Россия
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
![Page 2: Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM](https://reader035.fdocuments.net/reader035/viewer/2022062400/589998551a28ab30328b7aaf/html5/thumbnails/2.jpg)
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Мешков Александр Performance Lab
Skype: alekslynxEmail: [email protected]
Пишу статьи в блоге: http://www.performance-lab.ru/blog
Докладчик:SQA Days - 18SQA Days - 19SQA Days - 20
Краткая информация
![Page 3: Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM](https://reader035.fdocuments.net/reader035/viewer/2022062400/589998551a28ab30328b7aaf/html5/thumbnails/3.jpg)
Улучшение процесса тестирования
PDCA
IDEAL
EFQM
DMAIC Model
Модель оптимизации
процесса тестирования
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
![Page 4: Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM](https://reader035.fdocuments.net/reader035/viewer/2022062400/589998551a28ab30328b7aaf/html5/thumbnails/4.jpg)
Подходы к оптимизации процесса тестирования
Подход на основе моделей
Гибридный подход
Подход на основе аналитики Другие
IT\SW совершенствование
Совершенствование процесса
тестирования
CMMI, ISO 15504
Process models Content models
TMMi, TPI-Next
CTP, STEP
Анализ причин
GQM
Люди, навыки Стандарты
Инфраструктура и ПО Обучение
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
![Page 5: Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM](https://reader035.fdocuments.net/reader035/viewer/2022062400/589998551a28ab30328b7aaf/html5/thumbnails/5.jpg)
Отличие MBI и ABIАналитические подходы к оптимизации процесса тестирования используются для выявления проблем в рамках нашего процесса или продукта и установления дальнейших целей для его совершенствования.
Подход на основе моделей
Подход на основе аналитики
Детализация
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
![Page 6: Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM](https://reader035.fdocuments.net/reader035/viewer/2022062400/589998551a28ab30328b7aaf/html5/thumbnails/6.jpg)
Почему аналитический подход
• Подход на основе модели не решает точечных проблем
• Аудит и оценка зрелости это не одно и тоже
• Все хотят детальных рекомендаций, а не общих практик
• Аналитический подход позволяет целенаправленно решать конкретные проблемы
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
![Page 7: Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM](https://reader035.fdocuments.net/reader035/viewer/2022062400/589998551a28ab30328b7aaf/html5/thumbnails/7.jpg)
Root Cause Analysis– сбор информации
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Cause Analysis (Root Cause Analysis Method) – подход для выявление скрытых (внутренних) причин, которые позволяют определить, почему произошел тот или иной инцидент (проблема).
Проблема
Первопричины (не может быть одна причина)
![Page 8: Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM](https://reader035.fdocuments.net/reader035/viewer/2022062400/589998551a28ab30328b7aaf/html5/thumbnails/8.jpg)
Работа с дефектами
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Тестировщик Разработчик
Заказчик
![Page 9: Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM](https://reader035.fdocuments.net/reader035/viewer/2022062400/589998551a28ab30328b7aaf/html5/thumbnails/9.jpg)
Шаги анализа
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
1. Определить проблему и ее влияние на общие цели2. Поиск вероятных причин3. Сбор информации и анализ вероятных причин4. Причинно-следственный анализ5. Предотвращение или минимизация любых
негативных последствий для поставленных целей путем выбора наиболее эффективных решений
Способы определения проблем для анализа:• PDCA• Анализ статистики• Ретроспективы
![Page 10: Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM](https://reader035.fdocuments.net/reader035/viewer/2022062400/589998551a28ab30328b7aaf/html5/thumbnails/10.jpg)
Сбор информации и анализ
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Причины сдвига сроков внедренияПотеря времени в ч/д на команду
Всего потеряно времени
Тестовый контур предоставили не своевременно 12; 0,5, 0,2 12,7Длительный процесс подбора тестовых данных 10; 4;3 17Большое количество открытых дефектов 1;1;0,5;3;5;3 12,5Не соблюдение стратегии тестирования 0,2;0,4 0,6Необходимость внесения изменений в тестовые сценарии 1,2;3;2 6,2
![Page 11: Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM](https://reader035.fdocuments.net/reader035/viewer/2022062400/589998551a28ab30328b7aaf/html5/thumbnails/11.jpg)
Причинно-следственный анализ
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Проблема
Группа Группа Группа
Группа Группа Группа
Причина
Причина
Причина
Причина
Причина
Причина
Причина
Причина
![Page 12: Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM](https://reader035.fdocuments.net/reader035/viewer/2022062400/589998551a28ab30328b7aaf/html5/thumbnails/12.jpg)
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Сдвиг сроков внедрения продукта
Специалисты Стандарты Оборудование
Менеджент
Отпуска
Взаимодействие
Координация подразделений
МощностиКонфигурацияИнтеграция с
эквайрингом
Требования ЦБ
Соблюдение SLA
Программное обеспечение
Конфигурация
Тестовое покрытие
Тестирование
Результат
Причинно-следственный анализ
![Page 13: Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM](https://reader035.fdocuments.net/reader035/viewer/2022062400/589998551a28ab30328b7aaf/html5/thumbnails/13.jpg)
Наличие дефектов
Низкоуровневый анализ
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Сдвиг сроков
внедрения продукта
Программное обеспечение
Тестирование
Тестовые среды
Стратегия Тестовое покрытие
Результаты
Пригодность
Тестовые данные
Обновление тестового контура
Доступность
СогласованиеСоблюдение стандартов
Критерии
Измерение
Инструменты
Подходы
Точность
Т4
Т1, Т2Т3
Высокое влияние
Низкое влияние
![Page 14: Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM](https://reader035.fdocuments.net/reader035/viewer/2022062400/589998551a28ab30328b7aaf/html5/thumbnails/14.jpg)
Наличие дефектов
Низкоуровневый анализ
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Сдвиг сроков
внедрения продукта
Программное обеспечение
Тестирование
Тестовые среды
Стратегия Тестовое покрытие
Результаты
Пригодность
Тестовые данные
Доступность
СогласованиеСоблюдение стандартов
Критерии
Измерение
Инструменты
Подходы
Точность
Т1, Т2Т3
Высокое влияние
Низкое влияние
Обновление тестового контура
![Page 15: Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM](https://reader035.fdocuments.net/reader035/viewer/2022062400/589998551a28ab30328b7aaf/html5/thumbnails/15.jpg)
Метод «Пять почему?»
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Проблема
![Page 16: Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM](https://reader035.fdocuments.net/reader035/viewer/2022062400/589998551a28ab30328b7aaf/html5/thumbnails/16.jpg)
Выработка решения
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
1. Определить действия для решения первопричин:
• действие должно решать проблему, а не минимизировать или
иметь временных эффект
• действие должно быть выполнимо для команды
2. Оценить решение каждой первопричины
![Page 17: Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM](https://reader035.fdocuments.net/reader035/viewer/2022062400/589998551a28ab30328b7aaf/html5/thumbnails/17.jpg)
GQM -подход
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
GQM (Goals Question Metric) - системный подход, позволяющий на основе определения измеримых целей процесса, продукта повышать эффективность процессов в соответствии с потребностями проекта или организации.
Цель
Вопрос Вопрос Вопрос
Метрика Метрика Метрика
Метрика Метрика
Метрика Метрика Метрика
![Page 18: Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM](https://reader035.fdocuments.net/reader035/viewer/2022062400/589998551a28ab30328b7aaf/html5/thumbnails/18.jpg)
GQM -подход
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Установить целиЦели
определены Выберите процесс
Определение структуры, вопросов
и метрик
Выполнение
Сбор метрик
Анализ
Получение обратной связи
Ретр
оспе
ктив
а
Выработка рекомендаций
Определение задач
организации или проекта
Инициация
![Page 19: Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM](https://reader035.fdocuments.net/reader035/viewer/2022062400/589998551a28ab30328b7aaf/html5/thumbnails/19.jpg)
Фазы GQM
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Планирование
Формализация
Выполнение
Представление результатов
План
про
екта
Цели
Вопросы
Метрики Измерение
Ответы
Достижение целей
Сбор и обработка данных
![Page 20: Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM](https://reader035.fdocuments.net/reader035/viewer/2022062400/589998551a28ab30328b7aaf/html5/thumbnails/20.jpg)
GQM Планирование
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
![Page 21: Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM](https://reader035.fdocuments.net/reader035/viewer/2022062400/589998551a28ab30328b7aaf/html5/thumbnails/21.jpg)
GQM Определение
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Объект Что исследуется?Цель Почему объект исследуется?Направление Какой атрибут исследуется?Выгода В чем перспектива исследования?Среда В каком окружение выполняется исследование?
Активности:Определение организации, процесса или
проекта, их проблем и целей
Определение измеримых целей
Создание GQM плана
Создание плана измерения
Создания плана анализа и начало работ
![Page 22: Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM](https://reader035.fdocuments.net/reader035/viewer/2022062400/589998551a28ab30328b7aaf/html5/thumbnails/22.jpg)
GQM Обработка информации
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Система поддержки измерений обеспечивает поддержку всех активностей по измерению процесса:
• Сбор данных по измерениям• Хранение данных• Поддержание данных в актуальном состоянии• Обработка данных по измерениям• Презентация • Переиспользование данных по измерениям в последующих циклах
Формы сбора
данныхБаза метрик Результаты
анализа Формализация
![Page 23: Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM](https://reader035.fdocuments.net/reader035/viewer/2022062400/589998551a28ab30328b7aaf/html5/thumbnails/23.jpg)
GQM Интерпретация
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Подготовка обратной связи
Обсуждение и ревью полученных результатов
Формализация и фиксация полученных результатов
Выработка решений по оптимизации
Подготовка отчета по результатам измерения
Презентация результатов руководству
![Page 24: Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM](https://reader035.fdocuments.net/reader035/viewer/2022062400/589998551a28ab30328b7aaf/html5/thumbnails/24.jpg)
Метрики и измерения
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Цель Вопрос Метрика
Достаточность ресурсов
Сколько задач команда тестирования не берет в работу?
Кол-во задач, взятых в работу от общего скоупа задачПроцент трудозатрат взятых задач в работу от общего числа задач
Насколько планируемое время соответствует фактическому?
Соотношение фактических и планируемых трудозатрат на тестирование релиза
На сколько увеличивается/уменьшаются объемы тестирования?
Объем задач по тестированию
Насколько часто закладываемое время на риски срабатывает?
Соотношение фактических и планируемых трудозатрат на тестирование релизаКол-во выявленных дефектов
Какова загрузка специалистов текущими задачами по тестированию?
Загрузка специалистов по тестированиюЭффективность работы команды тестированияВремя на работу с дефектами
![Page 25: Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM](https://reader035.fdocuments.net/reader035/viewer/2022062400/589998551a28ab30328b7aaf/html5/thumbnails/25.jpg)
Получение данных
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Перфоманс ЛабПлан. Оценка Номер
заявкиНаправлени
еТС Корр ТС ∑ ТС ФТ ретест ∑ ФТ
Сотрудник 1 1,5 0 1,54,5
0 0 0
5
50448 Кредиты
Сотрудник 1 2 1 3 2,5 2 4,5 51054 Счета, вклады, РКО
Сотрудник 1 0,5 0,5 0,5 0,5 51762 ИБ
Сотрудник 2 3 2 59,5
4 2 614,5
50810 Счета, вклады, РКО
Сотрудник 2 1,5 1 2,5 3 2 5 51422 КартыСотрудник 2 1 1 2 2 1,5 3,5 51424 КартыСотрудник 3 0 0 0
6
1 1 2
9
50416 iBankingСотрудник 3 2 1 3 2 1 3 50703 iBankingСотрудник 3 0 0 0 0 1 1 50589
Сотрудник 3 2 1 3 2 1 3 51580 Счета, вклады, РКО
Сотрудник 4 2 1 3
11
2 1 3
12
50030 КартыСотрудник 4 3 2 5 3 2 5 50303 Кредиты
Сотрудник 4 2 1 3 3 1 4 51337 Счета, вклады, РКО
Сотрудник 4 4 2 6 6 5 3 8 8 50002 Карты
итого требуется: 24,5 13 37,5 30 18,5 48,5доступно ресурсов при 1 срезе 05/05 55 11д-5чел 27,5 5д-5,5чел
AS IS: при 1 срезе 27/04 43 7д-5ч+4д-2ч 41,5 5д-5,5ч+4д-3,5ч4 "наших" заявки в 1 срезе 39 7д-5ч+4д-1ч 45,5 5д-5,5ч+4д-4,5чЕсли бы список был согласован 13/04 50 10д-5чел 49,5 9д-5,5чел
![Page 26: Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM](https://reader035.fdocuments.net/reader035/viewer/2022062400/589998551a28ab30328b7aaf/html5/thumbnails/26.jpg)
Получение данных
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Март Апрель Май0
10
20
30
40
50
60
70
80
90
73 88.5 86
47.575.5 78
Соотношение трудозатрат
Труд
озат
раты
, ч.д
.
Март Апрель Май0
5
10
15
20
25
16
13 1315 16
23
Соотношение количества заявок
Коли
чест
во з
аяво
к, ш
т.
Март Апрель Май
73
88.5 86
47.5
75.5 78
16 13 13
15 16 23
Соотношениетрудозатрат и количества заявок
Команда тестирования - Трудозатраты
Технологи - Трудозатраты
Команда тестирования - Число заявок
Технология - Число заявок
![Page 27: Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM](https://reader035.fdocuments.net/reader035/viewer/2022062400/589998551a28ab30328b7aaf/html5/thumbnails/27.jpg)
Какой эффект?
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
GQM позволяет:• принимать наиболее
эффективные и точные решения на основе статистики
• учитывать все факторы, влияющие на принятие решения
• изменять процесс тестирования только для решения конкретных задач или проблем
![Page 28: Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM](https://reader035.fdocuments.net/reader035/viewer/2022062400/589998551a28ab30328b7aaf/html5/thumbnails/28.jpg)
Полезные ссылки для аналитических подходов
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
http://www-ivs.cs.uni-magdeburg.de/sw-eng/us/java/GQM/link4.shtml
Андерсон Бьерн — «Анализ основной причины. Упрощенные инструменты и
методы»
Improving the Test Process: Implementing Improvement and Change - A Study Guide for the ISTQB Expert Level Module
![Page 29: Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM](https://reader035.fdocuments.net/reader035/viewer/2022062400/589998551a28ab30328b7aaf/html5/thumbnails/29.jpg)
Итоги
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
• Применение аналитических подходов целесообразно при решении текущих проблем
• Аналитические подходы позволяют точечно решать проблемы в отличии от модельных подходов
• Любое ваше действие или решение будет исключительно для вашего проекта
![Page 30: Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM](https://reader035.fdocuments.net/reader035/viewer/2022062400/589998551a28ab30328b7aaf/html5/thumbnails/30.jpg)
Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM
Вопросы?
alekslynx