Илья Гаврилов, Оценка затрат на автоматизацию...
-
Upload
sqadays2009piter -
Category
Technology
-
view
423 -
download
6
description
Transcript of Илья Гаврилов, Оценка затрат на автоматизацию...
![Page 1: Илья Гаврилов, Оценка затрат на автоматизацию тестирования](https://reader033.fdocuments.net/reader033/viewer/2022061213/549881fdb47959341a8b465c/html5/thumbnails/1.jpg)
Оценка затрат на автоматизацию тестирования
Илья Гаврилов. Exigen Services
![Page 2: Илья Гаврилов, Оценка затрат на автоматизацию тестирования](https://reader033.fdocuments.net/reader033/viewer/2022061213/549881fdb47959341a8b465c/html5/thumbnails/2.jpg)
Цель
“Головы” Продукт
![Page 3: Илья Гаврилов, Оценка затрат на автоматизацию тестирования](https://reader033.fdocuments.net/reader033/viewer/2022061213/549881fdb47959341a8b465c/html5/thumbnails/3.jpg)
Цель
Бюджет
ROI = (G – I)/I
I = ?
Рентабельность инвестиций
![Page 4: Илья Гаврилов, Оценка затрат на автоматизацию тестирования](https://reader033.fdocuments.net/reader033/viewer/2022061213/549881fdb47959341a8b465c/html5/thumbnails/4.jpg)
План
• Обзор существующих методов оценки затрат на
автоматизацию
• Анализ сильных и слабых сторон
• Выработка критериев для нового метода оценки
• Разработка нового метода
• Анализ результатов
![Page 5: Илья Гаврилов, Оценка затрат на автоматизацию тестирования](https://reader033.fdocuments.net/reader033/viewer/2022061213/549881fdb47959341a8b465c/html5/thumbnails/5.jpg)
Существующие подходы оценки затрат на автоматизацию
• Оценка по типовому коэффициенту
• Оценка методом декомпозиции задач
![Page 6: Илья Гаврилов, Оценка затрат на автоматизацию тестирования](https://reader033.fdocuments.net/reader033/viewer/2022061213/549881fdb47959341a8b465c/html5/thumbnails/6.jpg)
Оценка по типовому коэффициенту
РазработкаРазработка %%Итоговая оценка
![Page 7: Илья Гаврилов, Оценка затрат на автоматизацию тестирования](https://reader033.fdocuments.net/reader033/viewer/2022061213/549881fdb47959341a8b465c/html5/thumbnails/7.jpg)
Оценка методом декомпозиции задач
1 Manage entities functionality 39 20
2.1 DB 3
2.2 Entity list UI + filtration business 9
2.3 UI for add/edit/view entity item 9
2.4Support for cutoff date/time (including Region default values overriding); extension time
9
2.5Support for dependent lists (Region, Country, Business unit)
3
2.10 Support for audit 3
2.11 Permissions 3
2.15 TC for view/add/edit Entity creation 4
2.16 TC for view/add/edit Entity execution 6
2.17 Automation for view/add/edit Entity 10
![Page 8: Илья Гаврилов, Оценка затрат на автоматизацию тестирования](https://reader033.fdocuments.net/reader033/viewer/2022061213/549881fdb47959341a8b465c/html5/thumbnails/8.jpg)
Критерии для нового метода оценки
![Page 9: Илья Гаврилов, Оценка затрат на автоматизацию тестирования](https://reader033.fdocuments.net/reader033/viewer/2022061213/549881fdb47959341a8b465c/html5/thumbnails/9.jpg)
Анализ задачи
TCs
Вход Выход
Время на оценку
Точность оценки
![Page 10: Илья Гаврилов, Оценка затрат на автоматизацию тестирования](https://reader033.fdocuments.net/reader033/viewer/2022061213/549881fdb47959341a8b465c/html5/thumbnails/10.jpg)
Анализ задачи - проблема
Все тест кейсы отличаются:
• по объему
• сложности
• и т.п.
![Page 11: Илья Гаврилов, Оценка затрат на автоматизацию тестирования](https://reader033.fdocuments.net/reader033/viewer/2022061213/549881fdb47959341a8b465c/html5/thumbnails/11.jpg)
Анализ тест кейса
Взаимодействие с интерфейсом
Написание хранимых процедур, для подготовки тестовых данных
Взаимодействие с интерфейсом
Подготовка тестовых данных через базу данных
Содержание Тип активности тестировщика
![Page 12: Илья Гаврилов, Оценка затрат на автоматизацию тестирования](https://reader033.fdocuments.net/reader033/viewer/2022061213/549881fdb47959341a8b465c/html5/thumbnails/12.jpg)
Автоматизация набора тест кейсов
TCs
TCUIA
TCDB
![Page 13: Илья Гаврилов, Оценка затрат на автоматизацию тестирования](https://reader033.fdocuments.net/reader033/viewer/2022061213/549881fdb47959341a8b465c/html5/thumbnails/13.jpg)
Оценка написания хранимых процедур
TCDB
![Page 14: Илья Гаврилов, Оценка затрат на автоматизацию тестирования](https://reader033.fdocuments.net/reader033/viewer/2022061213/549881fdb47959341a8b465c/html5/thumbnails/14.jpg)
Оценка написания хранимых процедур
![Page 15: Илья Гаврилов, Оценка затрат на автоматизацию тестирования](https://reader033.fdocuments.net/reader033/viewer/2022061213/549881fdb47959341a8b465c/html5/thumbnails/15.jpg)
Единицы-> Часы
ЕдиницыЕдиницы
На основании статистики 100 единиц
= X часов
![Page 16: Илья Гаврилов, Оценка затрат на автоматизацию тестирования](https://reader033.fdocuments.net/reader033/viewer/2022061213/549881fdb47959341a8b465c/html5/thumbnails/16.jpg)
Оценка тест кейсов
TCUIA ?
Все тест кейсы разные
![Page 17: Илья Гаврилов, Оценка затрат на автоматизацию тестирования](https://reader033.fdocuments.net/reader033/viewer/2022061213/549881fdb47959341a8b465c/html5/thumbnails/17.jpg)
“Оценочный” тест кейс
Разные по объему тест кейсы “Оценочный” тест кейс
![Page 18: Илья Гаврилов, Оценка затрат на автоматизацию тестирования](https://reader033.fdocuments.net/reader033/viewer/2022061213/549881fdb47959341a8b465c/html5/thumbnails/18.jpg)
Границы “оценочного” тест кейса
1 < ≤ 10
“Оценочный” тест кейс
Взаимодействие с интерфейсом
![Page 19: Илья Гаврилов, Оценка затрат на автоматизацию тестирования](https://reader033.fdocuments.net/reader033/viewer/2022061213/549881fdb47959341a8b465c/html5/thumbnails/19.jpg)
“Оценочный” тест кейс -> Часы
На основании статистики 10 оценочных тест кейсов
= Y часов
![Page 20: Илья Гаврилов, Оценка затрат на автоматизацию тестирования](https://reader033.fdocuments.net/reader033/viewer/2022061213/549881fdb47959341a8b465c/html5/thumbnails/20.jpg)
Суммарная оценка затрат на автоматизацию
TCs
TCUIA
TCDB
Оценочные Тест КейсыОценочные Тест Кейсы
ЕдиницыЕдиницы
![Page 21: Илья Гаврилов, Оценка затрат на автоматизацию тестирования](https://reader033.fdocuments.net/reader033/viewer/2022061213/549881fdb47959341a8b465c/html5/thumbnails/21.jpg)
Проекты
Проект 1
• Большие тест кейсы
• Тестовые данные
создаются через интерфейс
• Много не стандартных
элементов управления
Проект 2
• Небольшие тест кейсы
• Тестовые данные
создаются через базу
данных
![Page 22: Илья Гаврилов, Оценка затрат на автоматизацию тестирования](https://reader033.fdocuments.net/reader033/viewer/2022061213/549881fdb47959341a8b465c/html5/thumbnails/22.jpg)
Время потраченное на оценку
Проект Кол-во тест кейсов, шт
Метод декомпозиц
ии задач, часы
Новый метод, часы
Проект 1 58 3 1
Проект 2 205 7 2
![Page 23: Илья Гаврилов, Оценка затрат на автоматизацию тестирования](https://reader033.fdocuments.net/reader033/viewer/2022061213/549881fdb47959341a8b465c/html5/thumbnails/23.jpg)
Точность оценки
Проект Метод декомпозиц
ии задач
Новый метод
Факт
Проект 1 127 часов 142 часов 136 часов
93,38 % 104,41 % 100%
Проект 2 298 часов 260 часов 280 часов
106,42 % 92,85 % 100%
![Page 24: Илья Гаврилов, Оценка затрат на автоматизацию тестирования](https://reader033.fdocuments.net/reader033/viewer/2022061213/549881fdb47959341a8b465c/html5/thumbnails/24.jpg)
Анализ результатов
• Время затраченное на оценку ~ в 3 раза меньше от
метода декомпозиции задач
• Точность варьируется в пределах 8% от
фактического результата
• Точность сопоставимая с методом декомпозиции
задач
• Меньше субъективность оценки