Микросервисы для автоматизации тестирования - опыт "Одноклассников"
Инструменты автоматизации тестирования - дефективные
description
Transcript of Инструменты автоматизации тестирования - дефективные
![Page 1: Инструменты автоматизации тестирования - дефективные](https://reader036.fdocuments.net/reader036/viewer/2022081800/558b3e5ed8b42a0b058b4721/html5/thumbnails/1.jpg)
Инструменты автоматизации тестирования – дефективные
Дмитрий Химион. Performance Lab
![Page 2: Инструменты автоматизации тестирования - дефективные](https://reader036.fdocuments.net/reader036/viewer/2022081800/558b3e5ed8b42a0b058b4721/html5/thumbnails/2.jpg)
Дмитрий Химион руководитель направления
автоматизации тестированияPerformance Lab
Skype: Picasso-Key Email: [email protected]
Докладчик на конференциях:– SQA Days 13– ITSM Forum– SQA Days 14– SQA Days 1524 проекта по автоматизации тестирования
+4 проекта - прототипы инструментария АТ
![Page 3: Инструменты автоматизации тестирования - дефективные](https://reader036.fdocuments.net/reader036/viewer/2022081800/558b3e5ed8b42a0b058b4721/html5/thumbnails/3.jpg)
План доклада
• «Горе от ума» - flash back SQA Days 14• Из чего состоят инструменты• Аспекты и критерии оценки инструментов• Разложим инструменты по критериям• А что нам надо от инструментов?• «Интеграционный стандарт»• Итоги• Вопросы и ответы
![Page 4: Инструменты автоматизации тестирования - дефективные](https://reader036.fdocuments.net/reader036/viewer/2022081800/558b3e5ed8b42a0b058b4721/html5/thumbnails/4.jpg)
«Горе от ума» - flash back SQA Days 14
Единая системаавторизации
![Page 5: Инструменты автоматизации тестирования - дефективные](https://reader036.fdocuments.net/reader036/viewer/2022081800/558b3e5ed8b42a0b058b4721/html5/thumbnails/5.jpg)
«Горе от ума» - flash back SQA Days 14
![Page 6: Инструменты автоматизации тестирования - дефективные](https://reader036.fdocuments.net/reader036/viewer/2022081800/558b3e5ed8b42a0b058b4721/html5/thumbnails/6.jpg)
«Горе от ума» - flash back SQA Days 14
![Page 7: Инструменты автоматизации тестирования - дефективные](https://reader036.fdocuments.net/reader036/viewer/2022081800/558b3e5ed8b42a0b058b4721/html5/thumbnails/7.jpg)
«Горе от ума» - flash back SQA Days 14
Мониторинг качества
разработки
![Page 8: Инструменты автоматизации тестирования - дефективные](https://reader036.fdocuments.net/reader036/viewer/2022081800/558b3e5ed8b42a0b058b4721/html5/thumbnails/8.jpg)
Из чего состоят инструменты?
• Язык разработки тестов• Удобство разработки• Инструментарий отладки
IDE
• Интеграция с «внешним миром»• ОбработчикиAPI• «Object spy» – захват объектов• Взаимодействие с технологиями• Работы с процессами
Platform
• Управление записью• Автоматическое определение элементов• Форматирование тестов
Record&Play
• Параметризация• Управление тестами• Запуск/прерывание
Test management
• Файловые расширения• Настройка и дополнение логовLogs/Reports
![Page 9: Инструменты автоматизации тестирования - дефективные](https://reader036.fdocuments.net/reader036/viewer/2022081800/558b3e5ed8b42a0b058b4721/html5/thumbnails/9.jpg)
Модули оценки инструментов
IDE API
Platform Record&Play
Test management Logs/Reports
TO
Привет!
![Page 10: Инструменты автоматизации тестирования - дефективные](https://reader036.fdocuments.net/reader036/viewer/2022081800/558b3e5ed8b42a0b058b4721/html5/thumbnails/10.jpg)
Размерность оценки критериев
КритерийОценка
-1 0 1
Рефакторинг
Работает только после серьёзных доработок
Пользоваться можно, но надо явно доработать
Приемлемое качество работы
Вроде норм
![Page 11: Инструменты автоматизации тестирования - дефективные](https://reader036.fdocuments.net/reader036/viewer/2022081800/558b3e5ed8b42a0b058b4721/html5/thumbnails/11.jpg)
КритерийОценка
-2 -1 0 1
Рефакторинг
КритерийОценка
-1 0 1
Рефакторинг
Функционал в инструменте существует номинально
А ведь факт
Размерность оценки критериев
![Page 12: Инструменты автоматизации тестирования - дефективные](https://reader036.fdocuments.net/reader036/viewer/2022081800/558b3e5ed8b42a0b058b4721/html5/thumbnails/12.jpg)
Рассмотрим критерии
IDE
Критерий ОценкаНавигация по коду Рефакторинг кода Подсветка синтаксиса Интеграция с Bug tracker/VCS/CI Кастомизация Инструментарий отладки Язык описания теста
-5 из +7
Блокнот!
![Page 13: Инструменты автоматизации тестирования - дефективные](https://reader036.fdocuments.net/reader036/viewer/2022081800/558b3e5ed8b42a0b058b4721/html5/thumbnails/13.jpg)
API
Критерий Оценка
DDT/KDT/ODT
Надёжность работы API
Скорость работы API
Расширение API
-1 из +4
Рассмотрим критерии
![Page 14: Инструменты автоматизации тестирования - дефективные](https://reader036.fdocuments.net/reader036/viewer/2022081800/558b3e5ed8b42a0b058b4721/html5/thumbnails/14.jpg)
Platform
Критерий ОценкаВзаимодействие с 1 технологией Взаимодействие с 2-3 технологиями Взаимодействие с всеми заявленными технологиями Распознавание элементов интерфейса Взаимодействие с процессами
-1 из +5
Рассмотрим критерии
![Page 15: Инструменты автоматизации тестирования - дефективные](https://reader036.fdocuments.net/reader036/viewer/2022081800/558b3e5ed8b42a0b058b4721/html5/thumbnails/15.jpg)
Platform
Критерий ОценкаВзаимодействие с 1 технологией Взаимодействие с 2-3 технологиями Взаимодействие с всеми заявленными технологиями Распознавание элементов интерфейса Взаимодействие с процессами
-1 из +5
Рассмотрим критерии
![Page 16: Инструменты автоматизации тестирования - дефективные](https://reader036.fdocuments.net/reader036/viewer/2022081800/558b3e5ed8b42a0b058b4721/html5/thumbnails/16.jpg)
Record&Play
Критерий ОценкаЗапись тестаКачество записанного кодаВоспроизведение тестаАвтоматическое определение элементовФорматирование записанного теста
-3 из +5
Рассмотрим критерии
![Page 17: Инструменты автоматизации тестирования - дефективные](https://reader036.fdocuments.net/reader036/viewer/2022081800/558b3e5ed8b42a0b058b4721/html5/thumbnails/17.jpg)
Test management
Критерий ОценкаПараметризация тестов Комбинирование/предицирование тестов Механизм управления запуском тестов Прогон тестов по расписанию/триггеру Механизмы прерывания теста
-2 из +5
Рассмотрим критерии
![Page 18: Инструменты автоматизации тестирования - дефективные](https://reader036.fdocuments.net/reader036/viewer/2022081800/558b3e5ed8b42a0b058b4721/html5/thumbnails/18.jpg)
Logs/Reports
Критерий Оценка
Глубина по разделению ошибок Доступные расширения Оптимизация объёма лога Расширение информативности лога
-3 из +4
Рассмотрим критерии
![Page 19: Инструменты автоматизации тестирования - дефективные](https://reader036.fdocuments.net/reader036/viewer/2022081800/558b3e5ed8b42a0b058b4721/html5/thumbnails/19.jpg)
Сводка по результатам оценки
IDE
API
Platform
Record&Play
Test management
Logs/Reports
-5
-1
-1
-3
-2
-3
![Page 20: Инструменты автоматизации тестирования - дефективные](https://reader036.fdocuments.net/reader036/viewer/2022081800/558b3e5ed8b42a0b058b4721/html5/thumbnails/20.jpg)
Что нам надо от инструментов?
IDE
API
Platform
Record&Play
Test management
Logs/Reports
-5
-1
-1
-3
-2
-3
![Page 21: Инструменты автоматизации тестирования - дефективные](https://reader036.fdocuments.net/reader036/viewer/2022081800/558b3e5ed8b42a0b058b4721/html5/thumbnails/21.jpg)
Что нам надо от инструментов?
IDE
API
Platform
Record&Play
Test management
Logs/Reports
-5
-1
-1
-3
-2
-3
![Page 22: Инструменты автоматизации тестирования - дефективные](https://reader036.fdocuments.net/reader036/viewer/2022081800/558b3e5ed8b42a0b058b4721/html5/thumbnails/22.jpg)
«Интеграционный стандарт»
• Универсализация «непригодных» модулей инструментов:– Test development (record&play)– Test management– Logs/Reports– Handlers for API
AT tool
Test management
LogsReports
Handlersfor API
System Under Test
![Page 23: Инструменты автоматизации тестирования - дефективные](https://reader036.fdocuments.net/reader036/viewer/2022081800/558b3e5ed8b42a0b058b4721/html5/thumbnails/23.jpg)
Итоги
• Интеграция инструментов в среды разработки• Эволюция инструментов автоматизации в составной конструктор• Составляющие инструментов – отдельные решения• Развитие механизмов тестирования в сторону генерации тестов• Ориентация градации ошибок на стандарты типа ISO
![Page 25: Инструменты автоматизации тестирования - дефективные](https://reader036.fdocuments.net/reader036/viewer/2022081800/558b3e5ed8b42a0b058b4721/html5/thumbnails/25.jpg)
Большое спасибо!
• Контакты: Skype: Picasso-Key Email: [email protected]
The dark side of automation tools hides very much job