CodeFest 2012. Быстрых С. — Карантинная зона для автотестов:...
13
Быстрых Сергей руководитель группы автоматизации повышение стабильности и уменьшение трудозатрат Карантинная зона для автотестов Карантинная зона для автотестов
Transcript of CodeFest 2012. Быстрых С. — Карантинная зона для автотестов:...
Быстрых Сергей
руководитель группы автоматизации
повышение стабильности и уменьшение трудозатрат
Карантинная зона для автотестов
Карантинная зона для автотестов
2
Семейство продуктов Plesk
Parallels Plesk Panel
Web Presence Builder
Customer & Business Manager
Поддержка более 15 операционных систем
более 60 конфигураций
3
Регрессионное тестирование (требования)
1. Запускать каждый день.
2. Запускать все автоматизированные тесты.
3. Покрывать все доступные конфигурации.
4. Заводить все найденные баги.
5. Получать полное представление о качестве продукта.
4
Регрессионное тестирование (ежедневный цикл)
Система хранения тестов
• 1500 тест кейсов
Система автоматического
выполнения тестов
Бол
ее 5
0000
резу
льт
ато
в
Бол
ее 3
0
запуско
в п
ланов Около 1000
VEs
Более 100 тестовых
серверов
Более 7500 падений
15% не прошедших тестов
5
Автоматический тест кейс
Скрипт
Подготовительные
действия
Проверка
функциональности
PASSED
BLOCKED
FAILED
6
Причины падений тест кейсов
новые баги
баги в тестах
ошибки сети
перегрузка тестовых серверов
рейс-кондишины
нестабильность приложений
известные, но еще неисправленные баги
7
Причины падений тест кейсов
Новые баги
15-20%
Известные баги
30-35%
Ложные падения
50%
8
Карантин – идем в обход
Запуск тест плана
Подготовка VE (s)
Установка продукта
Исполнение тестов
Обычная схема выполнения тестов
Проверка условий
карантина
Подготовка нового VE
Установка продукта
Исполнение упавших тестов
Карантин
9
Карантин – пропускаем лишнее
TMS
Тест план
Тест 1
Тест 2
Тест 3
Тест N
Bug Tracker
Bug
Bug
Bug
Bug
Bug
Bug
Bug
Bug
Запуск тестов
Подготовка VE
Пропуск теста
Выполнение теста
Bug
10
Старый друг лучше новых двух?
BLOCKED SKIPPED FAILED
? BLOCKED
SKIPPED
11
Что получили
100% PASSED
FAILED FAILED 50-60%
20 человека/часов в неделю
12
Планы на будущее
TMS
Тест план
Тест 1
Тест 2
Тест 3
Тест N
Bug Tracker
Bug
Bug
Bug
Bug
Bug
Bug
Тест
Тест
Тест
• Для разработчика:
проверки при
исправлении бага
• Для тестировщика:
дополнительная
информация
для верификации бага
13
Вопросы
? Быстрых Сергей
руководитель группы автоматизации
|| Parallels
|| [email protected] || skype: sergey.bystrykh
|| tel: +7.952.942.51.15 || http://www.parallels.com
