Про автотесты, фреймворки и железки

Андрей Баюн

SDK: Состав

Исходники

Бинари

Документация

Контент

Инструментарий

SDK: Внешний вид

SDK: Рост со временем

Windows 1 3 6 12

Linux 1 3 6

Mac OS X 1 3 6

Android 1 3

iOS 1 3

Всего SDK 5 15 24 30

Время

Надо проверять

• Установку и удаление

• Состав каждого комплекта

• Сборку исходников

• Ошибки при запуске

• Функционал инструментария

• Качество картинки

Требования к системе

• Кроссплатформенность

• Легкое наращивание тестовых окружений и тестов

• Планировщик

Готовые решения

• HP LoadRunner, QuickTest Professional, HP Quality

Center

• IBM Rational

• SmartBear TestComplete

• Не подходят

Встречайте, UNITEST!

• UNIGINE TEST (Framework)

• Разработан за 2 месяца

• С помощью:

• 1 системный администратор

• 1 билд-инженер

• 1 ведущий инженер по качеству

• Сила воли и вера в победу

UNITEST

Важно!

Впереди описание велосипеда!

UNITEST: Железная часть

UNITEST: Отчеты

Задачи железок

• Подготовка чистого окружения

• Хранение образов виртуальных машин

• Информирование и отчеты

Побочные эффекты• Песочница для ручного тестирования

• Тестирование других продуктов

Задачи людей

• Придумывание тестов

• Поддержка тестов и тестовых окружений

Правила• Атомарность тестов

• Максимальная утилизация железок

Классификация тестов

• По платформам

• По время выполнения

• По частоте запуска

UNITEST: Cтруктура тестов

UNITEST: Результаты теста

Задачи тестов

• Не глючить (не падать)

• Делать полезную и нудную работу

В сухом остатке

• Разработано 25 тестовых наборов

• ~1250 тест-кейсов

• Самый короткий тест: 5 минут

• Самый длинный тест: 27 часов

• Автотесты работают ночью

• Ревизия тестов

• Поддержка

Ближайшие планы

• Прикрутить веб-дашборд

• Улучшение планировщика

• Графические тесты

Спасибо за внимание!