"Веб-выборы 2012". Как выдержать 70-дневный марафон по...
52
"Веб-выборы 2012". Как выдержать 70-дневный марафон по тестированию? Павел Абдюшев
description
Презентация Павла Абдюшева на SQA Days-16 14-15 ноября 2014, Санкт-Петербург, Россия www.sqadays.com
Transcript of "Веб-выборы 2012". Как выдержать 70-дневный марафон по...
"Веб-выборы 2012". Как
выдержать 70-дневный
марафон по тестированию?
Павел Абдюшев
2
10 лет в тестировании
2004
2005
2007
2011
52
Работа, интересы
внештатный
тренер
ведущий
тестировщик
Аналитика, UX, тест-дизайн, проектирование взаимодействия.
3
52
4
Проект видеонаблюдения
52
5
36
Десктопная станция
6
Система наблюдения
52
7
Схема работы
Сервер
регистрации
Сервер
трансляции
Сервер
обновления ПО
Запись
52
8
Сложность проекта
Linux + собственный GUI
Видео через сеть в
реальном времени
Временные зоны
Внезапность
Жесткий дедлайн
52
2
36
25 .1 2 .201 1
70 дней до
выборов
10
Люди — каков максимум?
Овертаймы
Выходные
Тестировщики с других
проектов
Не тестировщики
52
11
Сохраняем ресурс в бою
Ужин
Витамины
Фитнес
Массаж
52
12
Каналы информации
52
13
Skype-чаты
Новости проекта
Уточнение требований
Информация по срокам
Решение проблем
Быстроисправляемые баги
52
2
36
08 .01 .2012
56 дней до
выборов
15
4 вида ноутбуков
52
16
4 вида веб-камер
52
17
2 типа USB-удлинителей
52
18
48 конфигураций, а не 2
(4 ноута + 2 десктопа) ×
4 камеры ×
2 типа USB-удлинителей
52
19
Конфигурации
Фиксация вариаций
Используем все имеющееся железо
Ежедневная смена конфигураций
Создание матрицы
Приоритизация
52
20
Конфигурации
52
21
Конфигурации
52
2
36
10 .01 .2012
54 дня до
выборов
2
36
Надежность
24
Надежность — брейншторм
Переключение камер
Валенок на клавиатуре
Другие камеры и USB-устройства
Закрыть крышку ноутбука
Тест с фонариком
…
52
2
36
20 .01 .2012
44 дня до
выборов
26
Ускоряем тестирование
Анализ конфигов:
длинные таймауты
зависимые настройки
Добавление утилит в систему
52
27
Автоматизируем
смену настроек;
сбор логов и версий;
приведение системы в нужное
состояние;
установку системы.
52
2
36
25 .01 .2012
39 дней до
выборов
29
Регрессия
52
30
Регрессия
52
31
Ежедневная регрессия
52
2
36
01 .02 .2012
32 дня до
выборов
33
Снова автоматизация
Утилита ограничения ширины канала
и создания помех в сети
52
34
Divide et impera
52
35
Оптимизация регрессии
Не зарегистри-
рован
Зарегистри-
рован
Есть
обновление
Нет
обновления
Недоступен
сервер
обновлений
52
36
Оптимизация регрессии
Не зарегистри-
рован
Зарегистри-
рован
Есть
обновление
Нет
обновления
Недоступен
сервер
обновлений
52
37
Оптимизация регрессии
Не зарегистри-
рован
Зарегистри-
рован
Есть
обновление
Нет
обновления
Недоступен
сервер
обновлений
52
38
Выделяем сценарии
52
39
Приемочный тест
52
2
36
25 .02 .2012
8 дней до
выборов
41
Вести с полей
52
2
36
02 .03 .2012
2 дня до
выборов
2
36
Часы-робот
2
36
04 .03 .2012
День X
45
Миссия выполнима!
52
46
Управление рисками
Недостаточно людских ресурсов
Болезнь
Пропуск требований
Возможные проблемы
с железом
с сетью
Зависание системы из-за действий пользователя
Выход системы из строя при обновлении
52
47
Протестировать всё
Изменение конфигов системы
Регрессия силами тестировщиков других проектов
Тестовое покрытие за счет сценариев
Приоритизация конфигураций
Совмещение конфигурационного и регрессионного
тестирования
Автоматизация рутины
Нет велосипедам
52
48
Что упустили
Пользовательский опыт
Никто не читает инструкции
Невоспроизводящиеся ошибки
52
49
Благодарности
Ex-коллегам из Undev.ru, особенно:
Никите Налютину
Жене Ли
Игорю Варянице
Антону Киселеву
Коллегам из HumanFactor Labs
Программному комитету и отдельно
Сергею Атрощенкову
52
50
52
Невозможное возможно!
Спасибо за внимание
2
36
Продолжение
следует …
