"Веб-выборы 2012". Как

выдержать 70-дневный

марафон по тестированию?

Павел Абдюшев

2

10 лет в тестировании

2004

2005

2007

2011

52

Работа, интересы

внештатный

тренер

ведущий

тестировщик

Аналитика, UX, тест-дизайн, проектирование взаимодействия.

3

52

4

Проект видеонаблюдения

52

5

36

Десктопная станция

6

Система наблюдения

52

7

Схема работы

Сервер

регистрации

Сервер

трансляции

Сервер

обновления ПО

Запись

52

8

Сложность проекта

Linux + собственный GUI

Видео через сеть в

реальном времени

Временные зоны

Внезапность

Жесткий дедлайн

52

2

36

25 .1 2 .201 1

70 дней до

выборов

10

Люди — каков максимум?

Овертаймы

Выходные

Тестировщики с других

проектов

Не тестировщики

52

11

Сохраняем ресурс в бою

Ужин

Витамины

Фитнес

Массаж

52

12

Каналы информации

52

13

Skype-чаты

Новости проекта

Уточнение требований

Информация по срокам

Решение проблем

Быстроисправляемые баги

52

2

36

08 .01 .2012

56 дней до

выборов

15

4 вида ноутбуков

52

16

4 вида веб-камер

52

17

2 типа USB-удлинителей

52

18

48 конфигураций, а не 2

(4 ноута + 2 десктопа) ×

4 камеры ×

2 типа USB-удлинителей

52

19

Конфигурации

Фиксация вариаций

Используем все имеющееся железо

Ежедневная смена конфигураций

Создание матрицы

Приоритизация

52

20

Конфигурации

52

21

Конфигурации

52

2

36

10 .01 .2012

54 дня до

выборов

2

36

Надежность

24

Надежность — брейншторм

Переключение камер

Валенок на клавиатуре

Другие камеры и USB-устройства

Закрыть крышку ноутбука

Тест с фонариком

…

52

2

36

20 .01 .2012

44 дня до

выборов

26

Ускоряем тестирование

Анализ конфигов:

длинные таймауты

зависимые настройки

Добавление утилит в систему

52

27

Автоматизируем

смену настроек;

сбор логов и версий;

приведение системы в нужное

состояние;

установку системы.

52

2

36

25 .01 .2012

39 дней до

выборов

29

Регрессия

52

30

Регрессия

52

31

Ежедневная регрессия

52

2

36

01 .02 .2012

32 дня до

выборов

33

Снова автоматизация

Утилита ограничения ширины канала

и создания помех в сети

52

34

Divide et impera

52

35

Оптимизация регрессии

Не зарегистри-

рован

Зарегистри-

рован

Есть

обновление

Нет

обновления

Недоступен

сервер

обновлений

52

36

Оптимизация регрессии

Не зарегистри-

рован

Зарегистри-

рован

Есть

обновление

Нет

обновления

Недоступен

сервер

обновлений

52

37

Оптимизация регрессии

Не зарегистри-

рован

Зарегистри-

рован

Есть

обновление

Нет

обновления

Недоступен

сервер

обновлений

52

38

Выделяем сценарии

52

39

Приемочный тест

52

2

36

25 .02 .2012

8 дней до

выборов

41

Вести с полей

52

2

36

02 .03 .2012

2 дня до

выборов

2

36

Часы-робот

2

36

04 .03 .2012

День X

45

Миссия выполнима!

52

46

Управление рисками

Недостаточно людских ресурсов

Болезнь

Пропуск требований

Возможные проблемы

с железом

с сетью

Зависание системы из-за действий пользователя

Выход системы из строя при обновлении

52

47

Протестировать всё

Изменение конфигов системы

Регрессия силами тестировщиков других проектов

Тестовое покрытие за счет сценариев

Приоритизация конфигураций

Совмещение конфигурационного и регрессионного

тестирования

Автоматизация рутины

Нет велосипедам

52

48

Что упустили

Пользовательский опыт

Никто не читает инструкции

Невоспроизводящиеся ошибки

52

49

Благодарности

Ex-коллегам из Undev.ru, особенно:

Никите Налютину

Жене Ли

Игорю Варянице

Антону Киселеву

Коллегам из HumanFactor Labs

Программному комитету и отдельно

Сергею Атрощенкову

52

50

52

Невозможное возможно!

Спасибо за внимание

51

52

Контакты

Mister.chipmunk

chipQA

Mister.chipmunk@gmail.com

http://chip.moikrug.ru

ch_ip

2

36

Продолжение

следует …