Первоклассное тестирование
description
Transcript of Первоклассное тестирование
![Page 1: Первоклассное тестирование](https://reader035.fdocuments.net/reader035/viewer/2022070301/5468c015af7959a75e8b5502/html5/thumbnails/1.jpg)
Первоклассное тестирование
Евгений Ланцов. Return On Intelligence.
![Page 2: Первоклассное тестирование](https://reader035.fdocuments.net/reader035/viewer/2022070301/5468c015af7959a75e8b5502/html5/thumbnails/2.jpg)
Содержание
• Тестирование это больше, чем поиск дефектов• Какую информацию может предоставить тестирование?• Помогаете ли вы своим тестировщикам?• Насколько ценно ваше тестирование?• Как сделать вашу команду тестирования первоклассной?
![Page 3: Первоклассное тестирование](https://reader035.fdocuments.net/reader035/viewer/2022070301/5468c015af7959a75e8b5502/html5/thumbnails/3.jpg)
Кому это может быть интересно?
• Менеджерам, сомневающимся в пользе, которую приносит их команда тестирования
• Менеджерам, желающим увеличить ценность тестирования
• Менеджерам, которым предстоит продавать тестирование заказчику
• Тест менеджерам, набирающим команду тестирования
• Тестировщикам, желающим понять, к чему стоит стремиться, чтобы найти хорошую работу
![Page 4: Первоклассное тестирование](https://reader035.fdocuments.net/reader035/viewer/2022070301/5468c015af7959a75e8b5502/html5/thumbnails/4.jpg)
Восприятие – это все
Что менеджеры зачастую думают о тестировании:– Узкое место– Хранители качества– Любители все сломать– Кликающие по кнопкам– Специальные знания не обязательны– Дорогостоящее излишество– Отвечает за качество продукта и гарантирует качество
![Page 5: Первоклассное тестирование](https://reader035.fdocuments.net/reader035/viewer/2022070301/5468c015af7959a75e8b5502/html5/thumbnails/5.jpg)
Истинная цель тестирования
• Истинная цель тестирования – это предоставление информации о состоянии продукта.
• “The ultimate reason testers exist is to provide information that others on the project use to create things of value.” James Bach
• “Testing is a service role. Feel good about that. The service you provide is vital.” Cem Kaner
• Чтобы оценить тестирование нужно оценить информацию, которую оно предоставляет
![Page 6: Первоклассное тестирование](https://reader035.fdocuments.net/reader035/viewer/2022070301/5468c015af7959a75e8b5502/html5/thumbnails/6.jpg)
Кто способен оценить информацию?
![Page 7: Первоклассное тестирование](https://reader035.fdocuments.net/reader035/viewer/2022070301/5468c015af7959a75e8b5502/html5/thumbnails/7.jpg)
Тестирование – центр колеса
QA
Директорат
Пользователи
Тех. поддержка
SQA
Менеджмент проекта
Разработчики
Маркетинг
Технические писатели
![Page 8: Первоклассное тестирование](https://reader035.fdocuments.net/reader035/viewer/2022070301/5468c015af7959a75e8b5502/html5/thumbnails/8.jpg)
Информация для разработчика
• Цель: Написать код вовремя без грубых ошибок. Чтобы заказчик не нашел серьезных дефектов. Иначе, буду выглядеть глупо в глазах команды, особенно менеджера.
• Вопросы:– Сколько дефектов я допустил?– Они разбросаны по коду или все в одном месте?– Я делаю разные ошибки или одни и те же?
• Метрики:– Количество дефектов на количество строк кода– Распределение дефектов по функционалу (модулям)– Причины дефектов (root cause)
![Page 9: Первоклассное тестирование](https://reader035.fdocuments.net/reader035/viewer/2022070301/5468c015af7959a75e8b5502/html5/thumbnails/9.jpg)
Информация для тест менеджера
• Цель: Убедиться, что тестировщики нашли бОльшую часть дефектов, и очень немногие просочатся в релиз.
• Вопросы:– Каков процент дефектов найденных до, во время и после
системного тестирования?– Как мы пропустили дефекты?
• Метрики:– Распределение дефектов по фазам тестирования– Анализ пропущенных дефектов, их причины
![Page 10: Первоклассное тестирование](https://reader035.fdocuments.net/reader035/viewer/2022070301/5468c015af7959a75e8b5502/html5/thumbnails/10.jpg)
Информация для менеджера проекта
• Цель: Создать высококачественный продукт, удобный для заказчика, решающий его проблемы и не создающий дополнительных затрат после релиза.
• Вопросы:– Готов ли продукт к релизу – соответствует ли критериям качества?– Каково было бы их влияние (impact) на систему, пропусти мы их?– Сколько еще серьезных дефектов может быть не найдено?– Каково их влияние?
• Метрики:– Количество дефектов на количество строк кода– Оценка оставшегося тестирования– Анализ влияния дефектов (impact analysis)
![Page 11: Первоклассное тестирование](https://reader035.fdocuments.net/reader035/viewer/2022070301/5468c015af7959a75e8b5502/html5/thumbnails/11.jpg)
А также
• Директорат – информации о качестве продуктов компании, информация о рисках, статус проектов по тестированию
• Технические писатели – отзывы о документации, дефекты документации
• SQA – информация о процессе тестирования, проектных процессах, помогающая их улучшать
• Техническая поддержка - информация о результатах анализа и/или тестирования работоспособности, стабильности, надежности, восстановимости продукта и т.д. (reliability, stability, recoverability)
• Пользователи – информация об известных проблемах (known issues), помощь по работе с продуктом
• Маркетинг – информация о тестировании для продвижения компании на рынке
![Page 12: Первоклассное тестирование](https://reader035.fdocuments.net/reader035/viewer/2022070301/5468c015af7959a75e8b5502/html5/thumbnails/12.jpg)
Кто способен предоставить эту информацию?
![Page 13: Первоклассное тестирование](https://reader035.fdocuments.net/reader035/viewer/2022070301/5468c015af7959a75e8b5502/html5/thumbnails/13.jpg)
Первоклассные тестировщики
Первоклассные тестировщики способны:– Оценить дизайн и архитектуру приложения еще до того, как код
написан– Во время написания кода подготовить ручные и
автоматизированные тесты, проверяющие случаи, о которых разработчики даже не думали
– Измерить все, что они протестировали, оценить риски и понять, что протестировано достаточно, чтобы их минимизировать
– Не просто находить и создавать отчеты о дефектах, но предоставлять информацию о продукте и ходе тестирования, принимать участие в анализе требований, дизайне.
![Page 14: Первоклассное тестирование](https://reader035.fdocuments.net/reader035/viewer/2022070301/5468c015af7959a75e8b5502/html5/thumbnails/14.jpg)
Оцените ваше тестирование
• Участвуют ли ваши тестировщики в обсуждениях требований или дизайн митингах?
• Делитесь ли вы всей информацией о продукте с тестировщиками?• Помогаете ли вы тестировщикам с требуемыми тест инструментами?• Улучшаете ли вы тестируемость продукта?• Тратите ли вы на тренинги для тестировщиков столько же, сколько для
разработчиков?• Начинают ли ваши тестировщики работать только, когда код уже
написан?• Обладают ли ваши тестировщики специфической технической
экспертизой? Легко ли найти им замену?
![Page 15: Первоклассное тестирование](https://reader035.fdocuments.net/reader035/viewer/2022070301/5468c015af7959a75e8b5502/html5/thumbnails/15.jpg)
Оцените ваше тестирование
• Нашли ли ваши тестировщики наиболее критичные ошибки до релиза?• Нравится ли разработчикам работать с тестировщиками?• Владеют ли они специфической информацией о продукте и рисках?• Удовлетворены ли они тем, что минимизируют риски продукта до
релиза?• Способны ли они оценить время, необходимое для тестирования, и
объяснить почему?• Бывает ли так, что сроки релиза срываются из-за тестирования?• Могут ли ваши тестировщики читать код наравне с разработчиками? • Можете ли вы оценить объем необходимых изменений в продукте,
основываясь на результатах тестирования?
![Page 16: Первоклассное тестирование](https://reader035.fdocuments.net/reader035/viewer/2022070301/5468c015af7959a75e8b5502/html5/thumbnails/16.jpg)
Как собрать команду первоклассных тестировщиков?
![Page 17: Первоклассное тестирование](https://reader035.fdocuments.net/reader035/viewer/2022070301/5468c015af7959a75e8b5502/html5/thumbnails/17.jpg)
Найм и обучение
4 основных критерия экспертизы:– Фундаментальные знания: техники, типы, этапы тестирования– Опыт: практическое применение фундаментальных знаний, опыт
работы с различными приложениями, способности к освоению новых
– Инструменты/технологии: знание технологий и инструментов, используемых на проекте, обучаемость новым
– Знания предметной области: понимание ожиданий заказчика в конкретных доменах, знание потенциальных проблем, применение этих знаний, специфические техники и типы тестирования
![Page 18: Первоклассное тестирование](https://reader035.fdocuments.net/reader035/viewer/2022070301/5468c015af7959a75e8b5502/html5/thumbnails/18.jpg)
Найм и обучение
• Найм:– Создайте у себя в голове образ идеального тестировщика для
вашего проекта– Для собеседования подготовьте вопросы и задачи на основе своего
проекта– Обращайте внимание на обучаемость и логическое мышление в
первую очередь– Оцените подход к решению нестандартных задач
• Обучение:– Не экономьте на обучении– Проводите тренинги– Сертифицируйте сотрудников– Мотивируйте самообразование
![Page 19: Первоклассное тестирование](https://reader035.fdocuments.net/reader035/viewer/2022070301/5468c015af7959a75e8b5502/html5/thumbnails/19.jpg)
Выводы
• Не всем проектам и командам жизненно необходимо первоклассное тестирование.
• Подумайте, удовлетворены ли вы вашим тестированием.
• Ваша команда может быть способна на многое. Помогите им раскрыть потенциал.
• Не набирайте команду тестирования бездумно.
• Растите профессионалов.
![Page 20: Первоклассное тестирование](https://reader035.fdocuments.net/reader035/viewer/2022070301/5468c015af7959a75e8b5502/html5/thumbnails/20.jpg)
Вопросы?
![Page 21: Первоклассное тестирование](https://reader035.fdocuments.net/reader035/viewer/2022070301/5468c015af7959a75e8b5502/html5/thumbnails/21.jpg)
Использованные статьи
• “The Secret Skill – How to Sell Testing”, Jim Hazen, ST&QA magazine, August 2011
• “No More Second Class Testers!”, Johanna Rothman, pp. 24-32, Better Software magazine, January 2004
• “Proving Our Worth”, Lee Copeland, pp. 32-36, Better Software magazine, July/August 2006