Случайное тестирование

Случайное тестированиеSoftware Testing 101

Марат Ахин

Санкт-Петербургский государственный политехнический университет

2014

Марат Ахин (СПбГПУ) RT 2014 245 / 346

Quiz


Recap


Случайное тестирование

Содержание

1 Случайное тестированиеГенерация тестовFuzzingGenerative random testingMutation random testingDirected random testing


Случайное тестирование Генерация тестов

Генерация тестов

Развитие идеи генерации тестовых оракуловПолная автоматизация процесса тестирования




Основная идеяЗаставить компьютер работать вместо нас

ДешевлеБыстрееНет человеческого фактора




Автоматическая генерация компонентов тестов

Входные данныеПоследовательности вызовов APIТестовые оракулы




Результаты очень сильно зависят от того, что именно мы тестируем...

kd-treestoimd5sumPDF reader


Случайное тестирование Fuzzing

Fuzzing

Прародитель случайного тестирования

Полностью случайные данныеВариант smoke testing

P8FT8PjBG7s71Bw1a8EP4svDPL5g4E791TJcs5t9ZbxQAsLZx436PdJcxk3vq61192



Fuzzing

Используем слабые оракулыПри необходимости вставляем заглушки

Что такое случайные данные?Набор байтВызовы функций APIПользовательский ввод



Fuzzing

1989 – первое применение фаззинга на утилитах *NIX1995 – повторная проверка утилит *NIX2000 – проверка Windows NT/Windows 20002006 – проверка утилит Mac OS X

Стали ли результаты лучше?



Fuzzing

Нет!

Все стало еще хуже!

GUI: 26% -> 45% -> 64% -> 73%Многие баги, обнаруженные фаззингом, были исправлены......но появилось еще больше новых!



Fuzzing



Fuzzing

md5sumkd-treestoiPDF reader

Работает для всех программНо есть одно «но»... c©



Проблема валидности данных

Полностью случайные данные являются невалидными входнымиданными для большинства программ



Проблема валидности данных

Большинство программ ожидают структурированные входныеданные

P8FT8PjBG7s71Bw1a8EP4svDPL5g4E791TJcs5t9ZbxQAsLZx436PdJcxk3vq61192

vs3.1415926535897932384626433832797[(1,0,0),(0,1,0),(0,0,1),(1,1,1)]


Случайное тестирование Generative random testing

Generative random testing

Если мы знаем структуру, то мы можем ей воспользоваться

Генерируем отдельные элементыКомбинируем их в соответствии с заданной структуройВносим случайные нарушения структуры




Что такое структура?

Набор правил генерацииГрамматикаФормальная спецификацияСтандарт на формат входных файлов




kd-treestoiPDF reader

Работает для структурированных входных данныхНо есть одно «но»... c©



Проблема сложной структуры

Иногда структура входных данных является слишком сложной


Случайное тестирование Mutation random testing

Mutation random testing

Обычно у нас есть какой-то набор тестовых входных данных

Подвергаем тестовые данные мутацииПри этом возможно использование знания структуры данныхЧасть данных может генерироваться случайно




Какие могут быть мутационные трансформации?

Добавление нового фрагментаУдаление старого фрагментаИзменение фрагмента

Обмен двух фрагментов местамиЗамена значений на граничные




PDF readerWeb browser

Работает практически для всегоНо есть одно «но»... c©



Проблема скелета в шкафу

Добраться до самых дальних закоулков нельзя


Случайное тестирование Directed random testing

Directed random testing

В чем заключаются основные проблемы случайного тестирования?

Некорректные тестыЭквивалентные тестыДлинные тесты




Некорректные тесты

Более строгие правила генерации/мутацииЯвный учет некорректных тестов




Эквивалентные тесты

Обнаружение тестов, на которых программа ведет себяодинаковым образом

СтатическиДинамически

Вспомним про тестовое покрытие...




Длинные тесты

Минимизация тестовДихотомияСтохастический поискЭволюционные алгоритмы

Delta debugging




А можно ли еще лучше?

Каждый новый тест минимально отличается от имеющихсяКаждый новый тест улучшает тестовое покрытиеКаждый новый тест должен генерироваться достаточно быстро



Concolic testing

Concolic testing

Комбинируем информацию о конкретных выполненияхпрограммы......и информацию о символическом поведении программы

Комбинация статического и динамического анализов



Satisfiability modulo theories

1 void f(int x) {2 int y = x^2;34 bool A = x > 0;5 bool B = x < 10;6 bool C = y > 20;78 if (B && C) {9 if (A) {

10 ...11 }12 }13 }

SMT to the rescue

1 x, y = Ints(’x y’)2 A, B, C = Bools(’A B C’)34 s = Solver ()56 s.add(y == x * x)7 s.add(A == (x > 0))8 s.add(B == (x < 10))9 s.add(C == (y > 20))



Satisfiability modulo theories

1 print s.check(B and C, A)2 print s.model ()3 # sat4 # [A = True , B = True , y = 25, x = 5, C = True]56 print s.check(B and C, Not(A))7 print s.model ()8 # sat9 # [A = False , B = True , y = 25, x = -5, C = True]

1011 print s.check(Not(B and C))12 print s.model ()13 # sat14 # [A = False , B = True , y = 0, x = 0, C = False]



Проблемы concolic testing

Почему я слышу об этом впервые в жизни?

Это сложноЭто очень сложноЭто очень-очень сложно



Проблемы concolic testing

Инструментирование программыМоделирование памятиВзрыв пространства состояний

Оптимизации!



Concolic testing

SAGE

Microsoft Research500+ машино-летБолее трети всех багов в различных проектах MicrosoftРазвивается вместе с тестируемым им ПО



Проблема мистера Икс

Некоторые части системы могут быть «черным ящиком»


W.I.L.T. What I Learned Today?

W.I.L.T.


Случайное тестирование

Education

Transcript of Случайное тестирование