Разработка анализатора системы обнаружения атак, основанного на методах кластерного анализа

Студент 522 гр. Наградов Е.А.

Научные руководители:

д.ф.-м.н., проф. Смелянский Р.Л.

Качалин А.И.

2

Постановка задачи

Разработать и исследовать эффективности метода обнаружения атак на основе алгоритмов кластерного анализа, обладающего следующими свойствами: обучение без использования примеров атак обнаружение атак в режиме реального времени

Декомпозиция задачи Исследовать эффективность применения различных

методов кластерного анализа для решения задачи обнаружения атак

Разработать метод обнаружения атак, основанный на алгоритмах кластерного анализа

Реализовать анализатор системы обнаружения атак Провести исследование эффективности реализованного

анализатора по критериям точности и временной сложности

3

Модель предметной области

Наблюдаемая система взаимодействующие ресурсы наблюдатели, собирающие информацию об

активности ресурсов (состояние ресурса) Состояние системы – совокупность состояний

ресурсов системы Состояния системы

нормальное – состояние системы в процессе штатного функционирования

аномальное Атака – воздействие на систему, которое

переводит систему из нормального состояния в аномальное

4

Схема функционирования

Наблюдаемаясистема

обучающая выборка

построение модели нормального поведения системы как совокупности кластеров нормальных состояний системы

Cl = {pi}, pi = ( ci, ri, ni ), i = 1..M

этап обучения

анализируемые состояния этап обнаружения

определение принадлежности к совокупности кластеров Cl

совокупность кластеров Cl

{xi}NormS

атака/не атака

5

Исследование применимости методов кластерного анализа

Рассмотренные методы: методы минимизации квадратичной ошибки

неинкрементальные (batch k-means, online k-means) инкрементальные (incremental k-means, BIRCH)

иерархические методы (complete linkage, single linkage, PNN)

методы построения минимального покрывающего дерева

нечеткие методы (Fuzzy c-means, EM for GMM) Критерии применимости:

временная сложность (обучения и обнаружения атак) точность (обучения и обнаружения атак)

6

Схема функционированияобучающая выборка

определение количества кластеров и начального расположения кластеров

объединение кластеров

повышение точности кластеризации

Cl1 = {pi}

Cl2 = {pi}, i = 1..M

Cl3 = {pi}, i = 1..M, MSE3<MSE2

complete-linkage

batch k-means

шаг 1:

шаг 2:

шаг 3:

построение модели нормального поведения

BIRCH

модель нормального поведенияCl

определение принадлежности ксовокупности кластеров Cl

анализ отклонений, k-NN

pi = ( ci, ri, ni )

анализируемые состояния

7

Исследование эффективности

Тестирование на данных KDD цели тестирования

оценка точности обнаружения атак и числа ложных срабатываний

проверка возможности обучения на обучающей выборке, содержащей шум

8

Тестирование при обучении на выборке без шума

9

Тестирование при обучении на выборке с добавлением шума

10

Исследование эффективности

Тестирование в составе системы REDSecure цели тестирования

проверка возможности обнаружения атак в режиме реального времени

оценка точности обнаружения атак в составе реальной СОА

11

Тестирование в составе системы REDSecure

требуемое максимальное время анализа состояния системы – 1 мс соответствующее число кластеров модели нормального поведения –

800

12

Тестирование в составе системы REDSecure

13

Полученные результаты

Выполнено исследование эффективности применения методов кластерного анализа для решения задачи обнаружения атак

Разработан метод обнаружения атак, основанный на алгоритмах кластерного анализа

Реализован анализатор на основании разработанного метода (~11000 строк кода С++), выполнена интеграция анализатора в СОА REDSecure

Проведено исследование эффективности реализованного анализатора на данных KDD и в составе СОА REDSecure

Спасибо за внимание

15

16

Сравнение с другими алгоритмами обнаружения атак (KDD)

DoS U2R R2L Probe ложные срабатывания

97.163% 72.857% 5.439% 90.614% 1.19%

97.199% 74.286% 6.463% 98.344% 2.01%

97.855% 92.857% 30.858% 99.712% 3.11%

99.192% 95.714% 31.889% 99.880% 4.31%

99.975% 98.571% 35.910% 99.928% 7.76%

99.990% 98.571% 43.059% 99.928% 13.54%

DoS U2R R2L Probe ложные срабатывания

97% 90% 51% 99% 3%

98% 97% 64% 100% 35%

89% 58% 28% 94% 2%

разработанный анализатор

Fuzzy Single-class SVM

17

Сравнение с другими алгоритмами обнаружения атак (KDD Э2)

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

0% 1% 2% 3% 4% 5% 6% 7% 8% 9% 10% 11% 12% 13% 14% 15% 16% 17% 18% 19% 20%

ложные срабатывания (%)

точн

ост

ь о

бн

ар

уж

ен

ия а

так (

%)

cluster

метрический k-NN

SVM (статистический)

k-NN (delta)

Fuzzy SVM

18

Задача обнаружения атак

Задана обучающая выборка: NS = { xi | xi NormS }, где NormSST – множество

нормальных состояний системы S

Требуется построить отображение fS: ST→{0, 1} такое, что: fS(st)=0 если st NormS

fS(st)=1 если st ST \ NormS

Ограничение режима реального времени – вычисление fS(st) должно удовлетворять директивному сроку Tmax

Этап обучения

Задана обучающая выборка NS = { xi | xi NormS }, где NormSST –

множество нормальных состояний системы S Требуется построить множество

кластеров Cl(NS) = {p1, .., pk } – модель нормального поведения

Ограничение на количество кластеров |Cl(NS)| ≤ M

Этап обнаружения

Задано: модель нормального поведения Cl(NS) анализируемые вектора {xi}, xiST

Для каждого xi требуется вычислить fS(xi) с помощью Cl(NS)

Ограничение режима реального времени вычисление fS(xi) должно удовлетворять

директивному сроку Tmax

21

Общая схема анализатора

Этап обучения Входные данные

обучающая выборка NS = {xi | xiNormS}, где NormSST Требуется

построить множество кластеров Cl(NS) = {p1, .., pk} количество кластеров |Cl(NS)| < M

Этап обнаружения Входные данные

модель нормального поведения Cl(NS) анализируемые вектора {xi}, xiST

Требуется для каждого xi вычислить fS(xi) с помощью Cl(NS) вычисление fS(xi) должно удовлетворять директивному

сроку Tmax

23

модификации k-NN

N

cvn

NSClvgamma vPpii

di

)())(,(

N

cvn

NSClvdelta vPpii

di

)(

)(

))(,(

i

ii N

Sc pi={Si, S2,i, Ni}

ivPp

kdkvPpid cvcvvPpNnNSClvP

didi

)(

)(

max:)(,:)()(

),min(1

1

i

jjii nNNn

24

Актуальность задачи

Сигнатурные СОА: проблемы выделения сигнатур и обеспечения «защиты

нулевого дня» проблемы одновременного использования большого числа

сигнатур Статистические СОА:

для обучения нейросетевых СОА требуются примеры атак СОА, основанные на иммунных методах, обладают высокой

временной сложностью, не позволяющей выполнять обнаружение атак в режиме реального времени

Применение методов КА: для обучения не требуются примеры атак возможность обучения при наличии шума в обучающей

выборке возможность обнаружения атак в режиме реального времени