Руководство пользователя P53 · в приложении. 6. Мультисенсорный экран* Использование простых жестов
Использование скрытых марковских моделей для...
-
Upload
brynne-zamora -
Category
Documents
-
view
76 -
download
3
description
Transcript of Использование скрытых марковских моделей для...
![Page 1: Использование скрытых марковских моделей для распознавания жестов головы](https://reader035.fdocuments.net/reader035/viewer/2022062221/56813027550346895d95b205/html5/thumbnails/1.jpg)
Использование скрытых марковских моделей для
распознавания жестов головы
Докладчик: Калитеевский В.Н.Научный руководитель: проф.
Граничин О.Н.
Санкт-Петербургский Государственный Университет, Математико-МеханическийФакультет, 2014 год
![Page 2: Использование скрытых марковских моделей для распознавания жестов головы](https://reader035.fdocuments.net/reader035/viewer/2022062221/56813027550346895d95b205/html5/thumbnails/2.jpg)
Постановка задачи
Создание приложения, распознающего заданный набор жестов:
• Кивок• Наклон головы влево и возврат• Наклон головы вправо и возврат• Поворот головы влево и возврат• Поворот головы вправо и возврат• Приближение• Отдаление• Прочие
![Page 3: Использование скрытых марковских моделей для распознавания жестов головы](https://reader035.fdocuments.net/reader035/viewer/2022062221/56813027550346895d95b205/html5/thumbnails/3.jpg)
Этапы распознавания
Предварительная работа перед обучением и распознаванием делится на следующие этапы:
• Выделение жестов на видео потоке• Подготовка входных параметров• Извлечение признаков
![Page 4: Использование скрытых марковских моделей для распознавания жестов головы](https://reader035.fdocuments.net/reader035/viewer/2022062221/56813027550346895d95b205/html5/thumbnails/4.jpg)
Признаки
Базовая тройка: , где : отклонение направления головы угла
относительно вертикали : изменение отрезка [Глаза] – [Рот]
: горизонтальное отклонение координаты центра рта
x,,
x
![Page 5: Использование скрытых марковских моделей для распознавания жестов головы](https://reader035.fdocuments.net/reader035/viewer/2022062221/56813027550346895d95b205/html5/thumbnails/5.jpg)
Признаки:пример
Рис. 1: Два положения лица при наклоне головы налево
2B
1A2A
1B
x
12
1A
1B
2A
2B
2211 ; BABA
xxAAx 12
12
Рис. 2: Схема наклонаголовы
![Page 6: Использование скрытых марковских моделей для распознавания жестов головы](https://reader035.fdocuments.net/reader035/viewer/2022062221/56813027550346895d95b205/html5/thumbnails/6.jpg)
Признаки
x
![Page 7: Использование скрытых марковских моделей для распознавания жестов головы](https://reader035.fdocuments.net/reader035/viewer/2022062221/56813027550346895d95b205/html5/thumbnails/7.jpg)
Распознавание лица
Распознавание опорных точек лица
Рис. 3: intel perceptual computing sdk
![Page 8: Использование скрытых марковских моделей для распознавания жестов головы](https://reader035.fdocuments.net/reader035/viewer/2022062221/56813027550346895d95b205/html5/thumbnails/8.jpg)
Выделение жестов
В случае преувеличения суммы последних десяти кадров одного из признаков некоторого порогового значения начинается запись жеста
Рис. 4: начало записи жеста при превышении некоторого порогового значения
Порог
Время
![Page 9: Использование скрытых марковских моделей для распознавания жестов головы](https://reader035.fdocuments.net/reader035/viewer/2022062221/56813027550346895d95b205/html5/thumbnails/9.jpg)
СММ: Формальное определение
• • • , • , для • ,
Полный набор параметров модели будем обозначать, как
},..,{ 1 N},..,{ 1 MooO
}{ ijA ))(|)1(( ttP ijij Nji ,1
}{ ilB ))(|)(( ttoP ilil
M
lil
1
1 i}{ i ))1(( ii P Ni1
},,{ BA
![Page 10: Использование скрытых марковских моделей для распознавания жестов головы](https://reader035.fdocuments.net/reader035/viewer/2022062221/56813027550346895d95b205/html5/thumbnails/10.jpg)
Обучение СММ
• Даны N – обучающих примера , где - наблюдаемая последовательность, а - метка из числа классов
• Делим эти N примеров на M групп так, чтобы каждая группа содержала элементы с одной меткой
• Подготавливаем данные из : извлекаем признаки и равномерно распределяем точки
• С помощью алгоритма Баума-Уелша обучаем СММ, подавая на вход признаки и соответствующую метку
)(),....,( ,1,1 NN yOyO iO
iy M,...,1
iO
![Page 11: Использование скрытых марковских моделей для распознавания жестов головы](https://reader035.fdocuments.net/reader035/viewer/2022062221/56813027550346895d95b205/html5/thumbnails/11.jpg)
Алгоритм Баума-Уелша
Исходные данные: со случайными начальными условиями.
Алгоритм итеративно обновляет параметр до схождения в одной точке.
},,{ BA
)|(
)1()(,|)1(),()( )1(
oP
ttottPtv jtjoiji
jiij
N
jiji v
1
)1(
1
1 1
1
1
)(
)(
T
t
N
jij
T
tij
ij
tv
tv
T
t
N
jij
T
otot
N
jij
il
tv
tvl
1 1
)(,1 1
)(
)(
![Page 12: Использование скрытых марковских моделей для распознавания жестов головы](https://reader035.fdocuments.net/reader035/viewer/2022062221/56813027550346895d95b205/html5/thumbnails/12.jpg)
Классификация
• Дана наблюдаемая последовательность
• Подготавливаем данные: извлекаем и распределяем точки
• С помощью алгоритма Витерби, подавая на вход признаки, вычисляем принадлежности к каждому классу M:
• Выбираем класс , набравший максимальную вероятность
TOOO ....21
)|( OPmaxM)|(max OP
![Page 13: Использование скрытых марковских моделей для распознавания жестов головы](https://reader035.fdocuments.net/reader035/viewer/2022062221/56813027550346895d95b205/html5/thumbnails/13.jpg)
Алгоритм Витерби
• Инициализация:• Рекурсия: ,
, • Остановка: ,
)()1(max)( tiojtjj
i tt
Ni1jij
ji tt )1(maxarg)(
)(max* Tjj
)(maxarg)(* TT jj
![Page 14: Использование скрытых марковских моделей для распознавания жестов головы](https://reader035.fdocuments.net/reader035/viewer/2022062221/56813027550346895d95b205/html5/thumbnails/14.jpg)
Заключение
Достигнут высокий уровень детектирования жестов
Алгоритм на идее ЕМ-метода
СММ
Кивок 60% 80%Наклон влево 70% 90%Наклон вправо 70% 90%Поворот налево 70% 90%Поворот направо 70% 90%Приближение 95% 95%Удаление 95% 95%
![Page 15: Использование скрытых марковских моделей для распознавания жестов головы](https://reader035.fdocuments.net/reader035/viewer/2022062221/56813027550346895d95b205/html5/thumbnails/15.jpg)
Результаты
Приложение, с высокой точностью распознающее заданный набор жестов.
• C# Gui• Python