Технология распознавания прикосновений к поверхности на основе данных сенсора-дальномера

Леонид КоролевИнФО УрФУ

2

Актуальность работы

Ограничения существующих технологий:

• Высокая стоимость

• Ограниченное число касаний — не более двух

• Механический износ и необходимость

обслуживания

• Возможность повреждения устройства

Предлагаемая технология позволяет преодолеть

указанные ограничения

3

Цель работы• Разработка программного обеспечения,

осуществляющего распознавание и

отслеживание прикосновений к поверхности в

реальном времени на основе данных сенсора-

дальномера

4

Требования

• Работа в реальном времени на

процессорах, эквивалентных Intel Core i3

• Поддержка множественного числа

касаний

• Работа с экранами диагональю до 90

дюймов

• Поддержка ОС Windows 8

5

• Невысокая стоимость по сравнению с

аналогами

• Высокая частота обновления данных

• Возможность получать 2D и 3D данные

Аппаратное обеспечение

6

Исходные данные с сенсора• Облако точек — массив точек в трехмерном

пространстве• Карта глубины — изображение, описывающие

удаленность видимых объектов

7

Средства для разработки

Сенсор-дальномер Microsoft Kinect for Windows

Язык программирования С++

Интегрированная среда разработки (IDE)

Microsoft Visual Studio 2010

Библиотека для взаимодействия с сенсором

Kinect SDK 1.7.0

Основной каркас приложения OpenFrameworks 0.7.4

Библиотека для работы с 3D данными

PCL 1.6.0

Целевая платформа Microsoft Windows 8

8

• Анализ существующих методов распознавания

• Написание технического задания

• Проектирование архитектуры приложения и

алгоритма его работы

• Подключение необходимых библиотек

• Реализация и интеграция программных

модулей и алгоритмов

• Тестирование написанной программы

Задачи

9

Схема работыНачальная настройка

10

Схема работыОсновной цикл работы приложения

11

Демонстрация работы

12

• Ошибки распознавания точек касания

• Заметное на глаз отставание точки

касания от реального объекта при

быстром движении

• Невозможность распознавания

прикосновения при перекрытии объекта,

касающегося поверхности

Ограничения

13

• Увеличение точности алгоритмов

распознавания

• Адаптация под другие модели сенсоров

• Реализация поддержки различных ОС

• Поддержка работы с несколькими

сенсорами для повышения точности и

надежности распознавания

Перспективы разработки

14

Спасибо за внимание!