1

Суперпозиция машинной графики поверх

транслируемого вида реального окружения.

Лекция № 2

Что такое augmented reality?

Системы компьютерного зрения• Системы управления процессами (промышленные роботы, автономные

транспортные средства).

• Системы видеонаблюдения.

• Системы организации информации (например, для индексации баз данных изображений).

• Системы моделирования объектов или окружающей среды (анализ медицинских изображений, топографическое моделирование).

• Системы взаимодействия (например, устройства ввода для системы человеко-машинного взаимодействия).

• Системы дополненной реальности.

• Вычислительная фотография, например для мобильных устройств с камерами

Что делает AR (Дополненная реальность)?

Рост Данных в IoT

100010101100001111010001001111011111101110110101100001110110111011110110111101000000000011111101010110100011100110001010010011010101011111010000110001010110000111101000100111101111110111011010110000111011011101111011011110100000000001111110101011010001110011000101001001101010101111101000011000101011000011110100010011110111111011101101011000011101101110111101101111010000000000111111010101101000111001100010100100110101010111110100001100010101100001111010001001111011111101110110101100001110110111011110110111101000000000011111101010110100011100110001010010011010101011111010000110001010110000111101000100111101111110111011010110000111011011101111011011110100000000001111110101011010001110011000101001001101010101111101000011000101011000011110100010011110111111011101101011000011101101110111101101111010000000000111111010101101000111001100010100100110101010111110100001100010101100001111010001001111011111101110110101100001110110111011110110111101000000000011111101010110100011100110001010010011010101011111010000110001010110000111101000100111101111110111011010110000111011011101111011011110100000000001111110101011010001110011000101001001101010101111101000011000101011000011110100010011110111111011101101011000011101101110111101101111010000000000111111010101101000111001100010100100110101010111110100001100010101100001111010001001111011111101110110001111000

10001010110000111101000100111101111110111011010110000111011011101111011011110100000000001111110101011010001110011000101001001101010101111101000011000101011000011110100010011110111111011101101011000011101101110111101101111010000000000111111010101101000111001100010100100110101010111110100001100010101100001111

(ZETTABYTES)

2014

9.82016

18.52018

34.32020

70.0IIoT

Analytics

Визуализационнаяобработка с

применением AR

Быстрая визуализация контекстуализированной IIoT информации(Определение в контексте промышленного применения технологии AR).Возникает проблема создания приложений ДР. Уточним определение.

Подразумевая область, в которой будем рассматривать проблематику ДР

Системы дополненной реальности.

Сложившиеся направления средств разработки ДР:1. Для «игровых» применений2. Для «промышленных» применений

AR

И там и там существует тенденция разнесения функционаларазработчика на две части – стратегическую и тактическую, или– иными словами – проектную и сценарную.«Проектная» - постановка задачи, разработка сценария, …. А сдругой стороны – внутри сценария есть средства работа собъектами. Интерес к использованию ДР в промышленныхсферах возник давно. Первыми потребителями заманчивойтехнологии были авиаторы и автомобилисты. Дополнительнаяинформация в виде контента МГ, проецируемого наменяющуюся «за окном» самолета или автомобиляреальность, может существенно помочь пилоту принятьправильное решение. Точнее и эффективнее осуществитьпосадку. Избежать коллизий на дорогах и т.д.

Начало промышленногоиспользования

AR

Сегодняшняя классификация промышленных применений AR

Значение дополненной реальности для предприятия

Продажи Проектирование Эксплуатация Обслуживание

• Визуализации продуктов и демонстрации ускоряютпродажи

• Целенаправленная интерактивная реклама повышает узнаваемостьторговой марки

• Виртуальное взаимодействие в проектировании объединяет распределенные команды

• Внешний контроль качества прототипа уменьшает кол-во дефектов и доработок

• Быстрое цифровое прототипирование снижает время выхода на рынок и оптимизирует линейку продуктов

• Внешний контроль качества уменьшает кол-во дефектов

• Панели индикаторов помогают управлять эффективностью

• Инструктаж в режиме реального времени уменьшает количество ошибок и дефектов

• Сервисные панели и инструкции повышают эффективность и точность

• Инструкции самообслуживания для заказчика снижают затраты

• Удаленная диагностика снижает расходы на командировки и обучение

Для самостоятельного изучения:Руководство по дополненной реальности. Майкл Портер. Джеймс Хеппельманн. HBR. 4.12.2017

http://a0601.narod.ru/HBRARPrtrHplmn.pdf

ЗАЧЕМ ДОПОЛНЕННАЯ РЕАЛЬНОСТЬ ПРЕДПРИЯТИЮ?

Согласно исследованию, проведенному в прошлом году компанией Boeing и Университетом штата Айова, использование дополненной реальности может...

• Ускорить устранение неисправностей на 90%

• Ускорить процедуры на 30%

ВзаимодействоватьВизуализировать Инструктировать

Дополнение возможностей человека оценивать физический мир с наложением актуальной или прогнозируемой цифровой информацией

Обучать или инструктироватьпользователей выполнять действия с помощью наложения графических инструкций или рекомендаций эксперта в реальном времени

Управлять цифровой информацией с помощью привычного пользовательского интерфейса или контролировать изделие с помощью цифрового интерфейса дополненной реальности

Необходимость разработки AR-Приложений

Типовые этапы жизненного цикла изделия, соотнесенные с типовыми бизнес- процессами и группами исполнителей

Информационное сопровождение этапов ЖЦИ

9

PLM: Место дополненной реальности

Для самостоятельного изучения:Дополненная Реальность: возможности применения для поддержки полного жизненного цикла изделия.http://a0601.narod.ru/ITPP_Artkl_AR_01_17.pdf

Системы дополненной реальности –Приложения AR

Сложившиеся направления средств разработки Приложений ДР:

1. Для «игровых» применений2. Для «промышленных» применений

Проектная разработка Объектная разработка

3D-Объекты

AR - приложение

И там и там Существует тенденция разнесения функционаларазработчика на две части – стратегическую и тактическую, или– иными словами – проектную и сценарную.«Проектная» - постановка задачи, разработка сценария, …. А сдругой стороны – внутри сценария есть средства работа собъектами. (например – формирование сцены, переход отсцены к сцене, полиморфинг – изменение объекта частичнобез потери связи с другими элементами объектамиперемещение объектов, освещение, связь со звуком,стереоскопия и т.д.). Как правило объектная разработкапроизводилась в т.н. игровых движках, а за проектнуюразработку отвечали платформы ДР.

Лидеры в проектной разработке на сегодня

https://www.youtube.com/watch?v=im0A-dz-B68

Использование AR от METAIO

Hundai – виртуальная панель пилота автомобиля –«виртуальная диагностика»

JUNAIO APPLICATION – среда разработки ДР-приложений от METAIO

Виртуальная панель сборщика станции предпродажной подготовки спорткара от VolksWagen

– Marta

Использование AR: Total immersion D’Fusion

https://www.youtube.com/watch?v=2QQTf4oX_uE

D’Fusion Computer Vision SDK– платформа разработки AR-решений от французской компании Total Immersion, передовое и запатентованное решение в области AR, позволяющее в режиме реального времени интегрировать («подмешивать») интерактивную 3D-графику в транслируемый видеопоток. D’Fusion Computer Vision SDK для работы по «подмешиванию» 3D-моделей в видеопоток в режиме реального времени использует формат структурированного информационного представления .xml, а для импорта созданных во внешних системах 3D-моделей – форматы .obj или .pts.

Использование AR от Total Immersion

https://www.youtube.com/watch?v=RfG3lYqx60A

https://www.youtube.com/watch?time_continue=2&v=mpgL21UVXes

В настоящее время пользователями D’Fusion компании Total Immersion для разработки промышленных AR-приложений являются такие лидеры мирового машиностроения как Volkswagen, Kia Motors, Citroën, Volvo, Alstom, Nissan Motors.

Неформальный рейтинг платформ AR (2018 г.)

• https://thinkmobiles.com/blog/best-ar-sdk-review/

SDK Feature Comparison Table

Wikitude ARKit ARcore Vuforia MaxST DeepAR EasyAR ARToolKit Xzimg

Maximum distance capture (m) 2.4 / 5 1.5 / 5 1.0 / 3 1.2 / 3.7 0.5 / 0.9 0.7 / 5 0.9 / 2.7 3 / 3 0.5 / 1

Recognition stability of immovable marker 6 9 9 10 7 8 7 8 4

Recognition stability of movable marker 6 7 6 6 2 7 3 6 3

Minimum angle recognition 10 30 50 30 50 35 35 10 45

Minimum visibility for recognition overlapped marker 100% 50% 75% 20% 50% 10% 10% 100% 25%

2D Recognition ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓

3D Recognition ✓ ✓ ✓ ✓ ✓ – – – ✓

Geo-Location ✓ ✓ ✓ – – – – – –

Cloud Recognition ✓ ✓ ✓ ✓ – – – – –

SLAM ✓ ✓ ✓ ✓ ✓ – – – –

Total (rating) 8.0 7.5 7.7 7.7 5.2 4.7 4.4 2.8 3.1

• Разработана компанией Qualicomm

• В 2015 году – приобретена PTC

• В составе решений PTC – в линейке IoT/IIoT

• С 2016 г. – две концептуальные платформы:• Viforia Engine (Прежнее название – Vuforia SDK -

полигональные модели 3D)• Vuforia Studio → (ThingWorx Studio, CAD-модели

3D)

Платформа Vuforia

Платформа Vuforia Engine

Платформа Vuforia Engine

Vuforia - это программная платформа для разработки приложений дополненной реальности (AR, AugmentedReality). С помощью Vuforia разработчик может легко добавлять функционал компьютерной визуализации виртуальных 3D-объектов в любое приложение, реализуя возможности распознавания и более точного понимания изображений и объектов наблюдаемых в действительности или выполняя 3D-реконструкцию окружающего и наблюдаемого пространства в реальном мире.

В Vuforia вы можете создавать AR-приложения для широкого круга индустриальных задач, будь то интерактивные инструкции рабочего места, маркетинговые материалы, сервисные руководства - для всего разнообразия возможных AR-приложений в Vuforia есть законченный набор функциональности.

Игровой движок

Межплатформенная среда

разработки компьютерных

игр. Должна обладать

визуальной средой

разработки, модульной

системой компонентов,

поддерживать различные

платформы.

Позволяет создавать

«сцены», содержащие свои

игровые миры со своим

набором объектов,

сценариев, и настроек

20

• Vuforia — это платформа дополненной реальности и инструментарий разработчика программного обеспечения дополненной реальности

«Анатомия» - Структура среды разработки AR-приложения на базе Vuforia Engine

Основные термины и понятияПРОЕКТ Project

АКТИВ Asset

СЦЕНА Scena

СЦЕНАРИЙ Play mode

Варианты наполнения основных понятий

в среде разработки AR-приложений для различных задач

Основные термины и понятия

Основные термины и понятия

Основные термины и понятия

ANDROID

SDK

Структура приложения дополненной реальности

26

Реальная среда

Маркер для

отслеживания

Камера

Модуль

отслеживания

камеры

Модуль

хранения 3D

объектов

Модуль визуализацииВизуализация объекта в

соответствии с ракурсом

камеры

Совмещение объекта с

изображением реальной среды

Изображение

реальной среды

«Ракурс»

камеры

Объект

визуализации

Модуль

пользовательского интерфейса

Управление объектом в пространстве

Сборка/разборка объекта

Получение дополнительной

информации об объекте

Вывод на дисплей

Ввод посредством

сенсорного экрана

Управление ракурсом посредствам изменения положения устройства

САПР

Unity 3D

Unity 3D

Unity 3D + Vuforia

Unity 3D + Vuforia