Построение формального описания фотографийна основе контекстно-

событийной онтологии

Савкуев Мурат, 425 группа

• "Context Correlation Using Probabilistic Semantics", S.Rafatirad, K. Laskey, P. Costa, 8th International Conference on Semantic Technologies for Intelligence, Defense, and Security (STIDS 2013), Nov 2013.

• "Transforming Personal Artifacts into Probabilistic Narratives", S. Rafatirad and K. Laskey. The 29th International Conference on Uncertainty in Artificial Intelligence, Jul 2013.

• "Contextual Augmentation of Ontology for Recognizing Sub-Events", S. Rafatirad and R. Jain. The 5th IEEE International Conference On Semantic Computing, Palo Alto, Sep 2011.

2

Формулировка задачи

• На вход подаётся набор фотографий, сопровождаемые мета-данными (время съёмки, координаты, параметры камеры)

• Дополнительно используются внешние источники сведений об авторе

• Учитывая эти данные, найти лучшие возможные тэги событий, соответствующие фотографии или группе аналогичных фотографий

3

Примеры описания фотографий (результат работы)

4

Преимущества рассматриваемого подхода

• Использование контекста данных из нескольких источников может способствовать построению последовательной, однозначной базы знаний.

• Достаточно гибкая структура, позволяющая выразить контекстные атрибуты не только «зашитые» в события, но и обнаруженные в ходе работы (в т. ч. из внешних источников)

5

Входные данные

• P – поток фотографий и метаданных.•O (V, E) – контекстно-событийная онтология, где

V – классы событийЕ – отношения между узлами.

• В – набор внешних источников данных об авторе.

6

Вывод тегов

• S – наиболее релевантные подсобытия потока P. 𝑆 ⊆ 𝑉.Элементы множества S – наиболее вероятные события для группы контекстуально подобных фотографий

𝑃, 𝑂 𝑉, 𝐸 ⟶ 𝑆

• Для фотографии 𝑝 ∈ 𝑃, возможно группы аналогичных фотографий 𝑐𝑗 ⊂ 𝑃 (получаем в результате кластеризации)

функция 𝑓 вычисляет меру правдоподобности 𝑚𝑖𝑗𝑃 для

каждого «события – кандидата» 𝑠𝑖:

𝑓 𝑠𝑖 , 𝑐𝑗 = 𝑚𝑖𝑗𝑝

7

• В результате предыдущего шага нами получаем «черновик» описания фотографии: наиболее релевантным событиям

𝑠𝑖∈ 𝑆 ставятся в соответствие теги событий 𝑡𝑖𝑒 ∈ 𝑇.

• Используя информацию В, расширяем T .

• ∀𝑖 𝑡𝑖𝑒∈ 𝑇 либо содержится в 𝑂, либо может быть получено из 𝑂

(тогда расширяем 𝑂 и получаем 𝑂𝑟)

8

Вывод тегов

Общая схема

9

Кластеризация

10

Событийная онтология для категории «Деловые поездки»

11

Модель представления описаний

Дескрипторы фотографий представляются в следующем виде:

𝑡𝑦𝑝𝑒𝑑: 𝑣𝑎𝑙𝑢𝑒𝑑 , 𝑐𝑜𝑛𝑓𝑖𝑑𝑒𝑛𝑐𝑒𝑑: 𝑣𝑎𝑙 , 𝑣𝑎𝑙 ∈ 0; 1

Пример: {sceneT ype : ‘indoor‘, confidence : 0.6}

«Sound cluster» d: для фотографии 𝑝𝑗 из потока P в d войдут те

фотографии из кластера с ( 𝑐 – размер кластера), которые содержат все дескрипторы 𝑝𝑗

𝑐𝑜𝑛𝑓𝑖𝑑𝑒𝑛𝑐𝑒𝑑 =1

𝑐× 𝑓(𝑝𝑗 , 𝑑)

Наличие последовательности из набора дескрипторов является обязательным условием для получения новых выводов.

12

Обработка дескрипторов

• “outdoorSeating: true”;

• “sceneType : outdoor”;

• “weatherCondition: storm”.

• 𝑜𝑢𝑡𝑑𝑜𝑜𝑟𝑆𝑒𝑎𝑡𝑖𝑛𝑔 ∧ 𝑜𝑢𝑡𝑑𝑜𝑜𝑟 → 𝑓𝑖𝑛𝑒𝑊𝑒𝑎𝑡ℎ𝑒𝑟

• 𝑓𝑖𝑛𝑒𝑊𝑒𝑎𝑡ℎ𝑒𝑟 → ¬ 𝑠𝑡𝑜𝑟𝑚

13

Пример расширения событийной онтологии

14

Фильтрация

15

Сравнение точности

U1 U2 U3 U4 U5

baseline 0,65 0,58 0,39 0,53 0,74

event ontology 0,41 0,17 0,3 0,48 0,17

proposed 0,74 0,83 0,95 0,92 0,88

16