Графовый анализ для поиска ответов в разнородных...
-
Upload
- -
Category
Technology
-
view
41 -
download
0
Transcript of Графовый анализ для поиска ответов в разнородных...
![Page 1: Графовый анализ для поиска ответов в разнородных источниках](https://reader031.fdocuments.net/reader031/viewer/2022030313/58cf29261a28ab00168b48af/html5/thumbnails/1.jpg)
Графовый анализ для поиска ответов в разнородных
источниках информации, на базе современных
аналитических систем
![Page 2: Графовый анализ для поиска ответов в разнородных источниках](https://reader031.fdocuments.net/reader031/viewer/2022030313/58cf29261a28ab00168b48af/html5/thumbnails/2.jpg)
“Я не думаю, что когда-либо рассуждаю при помощи слов: я использую визуальные
диаграммы, во-первых, потому что это мой естественный внутренний язык для
размышлений, и, во-вторых, потому что я убежден, что что эта система наилучшим
образом для этого подходит”(Ч.Пирс, «Исследования значения», 1909г)
![Page 3: Графовый анализ для поиска ответов в разнородных источниках](https://reader031.fdocuments.net/reader031/viewer/2022030313/58cf29261a28ab00168b48af/html5/thumbnails/3.jpg)
Почему графы?
• Понятия в голове человека формируются согласно сетевой (графовой) структуре.
• Представление того, как события протекают во времени интуитивно представляется в виде графов.
• Наглядное представление связей объектов между собой.
• Визуальная оценка иерархической структуры данных, группировки данных, понятная человеку.
• Объединение разнородных хранилищ, независимо функционирующих и динамически обновляемых, без необходимости дублирования их данных.
![Page 4: Графовый анализ для поиска ответов в разнородных источниках](https://reader031.fdocuments.net/reader031/viewer/2022030313/58cf29261a28ab00168b48af/html5/thumbnails/4.jpg)
Природа данных
Социальные сети
Доски объявлений
Платежные транзакции
Справочники, внутренние БД
Новостные ленты
Геопривязанныеданные
Многое другое
![Page 5: Графовый анализ для поиска ответов в разнородных источниках](https://reader031.fdocuments.net/reader031/viewer/2022030313/58cf29261a28ab00168b48af/html5/thumbnails/5.jpg)
Объять необъятное
![Page 6: Графовый анализ для поиска ответов в разнородных источниках](https://reader031.fdocuments.net/reader031/viewer/2022030313/58cf29261a28ab00168b48af/html5/thumbnails/6.jpg)
Развитие семантических сетей
![Page 7: Графовый анализ для поиска ответов в разнородных источниках](https://reader031.fdocuments.net/reader031/viewer/2022030313/58cf29261a28ab00168b48af/html5/thumbnails/7.jpg)
Социальные сети
![Page 8: Графовый анализ для поиска ответов в разнородных источниках](https://reader031.fdocuments.net/reader031/viewer/2022030313/58cf29261a28ab00168b48af/html5/thumbnails/8.jpg)
Анализ социальных сетей на примере расследования детских суицидов
Вводные данные
• id в соц сети одного пользователя
• ФИО другого пользователя
Задача
• Обнаружение общих групп суицидальной направленности
• Обнаружение администраторов этих сообществ
• Обнаружение групп, администрируемых данными администраторами
• Нахождение общих членов этих групп, находящихся под потенциальным давлением
![Page 9: Графовый анализ для поиска ответов в разнородных источниках](https://reader031.fdocuments.net/reader031/viewer/2022030313/58cf29261a28ab00168b48af/html5/thumbnails/9.jpg)
Результаты
![Page 10: Графовый анализ для поиска ответов в разнородных источниках](https://reader031.fdocuments.net/reader031/viewer/2022030313/58cf29261a28ab00168b48af/html5/thumbnails/10.jpg)
Возможные эвристики для социальных сетей• Обнаружение скрытых друзей
• Обнаружение администраторов сообществ
• Обнаружение профилей в других социальных сетях
• Обнаружение скрытых сообществ пользователей
• Обнаружение скрытых данных профиля пользователя – школа, университет, год рождения
• Возможности автоматизации ограничены лишь фантазией аналитика
• Эвристики придуманные кем-то одним становятся доступны всем
![Page 11: Графовый анализ для поиска ответов в разнородных источниках](https://reader031.fdocuments.net/reader031/viewer/2022030313/58cf29261a28ab00168b48af/html5/thumbnails/11.jpg)
Доски объявлений
• Получение информации о товарах, выставленных на продажу исследуемым
• Выделение группы подозреваемых на основе продаваемых лотов
![Page 12: Графовый анализ для поиска ответов в разнородных источниках](https://reader031.fdocuments.net/reader031/viewer/2022030313/58cf29261a28ab00168b48af/html5/thumbnails/12.jpg)
Платежные транзакции
Банковские транзакции
![Page 13: Графовый анализ для поиска ответов в разнородных источниках](https://reader031.fdocuments.net/reader031/viewer/2022030313/58cf29261a28ab00168b48af/html5/thumbnails/13.jpg)
Анализ транзакций Qiwi• Узловые счета позволяют
идентифицировать счета злоумышленников и проследить дальнейшее движение средств
• Терминалы, используемые для пополнения наиболее часто позволяют установить места, где можно будет обнаружить исследуемых, при пополнении своих счетов
• Одинаковые IP адреса, при заходе на разные кошельки, позволяют судить о принадлежности их одному человеку/организованной группе
![Page 14: Графовый анализ для поиска ответов в разнородных источниках](https://reader031.fdocuments.net/reader031/viewer/2022030313/58cf29261a28ab00168b48af/html5/thumbnails/14.jpg)
Справочники
ОГРН ПаспортаТелефонные
номера
Регистрация НалогиВнутренние документы
![Page 15: Графовый анализ для поиска ответов в разнородных источниках](https://reader031.fdocuments.net/reader031/viewer/2022030313/58cf29261a28ab00168b48af/html5/thumbnails/15.jpg)
Поиск связей между юр.лицами и их владельцами
![Page 16: Графовый анализ для поиска ответов в разнородных источниках](https://reader031.fdocuments.net/reader031/viewer/2022030313/58cf29261a28ab00168b48af/html5/thumbnails/16.jpg)
Новостные ленты
• Нахождение корреляции между сущностями на графе и событиями
• Сбор информации о лайках и репостах в соц сетях, выявление лидеров мнений
• Выделение эмоционального окраса постов
• Оценка ситуации
![Page 17: Графовый анализ для поиска ответов в разнородных источниках](https://reader031.fdocuments.net/reader031/viewer/2022030313/58cf29261a28ab00168b48af/html5/thumbnails/17.jpg)
Геопривязанные данные
Телефонный биллинг
Дорожные камеры
БилетыГеотэги
фотографий
![Page 18: Графовый анализ для поиска ответов в разнородных источниках](https://reader031.fdocuments.net/reader031/viewer/2022030313/58cf29261a28ab00168b48af/html5/thumbnails/18.jpg)
Анализ биллинга
![Page 19: Графовый анализ для поиска ответов в разнородных источниках](https://reader031.fdocuments.net/reader031/viewer/2022030313/58cf29261a28ab00168b48af/html5/thumbnails/19.jpg)
Интеграция с картографией на примере системы Следопыт
![Page 20: Графовый анализ для поиска ответов в разнородных источниках](https://reader031.fdocuments.net/reader031/viewer/2022030313/58cf29261a28ab00168b48af/html5/thumbnails/20.jpg)
Проблемы при работе с графовыми системами
• Поиск сущностей связанных с узлом (нахождение всех связанных объъектов)
• Поиск связей между узлами (кратчайший путь между двумя объектами)
• Кластеризация сущностей (нахождение объектов по общим признакам)
• Быстрота визуализации (при большом количестве узлов)
Производительность
• Адаптивная группировка узлов (по силам связей, классам узлов, временной метке)
• Выделение существенной информации (возможность динамической фильтрации узлов, схлопывание узлов при отдалении)
• Простота работы с данными (возможность интерактивного запуска задач из графа, удобство перестроения лейаутов)
Визуализация
• Адаптеры для запросов к открытым данным
• Адаптеры для запросов к внутренним справочникам и базам данных
• Адаптеры к картографическим системам для геопривязанных данных
• Автоматизация выполнения запросов к схожим источникам данных
Интеграция
![Page 21: Графовый анализ для поиска ответов в разнородных источниках](https://reader031.fdocuments.net/reader031/viewer/2022030313/58cf29261a28ab00168b48af/html5/thumbnails/21.jpg)
Интеграция с открытыми источниками
![Page 22: Графовый анализ для поиска ответов в разнородных источниках](https://reader031.fdocuments.net/reader031/viewer/2022030313/58cf29261a28ab00168b48af/html5/thumbnails/22.jpg)
Сбор по времени
![Page 23: Графовый анализ для поиска ответов в разнородных источниках](https://reader031.fdocuments.net/reader031/viewer/2022030313/58cf29261a28ab00168b48af/html5/thumbnails/23.jpg)
Интеграция выделения сущностей из документов (на примере резюме)
![Page 24: Графовый анализ для поиска ответов в разнородных источниках](https://reader031.fdocuments.net/reader031/viewer/2022030313/58cf29261a28ab00168b48af/html5/thumbnails/24.jpg)
«Приложив все свои усилия, я научился думать диаграммами, что является гораздо лучшим
методом. Я убежден, что существует метод еще лучше, способный на чудеса; но большие
затраты на аппарат не позволяют мне освоить его. Он состоит в том, чтобы мыслить
стереокинофильмами» (22 июня 1911, из письма Пирса Келеру)
![Page 25: Графовый анализ для поиска ответов в разнородных источниках](https://reader031.fdocuments.net/reader031/viewer/2022030313/58cf29261a28ab00168b48af/html5/thumbnails/25.jpg)