Екатерина Мельникова – БСС Инжиниринг Алексей Тихонов – ДИТ г. Москвы
Система ведения государственных данных в...
-
Upload
ontico -
Category
Engineering
-
view
599 -
download
5
Transcript of Система ведения государственных данных в...
![Page 1: Система ведения государственных данных в Правительстве Москвы / Иван Фост (ДИТ Москвы)](https://reader035.fdocuments.net/reader035/viewer/2022062316/586f90f31a28ab54768b7a8d/html5/thumbnails/1.jpg)
Система ведения государственных данных в Правительстве Москвы
Иван Фост
![Page 2: Система ведения государственных данных в Правительстве Москвы / Иван Фост (ДИТ Москвы)](https://reader035.fdocuments.net/reader035/viewer/2022062316/586f90f31a28ab54768b7a8d/html5/thumbnails/2.jpg)
Инфраструктура Москвы
![Page 3: Система ведения государственных данных в Правительстве Москвы / Иван Фост (ДИТ Москвы)](https://reader035.fdocuments.net/reader035/viewer/2022062316/586f90f31a28ab54768b7a8d/html5/thumbnails/3.jpg)
Взаимодействие (опыт прошлого)
![Page 4: Система ведения государственных данных в Правительстве Москвы / Иван Фост (ДИТ Москвы)](https://reader035.fdocuments.net/reader035/viewer/2022062316/586f90f31a28ab54768b7a8d/html5/thumbnails/4.jpg)
Взаимодействие (опыт прошлого)
![Page 5: Система ведения государственных данных в Правительстве Москвы / Иван Фост (ДИТ Москвы)](https://reader035.fdocuments.net/reader035/viewer/2022062316/586f90f31a28ab54768b7a8d/html5/thumbnails/5.jpg)
Текущая схема взаимодействия
![Page 6: Система ведения государственных данных в Правительстве Москвы / Иван Фост (ДИТ Москвы)](https://reader035.fdocuments.net/reader035/viewer/2022062316/586f90f31a28ab54768b7a8d/html5/thumbnails/6.jpg)
Алгоритм работы с входными данными
Аудит всех информационных систем Правительства Москвы
Подготовка единых требований к ведению данных
Интеграция с информационными системами
![Page 7: Система ведения государственных данных в Правительстве Москвы / Иван Фост (ДИТ Москвы)](https://reader035.fdocuments.net/reader035/viewer/2022062316/586f90f31a28ab54768b7a8d/html5/thumbnails/7.jpg)
Аудит системФункционирует более 400 информационных систем:Базы данных:• Oracle;• IBM DB2;• MS SQLи др.
Языки программирования:• С#;• JAVA;• PHP;и др.
Было выбрано 42 системы поставщиков данных
![Page 8: Система ведения государственных данных в Правительстве Москвы / Иван Фост (ДИТ Москвы)](https://reader035.fdocuments.net/reader035/viewer/2022062316/586f90f31a28ab54768b7a8d/html5/thumbnails/8.jpg)
Единый технологический паспорт
![Page 9: Система ведения государственных данных в Правительстве Москвы / Иван Фост (ДИТ Москвы)](https://reader035.fdocuments.net/reader035/viewer/2022062316/586f90f31a28ab54768b7a8d/html5/thumbnails/9.jpg)
Единый технологический паспорт
![Page 10: Система ведения государственных данных в Правительстве Москвы / Иван Фост (ДИТ Москвы)](https://reader035.fdocuments.net/reader035/viewer/2022062316/586f90f31a28ab54768b7a8d/html5/thumbnails/10.jpg)
Настройка форматно-логического контроля входящих данных
Более 300 правил ведения данных для всех атрибутов.
![Page 11: Система ведения государственных данных в Правительстве Москвы / Иван Фост (ДИТ Москвы)](https://reader035.fdocuments.net/reader035/viewer/2022062316/586f90f31a28ab54768b7a8d/html5/thumbnails/11.jpg)
Технические характеристики
• Хранилище – • WEB приложение – + JavaScript• Сервисы загрузки информации (SOAP) – + • Сервисы раскрытия информации (REST) – + • Внутренние сервисы системы (экспорты, импорты,
операции с файлами и т.д.) -
Единое хранилище данных
![Page 12: Система ведения государственных данных в Правительстве Москвы / Иван Фост (ДИТ Москвы)](https://reader035.fdocuments.net/reader035/viewer/2022062316/586f90f31a28ab54768b7a8d/html5/thumbnails/12.jpg)
Общее описание системы• Система полностью строится на описании
метаданных, которые вносит оператор системы, при этом структура хранения данных может быть абсолютно любой
Единое хранилище данных
• Интерфейс для настройки сложных Workflow для проверки данных
• Интерфейс для настройки автозаполнения и автоизменения полей на основе данных системы
• Интерфейс для настройки фоновых процессов изменений и проверки данных
• Интерфейс для анализа данных поступающих из разных источников, с отображением расхождений и интерфейсом data steward
![Page 13: Система ведения государственных данных в Правительстве Москвы / Иван Фост (ДИТ Москвы)](https://reader035.fdocuments.net/reader035/viewer/2022062316/586f90f31a28ab54768b7a8d/html5/thumbnails/13.jpg)
Сценарий работы с данными
• Публикация набора данных в сервис
Единое хранилище данных
• Создание структуры данных для работы органов власти
• Наполнение набора данных объектами
• Подписание наполнения с использованием ЭЦП (КриптоПРО)
• Копирование структуры в сегмент публикации или создание собственной структуры для публикации данных
![Page 14: Система ведения государственных данных в Правительстве Москвы / Иван Фост (ДИТ Москвы)](https://reader035.fdocuments.net/reader035/viewer/2022062316/586f90f31a28ab54768b7a8d/html5/thumbnails/14.jpg)
Способы наполнения данными• Через WEB интерфейс системы• Через импорт csv файлов. Позволяет загружать
многоуровневые наборы данных. Каждый импорт настраивается отдельно на основе метаданных
• Через SOAP сервис:– Универсальные методы обмена информацией. Структура
запросов не меняется в зависимости от набора данных.
– Возможность подписания данных ЭЦП в момент передачи пакета обновления.
– Детализированные ошибки при обработке данных.
Единое хранилище данных
![Page 15: Система ведения государственных данных в Правительстве Москвы / Иван Фост (ДИТ Москвы)](https://reader035.fdocuments.net/reader035/viewer/2022062316/586f90f31a28ab54768b7a8d/html5/thumbnails/15.jpg)
Описание сервиса публикации• Данные после публикации попадают в очередь
обновление кэш БД в MongoDB• После синхронизации становятся доступны в
REST сервисе• Сервис позволяет:
– Получать текущее наполнение каталога раскрытия
– Возможность осуществлять фильтрацию по атрибутам каталога
– Возможность просматривать историю изменений как объекта, так и каталога
– Возможность поиска объектов по геоданным (рядом с точкой, внутри полигона, вне полигона)
• Среднее время отклика сервиса – 500 ms
Единое хранилище данных
![Page 16: Система ведения государственных данных в Правительстве Москвы / Иван Фост (ДИТ Москвы)](https://reader035.fdocuments.net/reader035/viewer/2022062316/586f90f31a28ab54768b7a8d/html5/thumbnails/16.jpg)
Текущие объемы данных
• Объектов в системе – 22 375 806• Объем БД – 1,2 Тб• Количество набор данных:
– во внутреннем контуре - 676– в контуре публикации - 480
• За октябрь добавлено новых записей – 1 581 296
Единое хранилище данных
![Page 17: Система ведения государственных данных в Правительстве Москвы / Иван Фост (ДИТ Москвы)](https://reader035.fdocuments.net/reader035/viewer/2022062316/586f90f31a28ab54768b7a8d/html5/thumbnails/17.jpg)
Данные по органам властиЕдиное хранилище данных
Топливно-энергетического хозяйства
Городского имущества
По конкурентной политике
106594
383639
1139193
Департаменты-лидеры...
Инспекция по качеству сельхозпродукции
Главное архивное управление
Комитет ветеринарии
16
21
21
... и аутсайдеры
![Page 18: Система ведения государственных данных в Правительстве Москвы / Иван Фост (ДИТ Москвы)](https://reader035.fdocuments.net/reader035/viewer/2022062316/586f90f31a28ab54768b7a8d/html5/thumbnails/18.jpg)
Данные по органам властиЛидеры:
– Департамент города Москвы по конкурентной политике – 1 139 193
– Департамент городского имущества города Москвы – 383 639
– Департамент топливно-энергетического хозяйства города Москвы – 106 594
Аутсайдеры– Государственная инспекция города Москвы по качеству
сельскохозяйственной продукции, сырья и продовольствия – 16
– Главное архивное управление города Москвы– 21
– Комитет ветеринарии города Москвы – 21
Единое хранилище данных
![Page 19: Система ведения государственных данных в Правительстве Москвы / Иван Фост (ДИТ Москвы)](https://reader035.fdocuments.net/reader035/viewer/2022062316/586f90f31a28ab54768b7a8d/html5/thumbnails/19.jpg)
Внешнее взаимодействие с другими системами
Экспорт данных в форматах:• json;• csv;• xlsx;• docx.
По средствам API портала открытых данных:• json;• geojson.
Ссылка на API- api.data.mos.ru
![Page 20: Система ведения государственных данных в Правительстве Москвы / Иван Фост (ДИТ Москвы)](https://reader035.fdocuments.net/reader035/viewer/2022062316/586f90f31a28ab54768b7a8d/html5/thumbnails/20.jpg)
Основные итоги
Устранили хаос, но проблемы с данными остались:
– потребность ведения on-line данных – не готовность системы к таким нагрузкам;
– быстрое увеличение количества информации – существующая инфраструктура требует расширения технических возможностей;
– Функционал единого хранилища данных большой и пока не все функции доступны для внешних пользователей (API открытых данных);
– Требуется всё больше связности между данными и потребностей в выдаче данных внешним потребителям.
![Page 21: Система ведения государственных данных в Правительстве Москвы / Иван Фост (ДИТ Москвы)](https://reader035.fdocuments.net/reader035/viewer/2022062316/586f90f31a28ab54768b7a8d/html5/thumbnails/21.jpg)
Ключевой результат
Системный проект Правительства Москвы:
– при подготовке инфраструктуры для открытых данных наладилось межведомственное взаимодействие;
– опыт сбора и хранения такого количества данных применим для разнообразных целей, не только для публикации открытых данных.