Содержание

<Insert Picture Here>

Introduction to and What’s New with Oracle Spatial 11g, Oracle Multimedia, and Oracle’s Semantic Database

Alexander Ryndin, Oracle CIS

<Insert Picture Here>

Содержание

• Управление неструктурированными данными

• Пространственные данные• Стратегия• Позиция на рынке• Технологии и продукты

• Новое в пространственных данных• Новое в Semantic• Новое в Multimedia• Дискуссия

Управляем неструктурированными данными

• Единое хранилище для данных и метаданных

• Масштабируемое• Безопасное• Высокодоступное• Интегрированное• Надежное• Доступное на всех

платформахMultimediaMultimedia

Audio, Image and VideoAudio, Image and Video

New with 11g: New with 11g: DICOM Medical ImagingDICOM Medical Imaging

Location & SpatialLocation & SpatialLocation Enabled DatabasesLocation Enabled Databases

XML DBXML DBIntegrated Native XML DatabaseIntegrated Native XML Database

Oracle SecureFiles Oracle SecureFiles High Performance, Secure LOBsHigh Performance, Secure LOBs

RelationalRelationalCharacters, Numbers, DatesCharacters, Numbers, Dates

Oracle Text Oracle Text Text Indexing and ClassificationText Indexing and Classification

Semantic DatabaseSemantic DatabaseOntologies, OWL, RDF Ontologies, OWL, RDF


MultimediaMultimediaAudio, Image and VideoAudio, Image and Video




Основные тенденции в ГИС• «Продвинутые» заказчики

• Любой может купить GPS – Handhelds/ Car Navigation• Используют Google Maps, Google Earth

• Web интерфейс для заказчиков и граждан• На карте можно увидеть информацию о недвижимости, трафике и т.д.

• Геосервисы должны быть надежными• Доступны и безопасны• 01, 02, 112, МЧС, Энергетика, Telcos, Коммунальные службы, Дороги

• Отслеживаем все что движется• Определить местоположение, найти ближайший, посмотреть историю• Люди, оборудование, госпитали, самолеты, машины, дороги, вода

• Базы данных растут (TB->PB)• Аэрофотосъемка, спутниковые снимки• Архивы с длительным хранением (без срока давности!)

Пространственные данные и ITСосуществование или интеграция?

• Специальные серверы для различных типов данных

• Изоляция данных• Множество закрытых

форматов• Высокие ИТ и

управленческие расходы

Проблемы масштабируемости

Высокие расходы на обучение

Трудности поддержка

GIS Enterprise IT

GISGISApplicationsApplications

DatabaseDatabaseApplicationsApplications

Что предлагает Oracle?

Intranet GIS Oracle

MapViewer,Oracle Maps,3rd party GIS

Просмотр, анализ и простое редактирование

Desktop GISAutodesk Map 3D

MapInfoArcGIS

Bentley MapCSoft MapDrive etc

Расширенный анализ и редактирование

Web Portal Oracle MapViewer

Oracle Maps3rd party GIS

Запросы данных, обмен данными

ORACLE SPATIALКорпоративные ГИС

данные

SPATIAL WEB SERVICES

ГИС данные партнеровПубличные данные

TOPOLOGY MODELТопология

GEORASTERСпутниковые снимки и

фотограмметрия

ORACLE

NETWORK MODELСетевые данные

решения Oracle

решения Oracle и партнеров

решения партнеров

Какие пространственные технологии есть у Oracle?

• Oracle Locator+Spatial: компонент Oracle Database XE, SE, EE и платная опция Oracle Database EE

• MapViewer: компонент Oracle Application Server, позволяющий отрисовывать карту• GeoMap: JDeveloper ADF

компонент• Комплект карт: основные

дороги, административное деление (города, регионы) — от Navteq

Oracle Locator Oracle Spatial 11gВключено в Oracle Database - ВСЕ

Редакции

• Поддержка всех геометрических типов

• Поддержка 2D данных• Все пространственные операторы• Функции проверки корректности и

расстояния• Полная поддержка систем

координат• Пакеты утилит & тюнинга• Длинные транзакции• Параллельные пространственные

запросы & построение индексов• Секционированные таблицы• Объектная репликация

Опция к Oracle Database Enterprise Edition

• Все возможности Locator• Дополнительные пространственные

функции- вычисление площади/длины- буфер, центроид, объединение и

т.д.• Линейная система координат (Linear

Referencing Support)• Пространственное агрегирование• Тип данных GeoRaster• Топологическая модель данных• Сетевая модель данных• Механизм геокодирования• Пространственные аналитические

функции• Поддержка 3D• OGC Web Services

Oracle Spatial использует мощь Oracle Database

• Секционирование таблиц• Для масштабируемых решений, управляемости и производительности

• Label Security • Политики безопасности до уровня строки

• Spatial Analysis через SQL• Используются открытые пространственные типы данных

• Пространственные приложения не всегда нуждаются в полноценной ГИС

• Spatial Analysis в хранимых процедурах, триггерах, фукнциях• Репликация• Встроенная в базу данных поддержка длинных транзакций• Архитектура Grid• SQL Developer

Что такое Oracle Spatial?

• Oracle Spatial это интегрированный набор функций и процедур базы данных Oracle, который позволяет быстро и эффективно хранить, получать доступ и анализировать пространственные данные.

• Oracle Spatial поддерживает широкий спектр программного обеспечения — от ГИС (геоинформационных систем) до беспроводных пространственных сервисов и пространственно-ориентированного электронного бизнеса.

НАЗВАНИЕШТАТА

СТОЛИЦА GEOM

CALIFORNIA Sacramento

TEXAS Austin

Непространственные данные

Пространственные данные: столбец

типа SDO_GEOMETRY

Типы геометрических примитивов

Point Line string

Compoundline string

Orientedpoint

Arc linestring

Optimizedpolygons

Compoundpolygon

Self-crossingline strings

valid

Polygon Polygon withone or more holes

Arcpolygon

Self-crossingpolygons not valid

Загрузка данных

• MapBuilder и Shapeloader• Инструментарий третьих фирм (Safe Software FME)

Инструменты от вендоров программного обеспечения ГИС

• Язык SQL для создания и заполнения данных.

Загрузка данных: Shapefile Converter

• Oracle’s Java-based инструмент: • Доступен в Oracle Database 11g и в Oracle Database

10gR2, в других версиях скачивается с OTN: • http://www.oracle.com/technology/software/products/spatial/

files/shape2sdojava.ziphttp://www.oracle.com/technology/software/products/spatial/files/

shape2sdojava.zip

• Обрабатывает один ESRI shapefile за раз• Обрабатывает атрибутный (.DBF) и геометрические (.SHP

and .SHX) файлы• Автоматически загружает таблицу с атрибутами и данными

• Может создавать новую таблицу или загружать в существующую

• Автоматически добавляет метаданные в USER_SDO_GEOM_METADATA представление

Загрузка данных: Shapefile Converter

• Входной файл: states• Processes STATES.SHP, STATES.SHX, and STATES.DBF

• Результат:• Table: geod_states• Column: geom• SRID: 8307

Set clpath=.;%ORACLE_HOME%\jdbc\lib\ojdbc5.jar; %ORACLE_HOME%\md\jlib\

sdoutl.jar; %ORACLE_HOME%\md\jlib\sdoapi.jar

java -cp %clpath% oracle.spatial.util.SampleShapefileToJGeomFeature -h localhost -p 1521 -s orcl -u student -d student -t geod_states -f states -r 8307 -g geom

Пространственный анализ данных

• Простейшие операции• Area, Length, Envelope,

Boundary и т.д.

• Операции для определения отношения между объектами• Equal, Disjoint, Intersect, Touch,

Within и т.д.

• Пространственный анализ• Distance, Buffer, Union,

Intersection, ConvexHull, SymDiff и т.д.

Boundary

Within Intersect Touch

Buffer SymDiff

Пространственный анализ: SDO_ANYINTERACT

• Найти все парки в штате Wyoming

SELECT p.id, p.name

FROM us_parks p, us_states s

WHERE s.state = 'Wyoming'

AND SDO_ANYINTERACT (

p.geom, s.geom

) = 'TRUE';

Пространственный анализ: SDO_WITHIN_DISTANCE

Найти все индийские рестораны в радиусе 5 км от отеля

SELECT r.restaurant_name FROM restaurants r, hotels h WHERE r.restaurant_type = ‘INDIAN’ AND h.hotel_name = ‘HILTON’ AND SDO_WITHIN_DISTANCE( r.location, h.location, ‘distance=5 unit=km’) = ‘TRUE’;

Глав

ная

ули

ца

Улица 1

ОтельHilton

5 км

BengaliCurry House

Le Madras

Oracle Spatial 11g Enables

Geocoding & Routing

3D, Point Clouds, and LIDAR

Open Location Open Location ServiceService

Scrollable, Interactive Maps Spatial Web Services

Oracle BI Dashboards Raster Imagery

• Источники растровых данных:• Дистанционное

зондирование (спутниковые данные, аэрофотосъемка)

• Сканирование карт

• Геология, геофизика, геохимия и т.д.

• Накопление «сырых» данных

• Оцифровка

Растровые данныеВекторные

Растровые

GeoRaster

• Новый тип данных для хранения растровых данных• Спутниковые снимки, данные

дистанционного зондирования• Многополосные• Информация о привязке

• Функционал• Хранение и индексация растровых

данных• Нет ограничений на размер объектов

• Генерация пирамид разрешение• Предоставление доступа

• TIFF, GeoTIFF, JPEG, GIFF формат

Resolution Pyramid

Pyramid

Level 0

(Raw Data)

Pyramid

Level 1

Pyramid

Level 2

Pyramid

Level

Геокодирование:• Позволяет сгенерировать

долготу/широту по адресу и обратно

• Поддержка стандартов различных стран

• Форматированные и неформатированные адреса

• Параметры поиска «нечеткого» соответствия

• 100% Java, открытый и масштабируемый

• По записям или батчами

• Данные для геокодирования предоставляются специальными вендорами

One Oracle Drive, Nashua NH, 03062

SELECT SDO_GCDR.GEOCODE ('ODF_EU_q108',

SDO_KEYWORDARRAY('Пионерский проспект‘, 'Анапа 20'),

'RU', 'DEFAULT') GEO_ADDR FROM DUAL

Example: House Level Match

SELECT SDO_GCDR.GEOCODE('SPATIAL',

SDO_KEYWORDARRAY('1350 Clay', 'San Francisco, CA'),

'US', 'DEFAULT') GEO_ADDR

FROM DUAL;

MATCHCODE 2 = тип улицы не совпалТочное совпадение по номеру дома на улице Clay StПочтовый индекс и название улицы заполнено

SDO_GEO_ADDR(0, SDO_KEYWORDARRAY(NULL), NULL, 'CLAY ST', NULL, NULL, 'SAN FRANCISCO', NULL, 'CA', 'US', '94109', NULL, '94109', NULL, '1350', 'CLAY', 'ST', 'F', 'F', NULL, NULL, 'L', .49, 23600696, '????#ENU??B281CP?', 2, 'DEFAULT', -122.41522, 37.7930729, '????0101410??004?')

Линейная привязка (LRS)

(5,10,0)(30,10,27)

(15,5,11.2) (40,5,38)

(50,15,53.8)

(55,20,60)

(45,10,44)

Часто используется во многих GIS приложениях:• транспортные задачи (сеть дорог)• коммуникации (нефте- и газопроводы)

Километровый столб 0 Километровый столб 27

КМ 60

Сетевая модель данных

• Сетевая модель данных• Модель данных хранить сетевую (графовую)

структуру в базе данных

• Сохраняет и поддерживает связи в сети

• Хранить атрибуты связей и узлов

• Трассировка & Маршрутизация• Транспортные решения

• Логистика

• Сервисы на основе местоположения, телематика

• Bio-Info (Life Sciences)• Иерархические сети

• Scale-free Networks

Новые возможности Oracle Spatial 11g Сетевая модель с загрузкой «по требованию»

• Используется та же самая сетевая модель в базе данных• Поддержка сетевых ограничений и пользовательских

данных (new in 11g)• Сетевые разделы (partitions) загружаются во время анализа

«на лету» по мере надобности• Не требуется загружать всю сеть в оперативную память• Учитывает динамические изменения• Предоставляются утилиты для управления разделами• Java и XML API

Маршрутизация

• Позволяет запустить XML-based Web services, которые• По запросу на муршрутизацию (начало,

конец маршрута в виде адреса или координат) выдают маршрутную информацию (направление, расстояния, приблизительное время на маршрут и геометрию, представляющую маршрут)

• То же самое, но с батчем маршрутов

• Поддерживается международная маршрутизация

• Интегрирован с Geocoder

Routing Client

Routing Engine(running in Oracle

Application Server or OC4J)

Oracle Application Server MapViewer

• MapViewer: компонент Oracle Application Server, позволяющий отрисовывать карту• GeoMap: JDeveloper ADF

компонент

• Простая публикация карт в web

• Javascript, Java, XML и PL/SQL APIs

• Разработано для Java программистов Комплект

карт

MapViewer архитектура

MapViewer

База данных

Middle-tier:Oracle ApplicationServer

Клиент

Browser/Apps

XML/HTTP, Java, JSP tag library,OGC WMS APIs

JDBC

Oracle Spatial/Locator

Mappingmetadata

Map Builder(metadata

admin tool)

Пространственный анализ и карты в инструментах Oracle, Applications и BI

Oracle JDeveloper Oracle BI EE

Oracle Applications

MapBuilder

Что нового в MapViewer?

• Сертифицирован для WebLogic Server версий 10 и 10.3 • Мощный открытый JavaScript/AJAX картографический API

для интерактивной работы с картой на стороне клиента• Поддержка Safari • Поддержка ESRI Shape файлов• Поддержка разделения доступа к объектами• Поддержка OGC Web Feature Server тем и тектов аннотаций• Улучшены возможности подписей, текстовых стилей и

отрисовки объектов• Поддержка вывода в PDF• Улучшена поддержка непространственных провайдеров и

API для внешних пространственных провайдеров

Семантическая паутина (Semantic Web)

• Семантическая паутина - часть глобальной концепции развития Интернет, целью которой является реализация возможности машинной обработки информации, доступной в Internet.

• Основной акцент - работа с метаданными, однозначно характеризующими свойства и содержание ресурсов Всемирной паутины, вместо используемого в настоящее время текстового анализа документов.

• Документы предназначены для восприятия человеком, метаданные используются машинами (поисковыми роботами и другими интеллектуальными агентами) для проведения однозначных логических заключений

Языки описания

Standards

based

Онтология (в информатике) — это попытка всеобъемлющей и детальной формализации некоторой области знаний с помощью концептуальной схемы.

RDF - простой способ описания данных в формате субъект-отношение-объект (в качестве любого элемента тройки используются URI)

RDF Schema описывает набор атрибутов, таких, как rdfs:Class и rdfs:subClassOf.

OWL - семейство языков для описания онтологий (расширяет возможности по описанию новых типов, позволяет описывать новые типы данных RDF Schema в терминах уже существующих)

36

• :Павел - :Мужчина, :Антон – :Мужчина

• :Вера – :Женщина.

•У :Кати и :Павла есть дети: :Миша и :Лена

• :Лена сестра :Александра

•У :Антон и :Веры есть дети: :Александр и :Женя

•У :Александра и :Лены есть дети :Петр и :Маша

:Павел:Антон :Вера :Катя

:Мужчина

:Женщина

:Александр : Миша :Лена:Женя

: Маша:Петр

отец мать свойство

А B C

А C:бабушка

А B C

C E:кузен

D E

А B BА:родитель

Пример: семья

Использование 11gR1 RDF/OWL: шаг 1

• Создать таблицу для приложения• create table app_table (triple sdo_rdf_triple_s);

• Создать семантическую модель• exec sem_apis.create_sem_model (‘family’,’app_table’,’triple’);

• Загрузить данные, используя DML, Bulk или Batch loader• insert into app_table (triple) values(1, sdo_rdf_triple_s(‘family',‘Антон’,‘Отец’,‘Александр’));

• insert into app_table (triple) values(2, sdo_rdf_triple_s(‘family',‘Антон’,‘Отец’,‘Петр’));

• Создать набор правил• INSERT INTO mdsys.semr_user_rulebase VALUES (‘Правило_брат','(?x <Отец> ?y)(?x <Отец> ?z)',NULL, '(?y <Брат> ?z)', null);

38

Использование 11gR1 RDF/OWL: шаг 2

• Собрать статистику • Запустить процедуру построения выводов

• exec sem_apis.create_entailment(‘family_idx’,sem_models(‘family’), sem_rulebases(‘famowl’));

• Выполнить запрос к исходной и выведенной модели• select p, o from table(sem_match(‘Александр’ ?p ?o)', sem_models(‘family'), sem_rulebases(‘famowl’), null, null));

Редактирование &

Преобразование

• Управление данными RDF/OWL

• SQL & SPARQL запросы

• Построение выводов

• Семантические правила

• Масштабируемость & Безопасность

• Визуализация графов

• Анализ связей

• Статистический анализ

• Поиск полезных знаний

• Выявление закономерностей

• Text Mining

Загрузка, выборка

& построение

выводов

Приложения &

Анализ

Semantic Data Management Workflow

Другие данные

RSS, email

Транзакционныесистемы

Data Sources

Неструктурир.данные • Вычленение &

преобразование сущностей

• Построение онтологии

• Категоризация

• Скриптование

Partners Partners

Партнеры в Semantic технологиях

Управление RDF/OWL графовыми данными в Oracle 11g

• Oracle 11g – лидирующая коммерческая база данных со встроенной поддержкой RDF/OWL данных

• Масштабируемая & безопасная платформа для широкого круга семантических приложений

• Масштабируется до громадных репозитариев (более 1 млрд.)

• SQL или SPARQL запросы

• Может использовать Oracle Partitioning, Advanced Compression, RAC

• Растущее количество 3rd party инструментов

• Встроенное хранилище RDF•Управление млрд. «троек»• Fast batch, bulk и incremental загрузки• SQL: SEM_Match • SPARQL: через Jena plug-in• Ontology assisted query of RDBMS data

• Forward chaining model • RDFS++ OWL, OWL Prime• Пользовательская база правил

Key Capabilities:

Load / Storage

Query

Reasoning

Oracle Multimedia …

• Поставляется уже 11 лет и предлагает возможности

• По хранению, управлению и работе с мультимедийными объектами

• Встроенная поддержка изображений, аудио и видео

• Предоставляет возможности для

• Извлечения метаданных

• Преобразования и обработки изображений

• Поддержка работы с потоками

• Пользователи могут разрабатывать Oracle Multimedia приложения с использование таких инструментов как Application Express, Oracle JDeveloper, Oracle Portal

• Полная поддержка SecureFiles (2-7 раз быстрее)

• Поддержка объектов до 128 TB

Oracle Multimedia и поддержка DICOMНовое в Oracle Database 11g

Multimedia

• DICOM (англ. Digital Imaging and Communications in Medicine) — основной стандарт для обработки, хранения и пересылки изображений в медицине.

• DICOM - не только отдельные изображения, но и кинопетли, звук, информация о пациенте, исследовании, оборудовании, учреждении, о медиках, производящих, заказывающих исследования и т. д.

• DICOM позволяет производить интеграцию сканеров, серверов, АРМов, принтеров и другого медицинского оборудования от разных продавцов в единую систему передачи и архивирования медицинской информации.

• В Oracle Database 11g встроена поддержка DICOM

Anatomical partSNOMED CodeAliasTranslation

MaxillaT11170上颌骨

Maxilla and MandibleT-D1217Jaw上下颌骨

MandibleT-11180下颌骨

SkullT-11100头骨

DICOM в Oracle Database 11g

• Полная поддержка DICOM стандарта для хранения

• Механизм валидации проверяет заданные пользователем правила на метаданные DICOM

• Механизм анонимизации

• Извлечение/маппинг DICOM метаданных в XML – стандартных для DICOM и вендорных атрибутов для индексации и поиска

• Функциональное APIs

• Создание DICOM объектов из не-DICOM изображений

• Масштабирование/сжатие/обрезка DICOM изображений

• Поддержка преобразования форматов для мультифреймовых DICOM изображений

Интеграция Medical Imaging с DBMS

Storage Device

ASM

SecureFile LOBs

XML DB, Java Virtual Machine, Query, Index

Native DICOM Storage

DICOM Operations

PL/SQL, Java, C ... APIs

Client / Web Health Care Application

Database Application Logic Application Server Logic

Case Studies

BioGrid Australia

• Это платформа и инфраструктура, которая предоставляет исследователям доступ к данным• По множеству болезней• Из различных разрозненных баз данных, из различных

институтов• Соблюдая тайну частной жизни и интеллектуальную

собственности• Собирается в виртуальный репозиторий• Связана с публичными репозиториями

• Предоставляем гибкий и безопасный метод доступа к источникам медицинских данных для авторизованных исследователей

Почему Oracle?

• Изображения можно получать по требованию

• Есть индексация и партицирование для ускорения запросов

• Есть DICOM тип данных с богатым набором возможностей

• SQL*Loader умеет быстро загружать изображения

• Широкие возможности по обеспечению безопасности

• Компрессия в LOB, в резервных копиях, DataPump

• Application Express для быстрой разработки

• Oracle Multimedia (включая DICOM) – бесплатная возможность Oracle Database Enterprise Edition

Работа с DICOM: создание таблицы

• CREATE TABLE medical_image_table (id varchar(50), TAPE_ID number, dicom orddicom, USI varchar(50) ) LOB (dicom.source.localdata) STORE AS SECUREFILE (COMPRESS HIGH) PARTITION BY range (TAPE_ID) (PARTITION PART1 VALUES less than (50) TABLESPACE TBLS_PART1_FROM_TAPE1);

Работа с DICOM: преобразование в JPEG и анонимизация

declare dcm ordsys.orddicom;beginord_dicom.setDatamodel;for rec in (select * from medical_image_table for update) looprec.dicom.setProperties();-- create a JPEG thumbnail rec.dicom.processCopy('fileFormat=jpeg fixedScale=75,100', rec.imageThumb);-- make a new anonymous version of the ORDDicom objectrec.dicom.makeAnonymous(genUID(rec.id), rec.anonDicom);-- write the objects back to the row……..end loop;commit;e

Работа с DICOM: импорт, экспорт

CONNECT / AS SYSDBA

--Directory IMAGEDIR for export/import DICOM

create or replace directory imagedir as

'O:\ORACLE_DICOM_IMAGES';

grant read,write on directory IMAGEDIR to Administrator;

-- importFrom

ord_dicom.importFrom(dest, 'file', 'IMAGEDIR', 'example.dcm');

-- export() method can be used to export

dcmSrc.export('FILE', 'IMAGEDIR', filename);

Работа с DICOM: компрессия

DICOM images are stored as

SECUREFILE (COMPRESS HIGH)

Achieves highest compression level• DICOM image size on file system: 1.48TB=1515.52GB• Database size: 820GB (less 3-4GB for other tables)

Overall compression:

(1515-816)/1515= approx. 46%

ALEXANDER RYNDINSpatial Senior Sales Consultant

Presale Consulting

Moscow,Krasnopresnenskaya nab., 18, Block C

phone +7(495) 641-1400fax +7(495) [email protected]://www.oracle.com/http://www.oraclegis.com/

Oracle CIS

Find out more...

• oracle.com/database/spatial.html

• oracle.com/technology/products/spatial• oracle.com/technology/tech/semantic_technologies• oracle.com/technology/products/multimedia

AQ&&

Содержание

Documents

Transcript of Содержание