Post on 30-Jun-2020
Une ontologie géographique pour l'analyse d'images satellites
1
Cecilia ZANNI-MERKFrançois DE BERTRAND DE BEUVRON
Stella MARC-ZWECKERIcube (équipe BFO) - Université de Strasbourg
Introduction
• L'interprétation de l'image peut être définie comme l'extraction automatique de la sémantique de l'image.
• Permet d'obtenir de l'information utile sur les relations spatiales entre les objets ainsi que des informations thématiques basées sur la connaissance des experts.
• La sémantique de l'image n'est pas explicite. Elle dépend du domaine étudié et du contexte.
2
Le fossé sémantique
• Il existe un fossé sémantique entre l'information de « bas niveau » (automatiquement extraite de l'image) et l'information de « haut niveau » (description des concepts du domaine).
• Pour réduire ce fossé, on utilise des méthodes d'analyse de l'image, basées sur des approches orientées objets, qui modélisent les connaissances du domaine.
3
4
Formalisation des connaissances du domaine
• Notre travail consiste à formaliser et à exploiter les connaissances du domaine, au moyen d'ontologies.
⇒ définition « en intension »• L'objectif final est d'associer des régions issues de
la segmentation de l'image à des objets thématiques correspondant à des concepts de ontologie
⇒ visée « applicative » de l'ontologie
5
Schéma de correspondance entre objets concrets (issus de l'image) et objets abstraits (concepts)
6
Principaux objectifs
• Contribuer à la réduction du fossé sémantique :➔ Problème d'ancrage des symboles : établir la
correspondance entre les valeurs quantitatives et les valeurs qualitatives
• Montrer l'intérêt de l'utilisation des ontologies pour l'étiquetage automatique des régions extraites de l'image dans le contexte des objets urbains.
Les connaissances des experts géographes
7
• Les experts ont développé un dictionnaire d'objets urbains.
• Ce document définit chaque objet géographique au moyen de : ● descriptions textuelles● d'informations graphiques● valeurs des données ● relations avec les autres
objets.
Principes de l'ontologie
• Les objets géographiques comprennent des régions, des parcelles de terrain, des étendues d'eau, des routes, des bâtiments, etc.
• Il s'agit donc d'objets spatiaux situés sur ou près de la surface de la terre.
• Ces objets sont définis à une certaine échelle, sont typiquement complexes, et se décomposent en parties.
8
Principes de l'ontologie
• On distingue deux grandes catégories d'objets – Les objets agrégés : résultent de l'organisation ou
de la structuration spatiale d'objets élémentaires ou agrégés (ex : parcs ou zones industrielles).
– Les objets élémentaires : ne peuvent pas être décomposés (ex : canaux ou routes).
9
Vue d'ensemble de l'ontologie
10
OWL 2.0 (Protégé)
Caractérisation des relations spatiales
• Le dictionnaire définit aussi des attributs correspondant aux relations spatiales entre les objets.
• Une relation spatiale entre objets spécifie la façon dont les objets sont disposés dans l'espace les uns par rapport aux autres.
11
Caractérisation des relations spatiales
• Adjacence • Inclusion• Composition• Alignement
– Relative à l'organisation interne des objets à l'intérieur d'un ensemble (ex : allée d'arbres)
• Distance– Entre deux objets
12
Caractérisation des relations spatiales • Les attributs correspondant aux relations spatiales
ont été modélisés par des « object properties » de OWL.
• Les valeurs numériques du dictionnaire ont été remplacées par des valeurs qualitatives, qui sont représentées par des classes.– Les experts géographes raisonnent avec des valeurs
qualitatives• L'attribut Alignement n'est utilisé que pour les
Objets agrégés.13
Caractérisation des relations spatiales • La relation Composition n'a de sens que pour les
Objets Agrégés.• Les relations Composition et Inclusion sont
définies comme mutuellement inverses.• La valeur de la Distance entre un objet A et un
objet B est un attribut de la relation elle-même➔ Requiert de réifier la relation de distance, car les
« propriétés » dans OWL sont des relations binaires.
14
La relation Distance
15
La réification d'une relation n-aire entraîne la création d'une nouvelle classe d'objet (classe des Valeurs Qualitatives dans ce cas) et de n nouvelles « propriétés » qui représentent la relation n-aire, ⇒ une instance de la relation réifiée (ex : Distance) relie les n individus concernés (ex : 2 objets géographiques avec la valeur de la distance entre eux).
La relation Distance• Exemple: tous les objets qui sont à une petite
distance d'un champ (Field).Class: <Close_to_Field> EquivalentTo: <related> some (
<Distance> and( <related_inv> some <Field> ) and ( <value> some <Small> )
)
16
Simulation du raisonnement dans un « monde clos» grâce aux contraintes de cardinalité
• Supposons qu'une zone agricole (Farming Area) est définie comme une zone ne contenant que des parcelles agricoles (Agricultural Parcels).
ObjectProperty: <contains>Class: <AgriculturalParcel>Class: <FarmingArea>EquivalentTo: <contains> only
<AgriculturalParcel>
17
Simulation du raisonnement dans un « monde clos» grâce aux contraintes de cardinalité OWL
18
Zone de Strasbourg Est, image THR avec quatre bandes spectrales (QuickBird, copyright DigitalGlobe). Cette image est la propriété du LIVE (Laboratoire Image, Villen Environnement) de l'Université de Strasbourg, ERL 7230.
F1, F2, F3 : Agricultural ParcelsR1 : Aggregate Object
R1 est-elle reconnue comme Farming Area?
NON!
Simulation du raisonnement dans un « monde clos» grâce aux contraintes de cardinalité OWL
• L'implémentation des restrictions universelles sur les propriétés multi-valuées par l'ontologie ne semble pas permettre la reconnaissance d'instances.
• La restriction de cardinalité OWL-DL, appliquée à la définition des instances, permet de restreindre la création d'instances implicites, et donc de simuler l'hypothèse du monde clos.
19
Simulation du raisonnement dans un « monde clos» grâce aux contraintes de cardinalité OWL
• Dans notre exemple, le calcul de la zone R1 de l'image doit permettre d'établir que tous les objets inclus dans R1 sont de type Agricultural Parcels.
• Pour cela, la description de l'instance R1 doit être étendue par la contrainte de cardinalité suivante :
Individual: <R1>Types: owl:Thing , <contains> max 3
owl:Thing• Après cette modification, R1 sera reconnue comme
Farming Area.20
Exemple• Supposons qu'après avoir analysé les données concernant
un objet géographique inconnu appelé 1_TEST, les informations suivantes sont extraites de l'image :– Il est adjacent à une « autre route » (Road_other).– Il a une texture homogène (Homogeneous).– Il est inclus dans un parc urbain (Urban_park).– L'objet a été analysé à une résolution (THR1).– On observe un alignement entre les objets qui le
composent.
21
Exemple
22
L'instance d'origine
Après la classification
• Protege 4.2 beta avec le raisonneur intégré Hermit 1.3.6
Exemple
23
Trees comprend les caractéristiques communes des deux sous-classes
L'instance vérifie ces caractéristiques communesSi la super-classe
n'avait pas été créée, l'instance aurait été classifiée à un niveau plus élevé de la hiérarchie
La création de super-classes pour les classes ayant des caractéristiques communes, permet de discriminer des sous-classes similaires pendant la classification.
Exemple• Supposons que l'on établit que l'instance a une forme
circulaire.• Le raisonneur peut maintenant distinguer entre les sous-
classes de Trees et inférer que l'instance est membre de la classe Copse_of_Trees.
24
Ajout d'information sur la forme
Après inférence
Travaux en cours
25
• Un « Plug-In » est en cours de développement sous Protégé pour créer les instances de l'ontologie à partir des fichiers .arff fournis par le logiciel MUSTIC (équipe BFO ICube).
• Il a pour objectif d'établir la correspondance entre les valeurs numériques fournies dans le fichier .arff et les valeurs qualitatives présentes dans l'ontologie.
26
« Plug-in » de création des instances
Travaux en cours• Utilisation de techniques de fouille de données
textuelles pour l'extraction automatique d'informations à partir du dictionnaire géographique ⇒ génération automatique et validation de l'ontologie.
• Développement d'une méthode d'extraction des relations spatiales à partir de la structure et des informations linguïstiques du dictionnaire (listes de termes et de relations)
⇒ collaboration avec équipe TAL (Traitement Automatique du Langage)
27
28
Génération automatique de l'ontologie
Travaux en perspectiveRaisonnement spatial qualitatif⇒ relations spatiales RCC8 (Region Connection Calculus), utilisées par les géographes pour l'analyse d'images.
⇒ implémentation de primitives de calcul sur l'image permettant d'extraire les relations RCC8 entre les objets.
⇒ intégration des relations RCC8 dans l'ontologie par un procédé de réification
⇒ définition de règles SWRL permettant de calculer la table de composition des relations RCC8
⇒ application à l'analyse multi-résolution
29
Raisonnement spatial qualitatif
Relations RCC8 (Region Connection Calculus) [Randell 92]
30
Raisonnement spatial qualitatif Les relations RCC8 s'expriment en fonction de primitives de calcul sur l'image [Le Ber] (x° : intérieur ; δx : contour de la région x)
x,y x° - y° y° - x° x°∩ y° δx ∩ δy• EQ ∅ ∅ ≠ ∅ ≠ ∅
• TPP ∅ ≠ ∅ ≠ ∅ ≠ ∅
• NTPP ∅ ≠ ∅ ≠ ∅ ∅
• TPP-1 ≠ ∅ ∅ ≠ ∅ ≠ ∅
• NTPP-1 ≠ ∅ ∅ ≠ ∅ ∅
• PO ≠ ∅ ≠ ∅ ≠ ∅ ≠ ∅
• EC ≠ ∅ ≠ ∅ ∅ ≠ ∅
• DC ≠ ∅ ≠ ∅ ∅ ∅
31
Raisonnement spatial qualitatif
Réification des relations RCC8 : implémentation en OWL + SWRL
⇒ calcul de la table de composition
32
Raisonnement spatial qualitatif
Application à l'analyse multi-résolution • Problème de la segmentation des images à très haute résolution
⇒ sur-segmentation (exemple : « morceaux » de toiture, à l'ombre et au soleil)
• ⇒ détecter une sur-segmentation lorsque l'on a une inclusion de segments non identifiés dans un objet identifié à une résolution inférieure (exemple : une maison a été détectée à une résolution inférieure)
• Analyse « ascendante » (de haute vers faible résolution) ou « descendante » (de faible vers haute résolution) ?
33
Travaux en perspectiveRaisonnement temporel qualitatif :
⇒ analyse de l'évolution des objets dans des séquences d'images non triviales (algèbre d'Allen ?) :
- par exemple, éliminer des images avec des nuages,
- ou suivre une l'évolution d'un objet (ou ensemble
d'objets) dans le temps avec relation de causalité
Raisonnement probabiliste ou flou intégré à l'ontologie :
⇒ par exemple, dans le cas où un objet peut être membre de plusieurs classes simultanément.
34
Conclusion• La formalisation des connaissances du domaine de
l'analyse d'images urbaines au moyen d'une ontologie basée sur une logique de description (OWL-DL) permet de tester la consistance du modèle.
• Les résultats préliminaires ont montré la pertinence de ce modèle pour identifier des objets, à partir de leurs attributs (couleur, forme, texture, etc.) et de leurs relations spatiales (adjacence, inclusion, distance, etc.), même lorsque les valeurs utilisées sont qualitatives.
35