INDEXATION des IMAGES
description
Transcript of INDEXATION des IMAGES
![Page 1: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/1.jpg)
INDEXATION des IMAGES
Marine Campedel
www.tsi.enst.fr/~campedel
mars 2005
![Page 2: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/2.jpg)
Plan du cours
Introduction
Indexation par le texte
Indexation par le contenu
Extraction des caractéristiques
Organisation des caractéristiques
Comparaison des caractéristiques
Interaction avec l’utilisateur
Évaluation des systèmes d’indexation
Conclusion
![Page 3: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/3.jpg)
Introduction
Quelques chiffres :
INA : 500 000 h video + 600 000 h audio + 2
000 000 de photos
82 Milliards de photos par an dans le monde
390 Millions d’images indexées par Google
4250 films commerciaux par an (UNESCO)
Motivations :
Conservation d’un patrimoine (culturel, scientifique,…)
Valorisation en facilitant l’accès et l’exploration
Exploitation commerciale (photos numériques, TV
numérique, …)
![Page 4: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/4.jpg)
Introduction : quelles images ?
biomédical, satellitaires, photos, 2D ou 3D,…
3 catégories générales
Images d’art (auteur, titre,…)
Images documentaires (reliées à un texte)
Images ordinaires
Centres d’intérêts actuels :
Audio-vidéo, multimédia, 3D
![Page 5: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/5.jpg)
Introduction
Acteurs industriels
QBIC (IBM), Virage, Netra
NewPhenix (CEA)
Acteurs académiques
VisualSeek (Columbia), …
IMEDIA (INRIA, Rocquencourt), RETIN (ETIS,
Cergy), KIWI (Insa, Lyon),…
Nombreux projets européens et nationaux
![Page 6: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/6.jpg)
Introduction
Objectif de l’indexation : faciliter l’accès à des
bases de données en extrayant une information
synthétique.
Fouille de données (Data Mining), Extraction de
connaissances, Vision artificielle
Catalogue, classification et indexation : quelles
différences ?
Indexation textuelle ou par le contenu ?
![Page 7: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/7.jpg)
Introduction
1980 : Annotation textuelle des images
1990 : Indexation par la couleur, la forme et la texture
1993 : Requête en utilisant la similarité des images
1997 : Requête par images exemplaires et mesure de la pertinence (relevance feedback)
2000 : apprentissage sémantique et adaptation à l’utilisateur
Enjeux actuels : annotation interactive, formalisation de la connaissance (ontologies), grosses bases de données (problèmes de stockage, de vitesse d’accès,…), données hétérogènes, …
![Page 8: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/8.jpg)
Indexation d’images à partir du texte
Texte
meta-données : type d’image, titre, auteur, conditions de prises de vue,…
Annotations humaines
Avantages :
exploite les outils d’indexation textuelle, prise en compte plus aisée des aspects sémantiques.
Inconvénients :
vocabulaire limité
difficultés de l’annotation : définition du vocabulaire, temps d’annotation >> temps réel, subjectivité, etc.
![Page 9: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/9.jpg)
Indexation d’images à partir du texte
![Page 10: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/10.jpg)
![Page 11: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/11.jpg)
Ontologies
Nécessité de définir un langage de description
Limité par le contexte de production
Limite l’utilisation
Définition d’ontologies : modélisation du contexte (objets/concepts et relations entre eux) de façon à lever toute ambiguïté d’interprétation
« Le problème fondamental est de respecter la diversité des langages et des
représentations du monde, tout en permettant l'échange d'information.[…]
Identifier, modéliser les concepts d'un domaine, pertinents pour une/des
applications, Se mettre d'accord, au sein d'une communauté, sur les
termes employés pour se référer à ces concepts. »
![Page 12: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/12.jpg)
Taxonomie / Nomenclature
Réduction couramment utilisée : Classification
Exemple : Corine Land cover
Surfaces artificielles
Surfaces cultivées
Forêts et espaces semi naturels
Surfaces humides
eau
Usine urbaine
Transports …
Réseaux routiers
Ports Aéroports …
![Page 13: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/13.jpg)
Indexation par le contenu : principe (1/2)
Modèles étiquetésCaract.+ étiquettes
Images
Extraction de caractéristiques
Caractéristiques
Requêtesutilisateur
ApprentissageNon supervisé
Apprentissagesupervisé
Modèles
Sélection de caractéristiques
![Page 14: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/14.jpg)
Principe (2/2)
Off-line : production d’indexes issus de l’analyse
du contenu des images
Extraction de caractéristiques pertinentes
Réduction de la dimensionnalité
Organisation par classification
On-line : gestion des requêtes d’un utilisateur
« Gap sémantique »
Relevance feedback
![Page 15: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/15.jpg)
Extraction de caractéristiques (1/2)
Caractéristiques :
Spécifiques : points saillants, minuties,…
Générales : couleur, texture, forme
Globale ou locale :
Blocs arbitraires, segmentation, information
topologique
![Page 16: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/16.jpg)
Extraction de caractéristiques (2/2)
Problème de représentation
Caractéristiques numériques, symboliques,
graphes,…
Invariances
Translation, rotation, homothétie,
non-linéaires ?
![Page 17: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/17.jpg)
Similarité de l’information (1/5)
Visuellement similaires ?
![Page 18: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/18.jpg)
Similarité de l’information (2/5)
![Page 19: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/19.jpg)
Similarité de l’information (3/5)
Deux images seront comparées par l’intermédiaire des caractéristiques extraites
Sim( Im1, Im2 ) = Sim( f(Im1), f(Im2) ), avec f la fonction d’extraction des caractéristiques
Mesures de similarités, distances
(A) s( x, x ) = s( y, y ) > s( x, y )
(B) s( x, y ) = s( y, x )
(C) d( x, x) = 0
(D) d(x,y) = 0 x = y
(E) d(x, y) <= d(x,z) + d(z,y)
(F) d(x,y) <= max( d(x,z), d(z,y) )
similarité
dissimilarité
distance
Ultra-métrique
![Page 20: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/20.jpg)
Similarité de l’information (4/5)
Distance euclidienne
Distance euclidienne généralisée
Malahanobis
Chi2
Similarité en cosinus
Combinaisons linéaires de similarités (ou
distances)
![Page 21: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/21.jpg)
Similarité de l’information (5/5)
Comparaison des caractéristiques après une transformation Φ
« Truc du noyau »
K(x,y) = < Φ(x), Φ(y)>, K semi-defini positif
D(x,y) = <x,x> + <y,y> -2<x,y> devient
D(Φ(x), Φ(y) ) = K(x,x) + K(y,y) -2K(x,y)
Intérêt : la spécification de K définit implicitement Φ
Intensivement utilisé pour ACP, la discrimination de Fisher, la classification SVM,…
![Page 22: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/22.jpg)
Réduction d’information (1/2)
Réduction de la dimensionnalité
ACP
Algorithmes de sélection
Quantification (forme de clusterisation)
![Page 23: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/23.jpg)
Réduction d’information (2/2)
Sélection : filter/wrapper/embedded
Supervisé, non supervisé
Supervisé, wrapper : SVM-RFE, Fisher,…
Non supervisé, filter : clusterisation des
caractéristiques
![Page 24: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/24.jpg)
Organisation de l’information (1/2)
Classification : données X (caractéristiques) et
label Y
Exemples : kPPV, SVM, Bayes, arbres de
décision (C45.1)
Évaluation d’une classification :
Décompte des erreurs
Validation croisée
![Page 25: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/25.jpg)
Organisation de l’information (2/2)
Clusterisation : données X
Partitionnement : kMeans
Hiérarchique : arbres
Minimiser la distance intra-classes et maximiser
la distance inter-classes
Évaluation : pas évidente
Estimation du nombre de clusters : indexes de
Calinsky, Davies Bouldin, Dunn,…
Mesure de la qualité ?
![Page 26: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/26.jpg)
Gestion de l’information
SGBD Systèmes de Gestion de Bases de
données
Gestion informatique : interaction avec les
requêtes utilisateur, temps d’accès, place
mémoire, …
Relationnel : SQL, mySQL
Objet
Relationnel-objet : Oracle, PostGreSQL
![Page 27: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/27.jpg)
Requêtes
Grande diversité
Les systèmes imposent des types de requête :
Recherche d’une image dans une base
Recherche d’images similaires à une image exemplaire
Recherche d’images similaires à des images exemples et dissimilaires à d’autres
Recherche d’images contenant une région de l’image exemplaire
…
![Page 28: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/28.jpg)
Feedback utilisateur (1/2)
Défaut majeur des systèmes standards :
l’utilisateur doit s’adapter au système
Caractéristiques extraites automatiquement non
intuitives
Fossé entre la formulation des requêtes et le
codage de l’information
Nécessité d’adapter le système à l’utilisateur
Apprentissage : requêtes, mesures de similarités
![Page 29: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/29.jpg)
Feedback utilisateur (2/2)
Modèles étiquetésCaract.+ étiquettes
Images
Extraction de caractéristiques
Caractéristiques
Requêtesutilisateur
ApprentissageNon supervisé
Apprentissagesupervisé
Modèles
Sélection de caractéristiques
![Page 30: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/30.jpg)
Évaluation (1/2)
Graphe de rappel-précision calculé en faisant varier le
nombre de documents sélectionnés
éssélectionndocuments
trouvésdocumentsprécision
et
pertinentsdocuments
trouvésdocumentsrappel
Documents pertinents Documents non pertinents
Documents
sélectionnés
Documents trouvés Documents hors contexte :
bruit
Documents non
sélectionnés
Documents oubliés :
silence
![Page 31: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/31.jpg)
Évaluation (2/2) : autres critères
Exploitation du rang de récupération
Critère de validation de MPEG7
Rank*(k) = rang(k) si < K(q), 1.25K sinon
AVR(q) : moyenne des rangs
MRR(q) = AVR(q) – 0.5( 1 + NG(q) )
NMRR(q) = MRR(q) / ( 1.25K – 0.5(1+NG(q)) )
Critère final : moyenne des NMRR Notations : q = 1 requête ; k = une image pertinente pour la
requête ; NG(q) nombre d’images pertinentes pour la requête ; K limite de rang acceptable
![Page 32: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/32.jpg)
Normalisation : MPEG 7 (1/2)
MPEG : Motion Picture Expert group
MPEG7 : A Multimedia Content Description Interface,
normalisé en 2001
Standard de description du contenu de données
multimédia + interprétation du sens de l’information
S’appuie sur XML (langage à balises)
Un éditeur gratuit d’IBM (pour indexer des videos)
www.alphaworks.ibm.com/tech/videoannex
![Page 33: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/33.jpg)
Normalisation : MPEG 7 (2/2)
Définitions de caractéristiques bas niveau : //www-iplab.ece.ucsb.edu/publications/01IEEEManjunath.htm
Évaluation des caractéristiques sur des bases
étiquetées manuellement
![Page 34: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/34.jpg)
Démonstrations
Images 3D : http://3d.csie.ntu.edu.tw/
![Page 35: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/35.jpg)
Démonstrations
![Page 36: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/36.jpg)
Démonstrations
Ding-Yun Chen, Xiao-Pei Tian, Yu-Te Shen and Ming Ouhyoung, "On Visual Similarity Based 3D Model Retrieval", Computer Graphics Forum (EUROGRAPHICS'03), Vol. 22, No. 3, pp. 223-232, Sept. 2003
![Page 37: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/37.jpg)
Démonstrations www-rocq.inria.fr/imedia/ikona
Feedback utilisateur
![Page 38: INDEXATION des IMAGES](https://reader035.fdocuments.net/reader035/viewer/2022062221/56814394550346895db00fcd/html5/thumbnails/38.jpg)
Conclusion
Indexation des images : problème non résolu
Experts issus de domaines variés (informatique,
traitement de l’image, psycho visuel, apprentissage
machine, …)
Deux axes à étudier simultanément :
Techniques d’analyse d’image donc d’extraction
et de comparaison de l’information
Pertinence de l’information pour un utilisateur
Produits commerciaux encore basiques … quoique