Indexation vidéo Indexation multimédia
description
Transcript of Indexation vidéo Indexation multimédia
![Page 1: Indexation vidéo Indexation multimédia](https://reader036.fdocuments.net/reader036/viewer/2022081504/56813fdf550346895daac82a/html5/thumbnails/1.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation vidéoIndexation multimédia
AnalyseExtraction Structuration
Représentation
RechercheFiltrage
InterrogationRequêtes
IndexDocuments
VisualisationExploration
![Page 2: Indexation vidéo Indexation multimédia](https://reader036.fdocuments.net/reader036/viewer/2022081504/56813fdf550346895daac82a/html5/thumbnails/2.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
Moteurd'instanciationautomatique
Base de Données
![Page 3: Indexation vidéo Indexation multimédia](https://reader036.fdocuments.net/reader036/viewer/2022081504/56813fdf550346895daac82a/html5/thumbnails/3.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
• Analyse audio
Jérôme Fariñas, Julien Pinquier, Jean-Luc Rouas
silencemusic speechspeech
French English
Speech transcription Speech transcription
![Page 4: Indexation vidéo Indexation multimédia](https://reader036.fdocuments.net/reader036/viewer/2022081504/56813fdf550346895daac82a/html5/thumbnails/4.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
• Texte dans une vidéo– Quantification de couleurs– Etiquetage des régions– Heuristiques sur les dimensions et les
positions des zones de texte– Heuristiques sur l’alignement des zones
de texte
Hae-Kwang Kim – Bassem Haidar
![Page 5: Indexation vidéo Indexation multimédia](https://reader036.fdocuments.net/reader036/viewer/2022081504/56813fdf550346895daac82a/html5/thumbnails/5.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
• Texte dans une vidéo
MILLIONSde francs
AIAMER
![Page 6: Indexation vidéo Indexation multimédia](https://reader036.fdocuments.net/reader036/viewer/2022081504/56813fdf550346895daac82a/html5/thumbnails/6.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
• Texte dans une vidéo
![Page 7: Indexation vidéo Indexation multimédia](https://reader036.fdocuments.net/reader036/viewer/2022081504/56813fdf550346895daac82a/html5/thumbnails/7.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
• Texte dans une vidéo– Chaînage
• Filtrage• Transcription (OCR)• Analyse statistique • Analyse linguistique
![Page 8: Indexation vidéo Indexation multimédia](https://reader036.fdocuments.net/reader036/viewer/2022081504/56813fdf550346895daac82a/html5/thumbnails/8.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
• Trajectoire• Mean Shift maximisant le coefficient de Battacharyya
Gaël Jaffré
![Page 9: Indexation vidéo Indexation multimédia](https://reader036.fdocuments.net/reader036/viewer/2022081504/56813fdf550346895daac82a/html5/thumbnails/9.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation vidéo
• Paramètres de la production audiovisuelle
Projet ITEA KLIMT
– Costume• Identification• Fonction
– Cadrage– Décors– Eclairage
Gaël Jaffré
![Page 10: Indexation vidéo Indexation multimédia](https://reader036.fdocuments.net/reader036/viewer/2022081504/56813fdf550346895daac82a/html5/thumbnails/10.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
• Mouvement du corps humain– Différence et filtrage– Localisation– Distance– Appariement
Thomas Fourès
![Page 11: Indexation vidéo Indexation multimédia](https://reader036.fdocuments.net/reader036/viewer/2022081504/56813fdf550346895daac82a/html5/thumbnails/11.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
• Mouvements du corps humain
Projets ITEA KLIMT – ROBEA GdansC
– Appariement d’un modèle hiérarchique
– Contraintes– Description XML
SAMoVA
![Page 12: Indexation vidéo Indexation multimédia](https://reader036.fdocuments.net/reader036/viewer/2022081504/56813fdf550346895daac82a/html5/thumbnails/12.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
SAMoVA
![Page 13: Indexation vidéo Indexation multimédia](https://reader036.fdocuments.net/reader036/viewer/2022081504/56813fdf550346895daac82a/html5/thumbnails/13.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation vidéo
• Mouvements du corps humain
<Motion Id = "1"><Start_Time>0.5</Start_time><End_Time>1</End_time><Left_Arm vertical="Down"/><Left_Weight vertical = "Center"><Right_Weight vertical="Center"><Right_Arm vertical="Down"/>
</Motion><Motion Id="2">
<LeftArm vertical = "Center" horizontal = "Front"/><RightArm vertical = "Center" horizontal = "Front"/>
</Motion>
![Page 14: Indexation vidéo Indexation multimédia](https://reader036.fdocuments.net/reader036/viewer/2022081504/56813fdf550346895daac82a/html5/thumbnails/14.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
• Formalismes descriptifs– Pour la production audiovisuelle
• Indexation =
• Costume, éclairage, cadrage, décors, objet sonore
Segmentation
Caractérisation
Interprétation
Minh Phung Bui Thi
![Page 15: Indexation vidéo Indexation multimédia](https://reader036.fdocuments.net/reader036/viewer/2022081504/56813fdf550346895daac82a/html5/thumbnails/15.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
• Formalismes descriptifs– Pour la production audiovisuelle
• Indexation =
• Costume, éclairage, cadrage, décors, objet sonore
Interprétation
Indexation multimédia
Segmentation
Caractérisation
Minh Phung Bui Thi
![Page 16: Indexation vidéo Indexation multimédia](https://reader036.fdocuments.net/reader036/viewer/2022081504/56813fdf550346895daac82a/html5/thumbnails/16.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Signe (Pierce)
• Formalismes descriptifs
Objetsémantique
Indexation multimédia
InterpretantPragmatique
RepresentamenSyntaxe
Types (costume, décor, montage, …)
Formes possibles, caractérisations
Différentes points de vueDifférentes méthodes d’analyseDifférents niveaux sémantiques{
![Page 17: Indexation vidéo Indexation multimédia](https://reader036.fdocuments.net/reader036/viewer/2022081504/56813fdf550346895daac82a/html5/thumbnails/17.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
• Formalismes descriptifs : XML +– Expression de relations conceptuelles– Explicitation des mécanismes d’héritage
XML-Schema pour désambiguïser l’interprétation
– Compactage des descriptions (Bin-XML)
Claude Seyrat
![Page 18: Indexation vidéo Indexation multimédia](https://reader036.fdocuments.net/reader036/viewer/2022081504/56813fdf550346895daac82a/html5/thumbnails/18.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
Siba Haidar
![Page 19: Indexation vidéo Indexation multimédia](https://reader036.fdocuments.net/reader036/viewer/2022081504/56813fdf550346895daac82a/html5/thumbnails/19.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
• Macrosegmentation
– Typologie de l’évolution des caractéristiques bas-niveau AV
– Identification d’invariants de production– Distances de similarité
Siba Haidar
![Page 20: Indexation vidéo Indexation multimédia](https://reader036.fdocuments.net/reader036/viewer/2022081504/56813fdf550346895daac82a/html5/thumbnails/20.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation transmédia
• Interventions
– Segmentation en locuteurs
– Détection/identification des visages
Jean-Pierre Desmoulins
![Page 21: Indexation vidéo Indexation multimédia](https://reader036.fdocuments.net/reader036/viewer/2022081504/56813fdf550346895daac82a/html5/thumbnails/21.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation transmédia
• Leitmotivs
– Détection des jingles
– Détection des logos
Jérôme Louradour
![Page 22: Indexation vidéo Indexation multimédia](https://reader036.fdocuments.net/reader036/viewer/2022081504/56813fdf550346895daac82a/html5/thumbnails/22.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
• Plateforme d’indexation multimédia dynamique
Projet ITEA KLIMT
– Service d’indexation – externalisation des applications
– Chaînage dynamique – typage des échanges (MPEG-7)
– Gestion dynamique des ressources – déclaration + contrôle de cohérenceBassem Haidar
![Page 23: Indexation vidéo Indexation multimédia](https://reader036.fdocuments.net/reader036/viewer/2022081504/56813fdf550346895daac82a/html5/thumbnails/23.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
• Plateforme d’indexation multimédia dynamique
Indexer.exe
Component control
ConfiguratorInterface
ControlInteface
Specification.xml
Component 1
Component 2
Component n
server
annuaire
Relationship service
Service 2
Service 3
Primary server
Application
![Page 24: Indexation vidéo Indexation multimédia](https://reader036.fdocuments.net/reader036/viewer/2022081504/56813fdf550346895daac82a/html5/thumbnails/24.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
• Plateforme d’indexation multimédia dynamique
![Page 25: Indexation vidéo Indexation multimédia](https://reader036.fdocuments.net/reader036/viewer/2022081504/56813fdf550346895daac82a/html5/thumbnails/25.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Indexation multimédia
• Plateforme d’indexation multimédia dynamique (Chaînage KLIMT)
Speech/Music segmentation
(IRIT)
Language identification(TRT & IRIT)
english LVCSR (TRT)
french LVCSR (IRIT)
Topic detection and tracking
(TRT)
![Page 26: Indexation vidéo Indexation multimédia](https://reader036.fdocuments.net/reader036/viewer/2022081504/56813fdf550346895daac82a/html5/thumbnails/26.jpg)
Journée Scientifique - 7 juillet 2003 - LyonAS Modélisation Sémantique et Indexation Multimédia
Projets en cours
• Recherche Automatique d’Informations Verbales Et Sonores : vers l’extraction et la structuration de données radiophoniques sur Internet (programme Interdisciplinaire « Société de l’information » CNRS)
• KnowLedge InterMediation Technology(projet Information Technology for European Advancement)
• Framework d’Expérimentations et de Réalisation Industrielle d’Applications multimédia (projet RIAM, Equipe SIG )
• GdansC (Projet Robea CNRS)• AS STIC Indexation Multimédia – transmodalité et gestion
des connaissances• AS «Question du geste dépendant des pratiques
artistiques» du RTP ArtiStic