Prezentare Doctorat Ionut Mironica
-
Upload
ionut-mironica -
Category
Education
-
view
184 -
download
2
Transcript of Prezentare Doctorat Ionut Mironica
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
TEHNICI INTELIGENTE PENTRU ANALIZA ȘI CLASIFICAREA DUPĂ
CONȚINUT A COLECȚIILOR DE BAZE DE DATE MULTIMEDIA
Doctorand: ing. Ionuț MIRONICĂ
Conducător de doctorat: prof. dr. ing. Radu DOGARU
LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației, Universitatea Politehnica București
Romania
Universitatea Politehnica Bucureşti
Stagiu 6 luni „University of Trento”, Italia
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
2
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
3
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
4
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
55
Informație vizuală - culoare - textură - forme - trăsături
Informație de mișcare
Informație audio - muzică - vorbire - sunete
Informație textuală
Scopul tezei de doctoratDate multimedia
[www.youtube.com]
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
6
Cuprins
• Concluzii și perspective de dezvoltare
• Prezentare concepte
• Trăsături propuse pentru descrierea documentelor video• reprezentarea „Fisher kernel”
• Metode de Relevance Feedback propuse
• Trecerea în revistă a principalelor contribuții originale
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
7
I. Prezentare concepte
(On-line)Calcul
DescriptoriComparaţie
Rezultate
Relevance feedback
Baza de date multimedia
(Off-line)Calcul
Descriptori
Interogare
Descriptori multimedia(vectori cu
componente)
Antrenare/clasificare
Căutare similaritate
Căutare concepte
Căutare în conținut
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
8
• “Semantic gap” (paradigma semantică) - diferenţa dintre informaţia computaţională extrasă din documentul multimedia şi interpretarea semantică a acestuia.
I. Prezentare concepte
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
Capitolul IITrăsături pentru descrierea
documentelor video
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
[Czurka et al., ECCV 2004]
Creare dicționarDetecție de puncte de interes Generare histograme
Antrenare clasificator
10
II. Trăsături pentru descrierea videoModelul „Bag of Words” („State-of-the-Art”)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
• conține apartenența fiecărui punct de interes către un element al unui dicționar (histogramă de cuvinte)
Rezultat: D = [0;0;0;1];
Dimensiune: K (numărul de cuvinte din dicționar)
II. Trăsături pentru descrierea videoModelul „Bag of Words”
11
[Czurka et al., ECCV 2004]
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
• nu există nici o metodă riguroasă de reprezentare a distribuției spațiale dintre anumite perechi de cuvinte.
• există multe cuvinte care nu sunt relevante
• procesul de cuantizare a cuvintelor generează zgomot de cuantizare.
• costul computațional crește foarte mult odată cu dimensiunea vocabularului de cuvinte.
II. Trăsături pentru descrierea videoDezavantaje model „Bag of Words”
12
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
13
- conceptul a fost introdus de [Jaakkola et al.,: Exploiting generative models in discriminative classifiers. NIPS’99] pentru detecția de proteine.
- introdus în Computer Vision de [Perronnin et al.,: "Fisher kernels on visual vocabularies for image categorization." CVPR’07] pentru clasificarea de imagini.
- combină beneficiile algoritmilor generativi cu cei discriminativi.
- reprezintă un semnal ca și gradientul funcției de densitate de probabilitate care este învățată ca un model generativ al unui semnal.
II. Trăsături pentru descrierea videoTeoria reprezentării „Fisher kernel”
(1)
(2)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
• Calculează probabilitățile de apartenență la un cuvânt din dicționar Rezultat: D = [0.3;0.1;0.1;0.5]; - calculează gradientul mediei și a varianței probabilităților deapartenență la un cuvânt din dicționar.
Dimensiune: 2*D*K
2 – medie + varianță
K – numărul de cuvinte din dicționar
D – lungimea trăsăturii
II. Trăsături pentru descrierea videoReprezentarea „Fisher kernel”
14
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
15
II. Trăsături pentru descrierea videoContribuții
(1) am introdus reprezentarea Fisher pentru modelarea variației de timp în cadrul documentelor video
(2) am demonstrat că modelul propus are un caracter general în funcție de problema selectată: de la recunoaștere de gen, la recunoaștere de secvențe sportive și acțiuni cotidiene.
(3) am arătat generalitatea metodei în funcție de trăsăturile alese: de la descriptori vizuali, la descriptori de mișcare și trăsături audio
(4) cu metoda propusă am obținut rezultate similare sau mai bune decât cele propuse în literatură, deși am utilizat un set de trăsături mai ușor de calculat.
[Mironică et al., Multimedia’13 ACM]
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
16
Calcul a vectorilor Fisher
Pas de antrenare și clasificare
Extragere dicționar
Secțiune generativăSecțiune
discriminativă
II. Trăsături pentru descrierea videoArhitectura reprezentării „Fisher kernel”
[Mironică et al., ICMR’13 ACM]
X = {x1 ... xm}
Extragere trăsături
Reducere dimensiune descriptori
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
17
II. Trăsături pentru descrierea videoAgregarea cadrelor cu reprezentarea „Fisher kernel”
Reprezentare „Fisher kernel”
Cadrele similare vor face parte din aceeași componentă, modelând variațiile subtile de timp.
[Mironică et al., ICMR’13 ACM][Mironică et al., Multimedia’13 ACM]
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
18
II. Trăsături pentru descrierea videoAgregarea cadrelor cu reprezentarea „Fisher kernel”
Cadrele nesimilare vor face parte din componente separate, prevenind amestecarea conceptelor nesimilare.
[Mironică et al., ICMR’13 ACM]Reprezentare „Fisher kernel” [Mironică et al., Multimedia’13 ACM]
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
19
Scor 1(normalizat)
Scor 1(normalizat)
Scor 2(normalizat)
Scor 2(normalizat)
Scor n(normalizat)
Scor n(normalizat)
Normalizarea scorurilor de încredere
Vector Fisher 1
Vector Fisher 2 Vector Fisher 2
Vector Fisher n Vector Fisher n
Generare vectori Fisher
clasificator 1
clasificator 1
clasificator2
clasificator2
clasificatorn
clasificatorn
Clasificare
DecizieDecizieScor de încredere
global
Scor de încredere global
Obținerea unui scor de încredereglobal
Fuziunea trăsăturilor – „Late Fusion”
II. Trăsături pentru descrierea video
[Mironică et al., CBMI 2013, IEEE/ACM]
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
20
Detecția genului documentelor video
II. Trăsături pentru descrierea video
[http://www.multimediaeval.org/mediaeval2012]
• Programe de televiziune– știri, sport, documentare, talk show, …
• Filme– drame, comedii, thriller, …
• Înregistrări– conferințe, video teleconferințe, ...
• Altele
– camere de supraveghere, înregistrări personale, …
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
21
• 14.838 episoade ~ aproximativ 3.260 ore de conținut video o 5.288 documente pentru antrenareo 9.550 documente pentru testare
• conține documente video semi-profesionale de pe internet grupate în 26 de genuri: artă, autovehicule, afaceri, jurnalism, comedie, documentare, educațional, bucătărie
Baza de date „MediaEval 2012”, Tagging Task
II. Trăsături pentru descrierea video
[http://www.multimediaeval.org/mediaeval2012]
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
22
Histograme de gradienți orientați (HoG)•Împarte imaginea în 3x3 regiuni și pentru fiecare zonă calculează o histogramă de orientări de pixeli
[Ludwig et al, CITS 2009]
Trăsături vizuale
II. Trăsături pentru descrierea video
Histograma de culoare „Color naming”•Proiectează culorile în 11 culori universale: negru, albastru, maro, gri, verde, portocaliu, roz, purpuriu, roșu, alb și galben
[Weijer et al, IEEE TIP’ 2009]
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
[Mathieu et al., Yaafe toolbox, ISMIR’10, IEEE]
23
Trăsături audio
II. Trăsături pentru descrierea video
• Linear Predictive Coefficients,
• Line Spectral Pairs,
• Mel-Frequency Cepstral Coefficients,
• Zero-Crossing Rate,
+ toate împărțite la varianța globală a trăsăturii
• Spectral centroid, flux, rolloff și kurtosis
Trăsături audio bazate pe blocuri audio
f1 fn…f2
time
+ var{f2} var{fn}
Parametrii extrași:
[Mironică et al., CBMI 2013, IEEE/ACM]
[Mironică et al., ICMR 2013, ACM]
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
Tip trăsătură Metodă raportată la MediaEval 2012
MAP metodă raportată
MediaEval 2012
MAP metodă propusă
Audio Descriptori pe bază de blocuri audio & SVM Liniar
0,192 0,475
Vizual descriptori vizuali (Color,Texture, rgbSIFT)
0,350 0,460
Audio & Vizual - - 0,550
Text Bag of Words - Metadata & Text ASR
0,522 -
Audio & Vizual & Text
- - 0,66
II. Trăsături pentru descrierea videoComparație rezultate cu MediaEval 2012 Genre Retrieval
24
Indicator performantă: MAP (valoare maximă = 1)[Mironică et al., Multimedia’13 ACM]
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
III. Trăsături pentru descrierea videoRecunoașterea de acțiuni sportive
25
Baza Sport UCF 50 •6500 documente video preluate de pe Youtube împărțite în 50 de acțiuni:•baseball, aruncări, biliard, înot, ridicare de greutăți, scufundări, bătut la tobă, scrima, golf, cântat la chitară, sărituri cu prăjina,curse de cai, aruncarea suliței, sărituri în lungime, caiac, exerciții de încălzire, cal cu mânere, tracțiuni, box, urcări pe pereți artificiali, urcare pe frânghie, canotaj, salsa, skate boarding, sky etc
[Reddy et al., MVAP, 2012]
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
II. Trăsături pentru descrierea videoRecunoașterea de acțiuni sportive – Trăsături utilizate
26
Fuziune cu „Late Fusion”
Trăsături vizuale•Histograme de gradienţi orientaţi (HOG - 2x2, 3x3, 4x4)•Histograme „Color Naming” (2x2, 3x3, 4x4)
Trăsături de mișcare•Histograme de flux optic (HOF) (2x2, 3x3, 4x4)
[Lazebnik et al., CVPR, 2006]Piramide Spațiale
[Mironică et al., Multimedia’13 ACM]
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
Metodă Acuratețe
Reddy et al. MVAP 2012 76,9%
Metoda propusă 74,7%
Solmaz et al. MVAP 2012 73,7%
Everts et al. CVPR 2012 72,9%
Kliper-Gross et al. ECCV 2012 72,6%
GIST3D - Solmaz et al. MVAP 2012 65,3%
II. Trăsături pentru descrierea videoRecunoașterea de acțiuni sportive – Comparație „State-of-the-Art”
27
[Mironică et al., Multimedia’13 ACM]
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
II. Trăsături pentru descrierea videoRecunoașterea de acțiuni cotidiene
28
Răspuns la telefon
Tocat de banane
Formare de numere la telefon
A bea apă
Utilizare furculiță
A mânca biscuiți
Desfacere banane
Citire agendă telefonică
A mânca banane
Scris pe tablă
Baza de date „University of Rochester Activities of Daily Living Dataset”
[www.cs.rochester.edu/rmessing/uradl]
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
II. Trăsături pentru descrierea videoRecunoașterea de acțiuni cotidiene – metoda propusă
29
[Rostamzadeh, Zen, Mironică, Uijlings, Sebe, ICIAP 2013, IEEE]
[Ramanan, et. al. CVPR 2007]
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
Metodă AcuratețeMetodă propusă 97,3%Wang et al. CVPR 2012 96,0%Lin et al. ICCV 2011 95,0%Messing et al. ICCV 2009 89,0%
II. Trăsături pentru descrierea videoRecunoașterea de acțiuni cotidiene – comparație „State-of-the-Art”
30
[Mironică et al., Multimedia’13 ACM]
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
Capitolul IIIAlgoritmi de „Relevance
Feedback”
31
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
32
Se utilizează exemplele pozitive şi negative preluate de la utilizator pentru a îmbunătăţi performanţa sistemului.
FeedbackUtilizator
Afişare
Estimare a noilordocumente
Afişare
FeedbackUtilizator
III. Relevance FeedbackArhitectura algoritmilor de Relevance Feedback
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
• viteza de procesare (sisteme în timp real)
33
Provocările algoritmilor de Relevance Feedback
• numărul de documente pe care se oferă feedback este mult mai redus decât spațiul descriptorilor
• dezechilibru în modul de a acorda feedback între utilizatori diferiți
• dezechilibru între numărul de documente relevante și nerelevante
III. Relevance Feedback
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
34
Algoritmi clasici de „Relevance feedback”
III. Relevance Feedback
Căutare inițială
Feedback utilizator
Antrenare
[Tao et al., PAMI’07, IEEE Trans.]
Documente relevante
Documente nerelevante
Document de interogare
Documente fără feedback
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
35
Calculează gradul de similaritate intre oricare două combinații de documente
Crează un cluster cu cele mai similare 2 grupuri de documente
Calculează gradul de similaritate între clusterul creat și restul clusterelor
Condiție de încheiere
Clasificare documente din baza de date utilizând
dendograma antrenatăStop
III. Relevance Feedback„Relevance feedback” cu clusterizare ierarhică
[Mironică et al., CBMI’12, IEEE/ACM]
[Mironică et al., ISSCS’11, IEEE]
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
36
Interogare Inițială
III. Relevance Feedback„Relevance feedback” cu clusterizare ierarhică
[Mironică et al., CBMI’12, IEEE/ACM]
[Mironică et al., ISSCS’11, IEEE]
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
37
III. Relevance Feedback„Relevance feedback” cu clusterizare ierarhică
[Mironică et al., CBMI’12, IEEE/ACM]
[Mironică et al., ISSCS’11, IEEE]
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
38
III. Relevance Feedback„Relevance feedback” cu clusterizare ierarhică
[Mironică et al., CBMI’12, IEEE/ACM]
[Mironică et al., ISSCS’11, IEEE]
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
39
Varianta 1: Numărul fix de clustere
Varianta 2: Număr adaptiv de clustere – criteriul arcului
III. Relevance FeedbackCondiție de încheiere
Număr de centroizi
Pro
cent
ul d
e va
rianț
ă
[Mironică et al., CBMI’12, IEEE/ACM]
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
40
Distanța dintre centroizi
+
+
C1
C2
Centroid
Centroid
Distanța Minimă
+
+
C1
C2
III. Relevance FeedbackCalculul similarității dintre clusteri
[Mironică et al., CBMI’12, IEEE/ACM]
[Mironică et al., ISSCS’11, IEEE]
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
41
Distanța Medie
C1C2
Gradul de similaritate = Media distanțelor posibile dintre 2 clustere
Distanța Maximă+
+
C1
C2
III. Relevance FeedbackCalculul similarității dintre clusteri
[Mironică et al., CBMI’12, IEEE/ACM]
[Mironică et al., ISSCS’11, IEEE]
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
42
Metoda propusă a fost comparată cu o serie de algoritmi „State-of-the-Art”:-Rocchio-Nearest Neighbor RF - NB-Boost RF-SVM RF -Random Forest RF - (RF)-Decision Trees RF-Relevance Feature Estimation - (RFE)
III. Relevance FeedbackEvaluare – Comparație cu „State-of-the-Art”
[Mironică et al., CBMI’12, IEEE/ACM]
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
04/15/23
Curbele Precizie – Reamintire pentru bazele de date Caltech 101 și Microsoft utilizând descriptorii de culoare, MPEG7 și Bag of Words (SURF)
III. Relevance FeedbackComparație cu „State-of-the-Art” (baze de date de imagini)
43
[Mironică et al., CBMI’12, IEEE/ACM]
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
04/15/23
III. Relevance FeedbackComparație cu „State-of-the-Art” – mai multe iterații feedback
44
[Mironică et al., CBMI’12, IEEE/ACM]
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
04/15/23
Grafice Precizie – Reaminitire pentru o sesiune de relevance feedback pe patru ferestre de afisare (20, 30, 40 si 50 de documente afișate)
III. Relevance FeedbackComparație cu „State-of-the-Art” – baze de date video (MediaEval 2011)
45
[Ionescu, Seyerlehner, Mironică, Vertan, MTAP ’12]
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
Capitolul IVAlte contribuții originale
Interfață
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
47
• Descrierea conținutului de textură folosind automate celulare[Mironică et al., Buletin UPB, ‘13]
• Analiza influenței metricilor asupra performanțelor sistemelor de indexare
[Mironică et al., EUSIPCO ’12, IEEE ]
• Algoritm de „Relevance Feedback" cu estimare a importanței trăsăturilor
[Mironică et al., SPAMEC ’11, EURASIP]
• Metode multimodale de clasificare a documentelor video web prin integrarea acestora cu algoritmi de relevance feedback
[Ionescu, Seyerlehner, Mironică, Vertan, MTAP ’12]
[Ionescu, Seyerlehner, Mironică, Vertan, EUSIPCO’12, IEEE]
• Sistem de indexare multimedia după conținut
[Mironică, Raport cercetare 2011]
IV. Alte contribuții originale
• Algoritm de „Relevance Feedback" cu reprezentare „Fisher kernel"
[Mironică et al., ICMR ’13, ACM]
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
48
• Catalogarea imaginilor ORL[Mironică et al., EHB ’11, IEEE]
• Catalogarea imaginilor microscopice
[Mironică et al., COMM ’10, IEEE]
[Mironică et al., ISSCS ’11, IEEE]
• Catalogarea după gen a documentelor video
Competiție MediaEval 2012 - Poziția 2 / 29 sisteme[Mironică et al., CBMI’13, ACM/IEEE]
• Catalogarea conținutului de violență în filme (analiza și implementarea de trăsături vizuale)
Competiție MediaEval 2012 - Poziția 1 / 35 sisteme[Ionescu, Schlüter, Mironică, Schedl ICMR’13, ACM]
• Catalogarea gesturilor (pozițiilor) statice ale mâinii
[Vieriu, Mironică, Goraș, ISSCS’13, IEEE]
IV. Alte contribuții originale
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
49 04/15/23
IV. Lista de lucrări originaleArticole publicate în reviste de specialitate [1] Ionuț Mironică, Radu Dogaru, „A novel feature-extraction algorithm for efficient classification of texture images", în Scientific Bulletin of UPB, Series C - Electrical Engineering, 2012.[2] Bogdan Ionescu, Klaus Seyerlehner, Ionuț Mironică, Constantin Vertan, Patrick Lambert, „An Audio-Visual Approach to Web Video Categorization", Multimedia Tools and Applications, 2012 (factor impact ISI 0.91).
Cărți [3] Bogdan Ionescu, Ionuț Mironică, „Conceptul de Indexare Automată după Conținut în Contextul Datelor Multimedia", trimisă spre publicare (103 pagini).
49
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
04/15/23
IV. Lista de lucrări originale Articole publicate în conferințe internaționale (18) [4] Ionuț Mironică, Constantin Vertan, „Relevance feedback approaches for MPEG-7 content-based biomedical image retrieval", Communications (COMM), iunie 2010, Bucucurești, Romania.[5] Ionuț Mironică, Radu Dogaru, „A comparison between various classification methods for image classification stage in CBIR", Signals, Circuits and Systems (ISSCS), iulie 2011, Iași Romania[6] Ionuț Mironică, Constantin Vertan „An adaptive hierarchical clustering approach for relevance feedback in content-based image retrieval systems", Signals, Circuits and Systems (ISSCS), iulie 2011, Iași, Romania.[7] Ionuț Mironică, Constantin Vertan „A Modified Feature Relevance Estimation Approach to Relevance Feedback in Content-Based Image Retrieval Systems", Signal Processing and Applied Mathematics for Electronics and Communications, 26-28 august, 2011, Cluj-Napoca, Romania.[8] Ionuț Mironică, Constantin Vertan, Bogdan Ionescu „A Relevance Feedback Approach to Video Genre Retrieval", International Conference on Intelligent Computer Communication and Processing august, 2011, Cluj-Napoca, Romania.[9] Ionuț Mironică, Constantin Vertan, Dan Cristian Gheorghe „Automatic Pediatric Otitis Detection by Classification of Global Image Features", International Conference on e-Health and Bioengineering, EHB, noembrie, 2011, Iași, Romania.[10] Ionuț Mironică, Bogdan Ionescu, Constantin Vertan, „Hierarchical Clustering Relevance Feedback for Content-Based Image Retrieval", IEEE/ACM 10th International Workshop on Content-Based Multimedia Indexing, 27-29 iunie, Franța, 2012.[11] Bogdan Ionescu, Klaus Seyerlehner, Ionuț Mironică, Constantin Vertan, Patrick Lambert, "Automatic Web Video Categorization using Audio-Visual Information and Hierarchical Clustering Relevance Feedback", 20th European Signal Processing Conference - EUSIPCO 2012, 27-31 august, București, Romania.[12] Ionuț Mironică, Bogdan Ionescu, Constantin Vertan, „The Influence of the Similarity Measure to Relevance Feedback", 20th European Signal Processing Conference - EUSIPCO 2012, 27-31 august, București, Romania, 2012.[13] Jan Schlüter, Bogdan Ionescu, Ionuț Mironică, Markus Schedl, „ARF @ MediaEval 2012: An Uninformed Approach to Violence Detection in Hollywood Movies", MediaEval Benchmarking Initiative for Multimedia Evaluation workshopItalia 2012. [14] Bogdan Ionescu, Ionuț Mironică, Klaus Seyerlehner, Peter Knees, Jan Schlüter, Markus Schedl, Horia Cucu, Andi Buzo, Patrick Lambert, „ARF @ MediaEval 2012: Multimodal Video Classification", MediaEval workshop, Italia, 4-5 octombrie, 2012.[15] Bogdan Ionescu, Jan Schlüter, Ionuț Mironică, Markus Schedl, „A Naive Mid-level Concept-based Fusion Approach to Violence Detection in Hollywood Movies", ACM International Conference on Multimedia Retrieval - ICMR 2013, SUA, 2013.
50
EHBICMR ISSCS
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
04/15/23
IV. Lista de lucrări originale
51
Articole publicate în conferințe internaționale [16] Ionuț Mironică, Bogdan Ionescu, Jasper Uijlings, Nicu Sebe, „Fisher Kernel based Relevance Feedback for Multimodal Video Retrieval", ACM International Conference on Multimedia Retrieval - ICMR 2013, Dallas, Texas, SUA, 2013.[17] Ionuț Mironică, Bogdan Ionescu, Peter Knees, Patrick Lambert, „An In-Depth Evaluation of Multimodal Video Genre Categorization", IEEE/ACM 11th International Workshop on Content-Based Multimedia Indexing CBMI, iunie, Veszprém, Ungaria, 2013.[18] Ionuț Mironică, Bogdan Ionescu, Christoph Rasche, Patrick Lambert, „A Visual-based Late-Fusion Framework for Video Genre Classification" Signals, Circuits and Systems (ISSCS), iunie 2013, Iași, Romania.[19] Ionuț Mironică, Jasper Uijlings, Negar Rostamzadeh, Bogdan Ionescu, Nicu Sebe „Time Matters! Capturing Temporal Variation in Video using Fisher Kernels", ACM Multimedia - ACM MM 2013, Barcelona, Spania, octombrie 2013.[20] Negar Rostamzadeh, Gloria Zen, Ionuț Mironică, Jasper Uijlings, Nicu Sebe, „Daily Living Activities Recognition via Efficient High and Low Level Cues Combination and Fisher Kernel Representation", International Conference on Image Analysis and Processing, ICIAP, Napoli, Italia, 2013.[21] Radu-Laurențiu Vieriu, Ionuț Mironică, Bogdan-Tudor Goraș, „Background Invariant Static Hand Gesture Recognition based on Hidden Markov Models", Signals, Circuits and Systems (ISSCS), iunie 2013, Iași, Romania.
Competiții (3) [22] participare MediaEval 2012 – secțiunea Tagging Task – membru în cadrul echipei ARF, cu membrii: Bogdan Ionescu, Ionuț Mironică, Klaus Seyerlehner, Peter Knees, Jan Schlüter, Markus Schedl, Horia Cucu, Andi Buzo, Patrick LambertAm obținut locul 2 pentru pentru cel mai bun sistem (din 29 de sisteme propuse) [23] participare MediaEval 2012 – secțiunea Violence Detection – membru în cadrul echipei ARF, cu membrii: Jan Schlüter, Bogdan Ionescu, Ionuț Mironică, Markus Schedl Am obținut locul 1 pentru pentru cel mai bun sistem (din 35 de sisteme propuse)[24] organizare Mediaeval 2013 - secțiunea Diversity Task - membru organizator în echipa formată de: Bogdan Ionescu, Maria Menéndez, Adrian Popescu, Henning Müller, Anca-Livia Radu, Ionuț Mironică și Bogdan Boteanu
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
04/15/23
IV. Lista de lucrări originale
52
Citări - 1 citare într-o revistă ISI (MTAP)
- 5 citări în conferințe internaționale de prestigiu (ACM MM, CBMI, MMSys, ICASSP )
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
V. Concluzii și direcții de dezvoltare
53
Direcții de dezvoltare - extinderea reprezentării „Fisher kernel” către alte modalități - (text) prin crearea de metrici bazate pe ontologii semantice - puncte de interes de mișcare
-îmbunătățirea performanței sistemelor multimodale prin utilizarea de algoritmi de reducere a dimensionalității
-implementarea algoritmilor de relevance feedback pentru baze de date de dimensiuni foarte mari (large scale)
Contribuții principale - propunere de algoritmi pentru indexarea conținutului multimedia (baze de date de imagini și video)
- algoritmi de relevance feedback
- particularizarea conceptelor pentru diferite probleme de aplicație
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
54
Intrebări?
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
55
Vă mulţumesc!