Post on 23-May-2020
Apprentissage interactif et multi-classes pour ladétection de concepts sémantiques dans des
données multimédiaDirigée par Philippe-Henri Gosselin et Frédéric Precioso
Alexis Lechervy
6 décembre 2012
Introduction Apprentissage automatique
La recherche de données multimédia
UtilisateursBase de données
Système d’indexation
Comment aider les utilisateurs à traiter des bases de données toujours plus vastes ?
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 1 / 66
Introduction Le fossé sémantique/numérique
Le fossé numérique/sémantique
Sémantique Numérique
Textures
Couleurs
Avion
PhotoLe voyage
Moteur de recherche
Défi : Combler le fossé sémantique/numérique entre les concepts sémantiques del’utilisateur et la représentation numérique des images ?
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 2 / 66
Introduction Le fossé sémantique/numérique
Résumé
1 Une méthode de recherche interactive par Boosting
2 Boosting pour la construction de fonction noyau
3 Conclusion générale et Perspectives
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 2 / 66
Une méthode de recherche interactive par Boosting
Plan
1 Une méthode de recherche interactive par Boosting⊲ Présentation de la recherche interactive⊲ Une introduction au Boosting⊲ Boosting actif pour la recherche interactive d’objets⊲ Expériences
2 Boosting pour la construction de fonction noyau
3 Conclusion générale et Perspectives
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 2 / 66
Une méthode de recherche interactive par Boosting Présentation de la recherche interactive
Plan
1 Une méthode de recherche interactive par Boosting⊲
Présentation de la recherche interactive⊲ Une introduction au Boosting⊲
Boosting actif pour la recherche interactive d’objets⊲ Expériences
2 Boosting pour la construction de fonction noyau
3 Conclusion générale et Perspectives
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 2 / 66
Une méthode de recherche interactive par Boosting Présentation de la recherche interactive
La recherche interactive
Objectif : Réduire le fossé sémantique/numérique.Solution : Établir un dialogue entre l’utilisateur et le système.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 3 / 66
Une méthode de recherche interactive par Boosting Présentation de la recherche interactive
Exemple de recherche interactive
Base d’images à l’état initial
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 4 / 66
Une méthode de recherche interactive par Boosting Présentation de la recherche interactive
Exemple de recherche interactive
Premières annotations (carré vert= positif, carré rouge= négatif)
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 4 / 66
Une méthode de recherche interactive par Boosting Présentation de la recherche interactive
Exemple de recherche interactive
Premier classement
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 4 / 66
Une méthode de recherche interactive par Boosting Présentation de la recherche interactive
Exemple de recherche interactive
Sélection par stratégie active de nouveaux exemples
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 4 / 66
Une méthode de recherche interactive par Boosting Présentation de la recherche interactive
Exemple de recherche interactive
Deuxième passe d’annotation
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 4 / 66
Une méthode de recherche interactive par Boosting Présentation de la recherche interactive
Exemple de recherche interactive
Classement suivant
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 4 / 66
Une méthode de recherche interactive par Boosting Une introduction au Boosting
Plan
1 Une méthode de recherche interactive par Boosting⊲
Présentation de la recherche interactive⊲ Une introduction au Boosting⊲
Boosting actif pour la recherche interactive d’objets⊲ Expériences
2 Boosting pour la construction de fonction noyau
3 Conclusion générale et Perspectives
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 4 / 66
Une méthode de recherche interactive par Boosting Une introduction au Boosting
Boosting
Observations :Il est “simple” de construire une règle meilleure qu’un processusaléatoire
SI un objet est dans le ciel ALORS c’est un avion
Il est “difficile” de construire une règle ne commettant pas d’erreur
=⇒ Peut-on construire un classifieur fort en combinant des règlessimples ?
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 5 / 66
Une méthode de recherche interactive par Boosting Une introduction au Boosting
Boosting
BoostingUtilise un ensemble de règles faibles pour construire une règleplus forte
Pour chaque itération, on cherche à améliorer la classificationdes exemples les moins bien classés.
Un algorithme de Boosting utilise généralement beaucoupd’exemples d’apprentissage.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 5 / 66
Une méthode de recherche interactive par Boosting Une introduction au Boosting
Un algorithme de Boosting pour le tri :RankBoost
ButsRéalise une classification avec tri de l’ensemble des images parscore de pertinence.
Trouver les classifieurs qui maximisent la différence entre lesscores des exemples positifs et des exemples négatifs.
score
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 6 / 66
Une méthode de recherche interactive par Boosting Une introduction au Boosting
Algorithme RankBoost [Freund 2003]
AlgorithmePour t = 1 · · · T faire :
1 Calculer le score pondéré des classifieurs h,
rt(h) =∑
xp ,xn
Dt (xp, xn)(h(xp)− h(xn))
2 Récupérer le classifieur faible maximisant ce score
3 Choisir α = 12 ln
(
1+r1−r
)
4 Mettre à jour la pondération des couples d’exemples
Dt+1(xp, xn) =Dt (xp, xn)exp(αt (ht (xn)− ht (xp)))
Zt
Résultat :
H =
T∑
t=1
αt ht(x)
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 7 / 66
Une méthode de recherche interactive par Boosting Une introduction au Boosting
Bilan sur la recherche interactive et leBoosting
La recherche interactiveProtocole de recherche d’image permettant de mieux prendre encompte le fossé sémantique/numérique.
Permet une annotation plus efficace et pour moinsd’exemples.
Le BoostingUne méthode d’apprentissage par combinaison de classifieursfaibles.
Utilise un ensemble de règles de classification.
=⇒ Créer une méthode de Boosting interactive.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 8 / 66
Une méthode de recherche interactive par Boosting Active Boosting
Plan
1 Une méthode de recherche interactive par Boosting⊲
Présentation de la recherche interactive⊲ Une introduction au Boosting⊲
Boosting actif pour la recherche interactive d’objets⊲ Expériences
2 Boosting pour la construction de fonction noyau
3 Conclusion générale et Perspectives
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 8 / 66
Une méthode de recherche interactive par Boosting Active Boosting
Un Algorithme de Boosting pour larecherche interactive
Notre algorithmeCréation des classifieursfaibles à partir descaractéristiques visuelles desimages positives.
Une première boucle réaliséepar le processus interactif.
Une deuxième boucleréalisée par un algorithme deBoosting.
Exemples non annotés
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 9 / 66
Une méthode de recherche interactive par Boosting Active Boosting
Un Algorithme de Boosting pour larecherche interactive
Notre algorithmeCréation des classifieursfaibles à partir descaractéristiques visuelles desimages positives.
Une première boucle réaliséepar le processus interactif.
Une deuxième boucleréalisée par un algorithme deBoosting.
Exemples non annotés
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 9 / 66
Une méthode de recherche interactive par Boosting Active Boosting
Un Algorithme de Boosting pour larecherche interactive
Notre algorithmeCréation des classifieursfaibles à partir descaractéristiques visuelles desimages positives.
Une première boucle réaliséepar le processus interactif.
Une deuxième boucleréalisée par un algorithme deBoosting.
Exemples non annotés
Construire
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 9 / 66
Une méthode de recherche interactive par Boosting Active Boosting
Un Algorithme de Boosting pour larecherche interactive
Notre algorithmeCréation des classifieursfaibles à partir descaractéristiques visuelles desimages positives.
Une première boucle réaliséepar le processus interactif.
Une deuxième boucleréalisée par un algorithme deBoosting.
Classifieur Fort
Exemples non annotés
Construire
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 9 / 66
Une méthode de recherche interactive par Boosting Active Boosting
Un Algorithme de Boosting pour larecherche interactive
Notre algorithmeCréation des classifieursfaibles à partir descaractéristiques visuelles desimages positives.
Une première boucle réaliséepar le processus interactif.
Une deuxième boucleréalisée par un algorithme deBoosting.
Classifieur Fort
Exemples non annotés
Construire
Bouclage de pertinence
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 9 / 66
Une méthode de recherche interactive par Boosting Active Boosting
Stratégie d’apprentissage active
Stratégie d’apprentissage activeA chaque itération, la méthode active sélectionne les images xi nonannotées les plus "pertinentes" selon le critère suivant :
x∗i = arg max
xi
(
maxh∈Hxi
r0(h)
)
,
avec Hxil’ensemble des classifieurs générés à partir de l’image xi et
r0(h) le critère de sélection des classifieurs faibles du rankboostcalculés à la première boucle de cet algorithme.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 10 / 66
Une méthode de recherche interactive par Boosting Active Boosting
Les classifieurs faibles proposés
Les classifieurs faiblesLes classifieurs sont créés à partir des caractéristiques desimages positives.
Ils comparent un histogramme de référence à un histogrammedans l’image à tester à l’aide d’une distance d du χ1.
Classifieur de type 11− d(histoρm(xi ), histoρm(xj ))
Exemple : la région ρ12356
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 11 / 66
Une méthode de recherche interactive par Boosting Active Boosting
Les classifieurs faibles proposés
Les classifieurs faiblesLes classifieurs sont créés à partir des caractéristiques desimages positives.
Ils comparent un histogramme de référence à un histogrammedans l’image à tester à l’aide d’une distance d du χ1.
Classifieur de type 21−minzm′ ∈zones d(histozm(xi ), histozm′ (xj))
Exemple : la zone z3
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 12 / 66
Une méthode de recherche interactive par Boosting Active Boosting
Les classifieurs faibles proposés
Les classifieurs faiblesLes classifieurs sont créés à partir des caractéristiques desimages positives.
Ils comparent un histogramme de référence à un histogrammedans l’image à tester à l’aide d’une distance d du χ1.
Classifieur de type 21−minzm′ ∈zones d(histozm(xi ), histozm′ (xj))
Exemple : la zone z3
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 12 / 66
Une méthode de recherche interactive par Boosting Active Boosting
Les classifieurs faibles proposés
Les classifieurs faiblesLes classifieurs sont créés à partir des caractéristiques desimages positives.
Ils comparent un histogramme de référence à un histogrammedans l’image à tester à l’aide d’une distance d du χ1.
Classifieur de type 21−minzm′ ∈zones d(histozm(xi ), histozm′ (xj))
Exemple : la zone z3
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 12 / 66
Une méthode de recherche interactive par Boosting Active Boosting
Les classifieurs faibles proposés
Les classifieurs faiblesLes classifieurs sont créés à partir des caractéristiques desimages positives.
Ils comparent un histogramme de référence à un histogrammedans l’image à tester à l’aide d’une distance d du χ1.
Classifieur de type 21−minzm′ ∈zones d(histozm(xi ), histozm′ (xj))
Exemple : la zone z3
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 12 / 66
Une méthode de recherche interactive par Boosting Active Boosting
Les classifieurs faibles proposés
Les classifieurs faiblesLes classifieurs sont créés à partir des caractéristiques desimages positives.
Ils comparent un histogramme de référence à un histogrammedans l’image à tester à l’aide d’une distance d du χ1.
Classifieur de type 21−minzm′ ∈zones d(histozm(xi ), histozm′ (xj))
Exemple : la zone z3
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 12 / 66
Une méthode de recherche interactive par Boosting Active Boosting
Les classifieurs faibles proposés
Les classifieurs faiblesLes classifieurs sont créés à partir des caractéristiques desimages positives.
Ils comparent un histogramme de référence à un histogrammedans l’image à tester à l’aide d’une distance d du χ1.
Classifieur de type 21−minzm′ ∈zones d(histozm(xi ), histozm′ (xj))
Exemple : la zone z3
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 12 / 66
Une méthode de recherche interactive par Boosting Active Boosting
Les classifieurs faibles proposés
Les classifieurs faiblesLes classifieurs sont créés à partir des caractéristiques desimages positives.
Ils comparent un histogramme de référence à un histogrammedans l’image à tester à l’aide d’une distance d du χ1.
Classifieur de type 21−minzm′ ∈zones d(histozm(xi ), histozm′ (xj))
Exemple : la zone z3
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 12 / 66
Une méthode de recherche interactive par Boosting Active Boosting
Les classifieurs faibles proposés
Les classifieurs faiblesLes classifieurs sont créés à partir des caractéristiques desimages positives.
Ils comparent un histogramme de référence à un histogrammedans l’image à tester à l’aide d’une distance d du χ1.
Classifieur de type 21−minzm′ ∈zones d(histozm(xi ), histozm′ (xj))
Exemple : la zone z3
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 12 / 66
Une méthode de recherche interactive par Boosting Active Boosting
Les classifieurs faibles proposés
Les classifieurs faiblesLes classifieurs sont créés à partir des caractéristiques desimages positives.
Ils comparent un histogramme de référence à un histogrammedans l’image à tester à l’aide d’une distance d du χ1.
Classifieur de type 21−minzm′ ∈zones d(histozm(xi ), histozm′ (xj))
Exemple : la zone z3
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 12 / 66
Une méthode de recherche interactive par Boosting Expériences
Plan
1 Une méthode de recherche interactive par Boosting⊲
Présentation de la recherche interactive⊲ Une introduction au Boosting⊲
Boosting actif pour la recherche interactive d’objets⊲ Expériences
2 Boosting pour la construction de fonction noyau
3 Conclusion générale et Perspectives
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 12 / 66
Une méthode de recherche interactive par Boosting Expériences
Exemples d’image de la base VOC 2006
Bus Chat Cheval Chien Moto
Mouton Personne Vache Vélo Voiture
FIGURE: Les 10 catégories de Voc 2006 (5304 images,9507 annotations).
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 13 / 66
Une méthode de recherche interactive par Boosting Expériences
Expériences et résultats
FIGURE: Précision moyenne en % sur VOC 2006. En bleu notre algorithme,en rouge un SVM avec méthode active.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 14 / 66
Une méthode de recherche interactive par Boosting Expériences
Conclusions et perspectives
ConclusionsNous avons mis en place un nouvel algorithme de Boostingdans un contexte de recherche interactif.
Les classifieurs faibles sont issus des images annotéespositivement.
Notre méthode nécessite peu d’exemples d’apprentissage.
Les performances de classification sont meilleures que lesapproches concurrentes par SVM.
Perspectives
Étudier d’autre classifieurs faibles construits à partir des imagespositives.
Trouver une méthode active moins coûteuse en temps de calcul.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 15 / 66
Boosted Kernel
Plan
1 Une méthode de recherche interactive par Boosting
2 Boosting pour la construction de fonction noyau⊲ La classification par hyperplan⊲ Une nouvelle méthode de Boosting⊲ Calcul de la pondération optimale⊲ Calcul du noyau cible⊲ Expériences
3 Conclusion générale et Perspectives
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 15 / 66
Boosted Kernel La classification par hyperplan
Plan
1 Une méthode de recherche interactive par Boosting
2 Boosting pour la construction de fonction noyau⊲ La classification par hyperplan⊲
Une nouvelle méthode de Boosting⊲
Calcul de la pondération optimale⊲ Calcul du noyau cible⊲ Expériences
3 Conclusion générale et Perspectives
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 15 / 66
Boosted Kernel La classification par hyperplan
La Classification par hyperplan
ObjectifSéparer les exemples d’apprentissage en deux ensembles à l’aided’un hyperplan.
ProblèmeCertains espaces ne sont pas linéairement séparables.
SolutionChanger l’espace de représentation en utilisant une fonction noyau.Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 16 / 66
Boosted Kernel La classification par hyperplan
Les fonctions noyaux
Changement d’espace et mesure de similarité
Un changement d’espaceφ : X −→ H
x 7−→ φ(x)
Une fonction noyau est une mesure de similarité dans un nouvel
espace :k : X × X −→ R
x1, x2 7−→ k(x1, x2) = 〈φ(x1), φ(x2)〉Astuce du noyau : Un algorithme utilisant un produit scalaire peut être"noyauté" en remplaçant tous ces produits scalaires par une fonctionnoyau.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 17 / 66
Boosted Kernel La classification par hyperplan
Comment choisir/construire la fonctionnoyau ?
Utiliser une forme connueNoyau linéaire : k(xi , xj) = 〈xi , xj 〉.Noyaux polynomiaux : k(xi , xj) = (〈xi , xj 〉+ c)q , avec c ∈ R etq ∈ R
+.
Noyaux triangulaires : k(xi , xj) = 1− ‖xi − xj‖2σ2 , σ ∈ R
+.
Noyaux Gaussiens : k(xi , xj) = e−‖xi − xj‖2
2σ2 , σ ∈ R+.
Combiner un ensemble de fonctions noyaux pour en construireune nouvelle
Les approches de type Multiple Kernel Learning (MKL).
Les approches par Boosting.Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 18 / 66
Boosted Kernel La classification par hyperplan
Problématique des approches par MKL
ObjectifsA partir d’un ensemble de fonctions noyaux simples {k1, · · · , kp}construire une nouvelle fonction noyau k par combinaisonlinéaire :
k(x1, x2) =∑
i
βiki(x1, x2),∀i βi > 0. (1)
Calculer l’hyperplan permettant de séparer les donnéesd’apprentissage :
f (x) =∑
j
αjyjk(x , xj ),∀i αj > 0. (2)
RemarqueLa combinaison linéaire de noyaux⇐⇒ concaténation desous-espaces de descripteurs.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 19 / 66
Boosted Kernel La classification par hyperplan
Multiple Kernel Learning (MKL) [Bach etal., 2004]
Une approche populaire de combinaison de noyauxOptimisation jointe de la meilleure combinaison de noyaux et del’hyperplan d’un SVM.
Plusieurs solutions ont été proposées pour résoudre ce problèmed’optimisation.
InconvénientsNon adaptée à un nombre important de noyaux et d’images.
L’ensemble des fonctions noyaux possibles est pré-établi.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 20 / 66
Boosted Kernel La classification par hyperplan
Une autre approche en deux étapes[Cortes et al., 2010]
PrincipeOptimisation en deux temps. On maximise l’alignement avec unnoyau cible puis on calcule l’hyperplan optimal dans le nouvelespace.
Réduit le sur-apprentissage de l’espace de représentation.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 21 / 66
Boosted Kernel La classification par hyperplan
Une autre approche en deux étapes[Cortes et al., 2010]
InconvénientsComplexité sur-linéaire.
L’ensemble des fonctions noyaux possibles est pré-établi.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 21 / 66
Boosted Kernel La classification par hyperplan
Combinaison de noyaux et Boosting
L’approche de [Crammer et al. 2002]Les exemples d’apprentissage sont remplacés par des couplesd’images Xij = (xi , xj ).
Les classifieurs faibles correspondent aux fonctions noyauxkt(Xij) = kt(xi , xj ).
Utilisation d’un algorithme de Boosting classique avec cesfonctions et exemples.
AvantagesLes noyaux ne sont pas pré-établis.
InconvénientsComplexité quadratique.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 22 / 66
Boosted Kernel La classification par hyperplan
Combinaison de noyaux et Boosting
L’approche de [Gehler et al. 2009]un SVM est appliqué à l’ensemble des fonctions noyauxdisponibles
on utilise ensuite un algorithme de Boosting sur les fonctions ainsiformées.
les deux étapes de l’approche de [Cortes et al. 2010] sontinversées
AvantagesTemps de calcul linéaire.
Cette approche montre que le Boosting et les méthodes de MKLen deux temps sont des approches similaires où le calcul del’hyperplan est réalisé dans un nouvel espace issu de laconcaténation de plusieurs sous-espaces.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 23 / 66
Boosted Kernel La classification par hyperplan
Combinaison de noyaux et Boosting
L’approche de [Gehler et al. 2009]un SVM est appliqué à l’ensemble des fonctions noyauxdisponibles
on utilise ensuite un algorithme de Boosting sur les fonctions ainsiformées.
les deux étapes de l’approche de [Cortes et al. 2010] sontinversées
InconvénientsL’ensemble des fonctions noyaux possibles est pré-établi.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 23 / 66
Boosted Kernel La classification par hyperplan
Bilan des méthodes de combinaisons denoyaux
BilanPlusieurs approches de résolution sont proposées dans lalittérature.
La résolution des problèmes d’optimisation est réalisée soitconjointement, soit en deux temps.
Le coût calculatoire est généralement important.
Les fonctions noyaux sélectionnables sont généralementpré-établies.
=⇒ Comment construire une nouvelle fonction noyau avec un coûtcalculatoire linéaire en utilisant des fonctions noyaux apprises à lavolée ?
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 24 / 66
Boosted Kernel Une nouvelle méthode de Boosting
Plan
1 Une méthode de recherche interactive par Boosting
2 Boosting pour la construction de fonction noyau⊲ La classification par hyperplan⊲
Une nouvelle méthode de Boosting⊲
Calcul de la pondération optimale⊲ Calcul du noyau cible⊲ Expériences
3 Conclusion générale et Perspectives
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 24 / 66
Boosted Kernel Une nouvelle méthode de Boosting
Notre approche de Boosting
Notre approche interactive de construction de noyau fort1 Un ensemble d’exemples (x1, y1), ..., (xN , yN) avec les labels
yi ∈ {−1, 1}c2 Pour t = 1, ..., T faire
Construire et sélectionner un noyau faibleChoisir un poids pour ce noyauAjouter ce noyau à la combinaison de noyau
3 Le classifieur fort final : une somme pondérée des noyauxsélectionnés
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 25 / 66
Boosted Kernel Une nouvelle méthode de Boosting
Objectifs de notre approche.
Objectifs de notre méthodeUtiliser une approche itérative pour déterminer une combinaisonde noyaux.
Définir les fonctions noyaux au cours des itérations.
Réaliser chaque itération en un temps linéaire en nombred’images.
Objectifs d’une itération t
Construire un noyau fort itérativement.
Kt = Kt−1 + βtkt . (3)
Construction à l’aide de la résolution du problème d’optimisation{βt , kt} = arg max
β>0,k
AH(Kt + βk, K⋆). (4)
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 26 / 66
Boosted Kernel Une nouvelle méthode de Boosting
Critère de sélection des fonctions noyaux
L’alignement centré entre les noyaux K et K⋆
AH(K, K⋆) =〈K, K
⋆〉‖K‖‖K⋆‖
,
avec K = HKH et la matrice de centrage H = Id− 1n11⊤,
〈�〉 et ‖ � ‖ sont les produits scalaires et normes de Frobenius.
L’alignement centré entre ces deux matrices représentant une
classification binaire est de 0.3333.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 27 / 66
Boosted Kernel Une nouvelle méthode de Boosting
Le noyau cible K⋆
Une première solution pour la construction d’un noyau cible
La matrice LL⊤,
Avec la matrice L des labels dans un cas multi-classes :
L =
c1 c2 c3 · · · cnbClasses
x1 1 −1 −1 · · · 1...
......
......
...xn 1 1 −1 · · · −1
Avantage de L
La matrice L est bien issue des annotations de l’utilisateur.
Inconvénient de L
La matrice L ne possède pas de bonnes propriétés pour laclassification par hyperplan.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 28 / 66
Boosted Kernel Une nouvelle méthode de Boosting
Le noyau cible K⋆
La matrice cible idéale [Vapnik 1982]L’éclatement optimal d’un ensemble de points en c catégories avecune marge optimale est atteint lorsque les points se répartissentautour des c sommets d’un simplex unitaire de dimensions c − 1centré sur l’origine.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 29 / 66
Boosted Kernel Une nouvelle méthode de Boosting
Le noyau cible K⋆
Une première solution pour la construction d’un noyau cible
La matrice LL⊤,
Avec la matrice L des labels dans un cas multi-classes :
L =
c1 c2 c3 · · · cnbClasses
x1 1 −1 −1 · · · 1...
......
......
...xn 1 1 −1 · · · −1
Propriétés attendues par la matrice cibleles points sont les sommets d’un simplex unitaire d’ordre (c − 1)
le simplex ainsi formé est centré à l’origine.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 30 / 66
Boosted Kernel Une nouvelle méthode de Boosting
La matrice cible K⋆
Notre solution
Centrage : HL avec H = Id− 1n 11⊤.
Orthonormalisation de Gram Schmidt :{Q, R} = décomposition qr(HL).
Sélectionner les colonnes de Q qui correspondent aux élémentsdiagonaux non nuls de la matrice R (QR économique).
Noyau Cible : K⋆ = QQ⊤.
Propriétés de la matrice Q
Matrice orthogonale Q⊤Q = Idc .
Matrice centrée HQ = Q.
‖QQ⊤‖ = ‖Q⊤Q‖ =√
c.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 31 / 66
Boosted Kernel Une nouvelle méthode de Boosting
Objectifs d’une itération t
ObjectifsConstruire un noyau fort itérativement.
Kt = Kt−1 + βtkt . (5)
Construction à l’aide de la résolution du problème d’optimisationsuivant :
{βt , kt} = arg maxβ>0,k
AH(Kt + βk, K⋆). (6)
En conséquence=⇒ A chaque itération, on doit trouver une fonction kt et sapondération βt qui augmente l’alignement centré.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 32 / 66
Boosted Kernel Une nouvelle méthode de Boosting
Notre approche de Boosting : une itération
Calculer un noyau cible k⋆t
Construire l’ensembleKt = {les noyaux candidats}
Calculer la pondérationoptimale pour chaque k ∈ Kt
Sélectionner lemeilleur noyau dans Kt
Mettre à jour notrenoyau fort Kt
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 33 / 66
Boosted Kernel Calcul de la pondération optimale
Plan
1 Une méthode de recherche interactive par Boosting
2 Boosting pour la construction de fonction noyau⊲ La classification par hyperplan⊲
Une nouvelle méthode de Boosting⊲
Calcul de la pondération optimale⊲ Calcul du noyau cible⊲ Expériences
3 Conclusion générale et Perspectives
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 33 / 66
Boosted Kernel Calcul de la pondération optimale
Une itération de notre algorithme
Calculer un noyau cible k⋆t
Construire l’ensembleKt = {les noyaux candidats}
Calculer la pondérationoptimale pour chaque k ∈ Kt
Sélectionner lemeilleur noyau dans Kt
Mettre à jour notrenoyau fort Kt
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 34 / 66
Boosted Kernel Calcul de la pondération optimale
Calcul de la pondération optimale β⋆
Le problème d’optimisation
β⋆(k) = arg maxβ>0
AH(Kt−1 + βk, K⋆).
Une solution analytique
β⋆ =‖Kt−1‖‖k‖
α−AH(K, k)1− αAH(K, k)
with α =AH(k, K⋆)
AH(Kt−1, K⋆).
En outre, si β⋆ 6= 0 l’alignement est augmenté :
AH(Kt−1 + β⋆k, K⋆) > AH(Kt−1, K⋆).
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 35 / 66
Boosted Kernel Calcul de la pondération optimale
Une itération de notre algorithme
Calculer un noyau cible k⋆t
Construire l’ensembleKt = {les noyaux candidats}
Calculer la pondérationoptimale pour chaque k ∈ Kt
Une solution analytique
Sélectionner lemeilleur noyau dans Kt
Mettre à jour notrenoyau fort Kt
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 36 / 66
Boosted Kernel Calcul de la pondération optimale
Une itération de notre algorithme
Calculer un noyau cible k⋆t
Construire l’ensembleKt = {les noyaux candidats}
Calculer la pondérationoptimale pour chaque k ∈ Kt
Sélectionner lemeilleur noyau dans Kt
Maximiser l’alignement
{βt , kt} = arg maxβ>0,k∈Kt
AH(Kt + βk, K⋆).Mettre à jour notre
noyau fort Kt
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 37 / 66
Boosted Kernel Calcul de la pondération optimale
Une itération de notre algorithme
Calculer un noyau cible k⋆t
Construire l’ensembleKt = {les noyaux candidats}
Calculer la pondérationoptimale pour chaque k ∈ Kt
Sélectionner lemeilleur noyau dans Kt
Mettre à jour notrenoyau fort Kt
Kt+1 ←− Kt + βtkt .
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 38 / 66
Boosted Kernel Calcul de la pondération optimale
Une itération de notre algorithme
Calculer un noyau cible k⋆t
Construire l’ensembleKt = {les noyaux candidats}
Calculer la pondérationoptimale pour chaque k ∈ Kt
Sélectionner lemeilleur noyau dans Kt
Mettre à jour notrenoyau fort Kt
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 39 / 66
Boosted Kernel Calcul du noyau cible
Plan
1 Une méthode de recherche interactive par Boosting
2 Boosting pour la construction de fonction noyau⊲ La classification par hyperplan⊲
Une nouvelle méthode de Boosting⊲
Calcul de la pondération optimale⊲ Calcul du noyau cible⊲ Expériences
3 Conclusion générale et Perspectives
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 39 / 66
Boosted Kernel Calcul du noyau cible
Deux points importants
Notre méthode est itérativeNous construisons un noyau fort itérativement. Pour chaque étape,nous ajoutons un noyau de rang 1 à notre noyau fort.
Kt = Kt−1 + βtkt
Dualité noyau/descripteur sémantiqueAjouter un noyau faible de rang 1 est équivalent à ajouter unenouvelle dimension à une matrice de descripteur sémantique :
Kt = Kt−1 + βtkt ⇐⇒ Ft = (Ft−1 β12t ft).
Nous avons : Kt = FtF⊤t .
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 40 / 66
Boosted Kernel Calcul du noyau cible
Retour sur la formulation dans le primal
Le descripteur sémantiqueFormulation :
Kt = FtF⊤t .
Interprétation :
Ft =
f1 f2 f3 · · · ftx1 0.1 −0.5 −0.3 · · · 0.9
......
......
......
xn 0.2 0.4 −0.1 · · · −0.4
L’image x1 est décrite par le descripteur sémantique[
0.1 − 0.5 − 0.3 · · · 0.9]
.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 41 / 66
Boosted Kernel Calcul du noyau cible
Retour sur la formulation dans le primal
L’espace cibleFormulation :
K⋆ = QQ⊤.
Interprétation :
Q =
q1 q2 q3 · · · qt
x1 1 −1 −1 · · · 1...
......
......
...xn 1 1 −1 · · · −1
L’image x1 appartient aux classes[
1 − 1 − 1 · · · 1]
.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 42 / 66
Boosted Kernel Calcul du noyau cible
La méthode que nous proposons
Le problème d’optimisation pour chaque étape du Boosting écrit avec lafonction noyau
{βt , kt} = arg maxβ>0,k
AH(Kt + βk, K⋆).
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 43 / 66
Boosted Kernel Calcul du noyau cible
La méthode que nous proposons
Le problème d’optimisation pour chaque étape du Boosting écrit avec lafonction noyau
{βt , kt} = arg maxβ>0,k
AH(Kt + βk, K⋆).
Le problème d’optimisation pour chaque étape du Boosting écrit dansl’espace sémantique
{βt , ft} = arg maxβ>0,f
AH(FtF⊤t + βff⊤, K⋆).
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 43 / 66
Boosted Kernel Calcul du noyau cible
La méthode que nous proposons
Le problème d’optimisation pour chaque étape du Boosting écrit avec lafonction noyau
{βt , kt} = arg maxβ>0,k
AH(Kt + βk, K⋆).
Le problème d’optimisation pour chaque étape du Boosting écrit dansl’espace sémantique
{βt , ft} = arg maxβ>0,f
AH(FtF⊤t + βff⊤, K⋆).
En conséquence=⇒ Trouver une caractéristique sémantique f et sa pondération β quiaugmente l’alignement centré.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 43 / 66
Boosted Kernel Calcul du noyau cible
Notre méthode
Calculer un noyau cible k⋆t
Construire l’ensembleKt des candidats
Calculer la pondérationoptimale pour chaque k ∈ Kt
Sélectionner lemeilleur noyau dans Kt
Mettre à jour notrenoyau fort Kt
Calculer une caractéris-tique sémantique cible f⋆
t
Construire l’ensembleFt des candidates
Calculer la pondérationoptimale de chaque f ∈ Ft
Sélectionner la meilleurecaractéristique sé-mantique dans Ft
Mettre à jour notre es-pace sémantique fort Ft
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 44 / 66
Boosted Kernel Calcul du noyau cible
Une itération de notre algorithme
Calculer une caractéris-tique sémantique cible f⋆
t
Construire l’ensembleFt des candidates
Calculer la pondérationoptimale de chaque f ∈ Ft
Sélectionner la meilleurecaractéristique sé-mantique dans Ft
Mettre à jour notre es-pace sémantique fort Ft
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 45 / 66
Boosted Kernel Calcul du noyau cible
Une approche avec barycentres
Les barycentresLes barycentres des classes dans l’espace induit par la combinaisoncourante de noyau Kt = FtF⊤
t correspond à :
Gt = Q⊤Ft .
Explications et IdéesChaque ligne de la matrice Gt correspond au barycentre d’uneclasse dans l’espace induit par Ft .
Pour que les centres de classes soient équidistants, il suffit que lamatrice G⋆
t soit telle que G⋆t (G
⋆t )
⊤ est proportionnelle à la matriceidentité Idc .
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 46 / 66
Boosted Kernel Calcul du noyau cible
Calcul de la caractéristique sémantiquecible f⋆
t
Calcul de la caractéristique sémantique cible f⋆
On choisit la caractéristique sémantique f⋆t telle que la position
des barycentres des classes projetés dans l’espace engendré parla fonction se rapprochent le plus d’un barycentre cible g⋆
t .
Solution du problème de régression : f⋆t = arg min
f
‖Q⊤f− g⋆t ‖2,
La solution retenue : f⋆t = Qg⋆
t .
Choix du barycentre cible g⋆t
On fait converger les barycentres des classes vers une positionoptimale itérativement : Gt = [Gt−1, gt ].
La direction idéale d’évolution des barycentres correspond à g⋆t .
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 47 / 66
Boosted Kernel Calcul du noyau cible
Une itération de notre algorithme
Calculer une caractéris-tique sémantique cible f⋆
t
Construire l’ensembleFt des candidates
Calculer la pondérationoptimale de chaque f ∈ Ft
Sélectionner la meilleurecaractéristique sé-mantique dans Ft
Mettre à jour notre es-pace sémantique fort Ft
Calculer les barycentres Gt
Calculer la caractéristiquesémantique optimale f⋆
t
Calculer la direction desprochains barycentres g⋆
t
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 48 / 66
Boosted Kernel Calcul du noyau cible
Évolution des barycentres
Positions optimales des barycentresLa meilleure position des barycentres est suivant un simplex.
Nous voulons donc que GtG⊤t −→ a Idc à un facteur de
normalisation a près.
Approche de résolution
Annuler les plus grandes valeurs propres de GtG⊤t − a Idc les
unes après les autres.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 49 / 66
Boosted Kernel Calcul du noyau cible
Direction d’évolution des barycentres g⋆t
Calcul de g⋆t
Soit
ϕ(Gt) =‖K⋆‖‖Kt‖
arg minλ
{λ ∈ spec(GtG⊤t )},
La direction d’évolution des barycentres correspond au vecteur
g⋆t =
√
1− ϕ(Gt−1)v,
avec v la valeur propre associée au vecteur propre ϕ(Gt).
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 50 / 66
Boosted Kernel Calcul du noyau cible
Justification théorique des choixproposés
Théorème 1 : Lien entre ϕ(Gt) et l’alignement
L’alignement peut être minoré par
0 ≤ ϕ(Gt) ≤ A(Kt , K⋆),
où ϕ(Gt) =‖K⋆‖‖Kt‖
arg minλ
{λ ∈ spec(GtG⊤t )}.
Théorème 2 : f⋆ = Qg⋆ est un bon candidatPour f⋆ = Qg⋆, si AH(Kt−1, K⋆) < 1 alors on a
β⋆t > 0
AH(Kt−1 + β⋆t f⋆
t f⋆⊤t , K⋆) > AH(Kt−1, K⋆)
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 51 / 66
Boosted Kernel Calcul du noyau cible
Une itération de notre algorithme
Calculer une caractéris-tique sémantique cible f⋆
t
Construire l’ensembleFt des candidates
Calculer la pondérationoptimale de chaque f ∈ Ft
Sélectionner la meilleurecaractéristique sé-mantique dans Ft
Mettre à jour notre es-pace sémantique fort Ft
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 52 / 66
Boosted Kernel Calcul du noyau cible
Construction des fonctions f
Construction des fs
On calcule les apprenants faibles sur l’ensemble d’apprentissageXs ⊂ Xs avec une méthode de régression par moindres carrés (LeastMean Square [LMS]) :
fs = arg minw
‖Xsw− f⋆‖2 s.t. ‖w‖2 = 1
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 53 / 66
Boosted Kernel Expériences
Plan
1 Une méthode de recherche interactive par Boosting
2 Boosting pour la construction de fonction noyau⊲ La classification par hyperplan⊲
Une nouvelle méthode de Boosting⊲
Calcul de la pondération optimale⊲ Calcul du noyau cible⊲ Expériences
3 Conclusion générale et Perspectives
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 53 / 66
Boosted Kernel Expériences
Expériences avec des données desynthèse
Données de synthèse
2 classes, 200 exemples par classe (100 pour l’entraînement et 100 pour lestest).
10 descripteurs de 2 dimensions
Pour chaque classe c et chaque descripteur f , un centre Cc, f est tiréaléatoirement suivant une loi uniforme entre [0, 1]2.
Chaque exemple est décrit par 10 descripteurs selon une loi N (Cc,f , 0.5).
Pour la visualisation, nous utilisons une PCA sur Ft et nous sélectionnonsuniquement les deux premières dimensions.
-0.2 -0.1 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8
-0.1
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
-0.2 -0.1 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 54 / 66
Boosted Kernel Expériences
Expériences sur des données de synthèse
t raintest
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
0 20 40 60 80 100 120 140 160 180 200Rounds
Alig
nm
en
t
(a) (b) (c)
FIGURE: Convergence de la méthode vers un 2-simplex régulier pour 3classes après 2 étapes(a) et 45 étapes(b). Évolution de l’alignement pour 10classes(c)
k 1 2 3 4 5 6 7 8 9 10Kawanabe 20 24 16 13 8 6 5 5 4 5
Notre méthode 14 18 11 9 8 7 7 6 5 5
FIGURE: % d’erreur pour un algorithme k-Plus-Proche-Voisin
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 55 / 66
Boosted Kernel Expériences
KernBoost vs la concaténation desdescripteurs
Descripteurs 1 2 3 4 5 6 7 8 9 10 MoyenneLab16 12.4 9.4 24.6 16.0 9.4 11.2 9.0 8.0 27.2 10.9 14.0Lab32 10.7 8.1 45.7 27.1 34.2 15.9 10.0 9.1 27.0 25.6 22.8Lab64 10.0 12.5 47.9 28.5 37.5 19.1 9.9 16.4 31.7 50.3 26.3Lab128 18.7 24.7 46.6 28.8 34.1 20.0 16.0 16.5 33.2 50.0 28.7Qw16 14.0 46.8 55.5 15.1 7.5 14.6 8.3 21.0 25.6 11.2 22.0Qw32 38.5 52.2 60.2 22.2 7.7 15.9 8.9 36.0 36.9 25.6 30.4Qw64 43.0 53.1 63.4 22.0 14.2 18.8 13.2 43.3 37.5 36.2 34.4Qw128 47.9 57.4 65.6 25.8 14.8 20.3 21.6 45.5 33.2 48.6 37.6
Concaténation 52.1 58.2 72.2 37.4 38.5 27.1 26.7 44.4 39.5 56.1 45.3Proposée 52.2 63.1 75.9 43.8 41.6 27.6 27.2 52.7 41.9 56.6 48.3
FIGURE: Précision moyenne (%) sur la base VOC2006, la catégorisationdes images est réalisée en utilisant des SVMs linéaires et différentsdescripteurs.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 56 / 66
Boosted Kernel Expériences
Exemples des catégories de Flowers 102
Iris léopard Eustoma de Russel Bougainvillée Bromelia
Camélia Ancolie Dahlia Orange Gazania
FIGURE: Exemples de catégories de fleurs de la base Flowers 102
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 57 / 66
Boosted Kernel Expériences
Oxford Flowers 17 et Oxford Flowers 102Oxford Flowers 17
17 catégories, 1360 images (80 images de fleurs par catégorie)
3 découpages aléatoires prédéfinischaque découpage est constitué de 3 ensembles :
d’entraînement (40 images par classe)de validation/test (20 images par classe)
7 matrices de distances du χ2
Oxford Flowers 102102 catégories, 8189 images
de 40 à 250 images de fleurs par catégorie
entraînement/validation (10 images par classe)
test (20 images par classe)
4 matrices de distances χ2
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 58 / 66
Boosted Kernel Expériences
Comparaison de notre approche surFlowers 17
16 32 64 128 256 512 1024T≤50 78.24 – – – – – –
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 59 / 66
Boosted Kernel Expériences
Comparaison de notre approche surFlowers 17
16 32 64 128 256 512 1024T≤50 78.24 – – – – – –T≤100 83.73 – – – – – –
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 59 / 66
Boosted Kernel Expériences
Comparaison de notre approche surFlowers 17
16 32 64 128 256 512 1024T≤50 78.24 – – – – – –T≤100 83.73 – – – – – –T≤200 84.12 84.80 85.78 85.88 – – –
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 59 / 66
Boosted Kernel Expériences
Comparaison de notre approche surFlowers 17
16 32 64 128 256 512 1024T≤50 78.24 – – – – – –T≤100 83.73 – – – – – –T≤200 84.12 84.80 85.78 85.88 – – –T≤300 . 84.80 86.27 85.88 86.47 – –
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 59 / 66
Boosted Kernel Expériences
Comparaison de notre approche surFlowers 17
16 32 64 128 256 512 1024T≤50 78.24 – – – – – –T≤100 83.73 – – – – – –T≤200 84.12 84.80 85.78 85.88 – – –T≤300 . 84.80 86.27 85.88 86.47 – –T≤400 . . 86.67 86.27 87.55 – –
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 59 / 66
Boosted Kernel Expériences
Comparaison de notre approche surFlowers 17
16 32 64 128 256 512 1024T≤50 78.24 – – – – – –T≤100 83.73 – – – – – –T≤200 84.12 84.80 85.78 85.88 – – –T≤300 . 84.80 86.27 85.88 86.47 – –T≤400 . . 86.67 86.27 87.55 – –T≤500 . . . 86.47 87.94 88.33 88.33
FIGURE: Taux de classification sur Flowers 17 pour différents nombresd’itérations max et différentes dimensions max des descripteurs visuels
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 59 / 66
Boosted Kernel Expériences
Comparaison avec la littérature surFlowers 17
Méthode RésultatsMKL 87.2 ± 2.7NLP-β 87.9 ± 1.8NLP-νMC 87.8 ± 2.1NLP-B 87.3 ± 2.7MKL-prod 85.5 ± 1.2MKL-avg (l∞) 84.9 ± 1.9CF (l∞) / AKM 86.7 ± 2.7CG-Boost 84.8 ± 2.2MKL (SILP or Simple) 85.2 ± 1.5LP-β 85.5 ± 3.0LP-B 85.4 ± 2.4MKL-FDA (lp) 86.7 ± 1.2Méthode proposée 88.3 ± 1.1
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 60 / 66
Boosted Kernel Expériences
Comparaison avec la littérature surFlowers 102
Méthode RésultatsMKL (Nilsback & Zisserman, 2008) 72.8MKL (Awais et al., 2011) 73.4NLP-β 75.7NLP-νMC 73.4NLP-B 73.6MKL-prod 73.8MKL-avg 73.4Méthode proposées 77.8
FIGURE: Taux de classification sur Flowers 102. Mis à part pour notresolution, les résultats sont extraits de [Awais et al., BMVC 2011].
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 61 / 66
Boosted Kernel Expériences
Conclusions
Nous avons développé une nouvelle méthode de Boosting pourla création de fonction noyau.
Notre approche ne nécessite pas le calcul explicite de la fonctionnoyau.
La solution proposée est linéaire en fonction du nombred’exemple d’apprentissage.
La combinaison est réalisée à l’aide de fonctions noyaux qui nesont pas pré-établies.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 62 / 66
Conclusion générale et Perspectives
Plan
1 Une méthode de recherche interactive par Boosting
2 Boosting pour la construction de fonction noyau
3 Conclusion générale et Perspectives
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 62 / 66
Conclusion générale et Perspectives
Conclusion générale
Nous avons développé une nouvelle méthode de Boostinginteractive.
Nous avons développé une nouvelle méthode de constructionde noyau par Boosting.
Cette méthode se déroule en deux étapes : la construction d’unnouvel espace de description des données puis l’utilisation d’unclassifieur SVM
La solution proposée est linéaire en fonction du nombred’exemples d’apprentissage.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 63 / 66
Conclusion générale et Perspectives
Perspectives
A court termeTester nos approches sur des bases d’images plus grandes.
Étendre notre approche à la vidéo.
Utiliser d’autres classifieurs faibles ou d’autres critères decomparaison des noyaux.
A moyen termeFusionner les deux approches proposées dans cette thèse pourobtenir une méthode interactive de construction d’une fonctionnoyau.
Descendre au niveau des descripteurs et apprendre égalementles dictionnaires visuels au cours des itérations de l’algorithme deBoosting.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 64 / 66
Conclusion générale et Perspectives
Perspectives
A moyen terme (suite)Utiliser d’autres matrices cibles notamment des matrices issuesd’un apprentissage collaboratif.
L =
s1 s2 s3 · · · snbSession
x1 1 −1 −1 · · · 1...
......
......
...xn 0 1 0 · · · −1
Réduire la complexité en passant à des solutions sous-linéaire enutilisant des approximations de l’alignement.
A long termeApprendre à mieux décrire les images pour favoriser laclassification et réduire le fossé entre sémantique et numérique.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 65 / 66
Conclusion générale et Perspectives
Publications
PubliésBoosting actif pour la recherche interactive d’images, A.Lechervy,P-H. Gosselin et F.Precioso, RFIA 2010
Active Boosting for interactive object retrieval, A.Lechervy, P-H.Gosselin and F.Precioso, ICPR 2010
Linear kernel combination using boosting, A.Lechervy, P-H.Gosselin and F.Precioso, ESANN 2012
Boosting kernel combination for multi-class image categorization,A.Lechervy, P-H. Gosselin and F.Precioso, ICIP 2012
AcceptéBoosted Kernel for Image Categorization, A.Lechervy, P-H.Gosselin and F.Precioso, accepté à MTAP 2012
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 66 / 66
Conclusion générale et Perspectives
Merci pour votre attention.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 66 / 66
Complexité linaire : Calcul de la fonctioncible : f⋆
Calculer une fonction cible f⋆
Construire l’ensembleFt des candidates
Calculer la pondérationoptimale de chaque f ∈ Ft
Sélectionner la meilleurefonction dans Ft
Mettre à jour notre es-pace sémantique fort Ft
1. Calcul de la matrice debarycentres
GtG⊤
t = Gt−1G⊤
t−1 + β⋆gt g⊤
t .
O(c2).
2. Calcul de la décompositionspectrale
Gt−1G⊤
t−1 = VΛV⊤.
La décomposition spectrale complètede cette matrice a une complexité enO(c3), mais en ne considérant que lespremières valeurs de la décomposition,la complexité devient O(c2).
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 67 / 66
Complexité linaire : Calcul de la fonctioncible : f⋆
Calculer une fonction cible f⋆
Construire l’ensembleFt des candidates
Calculer la pondérationoptimale de chaque f ∈ Ft
Sélectionner la meilleurefonction dans Ft
Mettre à jour notre es-pace sémantique fort Ft
3. Calcul des nouveaux barycentres
g⋆ =
√
1− λ‖K⋆‖‖Kt−1‖
v,
‖K⋆‖ =√
c −→ O(1).‖Kt−1‖ −→ O(nt).
4.Calcul de la fonction faible cible
f⋆ = Qg⋆,
O(nc).
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 68 / 66
Complexité linéaire : Construction del’ensemble Ft des candidates
Calculer une fonction cible f⋆
Construire l’ensembleFt des candidates
Calculer la pondérationoptimale de chaque f ∈ Ft
Sélectionner la meilleurefonction dans Ft
Mettre à jour notre es-pace sémantique fort Ft
Construction des apprenantsfaibles
Les LMS sur l’ensembled’apprentissage ont unecomplexité en O(nd), avec d ladimension des descripteursvisuels.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 69 / 66
Complexité linéaire : Calcul deβ⋆(f) ∀f ∈ Ft
Calculer une fonction cible f⋆
Construire l’ensembleFt des candidates
Calculer la pondérationoptimale de chaque f ∈ Ft
Sélectionner la meilleurefonction dans Ft
Mettre à jour notre es-pace sémantique fort Ft
Compute β⋆(f )
β⋆ =‖Kt−1‖2〈k, K
⋆
〉 − 〈Kt−1, k〉〈Kt−1, K⋆
〉
‖k‖2〈Kt−1, K⋆
〉 − 〈Kt−1, k〉〈k, K⋆
〉.
=⇒ nous avons besoin deseulement ‖K⋆‖, ‖ff⊤‖,〈ff⊤, Kt−1〉, 〈ff⊤, K⋆〉, 〈Kt−1, K⋆〉et ‖Kt−1‖.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 70 / 66
Complexité linéaire : Calcul de ‖K⋆‖, ‖ff⊤‖,〈ff⊤, Kt−1〉, 〈ff⊤, K⋆〉, 〈Kt−1, K⋆〉 et ‖Kt−1‖
Calculer une fonction cible f⋆
Construire l’ensembleFt des candidates
Calculer la pondérationoptimale de chaque f ∈ Ft
Sélectionner la meilleurefonction dans Ft
Mettre à jour notre es-pace sémantique fort Ft
‖K⋆‖ et ‖ff⊤‖‖K⋆‖ =
√c → O(1).
‖ff⊤‖ = ‖f−mean(f)‖2→ O(n).
〈ff⊤, Kt−1〉 et 〈ff⊤, K⋆〉
〈ff⊤, K⋆〉 = ‖f⊤Q‖2 → O(nc).
〈ff⊤, Kt−1〉 =‖(f−mean(f))⊤Ft−1‖2
→ O(nt).
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 71 / 66
Complexité linéaire : Calcul de ‖K⋆‖, ‖ff⊤‖,〈ff⊤, Kt−1〉, 〈ff⊤, K⋆〉, 〈Kt−1, K⋆〉 et ‖Kt−1‖
Calculer une fonction cible f⋆
Construire l’ensembleFt des candidates
Calculer la pondérationoptimale de chaque f ∈ Ft
Sélectionner la meilleurefonction dans Ft
Mettre à jour notre es-pace sémantique fort Ft
〈Kt−1, K⋆〉 et ‖Kt−1‖〈Kt , K⋆〉 =〈Kt−1, K⋆〉+ β⋆〈ff⊤, K⋆〉→ O(1).‖Kt‖2 = ‖Kt−1‖2 + ‖ff⊤‖2 +2β⋆〈Kt−1, ff⊤〉→ O(1).
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 72 / 66
Complexité linéaire : Sélection ducandidat f qui maximise l’alignement
Calculer une fonction cible f⋆
Construire l’ensembleFt des candidates
Calculer la pondérationoptimale de chaque f ∈ Ft
Sélectionner la meilleurefonction dans Ft
Mettre à jour notre es-pace sémantique fort Ft
Calcul de l’alignement
AH(Kt−1 + β⋆k, K⋆) =
〈Kt−1, K⋆〉+ β⋆〈k, K
⋆〉‖K⋆‖‖Kt‖
.
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 73 / 66
Complexité linaire : Mise à jour deFt = (Ft−1
√βt ft)
Calculer une fonction cible f⋆
Construire l’ensembleFt des candidates
Calculer la pondérationoptimale de chaque f ∈ Ft
Sélectionner la meilleurefonction dans Ft
Mettre à jour notre es-pace sémantique fort Ft
ConclusionChaque étape t a une complexitécalculatoire deO(c2 + nc + nt) = O(nt), si c < n
et c < t .
Apprentissage interactif et multi-classes pour la détection | A.Lechervy | Décembre 2012 74 / 66