Vergleich von Gesichtserkennungsverfahren Peter Hamm Hauptseminar: Digitale Medien Thema 20:...

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

Hauptseminar: Digitale Medien

Thema 20: Vergleich von Gesichtserkennungsverfahren

Bearbeiter: Peter HammBetreuer: Dipl.-Ing. Peter Dunker

Betreuender Professor: Prof. Dr.- Ing. Karlheinz Brandenburg

11. Juli 2005


Peter Hamm

I Einführung - Gesichtserkennung

II Einführung - Gesichtserkennung mittels Hauptachsentransformation

II.0 Bildtransformation II.1 PCA / Eigenfaces II.2 LDA / Fisherfaces II.3 small sample size problem

III Erweiterte Methoden III.1 Maximum Uncertainty LDA III.2 Direct Fractional LDA

IV Klassifikationsergebnis / Zusammenfassung

Gliederung2

GLIEDERUNG


Peter Hamm

Gesichts-lokalisierung

NormalisierungMerkmals-extraktion

VergleichenDer

Merkmale

Einführung - Gesichterkennung

I GESICHTSERKENNUNGSVERFAHREN

3


Peter Hamm

„THREE APPROACHES FOR FACE RECOGNITION“ – V.V. Starovoitov, D.I Samal, D.V. Briliuk

Mögliche Unterscheidungsmerkmale

Gesichtsproportionen

Konturen (active shape model)

Einzelne Gesichtsbereiche wie Nase, Mund etc. (template matching )

Einführung - Gesichterkennung4



Peter Hamm

Merkmalsextraktion - Hauptachsentransforamtion

- gesamtes Gesicht wird analysiert

- lineare Transformation der Bilder in _einen Unterraum

- Transformationsmatrix: Berechnung

_ über Eigenvektoren der Kovarianzmatrix

_ der Bilder

- Vergleich anhand der neuen Werte

Einführung - Gesichterkennung5



Peter Hamm

2-Pixel-Bilder = Objekt mit 2 Merkmalen

256 x 256 px = Objekt mit 65.536 Merkmalen

HOHER RECHENAUFWAND !

II BILDTRANSFORMATIONWas soll eine Bildtransformation erreichen?

Reduktion der Objektmerkmale ____ ohne große Informationsverluste !!!

Diskriminierung der Objekte ____ durch Finden der Variationen im Bilddatensatz

Bildtransformation mittels Hauptachsentransformation6


Peter Hamm

My

PixelPixelN

N

yx

,...,2,1

,...,2,1

II BILDTRANSFORMATION

TWy

Bildtransformation mittels Hauptachsentransformation7


Peter Hamm

II EIGENFACES

Transformation des Trainingssatzes mittels

_ _ _ Principle Component Analysis – PCA

principle components:

orthogonale Vektoren ,die die Richtungen der größten Varianz beschreiben

= neue Achsenhttps://www.eng.man.ac.uk/mech/merg/Research/datafusion.org.uk/pca.html

PC 1PC 2

Sirovich / Kirby, 1987; Turk / Pentland, 1991

Eigenfaces / PCA8


Peter Hamm

Trainingsdatensatz:

M,...,, 321

i

M

n nM 1

1

ii

B

H

N x M

H x B = N

image mean

Abweichung

Eigenfaces / PCA9

II EIGENFACES


Peter Hamm

PCs = Eigenvektoren der Kovarianzmatrix der

_ _ _ _ _ _ _ _ _ gesamten Bildmatrix

- Problem: C hat die Dimension N x N !

- Es existieren nur M sinnvolle Eigenvektoren

Kovarianzmatrix: Abweichung eines Gesichts ______________vom Durchschnittsgesicht (image mean)

TC

T- Eigenvektoren von = Eigenvektoren von C

10

II EIGENFACES


Peter Hamm

Transformationsmatrix: EWPCA

- W sind die sog. Eigenfaces- Anzahl gewählten Eigenfaces = Dimension der Unterraumvektoren

Eigenfaces nach Ordnung gegliedert

1 2 3 4

15 100 200 250 300

11

II EIGENFACES


Peter Hamm

queryT

queryWy

TWy

Klassifizierung:

1 Transformation des Testbilddatensatzes:

2 Transformation des Query-Bildes:

3 Euklidische Distanz berechenen:

22queryi yy

i

12

II EIGENFACES


Peter Hamm

II FISHERFACESFisher 1936; Belhumeur, Hespanha, Kriegmann 1997

PCA lässt Klasseninformation außer Acht

Linear Discriminant Analysis - LDA

LDA: - vergrößert die Streuung zwischen den Klassen

- verkleinert die Streuung innerhalb der Klassen

WSW

WSWW

WITHIN

BETWEEN

LDA T

T

Wmaxarg

Fisher‘s criterion

- W über Lösen des Eigensystem

Fisherfaces / LDA13


Peter Hamm

Belhumeur: Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projektion

Fisherfaces / LDA14

II FISHERFACES


Peter Hamm

II SMALL SAMPLE SIZE PROBLEM

21, MM ,1

Trainingsdatensatz: N >> M

N x M

- Bilder einer Person << Pixel pro Bild (features)

- schlechte Repräsentation der gesamten Klasse

- Kovarianzmatrix kann singulär sein

Determinate = 0

WSW

WSWW

WITHIN

BETWEEN

LDA T

T

Wmaxarg

Small sample size problem15


Peter Hamm

III ERWEITERTE METHODEN

Belhumeur (LDA)

- Schritt vor der LDA: Dimensionsreduktion mittels PCA auf M bis minimal (M – Klassenanzahl)

TPCA

TLDA

TOPT WWW

- Klassifikation schlechter gegenüber „reiner“ LDA !

Erweiterte Mehtoden16


Peter Hamm

Maximum Uncertainty LDA Thomasz, Gillies 2004

- Modifizierte S - Addition mit einer gewichteten Einheitsmatrix

BETWEEN

ISSWITHINWITHIN

)1(ˆ

10 Mit:

n

iin 1

1 und:

- Löst Singularitätsproblem




Peter Hamm

Maximum Uncertainty LDA

WW

WSWW

WITHIN

BETWEEN

LDA

ST

T

W ˆmaxarg

- Modifiziertes Fisher-Kriterium:




Peter Hamm

Direct Fractional Linear Discriminent Analysis - DF-LDA

1 Einführung von Gewichtsfunktionen in die LDA um

Lu, Plataniotis, Venetsanopoulos, 2002

2 Direct = keine PCA vor der LDA anwenden

3 Fractional = Dimensionsreduktion durch LDA in Schritten

3 Schritte:

- Löst Singularitätsproblem und verbessert die Klassifizierung




Peter Hamm


1 Berechnung der Eigenwerte der gewichteten S BETWEEN

ji

K

j

p

jii

K

i

M

Mi

mit

TiiBETWEEN

S

1

2

1

:

ˆ

Gewichtsfunktion




Peter Hamm

2 direct LDA:

- Maximieren des modifizierten Fisher‘s Criteriums

WSSW

WSWW

BETWEENWITHIN

BETWEEN

LDAD T

T

W ˆ

ˆmaxarg





Peter Hamm

3 Fractional Step zur weiteren Dimensionsreduzierung:

+ Transformationmatrix durch Maximierung der S BETWEEN

+ schrittweise Reduzierung der Dimension in r>1 Schritten

+ Neuberechnung der S nach jedem Schritt BETWEEN


WSWWBETWEENLDADF

T

Wmaxarg




Peter Hamm

III KLASSIFIKATIONSERGEBNISSE

Belhumeur: Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projektion

23


Peter Hamm


Chengjun Liu; Harry Wechsler; Enhanced Fisher Linear Discriminant Models for Face Recognition

24


Peter Hamm


ORL – Olivetti-Oracle Research Lab FERET- Face Recognition Technology

Ergebnisse: MAXIMUM UNCERTAINTY LDA (NLDA)

25


Peter Hamm


Ergebnisse: Direct Fractional-LDA (DF-LDA)

Projektionen von 5 Personen:

PCA D_LDA DF_LDA

26


Peter Hamm


Ergebnisse: Direct Fractional-LDA (DF-LDA)

27


Peter Hamm

III KLASSIFIKATIONSERGEBNISSE- Viele verschiedene Testdatenbanken:

- Olivetti Oracle Research Lab DB (ORL)- Face Recognition Technology DB (FERET)- UMIST Database- YALE Database

YALE

FERET

28


Peter Hamm

IV Zusammenfassung

Gesichtserkennung mittels Hauptachsen-Transformtionen

relativ unempfindlich gegenüber schlechter Auflösung

LDA unempfindlicher gegenüber PCA bezüglich Helligkeitsschwankung, Mimik, Gesichtsposition

Fortgeschrittene LDA-Methoden können Fehlererkennungsrate senken

Anwendungerfolge bei verschiedenen Testdatenbanken fallen unterschiedlich aus

29


Peter Hamm

Dank an die Zuhörer für die Aufmerksamkeit und

Danke an Peter Dunker für die Unterstützung

FRAGEN ?


Peter Hamm

Add-on: Matrixmultiplikation

kT

kxWy

100,20001,2000

1,2

100,12,11,1

..

..

.

..

]1002000[

xx

x

xxx

Bilderpixelx

2000,201,20

1,2

2000,12,11,1

..

..

.

..

]200020[

WW

W

WWW

TW

Zusatzfolien

Bsp.: Projektion von Bildmatrix in Unterraum:

100,201,20

1,2

100,12,11,1

..

.

.

.

]10020[

yy

y

yyy

T xW

Z 1


Peter Hamm

Add-on: Lösung des Eigenwertsystems der Kovarianzmatrix

Zusatzfolien

XECXEXEXEXX

EXEXELET

T

Z 2


Peter Hamm

Add-on: Kovarianzmatrix

44

31A

5.05.45.1

5.1)( AKOV

Zusatzfolien

- Abweichung vom arithmetischen Mittelwert

- Diagonale: Varianz innerhalb der jeweiligen Klasse

- Elemente ausserhalb der Diagonale: Kovarianzen

N

n

TnnN

KOV1

1

Z 3


Peter Hamm

Add-on: II BILDTRANSFORMATION

Verdunklung um 40 Grauwertstufen

Facial Recognition as a Pattern Recognition Problem; Wang, ECE 407NA 2005

Z 4


Peter Hamm

Add-on: II Eigenfaces

PCs = Eigenvektoren der Kovarianzmatrix der

_ _ _ _ _ _ _ _ _ gesamten BildmatrixTC iii

ECE

TL- Problem: C hat die Dimension N x N !

iiiELE

- L hat die Dimension M x M !- Eigenvektoren von L = Eigenvektoren von C

Transformationsmatrix: EWPCA

Z 5


Peter Hamm

Add-on: II Fisherfaces

„Within-Class Scatter“ = Summe der Kovarianz jeder Klasse

Tjj

M

jjpWITHIN

S

1

T

globaliglobali

K

iiNBETWEEN

S1

„Between-Class Scatter“ = Summe der Kovarianz aller Klasse

Lösung Fisher‘s criterion:

EESSBETWEENWITHIN

1

Z 6

Vergleich von Gesichtserkennungsverfahren Peter Hamm Hauptseminar: Digitale Medien Thema 20:...

Documents

Transcript of Vergleich von Gesichtserkennungsverfahren Peter Hamm Hauptseminar: Digitale Medien Thema 20:...