Sűrűségfüggvény Parzen becslés

Mintapontszám, szigma

(távolságnál)

Küszöb hatása távolságnál

Skálázás hatása

Skálázás hatása

K-means

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

(b)

200 tanító lépés utáni állapot

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

(a)

kiinduló állapot

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

(c)

4000 tanító lépés utáni állapot

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

(d)

78000 tanító lépés utáni állapot

Kohonen map

Kiinduló adatok

SOM (Kohonen)

kiinduló számos iteráció után

Kohonen map

SOM eredménySzövegbányászati alkalmazás

Több mint 12000 dokumentum feldolgozás

Világos helyek sűrűsödések

NN klaszterezés: két Gauss eloszlású mintakészlet; hozzáadva egy pontot a helyzet nagyon megváltozik

Példa PCA alkalmazására képtömörítésnél.

Sajátértékek alakulása

Az első 20 legfontosabb sajátvektor (sajátkép)

A 141-160 saját értékekhez tartozó sajátképek

Kernel PCA

)( ,: xΦXxΦ FNR 1

1C Φ x Φ x

P T

j jjP

VCV

P

iii

1

xΦV

Φ x V Φ x CVT Tk k

P

i

P

i

P

jij

Tjk

Tiik

Ti P1 1 1

1xΦxΦxΦxΦxΦxΦ

jiT

jiij KK xΦxΦxx ,

αKKα 2P

KααP

1kTk VV

kTkk

P

ji

kTkij

kj

ki

P

jiji

Tkj

ki

K

αα

αKα

xΦxΦ

1,

1,

1

P

ii

ki

P

ii

Tki

Tk K11

,xxxΦxΦxΦV

A sajátvektorok normalizálása

A sajátvektorra vett vetület:

1

1Φ x Φ x Φ x

P

i i kkP

jiT

ijK xΦxΦ~~~

αα ~~~~K iP

i i xΦV~~~

1

ijPPPP

P

kpkjpkip

P

p

P

kkjikpjipij

P

kkj

P

ppiij

KP

KP

KP

K

PPK

K11K1K1K

xΦxΦxΦxΦ

1,2

1 1

11

111

11

11

11~

A nulla várhatóérték biztosítása a jellemzőtérben

jiT

ijK xΦxΦ 11 ij PijP /11

Kapcsolat a nulla várhatóértékű és az eredeti kernelmátrixok között

Nemlineáris főkomponens probléma: tesztfeladatok

Kernel PCA egyre magasabb-fokú polinom kernellelfokszám: 1 2 3 4

Az e

lső

háro

m s

aját

vekt

or „

irány

” a

bem

eneti

térb

en á

bráz

olva Konstans

főkom-ponens értékek vonalai a bemeneti térben ábrázolva

eredeti

zajos

M=1

4

16

64

256

M=1

4

16

64

256

Gauss zaj pontszerű zaj

PCA-KPCA zajszűrő hatás összehasonlítása

PCA

KPCA

Gauss kernel

Független komponens analízis, ICA

Alapprobléma:

Statisztikai függetlenség és korrelálatlanság

Nemgauss-ság szupergauss (pl. exponenciális), szubgauss (pl. egyenletes)

Mintapéldák időfüggvények, hangfájlok, 2D mintapontkészlet

http://research.ics.aalto.fi/ica/cocktail/cocktail_en.cgi

http://research.ics.aalto.fi/ica/cocktail/cocktail_en.cgi

3 eredeti jel

3 megfigyelt kevert jel

3 visszaállított jel

3 eredeti jel 3 visszaállított jel

ICAMomentumok, centrális momentumok

kurtózis, normalizált kurtózis, fehérített eset

ICAInformációelméleti alapfogalmak

entrópia

Differenciális entrópia (folytonos valószínűségi változónál)

ICAKülönböző megközelítések

1. Nemgauss-ság alapon,• kurtózis, mivel a Gauss kurtózisa nulla

• szub Gauss, szuper GaussAsx

Keressük z1-et és z2-t

z1=1 és z2=0 vagy fordítva

1. Nemgauss-ság alapon,• negentrópia, mivel a Gauss entrópiája maximális

(ha a kovariancia mátrix azonos)

A negentrópia mindig nemnegatív és csak akkor nulla, ha y Gauss

Kölcsönös információ minimalizálása alapján

A komponensenkénti entrópiák összege és az együttes entrópia különbsége

...ML becslés alaponMegfelelő vetítési irány keresése alaponNemlineáris PCA alapon ...

Előfeldolgozás: fehérítés

Gyors algoritmusok:

Mi maradt ki:

Sokminden : regresszió, osztályozás, klaszterezés dinamikus modellek (pl. HMM) hiányzó adatok kezelése, inputation, EM algoritmus ...