NALISI QUALITATIVA DI FENOMENI LEATORI - unige.it · 2011-09-09 · Negentropia Si definisce...
Transcript of NALISI QUALITATIVA DI FENOMENI LEATORI - unige.it · 2011-09-09 · Negentropia Si definisce...
ANALISI QUALITATIVA DI FENOMENI ALEATORI
Luigi Carassale Settembre 2011
Dottorato di ricerca in Ingegneria delle CostruzioniDipartimento di Ingegneria delle Costruzioni, dell’Ambiente e del Territorio
Università di Genova
Strumenti di analisi MPST – Independent Component Analysis
Equalizzazione (whitening)
Dato il vettore aleatorio x, trovare la trasformazione lineare z=Vx, tale che z sia un vettore bianco, cioè:
j k jkE z z
Una possibile scelta per V è fornita dalla PCA
1 2 1 2 Tz y x1 2 TV
• z è un vettore bianco
T T
1 2 1 2T T
E xzz VC V
II I
• la trasformazione V non è unica, infatti per ogni matrice ortogonale Urisulta:
T T T TE xz UVx zz UVC V U UIU I
La rotazione di un vettore bianco è un vettore bianco
Independent Component Analysis (ICA)
Supponiamo che le misure x siano originate dalla combinazione lineare di n sorgenti sj (j=1,…,n) statisticamente indipendenti
x As A matrice invertibile n × n (mixing matrix)
Problema: dato un insieme di misure di x, identificare A e le corrispondenti sorgenti s
Ambiguità: 1. Non possiamo determinare la varianza delle sorgenti perché un fattore di scala in sj può essere bilanciato scalando la j-ma colonna di A. L’ambiguità è rimossa assumendo E*sj
2]=12. Non può essere determinato l’ordine delle sj, ma s
è identificato a meno di una permutazione.
Se x ha media nulla, allora s ha media nulla
1E Es A x 0
Se x non ha madia nulla, eseguiamo il centraggio
Ex x x
Independent Component Analysis (ICA)
Esempio n = 2
1se 3
2 3 1,20 altrimenti
j
j
s j
sp s j
2
0
1
j
j
E s
E s
s1, s2 statisticamente indipendenti
x As5 10
10 2A
Independent Component Analysis (ICA)
Esempio n = 2
-3 -2 -1 0 1 2 3
-2
-1
0
1
2
3
s1
s2
Sorgenti
Independent Component Analysis (ICA)
Esempio n = 2
-30 -20 -10 0 10 20 30
-20
-15
-10
-5
0
5
10
15
20
x1
x2
Misure
x As Dato x, stimare A e s
xC I 0
Independent Component Analysis (ICA)
Esempio n = 2
-30 -20 -10 0 10 20 30-25
-20
-15
-10
-5
0
5
10
15
20
25
y1
y2
Componenti principali
Le sj sono statisticamente indipendenti, quindi sono anche non correlate. Allora cerchiamo di identificare le sj mediante la PCA
T TEy x yy
-3 -2 -1 0 1 2 3
-2
-1
0
1
2
3
z1
z2
Le sj hanno varianza unitaria. Equalizziamo le componenti principali
1 2 1 2 T
TE
z y x
z Vx zz I
Independent Component Analysis (ICA)
Esempio n = 2
Componenti principali equalizzate
• z non identifica s, ma una sua copia ruotata (tutti i vettori bianchi sono legati da una rotazione)• se x fosse gaussiano, le zj
sarebbero indipendenti, ma il problema sarebbe indeterminato perché anche ogni rotazione di zavrebbe componenti indipendenti
Independent Component Analysis (ICA)
Esempio n = 2
z Vx
VAs
As
è una matrice ortogonale
T T T TE Ezz A ss A AA
I
A
Se x è nongaussiano, identifichiamo e quindi A imponendo la condizione di indipendenza statistica sulle sj.
A
ICA mediante massimizzazione della nongaussianità
x As
Se conoscessimo A, potremmo stimare s attraverso
1s Bx B A
Le sj sono quindi combinazioni lineari del tipo
Ty b x
dove b è un vettore incognito (una riga di B)
T Ty b As q s
Se b fosse una riga di B, allora y sarebbe una componente indipendente (sj) e q sarebbe un vettore del tipo q=*0 … 1 … 0+T
ICA mediante massimizzazione della nongaussianità
T Ty b x q s
Immaginiamo di variare il vettore q e studiare la pdf di y. Per il teorema del limite centrale, la combinazione lineare di più IC è “più gaussiana” delle IC stesse. Quindi la massima nongaussianità si trova quando q è del tipo q=*0 … 1 … 0+T. In pratica non conosciamo s (e quindi non possiamo stimare q), ma visto che y=bTx=qTs, possimo operare in modo analogo variando b. Le IC sono trovate massimizzando la nongaussianità di y=bTxrispetto a b.
Supponiamo che tutte le sj abbiano identica distribuzione (in realtà non è necessario)
• Come può essere misurata la nongaussianità di bTx?• Come possono essere calcolati i valori di b che la massimizzano?
ICA mediante massimizzazione della nongaussianità
Massimizzazione di |4|
Ty q s è una IC se q è del tipo *0…1…0+T
2 22 2
1 12 2
1
1 1j
n n
j j jj j
y s
y q s q q
Se y deve essere una IC, allora deve avere varianza unitaria.
44 4
1
n
j jj
y q s
Dobbiamo massimizzare |4[y]| con il vincolo ||q||=1
-1.5
-1
-0.5
0
0.5
1
1.5-1.5
-1
-0.5
0
0.5
1
1.5
0
5
10
15
q2
q1
4[y
]
ICA mediante massimizzazione della nongaussianità
Massimizzazione di |4|
44 4
1
n
j jj
y q s
Quattro punti di massimo relativo
01,
0 1q
Il massimo di |4| fornisce le IC
ICA mediante massimizzazione della nongaussianità
Massimizzazione di |4|
44 4
1
n
j jj
y q s
In pratica non conosciamo s, ma x, quindi si procede come segue:
1. Si equalizza x: z=Vx2. si massimizza |4[wTz]| rispetto a w
Il vincolo ||q||=1 risulta: T Ty q s w VA sz2 T 2Tq w VA VA w w
A
La massimizzazione di |4[wTz]| è effettuata sulla sfera di raggio unitario
ICA mediante massimizzazione della nongaussianità
Massimizzazione di |4|: esempio n = 2
cos
sinw
0 50 100 150 2000.5
0.6
0.7
0.8
0.9
1
1.1
1.2
1.3
(°)
|4[y
]|
w1 w2
Tj j jy sw z
ICA mediante massimizzazione della nongaussianità
Massimizzazione di |4|: esempio n = 2T
j j jy s w z
-3 -2 -1 0 1 2 3
-2
-1
0
1
2
3
z1
z2
s1
s2
-3 -2 -1 0 1 2 3
-2
-1
0
1
2
3
s1
s2
ICA mediante massimizzazione della nongaussianità
Massimizzazione di |4|: esempio n = 2T
j j jy s w z
1A V W
1 nw w
10.01 4.94ˆ
1.96 10.02A
10 5
2 10A
ICA mediante massimizzazione della nongaussianità
Massimizzazione di |4|: esempio n = 2
Limiti di |4| come misura di nongaussianità
• |4| non è simmetrico (distribuzioni supergaussiane e subgaussiane
sono pesate diversamente• |4| non da informazioni sulla simmetria della distribuzione• |4| è molto sensibile agli outliers
ICA mediante massimizzazione della nongaussianità
Negentropia
Si definisce negentropia la grandezza:
gJ x H x H x
dove xg è una v.a. gaussiana con media e varianza pari a x
1log 2 log
2gH x
• J è non negativa ed è nulla per v.a. gaussiane.• J può essere utilizzata come misura di nongaussianità.
0 20 40 60 80 100 120 140 160 1800.5
0.6
0.7
0.8
0.9
1
1.1
1.2
1.3
|4[y
]|
0 20 40 60 80 100 120 140 160 1800
0.01
0.02
0.03
0.04
0.05
0.06
0.07
0.08
(°)
J[y
]
ICA mediante massimizzazione della nongaussianità
Massimizzazione della negentropia
In questo esempio, la massimizzazione della negentropia fornisce le stesse IC della massimizzazione di |4|
ICA mediante massimizzazione della verosomiglianza
Funzione di verosomiglianza
Sinano x(1), …, x(T) realizzazioni della v.a. x, raccolte nel vettore xT
La pdf di x è fornita da un modello dipendente da n parametri 1, …, n
raccolti nel vettore
pdf di x, in funzione dei parametri
Se le realizzazioni di xj sono statisticamente indipendenti e identicamente distribuiti, allora il vettore dei parametri può essere stimato massimizzando la funzione di verosomiglianza :
1
|T
xj
L p x jθ θ
Spesso conviene massimizzare il logaritmo di L
1
log log |T
j
L p x jθ θ
ICA mediante massimizzazione della verosomiglianza
Esempio distribuzione gaussiana
2 22 22
1
1, 2 exp
2
TT
j
L x j
1
222
1
1ˆ0
1ˆˆ0
T
j
T
j
Lx j
T
Lx j
T
2 3 4 5 6 7 8 9 10-2.75
-2.7
-2.65
-2.6
-2.55
-2.5
-2.45
-2.4
-2.35x 10
4
log(L
())
ICA mediante massimizzazione della verosomiglianza
Esempio distribuzione esponenziale
1 1expxp x x
Simulati 10000 campioni di x con = 4
ˆ
ICA mediante massimizzazione della verosomiglianza
Stima delle IC
T
1 1
log log detj
T n
s jt j
L p t TB b x B
x As
1
det detj
n
s jj
p p p sx sx B s B 1B A
T
1 1
detj
T n
s jt j
L p tB b x B
Se si conoscono le pdf delle IC, la matrice B può essere stimata massimizzando le funzioni
Se le pdf delle IC sono incognite, allora è necessario stimarle in modo parametrico (si adottano modelli di pdf dipendenti da parametri incogniti)
ICA - minimizzazione dell’Informazione Mutua
Informazione mutua
log dy yH y p p
log dH p py yy
y v.a. scalare:
y = [y1…ym]T v.a. vettoriale:
Integrale multi-dimensionale
Si definisce Informazione Mutua fra le v.a. y1,…,ym la quantità scalare
1
m
jj
I H y Hy y
La Informazione Mutua è sempre non negativa ed è nulla soltanto per se la yj sono statisticamente indipendenti
ICA - minimizzazione dell’Informazione Mutua
Informazione mutua
E’ possibile stimare le IC minimizzando la Informazione Mutua di
s Bx
dove B è una matrice da determinare la cui inversa fornisce la mixing matrix AIn questo modo, se i dati seguono un modello ICA (x=As, con s stat. ind.), allora la minimizzazione della MI fornisce le IC, altrimenti fornisce componenti più possibile indipendenti. A differenza dei metodi basati sulla massimizzazione della nongaussianità o della verosomiglianza, il modello ICA non è il presupposto di questo metodo
ICA – Esempio 1
0 50 100 150 200 250 300 350 400 450 500-2
0
2Mixed signals
s1
0 50 100 150 200 250 300 350 400 450 500-5
0
5
s2
0 50 100 150 200 250 300 350 400 450 500-2
0
2
s3
0 50 100 150 200 250 300 350 400 450 500-5
0
5
s4
n = 4
x As
0 50 100 150 200 250 300 350 400 450 500-10
0
10Mixed signals
x1
0 50 100 150 200 250 300 350 400 450 500-10
0
10
x2
0 50 100 150 200 250 300 350 400 450 500-5
0
5
x3
0 50 100 150 200 250 300 350 400 450 500-5
0
5
x4
A
Sorgenti
A = [-1.1465 0.3273 -0.5883 1.06681.1909 0.1746 2.1832 0.0593
1.1892 -0.1867 -0.1364 -0.0956-0.0376 0.7258 0.1139 -0.8323];
0 50 100 150 200 250 300 350 400 450 500-5
0
5
s1
0 50 100 150 200 250 300 350 400 450 500-5
0
5
s2
0 50 100 150 200 250 300 350 400 450 500-2
0
2
s3
0 50 100 150 200 250 300 350 400 450 500-2
0
2
s4
0 50 100 150 200 250 300 350 400 450 500-10
0
10Mixed signals
x1
0 50 100 150 200 250 300 350 400 450 500-10
0
10
x2
0 50 100 150 200 250 300 350 400 450 500-5
0
5
x3
0 50 100 150 200 250 300 350 400 450 500-5
0
5
x4
ICA
ICA – Esempio 1
0 0.5 1 1.5 2 2.5
x 105
-0.5
0
0.5Mixed signals
x1
0 0.5 1 1.5 2 2.5
x 105
-0.5
0
0.5
x2
0 0.5 1 1.5 2 2.5
x 105
-0.5
0
0.5
x3
0 0.5 1 1.5 2 2.5
x 105
-0.5
0
0.5
x4
1 2 3 40
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
k
k
ICA – Esempio 2
0 0.5 1 1.5 2 2.5
x 105
-10
0
10Independent components
s1
0 0.5 1 1.5 2 2.5
x 105
-10
0
10
s2
0 0.5 1 1.5 2 2.5
x 105
-10
0
10
s3
ICA – Esempio 2
vortex advection
Wind pressure on a bluff-bodyRecurrent flow configurations
Analyzed face
time
downwash
time
Wind pressure on a bluff-bodyRecurrent flow configurations
Analyzed face
horseshoe vortex
time
Wind pressure on a bluff-bodyRecurrent flow configurations
Analyzed face
Principal Components (PC)
1
N
k
k
k xt t
q
k k qqC Ι 0
POD modes
Modal representation of the wind pressure
Analyzed face
1 2 3 4 5
* x1(t) + * x4(t) +* x2(t) + * x5(t) +..* x3(t) +
Proper Orthogonal Decomposition (POD)
1 5 10 15 200
0.2
0.4
0.6
0.8
1
# modes
|| q
||
6
0.88
time
1 2 3
4 5 6
-4 -2 0 2 4
0
0.2
0.4
0.6
pq
14(
), p
x 1(
)
Data
POD (1-variate)
POD – Limitations
ICAPOD
1
n
k
k kx
q x 1
n
k
k ks
q a As
k are orthogonal
ak are obtained numerically(maximizing some independence measure)
xk are uncorrelated sk are statistically independent(as much as possible)
k are obtained analytically(are the eigenvectors of the covariance)
ak are non-orthogonal
Independent Component Analysis (ICA)A step forward: from POD to ICA
ICAPOD
Independent Component Analysis (ICA)PCA and ICA jointly
N
datasetn
POD
n N
to extract ROM to identify recurrent configurations,
possibly reducing the order of the model
+
ICA
1
2 a2
a1
ICA – Representation of pressure field
1 2 3
4 5 6
q1
(6)6
kk
k
x
q
1
(6)6
kk
k
s
q a
a1
a2
a3
a4
a5
a6
POD
ICA
-4 -2 0 2 4
0
0.2
0.4
0.6
pq
14(
), p
x 1(
), p
s 2(
)
q
1 1x
2 2sa
Data
POD
ICA
Representation of local wind pressure
ICA 1-variate
POD 1-variate
Data
-4 -2 0 2
10-3
10-2
10-1
100
pq
2(
), p
x 1(
), p
s 4(
)
q2
x1
s4
q
1 1x
2 2sa
Data
POD
ICA
Representation of local wind pressure
ICA 1-variate
POD 1-variate
Data
Independent Component Analysis (ICA)
2a
1a 3
a4
a5
a6
a6a
1a 5
a3
a4
a2
a
time
6a
1a 5
a3
a4
a2
a
Independent Component Analysis (ICA)
time
6a
1a 5
a3
a4
a2
a
Independent Component Analysis (ICA)
time
0 100 200 300 400tU/b
-1
0
1
2
q1
4(t
), A
14
,1 s
1(t
)
q14
ICA - mode 2
-1
0
1
2
q1
4(t
),
1
4,1
x1(t
)
q14
PCA - mode 1
(1)
1 1t x tq
(1)
1 1t s tq a
Representation of local wind pressure
ICA modes 1 and 2
a2
a1
0
0.2
0.4
0.6
0.8
nS
s 1s 1
(n),
n
Ss 2
s 2(n
)
s1
s2
0
0.2
0.4
0.6
0.8
1
Co
hs 1
s 2(n
)
10-3
10-2
10-1
100
nb/U
An
gs 1
s 2(n
)
-4 -2 0 2 4s1(t)
-4
-2
0
2
4
s 2(t
)
(a)
ICA modes 1 and 2
a2
a1
0
0.2
0.4
0.6
0.8
nS
s 1s 1
(n),
n
Ss 3
s 3(n
)
s1
s3
0
0.2
0.4
0.6
0.8
1
Co
hs 1
s 3(n
)
10-3
10-2
10-1
100
nb/U
An
gs 1
s 3(n
)
ICA modes 1 and 3
a3a1
a3a1
ICA modes 1 and 3
-4 -2 0 2 4s1
-4
-2
0
2
4
6
8
s 4
10-3
10-2
10-1
-200 -100 0 100 200
(ms)
-0.2
0
0.2
0.4
0.6
Cs 4
s 1(
)
-4 -2 0 2 4s1(t)
-4
-2
0
2
4
s 3(t
+)
a3a1
ICA modes 1 and 3
1 6 10 15 20k
0
0.2
0.4
0.6
k ,
||a
k||2
PCA
ICA
ICA vs ICA convergence
Limitations of static ICASmooth flow
Limitations of static ICASmooth flow
1 5 10 15 200
0.2
0.4
0.6
0.8
1
# modes
|| q
||
0.94
1 mode ICA POD
1111111111111111111111111111
Limitations of static ICASmooth flow
Data
POD ICA (1-variate)