R. Soncini Sessa, MODSS, 2004 1 L 26 Stima degli effetti Calcolo degli obiettivi (Laplace) Rodolfo...

R. Soncini Sessa, MODSS, 2004 1

L 26 Stima degli effetti

Calcolo degli obiettivi (Laplace)

Rodolfo Soncini Sessa

MODSSCopyright 2004 © Rodolfo Soncini Sessa.


Port

ato

ri

0. Ricognizione e obiettivi

1. Definizione delle azioni

2. Definizione di criteri e indicatori

3. Identificazione

del modello

4. Progetto delle alternative

6. Valutazione delle

alternative

5. Stima degli effetti

7. Comparazione e negoziazione

Alternative dicompromesso

8. Mitigazione e compensazione

Cercare ancora?

si

9. Scelta politica

no

PIANIFICAZIONE

Alternativa di miglior compromesso

MO

DS

S

La PIP


Calcolo degli obiettivi

Risolto il problema con obiettivo aggregato si dispone di :

• valore ottimo dell’obiettivo J*

• funzione di Bellman *( )H

• politica ottima p*

La conoscenza del valore ottimo

S* x

0( ) =λ1J1 x0 ,u

p* , p*( ) +...+λqJ

q x0 ,,up* p*

( )

non consente di risalire ai valori ottimi dei singoli obiettivi

J 1 x

0,u p*

, p*( ),..., J

q x0 ,up* , p*

( )

che sono però necessari per tracciare la frontiera di Pareto.

• decisioni pianificatorie ottime up*


Calcolo degli obiettivi

J1

J2

Conosco la retta su cui si trova il punto (J1*, J2*)

J∗=λ J 1 + 1−λ( ) J

2

ma non conosco i valori dei due obiettivi J1*e J2*.


tutti gli indicatori devono necessariamente essere definiti sul medesimo orizzonte.

Determinazione degli obiettivi

Ottenute le traiettorie dello stato e del controllo si calcolano i valori assunti dai diversi obiettivi.

Poiché conosciamo l’alternativa ottima (up*, p*), per calcolare il valore degli obiettivi è sufficiente simulare il sistema sull’orizzonte di progetto.

Nota Bene :


Difficoltà

Nella simulazione si incontrano due difficoltà:

1. Sappiamo effettuare la simulazione solo se è assegnata una traiettoria del disturbo; ma la definizione della funzione obiettivo richiede di considerare tutte le possibili traiettorie.

2. Se l’orizzonte di progetto è infinito la simulazione non può in pratica essere realizzata.


Che fare?

Cambiare rappresentazione del sistema:

Sistema deterministico affetto da disturbo stocastico

Catena di Markov

Stato : xtDistribuzione di probabilità dello stato all’istante t. xt

πtStato :


Lo stato stocastico

Quando un modello meccanicistico o una BBN sono alimentati da

un rumore stocastico bianco lo stato è una variabile stocastica xt

Quindi xt: π t

distribuzione di probabilità dello stato

all’istante t xt


Lo stato stocastico



Quindi xt: πt distribuzione di probabilità dello stato

all’istante t xt

Che senso ha uno stato stocastico?Un esempio: per valutare l’affidabilità di un intervento si deve stimare la frequenza degli eventi estremi: es. frequenza delle esondazioni

Indice = probabilità di fallanza

Invaso

soglia di esondazione

Probabilità di fallanza

dens

ità

di p

roba

bili

tà

πt


Metodo Monte Carlo: effettuare un numero elevato di simulazioni del modello in corrispondenza di traiettorie casuali del disturbo, generate con un modello del disturbo.

Lo stato stocastico


un rumore stocastico bianco lo stato è una variabile stocastica. xt

Quindi xt: πt

Come determinare ? πt


all’istante t xt


Metodo Monte Carlo: effettuare un numero elevato di simulazioni del modello in corrispondenza di traiettorie casuali del disturbo, generate con un modello del disturbo

Lo stato stocastico



Quindi xt: πt



all’istante t xt

Per calcolare f (x) dx

a

b

∫

Si generano N coppie casuali (xi,yi)con xi equiprobabile in (a,b)

con yi equiprobabile in (0,c)

si ponga Ai=1 se f(xi)>yi

Ai=0 altrimenti

a b

c

f(x)

x

Metodo Monte CarloEsempio: Calcolo di un integrale


Metodo Monte Carlo: effettuare un numero elevato di simulazioni del modello in corrispondenza di traiettorie casuali del disturbo, generate con un modello del disturbo.

Lo stato stocastico


un rumore stocastico bianco lo stato è una variabile stocastica. xt

Quindi xt: πt


computazionalm

ente costo

so!


all’istante t xt


Catene di Markov

Se il sistema è discretizzato utilizzare come stato non ma

IDEA (Markov,1887)

x t πt

semplice modello lineare: CATENA di MARKOV

πt+1T =πt

TBt

Matrice il cui elemento rappresenta la probabilità che lo stato passi dal suo i-esimo valore all’istante t al j-esimo all’istante t+1, quando sul sistema agisce il disturbo considerato e il sistema è controllato da una politica data.

btij


s

t+1

h

t+1

Un esempio

S E

S E S E

S 1 0 .5 0

E 0 1 .5 1

S E

S E S E

S E S E S E S E

S .9 1 0 .9 .1 .8 0 .2

E .1 0 1 .1 .9 .2 1 .8

S E

P T P T

S .9 .9 .2 .1

E .1 .1 .8 .9 a

t+1

w

t

ε

t+1

w

t

r

t+1

s

t

u

t

s

t+1

s

t

a

t+1

r

t+1

s

t

u

t ε

t+1

S E

B 1 0

A 0 1

probabilità che l’invaso sia Elevato all’istante t+1

probabilità che l’invaso sia Scarso all’istante t+1

1T Tt t tπ π B

1 1

0.29 0.71

0.32 0.68S E S Et t t tπ π π π

Con la politica adottata l’invaso sarà scarso il 30%

delle volte ed elevato il 70%.

0.31Distribuzione a regime

0.69π

politica data

Si assuma che siano entrambi disturbi casuali e bianchi, con distribuzione nota: es. valori equiprobabili

Si assuma che siano entrambi disturbi casuali e bianchi, con distribuzione nota: es. valori equiprobabili


OsservazioniPer calcolare una catena di Markov servono:

le stesse informazioni che occorrono per il metodo Monte Carlo! ...

... ma la catena è un modello più semplice da simulare perchè è autonomo, cioè non ha ingressi.

- equazione di transizione di stato del modello (mecc. o BBN);

- la politica di regolazione adottata.- i modelli dei disturbi;

Lo svantaggio è che le dimensioni dello stato della catena sono molto elevate, pari al numero di valori che lo stato può assumere. xt


Osservazioni

I valori di Bt sono numerosi e difficili da stimare direttamente.

Proposta: costruire prima un modello meccanicistico (o una BBN o un empirico), così che i Portatori d’interesse possano più facilmente partecipare alla sua realizzazione;

ricavare poi da questo la matrice Bt della catena di Markov.


Sistema deterministico e sistema stocastico

Sistema senza disturbo (sistema deterministico)

Sistema con disturbo(sistema stocastico)

t t+1

1

2

3

1

2

3

D

D

D

G

G S

S

t t+1

1

2

3

1

2

3

D0.6

0.4

0

0

G

0.8

0.2


t t+1

1

2

3

1

2

3

D0.6

0.4

0

0.7

0.3

0

S

0

0.5

0.5

D

Fissata la politica tm

Le probabilità di transizione xt+1 = 1 xt+1 = 2 xt+1 = 3

xt = 1 ut = D 0.6 0.4 0.0

ut = G 0.0 0.8 0.2

xt = 2 ut = S 0.7 0.3 0.0

ut = D 0.3 0.6 0.1

ut = G 0.0 0.3 0.7

xt = 3 ut = S 0.1 0.9 0.0

ut = D 0.0 0.5 0.5ut = D 0.0 0.5 0.5

ut = S 0.7 0.3 0.0

ut = D 0.6 0.4 0.0


Fissata la politica tm rappresenta la probabilità che,

avendo adottato il controllo , il sistema transiti dallo stato , al tempo t, allo stato , al tempo t+1.

mt

xti

( ) xt

i

Le probabilità di transizione t tB m xt+1 = 1 xt+1 = 2 xt+1 = 3

xt = 1 ut = D 0.6 0.4 0.0

ut = G 0.0 0.8 0.2

xt = 2 ut = S 0.7 0.3 0.0

ut = D 0.3 0.6 0.1

ut = G 0.0 0.3 0.7

xt = 3 ut = S 0.1 0.9 0.0

ut = D 0.0 0.5 0.5

0.6 0.4 0.0

0.7 0.3 0.0

0.0 0.5 0.5

ij it t tb m x ut = D 0.0 0.5 0.5

ut = S 0.7 0.3 0.0

ut = D 0.6 0.4 0.0

t tB m è fissata la matrice

il cui elemento ij it t tb m x

xt+1i


t t+1

1

2

3

1

2

3

1

2

3

t

t

t

π

π

π

11

21

31

t

t

t

π

π

π

tπ 1tπ

11b

21b

31b

12b

32b

22b13b

23b

33b

1 1 11 1 2 21 2 3 31 31t t t t t t t t t t t t tb m x b m x b m xπ π π π



La funzione di transizione t tB m

0.6 0.4 0

0.7 0.3 0

0 0.5 0.5

0.6

0.7

0

0.6

0.7

0

0.4

0.3

0.5

0.4

0.3

0.5

0

0

0.5

0

0

0.5


1 1 211 1 1321 31

2 3t t t t t t tt t t tt t b m x b m x b m xπ π π π

2 1 212 1 2322 31


3 1 213 1 3323 31


t t+1

1

2

3

1

2

3

1

2

3

t

t

t

π

π

π

11

21

31

t

t

t

π

π

π

tπ 1tπ 13b

23b

33b

La funzione di transizione

1 ( ( ))T Tt t t tB mπ π 1 ( ( ))T Tt t t tB mπ π

t tB m

0.6 0.4 0

0.7 0.3 0

0 0.5 0.5

0.6

0.7

0

0.6

0.7

0

0.4

0.3

0.5

0.4

0.3

0.5

0

0

0.5

0

0

0.5


La catena

btij m

tx

ti

( )( ) = φt εt1 xti ,mt xt

i( )( )

εt+1∈Gt

∑

G

t= εt1 : xt1

j = ft xti ,mt xt

i( ),εt1( ){ }

πt1

T =πtT Bt mt ⋅( )( )

• Il sistema

dove

πt

i

i∑ =1 → πt1i

i∑ =1 b

tij ≥0 , bt

ij =1j∑

• Fissata la politica la catena è un sistema lineare deterministico.

• La stocasticità svanisce considerando al posto di . xt πt

ed è deterministico.

è non lineare ( rispetto al controllo ): se cambia cambia ; Bt m

t⋅( )


Simulazione su orizzonte finito

Simulazione su orizzonte finito [0, h ] dallo stato iniziale

x0i

• La traiettoria sull’orizzonte temporale [0, h] può essere calcolata utilizzando ricorsivamente la catena

π0 , ..., πh

• La distribuzione iniziale esprime la certezza di trovarsi

al tempo 0 in

π0


Calcolo dell’obiettivoRicordiamo che nella lez. S05 abbiamo visto che quando:

- il disturbo è bianco

- l’indicatore è separabile

l’obiettivo è calcolabile con la seguente espressione

1

1

1 1 10 ,

( , , ) ( ) ( )t t

hj

t t t t t t t t t tt x

g x u x dx dε

ε π ε ε

∫1

10 0 1

...[ ( , , )]

h

j h h hE i x uε ε

ε

( ) ( )h

jh h h h h

x

G x x dxπ ∫


dove

Una volta calcolata la traiettoria il valore del j-esimo obiettivo è allora dato da

π0 , ..., πh

11,2,...

1* * *

0

Gt tt h

hj T j T j

t t h ht

E i p E gε ε

π π

gtj* = gt

j xt1,mt

* xt1

( ),εt+1( ) ,...,gtj xt

n,mt* xt

n( ),εt+1( )

T

t=0, ..., h−1

Ghj* =Gh

j xh1

( ), ... ,Ghj xh

n( )

T

= gt

j (xt ,ut ,εt1)⋅πt(xt)xt ,εt1

∫ ⋅φt(εt1)⋅dxt ⋅dεt1t0

h−1

∑ +

Gh

j xh⋅πhxtxh

∫ ⋅dxh


E

εt{ }t=1,2,...h

i j p*( )⎡

⎣⎤⎦= πt

T

t=0

h−1

∑ Eεt+1

gtj*⎡

⎣⎤⎦+πh

T Ghj*Simulazione su orizzonte finito

Valore attesorispetto allo stato

1

1

1 1

1

1 * 11 * 111

2 * 22 * 211*

*1

, ,, ,

, ,, ,

........... ...........

, ,

t

t

t t

t

jjt t t t tt t t t t

jjt t t t tt t t t tj

t

j n nt t t t t

E g x m xg x m x

E g x m xg x m xE g E

g x m x E g

ε

εε ε

ε

εε

εε

ε

*

1, ,j n nt t t t tx m x ε

1

*

t

jtE g

ε

= * + * +…...+ * t =1 t =h t =0

[1,n]

[n,1][1,1]


Simulazione su orizzonte infinito

Quando il sistema è periodico è possibile dimostrare che la traiettoria converge ad un ciclo π0 ,π1,... π0 ,π1,...,πT−1

• L’ergodicità garantisce che la scelta della probabilità da cui inizia la simulazione della catena non è critica, giacché essa viene dimenticata con il progredire del tempo.

π0

• Non è necessario simulare il sistema per un numero infinito di passi, ma solo sino a quando la distribuzione diviene periodica, poiché allora si è determinato il ciclo cui essa tende.

tπ


La πt nel tempo

tx

1tx

2tx

1 1, ,t t t t tx f x u ε

1tε 2tε

La dispersione cresce con t.

πt+1

πt+2

*1fissata ( )tm

* *fissato ( )t t tu m x


EsempioSi consideri un serbatoio regolato :

In condizioni “normali”, ad esempio invaso medio e controllo medio, Rt(ut,st,at+1) = ut :

1 1 1( , , ) t t t t t t ts s a R u s a

1 1 t t t ts s a u 1 1 1( , , ) ( , ) t t t t t t t tx f x u f x uε ε

st

st+1

1 1 = + t t t tE s s u E a

è della forma

1tε


Ciclo stocastico

0 Tπ π

Ciclo stocastico

In un sistema periodico col passare del tempo la distribuzione di probabilità πt dello stato si allarga, ma non indefinitamente:

tende ad un andamento ciclico detto

t0 1 ……… T2Inverno InvernoEstate


Ciclo stocastico

0 Tπ π

Nel caso limite in cui l’afflusso è deterministico e periodico il ciclo stocastico corrisponde a una sequenza ciclica di impulsi.

tInverno Estate Inverno

In condizioni deterministiche la traiettoria dello stato è un ciclo deterministico; la presenza del disturbo fa sì che il ciclo deterministico venga sostituito da un ciclo stocastico.


Simulazione su orizzonte infinitoNoto il ciclo cui il sistema tende, i valori degli obiettivi si calcolano con le seguenti formule:

π0 ,π1,...,πT−1

Costo totale attualizzato:

Costo atteso per passo:

E

εt t=1,2,...

i j p*( )⎡

⎣⎤⎦= γtπt

T

t0

∞

∑ Eεt+1

gtj*⎡

⎣⎤⎦

E

εt{ }t=1,2,...

i j p*( )⎡

⎣⎤⎦=

1T πt

T

t=0

T−1

∑ Eεt+1

gtj*⎡

⎣⎤⎦


Il controllo ottimo

Problema di Controllo Ottimo: scegliere la politica in modo che il valore atteso dell’obiettivo sia minimo.

Il Problema di Controllo Ottimo su orizzonte infinito corrisponde dunque alla determinazione della distribuzione di probabilità ciclica che massimizza l’obiettivo.

Tramite il controllo si modificano le distribuzioni di probabilità dello stato a regime e si influenza così il valore atteso dell’obiettivo.


Leggere

MODSS Cap. 18

VERBANO Cap. 8

R. Soncini Sessa, MODSS, 2004 1 L 26 Stima degli effetti Calcolo degli obiettivi (Laplace) Rodolfo...

Documents

Transcript of R. Soncini Sessa, MODSS, 2004 1 L 26 Stima degli effetti Calcolo degli obiettivi (Laplace) Rodolfo...