1
Uncertainty and Sensitivity Analysis in Risk Assessment and Management
Emanuele Borgonovo, Ph.D. (MIT)
Istituto di Metodi Quantitativi
Bocconi University
2
Il Problema
Siete manager di un’azienda che gestisce parcheggi e dovete decidere se e come costruire un nuovo parcheggio.
Siete manager evoluti dal punto di vista quantitativo, ovvero avete seguito il corso del Prof. Rocca.
3
Il Processo di Decisione
Yes/N
oCriterio di
Valutazione
Modello a Supporto delle decisioni
Ipotesi
Input (Paramteri)
Clemen (1997, Ch.1)
Analisi di Sensibilità
4
Modelli Un modello è uno strumento matematico-logico che
l’analista, il manager, lo scienziato, l’ingegnere sviluppa per: Predire il comportamento della realtà Predire l’andamento di un mercato Prendere una decisione relativa ad un investimento
Elementi comuni ai modelli: Incertezza iniziale Una serie di ipotesi Una serie di input Eventi Risultato (output) del modello
5
Attenzione!!
Forecasting is easy …
…. for the past
by
(Niels Bohr, Nobel Prize for Physics)
6
Costruzione del modello
Costruire un modello richiede una conoscenza approfondita di: Problema Eventi rilevanti rispetto al problema Fattori che influenzano il comportamento delle
quantità di interesse Raccolta dei dati e delle informazioni Statement e calcolo delle incertezze
Occorre la verifica della coerenza del modello mediante analisi empirica, se possibile, e analisi di sensibilità
7
Esempio: la legge di gravità Vogliamo descrivere la caduta verticale di un corpo
sulla superficie della terra. Adottiamo il modello: F=mg per la caduta dei corpi
Ipotesi (?): Corpo puntiforme (niente rotazioni) Niente attrito Niente correnti atmosferiche
Funziona per la caduta di un corpo posto a grande distanza dalla superficie terrestre?
8
Il modello in generale Modello:
)X,...,X,f(XY n21=
Output
Forma Funzionale non Necessariamente Nota
Parametri: sono I fattoriChe influenzano l’output
9
Esempio
Torniamo alla forza di gravità:
Vediamo il modello in generale:
YF →
gx,mx 21 ==
( )2121 xxx,xfY ==
mgF =
10
Un primo uso dell’analisi di sensibilità
Cosa succede se m passa dal suo valore di riferimento al suo doppio, da m0 a 2m0?
Dettagliamo meglio la domanda: F aumenta o diminuisce?
Stessa domanda ma più in generale: L’output (Y) risponde con segno positivo o
negativo alla variazione di uno o più parametri? Samuelson (1947, Nobel prize per l’Economia):
“the response of our system to changes in certain parameters”
11
Attenzione…
Le cose si complicano nella vita reale, perchè i modelli diventano complessi e non sono di solito trattabili analiticamente
D’ora in poi, quindi assumiamo di non conoscere più la forma funzionale: ovvero, I metodi che discutiamo si applicano ad ogni modello
?Input Output
x Y
12
Cos’è la Sensitivity Analysis
E’ un insieme di metodi matematici che permettono, tramite la risposta a domande:
“What if….?”
di aprire la scatola nera
13
Black Box
“Sensitivity analysis: would You go to an orthopaedist that does not
use X-Ray?”
By A.Saltelli, Joint Research Center EC
14
Cosa “esce” dalla Black-Box
Verifica della Correttezza
Misure di Importanza
Analisi di Rischio
Analisi di Incertezza
15
Importanza dei fattori in gioco
•E’ possibile stabilire l’importanza di ciascun fattore?
• Quale ipotesi influenza l’output del modello e quindi la decisione di più?
•E’ possibile quantiticare l’importanza di gruppi di ipotesi?
•L’applicazione dell’Analisi di Sensibilità permette di rispondere a queste domande
16
Analisi di Incertezza
E’ possibile avere una misura del livello di confidenza nei risultati del modello?
E’ possibile ripartire l’incertezza nei vari fattori?
Dove ci si dovrebbe focalizzare per ridurre il più possibile l’incertezza nei risultati?
L’applicazione di tecniche dell’Analisi di Sensibilità (globale) permette di rispondere a queste domande
17
Informazioni nell’analisi del rischio
•Come si distribuisce il rischio tra i fattori?
Quale ipotesi tenere sotto osservazione per ridurre il rischio?
E’ possibile trarre indicazioni dall’analisi di sensibilità in relazione all’analisi del rischio (anzi, l’origine è proprio quella…!)
18
Requisiti dei metodi di SA
La tecnica utilizzata dovrebbe essere: Quantitativa e indipendente dal modello Capace di evidenziare interazioni, ovvero
l’effetto di più variabili Evitare di escludere parametri rilevanti
19
Metodi di SA
20
Categorie di Metodi di SA Tecniche di SA locali
[Cheok et al (1998), Borgonovo and Apostolakis (2001), Borgonovo et al (2003)]
Screening Methods Morris (1991) and Kleijnen (2005)]
Non-Parametric Techniques [Saltelli and Marivoet (1990)]
Variance Based Techniques [Saltelli et al (1999), Sobol’ (1993), (2001),
(2003)] Moment Independent Global SA techniques
[Park and Ahn (1994), Chun et al (2000), Borgonovo (2005) and (2006)]
Un
cert
ain
ty
Nu
me
rica
l Co
nve
nie
nce
21
Analisi di Sensibilità Locale
X2
X1
Y=f(X1,X2)
Y0
x10
x20
22
Il Rationale delle tecniche di sensibilità locale
23
La misura di importanza differenziale
Sia f(x) differenziabile in x0 . Allora, si definisce importanza differenziale del parametro xi la quantità [Borgonovo and Apostolakis, 2001; Borgonovo and Peccati, 2004, and 2006]:
Di è la frazione del differenziale di f(x0) associate con xi.
0xdY
YdD i
i =
24
Proprietà
H1: Uniform Changes H2: Proportional Changes
n
1j
0j
0s0
s
)x(f
)x(f)x(D1
j,idxdx ij )ji(j,idx
dx
i
j
n
1j
0j
0j
0s
0s0
s
x)x(f
x)x(f)x(D2
)dx,x(D)dx,x(D 0m
1js
0s,...,s,s jm21
3) Generalizza Derivate Parziali ed Elasticità
1) Additività:
2) Somma ad 1: 1)dx,x(D)dx,x(D 0n
1js
0S j
25
Applicazioni
Misura di Importanza Differenziale
Inventory Models
Influence Diagrams
Investment Project
Evaluation
Food Safety Probabilistic Risk
Assessment
26
Applicazione all’analisi di investimento
Investire in un parcheggio
27
Project Contractual Structure
Operation &
Mantenance Contract
Merchant Sale
Engineering Procurement Construction
Contract
SPC
Insurance Contracts
Shareholder Agreement
Loan Agreement Pr
ice
Mar
ket
Ris
k
28
Large Projects Valuation: Criteria
Sponsor’s Side:
or
Lender’s Side
or
N
ii
e
ei
k
CFNPV
0 1
jj
jj PI
FCFDSCR
N
ii
e
ei
IRR
CF
0 10
Nj
N
jk
kdk
j D
kFCF
LLCR
)1(
29
Model Structure
InputsAuxiliary
Calculations Finstats
Results
30
Stima dei flussi di cassa
Revenues Net of Turnover Tax
LESS Opera ting Expenses
EBITDA
LESS Long-term loans interestSubdebt InterestsInterest IncomeEBTDA
LESS DepreciationEBT
LESS TaxesNet Profit
LESS DividendsEquals Retained Earnings
Legal Reserve
Income Statement
Revenues Net of Turnover Tax
LESS Operating Expenses
LESS TaxesOperating Cash Flows
Plus Trapped cash Previous yearCash Before Capex
LESS Capital ExpendituresPlus Equity InjectionsPlus Subdebt InjectionPlus Principal Injections
Cash Flows Available for interest paymentLess Debt Interests
Cash Flows Available for principal paymentLESS Princ ipa l Repayment
equals Cash Flows Ava ilab le for SD interest
LESS Shareholder Interests
Equals Cash Flows Available for SD Principal
LESS Shareholder PrincipalLESS IOEequals Cash flow available for dividends
DividendsEquals Trapped cash
Cash Flow Statement
Balance Sheet
AssetsCurrent AssetsCashInventoryRiceivableLong Term AssetsTotal AssetsLiabilitiesCurrent DebtEquityRetained EarningsLegal ReserveShareholder DebtDebtTotal Liabilities
Proiezione della vita economica del progetto Livello di dettaglio molto elevato per progetti
di ampio respiro
31
Determinazione dei Key-Drivers “Complex Non-linear models” (Van Groenendaal
(1998), Kleijnen and Van Groenendaal (1997), (2002)).
L’elevato numero di parametri in genere produce: Assenza della conoscenza di f(x) Problemi di computo (i.e., alti costi e tempi di
calcolo [Kleijnen and Van Groenendaal (2002)] ) Problemi nella comunicazione dei risultati
SA gioca ruolo cruciale nello svelare la dipendenza del Modello dai parametri
SA è quindi essenziale nello sfruttare l’informazione del modello
32
Metodologia Numero di parametri: 428 Categorie:
Entrate Costi di Costruzione Fiscali Finanziari Macroeconomici Spese Operative
Valuation Criteria: NPV e <DSCR> Tre livelli di raggruppamento
Level 3: parametri (428) Level 2: 17 grouppi Level 1: 6 grouppi
Confronto attraverso i Savage Score corr. Coeff.
33
Algoritmo di calcolo
Definizione Operativa:
Allora la successione:
tende a D per ogni successione xj tendente a 0. Per i=1,…,n, definendo:
Si usa il criterio di Cauchy per fermare l’algoritmo. Test: Notate che si ottiene una risposta automatica ad una
serie di “what if” questions
1j
n
1s0
js
0s
0j
i0i
ij n,...,1i,
RxδxR
RxδxRr:r
ji
ijij
i1j
i
0i
0i
ω
xxδ,
ωmω
cω
ε)ω(r)ω(rmax nmi
Rδ
Rδlim)dx,x(D s
0xδ
0s
34
Local Risk
Risk: “… potential variability of financial outcomes …” (White, Sondhi and Fried,1997) (=dV).
Thus, locally, the parameter that is
associated with the highest Ds is the one that causes the highest change in the valuation criterion (Borgonovo and Peccati (2006a).
35
Equity NPV, dalla parte degli investitori
36
Parameter ranking (Level 3)
Rank NPV Parameter
1 Nr. Of parking slots from 5 year on 1 Daily occupation days from 5 year on 3 Tariff for first two hours 3 Rotation number for the first 2 hours 5 Percentage of Occupation of the First 2 hours 6 ke 7 Tariff after the first two hours 7 Rotation number after the first 2 hours 9 VAT on Revenues
10 kd 11 Night Tariff Rotation Number Percentage of nightly occupation
14 Rooms construction costs 366 Geological Inspection Cost 367 Days payables for electricity connection costs
37
NPV: Level 1
0
0.2
0.4
0.6
0.8
1
1.2
1.4
1.6
Opex Constr.Costs
Infl Rev Ass Fisc. Financing
NPV: factors grouped into 6 main categories
38
NPV: Level 2, 17 categories
0%
10%
20%
30%
40%
50%
60%
Opex Parcheggi Autom Amm GiOcc Perc. Occ. mesiOccupaz Ass.Fiscali k
NPV: Importanza gruppi di ipotesi (Livello 2)
39
Riassunto sui risultati per l’NPV
1. I parametri relativi alle entrate sono i più importanti
2. ke gioca un ruolo importante
3. La leva finanziaria non è tra i 20 fattori più importanti
4. 60 Parametri non influenti
40
Debt Service Coverage Ratio: dalla parte della Banca
41
DSCR: Level 3
Rank DSCR Parameter 1 Nr. Of parking slots from 5 year on 1 Daily occupation days from 5 year on 3 Tariff for first two hours 3 Rotation number for the first 2 hours 3 Percentage of occupation for the first two hours after 5° year 6 kd 7 Rooms construction costs 8 Leverage 9 Tariff after first 2 hours 9 Rotation number after first two hours 9 Percentage of Occupation after 5 two hours from year 5 on
12 VAT on Revenues 13 Night Tariff 13 Number of Night Rotation 13 Percentage of Night Occupation after 5 year 368 Cost for workplace set up
42
DSCR: Level 1
0.00
0.20
0.40
0.60
0.80
1.00
1.20
1.40
1.60
Opex Constr.Costs
Infl Rev Ass Fisc. Financing
DSCR: Level 1
43
DSCR: Level 3
0%
10%
20%
30%
40%
50%
60%
Opex Aule Parch. Viab. V. Autom. Infl. Amm. Tariffe GiOcc Nrot Perc.Occ.
PostiDiSt mesiOcc PostMot Ass.Fisc. Ass.Fin/k k
DSCR Level 3
44
Riassunto sui risultati per l’NPV1. Parametri delle entrate sono i più importanti
2. Il costo del debito gioca un ruolo importante (simmetrico a kd)
3. La leva è significativa (8th)
4. Equity relevant parameters ke and retention ratio are non influential
5. Tasse impattano di più NPV che DSCR
45
Confronto incrociato
46
Parametri singoliRank NPV Parameter
Rank DSCR Parameter
1 Nr. Of parking slots from 5 year on 1 Nr. Of parking slots from 5 year on
1 Daily occupation days from 5 year on 1 Daily occupation days from 5 year on
3 Tariff for first two hours 3 Tariff for first two hours
3 Rotation number for the first 2 hours 3 Rotation number for the first 2 hours
5 Percentage of Occupation of the First 2 hours 3 Percentage of occupation for the first two hours after 5° year
6 ke 6 kd
7 Tariff after the first two hours 7 Rooms construction costs
7 Rotation number after the first 2 hours 8 Leverage
9 VAT on Revenues 9 Tariff after first 2 hours
10 kd 9 Rotation number after first two hours
11 Night Tariff 9 Percentage of Occupation after 5 two hours from year 5 on
Rotation Number 12 VAT on Revenues
Percentage of nightly occupation 13 Night Tariff
14 Rooms construction costs 13 Number of Night Rotation
366 Geological Inspection Cost 13 Percentage of Night Occupation after 5 year
367 Days payables for electricity connection costs 368 Cost for workplace set up
47
Analisi del RankingX <= 65.7
95.0%X <= -45.8
5.0%
0
0.5
1
1.5
2
2.5
-400 -350 -300 -250 -200 -150 -100 -50 0 50 100
Val
ues
x 10
^-2
Rank Correlation: 0.88
Savage Score Correlation:0.93
1) C’è un sostanziale accordo2) Key drivers tendono a coincidere3) Differenze rilevanti:
ke e kd che si invertonoleva
•30 parametri invariati di posizione•338 shifts.•Max Shift: -352 (ke)•Media: +9 positions.
48
Level 3
Financial Structuring
0
0.2
0.4
0.6
0.8
1
1.2
1.4
1.6
Opex Constr.Costs
Infl Rev Ass Fisc. Financing
NPV vs DSCR: Parameter Group Importance
NPV
DSCR
49
NPV vs DSCR, Level 2
0%
10%
20%
30%
40%
50%
60%O
PE
X
RO
OM
S
PA
RK
ING
GR
EE
N
AU
TO
M
INF
LAT
ION
AM
OR
TIZ
TA
RIF
F
DA
YS
RO
TA
TIO
NS
PE
RC
.OC
C
Nr
of P
LAC
ES
OC
C T
IME
Slo
ts fo
r bi
kes
FIS
CA
L
FIN
AN
CIA
L k
NPV vs DSCR importance of 17 categories
NPV
DSCR
50
Conclusioni
Introduzione alla SA (Misura di Importanza differenziale, Applicazione a modello Complesso)
Analisi di SA consente di sfruttare appieno lo sforzo (ed il costo) della costruzione del modello
51
Grazie!!
Domande?
Top Related