Master Seminar Mathematik - uni-due.deadf040p/files/Monte-Carlo-Integration.pdf · Master Seminar...
Transcript of Master Seminar Mathematik - uni-due.deadf040p/files/Monte-Carlo-Integration.pdf · Master Seminar...
Master Seminar MathematikMonte-Carlo IntegrationStephan Napierala ■ 06. Juli 2017
Inhaltsverzeichnis
1. Geschichtlicher Hintergrund
2. Stochastische Grundbegriffe
3. Monte-Carlo Integration
4. Vorteile gegenüber anderen Verfahren
5. Konvergenzbeschleunigung
06. Juli 2017 [email protected] Integration
12
Geschichtlicher Hintergrund
Geschichtlicher Hintergrund
Welchen Zusammenhang haben diese beiden Bilder?
Abbildung: Panoramablick von Monte-Carlo(Quelle: Moreh, 2015)
Abbildung: Explosion einer Atombombe (Quelle:www.pixabay.com 2015)
06. Juli 2017 [email protected] Integration
4
Geschichtlicher Hintergrund
In den 1940er Jahren gab es ein geheimes Projekt im Los Alamos Scientific Laboratory,welches zur Entwicklung der Atombombe führte
An diesem Projekt waren unter anderem Enrico Fermi, Stanislaw Ulam und John vonNeumann
Ein Ziel des Projekts war es Neutronenbewegungen vorhersagen zu können.
In Anlehnung an die Beziehungen von Ulams Onkel zur Spielbank von Monte Carlo, wurde derName Monte-Carlo Algorithmen verwendet. (vgl. Nahrstedt, 2015)
Die Erforschung der Algorithmen wurde mit der Entwicklung immer leistungsfähigererComputer weiter voran getrieben, da sie zur Durchführung der Algorithmen unerlässlich sind.
Unter Monte-Carlo Algorithmen versteht man heute den Einsatz von Zufallszahlen zur Lösungvon mathematischen Problemen (vgl. Neumann, 2012).
06. Juli 2017 [email protected] Integration
5
Stochastische Grundbegriffe
Zufallsvariable
Eine Zufallsvariable X ist eine Funktion, die jedem Ausgang eines Zufallsexperiments einennumerischen Wert zuordnet.
Diese Zufallsvariable kann entweder diskret (z.B. Würfelwurf) oder stetig (z.B. Körpergröße)sein.
X heißt gleichverteilt, wenn alle Ausgänge des Zufallsexperiments gleich wahrscheinlich sind.
Abbildung: Würfel und Casino Chips (Quelle: www.pixabay.com 2017)
06. Juli 2017 [email protected] Integration
7
Erwartungswert
Sei X eine Zufallsvariable. Dann ist der Erwartungswert von X:
E[X] =
∑
i pi · Xi im diskreten Fall,∫∞−∞ f(x) · x dx im stetigen Fall
Analog lässt sich der Erwartungswert für eine Funktion g(x) formulieren als:
E[g(x)] =
∑
i pi · g(Xi) im diskreten Fall,∫∞−∞ f(x) · g(x) dx im stetigen Fall
Zudem gelten folgende Rechenregeln
E[X1 + ...+ Xn] = E[X1] + ...+ E[Xn]
E[aX] = a · E[X], für a ∈ R
06. Juli 2017 [email protected] Integration
8
Varianz
Die Varianz einer Zufallsvariablen X gibt die Streuung der Werte von X um denErwartungswert E[X] an.
Sie ist definiert als: σ2[X] = Var[X] = E[(X − E[X])2]
σ[X] heißt Standardabweichung von X. Sie ist auch ein Maß der Streuung um denErwartungswert, hat jedoch die gleiche Dimension wie die Zufallsvariable im Gegensatz zurVarianz.
Auch hier gelten folgende Rechenregeln
σ2[X1 + ...+ Xn] = σ2[X1] + ...+ σ2[Xn], wenn X1 + ...+ Xn unabhängig sind.
⇒ σ2[X1 + X2] = σ2[X1] + σ2[X2] + 2 · Cov[X1,X2], Spezialfall für zwei Zufallsvariablen
σ2[aX] = a2 · σ2[X], für a ∈ R
06. Juli 2017 [email protected] Integration
9
Monte-Carlo Integration
Monte-Carlo Integration
Zugrundeliegende Idee:
Das Integral einer Funktion f(x) im Intervall [a, b] kann als arithmetisches Mittel oderErwartungswert der Funktion f an zufälligen Stellen x formuliert werden als:
I[f] = Fba = E[f(x)] =
∫ b
af(x) · 1
b − adx
wenn X eine gleich verteilte Zufallsvariable ist.
Seien x1, ..., xn Zufallszahlen von X in [a, b], dann ist
IN[f] = (b − a) · 1
N
N∑n=1
f(xn) ≈ E[f(x)] = I[f]
eine Approximation des Erwartungswerts von f.
06. Juli 2017 [email protected] Integration
11
Monte-Carlo Integration
Formel für die Monte-Carlo Integration:
IN[f] = (b − a) · 1
N
N∑n=1
f(xn) ≈ E[f(x)] = I[f]
Abbildung: Visualisierung der Monte-Carlo Integration (Quelle: Scratchapixel, 2015)
06. Juli 2017 [email protected] Integration
12
Beweis der Monte-Carlo Integration
Warum gilt die angegebene Formel zur Monte-Carlo Integration, also IN[f] ≈ I[f]?
Für den Erwartungswert gilt:
E[IN[f]] = ...
= ...
= I[f]
und dann gilt mit dem starken Gesetzder großen Zahlen:
P( limN→∞
IN[f] = E[f(x)] = I[f]) = 1
was insgesamt dazu führt, dass gilt:
limN→∞
IN[f] −→ I[f]
06. Juli 2017 [email protected] Integration
13
Fehler der Monte-Carlo Integration
Wie schnell nähert sich diese Approximation dem richtigen Wert an?
Der absolute Fehler lässt sich definieren als: ϵN[f] = I[f]− IN[f]
Betrachte den MSE (mean-square error): E[ϵ2N]!= σ2[IN[f]]
Untersuche die Varianz derApproximation genauer:
σ2[IN[f]] = ...
= ...
=(b − a)2
N· σ2 [f(x)]
und anschließend den RMSE(root-mean-square error):
√E[ϵ2N] =
√σ2[IN[f]]
= σ[IN[f]]
=(b − a)√
N· σ [f(x)]
06. Juli 2017 [email protected] Integration
14
Fehler der Monte-Carlo Integration
Wie schnell nähert sich diese Approximation dem richtigen Wert an?
Somit hängt der Fehler nur von N und zwei Konstanten (zum einen der Standardabweichung)des Problems ab.
Der Fehler hat somit die Komplexität:
O((b − a)√
Nσf
)= O
(σf√N
)= O
(1
√N
)
Das bedeutet, dass vier mal so viele Zufallszahlen benötigt werden, um den Fehler zuhalbieren.
⇒ Das ist nicht gut! ABER...
06. Juli 2017 [email protected] Integration
15
Vorteile gegenüber anderen Verfahren
Vorteile gegenüber anderen Verfahren
Das Verfahren ist robust.
Die Konvergenz des Verfahrens ist mit O(
1√N
)= O
(N− 1
2
)nicht gut, aber hängt nicht von
der Dimension des Problems ab!Bei Verfahren, die mit festen Gittern arbeiten, beträgt die Komplexität O
(N− k
d)
. k ist dabei die
Ordnung der Methode (Trapez-Regel ∧= 1; Simpson-Regel ∧
= 3) und d ist die Dimension.⇒ Zudem ist es kaum möglich in höheren Dimensionen ein Gitter zu verwenden, da es zunächst 2d
Punkte benötigt. Wird es gleichmäßig verfeinert, so wird es um den Faktor 2d vergrößert.
⇒ Monte-Carlo Integration ist demnach effizienter als Verfahren mit Gittern, wenn kd < 1
2gilt.
Die Methode ist einfach zu implementieren und vielseitig anwendbar.
06. Juli 2017 [email protected] Integration
17
Konvergenzbeschleunigung
Konvergenzbeschleunigung
Wie kann die Konvergenz der Monte-Carlo Integration beschleunigt werden?
1. Quasi-Monte-Carlo Integration
2. VarianzreduktionControl Variates („Kontrolliere die Zufallsvariablen“)Antithetic Variables („gegensätzliche Variablen“)
06. Juli 2017 [email protected] Integration
19
Varianzreduktion durch Control Variates
Zugrundeliegende Idee:
Benutze eine Funktion g, die ähnlich zu f ist
g kann jedoch exakt integriert werden, d.h. I[g] =∫ b
a g(x)dx
Dann kann man schreiben:
∫ b
af(x)dx =
∫ b
a(f(x)− g(x))dx +
∫ b
ag(x)dx (1)
und bekommt für den entstehenden Fehler:
ϵN[f(x)] ≈(b − a)√
Nσf−g <
(b − a)√
Nσf, wenn σf−g ≪ σf
06. Juli 2017 [email protected] Integration
20
Varianzreduktion durch Control Variates
1. Möglichkeit, damit σf−g ≪ σf gilt:
Mit Kenntnis über f kann g so gewählt werden, dass sie sich sehr ähnlich sind.
Dann kann auf Gleichung (1) die Monte-Carlo Integration angewendet werden:
IN[f] = (b − a) 1N
N∑n=1
(f(xn)− g(xn)) + I[g]
Da f und g ähnlich, ist h := f − g nahezu konstant
und es gilt σ2[h] = 0, wenn h konstant
⇒ σf−g ≪ σf, wenn g ähnlich zu f gewählt wurde
06. Juli 2017 [email protected] Integration
21
Varianzreduktion durch Control Variates
2. Möglichkeit, (Kenntnis über die Größe des Fehlers):
Wende die Monte-Carlo Integration auf Gleichung (1) an und forme so um:
IN[f] = (b − a) 1N
( N∑n=1
f(xn)−N∑
n=1
g(xn)
)+ I[g]
= IN[f] + I[g]− IN[g]
Identifiziere die Größe des Fehler der Monte-Carlo Integration am bekannten Integral derFunktion g
Da f und g ähnlich sind, ist mit der gleichen Größe des Fehlers im Integral von f zu rechnen,sodass dieser mit beachtet bzw. sogar entfernt werden kann
⇒ Das Verfahren wird somit schneller!
06. Juli 2017 [email protected] Integration
22
Varianzreduktion durch Antithetic Variables
Zugrundeliegende Idee:
Nimm für alle erzeugten Zufallszahlen xi auch −xi und werte die Funktion f dort aus.
Dies führt zur Formel:
IN[f] = (b − a) 1
2N
N∑n=1
(f(xn) + f(−xn))
So wird die Anzahl der zu generierenden Zufallszahlen halbiert.
Zudem wird die Varianz verringert, da...
06. Juli 2017 [email protected] Integration
23
Varianzreduktion durch Antithetic Variables
Seien X1 = x1, ..., xn und X2 = −x1, ...,−xn zwei Zufallsvariablen, die I[f] approximieren.
Dann sind X1,X2 negativ korreliert und besitzen die gleiche Varianz.
Dann stellt IN[f] = IN[X1]+IN[X2]2
eine Approximation von I[f] dar.
Für die Varianz zweier Zufallsvariablen gilt:
σ2[X1 + X2] = σ2[X1] + σ2[X2] + 2 · Cov[X1,X2]
Da X1,X2 negativ korreliert sind, ist Cov[X1,X2] negativ
⇒ Das Verfahren wird somit schneller!
06. Juli 2017 [email protected] Integration
24
Beispiel der Varianzreduktion
Als Beispiel soll das drei-dimensionale Gauß-Integral berechnet werden:
I[u] = (2π)−32
∫ ∞
−∞
∫ ∞
−∞
∫ ∞
−∞ue−
(x21+x22+x23)
2 dx1dx2dx3
mit dem Integranden u:
u = (1 + r0)−1(1 + r1)−1(1 + r2)−1(1 + r3)−1
r1 = r0eσx1−σ2
2
r2 = r1eσx2−σ2
2
r3 = r2eσx3−σ2
2
Dieses Integral kann so interpretiert werden, dass 1 Euro über vier Jahre mit einem Zinssatz ri
im Jahr i verzinst wird.
06. Juli 2017 [email protected] Integration
25
Beispiel der Varianzreduktion
Abbildung: Monte-Carlo Integration: Ergebnis aus 20 Testdurchläufen für jedes N (vgl. Caflisch, 1998)
06. Juli 2017 [email protected] Integration
26
Beispiel der Varianzreduktion
Abbildung: Quasi-Monte-Carlo Integration: Ergebnis aus 20 Testdurchläufen für jedes N (vgl. Caflisch, 1998)
06. Juli 2017 [email protected] Integration
27
Literaturverzeichnis II
Caflisch, Russel E. (1998). „Monte Carlo and quasi-Monte Carlo methods“. In: Acta Numerica 7,S. 1–49.
Moreh, Jack (2015). www.stockvault.net. url:http://www.stockvault.net/photo/172351/panoramic-view-of-monte-carlo-in-monaco
(besucht am 12. 06. 2017).Nahrstedt, Harald (2015). Die Monte-Carlo-Methode: Beispiele unter Excel VBA. Springer-Verlag.Neumann, Martin (2012). „Computational Physics I: Grundlagen“. lecture note. Wien: Institut für
Experimentalphysik der Universität Wien.Scratchapixel (2015). www.scratchapixel.com. url:
https://www.scratchapixel.com/lessons/mathematics-physics-for-computer-
graphics/monte-carlo-methods-in-practice/monte-carlo-integration (besucht am12. 06. 2017).
06. Juli 2017 [email protected] Integration
29
Literaturverzeichnis IIII
www.pixabay.com (2015). url:https://pixabay.com/de/atombombe-atompilz-explosion-1011738/ (besucht am12. 06. 2017).
www.pixabay.com (2017). url:https://pixabay.com/de/w%C3%BCrfel-gl%C3%BCcksspiel-gl%C3%BCck-spielen-2038343/
(besucht am 12. 06. 2017).
06. Juli 2017 [email protected] Integration
30