Ratingverfahren und Bayessche Statistiklemm/vorl_WS07/Folien_WS07_08... · Ratingverfahren...

RatingverfahrenBayessche Statistik

Ratingverfahren und Bayessche Statistik

Jorg LemmVorlesung Finanzmathematik

WS 2007/08

Universitat Munster25.10.2007, 8.11.2007, 15.11.2007, 22.11.2007, 29.11.2007

Jorg Lemm Vorlesung Finanzmathematik WS 2007/08 Ratingverfahren und Bayessche Statistik


Vorbemerkung

Banken sind durch die Bankenaufsicht angehalten ihre Risiken zuquantifizieren, um den erwarteten Verlust entsprechend (in Formvon Wertberichtigungen) berucksichtigen zu konnen und um einenzusatzlichen Risikopuffer (in Form von aufsichtlich erforderlichemMindesteigenkapital) vorzuhalten. Zudem ist es fur Bankenwesentlich Risiken angemessen zu bepreisen.Die wichtigsten Risikokomponenten sind dabei

1. das Kreditrisiko (Risiko, dass ein Kunde einen Kredit nichtzuruckzahlt) und

2. das Marktrisiko (Risiko resultierend ausMarktpreisschwankungen).

Im Folgendem werden wir uns speziell mit Ratingverfahrenbeschaftigen. Diese sind die Grundlage fur eine Quantifizierung desKreditrisikos.



Erwarteter Verlust (expected loss, EL)

Die Berechnung des innerhalb eines Jahres durch einen moglichen Ausfalleines Kunden erwarteten Verlusts erfordert die Kenntnis der:

1. der Wahrscheinlichkeit eines Ausfalls des Kunden im nachsten Jahr(probability of default, PD),

2. der erwarteten Hohe der Forderung bei Ausfall innerhalb desnachsten Jahres ([expected] exposure at default, EAD),

3. der erwartete Verlustquote bei Ausfall ([expected] loss given default,LGD).

Hierbei wird die Ausfallwahrscheinlichkeit des Kunden durch dieAnwendung eines Ratingverfahrens bestimmt, welches beispielsweise mitHilfe einer (parametrischen oder auch nichtparametrischen) logistischenRegression entwickelt worden ist. Die Schatzung des EAD und LGD kannebenfalls durch Regressionsmodelle erfolgen, diese sind aber abhangig vonden Eigenheiten des Geschafts bzw. der Kreditsicherheiten.



Exposure at Default (EAD)

Das Exposure at Default (EAD) ist die (bilanzielle undaußerbilanzielle) Inanspruchnahme eines Kunden bei Ausfallinnerhalb eines Jahres, zu schatzen aus dem Ziehungsverhalten vonin der Vergangenheit ausgefallenen Kunden:1

Konto 1

Ruckzahlung nach Ausfall

Konto 2Uberziehung

Erhohung nach Ausfall

r

Inanspruchnahme

Limit

0Ausfall

Zeit

1Typische Probleme der EAD-Schatzung sind z.B. die Bestimmung von außerbilanziellen Inanspruchnahmen

die zum Ausfallzeitpunkt noch nicht feststehen, resultierend z.B. aus Garantieverpflichtungen, die die Bank fur denKunden ubernommen hat, die Umschichtungen zwischen verschiedenen Konten eines Kunden oder zwischenwirtschaftlich abhangigen Kunden, die eine Zusammenfassen von Einzelkonten erforderlich machen, oder dieZuordnung von nachtraglich genehmigten Krediterhohungen zum Zwecke der Sanierung.



Loss given Default (LGD)

Positionswertbei AusfallEAD

Erlose ausSicherheitenC

BlankoanteilEAD - C

Erlose ausBlankoanteil

Forderungs–verlust

Abwicklungs–kosten

Gesamt–verlustEAD · LGD

Der erwartete Verlustquote wird aus den tatsachlichenVerlustquoten der Vergangenheit unter Berucksichtung der Erloseaus Sicherheiten geschatzt.



Rating

Ratingverfahren versuchen, die Wahrscheinlichkeit dafur zuschatzen, dass ein Kreditnehmer seinen zukunftigenRuckzahlungsverpflichtungen nicht vertragsgemaß nachkommenkann. Kennzeichnen wir solch einen Ausfall (Default) durch dieIndikatorvariable

yi =

{0 = kein Ausfall des Kreditnehmers i

1 = Ausfall des Kreditnehmers i, (1)

so interessiert uns die Schatzung der Ausfallwahrscheinlichkeitp(yi |xi ) von Kunde i gegeben die Informationen xi die beiVertragsabschluss uber ihn vorliegen. Bei diesen Informationenkann es sich z.B. um die Bilanzkennzahlen des Kunden handeln.Als Zeithorizont wird beim Kreditrisiko typischerweise 1 Jahrverwendet, d.h. p(yi |xi ) steht fur die Wahrscheinlichkeit, dass derKreditnehmer i innerhalb eines Jahres ausfallt.



Ausfallwahrscheinlichkeit

Die Ereignisse, die eine Bank als Ausfall eines Kunden zu wertenhat, sind in der Solvabilitatsverordnung (SolvV) vom 14.12.2006 in§125 erlautert. Dabei gilt ein Kunde i.W. dann als ausgefallen,wenn er mit einer Zahlung uber 90 Tage in Verzug gerat, bzw. furihn eine Einzelwertberichtigung oder Ruckstellung gebildet wordenist, d.h. die Bank begrundet einen Verlust erwartet (der dannjedoch nicht in jedem Fall auch tatsachlich eintreten muss).Schreiben wir fur die Ausfallwahrscheinlichkeit des Kunden i kurzp(yi = 1|xi ) = pi , und damit fur die Uberlebenswahrscheinlichkeitp(yi = 0|xi ) = 1 − pi , so erhalten wir, wegen y ∈ {0, 1},

p(yi |xi ) = pyi

i (1−pi )1−yi =

{pi wenn yi=1 (Ausfall)

1 − pi wenn yi=0 (kein Ausfall).

(2)



Ausgangsdaten

Die Ausgangsdaten oder Trainingsstichprobe zur Konstruktioneines Ratingverfahrens bestehen aus einer reprasentativenStichprobe von n vergangenen Fallen mit bekanntem Wert desAusfallindikators yi (abhangige Variable), getrennt in Gutfalle mityi = 0 und Schlechtfalle mit yi = 1, sowie den dazugehorigenAuspragungsvektoren xi , die fur jeden von n Kreditnehmern i dieAuspragungen xij der m sog. unabhangigen Variablen x·j enthalten,z.B. Bilanzkennzahlen oder auch einen Branchenschlussel:

Fall Ausfall Kennzahlen 1 bis m

i yi xi1 xi2 · · · xim

1 0 17,5 0,2 · · · 72 0 2,2 0,6 · · · 23 1 35,0 0,1 · · · 15...

......

......

...



Modellauswahl mit der Maximum–Likelihood–Methode

Wir suchen nun ein Modell, welches die Ausfallwahrscheinlichkeitenpi (xi ) in Abhangigkeit von uns bekannten Großen xi moglichst gutschatzen soll. Dazu wahlen wir eine Parametrisierung derAusfallwahrscheinlichkeit

p(yi = 1|xi ) = pi (xi ) → p(yi = 1|xi , a) = pi (xi , a), a ∈ A (3)

und suchen dann denjenigen Parametervektor a∗ ∈ A zurVorhersage von pi , der eine vorzugebende Zielfunktion optimiert.Als Zielfunktion wahlen wir die sogenannte Likelihoodfunktion, dasist die Wahrscheinlichkeit der gegebenen Daten (x , y) inAbhangigkeit von dem Parametervektor, welcher das Modellreprasentiert,

L(a) = p(y |x , a) = p(y1, · · · , yn|x1, · · · , xn, a), also (4)

a∗ = argmaxa∈A L(a) = argmaxa∈A p(y |x , a). (5)



Faktorisieren der Likelihood

Die Likelihoodfunktion (4) ist ein viel zu hochdimensionalesObjekt, um in dieser allgemeinen Form damit arbeiten zu konnen.Nutzen wir die allgemeine Regel

p(A, B) = p(A)p(B|A), (6)

so sehen wir, dass

p(y |x , a) = p(y1, · · · , yn|x1, · · · , xn, a)

= p(y1|x , a)p(y2, · · · , yn|y1, x , a) (7)

= p(y1|x , a)p(y2|y1, x , a)p(y3|y1, y2, x , a) · · ·

× · · · p(yn|y1, · · · , yn−1, x , a).

Wir versuchen nun diese Faktoren der Likelihood zu vereinfachen.



Annahmen zur Vereinfachung der Likelihood

Dazu nehmen als erstes an, dass der Datenvektor xi alle fur yi

relevanten Informationen aus x enthalt, also

p(yi |x , a) = p(yi |xi , a). (8)

Dies ist eigentlich eine reine Konvention, denn xi und xj konnendabei auch fur i 6= j gemeinsame Komponenten enthalten, z.B.konnen zwei verschiedenen Kunden aus derselben Branche oderdemselben Land stammen. Im Extremfall enthalt xi ganz x .Zweitens nehmen wir an, dass die Ausfallwahrscheinlichkeiten,gegeben alle verfugbaren Daten x , faktorisieren, d.h. dass

p(yi |{yj , j 6= i}, x , a) = p(yi |xi , a). (9)

Dies nennt man bedingte Unabhangigkeit der y gegeben x und istin der Realitat sicher nur eine Naherung. Ein Abhangigkeit derAusfalle y wird in diesen Fallen nur uber die Faktoren x vermittelt.



Bemerkung zur bedingten Abhangigkeit

Die Voraussetzung 9 der bedingten Unabhangigkeit ist in der Praxis fur die Ausfallprognose nicht erfullt, ja sie

steht gewissermaßen sogar im Widerspruch zu den Portfoliomodellen, bei denen gerade die verbleibende

Abhangigkeit der Ausfalle modelliert wird. Dies liegt u.a. daran, dass die xi aktuell bekannte Daten uber den

Kreditnehmer reprasentieren, die yi aber die Ausfallwahrscheinlichkeit innerhalb des nachsten Jahres darstellen. In

der Zeit zwischen Ratingerstellung und Ausfall kann es durchaus gemeinsame Faktoren geben, die die Bonitat

zweier Kunden beeinflussen. Dies kann z.B. eine zum Zeitpunkt der Ratingerstellung noch nicht bekannte

Konjunkturentwicklung sein, die die Bonitat mehrerer Unternehmen beeinflusst, oder auch eine direkte

Abhangigkeit, wie zwischen Mutterkonzern und Tochterunternehmen. Im letzteren Fall wird man beide

Unternehmen als eine Ratingeinheit zusammenfassen. Die bedingte Unabhangigkeit ist aber keine notwendige

Voraussetzung, und solange wir nur an den Ausfallwahrscheinlichkeiten der einzelnen Kunden und nicht an

Mehrkundengroßen, wie Paarausfallwahrscheinlichkeiten, interessiert sind, kann auch die Produktlikelihood, und

damit auch die gleichgewichtete Summe der einzelnen Loglikelihoods, maximiert werden.



Loglikelihood

Da die Logarithmus-Funktion streng monoton steigend ist, liefertdas Maximieren der Likelihood das gleiche Ergebnis a∗ wie dasMaximieren der Loglikelihood. Dies ist gunstig, da bei demUbergang von Likelihood zur Loglikelihood aus einem Produkt eineoft einfacher zu handhabende Summe wird

ln L(a) = ln p(y |x , a) (10)

=n∑

i=1

ln p(yi |xi , a)

=n∑

i=1

[yi ln pi + (1 − yi ) ln (1 − pi )] .



Ausfallwahrscheinlichkeit in”Energiedarstellung“

Wahrscheinlichkeiten mussen positiv und normiert sein, d.h. in demZweizustandsfall (Ausfall, Nichtausfall) muss gelten 0 ≤ pi ≤ 1.Um diese Nebenbedingungen bei einer Parametrisierung derAusfallwahrscheinlichkeiten automatisch einzuhalten, ist dieDarstellung der Wahrscheinlichkeiten in der aus der statistischenPhysik bekannten

”Energiedarstellung“ nutzlich

p(yi = 1|xi , a) = pi =e−E(yi=1|xi ,a)

Zi (xi , a)=

e−E1(xi )

Zi

,

p(yi = 0|xi , a) = 1 − pi =e−E(yi=0|xi ,a)

Zi (xi , a)=

e−E0(xi )

Zi

. (11)

wobei sich die”Zustandssumme“ Zi aus der Normierung ergibt

1 = p(yi = 1|xi ) + p(yi = 0|xi ) ⇒ Zi = e−E0(xi ) + e−E1(xi ). (12)



Ausfall– und Uberlebenswahrscheinlichkeit

Fur diesen Zweizustandsfall erhalt man also

pi (xi ) =e−E1(xi )

e−E0(xi ) + e−E1(xi )=

1

1 + e−E0(xi )+E1(xi )

=1

1 + e−∆i=

e∆i

1 + e∆i(13)

und fur die Uberlebenswahrscheinlichkeit

1 − pi (xi ) =e−E0(xi )

e−E0(xi ) + e−E1(xi )=

1

1 + eE0(xi )−E1(xi )

=1

1 + e∆i=

e−∆i

1 + e−∆i. (14)



Logit

Gl. (13) und (14) zusammenfassend konnen wir schreiben,

p(yi |xi , a) = pyi

i (1 − pi )1−y−i =

eyi∆i

1 + e∆i. (15)

Die in (13, 14, 15) vorkommende”Energiedifferenzen“

∆i (xi , a) = E0(xi , a) − E1(xi , a) = lnpi (xi , a)

1 − pi (xi , a)(16)

sind als Logits bekannt (oder, als Logarithmus der Verhaltnissepi

1−pi, den so genannten

”Odds“, auch als Log–Odds). Diese ∆i

konnen nun vollkommen frei parametrisiert werden, d.h. ohne dassdie Bedingungen der Positivitat und Normierung fur pi explizitbeachtet werden mussen, denn diese sind aufgrund ihrer Definitionzwangslaufig erfullt.



Likelihood in”Energiedarstellung“

Die Likelihood wird mit (15)

L(a) = p(y |x , a) =∏

i

p(yi |xi , a) =∏

i

eyi∆i

1 + e∆i(17)

und damit also die Loglikelihood

ln L(a) =∑

i

ln p(yi |xi , a) =∑

i

[yi ln pi + (1 − yi ) ln(1 − pi )]

=∑

i

[

yi∆i − ln(

1 + e∆i

)]

. (18)

Schreiben wir L(a) = p(y |x , a) = e−E(y|x,a)

Z(x ,a) konnen wir darin

−∑

i yi∆i als”Likelihoodenergie“ E (y |x , a) und

∏

i

(1 + e∆i

)als

”Likelihoodzustandssumme“ Z (x , a) bezeichnen.



Logistische Regression

Die Ausfallwahrscheinlichkeiten pi werden also bei der logistischenRegression nicht direkt, sondern indirekt uber deren Logits ∆i

parametrisiert. Wahlen wir eine lineare Parametrisierung

∆i (a) = a0 + a1xi1 + · · · + amxim =m∑

j=0

ajxij (19)

worin die m + 1 Parameter aj , 0 ≤ j ≤ m, den Parametervektor a

bilden und wir zur Vereinfachung der Schreibweise xi0 = 1 ∀i

vereinbart haben, so erhalten wir fur die vom Parametervektor a

abhangige Ausfallwahrscheinlichkeit

pi (a) = p(yi = 1|xi , a) =1

1 + e−∑m

j=0 ajxij. (20)



Die Ausfallwahrscheinlichkeit der logistischen Regression

Die Ausfallwahrscheinlichkeit hat als Funktion des Logit einesigmoide Form. Eine eindimensionale logistische Regression mitden beiden Parametern a0 und a1

p(x) = p(y =1|x , a0, a1) =1

1 + e−(a0+a1x), (21)

zeigt folgende Abhangigkeit von (dem eindimensionalen) x

p(x) = 1

p(x) = 0.5

p(x) = 0-5 -1 0 5

x

a0 = 0, a1 = 1

a0 = 1, a1 = 1

a0 = 0, a1 = 2



Die allgemeine Stationaritatsbedingung

Wir maximieren die Likelihood indem wir die Stationaritatsstellender Loglikelihood bestimmen, d.h. wir setzen deren Ableitung nachden einzelnen Komponenten aj des Parametervektors a gleich Null

0 =∂

∂aj

ln p(y |x , a) =n∑

i=1

yi∂∆i

∂aj

−e∆i

1 + e∆i

︸︷︷︸

pi

∂∆i

∂aj

,

=n∑

i=1

(yi − pi (a))∂∆i (a)

∂aj

. (22)

Losen von (22) liefert den optimalen Parametervektor a∗. Da pi

von a abhangt, ist die Stationaritatsgleichung nichtlinear, so dassevtl. mehrere Losungen existieren konnen, wovon dann diemaximale die gesuchte ist.



Die Stationaritatsgleichung der logistischen Regression

Setzen wir nun den linearen Ansatz (19) fur die Logits, also inMatrixschreibweise

∆ = Xa, Xij = xij (23)

in die Stationaritatsbedingung (22) ein, so erhalten wir wegen

∂∆

∂a= X (24)

die Stationaritatsgleichung

0 = XT (y − p), (25)

bzw. in Komponenten

0 =n∑

i=1

(yi − pi (a)) xij . (26)



Modellerweiterungen

Ein logistisches Regressionsmodell kann unter Beibehaltung deslinearen Ansatzes fur die Logitfunktion erweitert werden, indem dieZahl m der Eingangsvariablen vergroßert wird. Neben den m

Variablenwerten xi1 bis xim fur Fall i konnen dabei auch Potenzen,Produkte und beliebige andere nichtlineare Funktionen der xij

verwendet werden, wie z.B.

∆i = a0 + a1 xi1 + a2 x2i1 + a3 xi1xi2 + a4 ln xi1 + · · · . (27)

Auch diskrete Klassenvariablen cij (z.B. fur Lander oder Branchen)konnen verwendet werden. Eine Klasse mit K verschiedenenAuspragungen k = 1, · · ·K kann dabei auf verschiedene Artendurch K − 1 Dummyvariablen reprasentiert werden, z.B. in derReferenzgruppenkodierung (bzgl. der Gruppe k = K ) durchxi ,jk = 1 wenn cij = k und 0 sonst fur 1 ≤ k ≤ K − 1.



Nichtlineare Variablentransformationen

Bezuglich der Variablen xi , die linear im Logit ∆i auftauchen, kanndie logistische Regression nur monotone Zusammenhange abbilden.Wenn z.B. die Eigenkapitalquote nur linear im Logit auftaucht,dann kann die Ausfallwahrscheinlichkeit mit wachsenderEigenkapitalquote entweder nur fallen oder nur steigen, nichtjedoch oszillieren.Um nichtmonotone Zusammenhange abzubilden, muss diebetreffende Variable daher nichtlinear in den Logit einfließen.Beispielweise wird manchmal ein U-formiger Zusammenhangzwischen Wachstumsrate und PD gesehen d.h. sowohl zu kleineswie auch zu großes Wachstum ist bonitatsverringernd. Bei solcheinem U-formigen Zusammenhang kann z.B. neben xi einzusatzlicher x2

i –Term im Logit verwendet werden.



Klassen– und Dummy–Variablen

Klassenzugehorigkeiten, konnen auf verschiedene Weise durch sogenannte Dummyvariablen implementiert werden.Wollen wir beispielsweise Firmen nach ihrem Sitzland (z.B. EU vs.US vs. Sonstige) in dem Rating explizit unterscheiden, so konnenwir dies durch zwei Dummyvariablen, die, z.B. in derReferenzgruppenkodierung wie folgt gewahlt werden

Gruppe xi ,EU xi ,US

EU 1 0

US 0 1

Sonst. 0 0

Eine logistische Regression mit

∆i = a0 + a1xi ,EU + a2xi ,US (28)

liefert dann je Landergruppe eine eigene Ausfallwahrscheinlichkeit.Jorg Lemm Vorlesung Finanzmathematik WS 2007/08 Ratingverfahren und Bayessche Statistik


Wechselwirkungen

Hangt ein Term im Logit nichtlinear von mehreren Variablen ab,wie z.B.

∆i = a0 + a1xi2xi2 + · · · (29)

so modifizieren diese sich in ihrer Wirkung gegenseitig, d.h. siewechselwirken.Wollen wir zum Beispiel die Rolle der Eigenkapitalquote xi ,EQ inAbhangigkeit von dem Land (z.B. EU,US,Sonstige), der Branche(z.B. Einzelhandel, Industrie, Sonstiges) oder derRechnungslegungsvorschriften (z.B. IFRS, US–GAAP, HGB)differenzieren, so konnen wir das durch Aufnahme eines Produktesaus der entsprechenden Dummy–Variable und derEigenkapitalquote als Term im Logit erreichen, also z.B.

∆i = a0 + a1xi ,EQ + a2xi ,USxi ,EQ. (30)



Verhaltnisskennzahlen

Eine besondere Form der Wechselwirkung ist die Verhaltnisbildungx ′i = xi1

xi2. Diese dient in erster Linie dazu dimensionslose Kennzahlen zu

erhalten. So haben zum Beispiel eine Eigenkapitalquote EQ, gleichEigenkapital EK in Euro durch Bilanzsumme BS in Euro, von z.B. 10%fur eine große und eine kleine Firmen vielleicht einen ahnlichen Effekt aufdie Bonitat, die Angabe eines Eigenkapitals von 1 Mio. Euro ist dagegenohne Bezug zur Firmengroße wohl kaum nutzlich. Wenn z.B. großereUnternehmen im Mittel geringere Ausfallwahrscheinlichkeiten haben,konnen neben solchen dimensionslosen Verhaltniskennzahlen auch nochGroßenindikatoren mit in das Modell aufgenommen werden, wie dieBilanzsumme oder, oft besser, deren Logarithmus.

Bei Verwendung von Verhaltnissen muss fur kleine Nenner auch eine

Regularisierungsvorschrift implementiert werden, wie z.B.

x ′i = xi1

sign(xi2) max(|xi2|,ǫ)mit einem kleinen ǫ > 0. Zudem sollte fur alle vier

Vorzeichenkombinationen von Nenner und Zahler uberpruft werden, ob

diese jeweils zulassig sind und mit welchem relativen Vorzeichen

zueinander diese eingehen sollen.Jorg Lemm Vorlesung Finanzmathematik WS 2007/08 Ratingverfahren und Bayessche Statistik


Parametrisierte Transformationen

Um eine optimale Variablentransformation zu erhalten, konnenallgemein parametrisierte Transformationen f (xi , b) verwendetwerden, wobei die Parameter auch durch Maximieren derLikelihood bestimmt werden konnen. Die Stationaritatsgleichungerhalt dadurch zusatzliche, i.a. nichtlineare Faktoren.So kann auch aus mehreren Variablen xi eine Variable x ′

i abgeleitetwerden, die dann linear in den Logit eingeht, z.B. auch wieder miteiner logistischen Regression

x ′i =

1

1 + eb0+b1xi1+b2xi2···, pi =

1

1 + ea0+a1x′i+···

. (31)

Solch eine iterierte logistische Regression ist auch bekannt alsneuronales Netz. Wie wir noch sehen werden, fuhrt jedoch eine zugroße Flexibilitat zu einem Verlust an Vorhersagekraft des Models.



Qualitative Daten

Beispiel:Einschatzung der Qualitat des Managements der Kreditnehmerfirmadurch den Firmenkundenbetreuer auf einer Skala von 1 bis 6.Vorteil:Komplexe Sachverhalte konnen durch Experten quantifiziert werden.Nachteile:Nachtraglich erhobene,

”weiche“ qualitative Daten suggerieren leicht eine

zu hohe Qualitat des Ratings, da nach Kenntnis des Ausfalls einesUnternehmen diesem auch schon fur die Zeit vorher eher schlechterequalitative Noten geben werden. Das Wissen um den spateren Ausfall istdann in den nachtraglich erhobenen Daten schon enthalten.

Zudem muss eine ordinale Einschatzung, bei der nur großer und kleiner

eine Bedeutung hat, entweder als Intervallskala verwendet werden, bei der

z.B. die Differenz zwischen 1 und 3 als doppelt so groß interpretiert wird

wie die zwischen 1 und 2, oder sie muss wie eine reine Gruppeneinteilung

implementiert werden, so dass die ordinale Information, also z.B. 1 ist

besser als 2, verloren geht.Jorg Lemm Vorlesung Finanzmathematik WS 2007/08 Ratingverfahren und Bayessche Statistik


Overfitting

Bei hinreichend passender Modellwahl (Prior) lassen sich fur eineTrainingsmenge optimierte Modelle auch zur Vorhersage neuerFalle verwenden, werden die Modelle jedoch zu komplex, weil z.B.die Zahl der Eingangsvariablen zu groß wird, so werden zwar die zurBestimmung der Modellparameter benutzten Trainingsdaten immerperfekter abgebildet, die Ubertragbarkeit auf neue Anwendungs–oder Testdaten nimmt jedoch bei steigender Modellkomplexitatirgendwann wieder ab. Diesen Fall nennt man Overfitting.

Modellkomplexitat

Fehler

optimaler Bereich

Trainingsfehler

Testfehler

Overfitting



”Nichtparametrische“ Modelle

Um ein vollkommen flexibles Modell zu erhalten konnen wir dieLogits ∆i (xi ) fur jeden Wert von xi als eigenstandigen Parameterwahlen. Damit gibt es keinerlei durch eine Parametrisierungvorgegebene Beziehung von Logits, und damit auch vonAusfallwahrscheinlichkeiten, mit verschiedenen Werten von xi .Damit erhalten wir ∂∆i

∂aj= ∂∆i

∂∆j= δxi ,xj

und (22) wird zu

0 =

nj∑

kj=1

(yjkj

− pj

)⇒ pj =

1

nj

∑

kj

yjkj(32)

wobei der Index j die n verschiedenen Wert von xi indiziert und kj

verschiedene Datenpunkte mit gleichem Wert von xj unterscheidet.D.h. fur jedes xj wird die zugehorige empirische Haufigkeit alsSchatzung ubernommen. Wir werden jedoch sehen, dass solch ein

”nichtparametrisches“ Modell nutzlos wird fur große n.



Kreuzvalidierung

Bei der Methode der Kreuzvalidierung wird der Testfehler (z.B. dienegative Loglikelihood) auf einer von den Trainingsdatenunabhangigen, d.h. nicht zur Bestimmung des optimalenParameters genutzten Stichprobe bestimmt. Dazu wird von denverfugbaren Daten ein Teil (im Extremfall eine einzelneBeobachtung) abgetrennt und dieser zur Berechnung desTestfehlers fur das Modell mit dem anhand der verbleibendenTrainingsdaten bestimmten optimalen Parametervektor verwendet.Um die verfugbaren Daten optimal zu nutzen, kann diesesVerfahren mit einer neuen, disjunkten Testmenge wiederholtwerden, bis jeder Datenpunkt genau einmal einer Testmengezugeteilt war. Diese Schatzung des Testfehlers kann dann genutztwerden, um die optimale Modellkomplexitat zu finden (wie z.B. dieAnzahl der Inputvariablen x·j in einem Regressionsmodell).



Kreuzvalidierung: Schema

Test Train. Train. Train. Train. 5. Durchgang

Train. Test Train. Train. Train. 4. Durchgang

Train. Train. Test Train. Train. 3. Durchgang

Train. Train. Train. Test Train. 2. Durchgang

Train. Train. Train. Train. Test 1. Durchgang

Beispiel einer funffachen Kreuzvalidierung: Die gesamten verfugbaren

Daten werden in funf gleiche Teile geteilt, wovon jeder der Teile in einem

der funf Durchgange als Testmenge dient.



Ratingbau

Der Bau eine Ratingverfahrens kann z.B. nach folgenden Phasenablaufen

1. Datensammlung (ohne systematische Verzerrung)

2. Auswahl und Analyse moglicher unabhangiger Basisvariablen(z.B. Bilanzpositionen, Branche)

3. Konstruktion und Analyse moglicher abgeleiteter Variablen(z.B. aus Bilanzpositionen gebildete Kennzahlen, und anderenichtlineare Transformationen, Wechselwirkungsvariablen,Dampfung extremer Werte)

4. Aufbereitung der unabhangigen Variablen (z.B. filtern,Erganzung fehlender Werte)

5. multivariater Modellbau (z.B. Fitten durch logistischeRegression, Variablenauswahl mit Kreuzvalidierung)

6. Umsetzung (z.B. Programmierung Ratinganwendung,Datenbankkonzept, Definition Ratingprozess)



Bayessche Statistik: Prognosewahrscheinlichkeit

Ziel: Vorhersage neuer, noch unbekannter Daten D∗ auf Basis derbekannten Daten D = {x , y} unter Verwendung derPrognosewahrscheinlichkeit

p(D∗|D), (33)

bzw. wenn wir auch die neuen Daten D∗ in vorgefundene bzw.gesetzte Bedingungen x∗ und vorherzusagende Beobachtungen y∗

unterteilenp(y∗|x∗, D). (34)

Dies ist wie auch bisher eine etwas abgekurzte Notation fur dieWahrscheinlichkeit (bzw. die Wahrscheinlichkeitsdichte), dass dieZufallsvariable Y ∗ den Wert y∗ annimmt, wenn die Variable X ∗

den Wert x∗ und die Daten den Wert D = {x , y} haben.



Modelle/Hypothesen

Um die Große p(y∗|x∗,D) handhabbar zu machen, definieren wir einenRaum H moglicher Modelle oder Hypothesen h. Die Modelle h brauchennicht deterministisch zu sein, d.h. sie liefern fur gegebenes x nichtnotwendig eine exakte Vorhersage des Wertes y , sondern eine durch ihreLikelihood

p(y |x , h) (35)

definierte Wahrscheinlichkeit fur das Auftreten eines Wertes y .Der Raum H moglicher Modelle sollte dabei vollstandig sein, d.h. allemoglichen Modelle abdecken. In der Praxis kann dies naturlich nurnaherungsweise erreicht werden. und in H fehlende Modelle konnen dannnicht erkannt, sondern nur durch andere in H enthaltene h approximiertwerden.Die Likelihoods der h sollen zudem fur alle x , y definiert und voneinanderverschieden, also disjunkt, sein, so dass nur ein Modell realisiert seinkann. Die Modelle h reprasentieren in der Regel verdeckte Variablen, dienicht direkt, sondern nur indirekt uber die gemessenen Datenbeobachtbar sind.



Einschieben der Hypothesen

Fur vollstandige und disjunkte Ereignisse B gilt

p(A) =∑

B

p(A, B) =∑

B

p(A|B)p(B), (36)

wobei die Summe fur kontinuierliche B durch ein Integral zuersetzen ist. Wenden wir dies auf die nach Messung der Daten D

zur Vorhersage zu verwendende Prognosewahrscheinlichkeit (34)an, so erhalten wir (in Integralschreibweise)

p(y∗|x∗, D) =

∫

dh p(y∗|x∗, D, h)︸︷︷︸

p(y∗|x∗,h)

p(h|x∗, D)︸︷︷︸

p(h|D)

. (37)

Der Ausdruck vereinfacht sich wie gezeigt, da die Likelihoodsdurch x∗ und h bereits festgelegt und damit unabhangig von D

sind und wir mit x∗ den von h unabhangigen Teil von D∗

bezeichnen wollen, so dass p(h|x∗, D) = p(h|D).Jorg Lemm Vorlesung Finanzmathematik WS 2007/08 Ratingverfahren und Bayessche Statistik


Beispiel: Modellraum der logistischen Regression

Betrachten wir eine univariate logistische Regression mit linearemLogit ∆i = a + b xi , wo bei einer Ratinganwendung xi z. B. dieEigenkapitalquote des Kunden beim Datenpunkt i bezeichnenkonnte. Die Likelihood eines Datenpunktes (xi , yi ) ist dabei gemaß(15) definiert als

p(yi |xi , h) = p(yi |xi , a, b) =eyi∆i

1 + e∆i=

eyi (a+bxi )

1 + ea+bxi.

Machen wir keine weiteren Einschrankungen an a und b, so ist derModellraum H also der zweidimensionale durch alleParameter-Wertepaare (a, b) aufgespannte Raum und das Integral∫

dh ist als Integral uber die Parameter∫

da db zu interpretieren.



Die A–Posteriori–Wahrscheinlichkeit

Die Prognosewahrscheinlichkeit

p(y∗|x∗, D) =

∫

dh p(y∗|x∗, h) p(h|D), (38)

enthalt neben der das Modell h definierenden Likelihood bzgl. derneuen Daten p(y∗|x∗, h) auch den Faktor p(h|D) = p(h|x , y).Dieser bezeichnet die Wahrscheinlichkeit (fur die Richtigkeit) vonModell h gegeben alle bekannten Daten D und ist alsA–Posteriori–Wahrscheinlichkeit des Modells h bekannt.Um diese zu berechnen, wollen wir sie durch eine bekannte Große,namlich die Likelihood p(y |x , h) ausdrucken.



Bayessches Theorem

Die Wahrscheinlichkeit fur das gleichzeitige Eintreffen von EreignisA und B lasst sich einmal durch die bedingte Wahrscheinlichkeitenp(A|B) und einmal durch die bedingte Wahrscheinlichkeitenp(B|A) ausdrucken

p(A, B) = p(A|B) p(B) = p(B|A) p(A). (39)

Dadurch konnen wir P(A|B) durch die so genannte zu ihr

”inverse“ bedingte Wahrscheinlichkeit P(B|A) ausdrucken

p(A|B) =p(A, B)

p(B)=

p(B|A) p(A)

p(B)(40)

Diese Beziehung ist bekannt als Bayessches Theorem.



A–Priori–Wahrscheinlichkeit

Wir erhalten fur die A–Posteriori–Wahrscheinlichkeit mit demBayesschen Theorem

p(h|D)︸︷︷︸

Posterior

=

Likelihood︷︸︸︷

p(D|h)

Prior︷︸︸︷

p(h)

p(D)︸︷︷︸

Evidenz

. (41)

Der Faktor p(h) bezeichnet die Wahrscheinlichkeit fur h bevor dieDaten D = (x , y) bekannt sind und wird daher alsA–Priori-Wahrscheinlichkeit bezeichnet. Analog erhalten wir

p(h|D) = p(h|x , y) =p(y |x , h) p(h|x)

p(y |x), (42)

mit p(h|x) = p(h), da wir mit x den von h unabhangigen Teil derDaten bezeichnen.



Evidenz

Die Evidenz, d.h. der Nenner in (41), lasst sich analog wiederdurch Einschieben von h durch die Likelihood p(D|h) und Priorp(h) ausdrucken

p(D) =

∫

dh p(D|h) p(h), (43)

bzw. fur (42)

p(y |x) =

∫

dh p(y |x , h) p(h). (44)

So ergibt sich fur die A–Posteriori–Wahrscheinlichkeit

p(h|D) =p(y |x , h) p(h)

∫dh′ p(y |x , h′) p(h′)

. (45)



Vorhersage durch Mittelung uber alle Modelle

Mit (45) lasst sich nun auch die Prognosewahrscheinlichkeit (37)durch die Likelihoods ausdrucken

p(y∗|x∗, D) =1

p(y |x)

∫

dh p(y∗|x∗, h) p(y |x , h) p(h)

=

∫dh p(y∗|x∗, h) p(y |x , h) p(h)∫

dh′ p(y |x , h′) p(h′). (46)

Das Integral uber h ist typischerweise extrem hochdimensional undlasst sich nur in ganz einfachen Fallen analytisch, und sonst, wennuberhaupt, nur approximativ, z.B. durch Monte–Carlo–Methodenberechnen. Zudem ist das Integral von y∗ und x∗ abhangig, undmuss fur alle Werte y∗ und x∗, die von Interesse sind, berechnetwerden.



Maximum–A–Posteriori–Methode (MAP)

Zur Berechnung der Prognosewahrscheinlichkeit (46) wird uber dieVorhersagen p(y |x , h) aller moglichen Modelle gemittelt, und zwar jeweilsgewichtet mit ihrer A–Posteriori–Wahrscheinlichkeit p(h|D). Diesbedeutet, dass Hypothesen deren Wahrscheinlichkeit auf Grund dervorhandenen Daten hoch ist, auch stark gewichtet in die Prognose miteinfließen. Ist die Zahl der Daten groß genug, so ist in vielen Fallen dasProdukt aus Likelihood und A–Priori–Wahrscheinlichkeit an einer Stellekonzentiert. Bezugnehmend auf solche Falle wird bei der so genanntenMaximum–A–Posteriori–Methode das Modell mit der großtenA–Posteriori-Wahrscheinlichkeit bestimmt

h∗ = argmaxh∈H p(h|D) (47)

Unter der Annahme, dass der Gewichtungsfaktor hinreichend um h∗

konzentriert ist, wird p(y∗|x∗,D) genahert durch p(y∗|x∗, h∗). Diesentspricht einer Sattelpunktsnaherung des Integrals und ist vergleichbarmit dem Ubergang von der Quantenmechanik zur klassischen Physik.



Maximum–Likelihood–Methode (ML)

Die Berechnung des Posteriors p(h|D) erfordert neben der durchdie Modellspezifikation und die Beobachtungsdaten definiertenLikelihood auch die Implementierung des problemspezifischenVorwissens in Form eines Priors uber die Parameter p(h). Wenn einim Vergleich zur Anzahl der Daten sehr flexibler Modellraumgewahlt wird (z.B. bei nichtparametrischen Methoden), ist derPrior wesentlich (z.B. in Form einer Glattheitsbedingung). Beiniedrigdimensionalen parametrischen Modellen wahlt man denPrior auf den ausgewahlten Parametern jedoch haufig uniform. Daauch die Evidenz p(y |x) nicht von den Modellparametern h

abhangt, ist in diesem Falle die Maximierung des Posteriorsgleichbedeutend mit der Maximierung der Likelihood :

p(h) uniform ⇒ argmaxh p(h|x , y) = argmaxh p(y |x , h). (48)



Loglikelihood und Fehler

Das Maximieren der Loglikelihood entspricht dem Minimieren dernegativen Loglikelihood. Letztere kann daher als ein zuminimierendes Fehlermaß aufgefasst werden. So wird z.B. bei einergaußformigen Likelihood mit Varianz σ2 und zu schatzenderMittelwertsfunktion h = h(x)

p(y |x , h) =1

(2π)n2 σn

n∏

i=1

exp

(

−(yi − h(xi ))

2

2σ2

)

(49)

die negative Loglikelihood bis auf eine irrelevante Konstante undeinen gemeinsamen Faktor zu dem bekannten quadratischen Fehler

− ln p(y |x , h) = −n∑

i=1

ln p(yi |xi , h) =1

2σ2

n∑

i=1

(yi − h(xi ))2 + const.

(50)



Beispiel Gaußsche Regression

Beispiel einer gaußschen Likelihoodfunktion p(y |x , h). Gezeigt ist

die zufallige Realisierung h eines Gaußprozesses mit einem Glattheitsprior

(mit hoheren Ableitungen), dicke rote Linie = in der Praxis unbekannte

Regressionsfunktion h, schwarze Punkte = Beispieldaten (xi , yi ).

-0.41

0

0.4 0

20

40

60

80

01234

-0.41

0

0.4



Gaußsche Likelihood und Lineare Regression

Die zu schatzende Funktion h(x) in (49) representiert denx–abhangigen Mittelwert der Gaußverteilung und heißtRegressionsfunktion. Wahlen wir fur sie einen in den Parametern aj

linearen parametrischen Ansatz in Abhangigkeit von m

unabhangigen Variablen x·j und einer Konstanten x·0 = 1,

h(x) = a0 +m∑

j=1

aj x·j =m∑

j=0

aj x·j = a · x (51)

spricht man von einer linearen Regression. Analog (50) erhalten wirfur (49) so fur die Maximum–Likelihood–Losung a∗ die Bedingung

a∗ = argmina

n∑

i=1

(yi − a · xi )2 . (52)



Maximum–Likelihoodlosung der linearen Regression

Losen der Maximum–Likelihoodbedingung (52) durch Ableitennach den aj liefert

0 =n∑

i=1

yi −m∑

j=0

ajxij

xij , fur 0 ≤ j ≤ m, (53)

bzw. ausgedruckt durch die Vektoren a, y und die Matrix Xij = xij

0 = XT y − XTXa, (54)

und damita = (XTX )−1Xy . (55)



Lineare gaußsche Regression mit Prior

Bei Nutzung der Maximum–Likelihood–Methode werden implizitalle Parameterwerte als a priori gleichwahrscheinlich eingeschatzt,fur den entsprechenden uniformen Prior p(a) ist daher dieMaximum–Posterior– gleich der Maximum–Likelihood–Losung.Folgender Posterior enthalt dagegen z.B. einen Gaußschen Prior,der fur aj Werte in der Nahe von a0j bevorzugt (fur a0j = 0 z.B.betragsmaßig kleinere aj vorzieht)

p(a|x , y) ∝ p(y |x , a)p(a) ∝ e−∑n

i=1(yi−a·xi )

2

2σ2 −∑m

j=1

(aj−a0j )2

2σ20 . (56)

Der Wert des sog. Hyperparameters σ20 (dessen Inverses auch als

Regularisierungskonstante bekannt ist) bestimmt den Einfluss desPriors auf die Maximum-Posterior-Losung und kann beispielsweisedurch Kreuzvalidierung optimiert werden.



Nichtparametrische gaußsche Regression

Bei der linearen parametrischen gaußschen Regression wird fur dieRegressionsfunktion h(x) der gaußschen Likelihood ein in denParametern linearer Ansatz h(x) = a0 +

∑mj=1 ajxij gewahlt, bei

einer nichtlinearen parametrischen Regression wird entsprechendeine nichtlineare Parametrisierung der Regressionsfunktionvorgegeben. Im Grenzfall der sogenannten

”nichtparametrischen“

Regression wird jeder Funktionswert h(x) selbst als Parameter a(x)= h(x) aufgefasst.2 Bei nichtparametrischen Methoden gibt es alsokeine impliziten, in der Parametrisierung verstecktenAbhangigkeiten, sondern es werden die einzelnen Funktionswerteals die primaren Freiheitsgrade des Modells aufgefasst, derenAbhangigkeiten durch A–Priori–Informationen explizit vermitteltwerden muss.

2Um technische Probleme zu vermeiden, die bei nicht–gaußschem Posterior schnell sehr komplex

(Renormierung) oder auch unlosbar werden, verwenden wir dabei ggfls. anstelle kontinuierlicher x–Werte diskretexk (Gittermodell).



Nichtparametrische gaußsche Regression und Prior

Da bei nichtparametrischen Ansatzen also die Anzahl derFunktionswerte h(x), also der primaren Freiheitsgrade oder

”Parameter“, typischerweise wesentlich großer ist (evtl. auch

abzahlbar oder uberabzahlbar unendlich) als die Zahl derTrainingsdaten, ist in solchen Modellen die A–Priori–Informationwesentlich. Haufig verwendete Prior sind Glattheitsprior. Messenwir beispielsweise die Variabilitat der Regressionsfunktion h furdiskrete x durch die Summe quadratischer Differenzen

∞∑

k=−∞

(h(xk) − h(xk−1)

xk − xk−1

)2

, (57)

so erhalten wir einen gaußschen Glattheitsprior durch

p(h) ∝ exp

[

−1

2

∞∑

k=−∞

(h(xk) − h(xk−1)

xk − xk−1

)2]

. (58)



Glattheitsprior und kinetische Energie

Fur kontinuierliche x wird (57) zu∫∞∞

(dh(x)dx

)2dx welches sich

nach partieller Integration bei verschwindenden (oder analog beiperiodischen) Randbedingungen folgendermaßen durch denLaplaceoperator ∆ ausdrucken lasst∫ ∞

∞

(dh(x)

dx

)2

dx = −

∫ ∞

∞h(x)(∆h)(x) dx = 〈h|(−∆)|h〉,

(59)Bra–Ket–Schreibweise. Dies hat die Form eines

”kinetischen

Energieterms“ in einer euklidischen Quantenfeldtheorie. Derentsprechende gaußsche Glattheitsprior fur h(x) mit einemGewichtungs– bzw. Regularisierungsfaktor λ0 ist

p(h) ∝= exp

[

−λ0

2

∫ ∞

−∞

(dh

dx

)2]

= exp

[λ0

2〈h|∆|h〉

]

. (60)



Likelihood–Energie in Operatorschreibweise

Die Likelihood–Energie konnen wir analog ausdrucken

λi

2

n∑

i=1

(yi − h(xi ))2

=λi

2

n∑

i=1

∫ ∫

dx dx ′ (h(x) − yi )δ(x − xi )δ(x − x ′)(h(x ′) − yi )

=1

2

∫ ∫

dx dx ′n∑

i=1

(h(x) − yi (x))Ki (x , x ′)(h(x ′) − yi (x′))

=1

2

n∑

i=1

〈h − yi |Ki |h − yi 〉 (61)

mit der Messwertfunktion yi (x) ≡ yi , einen den Ort xi und dasGewicht λi der Messung kennzeichnenden DiagonaloperatorKi (x , x ′) = λiδ(x − x ′)δ(x − xi ) und z.B. λi = σ−2.



Beispiel: diskreter negativer Laplaceoperator

Auf einem Gitter mit 7 Punkten und xk − xk−1 = 1, 2 ≤ k ≤ n

sieht der als inverse Priorkovarianz verwendbare diskrete negativeLaplaceoperator −∆ fur außerhalb des Gitters verschwindendeFunktionen h wie folgt aus

−∆ =

2 −1 0 0 0 0 0−1 2 −1 0 0 0 00 −1 2 −1 0 0 00 0 −1 2 −1 0 00 0 0 −1 2 −1 00 0 0 0 −1 2 −10 0 0 0 0 −1 2

. (62)



Beispiel: diskrete inverse Datenkovarianz

Auf einem Gitter mit 7 Punkten und jeweils einer Messung beix = 2 sowie x = 5 und zwei Messungen bei x = 3 sieht die diskreteinverse Datenkovarianz KD fur σ = 1 wie folgt aus

KD =

0 0 0 0 0 0 00 1 0 0 0 0 00 0 2 0 0 0 00 0 0 0 0 0 00 0 0 0 1 0 00 0 0 0 0 0 00 0 0 0 0 0 0

. (63)

Die Nullen in den Nichtdiagonalelementen zeigen an, dass dieDaten nur Informationen uber die Funktion an den gemessenenx–Werten liefert, die ohne Zuhilfenahme eines nichtdiagonalenA–Priori–Operators nicht auf andere x–Werte ubertragbar sind.



Priorreferenzfunktion

Als inverse Priorkovarianz K0 konnen wir einen beliebigen positivsemidefiniten Operator zulassen, und analog zu den Messdaten yi

auch in der Priorenergie eine Referenzfunktion y0(x) verwenden,

1

2〈h − y0|K0|h − y0〉, (64)

Das Maximum des gaußschen Priors liegt bei h(x) = y0(x) unddieses entspricht damit in der Abwesenheit von Daten auch derMaximum–A–Posteriori–Losung. Die Referenzfunktion y0(x) wirdoft identisch Null gewahlt, kann aber beliebige A–Priori–Datenreprasentieren. Damit haben wir eine vollkommen analogeSchreibweise fur quadratische Daten– und A–Piori-Terme undkonnen fur eine quadratische A–Posteriori–Energie schreiben

1

2

n∑

i=1

〈h−yi |Ki |h−yi 〉+1

2〈h−y0|K0|h−y0〉 =

1

2

n∑

i=0

〈h−yi |Ki |h−yi 〉.



Allgemeine quadratische Erganzung 1

Um die Maximum–A–Posteriori–Losung zu finden, fassen wir durcheine quadratische Erganzung alle quadratischen Terme zu einemh-abhangigen Term zusammen. Dazu multiplizieren wir dieeinzelnen Terme aus

n∑

i=0

〈h − yi |Ki |h − yi 〉

= 〈h|n∑

i=0

Ki

︸︷︷︸

K

|h〉 − 2〈h|n∑

i=0

Kiyi 〉 +n∑

i=0

〈yi |Ki |yi 〉

= 〈h|K |h〉 − 2〈h|K |K−1n∑

i=0

Kiyi

︸︷︷︸

y

〉 +n∑

i=0

〈yi |Ki |yi 〉. (65)



Allgemeine quadratische Erganzung 2

In (65) haben wir dabei die inverse Gesamtkovarianz K =∑

i Ki

und die Gesamtdaten y = K−1∑

i Kiyi definiert. Um nun alleh-abhangigen Terme zusammenzufassen erganzen wir ±〈y |K |y〉

n∑

i=0

〈h − yi |Ki |h − yi 〉

= 〈h|K |h〉 − 2〈h|K |y〉 + 〈y |K |y〉 − 〈y |K |y〉 +n∑

i=0

〈yi |Ki |yi 〉

= 〈h − y |K |h − y〉 +n∑

i=0

〈yi |Ki |yi 〉 − 〈y |K |y〉,

= 〈h − y |K |h − y〉 + 2Emin, (66)

wobei die verbleibende h-unabhangige Term 2Emin als eineverallgemeinerte Varianz der yi aufgefasst werden kann.



Maximum–A–Posteriori–Losung

Die Maximum–A–Posteriori–Losung

h∗(x) = argmaxhp(h|D) = argminh〈h − y |K |h − y〉 (67)

ist nun durch (Funktional–)Ableitung trivial zu finden,

0 =δp(h|D)

δh⇒ 0 = K (h∗ − y), (68)

also bei invertierbarem K

h∗ = y = K−1n∑

i=0

Kiyi . (69)

Bei gaußscher Likelihood mit gaußschem Prior kann die BayescheIntegration uber alle Hypothesen h zur Berechnung der Prognose(38) durchgefuhrt werden und liefert wieder dieMaximum–A–Posteriori–Losung.



Losung als Uberlagerung von Kernfunktionen

Die MAP-Losung (69) ist eine Uberlagerung von Kernfunktionender datenabhangigen Gesamtkovarianz K−1

h∗(x) = y(x) =n∑

i=0

∫ ∫

dx ′ dx ′′ K−1(x , x ′)Ki (x′, x ′′)yi (x

′′)

=n∑

i=0

K−1(x , xi )︸︷︷︸

datenabhangig

λiyi = K−1(x , xi )

(n∑

i=1

λiyi + K0y0

)

.

Im Fall y0 ≡ 0 und λi = 1 fur 1 ≤ i ≤ n, also z.B. fur konstante, inλ0 absorbierte 1/(2σ2), erhalten wir

h∗(x) =

n∑

i=1

K−1(x , xi ) yi , (70)

also eine Summe von yi–gewichteten Kernfunktionen K−1(x , xi )mit einem Summand pro Datenpunkt.



Problem Bestimmung der Gesamtkovarianz

Das Problem bei der Berechnung der Losung nach Gleichung (70)besteht in der Inversion des datenabhangigen K , um dieGesamtkovarianz K−1 zu erhalten. Zudem ist im Falle vonkontinuierlichen x der zu invertierende Operator K

unendlichdimensional.Leichter ist es in der Regel einmal die datenunabhangige inversePriorkovarianz K0 zu invertieren. Gegebenfalls kann sogar an Stellevon K0 direkt die Priorkovarianz K−1

0 vorgegeben werden. Wirwerden deshalb die Stationaritatsgleichung nochmals fur getrennteDaten– und Priorterme berechnen. Dabei wird sich zeigen, dassneben einer Inversion von K0 nur eine weitere Inversion imDatenraum, das heißt in dem durch die als Daten vorkommendenxi aufgespannten Raum, erforderlich ist.



Zusammenfassen der Datenterme

Fassen wir dafur nur die Datenterme zusammen, so erhalten wirn∑

i=1

〈h − yi |Ki |h − yi 〉 = 〈h − yD |KD |h − yD〉 + 2ED,min, (71)

KD =n∑

i=1

Ki , KD(x , x ′) = δ(x−x ′)n∑

i=1

λiδ(x−xi ) = δ(x−x ′)n(x),

(72)mit n(x) =

∑ni=1 λiδ(x − xi ) der (λi–gewichteten) Anzahl von

Messungen bei x und dem (λi -gewichteten) y–Mittelwert pro x

yD = K−1D

n∑

i=1

Kiyi , yD(x) =

n(x)∑

i=1

λiyi (x)

n(x), (73)

mit K−1D dem Inversen im Raum der Daten yi und einer

gewichteten lokalen Datenvarianz 2ED,min.



Nochmals die Stationaritatsgleichung

Leiten wir nun den h-abhangigen Teil der Posteriorenergie

1

2〈h − yD |KD |h − yD〉 +

1

2〈h − y0|K0|h − y0〉 (74)

nach h ab, so erhalten wir die Stationaritatsbedingung

0 = KD(h∗−yD)+K0(h∗−y0) ⇔ KD(yD−h∗) = K0(h

∗−y0), (75)

und bei invertierbarer inverser Priorkovarianz K0

h∗ = y0 + K−10 KD(yD − h∗)︸︷︷︸

aD

= y0 + K−10 aD , (76)

wobei wir die im Datenraum definierte Große

aD = KD(yD − h∗) = KD(yD − y0 − K−10 aD), (77)

eingefuhrt haben.Jorg Lemm Vorlesung Finanzmathematik WS 2007/08 Ratingverfahren und Bayessche Statistik


Inversion im Datenraum

Gleichung (77) lasst sich nach aD auflosen

aD = KD(yD − y0 − K−10 aD)

⇔ (1 + KDK−10 )aD = KD(yD − y0)

⇔ aD =1

1 + KDK−10

KD(yD − y0). (78)

Da links und rechts von K−10 jeweils die einen Projektor auf den

Raum der gemessenen xi enthaltene inverse Datenkovarianz KD

auftritt, kann aD durch Inversion im Raum der gemessenen Datengelost werden. Die Dimension des Datenraums ist gegeben durchdie Anzahl der in den Daten vorkommenden unterschiedlichenWerte xi .



Losung als Uberlagerung von Priorkernen

Die Losungh∗ = y0 + K−1

0︸︷︷︸

datenunabhangig

aD , (79)

also

h∗(x) = y0(x) +n∑

i=1

K−10 (x , xi ) aD(xi ), (80)

ist wieder als Summe von Kernfunktionen mit einem Summandenpro Datenpunkt darstellbar, diesmal allerdings bezuglich derdatenunabhangigen Priorkovarianz als Kern. In diesem Sinne lassensich die aD(xi ) als

”effektive Daten“ bezuglich der Priorkovarianz

auffassen.



Beispiel: Priorkovarianz

Als Beispiel sind hier die 50 Spalten der Priorkovarianz K−10 (x , cdot) fur

den negativen Laplaceoperator K0 = −∆ auf einem Gitter der Große 50gezeigt.

0

2

4

6

8

10

12

10 20 30 40 50

Da K−10 stetige und stuckweise lineare Spalten besitzt, resultieren daraus

nach (80) auch stetige stuckweise lineare MAP-Schatzungen h∗(x) .



Glattheit

Der negative Laplaceoperator −∆ entspricht dem Quadrat der erstenAbleitung und fuhrt zu stetigen, stuckweise linearen MAP-Losungen. DieVerwendung von eines K0 mit Quadraten hoherer Ableitungen fuhrt zuglatteren MAP-Schatzungen. Hier sind z.B. einige KovarianzspaltenK−1

0 (x , · · · ) von K0 = 1 - 1σ

20∆ + 1

2σ40∆2 - 1

6σ60∆3 fur σ2

0 = 1 dargestellt.

0

0.05

0.1

0.15

0.2

0.25

0.3

2 4 6 8



Beispiel: Gesamtkovarianz

Hier sind als 50 Spalten einer Gesamtkovarianz K−1(x , ·), auf einemGitter der Große 50 gezeigt, wobei K = K0 +

∑ni=1 Ki mit K0 = −∆ und

Ki , die hier n = 6 Messungen bei x ∈ {5, 10, 10, 25, 30, 35}representieren. Nach (69) kann daraus die MAP-Losung h∗(x) direkt ausden Daten yi berechnet werden.

0

1

2

3

4

10 20 30 40 50



A. Agresti.Categorical Data Analysis.John Wiley & Sons, Inc., New York, 2nd edition, 2002.

T. R. Bayes.An essay towards solving a problem in the doctrine of chances.Philosophical Transactions of the Royal Society London, 53:370, 1763.Reprinted in Biometrika 45:293, 1958.

J. O. Berger.Statistical Decision Theory and Bayesian Analysis.Springer–Verlag, New York, 1980.2nd Edition 1985.

J. M. Bernado and A. F. Smith.Bayesian Theory.Wiley, New York, 1994.

C. M. Bishop.Pattern Recognition and Machine Learning.Springer Verlag, Berlin, 2006.

G. E. P. Box and G. C. Tiao.Bayesian Inference in Statistical Analysis.Addison–Wesley, Reading, MA, 1973.Wiley Classics Library Edition published 1992.



B. P. Carlin and T. A. Louis.Bayes and Empirical Bayes Methods for Data Analysis, volume 69 ofMonographs on Statistics and Applied Probability.Chapman & Hall/CRC, Boca Raton, FL, 1996.

R. O. Duda, P. E. Hart, and D. G. Stork.Pattern Classification.Wiley, New York, 2001.

B. Efron and R. J. Tibshirani.An Introduction to the Bootstrap, volume 57 of Monographs on Statistics and

Applied Probability.Chapman & Hall, New York, 1993.

R. A. Fisher.Inverse probability.Proc. Camb. Phil. Soc., 26:528, 1930.

K. Fukunaga.Statistical Pattern Recognition.Academic Press, Boston, 1990.

A. Gelman, J. B. Carlin, H. S. Stern, and D. B. Rubin.Bayesian Data Analysis.Chapman & Hall, New York, 1995.

T. Hastie, R. Tibshirani, and J. Friedman.



The Elements of Statistical Learning.Springer Verlag, New York, 2001.

T. J. Hastie and R. J. Tibshirani.Generalized additive models.Statist. Sci., 1:297–318, 1986.

D. W. Hosmer and S. Lemeshow.Applied Logistic Regression.John Wiley & Sons, Inc., New York, 2000.

J. C. Lemm.Bayesian Field Theory.The Johns Hopkins University Press, Baltimore, 2003.

P. McCullagh and J. A. Nelder.Generalized Linear Models.Chapman & Hall, London, 2nd edition, 1989.

C. E. Rasmussen and C. Williams.Gaussian Processes for Machine Learning.MIT Press, Cambridge, MA, 2006.

G. Winkler.Image Analysis, Random Fields, and Dynamic Monte Carlo Methods.Springer–Verlag, Berlin, 2nd edition, 2000.


Ratingverfahren und Bayessche Statistiklemm/vorl_WS07/Folien_WS07_08... · Ratingverfahren...

Documents

Transcript of Ratingverfahren und Bayessche Statistiklemm/vorl_WS07/Folien_WS07_08... · Ratingverfahren...