Regression I: Poisson‘sche Regression · T. Kießling: Fortgeschrittene Fehlerrechnung -...

T. Kießling: Fortgeschrittene Fehlerrechnung - Regression I: Poisson‘sche Regression 22.05.2019 Vorlesung 04- 1

Regression I:Poisson‘sche Regression


X i Y i0,20 52,4

1,17 54,6

1,96 57,7

2,98 59,5

4,05 62,7

5,12 65,6

5,93 67,0

7,01 69,0

8,24 72,80,00 2,00 4,00 6,00 8,00

50,0

55,0

60,0

65,0

70,0

75,0

Testmessung zur linearen Regression

Y

X

Rückblick Fragestellung

Wir führen eine Messung durch und erhalten folgende Werte

1.) Wie können wir objektiv beurteilen, inwieweit die Daten unsere Annahme erfüllen und wirklich einer bestimmten Funktion (hier einer Gerade) folgen?

2.) Angenommen die Beziehung zwischen x und y ist linear, welche Gerade passtam besten zu den Messwerten?


Wenn die Messwerte (Xi , Yi) keinerlei Unsicherheit hätten, dann läge jeder Punkt exakt auf der Geraden

Wiederholung: Vorüberlegungen

Die Fehler in X sind wesentlich kleiner als die Fehler in Y.X ist fehlerfrei und Y ist fehlerbehaftet.

Die Daten sind beschrieben durch den funktionellen Zusammenhang:

Annahmen:

0,00 2,00 4,00 6,00 8,0050,0

55,0

60,0

65,0

70,0

75,0

Testmessung zur linearen Regression

Y

X

.y a bx

Die Abweichung yi jedes Datenpunktesvon der bestangepassten Geraden ist dann:

yi( ) .i i i i iy y y x y a bx


Für jedes Xi gibt es eine Wahrscheinlichkeit Pi den Messwert Yi zu erhalten.

Bisher: Normalverteilung der Messwerte

21 1exp22

i ii

ii

y y xP

.y a bx



21 1exp22

i ii

ii

y y xP

Die Wahrscheinlichkeit unseren Datensatz bei N Messpunkten genau so zu beobachten ist dann gegeben durch:

0 01 1

11

21 1( , ) exp

22

21 1exp

22

N Ni i

ii i ii

N Ni i

ii ii

y y xP a b P

y y x

Die beste Gerade liegt dann vor, wenn die Wahrscheinlichkeit maximal wird. Dasist der Fall, wenn der Exponent

minimal wird.

21 1

2 2N Ni i i i

i ii i

y y x y a bx



Lineare Regression bei NormalverteilungLineare Regression

oder

Anpassung einer Geraden nach der Methode der kleinsten Quadrate

21 1

2 2N Ni i i i

i ii i

y y x y a bx

Für 2 minimal ist die Übereinstimmung am besten.

2

2

0;

0;

a

b


2 22 2

1 1

2 22 2

1 1

1 1( ) 2 ( ) 0;

1 ( ) 2 ( ) 0;

N N

i i i ii ii i

N Ni

i i i ii ii i

y a bx y a bxa a

xy a bx y a bxb b

Ein wenig geordnet gibt das

2 2 2

2

2 2 2

1 ;

;

i i

i i i

i i i i

i i i

y xa b

x y x xa b

Der Übersichtlichkeit halber lassen wir ab hier die Summengrenzen weg.(weiter von 1 bis N)

Wir suchen weiter die besten a und b

Lineare Regression bei Normalverteilung


2 2 2

2

2 2 2

1 ;

;

i i

i i i

i i i i

i i i

y xa b

x y x xa b

Lineare Regression - Bestwerte

Mit der Determinantenmethode gibt das

2 2 2

2 2 2 22

2 2

2 2

2 2 2 2

2 2

1 1 ;

11 1 1 ;

i i

i i i i i i i

i i i ii i i

i i

i

i i i i i i

i i i i i i i

i i

y xy x x x ya

x y x

yx y x yb

x x y

22 2 2

2 2 22

2 2

11 .

i

i i i i

i i ii i

i i

xx x

x x


2 2 2

2 2 2 22

2 2

2 2

2 2 2 2

2 2

1 1 ;

11 1 1 ;

i i

i i i i i i i

i i i ii i i

i i

i

i i i i i i

i i i i i i i

i i

y xy x x x ya

x y x

yx y x yb

x x y

22 2 2

2 2 22

2 2

11

i

i i i i

i i ii i

i i

xx x

x x


Falls jeder Datenpunkt den gleichen Fehler aufweist, lässt sich dieses Gleichungssystem vereinfachen.

Das wird häufig, aber bei weitem nicht immer möglich sein.


In unserem Beispiel habe jeder Datenpunkt den selben durch die Messung bedingten Fehler. Dann ergibt sich:


21 1 ;

1 1 ;

i ii i i i is

i i i

ii i i is

i i i

y xa x y x x y

x y x

N yb N x y x y

x x y

222 .is i ii i

N xN x x

x x

Wir benötigen folgende Größen:

2 , , ,i i i i ix x y x y

2


Lineare Regression - Fehler

22 2 ;z k

k k

zdy

Klassisches Fehlerfortpflanzungsproblem: Wir haben eine Größe die sich aus mehreren fehlerbehafteten Einzelgrößen zusammensetzt.

In diesem Fall sind es unsere Koeffizienten, deren Fehler wir suchen.

Unsere einzelnen Messpunkte sind statistisch voneinander unabhängig.

Dann können wir eine ganz normale Fehlerrechnung nach Gauß durchführen.

Es gilt:

Weitere Annahme:

Die Annahme, dass unsere Messpunkte voneinander statistisch unabhängig sind, muss ebenfalls überprüft werden.

Dazu später mehr.


22

2 2 2

1 .i ii i i

x x

2

2 2 2 2

2 2 2 2

1 1 ;

1 1 1 ;

i k i

k k i k i

k i

k k i k i

x x xay

x xby

2

2 2 2 2

2 2 2 2

1 ;

1 1 ;

i i i i i

i i i i

i i i i

i i i i

y x x x ya

x y x yb

22 2 ;z k

k k

zdy


Wir benötigen zunächst die partiellen Ableitungen:


2

2 2 2 2

1 1 ;i k ik k i k i

x x xay

2

2 2 ;z kk k

zdy

22

2 2 2

1 .i ii i i

x x

2 22 2 2 22

2 4 2 4 2 2 4 21

2 22 2 2

2 2 2 2 2 2 2 21 1 1

2 2

2 2 2 2 2

1 2

1 1 2

1 1 2

Nk i k i i k i

ak k i k i i k i

N N Ni k i i k i

k k kk i k i i k i

i i k

i k i k

x x x x x x

x x x x x x

x x x

2

2 21 1

22 2

2 2 2 2 21

2

2

1 1

1 ;

N Ni i

k k i i

Ni i i

ki k i i

i

i

x x

x x x

x


Damit bestimmen wir zunächst den Fehler in a :

Beide Summen laufen von eins bis N.


22 2 ;z k

k k

zdy

22

2 2 2

1 .i ii i i

x x

2 2 2 2

1 1 1 ;k ik k i k i

x xby

2 22 22

2 4 2 4 2 2 4 21

2 22

2 2 2 2 2 2 2 21 1 1

2 2 2 2 2 21

1 1 12

1 1 1 12

1 1 1 1 2

Nk k k i i

bk k i k i i k i

N N Nk k i i

k k kk i k i i k i

Nk i

ki k i k i

x x x x

x x x x

x x

2

21

22

2 2 2 2 21

2

1 1 1

1 1 ;

Ni

k i

Ni i

ki k i i

i

x

x x


Analog bestimmen wir den Fehler in b :

Beide Summen laufen von eins bis N.


22

2

1 ;iai

x

2 21 1 ;b

i

Falls jeder Datenpunkt den gleichen Fehler aufweist, lässt sich dies abermals vereinfachen.

Wir erhalten also allgemein folgende Fehler, die beide nicht von den yiabhängen:

22

2 2 2

1mit .i ii i i

x x

22mit .s i iN x x

22 2;a is x

22 ;b sN



22 1 ii

s y yN c

22 12 i ii

s y a bxN


Es kann allgemein gezeigt werden, dass die Stichprobenvarianz für eineerwartungstreue Schätzung gegeben ist durch:

Mit anderen Worten: im Nenner vor der Summe stehen die Freiheitsgrade

Dabei ist N die Anzahl der beobachteten Klassen und c Anzahl der aus den Daten berechneten und/oder in der Rechnung verwendeten Parameter c.

In unserem konkreten Fall passen wir die Daten an für:

Und damit:

.y a bx


Messung des Abstandsgesetzes bei radioaktivem Zerfall an Cs-137

Konkretes Beispiel

x



Zählereignisse bei fester Messzeit in Abhängigkeit des Abstandes

Konkretes Beispiel

Abstand (m) Zählereignisse

0,20 44

0,25 18

0,30 17

0,35 6

0,40 8

0,45 9

0,50 9

0,60 11

0,75 3

1,00 3

Die Darstellung wollen wir zunächst linearisieren.

Die Untergrund ist bereits abgezogen.

Weiterhin vereinfachende Annahme:Untergrund fehlerfrei.




Konkretes Beispiel

Inverses Abstandsquadrat (m‐2) Zählereignisse

25,00 44

16,00 18

11,11 17

8,16 6

6,25 8

4,94 9

4,00 9

2,78 11

1,78 3

1,00 3

Messunsicherheit?



Messreihe: Betrachte Verteilung der Zählereignisse bei festem Abstand

Konkretes Beispiel

N = 1010

Hypothesentest zeigt das diese Verteilung gut durch eine Poissonverteilungbeschrieben ist.




Konkretes Beispiel

Inverses Abstandsquadrat (m‐2) Zählereignisse Poissonfehler

25,00 44 6,6

16,00 18 4,2

11,11 17 4,1

8,16 6 2,4

6,25 8 2,8

4,94 9 3,0

4,00 9 3,0

2,78 11 3,3

1,78 3 1,7

1,00 3 1,7


Für jedes Xi gibt es eine Wahrscheinlichkeit Pi den Messwert Yi zu erhalten.

Bisher: Normalverteilung der Messwerte

21 1exp22

i ii

ii

y y xP

.y a bx


Offensichtlich nicht gegeben. Wie kritisch?



Konkretes Beispiel


Die Wahrscheinlichkeit unseren Datensatz bei N Messpunkten genau so zu beobachten ist dann gegeben durch:

Die beste Gerade liegt dann vor, wenn die Wahrscheinlichkeit maximal wird. Es ist einfacher zunächst den Logarithmus zu bilden und damit zu den Parametersatz für die

maximale Wahrscheinlichkeit zu suchen

Annahme einer Poissonverteilung

!

, ! exp

log , log ∏ ! exp


Die Summengrenzen lassen wir wieder weg (läuft wie immer über alle Datenpunkte).

Der mittlere Term hängt nicht von unseren Regressionsparametern ab. Bestimme nun Bestwerte wie üblich durch Extremwertsuche.

Regression bei Poissonverteilung

log , !

log ,

,

,


log ,

,

mit

,

Regression bei Poissonverteilung


Damit erhalten wir folgende zwei gekoppelte Gleichungen:

Regression bei Poissonverteilung - Bestwerte

Ab hier geht es nicht mehr analytisch. Betrachte nun numerische Möglichkeiten.

!


Sekantenverfahren

Iteratives Verfahren: Suche Nullstelle einer Funktion nach folgender Vorschrift

)


Sekantenverfahren


)


SekantenverfahrenVorteile:

1.) Es müssen nur Funktionswerte bestimmt werden. Viele andere Verfahren nutzen Ableitungen, was problematisch bei nicht hinreichend glatten Funktionen ist. Daher sehr robust.

2.) Nur ein Rechenschritt pro Iterationsschritt.

3.) Über Wahl der Startpunkte wird der Bereich eingeschränkt, in dem gesucht wird. Vorsicht: Das kann auch ein Nachteil sein bei unpassender Wahl.

Nachteile: 1.) Nur superlineares Konvergenzverhalten

2.) Bestimmung der Differenzenquotienten kann numerisch Probleme bereiten (Auf Maschinenpräzision achten1).


SekantenverfahrenWir benötigen es nun in zwei Dimensionen:

!

!

Damit bestimmen wir zunächst Funktionswerte für zwei Punktepaare (a0,b0), (a1,b1), und linearisieren zwischen diesen:


SekantenverfahrenBestimme Differenzenquotienten:


Sekantenverfahren

Damit können wir ein lineares Gleichungssystem in a, b lösen:

+

+

und erhalten:

mit:


Sekantenverfahren

mit:

Mit unserem neuen Datenpaar (a2,b2), starten wir dann die nächste Iteration (zusammen mit (a1,b1)) usw., bis wir das Ergebnis in vernünftiger Genauigkeit

bestimmt haben.



Konkretes Beispiel

Mit Poisson‘scher Regression erhalten wir folgende Bestwerte:

Regression I: Poisson‘sche Regression · T. Kießling: Fortgeschrittene Fehlerrechnung -...

Documents

Transcript of Regression I: Poisson‘sche Regression · T. Kießling: Fortgeschrittene Fehlerrechnung -...