Ekonometrie Jiłí Neubauer, Jaroslav...

Zobecněný lineární modelEkonometrie

Jiří Neubauer, Jaroslav Michálek

Katedra ekonometrie FVL UO Brnokancelář 69a, tel. 973 442029email:[email protected]

J. Neubauer, J. Michálek (Katedra ekonometrie UO) Zobecněný lineární model 1 / 49

Zobecněný lineární model


Lineární regresní model patří k nejpoužívanějším metodám statistické analýzyvícerozměrných dat v ekonometrii. Nabízí možnost vyjádření vztahu mezi vysvětlovanáproměnnou (odezvou) a množinou vysvětlujících proměnných (regresorů) pomocí regresnífunkce, která je lineární funkcí neznámých odhadovaných parametrů. V některýchsituacích ale předpoklad linearity není splněn a potom je potřeba přejít ke složitějšímmatematickým modelům a zabývat se modely, kde regresní funkce není lineární funkcíneznámých parametrů. V mnohých vybraných situacích se vystačí s regresní funkcí, kteráje sice nelineární funkcí vybraných parametrů, ale je funkcí lineární kombinacevysvětlujících proměnných, přičemž koeficienty této lineární kombinace jsou neznáméparametry. Takové modely se nazývají zobecněné lineární modely.




Použití lineárního modelu je limitováno čtyřmi základními podmínkami (P1), (P2), (P3)a (P4)

(P1) Střední hodnota E(εi ) = 0, i = 1, 2, . . . , n, tj. náhodné chyby jsou nesystematické.

(P2) Rozptyl D(εi ) = σ2, i = 1, 2, . . . ,, tj. náhodné chyby jsou homogenní se stejnýmneznámým rozptylem σ2.

(P3) Náhodné chyby εi jsou nezávislé.

V případě, kdy je třeba provádět testy hypotéz o neznámých parametrech a konstruovatintervaly spolehlivosti pro neznámé parametry modelu, zavádí se v LRM další předpoklad:

(P4) Náhodné chyby εi mají normální rozdělení.

Když v obecném lineárním modelu nahradíme tyto čtyři podmínky podmínkamiobecnějšími, dospějeme k zobecněnému lineárnímu modelu.




Pokud jde o podmínku (P1), zavedeme nejdříve funkci

η = η(X1,X2, . . . ,Xk) = β1X1 + β2X2 + · · ·+ βkXk . (1)

Funkce η je lineární kombinací regresorů X1,X2, . . . ,Xk a koeficienty této lineárníkombinace jsou neznámé parametry β1, β2, . . . βk . Dále ji budeme ji nazývat lineárnímprediktorem. Pro lineární regresní model lze vyjádřit střední hodnotu µ odezvy Ypomocí funkce η identickým vztahem

µ = E(Y ) = η = η(X1, . . . ,Xk) = β1X1 + β2X2 + · · ·+ βkXk .

Tedy v lineárním regresním modelu predikujeme střední hodnotu µ náhodné veličiny Ypomocí vztahu µ = η.




Když označíme ηi hodnotu prediktoru η při hodnotách regresorůX1 = xi1,X2 = xi2, . . . ,Xk = xik , lze pak lineární regresní model přepsat do tvaruµi = ηi = β1xi1 + β2xi2 + · · ·+ βkxik . Tedy střední hodnota i-tého pozorování odezvy Yje podle podmínky (P1) přímo rovna hodnotě lineárního prediktoru ηi proX1 = xi1, . . . ,Xk = xik .Podmínka (P1) se ve zobecněném lineárním modelu nahrazuje novou podmínkou, kteránahrazuje identický vztah mezi střední hodnotou µ = E(Y ) a lineárním prediktorem ηobecnějším vztahem. Předpokládá se, že µ a η jsou v obecném funkčním vztahu, který jeurčen tzv. linkovací funkcí g . Tedy podmínku (P1) z lineárního modelu lze přepsat jakonovou podmínku zobecněného lineárního modelu tvaru:

(ZP1) η = g(µ),

přičemž o funkci g se předpokládá, že je ryze monotónní a existuje funkce h, která jeinverzní funkcí k funkci g . Na základě podmínky (ZP1) lze střední hodnotu µ odezvy Yzapsat jako funkci lineárního prediktoru η ve tvaru µ = h(η). V zobecněném lineárnímmodelu uvažujeme novou modelovou rovnici

µi = E(Yi ) = h(ηi ) = h(β1xi1 + β2xi2 + · · ·+ βkxik), i = 1 . . . , n. (2)

V tomto modelu už E(Yi ) obecně není lineární funkcí lineárního prediktoru ηi , ale jednáse o speciální případ nelineárního modelu.




PříkladZavedení linkovací funkce lze dobře osvětlit na příkladu, kdy jednotlivá pozorováníodezvy Y mají logarimicko-normální rozdělení. Pak transformovaná veličina lnY mánormální rozdělení a lze uvažovat model

lnE(Y ) = lnµ = η = β1X1 + β2X2 + · · ·+ βkXk

nebo naopak E(Y ) = µ = exp(η). V této situaci odpovídá linkovací funkce glogaritmické funkci a její inverzní funkce h odpovídá exponenciální funkci.




Dále podmínky (P2) a (P3) lze pomocí jednotkové matice I přepsat do maticového tvaru

var(Y ) = σ2I

a v zobecněném lineárním modelu pak takto maticově vyjádřené podmínky (P2) a (P3)nahrazujeme maticovou podmínkou:

(ZP2) var(Y ) = a(φ)W ,

kde W je diagonální matice, její diagonální prvky mohou záviset na vektoru neznámýchparametrů β. Dále varianční matice var(Y ) může záviset na dalším parametru φprostřednictvím funkce a(φ). Parametr φ v této souvislosti nazýváme rušivýmparametrem, předpokládáme že rušivý parametr je nějakou konstantou, v testovanýchhypotézách nevystupuje, ale pro popis modelu je potřebný. Srovnáním s podmínkoulineárního regresního modelu (P2) vidíme, že v lineárním modelu byl rušivým parametremφ rozptyl σ2, funkce a byla identická funkce, tedy a(σ2) = σ2 a matice W byla rovnajednotkové matici I .




Konečně se ve zobecněném lineárním modelu podmínka (P4) zobecňuje a předpokládá semísto ní podmínka:

(ZP3) Rozdělení odezvy Y patří do exponenciální třídy rozdělení,

přičemž exponenciální třída rozdělení je speciální skupina rozdělení, která zahrnuje celouřadu známých diskrétních i spojitých rozdělení. Patří do ní např. rozdělení binomické,Poissonovo, normální, exponenciální, gamma a další.


Zobecněný lineární model Exponenciální třída rozdělení

Exponenciální třída rozdělení

Předpokládejme dále, že je dán systém hustot f (y ;λ), kde y je proměnná a λ je neznámýparametr. Pro jednoduchost budeme předpokládat, že parametr λ je jednorozměrnýreálný parametr. Dále budeme předpokládat, že daný systém hustot vyhovuje jistýmpodmínkám regularity, které zaručí korektnost dále prováděných matematických operací.

Budeme říkat, že rozdělení pravděpodobnosti má hustotou f (y ;λ) exponenciálního typu(stručněji, že rozdělení je exponenciálního typu), když existují funkce r(λ) a q(λ)parametru λ a funkce s(y) a t(y) reálné proměnné y tak, že jejich prostřednictvím lzehustotu f (y ;λ) vyjádřit ve tvaru

f (y ;λ) = exp {t(y)q(λ) + r(λ) + s(y)} . (3)

Pozn. Je třeba upozornit na rozdíl mezi hustotou exponenciálního typu a hustotouexponenciálního rozdělení. Jde o dva zcela odlišné pojmy.




Příklad – Poissonovo rozdělení Po(λ)Hustota Poissonova rozdělení (tj. jeho pravděpodobnostní funkce podle úmluvy uvedenévýše) je tvaru

f (y ;λ) = e−λλy

y !pro y ∈ {0, 1, . . . }, λ > 0 je parametr.

Uvedenou hustotu lze snadno převést na tvar

f (y ;λ) = exp{y lnλ− λ+ ln(y !)}.

V uvedeném vztahu a rovněž v dalším textu funkce ln(x) značí přirozený logaritmus.Jestliže položíme t(y) = y , q(λ) = ln(λ), r(λ) = −λ a s(y) = y !, pak je ihned zřejmé, žehustota f (y ;λ) je tvaru (3) a je tedy exponenciálního typu.




Příklad – Exponenciální rozdělení Ex(λ)Hustota exponenciálního rozdělení je tvaru

f (y ;λ) = λe−λy pro y > 0, λ > 0 je parametr.

Snadno nahlédneme, že při volbě t(y) = y , q(λ) = −λ, r(λ) = ln(λ) a s(y) = 0dostaneme

f (y ;λ) = e−λy+ln(λ) = et(y)q(λ)+r(λ)+s(y),

takže je zřejmé, že hustota exponenciálního rozdělení je exponenciálního typu.




V obou uvedených příkladech je t(y) = y . Tato skutečnost motivuje zavedení následujícíterminologie. Říkáme, že hustota exponenciálního typu je v kanonickém tvaru, kdyžve vztahu (3) platí, že t(y) = y . Dále lze v hustotě exponenciálního typu (3), která jev kanonickém tvaru, provést reparametrizaci a zavést nový parametr θ vztahem θ = q(λ).Tento nový parametr θ pak nazýváme kanonickým parametrem.

V případě Poissonova rozdělení Po(λ) je kanonickým parametrem parametr θ = ln(λ)a v případě exponenciálního rozdělení Ex(λ) je kanonickým parametrem parametrθ = −λ.




V některých situacích s hustotou exponenciálního typu tvaru (3) nevystačíme. Často sev praxi stává, že pravděpodobnostní rozdělení, s nimiž pracujeme, obsahují rušivýparametr φ. Ten sice není bezprostředně středem našeho zájmu, ale jak již bylo zmíněnonásledně po zavedení podmínky (ZP2) v definici zobecněného lineárního modelu, je třebavěnovat mu pozornost i přes to, že testované hypotézy na něm nezávisí.

Roli rušivého parametru lze demonstrovat na jednoduchém případě s normálnímrozdělením N(µ, σ2), kdy je třeba testovat hypotézu o jeho střední hodnotě µpři neznámém rozptylu σ2. Pak tento rozptyl σ2 vstupuje do rozhodovacího procesu, alev nulové hypotéze, která se týká se pouze parametru µ, se neobjevuje. V popsané situacije tedy rušivým parametrem φ parametr σ2.




V dalších úvahách budeme i nadále rušivý parametr označovat písmenem φ a budemeuvažovat rozdělení s hustotou exponenciálního typu v kanonickém tvaru s parametrem θ,s rušivým parametrem φ a s hustotu f (y ; θ, φ) tvaru

f (y ; θ, φ) = exp{yθ − b(θ)

a(φ)+ c(y , φ)

}, (4)

kde b(θ), a(φ) a c(y , φ) jsou dané funkce svých argumentů. Snadno lze najít jejichvyjádření pomocí funkcí t(y), q(λ), r(λ) a s(y) použitých v definičním vztahu (3).Porovnáním (3) a (4) zjistíme, že v (3) je a(φ) = 1 a dále platíθ = q(λ), b(θ) = b(q(λ)) = = r(λ), c(y , φ) = s(y). V tomto vztahu budeme parametr θopět nazývat kanonickým parametrem.




Příklad – Normální rozdělení N(µ, σ2)Hustota normálního rozdělení N(µ, σ2) má tvar

f (y ;µ, σ2) =1√2πσ

exp{−1

2(y − µ)2

σ2

}= exp

{− y 2

2σ2+

yµ

σ2− µ2

2σ2− 1

2ln(2πσ2)

}.

Když v tomto posledním vztahu položíme φ = σ2, a(φ) = φ, c(y , φ) = − 12 ( y2

φ+ ln(2πφ))

a b(µ) = µ2

2 , vidíme, že uvedená hustota f (y ;µ, σ2) patří do exponenciální třídy, jev kanonickém tvaru (4), θ = µ je kanonický parametr a φ = σ2 je rušivý parametr.


Zobecněný lineární model Výpočet charakteristik pro rozdělení exponenciálního typu

Výpočet charakteristik pro rozdělení exponenciálního typu

Nejdříve zavedeme funkci l parametru λ vztahem l(λ; y) = ln(f (y ;λ)) a nazveme jilogaritmickou věrohodnostní funkcí. Dále zavedeme náhodnou veličinu

U(λ) =∂l(λ;Y )

∂λ

a nazveme ji skórem. Rozptyl skóru D(U(λ)) zřejmě závisí na parametru λ a nazývá seFisherovou mírou informace o parametru λ, která je obsažena v rozdělení náhodnéveličiny Y . Budeme ji značit J(λ). Protože integrál z libovolné hustoty (nebo součetvšech hodnot pravděpodobnostní funkce) je roven jedné, snadno nahlédneme, že platí

E(U(λ)) = 0

a pomocí tohoto vztahu odvodíme, že pro druhou derivaci logaritmické věrohodnostnífunkce platí

−E(∂2l(λ;Y )

∂λ2

)= −E

(∂l(λ)

∂λ

)2= E(U2(λ)) = D(U(λ)) = J(λ).

Fisherovu míru informace o parametru λ dostáváme ve tvaru

J(λ) = −E(∂2l(λ;Y )

∂λ2

). (5)

Vztah (5) se někdy užívá pro definici Fisherovy míry informace o parametru λ.J. Neubauer, J. Michálek (Katedra ekonometrie UO) Zobecněný lineární model 16 / 49



Je-li hustota f exponenciálního typu tvaru (3), pak logaritmickou věrohodnostní funkcilze zapsat ve tvaru

l(λ; y) = t(y)q(λ) + r(λ) + s(y)

a pro její derivace (derivaci značíme čárkou u příslušné funkce) dostaneme

U(λ) =∂l(λ;Y )

∂λ= t(Y )q′(λ) + r ′(λ)

a

U ′(λ) =∂2l(λ;Y )

∂λ2= t(Y )q′′(λ) + r ′′(λ).

Odtud, protože E(U(λ)) = 0, lze vyjádřit střední hodnotu a rozptyl statistiky t(y)ve tvaru

E(t(Y )) = − r ′(λ)

q′(λ), (6)

aD(t(Y )) =

1[q′(λ)]3

[q′′(λ)r ′(λ)− q′(λ)r ′′(λ)

]. (7)

Vztahy (6) a (7) dávají návod, jak snadno nalézt střední hodnotu a rozptyl rozdělení,která mají hustotu exponenciálního typu tvaru (3).




Je-li hustota f (y ; θ) v kanonickém tvaru (4), lze srovnáním s hustotou (3) získatλ = θ, t(y) = y , q(θ) = θ

a(φ), r(θ) = − b(θ)

a(φ), s(y) = c(y , φ) a ze vzorců (6) a (7) plyne,

žeµ = E(Y ) = b′(θ) (8)

aD(Y ) = b′′(θ)a(φ). (9)

Ze vzorce (9) plyne, že rozptyl D(Y ) je součinem dvou funkcí. První činitel b′′(θ) jefunkcí kanonického parametru θ, a když existuje inverzní funkce b′−1 k funkci b′, plyne ze(8), že θ = b′−1(µ). Když položíme V (µ) = b′′(b−1′(µ)), lze rozptyl ve (9) zapsat vetvaru součinu D(Y ) = V (µ)a(φ), kde první činitel V (µ) závisí pouze na µ a druhý a(φ)závisí pouze na rušivém parametru φ. Dostaneme tedy, že pro rozdělení s hustotouexponenciálního typu v kanonickém tvaru (4) platí

E(Y ) = µ = b′(θ) a D(Y ) = V (µ)a(φ). (10)

Z uvedeného vztahu je dobře patrné, že rozptyl uvažovaného rozdělení při dané hodnotěrušivého parametru závisí pouze na střední hodnotě a tato závislost je popsána funkcíV (µ). Proto funkci V (µ) budeme dále nazývat variační funkcí. Variační funkce máv teorii zobecněných lineárních modelů důležité místo.


Zobecněný lineární model Volba linkovací funkce

Volba linkovací funkce

Budeme se zabývat otázkou, jak vhodně zvolit linkovací funkci g zavedenou v definicizobecněného lineárního modelu v podmínce (ZP1). Je-li hustota, s níž pracujeme,v kanonickém tvaru (4), můžeme jednoduše zavést tzv. kanonickou linkovací funkci g .Položme

η = θ = θ(µ), (11)

a odtud užitím podmínky (ZP1) dostaneme, že linkovací funkce g je dána vztahem

g(µ) = θ(µ).

Srovnáním (8) s podmínkou (ZP1) vidíme, že pro tuto linkovací funkci platí

g(µ) = b′−1(µ). (12)

Funkci g zavedenou vztahem (11) pak nazýváme kanonickou linkovací funkcí.




Při aplikacích zobecněných lineárních modelů se často pracuje s rozdělením normálním,binomickým, Poissonovým a gamma. Všechna tato rozdělení jsou exponenciálního typua lze ji zapsat v kanonickém tvaru (4). V následujícím přehledu jsou pro tato rozděleníuvedeny funkce b, a a c, dále střední hodnota µ, kanonická linkovací funkce g a variančnífunkce V (µ).

Normální rozdělení N(µ, σ2)

Hustota: f (y ;µ, σ2) = 1√2πσ

exp{− 12

(y−µ)2

σ2

}Parametry: µ ∈ (−∞,∞), σ > 0

Obor hodnot: (−∞,∞)Kanonický parametr: θ = µ Rušivý parametr: φ = σ2

Funkce: b(θ) = µ2

2 , a(φ) = φ, c(y , φ) = − 12 ( y2

φ+ ln(2πφ))

Střední hodnota: µ = µ(θ) = E(Y ; θ))= θKanonická linkovací funkce: g(µ) = µVariační funkce: V (µ) = 1




Rozdělení relativní četnosti tj. binomické rozdělení Bi(m, π)/mHustota: f (y ;m, π) =

(mmy

)πmy (1− π)m−my , Parametry: m ∈ {1, 2, . . . }, π ∈ (0, 1)

Obor hodnot:{

0, 1m, 2m, . . . , m−1

m, 1}

Kanonický parametr: θ = ln π1−π Rušivý parametr: φ = 1

m

Funkce: b(θ) = ln(1 + eθ), a(φ) = φ, c(y , φ) = ln(mmy

)Střední hodnota: µ = µ(θ) = E(Y ; θ)) = eθ

1+eθ

Kanonická linkovací funkce: logitová: g(µ) = ln( µ1−µ )

Variační funkce: V (µ) = µ(1− µ)

Poissonovo rozdělení Po(λ)Hustota: f (y ;λ) = e−λ λ

y

y !Parametr: λ > 0

Obor hodnot: {0, 1, 2, . . . }Kanonický parametr: θ = ln(λ) Rušivý parametr: φ = 1Funkce: b(θ) = eθ, a(φ) = 1 c(y , φ) = − ln(y !)Střední hodnota: µ = µ(θ) = E(Y ; θ)) = eθ

Kanonická linkovací funkce: g(µ) = ln(µ)Variační funkce: V (µ) = µ




Rozdělení gamma G(α, ν)Hustota: f (y ;α, ν) = 1

Γ(ν)( να

)νe−ναyyν−1 Parametry: α > 0, ν > 0

Obor hodnot: (0,∞)Kanonický parametr: θ = − 1

αRušivý parametr: φ = ν−1

Funkce: b(θ) = − ln(−θ), a(φ) = φ, c(y , φ) = ν ln(νy)− ln(y)− ln(Γ(ν))Střední hodnota: µ = µ(θ) = E(y ; θ)) = − 1

θ

Kanonická linkovací funkce: g(µ) = − 1µ

Variační funkce: V (µ) = µ2




V řadě experimentálních situací, zejména při výběrech malého rozsahu, se upřednostňujekvalitní proložení modelové funkce daty před optimálními statistickými vlastnostmimodelu. V této situaci se potom využívají nejen kanonické linkovací funkce, ale i linkovacífunkce jiného typu, které vedou k dobrým proložením.

a) Probitová linkovací funkceη = Φ−1(µ),

kde Φ−1 je inverzní funkce k distribuční funkci standardizovaného normálníhorozdělení. Tato linkovací funkce se používá v probitové analýze.

b) Komplementární log-log linkovací funkce

η = ln(− ln(1− µ)).

Komplementární log-log funkci lze získat jako inverzní funkci k distribuční funkcirozdělení extrémního typu, Gumbelova rozdělení.

c) Mocninná linkovací funkce

η = µκ pro κ > 0 a η = lnµ pro κ→ 0

nebo

η =µκ − 1κ

pro κ > 0 a η = lnµ pro κ→ 0.

V obou těchto transformacích je potřeba nejdříve provést odhad parametru κ.J. Neubauer, J. Michálek (Katedra ekonometrie UO) Zobecněný lineární model 23 / 49

Zobecněný lineární model ML odhad parametrů zobecněného lineárního modelu

Odhad parametrů zobecněného lineárního modelu metodou maximálnívěrohodnosti

Předpokládejme, že je dáno n nezávislých náhodných veličin Y1, . . . ,Yn, které se řídízobecněným lineárním modelem s linkovací funkcí g a s hustotou exponenciálního typuv kanonickém tvaru (4). Hustota veličiny Yi závisí na parametru θi i = 1, . . . , n.Předpokládejme, že rušivý parametr φ je známý pro všechna pozorování Y1, . . . ,Yn.Pro střední hodnotu Yi dostaneme

µi = E(Yi ) = b′(θi ), i = 1, . . . , n. (13)

Pomocí linkovací funkce g lze lineární prediktor

ηi = β1xi1 + · · ·+ βkxik (14)

vyjádřit jako funkci střední hodnoty µi ve tvaru

ηi = g(µi ), i = 1, . . . , n. (15)

Uvedené vztahy využijeme při odvozování věrohodnostních rovnic pro výpočet odhadůneznámých parametrů β1, . . . , βk .




Označíme-li li = ln f (yi ; θi , φ) logaritmickou věrohodnostní funkci náhodné veličiny Yi ,dostaneme logaritmickou věrohodnostní funkci náhodného vektoru Y = (Y1, . . . ,Yn)′ vetvaru

L(β) = lnn∏

i=1

f (yi ; θi , φ) =n∑

i=1

ln f (yi ; θi , φ) =n∑

i=1

li (θi , φ; yi ).

Označení L(β) je použito proto, aby bylo zdůrazněno, že parametry θi závisí naparametrech β1, . . . , βk , jak je patrno ze vztahů (13), (14) a (15). Maximálně věrohodnéodhady neznámých parametrů β1, . . . , βk nalezneme maximalizací logaritmickévěrohodnostní funkce L(β). Vyjdeme z věrohodnostních rovnic

∂L

∂βj= 0; j = 1, . . . , k.

Nejdříve zavedeme skórový vektor U = U(β) vzhledem k vektorovému parametru βvztahem

U(β) =

(∂L

∂β1, . . . ,

∂L

∂βk

)′.

a věrohodnostní rovnice přepíšeme do maticového tvaru

U(β) = 0. (16)




Pro j-tou rovnici potom dostaneme

Uj(β) =∂L

∂βj=

n∑i=1

∂li∂βj

= 0, j = 1, . . . , k. (17)

Po výpočtu derivací uvedených v (17) a po jejich dosazení do (16) lze přepsatvěrohodnostní rovnice (16) do tvaru

n∑i=1

yi − µi

D(Yi )xij∂µi

∂ηi= 0, j = 1, . . . , k. (18)

Dále pomocí inverzní funkce h = g−1 k linkovací funkci g lze získat vyjádřenívěrohodnostních rovnic (18) ve tvaru

n∑i=1

yi − µi

D(Yi )h′(ηi )xij =

n∑i=1

yi − b′(ηi )

D(Yi )h′(ηi )xij = 0, j = 1, . . . , k. (19)




Vzhledem k tomu, že linkovací funkce ηi = g(µi ) je obecně nelineární funkcí a středníhodnoty µi i rozptyl D(Yi ) závisí na parametrech β1, . . . , βk obecně nelineárně, jsourovnice maximální věrohodnosti (19) obecně nelineární rovnice pro parametry β1, . . . , βk .Snadno lze nahlédnout, že rovnici (19) lze zapsat v maticovém tvaru. Když označímeµ = (µ1, . . . , µn)′, zavedeme diagonální matici V = diag{D(Y1), . . . ,D(Yn)} a položíme

F =

(∂µi

∂βj

)i = 1, . . . , nj = 1, . . . , k

=

(∂µi

∂ηixij

)i = 1, . . . , nj = 1, . . . , k

=(xijh′(ηi )

)i = 1, . . . , nj = 1, . . . , k

= DhX ,

kde

X =

x11 · · · x1k...

...xn1 · · · xnk ,

a Dh = diag(h′(η1), . . . , h

′(ηn)).




Pak věrohodnostní rovnice (19) mají tvar

F ′V−1(Y − µ) = X ′DhV−1(Y − µ) = 0. (20)

Při kanonické volbě linkovací funkce platí, že Dh = 1a(φ)

V a věrohodnostní rovnice (19) seredukují na jednoduchý tvar

X ′(Y − µ) = 0.

Jejich řešení se provádí iteračními technikami.



Odhad parametrů zobecněného lineárního modelu metodou maximálnívěrohodnosti – příklad

Uvažujme data z tabulky s odezvou Y a jedním regresorem x .

x −1 −1 0 0 0 0 1 1 1y 2 3 6 7 8 9 10 12 15

Obrázek: Poissonovská regrese




S rostoucí střední hodnotou odezvy roste její variabilita (viz obrázek), a proto budemedata modelovat pomocí poissonovské regrese. Připomeňme, že rozptyl a střední hodnotaPoissonova rozdělení jsou stejné a rovny jeho parametru λ . Vzhledem k tomu, žeobrázku je patrná lineární vazba odezvy Y na regresoru x , vyjdeme z modelu

E(Yi ) = µi = λi = β1 + β2xi .

Cílem je odhadnout neznámé parametry β1 a β2. Využijeme k tomu rovnice (20).Zřejmě je k = 2 dále n = 9 a matice

X =

x11 x12...

...x91 x92,

=

1 x1...

...1 x9,

.




Dále matice

V = diag{D(Y1), . . . ,D(Y9)} = diag{β1 + β2x1, . . . , β1 + β2x9}

aDh = diag(h′(η1), . . . , h

′(η9)) = I ,

tedy Dh je jednotková matice, protože linkovací funkce je identita, h(x) = x a h′(x) = 1.Můžeme sestavit rovnice (20), to je systém nelineární rovnic pro neznámé parametryβ1, β2 a pro jeho řešení je nutné použít nějakou metodu numerické matematiky.




Obrázek: Poissonovská regrese – odhady parametrů získané metodou „Fisher Scoringÿ po3 iteracích jsou β1 = 7,4516 a β2 = 4,9353




Ukážeme speciální případ věrohodnostních rovnic pro situaci, kdy odezvy Yi majínormální rozdělení N(µi , σ

2). Použijeme-li kanonickou linkovací funkciµi = ηi = β1xi1 + · · ·+ βkxik , pak ∂µi

∂ηi= 1 a dosazením do věrohodnostních rovnic (18)

ihned dostanemen∑

i=1

yi − µi

σ2xij = 0, j = 1, . . . , k.

Vynásobíme-li tuto rovnici rušivým parametrem σ2, abychom jej eliminovali, dostanemerovnici

n∑i=1

(yi −

k∑s=1

βsxis

)xij = 0, j = 1, . . . , k.

Její maticový tvar je X ′Xβ = X ′Y . Je tedy zřejmé, že systém věrohodnostních rovnic(16) v tomto speciálním případě přechází v systém normálních rovnic, které se používajív lineárním regresním modelu k odhadu parametru β metodou nejmenších čtverců.Na uvedeném příkladu je také názorně vidět, že věrohodnostní rovnice (18) lze považovatza zobecnění normálních rovnic při přechodu od klasického lineárního regresního modeluke zobecněnému lineárnímu modelu.


Zobecněný lineární model Statistická inference v zobecněných lineárních modelech

Statistická inference v zobecněných lineárních modelech

Statistická inference o parametrech β1, . . . , βk , z níž se při analýze zpracovávanéhodatového souboru vychází, je založena na vlastnostech odhadů získaných metodoumaximální věrohodnosti.ro statistickou analýzu je důležitý výsledek, že v případě, kdy rovnice věrohodnosti majířešení β, které je konzistentním odhadem parametru β, má náhodný vektor

√n(β − β)

asymptoticky normální rozdělení Nk(0, J(β)−1), kde

J(β) = −E(∂2l(β;Y )

∂βi∂βj

)i = 1, . . . , kj = 1, . . . , k

. (21)

je Fisherova informační matice (zobecnění Fisherovy informační míry na vektorovýparametr) a používá se k výpočtu asymptotické varianční matice odhadovanýchparametrů.




V praktických situacích se tedy vychází z předpokladů asymptotické normality odhadů βa neznámý parametr β se ve varianční matici J(β)−1 nahrazuje jeho maximálněvěrohodným odhadem. Z uvedených výsledků pak plyne, že statistika

W = (β − β)′J(β)(β − β)

má asymptoticky χ2 rozdělení o k stupních volnosti. Statistika W se nazývá Waldovastatistika. Lze ji použít k testování nulové hypotézy β = β0 alternativou je, že nulováhypotéza neplatí, β0 je daný vektor.

Pomocí Taylorovy aproximace věrohodnostní funkce L(β; Y ) v bodě β = β lze ukázat, žestatistika

D∗ = 2(L(β)− L(β))

je asymptoticky ekvivalentní se statistikou W a má tedy také asymptoticky χ2 rozdělenío k stupních volnosti, když β je skutečná hodnota tohoto parametru. Tato statistika senazývá deviance, používá pro testování adekvátnosti modelu, lze ji stejně jako Waldovustatistiku použít pro testování nulové hypotézy β = β0, respektive pro testovánívhodnosti redukovaného modelu.




Pro testování nulové hypotézy, že zvolený model dobře vysvětluje data, se používásrovnání zvoleného modelu s modelem maximálním, který se též nazývá saturovanýmmodelem. Uvažujme daný, pevně zvolený zobecněný lineární model s pevně danoulinkovací funkcí g a s pevně daným rozdělením odezvy, které je exponenciálního typu.Pak saturovaným modelem příslušným k danému uvažovanému modelu je zobecněnýlineární model, který má stejnou linkovací funkci a stejné rozdělení odezvy jakouvažovaný model a vektor jeho parametrů βmax má n složek. Pro saturovaný modelzřejmě platí, že odhad střední hodnoty µi je roven Yi tedy µi = Yi , i = 1, . . . , n, a toznamená, že saturovaný model úplně vysvětluje data. Statistika

D∗ = 2(L(βmax)− L(βmax))

má asymptoticky χ2 rozdělení o n stupních volnosti.

Jestliže platí nulová hypotéza, že model s k-rozměrným parametrem β vysvětluje datastejně dobře jako model saturovaný, platí L(βmax)− L(β)

.= 0. Označíme βmax odhad

βmax v saturovaném modelu a podobně β odhad β v uvažovaném modelu. Můžemezavést statistiku

D = 2[L(βmax)− L(βmax))− (L(β)− L(β)) + (L(βmax)− L(β)].




Protože první člen na pravé straně uvedeného výrazu má asymptotické rozdělení χ2(n),druhý má asymptotické rozdělení χ2(k) a třetí je za platnosti nulové hypotézy přibližněroven nule, lze ukázat, že za platnosti nulové hypotézy má statistika

D = 2(L(βmax)− L(β))

asymptoticky rozdělení χ2(n − k). Statistika D je vhodnou testovací statistikou proověření nulové hypotézy, že uvažovaný model popisuje data stejně dobře jako saturovanýmodel a také se nazývá deviancí. V některých situacích (např. ve výstupní sestavěprogramového systému R) se pro devianci D používá název reziduální deviance




Konečně v řadě statistických analýz bývá často potřeba testovat hypotézu, že danýmodel s k parametry lze redukovat na submodel s menším počtem q parametrů.Označíme-li v této situaci Dk devianci pro model s k parametry a Dq devianci pro models q parametry, lze ukázat, že rozdíl

∆D = Dq − Dk

má asymptoticky rozdělení χ2 s k − q stupni volnosti. Odtud plyne, že nulovou hypotézu,že model s k parametry lze redukovat na model s q parametry, zamítneme na hladiněvýznamnosti α, když ∆D > χ21−α(k − q). V situaci, kdy redukovaný model obsahujepouze jeden parametr, tedy q = 1 (např. když lineární prediktor η = β1), nazývá sedeviance Dq ve výstupních programech systému R nulovou deviancí.




V případech, kdy je potřeba posoudit shodu modelu s daty a eliminovat vliv počtuparametrů uvažovaných modelů, lze pro srovnání využít statistiku AIC (z anglickéhoAkaike information criterion), která je založena na logaritmické věrohodnostní funkci a jedefinována vztahem

AIC = −2L(β) + 2k, (22)

kde k je počet odhadovaných parametrů modelu. Statistika AIC je součástí výstupnísestavy programů ve výpočetním prostředí R v modulech, které umožňují provádětvyhodnocení zobecněných lineárních modelů.

Ještě poznamenejme, že jiná míra pro testování shody modelu s daty je Pearsonovastatistika

χ2 =n∑

i=1

(Yi − µi )2

V (µi ),

která má asymptoticky rozdělení χ2(n − k).




Uvedené výsledky vycházely z předpokladu, že rušivý parametr je známý. Pokud bychompředpokládali, že rušivý parametr není známý, je možné jej odhadnout metodoumaximální věrohodnosti a příslušné testy modifikovat. K jednoduchému odhadu funkcerušivého parametru a(φ) dospějeme využitím Pearsonovy statistiky, která má v situaci,kdy uvažujeme rušivý parametr, asymptoticky rozdělení a(φ)χ2(n − k). Tedy χ2/a(φ) mározdělení χ2. Protože E(χ2) ∼= n − k, lze statistiky χ2 použít k odhadu rušivéhoparametru. Výsledkem je odhad a(φ) tvaru

a(φ) =χ2

n − k=

1n − k

n∑i=1

(Yi − µi )2/V (µi ).




V případě, kdy je potřeba testovat hypotézu, že daný model s k parametry lze redukovatna submodel s menším počtem q parametrů lze ukázat, že rozdíl

∆D = Dq − Dk

má asymptoticky rozdělení aχ2 s k − q stupni volnosti. Odtud plyne, že nulovouhypotézu, že model s k parametry lze redukovat na model s q parametry, zamítneme nahladině významnosti α, když 1

a∆D > χ21−α(k − q). V některých situacích je jednodušší

využít pro test této nulové hypotézy statistiku

F =Dq − Dk

Dk· n − k

k − q,

která má asymptoticky Fisher-Snedecorovo F rozdělení o k − q a n− k stupních volnosti.Tím se eliminuje vliv rušivého parametru.



Statistické inference pro binomický model

Budeme předpokládat, že Y1, . . . ,Yn jsou nezávislé náhodné veličiny, y1, . . . , yn jejichrealizace a dále předpokládáme, že Yi má binomické rozdělení Bi(ni , πi ), přičemž

µi = E(Yi ) = niπi = nih(ηi ) = nih(β1xi1 + · · ·+ βkxik), i = 1, . . . , n, (23)

kde h odpovídá volbě linkovací funkce g . Pak logaritmická věrohodnostní funkce je tvaru

L(β) =n∑

i=1

[yi lnπi − yi ln(1− πi ) + ni ln(1− πi ) + ln

(niyi

)].

V saturovaném modelu je yi odhadem µi a tedy odhadem πi je v saturovaném modelurelativní četnost yi

ni. Dále v uvažovaném modelu (23) lze parametry πi odhadnout

metodou maximální věrohodnosti (řešením rovnice (19) při vhodně zvolené linkovacífunkci). Když položíme yi = ni πi , kde πi = h(ηi ) = nih(β1xi1 + · · ·+ βkxik) jsoumaximálně věrohodné odhady parametrů πi v modelu (23), můžeme pomocí logaritmickévěrohodnostní funkce L(β) zapsat devianci D∗ ve tvaru

D = 2[L(βmax)− L(β)] = 2n∑

i=1

[yi ln

(yiyi

)+ (ni − yi ) ln

(ni − yini − yi

)].



Statistické inference pro binomický model

Pro kanonickou linkovací funkci dostaneme logistický regresní model

ln(

πi

1− πi

)= ηi = β1xi1 + · · ·+ βkxik

nebo ekvivalentně

πi =exp{β1xi1 + · · ·+ βkxik}

1 + exp{β1xi1 + · · ·+ βkxik}.

Dále pro probitovou linkovací funkci dostaneme probitový model

Φ−1(πi ) = ηi = β1xi1 + · · ·+ βkxik

nebo ekvivalentněπi = Φ(β1xi1 + · · ·+ βkxik),

kde Φ je distribuční funkce standardizovaného normálního rozdělení N(0, 1). Použijemelog-log linkovací funkci, dostaneme model extrémního typu

πi = 1− exp[− exp(β1xi1 + · · ·+ βkxik)].



Statistické inference pro binomický model – příklad

V rámci marketingového průzkumu byl zjišťován počet zájemců o koupi nového vozu.Průzkum byl proveden u 481 domácností, v každé byl zjišťován měsíční příjemdomácnosti na jednoho člena domácnosti, značíme jej X a dále byla zjišťována odpověďna otázku, zda mají členové domácnosti v tříletém horizontu zájem o koupi nového vozu.Cílem bylo modelovat počet zájemců (domácností) o koupi nového vozu v závislosti napříjmu X . Příslušná data jsou uvedena v tabulce. V prvním sloupci tabulky je uvedenzaokrouhlený příjem na tisíce Kč. Dále ve druhém sloupci tabulky je uveden početdomácností s daným zaokrouhleným příjmem a ve třetím sloupci tabulky je uveden početdomácností, které projevily o koupi nového vozu ve tříletém horizontu zájem.

Příjem xi [v tisících Kč] Počet domácností ni Počet zájemců yi16 59 617 60 1318 62 1819 56 2820 63 5221 59 5322 62 6123 60 60

Tabulka: Zaokrouhlený příjem na jednoho člena domácnosti xi , celkové počty domácností niodpovídající příjmové skupině xi a odpovídající počty domácností se zájmem o koupi nového vozuyi . Dále jsou uvedeny odhady počtu zájemců o koupi nového vozu yi získané pomocí logitového,probitového a extrémního modelu.




Počet zájemců byl modelován pomocí zobecněného lineárního modelu s logitovou,probitovou a komplementární log-log linkovací funkcí v závislosti na zaokrouhlenémměsíčním příjmu, který připadá na jednoho člena domácnosti (proměnná x). Pro predikcipravděpodobnosti π(x), že při daném příjmu x bude mít domácnost o koupi nového vozuzájem byl použit lineární prediktor η = β1 + β2x . Logistický model byl tvaru

π(x) =exp{β1 + β2x}

1 + exp{β1 + β2x}.

Probitový model byl tvaruπ(x) = Φ(β1 + β2x),

a model extrémního typu byl tvaru

πi = 1− exp[− exp(β1xi1 + β2xi2)].




Odhadovaná Logit model Probit model Model extrémního typuveličina Odhad Odhad Odhad

β1 −18,23*** −10,49*** −11,89***Sm.odchylka β1 1,582 0,816 1,002

β2 0,98*** 0,56*** 0,61***Sm. odchylka β2 0,084 0,043 0,051D(rezid. deviance) 7,56 (6 st. v.) 6,48 (6 st. v.) 3,72 (6 st. v.)Nulová deviance 284,20 (7 st. v.) 284,20 (7 st. v.) 284,20 (7 st. v.)

AIC 37,76 36,68 33,924

Tabulka: Výsledky statistických vyhodnocení. Odhady parametrů, jejich směrodatné chyby,nulová a reziduální deviance, AIC kritérium. *** u hodnoty parametru značí jeho statistickouvýznamnost na hladině významnosti nižší než 0,001.




V daném příkladě je počet hodnot zaokrouhlených příjmů n = 8 a počet odhadovanýchparametrů je k = 2. V případě, že uvedený model dobře postihuje statistickou vazbupravděpodobnosti π(x) na příjmu x , má deviance D přibližně rozdělení χ2(6) (stupněvolnosti jsou uvedeny v závorce u příslušné hodnoty vypočtené statistiky). Protože 95%kvantil rozdělení χ2(6) je 12,59, žádný z uvedených modelů nelze zamítnout. Nejmenšíreziduální devianci vykazuje model extrémního typu. Rovněž oba parametry β1 a β2 jsouv každém uvažovaném modelu statisticky vysoce významné, *** u jejich hodnoty značístatistickou významnost na hladině významnosti nižší než 0,001.




Obrázek: Odhady pravděpodobnosti π(x), že domácnost uvažuje o koupi nového vozu v závislostina příjmu x získané pro logistický model (červeně), probitový model (modře) a model extrémníhotypu (zeleně).



Použité zdroje

AGRESTI, A., 2002. Categorical Data Analysis. John Wiley & Sons.

ANDĚL, J., 1978. Matematická statistika. Praha: SNTL.

ANDĚL, J., 2003. Statistické metody. Praha: Matfyzpress.

ANDĚL, J., 2005. Základy matematické statistiky. 1. vyd. Praha: Matfyzpress.

DOBSON, A., 2008. An Introduction to Generalized Linear Models. London:Chapman & Hall.


Ekonometrie Jiłí Neubauer, Jaroslav...

Documents

Transcript of Ekonometrie Jiłí Neubauer, Jaroslav...