7. přednáška

Základy testování hypotéz

Testování hypotéz

V kvantitativně orientovaných výzkumech ověřujeme hypotézy o vztazích mezi jevy – tzv. věcné hypotézy.

• Chlapci dosahují lepších výsledků ve fyzice než dívky. Operacionalizujeme - forma statistické hypotézy:• Průměrný počet bodů v didaktickém testu z fyziky je u

chlapců vyšší než průměrný počet bodů u dívek. Testování hypotéz - rozhodování• o platnosti nebo neplatnosti hypotézy vyslovené

na základě pozorování na výběrovém souboru• předem dané riziko omylu o pravdivosti zkoumané

hypotézy

Nulová hypotéza

Statistickou hypotézu ověřujeme proti nulové hypotéze.

Nulová hypotéza = domněnka, která tvrdí, že mezi proměnnými, které zkoumáme, vztah není. Dokážeme-li, že nulová hypotéza neplatí, přijímáme alternativní hypotézu.

H0: Chlapci i dívky budou dosahovat v didaktickém testu z fyziky stejných výsledků.

Co zkoumáme?

• Souvisejí spolu dané proměnné (jevy)? Jaké je riziko omylu pro přijetí této hypotézy? – statistické testy významnosti

• Jestliže spolu jevy souvisejí, jak těsný je jejich vztah (míra závislosti mezi jevy)?– koeficienty korelace, regrese, kontingence,

atd.

Statistické testy významnosti

Existuje mezi proměnnými statisticky významný (signifikantní) vztah? (Tj. je velmi nepravděpodobné, že by vztah vznikl náhodou.)

Hladina významnosti = pravděpodobnost toho, že jsme neoprávněně odmítli nulovou hypotézu, tedy přijali hypotézu alternativní.

Možnosti H0 nezamítneme H0 zamítneme

H0 platí k chybě nedochází

chyba 1. druhu, označujeme α

H0 neplatí chyba 2. druhu, označujeme β

k chybě nedochází

Druhy statistický testů významnosti

Týká se nulová hypotéza některého parametru rozdělení náhodné veličiny?– parametrické – vyžadují splnění řady předběžných podmínek,

např. rozdělení náhodné veličiny určitého typu (nejčastěji normální)

– neparametrické – např. když není znám typ rozdělení náhodné veličiny, jsou univerzálnější, ale mají menší schopnost rozeznat odchylky od nulové hypotézy /a mohou odmítnout nulovou hypotézu jako nesprávnou), vyžadují větší počet případů

Jak jsme formulovali alternativní hypotézu?• např. nulová hypotéza typu a = b (a, aritmetický průměr

skupiny A = b, aritmetickému průměru skupiny B); – alternativní hypotéza: a > b – jednostranné testy– alternativní hypotéza: a ≠ b – oboustranné testy

Nominální, ordinální, kardinální?

Podle proměnných, se kterými pracujeme: • proměnné nominální (několik navzájem se

vylučujících hodnot, pracujeme většinou s jejich počty)

• proměnné ordinální (jsou nominální proměnné, u nichž hraje roli hierarchické uspořádání)

• proměnné kardinální (jsou všechny proměnné, které lze změřit)

Analýza nominálních dat

Test dobré shody chí-kvadrát ověřujeme, zda četnosti, které byly získány měřením, se odlišují od

teoretických četností, které odpovídají dané nulové hypotéze

Test nezávislosti chí-kvadrát pro kontingenční tabulku existuje souvislost mezi dvěma (pedagogickými) jevy, které byly

zachyceny pomocí nominálního i ordinálního měření)

Test nezávislosti chí-kvadrát pro čtyřpolní tabulkupro případy, že jevy, mezi kterými ověřujeme vztah, mohou

nabývat pouze dvou altenativních kvalit

Stupeň závislosti mezi jevy při nominálním měřenínapř. koeficient kontingence

Příklad - test dobré shody Chí-kvadrát (χ²)

V určitém roce zemřelo v ČR na následky dopravních nehod 114 dětí. Tato úmrtí byla rozdělena do jednotlivých měsíců roku tak, jak uvádí tabulka. Je počet úmrtí ve všech měsících stejný?

• H0 Počty úmrtí dětí při dopravních nehodách jsou v jednotlivých měsících roku stejné.

• HA Počty úmrtí dětí při dopravních nehodách se v jednotlivých měsících roku liší.

Příklad převzat z Chráska, 2007

Měsíc Pozorovaná četnost

P

Očekávaná četnost

O

P – O (P – O)2

leden 7

únor 7

březen 8

duben 10

květen 10

červen 9

červenec 14

srpen 12

září 10

říjen 12

listopad 7

prosinec 8

∑ 114

O

OP 2)(

O

OP 22 )(

Postup při testování statistické hypotézy:

1. Stanovte druh testu2. Zformulujte nulovou a alternativní hypotézu 3. Uveďte testové kritérium a stanovte počet stupňů

volnosti - uvést vzorec4. Vypočtěte testové kritérium5. Nalezněte tabulkové hodnoty6. Porovnejte vypočtené testové kritérium s tabulkovou

hodnotou7. Rozhodněte o nulové hypotéze8. Zformulujte závěrečný výrok

Měsíc Pozorovaná četnost

P

Očekávaná četnost

O

P – O (P – O)2

leden 7 9,5

únor 7 9,5

březen 8 9,5

duben 10 9,5

květen 10 9,5

červen 9 9,5

červenec 14 9,5

srpen 12 9,5

září 10 9,5

říjen 12 9,5

listopad 7 9,5

prosinec 8 9,5

∑ 114 114

O

OP 2)(

O

OP 22 )(

Měsíc Pozorovaná četnost

P

Očekávaná četnost

O

P – O (P – O)2

leden 7 9,5 -2,5

únor 7 9,5 -2,5

březen 8 9,5 -1,5

duben 10 9,5 0,5

květen 10 9,5 0,5

červen 9 9,5 -0,5

červenec 14 9,5 4,5

srpen 12 9,5 2,5

září 10 9,5 0,5

říjen 12 9,5 2,5

listopad 7 9,5 -2,5

prosinec 8 9,5 -1,5

∑ 114 114

O

OP 2)(

O

OP 22 )(

měsíc Pozorovaná četnost

P

Očekávaná četnost

O

P – O (P – O)2

leden 7 9,5 -2,5 6,25

únor 7 9,5 -2,5 6,25

březen 8 9,5 -1,5 2,25

duben 10 9,5 0,5 0,25

květen 10 9,5 0,5 0,25

červen 9 9,5 -0,5 0,25

červenec 14 9,5 4,5 20,25

srpen 12 9,5 2,5 6,25

září 10 9,5 0,5 0,25

říjen 12 9,5 2,5 6,25

listopad 7 9,5 -2,5 6,25

prosinec 8 9,5 -1,5 2,25

∑ 114 114

O

OP 2)(

O

OP 22 )(

Měsíc Pozorovaná četnost

P

Očekávaná četnost

O

P – O (P – O)2

leden 7 9,5 -2,5 6,25 0,658

únor 7 9,5 -2,5 6,25 0,658

březen 8 9,5 -1,5 2,25 0,237

duben 10 9,5 0,5 0,25 0,026

květen 10 9,5 0,5 0,25 0,026

červen 9 9,5 -0,5 0,25 0,026

červenec 14 9,5 4,5 20,25 2,132

srpen 12 9,5 2,5 6,25 0,658

září 10 9,5 0,5 0,25 0,026

říjen 12 9,5 2,5 6,25 0,658

listopad 7 9,5 -2,5 6,25 0,658

prosinec 8 9,5 -1,5 2,25 0,237

∑ 114 114 6,000

O

OP 2)(

O

OP 22 )(

Co jsme vypočítali? Vypočítaná hodnota χ2 je 6,000. Ukazuje rozdíl mezi pozorovanou a

očekávanou četností.Při rozhodování o platnosti nulové hypotézy porovnáváme vypočítanou

hodnotu testového kritéria s tzv. kritickou hodnotou. Příslušnou hodnotu hledáme v tabulkách• na zvolené hladině významnosti (pravděpodobnost nesprávného

odmítnutí nulové hypotézy) – volíme podle situace• pro určitý počet stupňů volnosti = počet řádků v tabulce, kterým je

možné teoreticky přiřknout libovolnou hodnotu (11 stupňů volnosti v našem případě)

V tabulkách – kritická hodnota pro hladinu významnosti 0,05 a 11 stupňů volnosti je 19,675, to je větší než vypočítaná hodnota.

H0 nelze odmítnout. H0 Počty úmrtí dětí při dopravních nehodách jsou v jednotlivých

měsících roku stejné.

Nová formulace hypotéz?

O

OP 2)(

Měsíc Pozorovaná četnost

P

Očekávaná četnost

O

P – O (P – O)2

leden 7 9,5 -2,5 6,25 0,658

únor 7 9,5 -2,5 6,25 0,658

březen 8 9,5 -1,5 2,25 0,237

duben 10 9,5 0,5 0,25 0,026

květen 10 9,5 0,5 0,25 0,026

červen 9 9,5 -0,5 0,25 0,026

červenec 14 9,5 4,5 20,25 2,132

srpen 12 9,5 2,5 6,25 0,658

září 10 9,5 0,5 0,25 0,026

říjen 12 9,5 2,5 6,25 0,658

listopad 7 9,5 -2,5 6,25 0,658

prosinec 8 9,5 -1,5 2,25 0,237

∑ 114 114 6,000

O

OP 22 )(

O

OP 2)(

Nová formulace

H0 Počty úmrtí dětí při dopravních nehodách v období od dubna do října jsou stejně velké jako četnosti úmrtí ve zbývajících měsících roku.

HA Počty úmrtí dětí při dopravních nehodách v období od dubna do října jsou větší než četnosti úmrtí ve zbývajících měsících roku.

Měsíc Pozorovaná četnost

P

Očekávaná četnost

O

P – O (P – O)2

duben - říjen

77 66,5 10,5 110,25 1,658

listopad - březen

37 47,5 -10,5 110,25 2,321

∑ 114 114 3,979

O

OP 22 )(

O

OP 2)(

Co nám vyšlo?H0 Počty úmrtí dětí při dopravních nehodách v období od dubna do října jsou stejně velké

jako četnosti úmrtí ve zbývajících měsících roku. HA Počty úmrtí dětí při dopravních nehodách v období od dubna do října jsou větší než

četnosti úmrtí ve zbývajících měsících roku.

Tabulka četností má 1 stupeň volnosti; kritická hodnota pro hladinu významnosti 0,05 je 3,841.

Odmítáme nulovou hypotézu a přijímáme hypotézu alternativní.

Měsíc Pozorovaná četnost

P

Očekávaná četnost

O

P – O (P – O)2

duben - říjen

77 66,5 10,5 110,25 1,658

listopad - březen

37 47,5 -10,5 110,25 2,321

∑ 114 114 3,979

O

OP 22 )(

O

OP 2)(

Co nám vyšlo?

HA Počty úmrtí dětí při dopravních nehodách v období od dubna do října jsou větší než četnosti úmrtí ve zbývajících měsících roku.

Tabulka četností má 1 stupeň volnosti; kritická hodnota pro hladinu významnosti 0,05 je 3,841.

Odmítáme nulovou hypotézu a přijímáme hypotézu alternativní.

Měsíc Pozorovaná četnost

P

Očekávaná četnost

O

P – O (P – O)2

duben - říjen

77 66,5 10,5 110,25 1,658

listopad - březen

37 47,5 -10,5 110,25 2,321

∑ 114 114 3,979

O

OP 22 )(

O

OP 2)(

Test nezávislosti chí-kvadrát pro kontingenční tabulku

Existuje souvislost mezi dvěma pedagogickými jevy, které byly zachyceny pomocí nominálního (i ordinálního) měření?

Časté při zpracování výsledků dotazníkových šetření.

Jak se studuje na koleji?

Příklad:Skupině 400 vybraných studentů byl předložen dotazník, ve kterém

byly mimo jiné dvě otázky:• Byl(a) jste ubytován(a) na kolejích? A Ano B Ne• Jaký byl Váš průměrný prospěch v loňském studijním roce?

– A lepší než 1,6– B 1,6 – 2,1– C horší než 2,1

Existuje vztah mezi tím, zda studenti bydlí na kolejích, a tím, jakých studijních výsledků dosahují?

H0 Mezi četnostmi odpovědí na obě uvedené otázky není závislost.HA Mezi odpověďmi respondentů na uvedené otázky je závislost. Zvolená hladina významnosti α = 0,05.

(Chráska 2007)

Jak se studuje na koleji?

A

lepší než 1,6

B

1,6 – 2,1

C

horší než 2,1

∑

bydlel(a) na koleji

39 107 93 239

nebydlel(a) na koleji

41 73 47 161

∑ 80 180 140 400

Jak se studuje na koleji?

A

lepší než 1,6

B

1,6 – 2,1

C

horší než 2,1

∑

bydlel(a) na koleji

39 (47,8) 107 93 239

nebydlel(a) na koleji

41 73 47 161

∑ 80 180 140 400

8,47400

23980

O

O

OP 22 )(

Jak se studuje na koleji?

A

lepší než 1,6

B

1,6 – 2,1

C

horší než 2,1

∑

bydlel(a) na koleji

39 (47,8)

107 (107,55)

93 (83,65) 239

nebydlel(a) na koleji

41 (32,2) 73 (72,45) 47 (56,35) 161

∑ 80 180 140 400

Jak se studuje na koleji?

A

lepší než 1,6

B

1,6 – 2,1

C

horší než 2,1

∑

bydlel(a) na koleji

39 (47,8)

1,620

107 (107,55)

0,003

93 (83,65)

1,045

239

nebydlel(a) na koleji

41 (32,2)

2,405

73 (72,45)

0,004

47 (56,35)

1,551

161

∑ 80 180 140 400

χ² = 6,628Počet stupňů volnosti: počet řádků zmenšený o jednu * počet sloupců

zmenšený o jednu = 1 *2 = 2Kritická hodnota na hladině významnosti 0,05 při dvou stupních volnosti je

5,991. Naše hodnota ji překračuje ► nulovou hypotézu zamítneme.

Existuje souvislost mezi bydlením (nebydlením) na kolejích a studijními výsledky studentů.

O

OP 22 )(

Kouří více studentů než studentek?

Test nezávislostí chí-kvadrát pro čtyřpolní tabulku• zvláštní případ kontingenční tabulky se dvěma řádky a dvěma

sloupci. Příklad:Náhodně vybraným vysokoškolským studentům (12 mužů a 36 žen)

byla položena otázka, zda kouří. Na základě dat máme rozhodnout, zda studenti kouří častěji než studentky. Výsledky jsou v tabulce.

kouří nekouří ∑

muži 11 1 12

ženy 15 21 36

∑ 26 22 48

Kouří více studentů než studentek?

H0 Frekvence kouření je u mužů i žen stejně velká.

HA Frekvence kouření je u mužů a žen rozdílná.

Zvolená hladina významnosti 0,01.

kouří nekouří ∑

muži 11 1 12

ženy 15 21 36

∑ 26 22 48

))()()((

)( 22

dcdbcaba

bcadn

kouří nekouří ∑

muži a b a+b

ženy c d c+d

∑ a+c b+d n

Kouří více studentů než studentek?

H0 Frekvence kouření je u mužů i žen stejně velká.

HA Frekvence kouření je u mužů a žen rozdílná.

Zvolená hladina významnosti 0,01.

kouří nekouří ∑

muži 11 1 12

ženy 15 21 36

∑ 26 22 48

))()()((

)( 22

dcdbcaba

bcadn

kouří nekouří ∑

muži a b a+b

ženy c d c+d

∑ a+c b+d n

χ² = 9,063; tabulková hodnota při jednom stupni volnosti na hladině významnosti 0,01 = 6,635.

Naměřená hodnota ji překračuje.

Kouří více studentů než studentek?

H0 Frekvence kouření je u mužů i žen stejně velká.

HA Frekvence kouření je u mužů a žen rozdílná.

Zvolená hladina významnosti 0,01.

kouří nekouří ∑

muži 11 1 12

ženy 15 21 36

∑ 26 22 48

))()()((

)( 22

dcdbcaba

bcadn

kouří nekouří ∑

muži a b a+b

ženy c d c+d

∑ a+c b+d n

χ² = 9,063; tabulková hodnota při jednom stupni volnosti na hladině významnosti 0,01 = 6,635. Naměřená hodnota ji překračuje.

Frekvence kouření u mužů a žen je rozdílná.

Co znamená hladina významnosti?

Pro pravděpodobnost chyby 1. druhu (hladinu významnosti) požadujeme, aby nepřekročila předem dané číslo α blízké nule (zpravidla α = 0,05 nebo 0,01). Říkáme, že H0 byla či nebyla zamítnuta na hladině významnosti α.

Pokud zvolíme hladinu významnosti 0,05 (jinak zapsáno 5%), pak v 5 případech ze sta zamítáme statistickým testem hypotézu H0, která je platná a zamítnuta být neměla. S pravděpodobností 95% jsme tedy učinili správné rozhodnutí.

• V případě, kdy H0 nezamítáme, vyslovíme se o ní neurčitě a řekneme, že nezamítáme H0 na hladině významnosti α. Netvrdíme, že hypotézu H0 přijímáme!!

Možnosti H0 nezamítneme H0 zamítneme

H0 platí k chybě nedochází

chyba 1. druhu, označujeme α

H0 neplatí chyba 2. druhu, označujeme β

k chybě nedochází

Stupeň závislosti mezi jevy

Pomocí testu chí-kvadrát ►existence závislosti mezi dvěma pedagogickými jevy.

K posouzení stupně závislosti mezi jevy existují různé koeficienty: koeficient kontingence C, Čuprův koeficient, atd.

Koeficient kontingence C C nabývá hodnot 0 - 1; čím vyšší hodnota, tím vyšší stupeň

závislosti. !Ale dva koeficienty nelze srovnávat, pokud tabulky nemají

stejný počet řádků a sloupců! Částečně odstraníme výpočtem normovaného koeficientu kontingence.

2

2

n

C

r

rC

1max

maxC

CCnorm

Stupeň závislosti mezi jevy

Příklad: Jak se studuje na koleji?Vypočítaná hodnota χ²= 6,628Závěr: vztah mezi oběma proměnnými (prospěch,

bydlení na koleji) není příliš těsný.

2

2

n

C

r

rC

1max

maxC

CCnorm

181,0

2

12628,6400

628,6

normC