Pogreške u istraživanjima
Zašto?
http://www.ted.com/talks/ben_goldacre_battling_bad_science
Uvod
Pogrešno zaključivanje o uzročnoj povezanosti može nastati zbog: Slučajne pogreške (engl. random error) Sustavne pogreške (engl. systematic error)
Zabune (engl. confounding)
Osnovni pojmovi
Slučajna pogreška niska preciznost Sustavna pogreška niska točnost (validnost)
Osnovni pojmovi Dobra preciznost, ali
niska točnost
Slučajna pogreška
Sustavna pogreška
Dobra preciznost, dobra točnost
Niska preciznost
Slučajna pogreška
Slučajna pogreška javlja se povremeno i nema jedinstveni obrazac pojavljivanja igra bacanja kovanice 10 puta
vjerojatnost pojavljivanja slučajne pogreške možemo smanjiti
povećanjem uzorka – povećanjem broja bacanja kovanice na 1000 puta vjerojatnije je da će dobiveni omjer "pismo" : "glava" biti bliži očekivanom omjeru od 1:1
Slučajna pogreška
Otklon rezultata od istine koji se dogodio samo zbog djelovanja slučajnosti
Postoje dva tipa slučajne pogreške: Pogreška tipa 1 Pogreška tipa 2
Pogreške tipa I i II
Slučajna pogreška
α = P vrijednost 1-β = snaga statističkog testa (power)
Postoji znač. razlika
Ne postoji znač. razlika
Postoji razlika Točno (1-β)
Pogreška tipa 1 (α)
Ne postoji razlika Pogreška tipa 2 (β) Točno (1-α) Rez
ult
at
Stvarnost
IZBOR α I β OVISE O:
Medicinskim i praktičnim posljedicama dviju vrsti grešaka Početnoj prihvatljivosti hipoteze Poželjnom učinku rezultata
Zadatak
Ispitivanja lijeka X pokazala su da njegovo korištenje izaziva vrlo štetne posljedice te je lijek X povučen iz uporabe. Ispitan je novi alternativni lijek Y i ustanovljeno je smanjenje štetnog utjecaja u odnosu na lijek X. Koju razinu značajnosti treba upotrijebiti za ocjenu značajnosti smanjenja štetnog utjecaja lijeka Y u odnosu na lijek X?
Zadatak
Na slučajnom uzorku vozača ispitivan je utjecaj alkohola na vrijeme reagiranja. Mjerenja vremena reakcije prije i nakon konzumacije određene količine alkohola pokazala su prosječno povećanje vremena reakcije nakon konzumacije alkohola. Koju razinu značajnosti treba upotrijebiti za
ocjenu značajnosti pronađene razlike?
ODABIR NIVOA ZNAČAJNOSTI
Pitanje štetnih posljedica pogreške: 1. Odluka/zaključak da razlike postoje onda kada ih u
stvarnosti nema može prouzročiti štetne posljedice => smanjiti vjerojatnost nastajanja pogreške tipa 1, tj.
odabrati manji α
ODABIR NIVOA ZNAČAJNOSTI
2. Odluka/zaključak da nema razlike onda kada u stvarnosti razlika postoji može prouzročiti štetne posljedice =>
smanjiti vjerojatnost pogreške tipa 2, tj. odabrati veći α
IZBOR α I β α<β (najčešći pristup 0.05 i 0,2) ako se kontrolna terapija
relativno široko primjenjuje i razumski je sigurna i efektivna, dok je testna terapija nova i skupa te dovodi do ozbiljnijih nuspojava.
α>β ako nije provedena kontrolna terapija, a testna terapija je relativno jeftina, jednostavna za aplikaciju i ne postoje ozbiljnije nuspojave.
Slučajna pogreška
Izvori slučajne pogreške su:
nepreciznost/nepouzdanost mjerenja biološka varijabilnost pojedinca uzorkovanje
Slučajna pogreška
nepreciznost/nepouzdanost mjerenja Pri višekratnom mjerenju konstantnog krvnog tlaka
stetoskopom i živinim tlakomjerom mjeritelj dobije različite vrijednosti koje odstupaju u oba smjera od stvarne vrijednosti
Slučajna pogreška
biološka varijabilnost pojedinca Ako ispitaniku mjerimo krvni tlak nekoliko puta s
vremenskim odmakom (ujutro, popodne, navečer), uz pretpostavljene identične uvjete i savršeno točan postupak mjerenja, nećemo dobiti jednake vrijednosti zbog djelovanja autonomnog živčanog sustava, učinka hormona, psihičkog stanja ispitanika i sl.
Slučajna pogreška
uzorkovanje Ako iz kutije u kojoj se nalazi 50 plavih i 50 crvenih
kuglica nasumce izvučete njih 20, mogu se pukom slučajnošću dobiti sve kuglice plave boje, što je odstupanje od stvarnog stanja (50% plavih i 50% crvenih)
Slučajna pogreška Slučajnu pogrešku nemoguće je u potpunosti izbjeći, ali se
vjerojatnost njenog nastanka može smanjiti: povećanjem uzorka (izračunati potrebnu veličinu
uzorka što će smanjiti vjerojatnost pojave slučajne pogreške!)
ponavljanim mjerenjima što preciznijim pojedinačnim mjerenjem
Može se procijeniti različitim statističkim testovima (raspon
pouzdanosti, P vrijednost)
Sustavna pogreška
Sustavna pogreška (za razliku od slučajne) ima pravilan obrazac pojavljivanja, tj. rezultate iskrivljuje u jednom, posebnom smjeru
Sustavna pogreška je nepoželjna odlika istraživanja zbog koje su dobiveni rezultati sustavno različiti od stvarnih vrijednosti u populaciji Jedan mjeritelj ispitanicima uvijek izmjeri viši arterijski krvni tlak,
u usporedbi s drugim mjeriteljem. Razlog tome može biti njegova slabija educiranost i nesigurnost, slabiji sluh, neispravan stetoskop…
Sustavna pogreška - odstupanje
Može se javiti kod svih vrsta istraživanja i u svakoj fazi istraživanja
Uglavnom zbog grešaka u planiranju i provođenju istraživanja (moguća pojava i za vrijeme neprimjerene analize podataka)
Ponekad odstupanje može rezultate istraživanja učiniti posve nevjerodostojnim
Odstupanje Pod pojmom sustavna pogreška podrazumijevamo
dosljedno odstupanje od prave vrijednosti u populaciji zbog greške u metodologiji istraživanja
Najznačajniji oblici odstupanja vezani su uz : neodgovarajući izbor ispitanika (selection bias) prikupljanje podataka (information/measurment bias) dijagnostički postupak (detection/diagnostic bias) osipanje ispitanika (drop out bias)
Odstupanje
Neodgovarajući odabir ispitanika (selection bias) Odstupanje uzorkovanja (sampling bias) Odstupanje svrstavanja ispitanika u grupe (allocation
bias) Odstupanje neodziva ispitanika (non-response bias)
Odstupanje Neodgovarajući odabir ispitanika
Odstupanje uzorkovanja (sampling bias)
U svrhu utvrđivanja prevalencije hipertenzije u određenom području,
stanovnici su preko radija pozvani na mjerenje krvnog tlaka Tko se u najvećoj mjeri odazvao? Dobrovoljci – nisu reprezentativni za opću populaciju na koju se
zaključak o prevalenciji projicira (poznato je da su dobrovoljci zdraviji od opće populacije jer se više zanimaju za svoje zdravstveno stanje, bolje surađuju s liječnicima, među njima ima više hipohondara, itd.)
Odstupanje svrstavanja ispitanika u grupe (allocation bias)
U istraživanju učinkovitosti novog lijeka za hipertenziju, ispitanike trebamo podijeliti u dvije skupine od kojih će jedna primiti postojeći lijek, a druga lijek koji se istražuje
U prvu skupinu odabiremo prvih 20 pacijenata koji su došli u bolnicu, a u drugu sljedećih 20 pacijenata
Izbor nije bio slučajan - pacijenti koji dođu prvi u bolnicu mogu biti lošijeg zdravstvenog i socio-ekonomskog stanja, a postoji i mogućnost da je liječnik teže slučajeve naručio ranije od drugih pacijenata
Odstupanje Neodgovarajući odabir ispitanika
Odstupanje neodziva (non-response bias)
U svrhu istraživanja povezanosti karcinoma cerviksa s brojem spolnih partnera, odlučili smo kontrolnoj skupini ispitanika (odabrana slučajnim odabirom iz opće populacije) upitnik poslati poštom
Udio ispunjenih upitnika u dvije skupine zasigurno će se razlikovati – kontrole neće biti osobito zainteresirane za njihovo ispunjavanje, veći postotak odaziva bit će među ženama koje su imale manji broj spolnih partnera, ženama s višim socioekonomskim statusom…
Osobe koje se ne odazovu imaju sustavno drugačije karakteristike – demografske, socioekonomske, psihološke, kulturološke…
Odstupanje Neodgovarajući odabir ispitanika
Odstupanje Neodgovarajući odabir ispitanika
Svaki uzorak koji nije odabran slučajno – može biti izvor pogreške nastale zbog neodgovarajućeg izbora ispitanika
Pogrešku nije moguće ukloniti nakon provedenog istraživanja zbog čega je prije početka istraživanja potrebno: definirati kriterije za uključivanje i isključivanje osoba iz studije osigurati što višu stopu sudjelovanja (response rate) poznavati prirodni tijek bolesti (stanje koje istražujemo)
Kvaliteta uzorka procjenjuje se na temelju metode
uzorkovanja i veličine uzorka
Odstupanje prikupljanja podataka
Odstupanje pri prikupljanju podataka (information/measurment bias) – nastaje prilikom prikupljanja podataka, mjerenju ili klasifikaciji
Kvaliteta prikupljenih podataka može biti loša ako je mjerni instrument ili mjeritelj netočan (odstupanje od prave vrijednosti u jednom smjeru) što dovodi do pogrešnog rezultata
Za izbjegavanje ove vrste pogreške potrebno je osigurati što točnije mjerne instrumente i mjeritelje
Prilikom pisanja znanstvenog rada potrebno je detaljno opisati način dobivanja podataka, kako bi čitatelj mogao donijeti sud o kvaliteti podataka
Odstupanje prikupljanja podataka
Odstupanje pri prikupljanju podataka
loše baždareni tlakomjer mjeritelj tlaka s oslabljenim sluhom sustavna pogreška zbog prisjećanja (recall bias) - anketni upitnici
u kojima se traži prisjećanje – npr. majke s malformiranom djecom puno će se bolje prisjetiti izloženosti rizičnim čimbenicima tijekom trudnoće za razliku od majki zdrave djece
sustavna pogreška zbog načina na koji se prikupljaju podaci (recording bias) - medicinska dokumentacija u pravilu sadrži više podataka za pacijente kod kojih se dokaže bolest nego kod zdravih osoba
Odstupanje dijagnostičkog postupka Odstupanje dijagnostičkog postupka (detection
bias) - nastaje kada u istraživanim skupinama nisu jednako kvalitetno provedeni dijagnostički/terapijski postupci, s jednakim kriterijima
Liječnik uvjeren u djelotvornost ispitivanog analgetika ima
drugačije (strože) kriterije za skupinu koja uzima placebo u odnosu na skupinu koja dobiva istraživani lijek
Izbjegava se provođenjem „dvostruko slijepog“, odnosno
„trostruko slijepog“ pokusa
Odstupanje osipanja Osipanje ispitanika (drop out) Tijekom istraživanja nemoguće je prikupiti parametre za sve
ispitanike koji su odabrani u slučajni uzorak Najčešći razlozi za to su:
Smrt Naknadno odbijanje sudjelovanja Selidba Odaziv onemogućen bolešću Pogreške u evidenciji, itd.
Ako je gubitak selektivan, tj. “izgubljeni” imaju neko zajedničko obilježje, različito od onih koji su ostali u istraživanju, postoji mogućnost sustavne pogreške
Potrebno je utvrditi razloge osipanja i obilježja izgubljenih ispitanika (analiza)
Odstupanje osipanja
Osipanje ispitanika (drop out) Na kontrolni pregled pozvano je 500 ispitanica koje sudjeluju u
kontroliranom kliničkom pokusu (cilj istraživanja bio je utvrditi incidenciju osteoporoze među ispitanicama koje su dobile ispitivani lijek i najbolji lijek na tržištu - zlatni standard)
Od 100 osoba koje se nisu odazvale, 85 ispitanica je bilo teško pokretno i visoke životne dobi
Ovakvo osipanje očito može izazvati lažno nisku procjenu incidencije jer je osteoporoza najučestalija u skupini koja se nije odazvala kontrolnom pregledu - pogreška se može izbjeći omogućavanjem pregleda kod kuće za teško pokretne ili osiguranjem njihovog prijevoza do liječnika
Zabuna - confounding
Zbog sustavne (i slučajne) pogreške zaključujemo da povezanost postoji, iako to nije točno
Zbog zabune zaključujemo da povezanost postoji, što je točno, ali je promatrani ishod posljedica djelovanja nekog drugog čimbenika koji nije uzet u obzir, a ne istraživanog čimbenika
Zabuna - confounding
zabune
Zabuna - confounding
Ključne karakteristike čimbenika zabune: Od prije poznat (ali u istraživanju neidentificiran)
rizični čimbenik za pojavu istraživane bolesti
Povezan s promatranim rizičnim čimbenikom, ali nije posljedica njegovog djelovanja
Zabuna - confounding
Zabuna - confounding Najčešći čimbenici koji dovode do zabune su:
Dob Spol Socio-demografske značajke Obrasci ponašanja (pušenje, pijenje alkohola, pridržavanje
liječničkih uputa)
Učinak zabune može se neutralizirati prilikom dizajna
istraživanja, a za razliku od sustavnih pogrešaka, i pri analizi rezultata
Nemoguće ju je u potpunosti ukloniti, kao i pojavu slučajne pogreške
Downov sindrom i dob majke
Zašto statistika?
http://www.ted.com/talks/ben_goldacre_battling_bad_science
Top Related