METODOLOGIJA SAMOEVALVACIJEarhiv.acs.si/ucna_gradiva/Samoevalvacija_Hlebec.pdf · Dr. Valentina...

25
Projekt: Izobraževanje in usposabljanje strokovnih delavcev v izobraževanju odraslih od 2009 do 2011 Podprojekt: Usposabljanje za samoevalvacijo v izobraževanju odraslih Aktivnost: Usposabljanje za uporabo modela samoevalvacije POKI METODOLOGIJA SAMOEVALVACIJE Dr. Valentina Hlebec

Transcript of METODOLOGIJA SAMOEVALVACIJEarhiv.acs.si/ucna_gradiva/Samoevalvacija_Hlebec.pdf · Dr. Valentina...

Page 1: METODOLOGIJA SAMOEVALVACIJEarhiv.acs.si/ucna_gradiva/Samoevalvacija_Hlebec.pdf · Dr. Valentina Hlebec . Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo

Projekt: Izobraževanje in usposabljanje strokovnih delavcev v izobraževanju odraslih od 2009 do 2011

Podprojekt: Usposabljanje za samoevalvacijo v izobraževanju odraslih

Aktivnost: Usposabljanje za uporabo modela samoevalvacije POKI

METODOLOGIJA SAMOEVALVACIJE

Dr. Valentina Hlebec

Page 2: METODOLOGIJA SAMOEVALVACIJEarhiv.acs.si/ucna_gradiva/Samoevalvacija_Hlebec.pdf · Dr. Valentina Hlebec . Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo

Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo RS za šolstvo in šport. Projekt se izvaja v okviru Operativnega programa razvoja človeških virov za obdobje 2007-2013, razvojne prioritete »Razvoj človeških virov in vseživljenjskega učenja« in prednostne usmeritve »Izboljševanje kakovosti in učinkovitosti sistemov izobraževanja in usposabljanja.« Stran 2

Viri podatkov Če obstajajo že zbrani podatki o temi, ki nas zanima (baze podatkov, arhivi, uradna statistika, raziskave), potem najprej pregledamo le-te. Pogosto nam informacije, ki jih dobimo v virih, zadoščajo za naše potrebe. Le če podatkov, ki jih nujno potrebujemo, v obstoječih virih ni, se odločimo, da se bomo sami lotili merjenja. Merjenje Če merjenje v širšem pomenu obravnavamo kot proces povezovanje teoretičnih konceptov oziroma pojmov z empiričnimi kazalniki oziroma merjenimi spremenljivkami (Blalock 1968; v: Zeller in Carmines 1980, str. 2), je opredelitev teoretičnih konceptov že prvi korak procesa merjenja. Teoretični koncepti so večinoma relevantni v daljšem časovnem obdobju, neodvisno od prostora uporabe, zato so odprti, splošni in abstraktni. Največkrat jih ni mogoče neposredno opazovati ali meriti. Abstraktne koncepte lahko operacionaliziramo na neskončno veliko načinov. Tako je zbirka empiričnih kazalnikov lahko le boljši ali slabši približek posamezne teoretične razsežnosti določenega koncepta. Empirični kazalniki so specifični, natančni in omejeni. Teoretičnih konceptov oziroma pojmov večinoma ne morejo popolnoma predstaviti. Vsaka izbrana skupina kazalnikov ali merjenih spremenljivk je le majhna podskupina velike množice vseh možnih kazalnikov (Zeller in Carmines 1980, str. 1–5). V procesu merjenja je teorija pred merjenjem samim in je njegov temelj. Merjenje je deduktivni proces, ki se začne z opredelitvijo teoretičnega pojma, nadaljuje z razvojem merskega postopka in konča z eno ali več izmerjenimi spremenljivkami tega pojma (povzeto po: Ferligoj, Leskošek in Kogovšek 1995, str. 2–8). Proces merjenja poteka v več stopnjah. Prvi korak zajema konceptualizacijo teoretičnega pojma, ki vsebuje pregled različnih definicij pojma, izbor ustrezne definicije in razčlenitev pojma z določitvijo razsežnosti teoretičnega pojma. Pri dimenzioniranju večrazsežnostnemu konstruktu priredimo ustrezne teoretične spremenljivke. V drugem koraku vsako teoretično spremenljivko operacionaliziramo (opredelimo specifične operacije, merske instrumente ali postopke, s katerimi jo je mogoče opazovati). Pri tem je najpomembnejše ustrezno prirejanje merjenih spremenljivk (indikatorjev) teoretičnim spremenljivkam. Za predstavitev teoretičnega koncepta potrebujemo izbrano skupino empiričnih indikatorjev, zato je priporočljivo pregledati že narejene raziskave, ki so se ukvarjale z enako ali podobno temo. Zelo pogosto se kot merski postopek v družboslovju uporablja anketa. Pri uporabi že obstoječih anketnih vprašanj moramo biti zelo pazljivi, ker se jezik zelo hitro spreminja. Prav tako je vprašanje v izvirni anketi postavljeno v neko drugo kobesedilo, ki lahko vpliva na interpretacijo pomena vprašanja.

Page 3: METODOLOGIJA SAMOEVALVACIJEarhiv.acs.si/ucna_gradiva/Samoevalvacija_Hlebec.pdf · Dr. Valentina Hlebec . Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo

Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo RS za šolstvo in šport. Projekt se izvaja v okviru Operativnega programa razvoja človeških virov za obdobje 2007-2013, razvojne prioritete »Razvoj človeških virov in vseživljenjskega učenja« in prednostne usmeritve »Izboljševanje kakovosti in učinkovitosti sistemov izobraževanja in usposabljanja.« Stran 3

Posebno kakovostne zbirke anketnih vprašanj so:

a) Measures of Personality and Social Psychological Attitudes (Robinson, Shaver in Wrightsman 1991),

b) Handbook of Marketing Scales (Bearden, Netemeyer in Mobley 1993) in c) Handbook of Research Design and Social Measurement (Miller 1991) ter č) Priročnik za psihologijo motivacije in emocij (Lamovec 1988) ali Psihodiagnostika osebnosti (Lamovec 1994).

V teh zbirkah je vsaka skupina vprašanj predstavljena z razvojem pojma, postopkom izbora predlaganih vprašanj, opisom vzorca, osnovnimi izračuni, oceno zanesljivosti in veljavnosti merjenja ter najpomembnejšimi viri. V tretjem koraku opravimo konkretno merjenje vsake spremenljivke. Končni rezultat so izmerjene spremenljivke. Koraki merjenja: 1 Konceptualizacija

a) pregled različnih definicij pojma, b) izbira ustrezne definicije (po potrebi izvirna definicija), c) razčlemba pojma z določitvijo razsežnosti teoretičnega pojma

(dimenzioniranje: teoretičnemu konstruktu priredimo teoretične spremenljivke).

2 Operacionalizacija

Vsaki teoretični spremenljivki priredimo ustrezno operacionalno definicijo spremenljivke. Opredelimo postopke, s katerimi je mogoče opazovati teoretično spremenljivko. Teoretični spremenljivki priredimo merjeno spremenljivko (lahko tudi več spremenljivk) ali indikator – to je lahko anketno vprašanje. Vmesni koraki pri operacionalizaciji so predstavljeni na konkretnih primerih v prilogi A.

3 Merjenje (npr. anketiranje)

Kvalitativne in kvantitativne metode

Tako kvalitativne kot kvantitativne raziskovalne metode zbiranja podatkov imajo svoje prednosti in pomanjkljivosti. Pomembno je, da se teh značilnosti zavedamo in po premisleku izberemo najustreznejšo metodo ali kombinacijo metod, glede na naš raziskovalni problem. Kvalitativne metode zbiranja podatkov

Opazovanje z udeležbo Raziskovalec zbira podatke tako, da se udeležuje vsakdanjega življenja skupine ali organizacije, ki jo opazuje. Spremlja okoliščine, v katerih se ljudje srečujejo, in

Page 4: METODOLOGIJA SAMOEVALVACIJEarhiv.acs.si/ucna_gradiva/Samoevalvacija_Hlebec.pdf · Dr. Valentina Hlebec . Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo

Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo RS za šolstvo in šport. Projekt se izvaja v okviru Operativnega programa razvoja človeških virov za obdobje 2007-2013, razvojne prioritete »Razvoj človeških virov in vseživljenjskega učenja« in prednostne usmeritve »Izboljševanje kakovosti in učinkovitosti sistemov izobraževanja in usposabljanja.« Stran 4

zapisuje njihovo vedenje. Raziskovalec se udeležuje njihovih pogovorov in zapisuje njihove interpretacije dogodkov. Vloga raziskovalca pri opazovanju z udeležbo se spreminja glede na 5 dimenzij (popolni opazovalec – popolni udeleženec, udeleženci vedo, da so opazovani in kdo je opazovalec – udeleženci ne vedo, da jih opazujejo, popolna razlaga namenov raziskovanja vsakomur – zavajanje oz. prikrivanje namenov, eno omejeno opazovanje – večkratno dolgotrajno opazovanje, opazuje se en element – opazuje se celotno dogajanje). Nestrukturirani intervju Intervjuji se razlikujejo po stopnji strukturiranja. V preglednici so prikazane značilnosti različnih intervjujev glede na stopnjo strukturiranosti (neformalni pogovor, vódeni pogovor, standardizirani intervju z odprtimi vprašanji, standardizirani intervju z zaprtimi vprašanji – anketni vprašalnik). Preglednica je povzeta po Pattonu (1990, str. 288–289).

Page 5: METODOLOGIJA SAMOEVALVACIJEarhiv.acs.si/ucna_gradiva/Samoevalvacija_Hlebec.pdf · Dr. Valentina Hlebec . Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo

Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo RS za šolstvo in šport. Projekt se izvaja v okviru Operativnega programa razvoja človeških virov za obdobje 2007-2013, razvojne prioritete »Razvoj človeških virov in vseživljenjskega učenja« in prednostne usmeritve »Izboljševanje kakovosti in učinkovitosti sistemov izobraževanja in usposabljanja.« Stran 5

Tip intervjuja Značilnosti Prednosti Pomanjkljivosti

Neformalni pogovor Vprašanja so odvisna od konteksta in se pojavijo zaradi naravnega poteka dogajanja. Tema in besedilo nista vnaprej določena.

Vprašanja so zelo pomembna. Temeljijo na opazovanju. Intervju lahko prilagodimo posamezniku in okoliščinam.

Različni ljudje zberejo drugačne informacije z različnimi vprašanji. Manj sistematično in popolno, če se posamezne teme ne pojavijo »naravno«. Organizacija podatkov in analiza sta lahko zelo zahtevni.

Vódeni pogovor Tema in vprašanja so določeni vnaprej in zapisani kot opomnik (alineje). Anketar se odloči za zaporedje in tudi za formulacijo vprašanj.

Opomnik zagotovi bolj sistematično zbiranje informacij od vsakega anketiranca. Logične preskoke lahko vnaprej določimo in označimo. Intervju ostane dokaj pogovoren in situacijski.

Pomembne teme so lahko izpuščene nehote zaradi površnosti. Prožnost v zaporedju in formulaciji vprašanj lahko privede do pomembnih razlik v odgovorih iz različnih zornih kotov. Primerljivost podatkov je še vedno majhna.

Odprti standardizirani intervju

Natančna formulacija in zaporedje vprašanj. Vsi anketiranci dobijo enaka vprašanja v enakem vrstnem redu. Odgovori niso vnaprej določeni.

Večja primerljivost podatkov, ker vsak anketiranec dobi enaka vprašanja in vsa vprašanja. Vpliv anketarja na odgovore se zmanjša. Omogoča vrednotenje merskega instrumenta ter olajša organizacijo in analizo podatkov.

Majhna prožnost pri prilagajanju konkretnemu anketirancu in specifični situaciji. Standardizacija besedila vprašanj lahko zelo omeji naravnost in relevantnost vprašanj in odgovorov.

Standardizirani intervju

Besedilo vprašanj in odgovorov je določeno vnaprej. Anketiranec izbira odgovor med naštetimi mogočimi odgovori.

Analiza podatkov je preprosta. Odgovore zlahka primerjamo in agregiramo. Anketirancu lahko zastavimo veliko vprašanj v razmeroma kratkem času.

Anketiranci morajo omejiti svoje izkušnje in čustva v raziskovalčeve kategorije. Le-te lahko dojamejo kot neosebne, nepomembne in mehanske. Anketirančev resnični pomen in izkušnje so lahko prikrite zaradi popolne omejitve odgovorov.

Page 6: METODOLOGIJA SAMOEVALVACIJEarhiv.acs.si/ucna_gradiva/Samoevalvacija_Hlebec.pdf · Dr. Valentina Hlebec . Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo
Page 7: METODOLOGIJA SAMOEVALVACIJEarhiv.acs.si/ucna_gradiva/Samoevalvacija_Hlebec.pdf · Dr. Valentina Hlebec . Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo

Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo RS za šolstvo in šport. Projekt se izvaja v okviru Operativnega programa razvoja človeških virov za obdobje 2007-2013, razvojne prioritete »Razvoj človeških virov in vseživljenjskega učenja« in prednostne usmeritve »Izboljševanje kakovosti in učinkovitosti sistemov izobraževanja in usposabljanja.« Stran 7

Uporaba informatorja Informator je oseba, ki je član(ica) opazovanje skupine in raziskovalcu poroča o vsem, kar se dogaja na terenu. Informator mora imeti kar nekaj posebnih lastnosti; in sicer da:

a) je povsem seznanjen s kulturo in na takem položaju, da je priča pomembnim dogodkom (ne sme biti novinec);

b) je trenutno včlanjen v skupino in da ni preteklo preveč časa od odhoda; c) ima dovolj časa, da je na voljo raziskovalcu; č) ne razmišlja analitično, saj lahko le tako poroča »naravno«, ne da bi uporabljal kategorije, ki jih ponujajo množična občila ali izobrazba.

Metoda »life history« Metoda »life history« ali biografska metoda je posebna terenska metoda, kjer raziskovalec zbira podatke o življenju poteku neke osebe, navadno stare. Raziskovalec postavlja nestrukturirana vprašanja, da bi ugotovil, kako posameznik razume in interpretira svojo preteklost. Posameznika lahko tudi prosi, da izpolni posebno preglednico v kateri sprašuje po posebnih dogodkih, kot so poroka, otrokovo rojstvo, migracija ipd. Takim podatkom lahko dodamo tudi arhivske podatke in fotografije. Fokusna skupina ali fokusni intervju Fokusna skupina ali fokusni intervju je poseben intervju, v katerem majhno homogeno skupino ljudi (6–8) sprašujejo o posebni temi. Tak pogovor traja navadno od 30 minut do dveh ur. Fokusna skupina ima veliko prednosti, saj med anketiranjem pridobimo podatke za več oseb, neposredno nadziramo lažna ekstremna stališča, dobimo konsistentna stališča, poleg tega pa je udeležba v fokusni skupini lahko zelo pozitivna in ugodna izkušnja. Po drugi strani pa je število vprašanj omejeno, fokusno skupino mora voditi izkušena oseba, ki prepreči, da bi kateri od udeležencev preglasil druge, odgovore je sproti težko zapisovati in podobno. Kvantitativne metode zbiranja podatkov Anketa Anketa je v sociologiji še posebno pogosto uporabljana metoda zbiranja podatkov. Njena največja prednost je, da dobimo z njo veliko kvantitativnih podatkov o velikem številu posameznikov (enot), ki so reprezentativni (vzorec) za opazovano populacijo, to pa nam omogoča testiranje hipotez. Večinoma se podatki zbirajo v eni časovni točki (»cross-sectional«) in redkeje v več časovnih točkah (panelne raziskave). Kot merski inštrument se uporablja navadno anketni vprašalnik in kot tak ustreza že omenjenima strukturiranima intervjujema (z odprtimi ali zaprtimi vprašanji). V preglednici, ki je povzeta po Neumanu (1997, str. 371), so izpostavljene razlike med terenskimi in anketnimi intervjuji.

Page 8: METODOLOGIJA SAMOEVALVACIJEarhiv.acs.si/ucna_gradiva/Samoevalvacija_Hlebec.pdf · Dr. Valentina Hlebec . Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo

Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo RS za šolstvo in šport. Projekt se izvaja v okviru Operativnega programa razvoja človeških virov za obdobje 2007-2013, razvojne prioritete »Razvoj človeških virov in vseživljenjskega učenja« in prednostne usmeritve »Izboljševanje kakovosti in učinkovitosti sistemov izobraževanja in usposabljanja.« Stran 8

Značilni anketni intervju Značilni terenski intervju

Ima jasno definiran začetek in konec.

Začetek in konec nista natančno definirana, saj se intervju lahko nadaljuje v več časovnih točkah.

Vse anketirance vprašamo ista standardizirana vprašanja v istem vrstnem redu.

Vrstni red in izbor vprašanj sta prilagojena posamezniku in položaju.

Anketar je vedno in za vse anketirance nevtralen.

Anketar kaže zanimanje za odgovore in anketiranca spodbuja k daljši razlagi.

Anketar sprašuje, anketiranec odgovarja.

Intervju je se kaže kot prijateljski pogovor in menjava mnenj.

Anketar je navadno sam z enim anketirancem.

Se lahko pojavi tudi v skupini.

Ima naravo profesionalnosti in poslovnosti, napačne poti se ignorirajo.

Se obogati s šalami, anekdotami, zgodbicami – te tudi zapišemo.

Navadno imajo vprašanja vnaprej podane odgovore, le redko se spodbuja k dopolnjevanju odgovora.

Zanj je značilno, da gre za vprašanja brez vnaprej oblikovanih odgovorov, pogosto se spodbuja k dopolnjevanju.

Anketar določa hitrost in smer intervjuja.

Anketar in anketiranec skupaj določata hitrost in smer pogovora.

Socialni kontekst se obravnava kot nepomemben in se zanemari.

Socialni kontekst je pomemben pri interpretaciji pomena odgovorov.

Anketar usmerja komunikacijski vzorec k standarizaciji.

Anketar se anketirancu prilagodi pri uporabi jezika in njegovih normah.

Eksperiment Eksperiment se kot metoda zbiranja podatkov uporablja večinoma v psihologiji. Imamo vsaj dve skupini posameznikov, ki ju imenujemo eksperimentalna in kontrolna skupina. Posameznike v ti dve skupini razvrstimo naključno. Eksperimentalna skupina je navadno izpostavljena eksperimentalni spodbudi, ki je v tem primeru neodvisna spremenljivka. Vsaka opažena razlika med obena skupinama se tako pripiše vplivu te neodvisne spremenljivke. Oblik eksperimentalnih načrtov je več in imajo svoje posebne značilnosti. Uradna statistika Kot vir podatkov lahko uporabimo tudi vsako obstoječo zbirko ali bazo podatkov, še posebej smo pozorni na uradno statistiko, npr. statistične letopise, ki jih izdaja država ter so konsistenten in primerljiv vir podatkov po različnih letih in državah.

Page 9: METODOLOGIJA SAMOEVALVACIJEarhiv.acs.si/ucna_gradiva/Samoevalvacija_Hlebec.pdf · Dr. Valentina Hlebec . Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo

Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo RS za šolstvo in šport. Projekt se izvaja v okviru Operativnega programa razvoja človeških virov za obdobje 2007-2013, razvojne prioritete »Razvoj človeških virov in vseživljenjskega učenja« in prednostne usmeritve »Izboljševanje kakovosti in učinkovitosti sistemov izobraževanja in usposabljanja.« Stran 9

Primerjava kvalitativnih in kvantitativnih metod V preglednici so povzete temeljne razlike med kvalitativnimi in kvantitativnimi raziskovalnimi metodami (povzeto po: Neuman 1997, str. 329).

Kvantitativne metode Kvalitativne metode

Namen je testiranje hipotez, s katerimi raziskovalec začne delo.

Namen je iskanje pomena in razumevanje podatkov, ko se raziskovalec z njimi poglobljeno seznani.

Teoretični koncepti so operacionalizirani v empirične spremenljivke.

Teoretični koncepti so v obliki tem, motivov, posplošitev in taksonomij.

Empirične spremenljivke (kazalniki ali mere) sistematično oblikujemo pred zbiranjem podatkov in so tudi standardizirane.

Mere se oblikujejo ad hoc in so pogosto specifične za posamezne situacije ali raziskovalce.

Podatki so v številkah in dobljeni z natančnim merjenjem.

Podatki so v obliki besed iz dokumentov, opazovanj in zapisov.

Teorija večinoma vsebuje vzročno posledične povezave in je deduktivna.

Teorija lahko vsebuje vzročno-posledične povezave, ali pa tudi ne, in je večinoma induktivna.

Postopki merjenja so standardizirani in ponovljivi.

Postopki merjenja so specifični in so redko ponovljivi.

Analitični postopki zajemajo uporabo statističnih metod, preglednic in grafov. Diskusija rezultatov se nanaša na postavljene hipoteze.

Analitični postopki zajemajo iskanje tem ali posplošitev, tako da urejamo podatke z namenom, da bi dobili koherentno in konsistentno podobo pojava, ki ga proučujemo.

V preglednici je prikazano, koliko lahko kvalitativne metode pripomorejo k boljši uporabi kvantitativnih metod, in obrnjeno (povzeto po: Neuman 1997, str. 337).

Kvalitativne metode za kvantitativne

Kvantitativne metode za kvalitativne

Raziskovalca seznanijo s predmetom raziskovanja, tako da laže razvija nove teorije in hipoteze.

Pomagajo pri izbiri najbolj reprezentativnih lokacij za kvalitativno raziskovanje.

Preverjajo izsledke kvantitativnih raziskav, ki so bodisi nepričakovani ali nenavadni.

Izboljšajo poskuse neutemeljenega posploševanja izidov iz posameznih delov lokacij.

Pomagajo pri interpretaciji Pokažejo, da lahko izide

Page 10: METODOLOGIJA SAMOEVALVACIJEarhiv.acs.si/ucna_gradiva/Samoevalvacija_Hlebec.pdf · Dr. Valentina Hlebec . Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo

Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo RS za šolstvo in šport. Projekt se izvaja v okviru Operativnega programa razvoja človeških virov za obdobje 2007-2013, razvojne prioritete »Razvoj človeških virov in vseživljenjskega učenja« in prednostne usmeritve »Izboljševanje kakovosti in učinkovitosti sistemov izobraževanja in usposabljanja.« Stran 10

statističnih izidov. posameznih opazovanj včasih posplošimo.

Pomagajo pri razvoju merskih lestvic ali indeksov.

Preverjajo izide in interpretacijo terenskega opazovanja.

Dopuščajo validacijo razvite lestvice ali indeksa.

Dodajo vrednost terenskemu opazovanju, če so izidi skladni z ugotovitvami ankete.

Ilustrirajo specifične tipe posameznikov ali okoliščin, ki jih razkrijemo v anketih podatkih.

Presegajo težnjo po uporabi majhne (specifične) skupine ljudi iz lokacije, da bi poročala za celotno lokacijo.

Razčistijo ambivalentne, a statistično značilne odgovore, tako da razkrijejo subjektivne pomene za anketirance.

Odkrijejo teme, ki se pojavljajo sistematično, a so jih raziskovalci pri formalnem kodiranju in sistematičnem raziskovanju kvalitativnih podatkov spregledali.

Ugotavljamo, kateri od kazalnikov so v konteksu najpomembnejši.

Raziskovalcu pomagajo pri iskanju in potrjevanju alternativnih interpretacij z merjenjem dodatnih spremenljivk.

Oblikovanje anketnega vprašalnika (povzeto po: Designing questionnaires: Checklist. SCB, Statistics Sweden)

Ta navodila se lahko uporabijo:

1. pred (med) oblikovanjem anketnega vprašalnika, 2. po oblikovanju anketnega vprašalnika (za zagotavljanje temeljnih

pravil oblikovanja), 3. za preverjanje vprašalnikov, ki so jih oblikovali drugi,

4. za vrednotenje že zbranih anketnih podatkov.

Preveri: 1 Teoretične (koncept) in empirične spremenljivke

a) Razišči vsebino glede na raziskovalni problem. (Začni na začetku!) b) Dobro definiraj teoretične koncepte in spremenljivke ter empirične

spremenljivke. c) Izberi vzorec. č) Naredi seznam spremenljivk (ime; anketno vprašanje, s katerim smo to spremenljivko merili; izčrpna definicija; vir; teoretični konstrukt, ki ga spremenljivka meri; enote merjenja; kakovost merjenja). d) Pri demografskih spremenljivkah uporabi standardizirana vprašanja.

Page 11: METODOLOGIJA SAMOEVALVACIJEarhiv.acs.si/ucna_gradiva/Samoevalvacija_Hlebec.pdf · Dr. Valentina Hlebec . Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo

Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo RS za šolstvo in šport. Projekt se izvaja v okviru Operativnega programa razvoja človeških virov za obdobje 2007-2013, razvojne prioritete »Razvoj človeških virov in vseživljenjskega učenja« in prednostne usmeritve »Izboljševanje kakovosti in učinkovitosti sistemov izobraževanja in usposabljanja.« Stran 11

e) Poišči podobne raziskave in jih uporabi. f) Grafično prikaži povezave med spremenljivkami. g) Za isto teoretično spremenljivko uporabi več anketnih vprašanj.

2 Oblikovanje anketnih vprašanj

a) Ne dodajaj vprašanj le zato, ker so zanimiva. b) Jezik naj bo preprost. c) Vprašanja naj bodo jasna in kratka. č) Definiraj dvoumne izraze. d) Postavi vprašanja v logično in vsebinsko povezane skupine. e) Premisli zaporedje vprašanj. f) V vsakem vprašanju vprašaj le eno stvar. g) Opredeli čas in prostor. h) Pazljivo oblikuj hipotetična vprašanja (npr. o načrtih v prihodnosti) in

retrospektivna (vprašanja o preteklosti). i) Ogibaj se vprašanj, ki odgovor vsiljujejo (npr. se strinjam). j) Ogibaj se čustveno obremenjenih besed in zavajajočih vprašanj. k) Vprašanja o stališčih vedno uravnoteži. l) Poskrbi, da vprašanja ne bodo delovala na anketiranca zastrašujoče ali žaljivo.

Vsako anketno vprašanje se lahko razume na različne načine!

Testiraj svoja vprašanja! Spremeni jih in začni znova!

3 Odgovori a) Oblikovanje odgovorov:

i. Odgovori morajo vsebovati vse možnosti. ii. Odgovori naj vsebujejo vse mogoče vrednosti (ekstremi se morajo

dovolj razlikovati). iii. Razmisli o navajanju sidrišča. iv. Če je mogoče, uporabi lestvico. v. Odprta vprašanja uporabi le, ko je nujno.

b) Vnaprej oblikovani odgovori:

i. Odgovori naj bodo izčrpni (ne pozabi na odgovor: »Drugo«). ii. Odgovori naj se med seboj izključujejo. iii. Odgovorov naj ne bo preveč. iv. Odgovori tipa »da-ne« se lahko zdijo anketirancem preveč omejujoči. v. Anketirancev ne sili k odgovorom na vprašanja, o katerih nič ne vedo

(dodaj nevtralni odgovor ali odgovor »Ne vem«). vi. Preveri zaporedje odgovorov.

Page 12: METODOLOGIJA SAMOEVALVACIJEarhiv.acs.si/ucna_gradiva/Samoevalvacija_Hlebec.pdf · Dr. Valentina Hlebec . Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo

Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo RS za šolstvo in šport. Projekt se izvaja v okviru Operativnega programa razvoja človeških virov za obdobje 2007-2013, razvojne prioritete »Razvoj človeških virov in vseživljenjskega učenja« in prednostne usmeritve »Izboljševanje kakovosti in učinkovitosti sistemov izobraževanja in usposabljanja.« Stran 12

4 Oblika vprašalnika

a) Predstavi raziskovalno skupino. b) Imenuj osebo za stike. c) Predstavi raziskavo in vprašalnik. č) Dobro oblikuj vezna vprašanja med posameznimi vsebinskimi sklopi vprašanj. d) Vprašanja naj ne bodo oblikovno natrpana (pusti dovolj prostora za

odgovore). e) Odgovarjanje na vprašanja naj bo preprosto. f) Dodaj navodila za izpolnjevanje vprašanj (primeri naj bodo preprosti,

splošni in ne smejo zavajati). g) Navodila za preskoke med vprašanji naj bodo čim preprostejša. Naj jih

bo čim manj. h) Uporabi ilustracije. i) Ne pozabi na logotip, papir vprašalnika je lahko obarvan. Tisk naj bo

kakovosten.

Testiraj vprašalnik v celoti. Popravi ga in ga znova testiraj.

Vprašalnik naj bo: zanimiv, lahko razumljiv, lahko berljiv, preprost za

izpolnjevanje, logično sestavljen in oblikovan.

Testiranje vprašalnika Razvoj vprašalnika poteka iterativno, saj je treba vprašanja in vprašalnik večkrat preveriti (Forsyth in Lessler 1991 Sudman in Bradburn 1991, str. 281–286). Dobro je, če pri oblikovanju vprašanj raziskovalec preveri svoje zamisli in izbiro besed v razpravah s predstavniki ciljne populacije v fokusnih skupinah (Morgan in Spanish 1984). Prvi preskus Prvi preskus vprašalnika in posameznih vprašanj naj poteka s sodelavci in strokovnjaki za vsebinsko in anketno področje. Drugi preskus Drugi preskus vprašalnika poteka navadno na manjši skupini anketirancev, ki naj kar najbolj zastopajo ciljno populacijo. Tako anketiranje naj bi bilo čim bolj podobno pravemu anketiranju. Namen tega testa je:

- ugotavljanje povprečnega pričakovanega trajanja ankete, - skladnost vprašalnika za anketirance, - preskušanje drevesne strukture vprašanj,

Page 13: METODOLOGIJA SAMOEVALVACIJEarhiv.acs.si/ucna_gradiva/Samoevalvacija_Hlebec.pdf · Dr. Valentina Hlebec . Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo

Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo RS za šolstvo in šport. Projekt se izvaja v okviru Operativnega programa razvoja človeških virov za obdobje 2007-2013, razvojne prioritete »Razvoj človeških virov in vseživljenjskega učenja« in prednostne usmeritve »Izboljševanje kakovosti in učinkovitosti sistemov izobraževanja in usposabljanja.« Stran 13

- ugotavljanje težavnosti naloge odgovarjanja in podobno. Ne glede na končni način zbiranja podatkov poteka drugi preskus vprašalnikov z osebnim anketiranjem. Testne ankete lahko potekajo na več načinov, saj lahko anketirance izprašamo o pomenu posameznih vprašanj med anketo ali na koncu in jih prosimo, da glasno obnovijo potek razmišljanja (Statistics Sweden, 1992b). Ankete lahko celo snemamo, da bi pridobili dodatne informacije o anketirancu in anketarju (Oksenberg, Cannel in Kalton 1991). Tretji preskus Tretji preskus naj bi potekal na delu končnega vzorca z izbrano metodo. Na podlagi rezultatov tretjega preskusa ugotavljamo, ali je variabilnost spremenljivk in njihova porazdelitev taka, kot smo pričakovali. Prav tako opravimo načrtovano analizo podatkov. Po zadnjem preskusu le izjemoma dodajamo nove spremenljivke (Converse in Presser 1986, str. 51–75). Vrste spremenljivk in merske lestvice Vrste spremenljivk Glede na način izražanja vrednosti ločimo spremenljivke na opisne (atributivne) in številske (numerične) (povzeto po: Kirk 1999).

Zaloga vrednosti opisne ali kvalitativne spremenljivke je sestavljena iz opisov ali kvalitativnih značilnosti ljudi, objektov ali dogodkov.

Primeri: spol (moški, ženski), rasa, šolski uspeh (nezadosten, zadosten, dober, prav dober, odličen). Vrednosti, ki jih kvalitativna ali opisna spremenljivka lahko zavzame, so medsebojno izključujoče se (se ne prekrivajo) in izčrpne. To, da so vrednosti medsebojno izključujoče se, pomeni, da posamezen element ne more zavzeti več vrednosti hkrati. Izčrpne vrednosti pa pomenijo, da vsak element zavzame eno vrednost. Vrednosti se med seboj lahko razlikujejo tudi tako, da jih lahko uredimo po velikosti.

Zaloga vrednosti številske ali kvantitativne spremenljivke je izražena s števili.

Številska spremenljivka je lahko nezvezna (diskretna) ali zvezna. Nezvezna spremenljivka lahko zavzame le nekatere (najpogosteje celoštevilske) vrednosti z intervala, na katerem je definirana, npr. število otrok v družini, število kazenskih parkirnih listkov v nekem časovnem obdobju in podobno. Zvezna spremenljivka pa lahko zavzame katero koli vrednost z intervala, na katerem je definirana, npr. telesna teža, višina ali starost. Razlika med zveznimi in nezveznimi spremenljivkami je včasih zabrisana zaradi zaokroževanja (npr. starost, merjena na eno leto natančno).

Page 14: METODOLOGIJA SAMOEVALVACIJEarhiv.acs.si/ucna_gradiva/Samoevalvacija_Hlebec.pdf · Dr. Valentina Hlebec . Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo

Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo RS za šolstvo in šport. Projekt se izvaja v okviru Operativnega programa razvoja človeških virov za obdobje 2007-2013, razvojne prioritete »Razvoj človeških virov in vseživljenjskega učenja« in prednostne usmeritve »Izboljševanje kakovosti in učinkovitosti sistemov izobraževanja in usposabljanja.« Stran 14

Merske lestvice Vrste spremenljivk ločimo tudi po načinu merjenja.

Merjenje je proces pripisovanja števil (ali opisov) značilnostim ljudi, objektov ali dogodkov glede na neka pravila.

Stevens (1946) (Stevens, v: Kirk 1999, str. 11–22) je definiral štiri merske tipe spremenljivk: nominalni, ordinalni, intervalni in razmernostni.

Nominalna merska raven je najpreprostejša. Elemente pripišemo enakovrednim razredom, ki se med seboj izključujejo, in so izčrpni. Elementi v istem razredu so med seboj enakovredni, elementi v različnih razredih pa ne. Razrede potem označimo ali imenujemo z različnimi oznakami. Te oznake sestavljajo nominalno lestvico. Oznake pa nosijo le informacijo o različnosti razredov.

Če osebe moškega spola pripišemo enemu enakovrednemu razredu, ki ga poimenujemo »moški«, in osebe ženskega spola drugemu enakovrednemu razredu, ki ga poimenujemo »ženske«, smo uporabili nominalno merjenje. Skupina oznak, v našem primeru dve oznaki »moški« in »ženske«, sestavlja nominalno lestvico. Za oznake lahko uporabimo tudi števila, vendar v tem primeru različna števila pomenijo le oznake za različne skupine ali razrede. Npr. moški = 1, ženske = 2 ali 18 in 120. (Operacije seštevanja, množenja … so nesmiselne.)

O ordinalnem merjenju govorimo takrat, ko elemente pripišemo medsebojno izključujočim se in izčrpnim enakovrednim razredom, ki pa jih lahko uredimo po velikosti. Razrede označimo s števili ali z oznakami, ki vsebujejo informacijo o zaporednem mestu razreda (npr. črke abecede). Te oznake sestavljajo ordinalno lestvico in vsebujejo informacijo o različnosti in zaporednem mestu razreda.

Primeri: stopnja izobrazbe (osnovna, srednja, višja, visoka), šolski uspeh, vojaški čini in podobno.

O intervalnem merjenju govorimo takrat, ko razlika med števili, s katerimi označujemo različne, po velikosti urejene enakovredne razrede, vsebuje tudi informacijo o razliki med ustreznimi razredi. Merski postopek je sestavljen iz dveh

stopenj. Najprej določimo enoto merjenja (npr. koledarsko leto ali C), nato pa število enot, ki označujejo razliko med enakovrednimi razredi. Skupina števil, ki jih pripišemo razredom, sestavlja intervalno lestvico.

Pri koledarskem merjenju časa preteče enaka količina časa med letoma 1970 in 1971 kakor med letoma 1975 in 1976. Prav tako je temperaturna razlika med 5 C in 10 C

enaka kakor temperaturna razlika med 75 C in 80 C. Podan številski interval, npr. 5 let, pomeni enako razliko v izmerjeni značilnosti ne glede na to, v katerem delu merske lestvice je interval postavljen. Številska razlika v merski lestvici predstavlja

Page 15: METODOLOGIJA SAMOEVALVACIJEarhiv.acs.si/ucna_gradiva/Samoevalvacija_Hlebec.pdf · Dr. Valentina Hlebec . Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo

Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo RS za šolstvo in šport. Projekt se izvaja v okviru Operativnega programa razvoja človeških virov za obdobje 2007-2013, razvojne prioritete »Razvoj človeških virov in vseživljenjskega učenja« in prednostne usmeritve »Izboljševanje kakovosti in učinkovitosti sistemov izobraževanja in usposabljanja.« Stran 15

enako empirično razliko med opazovanimi razredi. Ker so merske enote pri intervalni lestvici empirično enake, lahko s števili, ki predstavljajo te enote, tudi računamo. Izračunamo lahko razliko, ne moremo pa izračunati kvocienta. Ne moremo reči, da je

bilo opoldne dvakrat bolj vroče kakor zjutraj, če smo zjutraj namerili 10 C in opoldne

20 C. Problem je začetna točka intervalne lestvice, ki je arbitrarno izbrana in ne

pomeni odsotnosti merjene značilnosti. Npr. 0 C ne pomeni, da temperature ni, temveč točko ledišča. Podobno velja za nadmorsko višino.

Števila, ki označujejo enakovredne razrede, vsebujejo pri razmernostni merski lestvici vse prejšnje informacije (različnost, ureditev po velikosti, enakovrednost intervalov), imamo pa tudi enolično določeno začetno točko lestvice. Začetna točka lestvice pomeni, da opazovane količine ni. Skupina števil, ki jih pripišemo razredom, sestavlja razmernostno mersko lestvico.

Razmernostna merska lestvica ima poleg vseh lastnosti intervalne lestvice tudi absolutno ničlo. Razmernostne merske lestvice se uporabljajo pri merjenju telesne višine, teže, osebnega dohodka, starosti ljudi in objektov. Oblikovanje merskih lestvic (standardni zgledi) Značilni zgledi merskih letvic so prikazani v nadaljevanju (povzeto po Judd, Smith in Kidder 1991). Sumacijski rang Imamo serijo trditev, na katero lahko odgovorimo le z odgovoroma »da« in »ne«. Predpostavljamo, da trditve (vprašanja) merijo isto teoretično spremenljivko. Končni rezultat je indeks, katerega vrednost dobimo s preštevanjem pozitivnih ali negativnih odgovorov. Merska raven je največ ordinalna (večji – manjši). Pri oblikovanju take lestvice se srečamo z več omejitvami: ni nujno, da vse trditve merijo isto teoretično spremenljivko, isto število točk lahko dobimo različno, vsebinsko lahko različne trditve pa lahko izražajo različno intenzivnost merjenega pojava, čeprav jih formalno obravnavamo enakovredno. (Zgled na prosojnici.) Likertova lestvica Likertovo mersko lestvico je razvil Rensis Likert (1936) (Likert, v: Judd, Smith in Kidder 1991, str. 163–166), zato da bi na ordinalni merski ravni izmeril posameznikova stališča. Indeks se izračuna tako, da se seštejejo posameznikovi odgovori na več anketnih vprašanj, ki naj bi merila isto teoretično spremenljivko vendar z različno intenzivnostjo. Odgovori vsebujejo najmanj dve kategoriji (»se strinjam«, »se ne strinjam«). Odgovorov je lahko več (4–8). Treba pa se je tudi odločiti ali bomo uvrstili nevtralni odgovor ali odgovor »ne vem«. Paziti moramo, da pravilno upoštevamo pozitivne in negativne izjave. To lestvico obravnavamo kot intervalno mersko lestvico. Na ravni posameznih trditev imamo opraviti le z ordinalno

Page 16: METODOLOGIJA SAMOEVALVACIJEarhiv.acs.si/ucna_gradiva/Samoevalvacija_Hlebec.pdf · Dr. Valentina Hlebec . Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo

Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo RS za šolstvo in šport. Projekt se izvaja v okviru Operativnega programa razvoja človeških virov za obdobje 2007-2013, razvojne prioritete »Razvoj človeških virov in vseživljenjskega učenja« in prednostne usmeritve »Izboljševanje kakovosti in učinkovitosti sistemov izobraževanja in usposabljanja.« Stran 16

mersko ravnjo, saj težko trdimo, da so presledki med kategorijami na merski lestvici enaki (»se sploh ne strinjam«, »se ne strinjam«, »niti niti«, »se strinjam«, »se povsem strinjam«). Lestvica je predvsem za nadaljnjo statistično analizo, ker že na ravni trditev zagotovimo ordinalno mersko raven. Prav tako lahko analitično preverjamo veljavnost in zanesljivost tako oblikovanih lestvic. (Zgled na prosojnici.) Thurstonova lestvica Thurstonovo mersko lestvico uporabimo tedaj, če želimo mero z enim samim številskim kontinuumom, čeprav ima stališče, ki nas zanima, več različnih razsežnosti. Louis Thurston je to lestvico razvil v dvajsetih letih (Thurston in Chave 1929, v: Judd, Smith in Kidder, 1991, str. 158–160) in temelji na domnevi, da lahko poiščemo značilni odgovor za vsak koncept, ki ga merimo. Posamezniki imajo lahko sicer različne sodbe, vendar se le-te porazdelijo normalno. Postopek oblikovanja te lestvice se začne s formulacijo velikega števila trditev (npr. več kot 100) o raziskovalnem objektu. Veliko »sodnikov« (npr. 100) izloči ambivalentne ali dvoumne izjave, tako da ostane manj trditev (npr. 20). Vsak »sodnik« oceni trditve glede na predpostavljeni kontinuum (npr. od ugodne do neugodne). Trditve, ki ostanejo, so izbrane po dveh merilih: (1) strinjanje »sodnikov« – mediana – in (2) položaj trditve glede na razvrstitev vrednosti – izberemo tiste, pri katerih so ocene najmanj razpršene. Ta lestvica se danes redkeje uporablja zato ker meri le strinjanje ali nestrinjanje, ne pa tudi stopnje ali intenzivnosti strinjanja. Prav tako predpostavljamo, da se »sodniki« in drugi strinjajo glede položaja trditev. Ta metoda je draga in zamudna. Skupno število točk pa lahko dosežemo tudi različno. Dosežemo pa intervalno mersko raven. (Zgled na prosojnici.) Bogardusova lestvica socialne distance To lestvico, ki meri distanco med socialnimi ali etničnimi skupinami, je razvil Emory Bogardus okrog 1920 (v: Miller 1991, str. 378–382), da bi izmeril pripravljenost članov različnih etničnih skupin za skupno sodelovanje. Anketiranci odgovarjajo na vrsto vprašanj, ki so urejena od najneprijetnejših do najprijetnejših. Anketiranci, ki so jim stiki z drugimi etničnimi skupinami neprijetni ali jih zavračajo, bodo zavrnili trditve, ki vsebujejo socialno bližino s temi skupinami. Lestvica se uporablja različno, ima pa dve omejitvi. Vedno jo je treba prilagoditi položaju ali etnični skupini (npr. priseljenci ali manjšina), prav tako pa jo je za primerjavo izidov potrebno uporabiti za vse take skupine. (Zgled na prosojnici.) Semantični diferencial Osgoodov semantični diferencial je bil razvit v petdesetih letih prejšnjega stoletja (Osgood in drugi 1957, v: Judd, Smith in Kidder 1991, str. 167–169) z namenom, da bi posredno merili posameznikova čustva do nekega koncepta, objekta ali druge osebe. Izberemo množico pridevnikov, ki opisujejo razmerje ali pomen, in njihovih nasprotij. Posameznik na kontinuumu od 7 do 11 točk med dvojicami pridevnikov (pridevnik in nasprotje) označi svoj položaj. Pridevniki naj bodo med seboj dobro

Page 17: METODOLOGIJA SAMOEVALVACIJEarhiv.acs.si/ucna_gradiva/Samoevalvacija_Hlebec.pdf · Dr. Valentina Hlebec . Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo

Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo RS za šolstvo in šport. Projekt se izvaja v okviru Operativnega programa razvoja človeških virov za obdobje 2007-2013, razvojne prioritete »Razvoj človeških virov in vseživljenjskega učenja« in prednostne usmeritve »Izboljševanje kakovosti in učinkovitosti sistemov izobraževanja in usposabljanja.« Stran 17

pomešani. Tako ugotovimo, kako posameznik čuti do različnih konceptov, lahko torej primerjamo različne posameznike pri isti temi. Statistična analiza tako dobljenih podatkov pa je zelo zahtevna. Dosežemo pa znova intervalno mersko raven. (Zgled na prosojnici.) Guttmanova lestvica Guttmanovo ali kumulativno lestvičenje (»Guttmanov skalogram«) se uporablja šele na zbranih podatkih. To pomeni, da moramo že vprašanja zasnovati tako, da ji bomo lahko uporabili v Guttmanovi lestvici. Pristop je razvil Louis Guttman v štiridesetih letih 20. stoletja (Guttman 1944, v: Judd, Smith in Kidder 1991, str. 160–163), da bi ugotovil, ali obstaja povezava med skupino kazalnikov ali merjenih spremenljivk. Gre za uporabo več kazalnikov z namenom, da bi poiskali eno samo predpostavljeno razsežnost ali kumulativno intenzivnost konstrukta. Oblikujemo več kazalnikov (3–20) z domnevo, da med njimi obstaja logična hierarhična povezava (npr. ljudje, ki uporabljajo prepovedane droge, bodo uporabljali tudi dovoljene droge). Imajo le odgovore da ali ne. Dosežemo ordinalno mersko raven. (Zgled na prosojnici.)

Vzorčenje

Vzorčenje enot je potrebno, ko je obravnavana populacija prevelika za opazovanje v celoti. Ne kratko si oglejmo najpreprostejše postopke vzorčenja, ki jih lahko uporabimo brez velikega truda. Postopki vzorčenja so povzeti po avtorjih Kalton in Vehovar (2001). Prvi korak pri načrtovanju anketne raziskave je natančna definicija proučevane populacije (množica vseh proučevanih elementov). Pogosto se zgodi, da zaradi različnih razlogov v resnici opazujemo le anketno populacijo (nedosegljive enote). V skladu s tem moramo torej na začetku definirati želeno ciljno populacijo in pozneje zapisovati vse odmike od želene populacije. Ko natančno opredelimo želeno ciljno populacijo, začnemo načrtovati vzorec. V raziskavo lahko zajamemo kar celotno populacijo. Če je populacija velika, pa postane opazovanje vseh elementov zamudno in drago. Zato se pri opazovanju velikih populacij odločimo za zbiranje podatkov na vzorcu. Vzorec je torej del ciljne populacije, na podlagi katerega bomo sklepali o opazovanih lastnostih populacije. Vprašanje je, kako izbrati del populacije, ki bo zajet v anketno raziskavo. Le pri verjetnostnih vzorcih je mogoče statistično sklepanje iz vzorca na populacijo, ki omogoča izračunavanje, intervalno ocenjevanje populacijskih parametrov. Verjetnostni vzorci so tisti, pri katerih elemente populacije izbiramo naključno; vsak element populacije ima vnaprej znano in neničelno verjetnost, da je izbran v vzorec. Pogoj za korektno statistično sklepanje je verjetnostna izbira elementov opazovanja, ki je neodvisna od anketarja. Prvi pogoj za izpeljavo verjetnostnega vzorčenja je obstoj vzorčnega okvira, iz katerega izbiramo elemente v vzorec. Včasih imamo na

Page 18: METODOLOGIJA SAMOEVALVACIJEarhiv.acs.si/ucna_gradiva/Samoevalvacija_Hlebec.pdf · Dr. Valentina Hlebec . Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo

Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo RS za šolstvo in šport. Projekt se izvaja v okviru Operativnega programa razvoja človeških virov za obdobje 2007-2013, razvojne prioritete »Razvoj človeških virov in vseživljenjskega učenja« in prednostne usmeritve »Izboljševanje kakovosti in učinkovitosti sistemov izobraževanja in usposabljanja.« Stran 18

voljo seznam vseh elementov v populaciji (npr. seznam vseh udeležencev, ki sodelujejo v programu). Za vzorčni okvir uporabimo kar tak seznam. Vzorčimo lahko na več različnih načinov. Preprosti naključni vzorec Najpreprostejša metoda je preprosto naključno vzorčenje (SRS); pri tem ima ne le vsaka enota iz populacije enako verjetnost, da je uvrščena v vzorec (EPSEM), ampak so tudi vsi mogoči vzorci enako verjetni. Zgled tega je na primer SRS, če imamo seznam udeležencev, urejen po abecedi in označen z identifikacijskimi številkami od 0001 do 1917. Vseh udeležencev je manj, ker jih je nekaj šolanje opustilo (npr. 1872). Denimo, da izbiramo vzorec velikosti 250 enot (primerna velikost vzorca je od 200 do 500 za specifične raziskovalne probleme, ko imamo malo podskupin). Eden od načinov izbire je metoda loterije. Številke dijakov napišemo na 1872 enakih kroglic. Kroglice damo v posodo in slučajno izvlečemo 250 kroglic. Postopek je v praksi dokaj neroden, zato ga navadno ne uporabljamo. Pogosteje izbiramo enote v vzorec po preglednici števil, kjer imajo vsa enomestna, dvomestna itn. števila enako pogostost pojavljanja. Naključno izberemo začetno točko in iščemo ustrezna števila (iščemo vrednosti med 0001 in 1917). Postopek bo zamuden (veliko števil od 1918 do 9999 ne bo uporabnih). Postopek poenostavimo tako, da vsaki identifikacijski številki prištejemo 2000, dokler ne presežemo števila 9999. Dijak z identifikacijsko številko 0001 bo torej izbran v vzorec, ko bomo v preglednici naključnih števil naleteli na števila 0001, 2001, 4001, 6001 ali 8001, .. dijak z identifikacijsko številko 1917 pa bo izbran v vzorec, če v preglednici slučajnih števil naletimo na 1917, 3917, 5917, 7917, 9917. Tako je lahko dijak v vzorec izbran večkrat. Ker večkratno anketiranje istega dijaka ni smiselno, bomo vzorčili brez ponavljanja (znova izbrane identifikacijske številke zanemarimo). Sistematično vzorčenje Če je populacija velika, potem je tak način kar zamuden. V tem primeru si lahko pomagamo z metodo sistematičnega vzorčenja. Kar potrebujemo, je izračun vzorčnega deleža in vzorčnega intervala. Vzorčni delež je 250/1872 = 0,133547, vzorčni interval pa 1872/250 = 7,488. Zaokroženje na celo število (korak 7 ali 8) ne prinese želene velikosti vzorca (267 oziroma 234), zato lahko npr. obravnavani seznam obravnavamo kot cikličen (začnemo s poljubnim dijakom in nadaljujemo z določenim celoštevilskim intervalom, dokler ne naberemo 250 enot). Druga rešitev je decimalni korak vzorčenja s celoštevilskim zaokroževanjem navzdol. Začetno naključno število izbiramo v intervalu, ki ga določa tisočkratnik vzorčnega

Page 19: METODOLOGIJA SAMOEVALVACIJEarhiv.acs.si/ucna_gradiva/Samoevalvacija_Hlebec.pdf · Dr. Valentina Hlebec . Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo

Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo RS za šolstvo in šport. Projekt se izvaja v okviru Operativnega programa razvoja človeških virov za obdobje 2007-2013, razvojne prioritete »Razvoj človeških virov in vseživljenjskega učenja« in prednostne usmeritve »Izboljševanje kakovosti in učinkovitosti sistemov izobraževanja in usposabljanja.« Stran 19

koraka (od 1000 do 7488). Denimo, da je to število 3654. S postavitvijo decimalne vejice na ustrezno mesto dobimo 3,654; temu številu potem prištevamo 7,488 (11,142; 18,630; 26,118). V vzorec so izbrani dijaki z zaporednimi številkami 3, 11, 18 in 26. Nadaljujemo, dokler ne dobimo v vzorec 250 enot. Če uporabljamo sistematično vzorčenje, moramo sprejeti tudi domneve o tem, da se opazovane lastnosti ne ujemajo z določenim vzorčnim korakom (npr. vsak 8. udeleženec ima opazovano lastnost). V praksi je skoraj vedno seznam enot naključen, zato je uporaba te metode pogosto mogoča. Vzorčenje v skupinah Ko je populacija sestavljena iz različnih podmnožic, v katere se elementi naravno združujejo (npr. razredi, šole, podjetja ipd.), je mogoče uporabiti vzorčenje v skupinah. V tem primeru umestimo v vzorec vse elemente izbrane skupine in le-ti morajo predstavljati tudi neizbrane skupine. Zato je zaželeno, da so te skupine čim bolj notranje heterogene. Postavimo, da so skupine (vsaj približno) enako velike (imajo enako število elementov, npr. udeležencev ali dijakov). Denimo, da imamo v populaciji A – skupin z enakim številom elementov – B. Potem a skupin izberemo v vzorec s SRS vzorčenjem. Velikost populacije je N = A*B, velikost vzorca pa n = a * B. Denimo, da imamo A = 78 razredov, v katerih je po B = 24 dijakov. Izberemo vzorec a = 10 razredov (250/24). V vzorcu bomo imeli torej 240 dijakov. Prikazani so le trije razmeroma preprosti postopki, ki jih lahko uporabimo za vzorčenje. Za dodatno branje pa je priporočljiva publikacija Vzorčenje v anketah (Kalton in Vehovar 2001). Uporabljena in priporočena literatura:

1. Bearden, Netemeyer and Mobley (1993). Handbook of Marketing Scales. London, Sage.

2. Bryman (1998). Quality and Quantity in Social Research. London, Routledge. 3. Burgess (1995). In the filed: An Introduction to Field Research. London,

Routledge. 4. Converse in Presser (1986). Survey Questions: Handcrafting the Standardized

Questionnaire. London, Sage. 5. Designing questionnaires: Checklist (1992). SCB, Statistics Sweden; 6. Ferligoj, A., K. Leskošek in T. Kogovšek (1995). Zanesljivost in veljavnost

merjenja, Metodološki zvezki, 11. Ljubljana, Fakulteta za družbene vede. 7. Judd, C. M., E. R. Smith in L. H. Kidder (1991). Research Methods in Social

relations, Holt, Rinehart and Winstion Inc., Forth Worth. 8. Kalton, G. in V. Vehovar (2001). Vzorčenje v anketah. Ljubljana, Fakulteta za

družbene vede. 9. Kirk, R. E. (1999), Statistics: An Introduction. Harcourt Brace College

Publishers, Forth Worth.

Page 20: METODOLOGIJA SAMOEVALVACIJEarhiv.acs.si/ucna_gradiva/Samoevalvacija_Hlebec.pdf · Dr. Valentina Hlebec . Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo

Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo RS za šolstvo in šport. Projekt se izvaja v okviru Operativnega programa razvoja človeških virov za obdobje 2007-2013, razvojne prioritete »Razvoj človeških virov in vseživljenjskega učenja« in prednostne usmeritve »Izboljševanje kakovosti in učinkovitosti sistemov izobraževanja in usposabljanja.« Stran 20

10. Lamovec (1988). Priročnik za psihologijo motivacije in emocij. Ljubljana, Filozofska fakulteta.

11. Lamovec (1994). Psihodiagnostika osebnosti. Ljubljana, EF.

12. Miller (1991). Handbook of Research Design and Social Measurement. London, Sage.

13. Neuman (1997). Social Research Methods: Qualitytive and Quantitative Approaches. Boston, Allyn and Bacon.

14. Patton (1990). Qualitytive Evaluation and Research Methods. London, Sage Publications.

15. Pelto in Pelto (1996). Anthropological Research. Cambridge, Cambridge University Press.

16. Robinson, Shaver, Wrightsman (1991). Measures of Personality and Social Psychological Attitudes. San Diego, Academic Presss.

17. Toš in Hafner-Fink (1998). Metode družboslovnega raziskovanja. Ljubljana, Filozofska fakulteta.

18. Zeller, R. A. and Carmines, E.G. (1980). Measurement in the Social Sciences. Cambridge, Cambridge University Press.

PRILOGA A

Najprej naredimo pregled vseh virov, ki smo jih navedli pri posameznih evalvacijskih vprašanjih. Pri vsakem od virov iz evalvacijskih vprašanj zapišemo empirične spremenljivke (kaj želimo iz teh virov izvedeti).

Končni rezultat so tri preglednice. V prvi naredimo seznam vseh virov in jih označimo s črkami. V drugi naredimo seznam virov in pripadajočih empiričnih spremenljivk za posamezna evalvacijska vprašanja. V tretji preglednici pa je podlaga seznam virov in v vsakem viru nabor vseh spremenljivk, za katere iščemo podatke. Posebno pomembna je enolična oznaka evalvacijskih vprašanj, virov in empiričnih spremenljivk. Tako kot pri virih naredimo ustrezne preglednice tudi pri subjektih. Najprej naredimo pregled vseh subjektov, ki smo jih navedli pri posameznih evalvacijskih vprašanjih. Pri vsakem subjektu iz evalvacijskih vprašanj zapišemo empirične spremenljivke (kaj želimo subjekte vprašati). Končni rezultat so tri preglednice. V prvi naredimo seznam vseh subjektov in jih označimo s črkami. V drugi naredimo seznam subjektov in pripadajočih empiričnih spremenljivk za posamezna evalvacijska vprašanja. V tretji preglednici pa je podlaga seznam subjektov in v vsakem subjektu nabor vseh spremenljivk, za katere iščemo podatke. Posebno pomembna je enolična oznaka evalvacijskih vprašanj, subjektov in empiričnih spremenljivk. V nadaljevanju uredimo empirične spremenljivke v posameznem viru in se po premisleku odločimo za ustrezno kvalitativno in/ali kvantitativno metodo zbiranja

Page 21: METODOLOGIJA SAMOEVALVACIJEarhiv.acs.si/ucna_gradiva/Samoevalvacija_Hlebec.pdf · Dr. Valentina Hlebec . Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo

Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo RS za šolstvo in šport. Projekt se izvaja v okviru Operativnega programa razvoja človeških virov za obdobje 2007-2013, razvojne prioritete »Razvoj človeških virov in vseživljenjskega učenja« in prednostne usmeritve »Izboljševanje kakovosti in učinkovitosti sistemov izobraževanja in usposabljanja.« Stran 21

podatkov. Vsekakor pa empirične spremenljivke vsebinsko uredimo. Podobna vprašanja damo skupaj. Sklopi vprašanj naj bodo zapisani v logičnem zaporedju. Če se odločimo za kvantitativno metodo (anketni vprašalnik) izdelamo prvi osnutek anketnega vprašalnika. Pri tem upoštevamo vse korake pri oblikovanju posameznih vprašanj, odgovorov in oblike vprašalnika kot celote. Naredimo dosleden seznam vseh virov in subjektov, kot se pojavijo v zapisu operativnih ciljev.

VIRI IN SUBJEKTI

* Zapisniki z andragoških sestankov Učitelji Vodja IO Ravnatelj

* Dokumentacija – seznami navzočih * Poročilo o seminarju Učitelji Vodja IO

* Dokumentacija – seznami navzočih * Poročilo o seminarju Učitelji Vodja IO

* Seznam izdelanega gradiva Ravnatelj Vodja IO Učitelji Zunanji strokovnjak Vodja IO v podobni srednji šoli

* Dokumentacija o izpeljavi izobraževanja * Katalog ACS * Katalog stalnega strokovnega izpopolnjevanja Učitelji Vodja IO

* Učnoa gradivo Učitelji Vodja IO Knjižničarka Ravnatelj

Ravnatelj Vodja IO Učitelji Udeleženci

* Prijave na interni razpis Učitelji

Page 22: METODOLOGIJA SAMOEVALVACIJEarhiv.acs.si/ucna_gradiva/Samoevalvacija_Hlebec.pdf · Dr. Valentina Hlebec . Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo

Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo RS za šolstvo in šport. Projekt se izvaja v okviru Operativnega programa razvoja človeških virov za obdobje 2007-2013, razvojne prioritete »Razvoj človeških virov in vseživljenjskega učenja« in prednostne usmeritve »Izboljševanje kakovosti in učinkovitosti sistemov izobraževanja in usposabljanja.« Stran 22

Vodja IO Ravnatelj

Učitelji Vodja IO Ravnatelj

Nato naredimo seznam vseh virov in vseh subjektov in ga označimo s črkami abecede. PREGLEDNICA 1

VIRI

Oznaka - vir

(A) Dokumentacija o izpeljavi izobraževanja (B) Dokumentacija – seznami navzočih (C) Katalog ACS (Č) Katalog stalnega strokovnega izpopolnjevanja (D) Poročilo o seminarju (E) Prijave na interni razpis (F) Seznam izdelanega gradiva (G) Učno gradivo (H) Zapisniki andragoških sestankov

SUBJEKTI

Oznaka - subjekt

(I) Knjižničarka (J) Ravnatelj (K) Učitelji (L) Udeleženci (M) Vodja IO (N) Vodja IO v podobni srednji šoli (O) Zunanji strokovnjak

Page 23: METODOLOGIJA SAMOEVALVACIJEarhiv.acs.si/ucna_gradiva/Samoevalvacija_Hlebec.pdf · Dr. Valentina Hlebec . Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo

Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo RS za šolstvo in šport. Projekt se izvaja v okviru Operativnega programa razvoja človeških virov za obdobje 2007-2013, razvojne prioritete »Razvoj človeških virov in vseživljenjskega učenja« in prednostne usmeritve »Izboljševanje kakovosti in učinkovitosti sistemov izobraževanja in usposabljanja.« Stran 23

Viri podatkov in podatkov PREGLEDNICA 2

IZBRAN KAZALNIK KAKOVOSTI: 4.2.4 Sodelovanje pri pripravi in razvoju učnega gradiva za odrasle

EVALVACIJSKA VPRAŠANJA VIRI EMPIRIČNE SPREMENLJIVKE

4.2.4.1 Kateri učitelji se želijo dodatno usposabljati za pripravo učnega gradiva za odrasle?

(A) Dokumentacija o izpeljavi izobraževanja

X1: Ali lahko kaj o učiteljih izvemo iz tega vira?

(C) Katalog ACS X.

(Č) Katalog stalnega strokovnega izpopolnjevanja

X.

4.2.4.2 Kakšna je ponudba izobraževalnih programov za pripravo učnega gradiva za odrasle?

(A) Dokumentacija o izpeljavi izobraževanja

X10: Kaj o ponudbi bomo izvedeli iz tega vira (npr. seznam vsega izobraževanja)? X11

(C) Katalog ACS X16

(Č) Katalog stalnega strokovnega izpopolnjevanja

X21

Page 24: METODOLOGIJA SAMOEVALVACIJEarhiv.acs.si/ucna_gradiva/Samoevalvacija_Hlebec.pdf · Dr. Valentina Hlebec . Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo

Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo RS za šolstvo in šport. Projekt se izvaja v okviru Operativnega programa razvoja človeških virov za obdobje 2007-2013, razvojne prioritete »Razvoj človeških virov in vseživljenjskega učenja« in prednostne usmeritve »Izboljševanje kakovosti in učinkovitosti sistemov izobraževanja in usposabljanja.« Stran 24

PREGLEDNICA 2

EVALVACIJSKA VPRAŠANJA SUBJEKTI EMPIRIČNE SPREMENLJIVKE

4.2.4.1 Kateri učitelji se želijo dodatno usposabljati za pripravo učnega gradiva za odrasle?

(L) Učitelji Y1: Ali se želite dodatno usposabljati?

(N) Vodja IO Y2. Koliko učiteljev in kateri so vam že izrazili željo ...?

4.2.4.2 Kakšna je ponudba izobraževalnih programov za pripravo učnega gradiva za odrasle?

(L) Učitelji Y10: Kakšna se vam zdi ponudba?

(N) Vodja IO Y15

PREGLEDNICA 3

VIRI EMPIRIČNE SPREMENLJIVKE EVALVACIJSKA VPRAŠANJA

(A) Dokumentacija o izpeljavi izobraževanja

X1: Ali lahko kaj o učiteljih izvemo iz tega vira?

4.2.4.1 Kateri učitelji se želijo dodatno usposabljati za pripravo učnega gradiva za odrasle?

X10: Kaj o ponudbi bomo izvedeli iz tega vira (npr. seznam vsega izpeljanega izobraževanja) X11

4.2.4.2 Kakšna je ponudba izobraževalnih programov za pripravo učnega gradiva za odrasle?

X35 ...

(B) Dokumentacija – seznami navzočih

X ...

... ... ...

(I) Zapisniki andragoških sestankov

Page 25: METODOLOGIJA SAMOEVALVACIJEarhiv.acs.si/ucna_gradiva/Samoevalvacija_Hlebec.pdf · Dr. Valentina Hlebec . Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo

Projekt financirata Evropska unija iz Evropskega socialnega sklada ter Ministrstvo RS za šolstvo in šport. Projekt se izvaja v okviru Operativnega programa razvoja človeških virov za obdobje 2007-2013, razvojne prioritete »Razvoj človeških virov in vseživljenjskega učenja« in prednostne usmeritve »Izboljševanje kakovosti in učinkovitosti sistemov izobraževanja in usposabljanja.« Stran 25

PREGLEDNICA 3

SUBJEKTI EMPIRIČNE SPREMENLJIVKE EVALVACIJSKA VPRAŠANJA

(J) Knjižničarka Y10

(K) Ravnatelji Y20 ...

(L) Učitelji Y1: Ali se želite dodatno usposabljati? 4.2.4.1 Kateri učitelji se želijo dodatno usposabljati za pripravo učnega gradiva za odrasle?

Y10: Kakšna se vam zdi ponudba? 4.2.4.2 Kakšna je ponudba izobraževalnih programov za pripravo učnega gradiva za odrasle?

... ...

(P) Zunanji strokovnjak ... ...