Univerzitet u Novom Sadu Univerzitetski centar za...
Transcript of Univerzitet u Novom Sadu Univerzitetski centar za...
Univerzitet u Novom Sadu
Univerzitetski centar za primenjenu statistiku
MASTER RAD
Ponašanje indeksa fita prilikom estimacije modela konfirmativne faktorske
analize uz pomoć WLSMV estimatora na kategorijalnim podacima
Mentor: Kandidat:
Doc. dr Petar Čolović Marija Tatalović
Novi Sad, 2017.
Univerzitet u Novom Sadu
UCPS - Univerzitetski centar za primenjenu statistiku
Ključna dokumentacijska informacija
Redni broj:
RBR
Identifikacioni broj:
IBR
Tip dokumentacije:
TD
Monografska dokumentacija
Tip zapisa:
TZ
Tekstualni štampani materijal
Vrsta rada (dipl., mag., dokt.):
VR
Master rad
Ime i prezime autora:
AU
Marija Tatalović
Mentor (titula, ime, prezime, zvanje):
MN
dr Petar Čolović, docent
Naslov rada:
NR
Ponašanje indeksa fita prilikom estimacije
modela konfirmativne faktorske analize uz
pomoć WLSMV estimatora na
kategorijalnim podacima
Jezik publikacije:
JP
Srpski (latinica)
Jezik izvoda:
JI
srp. / eng.
Zemlja publikovanja:
ZP
Srbija
Uže geografsko područje:
UGP
Novi Sad, Vojvodina
Godina:
GO
2017.
Izdavač:
IZ
autorski reprint
Mesto i adresa:
MA
Dr Zorana Đinđića 1, Novi Sad
Fizički opis rada:
FO
(6 poglavlja / 45 stranica / 2 slike / 2
grafikona / 41 referenca / 1 prilog)
Naučna oblast:
NO
Statistika
Naučna disciplina:
ND
Statistika u društvenim naukama
Predmetna odrednica, ključne reči:
PO
Indeksi fita, granične vrednosti, kategorijalni
podaci, konfirmativna faktorska analiza,
WLSMV, Monte Karlo metoda
UDK
Čuva se:
ČU
Biblioteka
Važna napomena:
VN
Izvod:
IZ
Ovaj rad se bavi procenom fita modela
konfirmativne faktorske analize na osnovu
vrednosti indeksa fita. Testiran je efekat koji
primena robusne metode ponderisanih
najmanjih kvadrata (Mean and variance
adjusted weighted least square – WLSMV)
ima na vrednosti četiri najčešće korišćena
indeksa fita (RMSEA, CFI, TLI i SRMR)
prilikom modelovanja kategorijalnih
varijabli sa četiri uređene kategorije. Na
osnovu modela konfirmativne faktorske
analize umerene kompleksnosti simulirani su
podaci sa četiri uređene kategorije. Za
simulaciju podataka korišćena je Monte
Karlo metoda. Generisano je ukupno 18000
uzoraka, pri čemu su varirani sledeći faktori:
veličina uzorka (250, 500, 1000), izgled
distribucije (simetrična, umereno
asimetrična, izrazito asimetrična) i vrsta
specifikacije modela (dobro specifikovan i
pogrešno specifikovan). Utvrđeno je da se
granične vrednosti dobijene WLSMV
estimacijom na kategorijalnim podacima
razlikuju od graničnih vrednosti koje se u
literaturi najčešće koriste. Mogućnost
odbijanja porešno specifikovanog modela
značajno je otežana na uzorcima veličine
N=250, kao i na uzorcima veličine N=500
kada je distribucija podataka ekstremno
asimetrična. Vrsta specifikacije modela u
najvećoj meri utiče na varijablinost u
vrednostima RMSEA, CFI i TLI, dok su
vrednosti SRMR pod velikim uticajem ne
samo vrste specifikacije, već i veličine
uzorka.
Datum prihvatanja teme od strane NN veća:
DP
Datum odbrane:
DO
Članovi komisije:
(ime i prezime / titula / zvanje / naziv
organizacije / status)
KO
predsednik: dr Ljiljana Mihić, vanredni
profesor, Filozofski fakultet u Novom Sadu
član: dr Dejan Pajić, docent, Filozofski
fakultet u Novom Sadu
član: dr Petar Čolović, docent, Filozofski
fakultet u Novom Sadu, mentor
University of Novi Sad
University Center for Applied Statistics
Key word documentation
Accession number:
ANO
Identification number:
INO
Document type:
DT
Monograph documentation
Type of record:
TR
Textual printed material
Contents code:
CC
Master’s thesis
Author:
AU
Marija Tatalović
Mentor:
MN
dr Petar Čolović, assistant professor
Title:
TI
Behavior of fit indices in confirmatory factor
analysis model estimation with WLSMV
estimation method
Language of text:
LT
Serbian (Latin)
Language of abstract:
LA
eng. / srp.
Country of publication:
LP
Serbia
Locality of publication:
LP
Novi Sad, Vojvodina
Publication year:
PY
2017.
Publisher:
PU
Author’s publication
Publication place:
PP
Dr Zorana Đinđića 1, Novi Sad
Physical description:
PD
(6 chapters / 45 pages / 2 pictures / 2 graphs
/ 41 bibliographic citations / 1 appendix)
Scientific field:
SF
Applied statistics
Scientific discipline:
SD
Statistics in social sciences
Subject, Key words:
SKW
Fit indices, cutoff values, categorical data,
confirmatory factor analysis, WLSMV,
Monte Carlo method
UC
Holding data:
HD
Library
Note:
N
Abstract:
AB
In this study we were interested in the values
of fit indices when a confirmatory factor
analysis model is estimated with categorical
data. The effect that the Mean and variance
adjusted weighted least square (WLSMV)
estimation method has on the values of the
four commonly used fit indices (RMSEA,
CFI, TLI and SRMR) was considered. A
confirmatory factor analysis model of
moderate complexity was created for data
simulation. Monte Carlo method was used to
simulate variables with four ordered
categories. A total of 18,000 samples were
generated, and the following factors were
varied: sample size (250, 500, 1000),
appearance of the distribution (symmetric,
moderately asymmetrical, extremely
asymmetrical) and model specification (well
specified and misspecified). It was found that
the cutoff values obtained by WLSMV
estimation on categorical data differ from the
cutoff values that are most often used in the
literature. The possibility of rejecting a
misspecified model is significantly impeded
when the sample size is N = 250, as well as
when the sample size is N = 500 and
distribution of data is extremely
asymmetrical. The model specification
influences the variability in the values of
RMSEA, CFI and TLI the most, while the
values of SRMR are greatly influenced not
only by the model specification, but also by
the sample size.
Accepted on Scientific Board on:
AS
Defended:
DE
Thesis Defend Board:
DB
president: dr Ljiljana Mihić, associate
professor, Faculty of Philosophy Novi Sad
member: dr Dejan Pajić, assistant professor,
Faculty of Philosophy Novi Sad
member: dr Petar Čolović, assistant
professor, Faculty of Philosophy Novi Sad,
mentor
REZIME
Ovaj rad se bavi procenom fita modela konfirmativne faktorske analize na osnovu
vrednosti indeksa fita. Testiran je efekat koji primena robusne metode ponderisanih najmanjih
kvadrata (Mean and variance adjusted weighted least square – WLSMV) ima na vrednosti četiri
najčešće korišćena indeksa fita (RMSEA, CFI, TLI i SRMR) prilikom modelovanja
kategorijalnih varijabli sa četiri uređene kategorije. Na osnovu modela konfirmativne faktorske
analize umerene kompleksnosti simulirani su podaci sa četiri uređene kategorije. Za simulaciju
podataka korišćena je Monte Karlo metoda. Generisano je ukupno 18000 uzoraka, pri čemu su
varirani sledeći faktori: veličina uzorka (250, 500, 1000), izgled distribucije (simetrična,
umereno asimetrična, izrazito asimetrična) i vrsta specifikacije modela (dobro specifikovan i
pogrešno specifikovan). Utvrđeno je da se granične vrednosti dobijene WLSMV estimacijom
na kategorijalnim podacima razlikuju od graničnih vrednosti koje se u literaturi najčešće
koriste. Mogućnost odbijanja porešno specifikovanog modela značajno je otežana na uzorcima
veličine N=250, kao i na uzorcima veličine N=500 kada je distribucija podatka ekstremno
asimetrična. Vrsta specifikacije modela u najvećoj meri utiče na varijablinost u vrednostima
RMSEA, CFI i TLI, dok su vrednosti SRMR pod velikim uticajem ne samo vrste specifikacije,
već i veličine uzorka.
Ključne reči: Indeksi fita, granične vrednosti, kategorijalni podaci, konfirmativna faktorska
analiza, WLSMV, Monte Karlo metoda
ABSTRACT
In this study we were interested in the values of fit indices when a confirmatory factor
analysis model is estimated with categorical data. The effect that the Mean and variance
adjusted weighted least square (WLSMV) estimation method has on the values of the four
commonly used fit indices (RMSEA, CFI, TLI and SRMR) was considered. A confirmatory
factor analysis model of moderate complexity was created for data simulation. Monte Carlo
method was used to simulate variables with four ordered categories. A total of 18,000 samples
were generated, and the following factors were varied: sample size (250, 500, 1000),
appearance of the distribution (symmetric, moderately asymmetrical, extremely asymmetrical)
and model specification (well specified and misspecified). It was found that the cutoff values
obtained by WLSMV estimation on categorical data differ from the cutoff values that are most
often used in the literature. The possibility of rejecting a misspecified model is significantly
impeded when the sample size is N = 250, as well as when the sample size is N = 500 and
distribution of data is extremely asymmetrical. The model specification influences the
variability in the values of RMSEA, CFI and TLI the most, while the values of SRMR are
greatly influenced not only by the model specification, but also by the sample size.
Key words: Fit indices, cutoff values, categorical data, confirmatory factor analysis,
WLSMV, Monte Carlo method
SADRŽAJ
UVOD ........................................................................................................................................ 1
Kategorijalni podaci ............................................................................................................... 1
Konfirmativna faktorska analiza ............................................................................................ 3
Neki od metoda estimacije za kategorijalne podatke ............................................................. 4
Procena podobnosti modela ................................................................................................... 6
Hi-kvadrat (χ2) test .............................................................................................................. 6
Indesi fita ............................................................................................................................ 6
Pregled postojeće literature .................................................................................................. 10
Cilj i zadaci ovog istraživanja .............................................................................................. 13
METOD ................................................................................................................................... 16
Modeli i specifikacije modela .............................................................................................. 16
Dizajn istraživanja ................................................................................................................ 17
Generisanje uzoraka ............................................................................................................. 18
Analiza podataka .................................................................................................................. 19
REZULTATI............................................................................................................................ 20
Neispravno konvergirani rezultati ........................................................................................ 20
Aritmetičke sredine i standardne devijacije indeksa fita ...................................................... 20
Granične vrednosti indeksa fita i odstupanja od preporučenih graničnih vrednosti ............ 24
Moć odbijanja pogrešno specifikovanog modela i greška tipa I .......................................... 25
Analiza varijanse .................................................................................................................. 28
DISKUSIJA ............................................................................................................................. 30
LITERATURA ........................................................................................................................ 34
PRILOG ................................................................................................................................... 38
R sintaksa ............................................................................................................................. 38
1
UVOD
Kategorijalni podaci
U psihologiji, kao i u mnogim drugim društvenim naukama, prikupljanje podataka
pomoću mernih instrumenata je vrlo česta praksa. Bilo da se radi o podacima o psiho-fizičkim
merama, osobinama ličnosti ili ispitivanju stavova o određenoj temi, istraživači se u svom radu
susreću sa podacima kategorijalne prirode.
Psihološki konstrukti, kao što su na primer stavovi, često su mereni uz pomoć Likertove
skale (npr. Uopšte se ne slažem, Uglavnom se ne slažem, Uglavnom se slažem, Potpuno se
slažem) u kojoj su kategorije odgovora poređane uzlaznim redosledom, zbog čega tada
govorimo o postojanju ordinalnih podataka (Rhemulla, Brosseau-Liard, & Savalei, 2012).
Tipični primeri mernih instumenata koji se koriste u psihologiji jesu psihometrijski
testovi ili upitnici u okviru kojih se nalaze pitanja ili tvrdnje na koje ispitanik treba da odgovori
uz pomoć prethodno ustanovljene skale sa određenim brojem isključivih kategorija. Ovi
instrumenti su kreirani tako da mere jedan ili više teorijskih konstrukata, koji su najčešće
kontinuirani, dok su opaženi odgovori diskretne realizacije. U takvim slučajevima postoji
potencijalna neusaglašenost između pretpostavki koje se nalaze u osnovi statističkog modela i
empirijskih karakteristika podataka koje je potrebno analizirati (Flora & Curran, 2004).
Konvencionalan način za ispitivanje odnosa između opaženih varijabli i teorijskog
konstrukta jeste pomoću linearne funcije, u kojoj se predviđa uticaj teorijskog konstrukta na
vektor dobijen pomoću vrednosti opaženih varijabli. Međutim, kada su opažene varijable
kategorijalne, upotreba linearne funkcije nije prikladna, jer može doći do narušavanja
pretpostavki, loše predikcije i nemogućnosti razumevanja odnosa koji postoje u podacima
(Edwards et al., 2012). Zbog toga se, umesto korišćenja metoda baziranih na vrednostima
Pirsonovih produkt-moment korelacija, preporučuje korišćenje matrica tetrahoričnih korelacija
za binarne opažene varijable i matrica polihoričnih korelacija za opažene varijable sa više od
dve kategorije (Olsson, 1979).
2
Čak i kada su kategorijalni podaci naizgled približno normalno distribuirani, oni su po
svojoj prirodi diskretni, ili kako ih je Bolen okarakterisao ’grubi’ ili ’kruti’, te po definiciji ne
mogu biti normalno distribuirani (Bollen, 1989). Analogija sa pragovima pomaže nam da bliže
sagledamo kategorijalne podatke. Kada kategorijalni podaci imaju uređene kategorije, odnosno
kada se prilikom njihovog opisivanja koristi tačno utvrđen redosled, govorimo o postojanju
ordinalnih podataka. Smatra se da do pojave ordinalnih podataka dolazi kada kontinuiranu
latentnu varijablu (y*) podelimo na distinktivne kategorije. Tačke koje dele kontinuiranu
latentnu varijablu (y*) na određeni broj kategorija (C) nazivaju se pragovi (τ), dok je ukupan
broj pragova jednak broju kategorija minus jedan (C – 1). Stoga opažene ordinalne varijable
(y) nastaju na sledeći način (Bollen, 1989):
y=
{
1, 𝑎𝑘𝑜 𝑦∗ ≤ 𝜏1 2, 𝑎𝑘𝑜 𝜏1 < 𝑦
∗ ≤ 𝜏2 ⋮ ⋮ 𝐶 − 1, 𝑎𝑘𝑜 𝜏𝐶−2 < 𝑦∗ ≤ 𝜏𝐶−1𝐶, 𝑎𝑘𝑜 𝜏𝐶−1 ≤ 𝑦∗
U najvećem broju slučajeva broj kategorija kreće se između dve i sedam, a istraživanja
koja su se bavila pitanjem broja kategorija koje varijabla treba da ima kako bismo mogli da je
tretiramo kao kontinuiranu, došla su do zaključka prema kome varijable sa pet ili više
kategorija možemo smatrati kontinuiranim (Lei & Wu, 2012; Flora & Curran, 2004).
Zbog varijabli sa manje od pet kategorija, koje u psihološkim istraživanjima nisu
retkost, istraživači moraju poznavati metodologiju namenjenu obradi kategorijalnih podataka i
biti svesni grešaka koje nastaju u slučaju da prilikom obrade zanemare njihovu kategorijalnu
prirodu. Neki od upitnika pomoću kojih se u psihološkim istraživanjima prikupljaju podaci
podrazumevaju odgovore u dihotomnom formatu (npr. Minnesota Multiphasic Personality
Inventory – MMPI ili Marlowe-Crowne Social Desirability Scale – MCSD), ali i trostepene ili
četvorostepene skale odgovora (npr. Beck Depression Inventory – BDI).
3
Konfirmativna faktorska analiza
Konfirmativna faktorska analiza (Confirmatory factor analysis - CFA) spada u širu
familiju analiza poznatih kao Modelovanje strukturalnim jednačinama (Stractural Equation
modeling - SEM), a njen glavni cilj jeste sažimanje broja varijabli.
U osnovi konfirmativne faktorske analize nalazi se ideja o povezanosti manifestnih
varijabli (npr. odgovora na stavke u upitniku) sa latentnim faktorom (teorijskim konstruktom).
Model konfirmativne faktorske analize podrazumeva kauzalni odnos u kome latentni faktor
utiče na manifesne varijable, odnosno manipulacija latentnog faktora dovodi do promene u
vrednostima manifesnih varijabli. Tako postavljen model naziva se reflektivnim, dok u slučaju
kada jedna kompozitna varijabla obuhvata zajedničku varijansu više manifesnih varijabli i
promena u vrednostima manifesnih varijabli utiče na vrednost kompozitne varijable govorimo
o postojanju formativnog modela (Edwards & Bagozzi, 2000).
Regresioni koeficijenti, takođe poznati i kao faktoska opterećenja (λ), daju nam
informaciju o jačini veze između manifesnih varijabli i latentnog faktora. Kada za grupu
manifesnih varijabli kažemo da imaju opterećenja na nekom faktoru, to znači da nam
procenjene vrednosti koeficijenata mogu pomoći da razumemo latentni faktor koji one
modeluju (Edwards, Wirth, Houts, & Xi, 2012). Na osnovu vrednosti manifesnih varijabli
kreiramo matricu kovarijansi uzorka (S), a pomoću nje i matrice kovarijansi predviđene
modelom σ(𝛳) možemo da vršimo procenu parametara modela. Osnovni cilj nam je da
parametre procenimo tako da razlika između ove dve matrice kovarijansi bude minimalna
(Sugawara & MacCallum, 1993).
Najčešće korišćeni metodi procene u konfirmativnoj faktorskoj analizi jesu Metod
maksimalne verodostojnosti (Maximum likelihood – ML) i Metod generalizovanih najmanjih
kvadrata (Generalized least squares – GLS). Jedna od pretpostavki za upotrebu ovih metoda je
da manifesne varijable prate multivarijatnu normalnu raspodelu (Edwards et al., 2012), stoga
je njihova adekvatna primena moguća na normalno distribuiranim kontinuiranim podacima i
simetričnim kategorijalnim podacima sa pet ili više kategorija, gde ovi metodi daju
zadovoljavajuće vrednosti hi-kvadrat testa i indeksa fita, kao i nepristrasne procene parametara
(Lei & Wu, 2012; Rhemulla, Brosseau-Liard, & Savalei, 2012).
4
Tokom godina razvijani su metodi estimacije koji bi koristili istraživačima u
situacijama kada pretpostavka multivarijatne normalnosti nije zadovoljena. Jedan takav metod
jeste Braunov ADF (Asymptotically distribution free) prema kome nenormalnost distribucije
nema efekta na vrednost χ2 testa (Browne, 1984). Pored Braunovog ADF-a, razvijena je još
jedna strategija sa ciljem da se omogući uvođenje nenormalnih podataka u analizu. Ova
strategija postaje sve popularnija, a u pitanju je procedura Satora-Bentler skaliranja (Satorra-
Bentler, S-B). Logika ove procedure je takva da se vrednost χ2 i standardnih grešaka dobijenih
Metodom maksimalne verodostojnosti prilagođavaju uz pomoć distributivnih karakteristika
opaženih podataka (Finney & DiStefano, 2006). Iako u njenom opisu stoji da pored
nenormalnih kontinuiranih podataka može tretirati i kategorijalne podatke, nekoliko autora je
upozorilo da ova procedura nije pogodna za upotrebu na kategorijalnim podacima zbog same
činjenice da koristi matricu Pirsonovih produkt-moment korelacija (Wirth & Edwards, 2007).
Međutim, postoje i autori koji zagovaraju upotrebu ovog metoda na kategorijalnim podacima
uz pomoć matrica tetrahoričnih ili polihoričnih korelacija (Lei & Wu, 2012).
Neki od metoda estimacije za kategorijalne podatke
Kako bi upotreba Braunovog ADF-a mogla da bude proširena i na kategorijalne
podatke, kreiran je Metod ponderisanih najmanjih kvadrata (Weighted least squares – WLS)
čija funkcija podesnosti glasi:
𝐹𝑊𝐿𝑆 = (𝑟 − �̂�)′𝑊−1(𝑟 − �̂�),
gde r predstavlja vektor dobijen iz matrice tetrahoričnih ili polihoričnih korelacija na uzorku i
nosi informaciju o pragovima, �̂� je vektor dobijen iz matice korelacija predviđenjih modelom,
dok je 𝑊 ponderisana matrica kovarijanse (Muthén, 1984).
Iako je prvobitno delovalo da će uvođenje WLS metoda efikasno rešiti problem
estimacije kategorijalnih podataka, naučnici su vrlo brzo uočili njegove manjkavosti. One se
tiču teškoća sa invertovanjem ponderisane matrice (𝑊−1), s obzirom na to da ovaj postupak
zahteva dovoljno veliki uzorak (Wirth & Edwards, 2007). Nekoliko autora se složilo da je
5
neophodno da uzorak bude N=1000 ili veći kako bi WLS dao zadovoljavajuće rezultate
(Potthast, 1993; Flora & Curran, 2004).
Da bi se prevazišla ograničenja koja upotreba WLS estimatora sa sobom nosi, razvijene
su njegove robusne varijante. U pitanju su Metod ponderisanih najmanjih kvadrata koji
koriguje aritmetičku sredinu χ2 (Mean-adjusted weighted least square - WLSM) i Metod
ponderisanih najmanjih kvadrata koji koriguje aritmetičku sredinu i varijansu χ2 (Mean- and
variance-adjusted weighted least square - WLSMV) (Finney & DiStefano, 2006). Prednosti
ovih metoda estimacije su u tome što za izračunavanje koriste samo dijagonalne elemete
ponderisane matrice, čime se njeno inverovanje znatno olakšava, a ujedno nam omogućavaju i
upotrebu manjih uzoraka (Wirth & Edwards, 2007). Opšta formula za oba robusna WLS
estimatora izgleda na sledeći način:
𝐹𝑅𝑊𝐿𝑆 = (𝑟 − �̂�)′𝑊𝐷−1(𝑟 − �̂�),
gde su r i �̂� definisani isto kao i u prethodnoj formuli, dok 𝑊𝐷 sadrži samo dijagonalne elemente
ponderisane matrice (Wirth & Edwards, 2007).
Razlog za favorizovanje upotrebe WLSMV estimatora, nasuprot WLSM estimatoru,
dolazi iz činjenice da WLSMV ostvaruje niže vrednosti greške tipa I (Muthén, du Toit, &
Spisic, 1997).
U poslednje vreme često se spominje da je i robusna varijanta Metode neponderisanih
najmanjih kvadrata (Mean- and variance-adjusted unweighted least squares – ULSMV) vrlo
efikasna za estimaciju modela sa kategorijalnim podacima (Li, 2014; Xia, 2016), međutim u
ovom radu smo se fokusirali na upotrebu WLSMV estimatora, te podrobnije predstavljanje
ULSMV metoda prevazilazi njegove granice.
6
Procena podobnosti modela
Odluka o prihvatanju ili odbacivanju modela konfirmativne faktorske analize može biti
doneta na osnovu χ2 testa ili na osnovu indeksa fita (indeksa podesnosti) koji su nastali iz
potrebe da se prevaziđu neke od manjkavosti koje upotreba χ2 testa sa sobom nosi. U daljem
tekstu biće reči o prednostima i manama ova dva pristupa evaluciji modela.
Hi-kvadrat (χ2) test
Prvi pristup podrazumeva klasično testiranje hipoteza, gde se prema nultoj hipotezi
pretpostavlja da je predloženi model konzistentan sa opaženim podacima. Fit modela određuje
se u terminima dihotomne odluke, u kojoj se prihvatanje ili odbacivanje modela zasniva na
upoređivanju asimptotske χ2 distribucije sa kritičnim vrednostima χ2 distribucije za određeni
broj stepeni slobode i prethodno utvrđeni nivo α vrednosti (Tanaka, 1993).
χ2 test se smatra najdirektnijim i očiglednim testom u modelovanju strukturalnim
jednačinama (Barrett, 2007). Osnovna zamerka koja se upućuje na račun korišćenja χ2 testa
jeste njegova zavisnost od veličine uzorka, zbog koje je ovaj test na velikim uzorcima gotovo
uvek statistički značajan (Hutchinson & Olmos, 1998; Fan, Thompson, & Wang, 1999),
odnosno odbacivanje nulte hipoteze sa povećanjem uzorka postaje sve češće.
Indesi fita
Indeksi fita kreirani su iz potrebe da se izbegne dihotomno zaključivanje, koje se nalazi
u osnovi testiranja hipoteza, kao i da se umanji uticaj veličine uzorka. Da bi se izbegle
manjkavosti χ2 testa, istraživači su počeli da razvijaju indekse fita tako da u obzir uzimaju
veličinu uzorka, broj varijabli ili broj stepeni slobode, a njihove vrednosti mogu da se nađu u
određenom rasponu. U slučaju da je naš model odbijen, ovi indeksi nam daju informaciju o
meri u kojoj je naš model protivrečan podacima (Barrett, 2007).
Postoje različiti načini na koje možemo klasifikovati indekse fita, a u ovom radu ćemo
se fokusirati na podelu na apsolutne i relativne indekse. Za izračunavanje apsolutnih
7
(neinkrementalnih) indeksa fita nije nam potreban osnovni model na osnovu koga se vrši
upoređivanje, već nam njihova vrednost govori o tome koliko dobro naš model pristaje
podacima u poređenju sa nepostojanjem bilo kakvog modela. Dok relativni (inkrementalni,
komparativni) indeksi fita upoređuju vrednost χ2 sa osnovnim modelom, a nulta hipoteza je da
su sve varijable nekorelisane (Tanaka, 1993).
Nas će zanimati ponašanje dva relativna indeksa fita (CFI i TLI) i dva apsolutna indeksa
fita (RMSEA i SRMR) koji se najčešće koriste (Garrido, Abad, & Ponsoda, 2016), zbog čega
sledi njihovo podrobnije predstavljanje:
• Indeks fita modela (Goodness-of-fit index – CFI) je inkrementalni indeks fita
definisan kao (Bentler, 1990):
𝐶𝐹𝐼 = 1 −max (𝜆𝑀, 0)
max (𝜆𝑁, 𝜆𝑀, 0)
gde je 𝜆𝑁 necentralizovani parametar osnovnog modela, a 𝜆𝑀 necentralizovani parametar
specifikovanog modela. Osnovni model podrazumeva model u kome su sve varijable
nekorelirane i služi kao osnova za poređenje i procenu uspešnosti specifikovanog modela
(Hooper, Coughlan, & Mullen, 2008). Necentralizovani parametar 𝜆𝑀 računa se kao 𝜒𝑀2 −
𝑑𝑓𝑀, gde je 𝜒𝑀2 hi-kvadrat statistik koji testira jednakost matrice kovarijanse dobijene na uzorku
i matrice kovarijanse dobijene na osnovu specifikovanog modela. CFI je indeks fita koji
procenjuje stepen u kome je specifikovani model superioran u odnosu na osnovni model u
reprodukovanju matrice kovarijanse dobijene na osnovu uzorka (Garrido, Abad, & Ponsoda,
2016). CFI može da zauzme vrednosti od 0 do 1, a više vrednosti govore o boljem fitu u
poređenju sa osnovnim modelom (Hu & Bentler, 1999).
• Taker-Luisov indeks (Tucker-Lewis index – TLI) je inkrementalni indeks fita.
Bentler i Bonet su korigovali prvobitnu formulu, predloženu od strane Takera i
Luisa, i ona izgleda na sledeći način (Tucker & Lewis, 1973; Bentler & Bonett,
1980):
8
𝑇𝐿𝐼 = 1 −
𝜆𝑀𝑑𝑓𝑀𝜆𝑁𝑑𝑓𝑁
= 1 − (𝜆𝑀𝜆𝑁) (𝑑𝑓𝑁𝑑𝑓𝑀
)
gde je 𝜆𝑀 necentralizovani parametar specifikovanog modela, 𝑑𝑓𝑀 broj stepeni slobode
specifikovanog modela, 𝜆𝑁 necentralizovani parametar osnovnog modela, 𝑑𝑓𝑁 broj stepeni
slobodne osnovnog modela. Logika funkcionisanja TLI ista je kao i za CFI, s tim da TLI vrši
korekciju za broj stepeni slobode, čime nas obaveštava o relativnom smanjenju nepodobnosti
za broj stepeni slobode. To je dodatno prilagođavanje koje u obzir uzima parsimoničnost
modela (Mahler, 2011). Vrednosti TLI se obično nalaze u rasponu od 0 do 1, ali s obzirom na
to da nije normiran, ponekad može da primi vrednosti i van ovog raspona. Ujedno, vrednosti
TLI su uvek niže od vrednosti CFI zato što se razlomak 𝜆𝑀
𝜆𝑁 koji se oduzima od 1 u formuli
množi sa 𝑑𝑓𝑁
𝑑𝑓𝑀, koji je uvek veći od 1 (Kenny & McCoach, 2003). S druge strame, vrednosti CFI
i TLI teže da postanu slučnije kada se broj manifesnih varijabli povećava, zato što sa njihovim
povećanjem odnos 𝑑𝑓𝑁
𝑑𝑓𝑀 teži jedinici (Garrido, Abad, & Ponsoda, 2016).
• Kvadratni koren prosečne kvadrirane greške aproksimacije (Root-mean-square
error of approximation – RMSEA) je apsolutni indeks koji je definisan na sledeći
način (Steiger & Lind, 1980):
𝑅𝑀𝑆𝐸𝐴 = max(√𝜆𝑀
𝑑𝑓𝑀(𝑁 − 1), 0)
gde su 𝜆𝑀 i 𝑑𝑓𝑀 necentralizovani parametar i broj stepeni slobode za specifikovani model, a 𝑁
predstavlja veličinu uzorka. Donja granica za RMSEA je 0, a niže vrednosti govore o boljem
fitu, odnosno o manjoj grešci aproksimacije (Garrido, Abad, & Ponsoda, 2016).
• Standardizovani kvadratni koren prosečnog kvadrata reziduala (Standardized root
mean squared residual – SRMR) je apsolutni indeks fita čija formula glasi (Jöreskog
& Sörbom, 1981):
9
𝑆𝑅𝑀𝑅 =√∑ ∑ (
𝑠𝑖𝑗
√𝑠𝑖𝑖√𝑠𝑗𝑗−
�̂�𝑖𝑗
√�̂�𝑖𝑖√�̂�𝑗𝑗)
2
𝑖𝑗=1
𝑝𝑖=1
𝑝(𝑝 + 1)/2
gde 𝑠𝑖𝑗 predstavlja opaženu kovarijansu, �̂�𝑖𝑗 kovarijansu dobijenu na osnovu teorijskog modela,
𝑠𝑖𝑖 i 𝑠𝑗𝑗 su opažene standardne devijacije, �̂�𝑖𝑖 i �̂�𝑗𝑗 su standarne devijacije dobijene na osnovu
teorijskog modela, dok 𝑝 predstavlja broj opaženih varijabli. SRMR je indeks koji meri
apsolutni fit tako što računa standardizovanu razliku između opažene i modelom predviđene
matrice kovarijanse ili korelacije. Za ovaj indeks donja granica je 0, a niže vrednosti govore o
boljem fitu, odnosno manjoj rezidualnoj grešci. U slučaju kada su manifesne varijable
kategorijalne, kovarijanse u formuli bivaju zamenjene polihoričnim korelacijama, a standardne
devijacije – njihovim standardizovanim vrednostima (Garrido, Abad, & Ponsoda, 2016).
Kao što smo iz prethodnog mogli da vidimo, u osnovi izračunavanja CFI, TLI i RMSEA
nalazi se 𝜒2, dok za SRMR to nije slučaj. Najčešće korišćene granične vrednosti (cutoff values)
indeksa fita na osnovu kojih se donosi odluka o prihvatanju modela (u našem slučaju: CFI >
0.95, TLI > 0.95, RMSEA < 0.06 i SRMR < 0.08) potiču iz članka u kome su Hu i Bentler
sproveli ekstenzivnu analizu baziranu na Metodu maksimalne verodostojnosti. Do
ustanovljenih graničnih vrednosti došli su tako što su vrednosti indeksa varirali u određenom
rasponu, a registrovan je procenat odbijanja modela, čime je omogućeno izračunavanje
verovatnoće da se počine greška tipa I i greška tipa II (Hu & Bentler, 1999). Ovaj članak, kao
i nekoliko drugih, uveli su ideju graničnih vrednosti koje bi trebalo da ukažu na prihvatljiv fit
modela prilikom korišćenja indeksa fita.
Međutim, postoje i autori koji smatraju da uvođenje indeksa fita nije dovelo do
poboljšanja u zaključivanju. Oni tvrde da njihova upotreba dozvoljava praktičarima da loše
specifikovane modele ipak proglase zadovoljavajućim. Glavna tema koja se javlja u člancima
ovog tipa je da postojanje jedne fiksne granične vrednosti koja govori o podobnosti modela
jednostavno nije verodostojna (Barrett, 2007). Još jedan od problema može biti osetljivost
indeksa fita na različite tipove modela, zbog čega je teško uspostaviti granične vrednosti
indeksa tako da budu osetljive na lošu specifikaciju, ali ne i na različite tipove modela (Fan &
Sivo, 2007). Dok, Marš i saradnici podstiču istraživače, recezente i urednike časopisa da budu
10
pažljivi prilikom generalizovanja rezultata do kojih su došli Hu i Bentler (Hu & Bentler, 1999),
s obzirom na to da su zaključci doneti na vrlo ograničenom uzorku loše specifikovanih modela
(Marsh, Hau, & Wen, 2004). Ne postoje jasne smernice o tome koji je najbolji način za ocenu
fita modela pomoću indeksa fita, ali bi prikazivanje vrednosti različitih indeksa bilo
neophodno, zato što se različiti indeksi fokusiraju na različite aspekte modela (Hooper,
Coughlan, & Mullen, 2008), čime se povećava šansa da neadekvatan fit bude primećen.
S obzirom na to da se poslednjih godina o podesnosti modela najčešće zaključuje na
osnovu graničnih vrednosti nekoliko indeksa fita, mislimo da je za poboljšanje procesa
modelovanja neophodno ispitati njihovo ponašanje pod različitim uslovima.
Pregled postojeće literature
Najvažnija stvar u modelovanju strukturalnim jednačinama jeste izbor metode
estimacije koja se koristi za dobijanje vrednosti parametara, standardnih grešaka i indeksa fita
(Finney & DiStefano, 2006). Kao i kod drugih statističkih procena, dva kriterijuma se mogu
primeniti prilikom procene relativnog učinka estimatora: nepristrasnost i varijacija. Između dva
estimatora, onaj koji je manje pristrasan je najčešće poželjan, a između dva estimatora koji su
podjednako nepristrasni, onaj koji ima manje slučajne varijacije je najčešće poželjan (Fan et
al., 1999).
Autori koji su se bavili pregledom radova sa idejom da provere normalnost varijabli
korišćenih u njima, došli su do poražavajućeg zaključka da većina istraživača ne ispituje
distribuciju svojih podataka, već jednostavno pretpostavlja normalnost (Finney & DiStefano,
2006). Nenormalnost podataka dovodi do povišenih vrednosti hi-kvadrata, a samim tim i do
prekomernog odbacivanja ispravno specifikovanih modela (Hutchinson & Olmos, 1998).
Pronađeno je da ML estimator produkuje relativno tačne procene parametara pod uslovom
nenormalnosti, međutim hi-kvadrat statistik i standardne greške procenjenih parametara imaju
tendenciju da pokažu pristrasnost sa povećavanjem nenormalnosti (Flora & Curran, 2004;
Finney & DiStefano, 2006).
Funkcionisanje ML estimatora na kategorijalnim podacima se pogoršava sa
smanjenjem broja kategorija, povećanjem nenormalnosti i smanjenjem veličine uzorka (Lei &
11
Wu, 2012). Prethodna istraživanja su pokazala da upotreba estimatora zasnovanih na normalnoj
teoriji na kategorijalnim podacima stvara pristrasne procene parametara i netačne standardne
greške, pogotovo kada je broj ordinalnih kategorija manji od četiri (Xia, 2016).
Uprkos velikom broju istraživanja koja se bave indeksima fita, gotovo da su sva
fokusirana na upotrebu ML ili GLS estimatora na kontinuiranim podacima (npr. Sugawara &
MacCallum, 1993; Ding, Velicer, & Harlow, 1995; Hu & Bentler, 1998). Malo je onih koja
govore o tome u kojoj meri se smernice razvijene na osnovu kontinuiranih podataka mogu
upotrebiti za evaluaciju modela kada su podaci kategorijalni (Edwards et al., 2012).
Kada je uzorak veoma mali, deluje da hi-kvadrat test dobijen WLSMV estimacijom
prečesto odbacuje pretpostavljeni model, kao što je viđeno na uzorku veličine N=200 (Li,
2014). Pored toga, i nenormalnost latentnih varijabli ima uticaja na inflaciju hi-kvadrata, pa se
tako sa primenom robusnog WLS povećava javljanje greške tipa I, što dovodi do toga da
istraživači odbacuju korektno specifikovane modele mnogo češće nego što bi to bilo očekivano
(Flora & Curran, 2004). Kada je model pogrešno specifikovan, vrednost hi-kvadrata se
značajno povećava sa porastom veličine uzorka (Koziol, 2010), što nam ujedno govori i o tome
da se moć odbacivanja loše specifikovanog modela povećava sa povećanjem veličine uzorka
(Yu, 2002).
Dobar indeks fita bi trebalo da što manje sistematski varira (naviše ili naniže) koliko
god je to moguće, a idealan indeks fita bi trebalo da ima i što manju slučajnu varijaciju (Fan,
Thompson, & Wang, 1999). Pojam sistematske varijacije odnosi se na promenu u vrednostima
rezultata u funkciji bilo koje varijable koja se posmatra u okviru nacrta, dok je slučajna
varijacija nepredvidiva i ne možemo da je pripišemo bilo kom izvoru (Newsom, 2015).
Indeksi fita bi trebalo da budu neosetljivi na veličinu uzorka, odnosno da budu
nezavisni od njegove veličine. To znači da varijacija indeksa koja je nastala kao posledica
promene veličine uzorka treba da bude najmanja moguća. Pored toga, oni su osmišljeni tako
da obezbeđuju informaciju o stepenu u kome je model dobro ili loše opisuje date podatke, iz
čega sledi da bi stepen misspecifikacije modela trebalo da daje najveći doprinos varijaciji
indeksa fita (Fan et al., 1999).
12
Očekuje se da će uslovi koji doprinose inflaciji vrednosti hi-kvadrata takođe doprineti
i pristrastnosti u drugim indeksima fita zasnovanim na njegovim vrednostima, i tako dovesti
do toga da i oni predlože lošiji fit. Ako govorimo o CFI i RMSEA, znamo da su ova dva indeksa
fita u okviru svoje funkcije fita delom bazirana na veličini uzorka, te će i oni verovatno biti
pristrasni do neke granice (Flora & Curran, 2004). RMSEA ima tendenciju da se približava 0
sa porastom veličine uzorka, bez obzira na broj opaženih kategorija i pragova korišćenih u
kategorizaciji (Li, 2014; Xia, 2016). Kada je model ispravno specifikovan, vrednosti CFI i TLI
bazirane na WLSMV sa porastom veličine uzorka u beskonačnost konvergiraju ka 1 i
asimptotske vrednosti ovih indeksa ne zavise od vrednosti pragova (Xia, 2016).
Ju je sproveo simulacionu studiju kako bi istražio adekvatnost predloženih graničnih
vrednosti za nekoliko indeksa fita prilikom primene WLSMV metode na binarnim varijablama
u CFA modelu, pri čemu je varirao veličinu uzorka i tipove misspecifikacije modela. Pronašao
je da je aritmetička sredina vrednosti RMSEA bazirana na WLSMV niža od aritmetičke sredine
vrednosti RMSEA bazirane na ML za kontinuirane podatke, a da su aritmetičke sredine za
vrednosti TLI i CFI više od onih baziranih na ML za kontinuirane podatke (Yu, 2002).
Prethodna istraživanja, koja su vršila kategorizaciju opaženih kontinuiranih varijabli sa
različitim nivoima skjunesa i kurtozisa, zaključila su da se sa odvajanjem skjunesa i kurtozisa
opaženih varijabli od nule, estimacija poznate faktorske strukture pogoršava, bez obzira na to
što statistička teorija u osnovi CFA analize sa polihoričnim korelacijama ne pravi eksplicitne
pretpostavke o skjunesu i kurtozisu opaženih varijabli (Flora & Curran, 2004).
Kada govorimo o kategorijalnim opaženim varijablama, zavisnost indeksa fita od
pragova za kategorizaciju nije poželjna osobina, zato što promena u vrednostima indeksa fita
koja dolazi od vrednosti pragova za kategorizaciju može maskirati prisustvo pogrešne
specifikacije u modelu (Xia, 2016). Indeksi fita dobijeni pomoću WLSMV zavisni su od
vrednosti postavljenih pragova, naročito kada su podaci binarni i modeli izrazito pogrešno
specifikovani (Xia, 2016). To znači da čak i kada teorijski model i predloženi model ostaju
nepromenjeni, različiti pragovi dovode do različitog stepena fita predloženog modela
podacima.
13
Prilikom estimacije modela sa binarnim varijablama uz pomoć WLSMV estimatora,
predložene granične vrednosti TLI, CFI, RMSEA i SRMR (Hu & Bentler, 1999), retko su
odbacivale trivijalno pogrešno specifikovane modele, naročito na velikim uzorcima (Yu,
2002). Kada su modeli pogrešno specifikovani, obrasci ponašanja RMSEA, CFI i TLI nisu
jasni, zato što sa povećanjem veličine uzorka u beskonačnost oni ne konvergiraju ka svojim
teorijskim vrednostima (Xia, 2016). Razlog tome može biti činjenica da su vrednosti ovih
indeksa konfundirane vrednostima pragova za kategorizaciju kada je model pogrešno
specifikovan (Xia, 2016). Greška tipa I i snaga za CFI i RMSEA bili su jednaki ili jako bliski
0, dok su se stope odbijanja modela smanjivale sa povećanjem veličine uzorka i jačine
faktorskih opterećenja (Koziol, 2010).
Ako uporedimo indekse fita dobijene na kategorijalnim podacima primenom WLSMV
metode, oni koji su bazirani na vrednostima hi-kvadrata su bili poželjniji od onih koji nisu, dok
je RMSEA poželjniji od CFI (Koziol, 2010). Autor navodi da bi rezultati ove studije trebalo da
se koriste kao informacija za donošenje odluke pri modelovanju, međutim nalgašava da ni
jedno poređenje analiza nije preporučljivo u svim situacijama, zbog čega je neophodno da
istraživači uzmu u obzir kontekst i svrhu svoje analize.
Cilj i zadaci ovog istraživanja
U ovom radu bavićemo se ponašanjem indeksa fita prilikom estimacije modela
konfirmativne faktorske analize na ordinalnim podacima sa 4 kategorije, kada se kao estimator
koristi WLSMV. Sprovešćemo Monte Karlo simulaciju podataka u kojoj ćemo varirati veličinu
uzorka i pozicije pragova, za koje su prethodna istraživanja utvrdila da imaju uticaj na vrednosti
indeksa fita, pri modelovanju podataka kategorijalne prirode. Ujedno, izvršićemo i trivijalnu
pogrešnu specifikaciju modela, kako bismo utvrdili da li se kriterijumi za odbacivanje modela
na ovnovu vrednosti indeksa fita dobijenih na kontinuiranim podacima (Hu & Bentler, 1999)
mogu primeniti i na kategorijalne. Na samom kraju, daćemo i preporuke za buduća empirijska
istraživanja koja se bave evaluacijom modela konfirmativne faktorske analize sprovedene na
kategorijalnim podacima.
Evaluiraćemo četiri najčešće korišćena indeksa fita na istom modelu konfimativne
faktorske analize, od kojih su dva inkrementalna (CFI i TLI), a dva apsolutna (RMSEA i
14
SRMR) indeksa. Zanimaće nas i njihova razlika u ponašanju u zavisnosti od toga da li se
prilikom njihovog izračunavanja u obzir uzima vrednost hi-kvadrata za (CFI, TLI i RMSEA),
ili ne (SRMR).
Iako je akcenat stavljen na bavljenje indeksima fita, u pojedinim analizama ćemo
zaključke dobijene na osnovu njihovih vrednosti upoređivati sa zaključcima dobijenim na
osnovu hi-kvadrat testa, kako bismo bliže razumeli da li se i na koji način njihov odnos menja
sa promenom uslova modelovanja na kategorijalnim podacima.
Prva pretpostavka odnosi se na veličinu uzorka. Očekujemo da će vredosti CFI i TLI
rasti sa povećanjem veličine uzorka (Xia, 2016), dok će se vrednost RMSEA sa povećanjem
veličine uzorka smanjivati (Li, 2014; Xia, 2016). Što se SRMR indeksa tiče, zbog nedostatka
informacija o njegovom ponašanju pri promeni veličine uzorka, ne možemo da damo
specifičnu pretpostavu.
Druga pretpostavka je da će predložene granične vrednosti indeksa (Hu & Bentler,
1999) fita retko odbacivati pogrešno specifikovan model (Yu, 2002), kao i da će se moć
odbacivanja pogrešno specifikovanog modela na osnovu ovih vrednosti smanjivati sa
povećanjem veličine uzorka (Koziol, 2010).
Treća pretpostavka tiče se uticaja asimetričnosti distribucije na vrednosti indeksa fita.
Očekujemo da će asimetričnosti distribucije imati uticaj na vrednosti indeksa fita (Xia, 2016),
a s obzirom na to da se njihovo ponašanje po prvi put ispituje na osnovu nivoa asimetričnosti
korišćenim u ovom istraživanju, zanimaće nas da uočimo obrasce njihovog ponašanja.
Četvrta pretpostavka odnosi se na međusobno upoređivanje ova četiri indeksa.
Očekujemo da će ponašanje indeksa fita baziranih na vrednostima hi-kvadrata (CFI, TLI i
RMSEA) imati vrednosti približnije predloženim graničnim vrednostima (Hu & Bentler, 1999)
u poređenju sa indeksom koji je nezavisan od vrednosti hi-kvadrata (SRMR) (Koziol, 2010).
Pored toga očekujemo da će vrednosti RMSEA biti približnije predloženim vrednostima u
poređenju sa CFI (Koziol, 2010). Nemamo informaciju o tome kako bi se TLI indeks
pozicionirao u poređenju sa RMSEA i CFI, te stoga pretpostavku vezanu za njegovo ponašanje
15
zadržaćemo samo na tome da će njegove vrednosti biti približnije predloženim vrednostima u
poređenju sa SRMR.
Prema znanju autora, zasnovanom na ekstenzivnom pregledu dosadašnjih istraživanja,
ovo je prva analiza koja se bavila pomenutim indeksima fita na podacima sa 4 kategorije, koja
zaključke o njihovom ponašanju izvodi na osnovu istog modela i njegove misspecifikovanje
varijante, pri čemu su varirani veličina uzorka i pragovi za kategorizaciju. U uvodnom delu je
već spomenuta važnost ove vrste podataka za psihološka istraživanja, kao i istraživanja u
društvenim naukama uopšte.
16
METOD
Modeli i specifikacije modela
Kreirali smo dva modela konfirmativne faktorske analize: dobro (adekvatno)
specifikovan model i pogrešno specifikovan (misspecifikovan) model. Oba navedena modela
su umerene kompleksnosti i za njih su zadovoljeni uslovi identifikacije. Uvođenje suštinski
smislenih modela u Monte Karlo simulaciju ima za cilj povećanje eksterne validnosti rezultata
simulacije. Dobro specifikovan model je po strukturi u potpunosti odgovarao pretpostavljenim
modelu, dok se pogrešno specifikovan model razlikovao od pretpostavljenog modela.
Estimacija oba modela izvršena je pomoću WLSMV estimatora.
Dobro specifikovan model sastojao se iz tri latentna faktora i devet indikatora (Slika 1).
Indikatori y1, y2 i y3 merili su prvi faktor, indikatori y4, y5 i y6 drugi faktor, a indikatori y7,
y8 i y9 treći faktor. Faktorska opterećenja za svih devet indikatora na pripadajuće latentne
faktore iznosila su 0.7, dok su njihove greške merenja bile jednake 0.51. Korelacije između sva
tri para latentnih faktora iznosile su 0.5, dok je varijansa svakog latentnog faktora bila fiksirana
na 1.
Slika 1. Izgled dobro specifikovanog modela konfirmativne faktorske analize
17
Pogrešno specifikovan model je, u poređenju sa pretpostavljenim modelom, dodatno
sadržao i dva višestruka zasićenja (Slika 2). Indikator y1 je pored opterećenja od 0.7 na prvom
faktoru imao i opterećenje u vrednosti od 0.3 na drugom faktoru, dok je indikator y4 pored
opterećenja od 0.7 na drugom faktoru imao i opterećenje u vrednosti od 0.3 na trećem faktoru.
Ovaj metod pogrešne specifikacije modela poznat je kao metod fiksne misspecifikacije, a s
obzirom na to da su vrednosti kros-korelacija iznosile 0.3, radi se o vrsti trivijalne
misspecifikacije (Pornprasertmanit, Wu, & Little, 2012).
Slika 2. Izgled pogrešno specifikovanog modela konfirmativne faktorske analize
Dizajn istraživanja
Korišćen je trofaktorski balansirani eksperimentalni nacrt u kome su varirani sledeći
faktori:
1. Specifikacija modela: dobro specifikovan ili pogrešno specifikovan
2. Veličina uzorka: 250, 500, 1000 (Hu & Bentler, 1998; Hu & Bentler, 1999)
3. Distribucija podataka: Simetrična (pragovi: -1.25, 0.00, 1.25), Umereno asimetrična
(pragovi: -0.31, 0.79, 1.66) i Ekstremno asimetrična (pragovi: 0.28, 0.71, 1.23)
(Rhetmulla, Brosseau-Liard, & Savalei, 2012). Pragovi su postavljeni tako da nam
18
omoguće kreiranje tri različite distribucije ordinalnih podataka sa četiri kategorije,
odnosno distribucije u kojima se u svakoj od pojedinačnih kategorija nalazi određen
procenat podataka (Slika 3). Vrednosti koeficijenata zakošenosti (skewness) koji bi
opisivali ove tri distribucije nalaze se u sledećim rasponima: od -0.15 do 0.18 za
simetričnu distribuciju, od 0.54 do 0.82 za umereno asimetričnu distribuciju i od 0.86
do 1.30 za ekstremno asimetričnu distribuciju, dok se vrednosti koeficijenata
spljoštenosti (kurtosis) kreću: od -0.67 do -0.40 za simetričnu distribuciju, od -0.43 do
-0.03 za umereno asimetričnu distribuciju i od -0.72 do 0.08 za ekstremno asimetričnu
distribuciju. Kao što možemo da primetimo, upotreba upravo pomenutih koeficijenata
na ordinalnim podacima ne daje ispravnu sliku. Oslanjanje na njihove vrednosti dovelo
bi nas do pogrešnog zaključka da su sve tri posmatrane distribucije normalne, što očito
nije slučaj. Za ordinalne podatke ne bi trebalo računati vrednosti ova dva koeficijenta.
Slika 3. Procenat podataka u svakoj od četiri kategorije kada su pragovi: simatrični, umereno
asimetrični i ekstremno asimetrični
Generisano je ukupno 18000 (2 x 3 x 3 x 1000) uzoraka, odnosno po 1000 replikacija
za svaku od 18 mogućih kombinacija faktora. Registrovali smo vrednosti četiri indeksa fita
(RMSEA, CFI, TLI, SRMR), a ovakav dizajn nam je omogućio sistematsku procenu uticaja
pomenutnih faktora.
Generisanje uzoraka
Da bismo došli do potrebnih podataka koristili smo Monte Karlo simulaciju sprovedenu
pomoću simsem paketa (Pornprasertmanit, Miller, & Schoemann, 2016). Tom prilikom
pridržavali smo se sledečih koraka:
19
1. Simulacija velikog broja setova podataka na osnovu dobro specifikovanog i pogrešno
specifikovanog modela
2. Fitovanje pretpostavljenog modela na svaki od simuliranih setova podataka
3. Registrovanje pojedinačnih vrednosti indeksa fita
4. Formiranje empirijskih uzoračkih distribucija indeksa fita
Analiza podataka
Sve analize sprovedene su u R 3.3.1 softveru (R Core Team, 2016), a sintaksa je
dostupna u prilogu.
U analizama smo koristili aritmetičke sredine, standardne devijacije i vrednosti
jednostranih 95%-ih intervala poverenja empirijskih uzoračkih distribucija. Na osnovu dobro
specifikovanog modela utvrdili smo granične vrednosti indeksa fita za sve predložene
kombinacije veličine uzorka i izgleda distribucije. Granične vrednosti za RMSEA i SRMR
nalaze se na devedeset i petom percentilu njihovih distribucija, a granične vrednosti za CFI i
TLI na petom percentilu njihovih distribucija.
Pored toga, registrovali smo broj neispravno konvergiranih rezultata, zatim smo
odredili raspon vrednosti indeksa i odstupanja graničnih vrednosti dobijenih na osnovu
simulacija od preporučenih graničnih vrednosti. Vrednosti Kendalovog W koeficijenta
konkordance govore nam o sličnosti u ponašanju ispitivanih indeksa fita. Izračunali smo moć
odbijanja loše specifikovanog modela na osnovu preporučenih graničnih vrednosti i graničnih
vrednosti dobijenih na osnovu simulacija, kao i visinu greške tipa I na osnovu graničnih
vrednosti dobijenih na osnovu simulacija. Na samom kraju, sproveli smo i trostruku analizu
varijanse kako bismo utvrdili doprinos svakog pojedinačnog faktora i interakcija faktora na
varijansu u empirijskim uzoračnim distribucijama za svaki od ispitivanih indeksa fita.
20
REZULTATI
Neispravno konvergirani rezultati
Predstavljanje rezultata započinjemo uvidom u broj neispravno konvergiranih rezultata
za svaku od mogućih kombinacija faktora. Do problema neispravno konvergiranih rezultata
dolazi kada se prilikom estimacije dobiju statistični nemoguće vrednosti (npr. negativne
vrednosti jedne ili više rezidualnih varijansi). Prilikom estimacije dobro specifikovanog
modela sva rešenja su uspešno konvergirana, međutim kada je u pitanju loše specifikovan
model, problemi sa konvergencijom javili su se na malim uzorcima i povećavali su se sa
porastom asimetričnosti distribucije (Tabela 1). S obzirom na to da se procenat neispravno
konvergiranih rezultata kreće između 0.1% i 1.4% smatramo da je neuspešnost konvergencije
za modele koje smo simulirali u ovom istraživanju minimalna. Nesipravno konvergirani
rezultati izbačeni su iz svih daljih analiza, osim prilikom sprovođenja trostruke analize
varijanse.
Tabela 1
Broj neispravno konvergiranih rezultata za 1000 replikacija u svim uslovima
Specifikacija
modela
Simetrična distribucija Umereno asimetrična
distribucija
Ekstremno asimetrična
distribucija
250 500 1000 250 500 1000 250 500 1000
Dobra 0 0 0 0 0 0 0 0 0
Pogrešna 2 0 0 9 1 0 14 0 0
Aritmetičke sredine i standardne devijacije indeksa fita
Pregled aritmetičkih sredina i standardnih devijacija za dobro specifikovan i pogrešno
specifikovan model dostupan je u Tabeli 2. Uviđamo da prilikom estimacije dobro
specifikovanog modela postoje jasni obrasci njihovog ponašanja. Aritmetičke sredine za
RMSEA i SRMR opadaju sa povećanjem veličine uzorka, dok porast veličine uzorka na CFI i
TLI deluje tako što njihove aritmetičke sredine rastu. Povećanje asimetričnosti distribucije
dovodi do suprotnog efekta. Sa porastom asimetričnosti distribucije aritmetičke sredine
RMSEA i SRMR rastu, a efekat na CFI i TLI je takav da one sa povećanjem asimetričnosti
distribucije opadaju. Kada su u pitanju standardne devijacije, one opadaju sa povećanjem
21
veličine uzorka, dok sa povećanjem asimetričnosti distribucije rastu za sve posmatrane indekse
fita.
Kada je model pogrešno specifikovan, situacija nije tako jasna. Aritmetičke sredine i
standardne devijacije za CFI i TLI se prilikom variranja veličine uzorka i asimetričnosti
distribucije ponašaju isto kao u dobro specifikovanom modelu. Isto važi i za uticaj veličine
uzorka na aritmetičke sredine i standardne greške SRMR i RMSEA. Međutim, uticaj
asimetričnosti distribucije na vrednosti RMSEA i SRMR u pogrešno specifikovanom modelu
dovodi do toga da one variraju na nepredvidljiv način.
Tabela 2
Aritmetičke sredine, standardne devijacije indeksa fita za dobro specifikovan i pogrešno
specifikovan model
Model Distribucija Uzorak RMSEA CFI TLI SRMR
AS SD AS SD AS SD AS SD
Do
bro
sp
ecif
iko
van
Simetrična
250 0.015 0.018 0.993 0.011 0.998 0.024 0.031 0.005
500 0.009 0.012 0.997 0.005 1.000 0.012 0.022 0.003
1000 0.006 0.008 0.999 0.002 1.000 0.006 0.015 0.002
Umereno
asimetrična
250 0.018 0.019 0.991 0.013 0.993 0.027 0.032 0.005
500 0.012 0.013 0.996 0.006 0.997 0.013 0.023 0.004
1000 0.009 0.009 0.998 0.003 0.998 0.007 0.016 0.003
Ekstremno
asimetrična
250 0.025 0.020 0.983 0.018 0.980 0.034 0.035 0.006
500 0.018 0.014 0.992 0.009 0.990 0.017 0.025 0.004
1000 0.012 0.010 0.996 0.005 0.995 0.008 0.018 0.003
Model Distribucija Uzorak RMSEA CFI TLI SRMR
AS SD AS SD AS SD AS SD
Po
gre
šno
sp
ecif
ikov
an
Simetrična
250 0.048 0.020 0.974 0.016 0.962 0.025 0.039 0.006
500 0.049 0.012 0.976 0.010 0.964 0.016 0.032 0.004
1000 0.050 0.007 0.976 0.007 0.964 0.010 0.029 0.003
Umereno
asimetrična
250 0.051 0.019 0.971 0.018 0.957 0.027 0.039 0.006
500 0.051 0.012 0.974 0.011 0.961 0.016 0.033 0.004
1000 0.050 0.008 0.975 0.008 0.963 0.011 0.029 0.004
Ekstremno
asimetrična
250 0.051 0.020 0.967 0.021 0.951 0.032 0.041 0.006
500 0.048 0.013 0.972 0.014 0.958 0.020 0.033 0.005
1000 0.047 0.008 0.975 0.009 0.962 0.013 0.028 0.004
Informacija o rasponu vrednosti indeksa fita dobijenih na osnovu simulacija pomoći će
nam da bolje razumemo njihovu varijaciju (Tabela 3). Kao što možemo da vidimo na osnovu
dobro specifikovanog modela, raspon vrednosti indeksa fita razlikuje se pod različitim
eksperimentalnim uslovima i najveći je kada su uzorci mali. Sa povećanjem veličine uzorka
rasponi vrednosti se nedvosmisleno smanjuju. Kada je u pitanju distribucija podataka, razlike
u rasponima vrednosti nisu toliko izražene.
22
Zanimljivo je skrenuti pažnju i na konkretne vrednosti indeksa koje su obuhvaćene
ovim rasponima, pa tako primećujemo da TLI varira više od CFI, kao i da zbog činjenice da je
normiran CFI kao najvišu zauzima vrednost 1, dok TLI nije normiran, zbog čega postiže i
vrednosti veće od 1. Vrednosti RMSEA u svim eksperimentalnim uslovima imaju bar jedan
uzorak na osnovu koga je proglašen idealan fit, dok vrednosti SRMR iako jako bliske nuli, ni
u jednom od uzoraka nisu dosegle ovu vrednost.
Tabela 3
Minimum, maksimum i raspon vrednosti indeksa fita dobijenih simulacijom
Model Distribucija Uzorak RMSEA CFI TLI SRMR
Do
bro
sp
ecif
iko
van
Simetrična
250 0.000-0.074
(0.074)
0.927-1.000
(0.073)
0.891-1.058
(0.167)
0.018-0.047
(0.029)
500 0.000-0.047
(0.047)
0.972-1.000
(0.028)
0.958-1.029
(0.071)
0.012-0.034
(0.022)
1000 0.000-0.031
(0.031)
0.987-1.000
(0.013)
0.981-1.014
(0.033)
0.008-0.024
(0.016)
Umereno
asimetrična
250 0.000-0.077
(0.077)
0.922-1.000
(0.078)
0.883-1.071
(0.188)
0.017-0.052
(0.035)
500 0.000-0.052
(0.052)
0.959-1.000
(0.041)
0.939-1.032
(0.093)
0.012-0.035
(0.023)
1000 0.000-0.044
(0.044)
0.976-1.000
(0.024)
0.964-1.014
(0.050)
0.008-0.026
(0.018)
Ekstremno
asimetrična
250 0.000-0.082
(0.082)
0.894-1.000
(0.106)
0.842-1.062
(0.220)
0.022-0.058
(0.036)
500 0.000-0.060
(0.060)
0.945-1.000
(0.055)
0.918-1.031
(0.113)
0.013-0.041
(0.028)
1000 0.000-0.042
(0.042)
0.973-1.000
(0.027)
0.960-1.016
(0.056)
0.010-0.027
(0.017)
Model Distribucija Uzorak RMSEA CFI TLI SRMR
Po
gre
šno
sp
ecif
ikov
an
Simetrična
250 0.000-0.103
(0.103)
0.915-1.000
(0.085)
0.873-1.021
(0.148)
0.021-0.059
(0.038)
500 0.000-0.083
(0.083)
0.937-1.000
(0.063)
0.905-1.011
(0.106)
0.017-0.047
(0.030)
1000 0.024-0.070
(0.046)
0.950-0.994
(0.044)
0.925-0.991
(0.066)
0.019-0.040
(0.021)
Umereno
asimetrična
250 0.000-0.098
(0.098)
0.902-1.000
(0.098)
0.852-1.034
(0.182)
0.022-0.064
(0.042)
500 0.000-0.080
(0.080)
0.939-1.000
(0.061)
0.909-1.009
(0.100)
0.017-0.047
(0.030)
1000 0.015-0.075
(0.060)
0.941-0.998
(0.057)
0.912-0.996
(0.054)
0.017-0.040
(0.023)
Ekstremno
asimetrična
250 0.000-0.103
(0.103)
0.879-1.000
(0.121)
0.819-1.026
(0.207)
0.021-0.063
(0.042)
500 0.000-0.081
(0.081)
0.918-1.000
(0.082)
0.877-1.007
(0.130)
0.018-0.049
(0.031)
1000 0.021-0.072
(0.051)
0.942-0.995
(0.053)
0.913-0.993
(0.080)
0.018-0.041
(0.023)
23
Rasponi vrednosti indeksa u okviru pogrešno specifikovanog modela veće su od onih
za dobro specifikovan model u svim slučajevima osim kada govorimo o upotrebi TLI indeksa
na malim uzorcima. Trebalo bi naglasiti i da se rasponi vrednosti indeksa fita za dobro i
trivijalno pogrešno specifikovan model u velikoj meri prepokrivaju.
Sličnosti u ponašanju indeksa fita u dobro i pogrešno specifikovanom modelu ispitali
smo pomoću Kendalovog W koeficijenta (Tabela 4). S obzirom na to da smo se bavili sa dva
indeksa čije vrednosti bliske 0 govore o dobrom fitu (RMSEA i SRMR) i dva indeksa čije
vrednosti bliske 1 govore o dobrom fitu (CFI i TLI), ne treba da nas čudi da visoke vrednosti
W koeficijenta javljaju upravo kod ovih parova indeksa. U dobro specifikovanom modelu,
najveća sličnost primećena je između CFI i TLI, dok je sličnost u ponašanju RMSEA i SRMR
manje izražena, ali se i dalje može smatrati značajnom. U pogrešno specifikovanom modelu se
CFI i TLI ponašaju na potpuno identičan način, a i povezanost između RMSEA i SRMR je
naglašenija u poređenju sa dobro specifikovanim modelom. Razlog tome može biti promena u
obliku distribucije vrednosti indeksa fita do koje dolazi kada je model pogrešno specifikovan.
Tabela 4
Vrednosti Kendalovog W koeficijenta konkordance u dobro specifikovanom modelu i
pogrešnom specifikovanom modelu
Dobro spefifikovan model
Pogrešno specifikovan model
RMSEA CFI TLI SRMR
RMSEA CFI TLI SRMR
RMSEA 1.000 0.001 0.020 0.783 RMSEA 1.000 0.015 0.015 0.849
CFI 0.001 1.000 0.980 0.217 CFI 0.015 1.000 1.000 0.145
TLI 0.020 0.980 1.000 0.252 TLI 0.015 1.000 1.000 0.145
SRMR 0.783 0.217 0.252 1.000 SRMR 0.849 0.145 0.145 1.000
Zanimljivo je skrenuti pažnju na promenu u obliku empirijske uzoračke distribucije
koja se javlja prilikom pogrešne specifikacije modela (Slika 4). Primetno je da u svim
slučajevima dolazi do povećanja spljoštenosti distribucije. To nam ujedno govori i da je
varijabilitet vrednosti indeksa fita prilikom pogrešne specifikacije veći. Pored toga, kada
govorimo o empirijskim uzoračnim distribucijama za RMSEA i CFI, vidljiva je promena u
njihovoj zakošenosti. Izrazito pozitivno zakošena distribucija RMSEA i izrazitno negativno
zakošena distribucija CFI prilikom estimacije pogrešno specifikovanog modela dobijaju
relativno simetričan oblik.
24
Slika 4. Izgled uzoračkih distribucija indeksa fita prilikom dobre specifikacije i pogrešne
specifikacije.
Granične vrednosti indeksa fita i odstupanja od preporučenih graničnih vrednosti
Granične vrednosti indeksa fita dobijene na osnovu simulacije ordinalnih podataka sa
četiri kategorije putem WLSMV estimatora (Tabela 5) razlikuju se od preporučenih (CFI >
0.95, TLI > 0.95, RMSEA < 0.06 i SRMR < 0.08). Primećujemo i da je raspon u kome granične
vrednosti mogu da se nađu veliki, kao i da deluje da je doprinos koji veličina uzorka i jačina
asimetrije imaju na varijaciju u graničnim vrednostima različit za različite indekse. Kako bismo
bolje razumeli njihov doprinos, sprovedena je i analiza varijanse, o kojoj će kasnije u radu biti
više reči.
25
Tabela 5
Granične vrednosti indeksa fita dobijene simulacijom i njihovo odstupanje od preporučenih
graničnih vrednosti
Distribucija Uzorak RMSEA CFI TLI SRMR
0.95 0.05 0.05 0.95
Simetrična
250 0.050 (-0.010) 0.969 (+0.019) 0.953 (+0.003) 0.040 (-0.040)
500 0.033 (-0.027) 0.986 (+0.036) 0.979 (+0.029) 0.028 (-0.052)
1000 0.023 (-0.037) 0.993 (+0.043) 0.990 (+0.040) 0.019 (-0.061)
Umereno
asimetrična
250 0.051 (-0.009) 0.965 (+0.015) 0.947 (-0.003) 0.041 (-0.039)
500 0.035 (-0.025) 0.983 (+0.033) 0.975 (+0.025) 0.029 (-0.051)
1000 0.025 (-0.035) 0.991 (+0.041) 0.987 (+0.037) 0.021 (-0.059)
Ekstremno
asimetrična
250 0.056 (-0.004) 0.948 (-0.002) 0.922 (-0.028) 0.045 (-0.035)
500 0.040 (-0.020) 0.974 (+0.024) 0.961 (+0.011) 0.031 (-0.049)
1000 0.029 (-0.031) 0.986 (+0.036) 0.980 (+0.030) 0.022 (-0.058) Uputstvo. 0.05 = vrednost petog percentila distribucije, 0.95 = vrednost devedeset petog percentila distribucije. Vrednosti navedene u
zagradama pokazuju količinu i smer odstupanja od preporučenih graničnih vrednosti.
RMSEA i SRMR zabeležili su niže vrednosti od preporučenih za sve kombinacije
veličine uzorka i izgleda distribucije. Granične vrednosti za CFI su više od preporučenih u svim
slučajevima, osim kada je uzorak mali (N=250) i distribucija podataka ekstremno asimetrična,
dok su granične vrednosti za TLI više od preporučenih u svim slučajevima, osim kada je uzorak
mali, a distribucija umereno ili ekstremno asimetrična. Sveukupno gledano, vrednosti SRMR
su najudaljenije od preporučenih vrednosti u poređenju sa vrednostima drugih indeksa čije smo
ponašanje posmatrali. Vrednosti RMSEA i TLI su približnije preporučenim vrednostima u
poređenju sa CFI, osim kada je uzorak mali i asimetričnost distribucije ekstremno izražena.
Dok TLI i RMSEA u većini slučajeva pokazuju vrlo sličan obrazac odstupanja.
Moć odbijanja pogrešno specifikovanog modela i greška tipa I
Zanimalo nas je da utvrdimo u kojoj meri preporučene granične vrednosti indeksa fita
imaju moć da odbiju pogrešno specifikovan model kada se estimacija vrši pomoću WLSMV
estimatora na ordinalnim podacima sa četiri kategorije. Poređenja radi, izračunali smo i moć
odbijanja pogrešno specifikovanog modela na osnovu hi-kvadrat testa, putem formule:
𝑃𝑜𝑤𝑒𝑟 = 1 − 𝜒𝑘,𝜆′2
gde je 𝜒𝑘,𝜆′2 leva strana necentralizovane hi-kvadrat distribucije sa k stepeni slobode i
necentralizovanim parametrom λ, pri čemu je korišćena vrednost α=0.5.
26
Rezultati pokazuju da se moć odbijanja pogrešno specifikovanog modela na osnovu
preporučenih graničnih vrednosti smanjuje sa povećanjem veličine uzorka, kao i da
preporučene granične vrednosti u jako maloj meri uspevaju da odbace pogrešno specifikovan
model. Za sve posmatrane indekse fita, preporučene granične vrednosti uspevaju da dovedu do
odbacivanja pogrešno specifikovanog modela u rasponu od 0% do 45% simuliranih slučajeva.
Moć se prilikom korišćenja hi-kvadrat testa povećava sa povećanjem veličine uzorka i njene
vrednosti su nezadovoljavajuće samo kada su uzorci mali (Tabela 6). Takvo ponašanje hi-
kvadrat testa je već poznato, zbog čega se odluka o fitu modela zasnovana na hi-kvadrat testu
koji se sprovodi na malim uzorcima uzima sa rezervom.
Tabela 6
Moć odbijanja pogrešno specifikovanog modela na osnovu vrednosti hi-kvadrat testa i
preporučenih vrednosti indeksa fita (Hu & Bentler, 1999)
Distribucija Uzorak χ2 RMSEA CFI TLI SRMR
Simetrična
250 0.609 0.287 0.085 0.307 0.002
500 0.924 0.170 0.014 0.170 0.000
1000 1.000 0.087 0.000 0.095 0.000
Umereno
asimetrična
250 0.645 0.340 0.118 0.375 0.009
500 0.940 0.204 0.018 0.234 0.001
1000 0.998 0.094 0.002 0.136 0.000
Ekstremno
asimetrična
250 0.635 0.340 0.204 0.450 0.014
500 0.888 0.174 0.065 0.315 0.000
1000 0.998 0.059 0.010 0.171 0.000
Ako se prilikom odluke o odbacivanju pogrešno specifikovanog modela držimo
graničnih vrednosti dobijenih na osnovu simulacija, primetićemo da moć raste sa porastom
veličine uzorka (Tabela 7), kao i da RMSEA ima najveću moć u poređenju sa preostalim
indeksima. Odbacivanje pogrešno specifikovanog modela otežano je na malim uzorcima pod
svim distributivnim uslovima, kao i na uzorcima srednje veličine kada je distribucija izrazito
asimetrična.
27
Tabela 7
Moć odbijanja pogrešno specifikovanog modela na osnovu vrednosti hi-kvadrat testa i
graničnih vrednosti indeksa fita dobijenih simulacijom
Distribucija Uzorak χ2 RMSEA CFI TLI SRMR
Simetrična
250 0.609 0.519 0.349 0.341 0.392
500 0.924 0.918 0.829 0.829 0.816
1000 1.000 1.000 0.998 0.999 0.998
Umereno
asimetrična
250 0.645 0.534 0.330 0.325 0.385
500 0.940 0.909 0.806 0.816 0.827
1000 0.998 0.998 0.994 0.994 0.993
Ekstremno
asimetrična
250 0.635 0.430 0.181 0.181 0.252
500 0.888 0.748 0.525 0.525 0.651
1000 0.998 0.981 0.913 0.928 0.969
Kada su u pitanju vrednosti greške tipa I, korišćenje graničnih vrednosti dobijenih na
osnovu simulacija ovogućava nam njeno držanje pod kontrolom. Međutim, uvid u vrednosti
greške tipa I do kojih dolazi primenom hi-kvadrat testa pokazuje da on ima tendenciju nešto
većeg odbacivanja dobro specifikovanog modela, koja je najizraženija na malim uzorcima i
raste sa porastom asimetričnosti distribucije (Tabela 8). Na osnovu vrednosti hi-kvadrat testa,
procenat dobro specifikovanih modela koji su odbačeni kreće se u rasponu od 5.2% do 18.7%
slučajeva.
Tabela 8
Greška tipa I – proporcija odbacivanja dobro specifikovanog modela na osnovu vrednosti hi-
kvadrat testa i indeksa fita dobijenih simulacijom
Distribucija Uzorak χ2 RMSEA CFI TLI SRMR
Simetrična
250 0.076 0.049 0.051 0.051 0.040
500 0.052 0.049 0.055 0.055 0.040
1000 0.052 0.050 0.050 0.057 0.064
Umereno
asimetrična
250 0.094 0.053 0.052 0.051 0.052
500 0.080 0.053 0.045 0.053 0.048
1000 0.088 0.055 0.048 0.052 0.038
Ekstremno
asimetrična
250 0.187 0.051 0.048 0.048 0.047
500 0.180 0.052 0.050 0.050 0.063
1000 0.166 0.047 0.046 0.054 0.067
28
Analiza varijanse
Kako bismo utvrdili u kojoj meri veličina uzorka, asimetričnost distribucije i pogrešna
specifikacija modela utiču na indekse fita, sproveli smo četiri trostruke analize varijanse i
izračunali vrednosti kvadrirane ete (η2), koja nam govori o proporciji ukupne varijanse zavisne
varijable koja je objašnjena svakim pojedinačnim izvorom varijacije u istraživačkom dizajnu
(Tabela 9).
Tabela 9
Sirove vrednosti kvadrirane ete (η2) dobijene na osnovu trostruke analize varijanse
Indeksi
fita Uzorak Distribucija Specifikacija
Uzorak x
Distribucija
Uzorak x
Specifikacija
Distribucija
x
Specifikacija
Distribucija
x Pragovi x
Specifikacija
RMSEA 0.01 0.00 0.59 0.00 0.01 0.01 0.00
CFI 0.02 0.02 0.41 0.00 0.00 0.00 0.00
TLI 0.01 0.02 0.42 0.00 0.00 0.00 0.00
SRMR 0.37 0.01 0.29 0.00 0.02 0.00 0.00
Najveći doprinos u varijacijama vrednosti CFI, TLI i RMSEA pripisuje se specifikaciji
modela. Što je vrednost kvadrirane ete za ovaj faktor veća od vrednosti kvadrirane ete za
preostale faktore, veća je verovatnoća da ćemo biti u mogućnosti da napravimo distinkciju
između dobro i loše specifikovanih modela. Procenat varijanse koji je objašnjen specifikacijom
iznosi 29% za SRMR, 41% za CFI, 42% za TLI i 59% za RMSEA.
Veličina uzorka objašnjava čak 37% od ukupne varijanse SRMR, što dovodi do
zaključka da upravo ovaj faktor ima najvažniji efekat na varijaciju u vrednostima SRMR.
Veličina uzorka ima uticaj i na varijaciju CFI, TLI i RMSEA, s tim da on za ove indekse mali.
Jedini indeks kod koga nije primećen glavni efekat oblika distribucije jeste RMSEA,
dok za ostale indekse različiti nivoi asimetričnosti distribucije dovode do malog efekta od svega
1% ili 2% koji ona ima na varijaciju u njihovim vrednostima.
Neophodno je napomenuti i da za SRMR i RMSEA postoje efekti interakcije faktora
koje smo ispitivali. Tako da je za SRMR prisutan mali efekat interakcije veličine uzorka i vrste
29
specifikacije. Vrednosti SRMR indeksa prilikom pogrešne specifikacije više su u poređenju sa
vrednostima ovog indeksa kada je model dobro specifikovan, ali postoji manji uticaj veličine
uzorka na njegove vrednosti kada je model pogrešno specifikovan u poređenju sa dobro
specifikovanim modelom. Za RMSEA pored malog efekta interakcije veličine uzorka i vrste
specifikacije modela prisutan i mali efekat interakcije između oblika distribucije i vrste
specifikacije modela.
Primetno je i da se vrednosti kvadrirane ete za CFI i TLI ponašaju na gotovo isti način,
kao i da je suptilna razlika do koje dolazi kada je u pitanju efekat veličine uzorka, verovatno
posledica činjenice da TLI vrši korekciju za broj stepeni slobode, dok CFI to ne čini.
30
DISKUSIJA
U ovom radu pokušali smo da skrenemo pažnju na najčešće greške koje istraživači
prave kada modeluju kategorijalne podatke u okviru konfirmativne faktorske analize, kao i da
utvrdimo šta se sa ovim procesom događa ako se on sprovodi na neadekvatan način.
Trebalo bi imati u vidu činjenicu da istraživači jako često propuštaju da provere izgled
distribucija podataka koje koriste i da jednostavno pretpostavljaju njihovu normalnost
(Micceri, 1989). S obzirom na to da su prethodna istraživanja utvrdila da nenormalnost
podataka utiče na proces modelovanja i njegove rezultate (Finney & DiStefano, 2006), provera
distribucije opaženih varijabli pre spovođenja same analize dovela bi do toga da istraživači
budu u stanju da donesu informisanu odluku koja se tiče ispravnog odabira metoda estimacije.
Pored toga, čest problem jeste i upotreba ML estimatora, za koji je utvrđeno da dovodi do
pristrasnih ocena parametara i standardnih grešaka procenjenih parametara kada se primenjuje
na kategorijalnim podacima (Lei & Wu, 2012). Jedan od metoda estimacije koji se preporučije
za upotrebu na kategorijalnim podacima jeste robusni metod ponderisanih najmanjih kvadrata
(WLSMV). Nas je zanimalo da utvrdimo kako se indeksi fita ponašaju prilikom primene ovog
metoda.
Iako je osnovna zamerka koja se upućuje hi-kvadrat testu dobijenom na osnovu ML
estimatora da prečesto odbacuje ispravno specifikovane modele sa povećavanjem veličine
uzorka, to prilikom primene WLSMV estimatora nije slučaj. Greška tipa I za hi-kvadrat test
najveća je na malim uzorcima, a moć odbacivanja pogrešno specifikovanog modela se
povećava sa povećanjem veličine uzorka. Uočili smo i da porast asimetričnost distribucije
dovodi do povišenih vrednosti hi-kvadrata, što povećava grešku tipa I i dovodi do prečestog
odbacivanja dobro specifikovanog modela.
Što se samih indeksa fita tiče, upotreba jedne fiksne granične vrednosti koja govori o
podobnosti modela u slučaju WLSMV estimatora nije primenjiva, zato što su granične
vrednosti indeksa zavisne od veličine uzorka i pragova za kategorizaciju. Granične vrednosti
koje su predložene za upotrebu na kontinuiranim podacima modelovanim pomoću ML
estimatora retko odbacuju trivijalno pogrešno specifikovan model, naročito na velikim
uzorcima. Moć odbacivanja trivijalno pogešno specifikovanog modela korišćenjem
preporučenih graničnih vrednosti u kombinaciji sa WLSMV estimacijom u velikoj većini
31
ispitivanih slučajeva nalazi se blizu 0, a stope odbacivanja smanjivale su se sa povećanjem
veličine uzorka, što ne treba da čudi s obzirom na to da smo uvideli da se sa povećanjem
veličine uzorka granične vrednosti indeksa dobijenih WLSMV estimatorom sve više udaljuju
od preporučenih graničnih vrednosti. Korišćenje konvencionalnih graničnih vrednosti prilikom
WLSMV estimacije dovelo bi do akumulacije velikog broja pogrešno specifikovanih modela
u publikacijama, naročito kada su uzorci veliki i podaci asimetrično distribuirani.
Uočeno je da granične vrednosti CFI i TLI sa povećanjem veličine uzorka rastu, dok
vrednosti RMSEA i SRMR opadaju. U većini ispitativanih slučajeva granične vrednosti CFI i
TLI više su od preporučenih graničnih vrednosti, a u svim ispitivanim slučajevima granične
vrednosti RMSEA i SRMR niže su od preporučenih. Nivo asimetrije distribucije takođe igra
značajnu ulogu u varijaciji graničnih vrednosti. Sa povećanjem asimetričnosti distribucije
opaženih varijabli dolazi do snižavanja graničnih vrednosti CFI i TLI i do povećavanja
graničnih vrednosti RMSEA i SRMR.
U dobro specifikovanom modelu, najveća sličnost primećena je između CFI i TLI, dok
je sličnost u ponašanju RMSEA i SRMR manje izražena, ali se i dalje može smatrati
značajnom. U pogrešno specifikovanom modelu se CFI i TLI ponašaju na potpuno identičan
način, a i povezanost između RMSEA i SRMR je naglašenija u poređenju sa dobro
specifikovanim modelom. Razlog tome može biti promena u obliku distribucije vrednosti
indeksa fita do koje dolazi kada je model pogrešno specifikovan. Utvrđeno je da najveću
sličnost u ponašanju pokazuju CFI i TLI kada je model pogrešno specifikovan, dok je najveća
razlika u vrednostima primećena između CFI i RMSEA kada je model dobro specifikovan.
Što se udaljenosti graničnih vrednosti dobijenih na osnovu simulacija od preporučenih
graničnih vrednosti tiče, indeksi koji u osnovi svog računanja koriste vrednosti χ2 (CFI, TLI i
RMSEA) pokazali su manja odstupanja u poređenju sa indeksom koji nije baziran na χ2
(SRMR). Odstupanja RMSEA manja su od odstupanja CFI u svim slučajevima osim kada je
uzorak mali, a distribucija podataka ekstremno asimetrična. Što se TLI indeksa tiče, njegova
odstupanja su manja od odstupanja CFI, a veća od odstupanja RMSEA kada su podaci
simetrični ili umereno asimetrični i uzorci veći od N=250. U slučaju kada su uzorci mali, a
distribucije simetrično ili umereno asimetriče TLI pokazuje manja odstupanja u poređenju sa
32
CFI i RMSEA, dok u slučaju ekstermne asimetrije najmanja odstupanja pokazuje samo kada
je uzorak veličine N=250.
Uvideli smo i da većina varijacije u graničnim vrednostima RMSEA, CFI i TLI dolazi
od vrste specifikacije modela, što govori u prilog tome da su oni u stanju da registruju pogrešnu
specifikaciju čak i kada je ona trivijalna, odnosno da ćemo na osnovu njihovih vrednosti
najverovatnije uspeti da napravimo distrinkciju između dobro i loše specifikovanih modela.
Samo je SRMR pokazao vrlo veliku zavisnost od veličine uzorka i jedini je indeks čija je
zavisnost od veličine uzorka veća od zavisnosti od vrste specifikacije. Razlog tome može biti
činjenica da ovaj indeks ne vrši korekciju za veličinu uzorka, što je slučaj sa preostalim
indeksima koji su ovde ispitani. Veličina uzorka ima mali ali značajan uticaj na varijaciju u
vrednostima RMSEA, CFI i TLI. Isto važi i za uticaj oblika distribucije za CFI i TLI, dok
RMSEA jedini nije pokazao zavisnost od oblika distribucije, ali za njega postoje značajni efekti
interacije oblika distribucije i vrste specifikacije modela, kao i veličine uzorka i vrste
specifikacije modela. Efekat interakcije veličine uzorka i vrste specifikacije primećen je i na
varijaciju u vrednostima SRMR indeksa.
Ovaj rad deli ograničenja svih studija koje koriste Monte Karlo simulacije, a ona se tiču
toga da zaključci ne mogu da se generalizuju izvan specifičnih uslova pod kojima se vršilo
ispitivanje. Međutim, model konfirmativne faktorske analize koji smo odabrali da koristimo
po izgledu i kompleksnosti može da služi kao polazna tačka na osnovu koje istraživači mogu
da procenjuju sopstvene modele, a sintaksa koja je dostupna u prilogu može biti prilagođena
konkretnim potrebama istraživača tako što uz pomoć manjih izmena mogu da dođu do
graničnih vrednosti indeksa za svoje pretpostavljene modele.
Kada je u pitanju ograničenje koje se tiče veličine uzorka, na osnovu rezultata deluje
da su uzorci veličine N≤250 premali za ispravo zaključivanje na osnovu WLSMV estimatora.
Što se asimetričnosti distribucije tiče, indeksi fita dobijeni iz WLSMV asimptotski su zavisni
od pragova za kategorizaciju, te bi njihove granične vrednosti trebale da budu specifične za
konkretne vrednosti pragova. Zanimljivo bi bilo proveriti i šta se događa sa indeksima fita u
WLSMV estimaciji kada se ispituju podaci sa dve ili tri kategorije, ali i ispitati uticaje drugih
faktora kao što su: kompleksnost modela (testirati modele različite kompleksnosti), različit broj
faktora i različit broj ajtema po faktorima.
33
Zaključci ovog istraživanja trebalo bi da upozore istraživače da budu oprezni kada
prilikom estimacije kategorijalnih podataka sa WLSMV estimatorom koriste konvencionalne
granične vrednosti. Rezultati potvrđuju agrumente da se konvencionalne granične vrednosti
indeksa fita ne smeju univerzalno primenjivati. U idealnom slučaju, istraživačima se savetuje
da prilikom upotrebe WLSMV estimatora na empirijskim kategorijalnim podacima prvo
sprovedu simulaciju na modelu koji planiraju da koriste i tako sa najvećom tačnošću odrede
granične vrednosti indeksa fita koje su za njih relevante.
34
LITERATURA
Barrett, P. (2007). Structural equation modelling: Adjudging model fit. Personality and
Individual Differences, 42, 815-824.
Bentler, P. M. (1990). Comparative fit indexes in structural models. Psychological Bulletin,
107, 238-246.
Bentler, P. M., & Bonett, D. G. (1980). Significance tests and goodness of fit in the analysis of
covariance structures. Psychological Bulletin, 88, 588-606.
Bollen, K. A. (1989). Structural equation modeling with latent variables. New York, NY:
Wiley.
Browne, M. W. (1984). Asymptotically distribution-free methods for the analysis of covariance
structures. British Journal of Mathematical and Statistical Psychology, 37(1), 62-83.
Ding, L., Velicer, W. F., & Harlow, L. L. (1995). Effects of estimation methods, number of
indicators per factor, and improper solutions on structural equation modeling fit indices.
Structural equation modeling, 2(2), 119-144.
Edwards, J. R., & Bagozzi, R. P. (2000). On the nature and direction of relationships between
constructs and measures. Psychological Measurement, 3(2), 155-174.
Edwards, M. C., Wirth, R. J., Houts, C. R., & Xi, N. (2012). Categorical data in the structural
equation modeling framework. In R. Hoyle (Ed.), Handbook of structural equation
modeling (pp. 195-208). New York, NY: Guilford Press.
Fan, X., & Sivo, S. A. (2007). Sensitivity of fit indices to model misspecification and model
types. Multivariate Behavioral Research, 42(3), 509-529.
Fan, X., Thompson, B., & Wang, L. (1999). Effects of sample size, estimation methods, and
model specification on structural equation modeling fit indexes. Structural equation
modeling, 6(1), 56-83.
Finney, S. J., & DiStefano, C. (2006). Non-normal and Categorical data in structural equation
modeling. In G. R. Hancock & R. O. Mueller (Eds.). Structural equation modeling: a
second course (pp. 269–314). Greenwich, Connecticut: Information Age Publishing
Flora, D. B., & Curran, P. J. (2004). An empirical evaluation of estimation for confirmatory
factor analysis with ordinal data. Psychological Methods, 9(4), 466-491.
Garrido, L. E., Abad, F. J., & Ponsoda, V. (2015). Are Fit Indexes Really Fit to Estimate the
Number of Factors With Categorical Variables? Some Cautionary Findings via Monte
Carlo Simulation. Psychological Methods, 21(1), 93-111.
35
Hu, L., & Bentler, P. M. (1998). Fit indices in covariance structure modeling: Sensitivity to
underparameterized model misspecification. Psychological Methods, 3(4), 424–453.
Hu, L., & Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis:
Conventional criteria versus new alternatives. Structural Equation Modeling, 6(1), 1-
55.
Hooper, D., Coughlan, J., & Mullen, M.R. (2008). Structural equation modelling: Guidelines
for determining model fit. Journal of Business Research Methods, 6, 53–60.
Hutchinson, S. R., & Olmos, A. (1998). Behavior of descriptive fit indexes in confirmatory
factor analysis using ordered categorical data. Structural Equation Modeling, 5(4), 344-
364.
Jöreskog, K. G., & Sörbom, D. (1981). LISREL V: Analysis of lenear structural relationships
by the method of maximum likelihood. Chicago: National Educational Resources.
Kenny, D. A., & McCoach, D. B. (2003). Effect of the number of variables on measures of fit
in structural equation modeling. Structural Equation Modeling, 10, 333-351.
Koziol, N. A. (2010). Evaluating measurement invariance with censored ordinal data: A Monte
Carlo comparison of alternative model estimators and scales of measurement
(Unpublished master’s thesis). University of Nebraska, Nebraska.
Lei, P.-W., & Wu, Q. (2012). Estimation in structural equation modeling. In R. Hoyle (Ed.),
Handbook of structural equation modeling (pp. 164-179). New York, NY: Guilford
Press.
Li, C. H. (2014). The performance of MLR, USLMV, and WLSMV estimation in structurale
regression models with ordinal variables (Doctoral dissertation). Retrieved from
https://etd.lib.msu.edu/islandora/object/etd%3A3268/datastream/OBJ/download/THE
_PERFORMANCE_OF_MLR__USLMV__AND_WLSMV_ESTIMATION_IN_ST
RUCTURAL_REGRESSION_MODELS_WITH_ORDINAL_VARIABLES.pdf
Mahler, C. (2011). The effects of misspecification type and nuisance variables on the
behaviours of population fit indices used in structural equation modeling (Unpublished
doctoral disertation). University of British Columbia, Vancouver, Canada.
Marsh, H. W., Hau, K. T., & Wen, Z. (2004). In search of golden rules: Comment on
hypothesis-testing approaches to setting cutoff values for fit indexes and dangers in
overgeneralizing Hu and Bentler's (1999) findings. Structural equation modeling,
11(3), 320-341.
36
Micceri, T. (1989). The unicorn, the normal curve and the other improbable creatures.
Psychological Bulletin, 105, 156-166.
Muthén, B. O. (1984). A general structural equation model with dichotomous, ordered
categorical, and continuous latent variable indicators. Psychometrika, 49, 115-132.
Muthén, B., du Toit, S. H. C., & Spisic, D. (1997). Robust inference using weighted least
squares and quadratic estimating equations in latent variable modeling with categorical
and continuous outcomes (Unpublished technical report).
Newsom, J. T. (2005). Longitudinal Structural Equation Modeling: A Comprehensive
Introduction. New York: Routledge.
Olsson, U. (1979). Maximum likelihood estimation of the polychoric correlation coefficient.
Psychometrika, 44, 443-460.
Pornprasertmanit, S., Miller, P., & Schoemann, A. (2016). simsem: SIMulated Structural Equ
ation Modeling. R package version 0.5-13. https://CRAN.R-project.org/package=sims
em
Pornprasertmanit, S., Wu, W., & Little, T. D. (May, 2012). Monte Carlo Approach to Model
Fit Evaluation in Structural Equation Modeling: How to Specify Trivial Misspecificati
on. Presentation given at the American Psychological Society Annual Convention, Ch
icago, IL.
Potthast, M. J. (1993). Confirmatory factor analysis of ordered categorical variables with large
models. British Journal of Mathematical and Statistical Psychology, 46, 273-286.
R Core Team (2016). R: A language and environment for statistical computing. R Foundation
for Statistical Computing, Vienna, Austria. URL https://www.R-project.org/.
Rhemtulla, M., Brosseau-Liard, P. É., & Savalei, V. (2012). When can categorical variables be
treated as continuous? A comparison of robust continuous and categorical SEM
estimation methods under suboptimal conditions. Psychological methods, 17(3), 354-
373.
Steiger, J. H., & Lind, J. C. (1980). Statistically based tests for the number of common factors.
Paper presented at the annual meeting of the Psychometric Society, Iowa City, IA.
Sugawara, H. M., & MacCallum, R. C. (1993). Effect of estimation method on incremental fit
indexes for covariance structure models. Applied Psychological Measurement, 17(4),
365-377.
37
Tanaka, J.S. (1993). Multifaceted conceptions of fit in structural equation models. In K.A.
Bollen, & J.S. Long (eds.), Testing structural equation models. Newbury Park, CA:
Sage.
Tucker, L. R., & Lewis, C. (1973). A reliability coefficient for maximum likelihood factor
analysis. Psychometrica, 38, 1-10.
Wirth, R. J., & Edwards, M. C. (2007). Item factor analysis: current approaches and future
directions. Psychological methods, 12(1), 58-79.
Xia, Y. (2016). Investigating the chi-square-based model-fit indexes for WLSMV and ULSMV
estimators (Doctoral dissertation). Retrieved from
http://diginole.lib.fsu.edu/islandora/object/fsu:366138/datastream/PDF/download/citation.pdf
Yu, C. Y. (2002). Evaluating cutoff criteria of model-fit indexes for latent variable models with
binary and continuous outcomes (Doctoral dissertation). University of California Los
Angeles. Retrieved from https://www.statmodel.com/download/Yudissertation.pdf
38
PRILOG
R sintaksa
library(psych) library(lavaan) library(simsem) library(synchrony) library(lsr) set.seed(12345) analyzeModel <- " f1 =~ y1 + y2 + y3 f2 =~ y4 + y5 + y6 f3 =~ y7 + y8 + y9 " popModel11 <- " f1 =~ 0.7*y1 + 0.7*y2 + 0.7*y3 f2 =~ 0.7*y4 + 0.7*y5 + 0.7*y6 f3 =~ 0.7*y7 + 0.7*y8 + 0.7*y9 f1 ~~ 1*f1 f2 ~~ 1*f2 f3 ~~ 1*f3 f1 ~~ 0.5*f2 f1 ~~ 0.5*f3 f2 ~~ 0.5*f3 y1 | -1.25*t1 + 0.0*t2 + 1.25*t3 y2 | -1.25*t1 + 0.0*t2 + 1.25*t3 y3 | -1.25*t1 + 0.0*t2 + 1.25*t3 y4 | -1.25*t1 + 0.0*t2 + 1.25*t3 y5 | -1.25*t1 + 0.0*t2 + 1.25*t3 y6 | -1.25*t1 + 0.0*t2 + 1.25*t3 y7 | -1.25*t1 + 0.0*t2 + 1.25*t3 y8 | -1.25*t1 + 0.0*t2 + 1.25*t3 y9 | -1.25*t1 + 0.0*t2 + 1.25*t3 y1 ~~ 0.51*y1 y2 ~~ 0.51*y2 y3 ~~ 0.51*y3 y4 ~~ 0.51*y4 y5 ~~ 0.51*y5 y6 ~~ 0.51*y6 y7 ~~ 0.51*y7 y8 ~~ 0.51*y8 y9 ~~ 0.51*y9 " sim11.250 <- simulateData(popModel11, sample.nobs = 250) sim11.500 <- simulateData(popModel11, sample.nobs = 500) sim11.1000 <- simulateData(popModel11, sample.nobs = 1000) list11.250 <- list(model = popModel11, sample.nobs = 250) list11.500 <- list(model = popModel11, sample.nobs = 500) list11.1000 <- list(model = popModel11, sample.nobs = 1000) popModel12 <- " f1 =~ 0.7*y1 + 0.7*y2 + 0.7*y3 f2 =~ 0.7*y4 + 0.7*y5 + 0.7*y6 f3 =~ 0.7*y7 + 0.7*y8 + 0.7*y9
39
f1 ~~ 1*f1 f2 ~~ 1*f2 f3 ~~ 1*f3 f1 ~~ 0.5*f2 f1 ~~ 0.5*f3 f2 ~~ 0.5*f3 y1 | -0.31*t1 + 0.79*t2 + 1.66*t3 y2 | -0.31*t1 + 0.79*t2 + 1.66*t3 y3 | -0.31*t1 + 0.79*t2 + 1.66*t3 y4 | -0.31*t1 + 0.79*t2 + 1.66*t3 y5 | -0.31*t1 + 0.79*t2 + 1.66*t3 y6 | -0.31*t1 + 0.79*t2 + 1.66*t3 y7 | -0.31*t1 + 0.79*t2 + 1.66*t3 y8 | -0.31*t1 + 0.79*t2 + 1.66*t3 y9 | -0.31*t1 + 0.79*t2 + 1.66*t3 y1 ~~ 0.51*y1 y2 ~~ 0.51*y2 y3 ~~ 0.51*y3 y4 ~~ 0.51*y4 y5 ~~ 0.51*y5 y6 ~~ 0.51*y6 y7 ~~ 0.51*y7 y8 ~~ 0.51*y8 y9 ~~ 0.51*y9 " sim12.250 <- simulateData(popModel12, sample.nobs = 250) sim12.500 <- simulateData(popModel12, sample.nobs = 500) sim12.1000 <- simulateData(popModel12, sample.nobs = 1000) list12.250 <- list(model = popModel12, sample.nobs = 250) list12.500 <- list(model = popModel12, sample.nobs = 500) list12.1000 <- list(model = popModel12, sample.nobs = 1000) popModel13 <- " f1 =~ 0.7*y1 + 0.7*y2 + 0.7*y3 f2 =~ 0.7*y4 + 0.7*y5 + 0.7*y6 f3 =~ 0.7*y7 + 0.7*y8 + 0.7*y9 f1 ~~ 1*f1 f2 ~~ 1*f2 f3 ~~ 1*f3 f1 ~~ 0.5*f2 f1 ~~ 0.5*f3 f2 ~~ 0.5*f3 y1 | 0.28*t1 + 0.71*t2 + 1.23*t3 y2 | 0.28*t1 + 0.71*t2 + 1.23*t3 y3 | 0.28*t1 + 0.71*t2 + 1.23*t3 y4 | 0.28*t1 + 0.71*t2 + 1.23*t3 y5 | 0.28*t1 + 0.71*t2 + 1.23*t3 y6 | 0.28*t1 + 0.71*t2 + 1.23*t3 y7 | 0.28*t1 + 0.71*t2 + 1.23*t3 y8 | 0.28*t1 + 0.71*t2 + 1.23*t3 y9 | 0.28*t1 + 0.71*t2 + 1.23*t3 y1 ~~ 0.51*y1 y2 ~~ 0.51*y2 y3 ~~ 0.51*y3 y4 ~~ 0.51*y4 y5 ~~ 0.51*y5 y6 ~~ 0.51*y6 y7 ~~ 0.51*y7 y8 ~~ 0.51*y8 y9 ~~ 0.51*y9
40
" sim13.250 <- simulateData(popModel13, sample.nobs = 250) sim13.500 <- simulateData(popModel13, sample.nobs = 500) sim13.1000 <- simulateData(popModel13, sample.nobs = 1000) list13.250 <- list(model = popModel13, sample.nobs = 250) list13.500 <- list(model = popModel13, sample.nobs = 500) list13.1000 <- list(model = popModel13, sample.nobs = 1000) dat11.250 <- cfa(analyzeModel, data = sim11.250, std.lv = TRUE, estimator = "WLSMV") dat11.500 <- cfa(analyzeModel, data = sim11.500, std.lv = TRUE, estimator = "WLSMV") dat11.1000 <- cfa(analyzeModel, data = sim11.1000, std.lv = TRUE, estimator = "WLSMV") dat12.250 <- cfa(analyzeModel, data = sim12.250, std.lv = TRUE, estimator = "WLSMV") dat12.500 <- cfa(analyzeModel, data = sim12.500, std.lv = TRUE, estimator = "WLSMV") dat12.1000 <- cfa(analyzeModel, data = sim12.1000, std.lv = TRUE, estimator = "WLSMV") dat13.250 <- cfa(analyzeModel, data = sim13.250, std.lv = TRUE, estimator = "WLSMV") dat13.500 <- cfa(analyzeModel, data = sim13.500, std.lv = TRUE, estimator = "WLSMV") dat13.1000 <- cfa(analyzeModel, data = sim13.1000, std.lv = TRUE, estimator = "WLSMV") Output11.250 <- sim(1000, dat11.250, n=250, generate=list11.250, lavaanfun = "cfa", std.lv=TRUE) Output11.500 <- sim(1000, dat11.500, n=500, generate=list11.500, lavaanfun = "cfa", std.lv=TRUE) Output11.1000 <- sim(1000, dat11.1000, n=1000, generate=list11.1000, lavaanfun = "cfa", std.lv=TRUE) Output12.250 <- sim(1000, dat12.250, n=250, generate=list12.250, lavaanfun = "cfa", std.lv=TRUE) Output12.500 <- sim(1000, dat12.500, n=500, generate=list12.500, lavaanfun = "cfa", std.lv=TRUE) Output12.1000 <- sim(1000, dat12.1000, n=1000, generate=list12.1000, lavaanfun = "cfa", std.lv=TRUE) Output13.250 <- sim(1000, dat13.250, n=250, generate=list13.250, lavaanfun = "cfa", std.lv=TRUE) Output13.500 <- sim(1000, dat13.500, n=500, generate=list13.500, lavaanfun = "cfa", std.lv=TRUE) Output13.1000 <- sim(1000, dat13.1000, n=1000, generate=list13.1000, lavaanfun = "cfa", std.lv=TRUE) summary(Output11.250) summary(Output11.500) summary(Output11.1000) summary(Output12.250) summary(Output12.500) summary(Output12.1000) summary(Output13.250) summary(Output13.500) summary(Output13.1000) popModel21 <- " f1 =~ 0.7*y1 + 0.7*y2 + 0.7*y3 f2 =~ 0.7*y4 + 0.7*y5 + 0.7*y6 + 0.3*y1 f3 =~ 0.7*y7 + 0.7*y8 + 0.7*y9 + 0.3*y4
41
f1 ~~ 1*f1 f2 ~~ 1*f2 f3 ~~ 1*f3 f1 ~~ 0.5*f2 f1 ~~ 0.5*f3 f2 ~~ 0.5*f3 y1 | -1.25*t1 + 0.0*t2 + 1.25*t3 y2 | -1.25*t1 + 0.0*t2 + 1.25*t3 y3 | -1.25*t1 + 0.0*t2 + 1.25*t3 y4 | -1.25*t1 + 0.0*t2 + 1.25*t3 y5 | -1.25*t1 + 0.0*t2 + 1.25*t3 y6 | -1.25*t1 + 0.0*t2 + 1.25*t3 y7 | -1.25*t1 + 0.0*t2 + 1.25*t3 y8 | -1.25*t1 + 0.0*t2 + 1.25*t3 y9 | -1.25*t1 + 0.0*t2 + 1.25*t3 y1 ~~ 0.51*y1 y2 ~~ 0.51*y2 y3 ~~ 0.51*y3 y4 ~~ 0.51*y4 y5 ~~ 0.51*y5 y6 ~~ 0.51*y6 y7 ~~ 0.51*y7 y8 ~~ 0.51*y8 y9 ~~ 0.51*y9 " sim21.250 <- simulateData(popModel21, sample.nobs = 250) sim21.500 <- simulateData(popModel21, sample.nobs = 500) sim21.1000 <- simulateData(popModel21, sample.nobs = 1000) list21.250 <- list(model = popModel21, sample.nobs = 250) list21.500 <- list(model = popModel21, sample.nobs = 500) list21.1000 <- list(model = popModel21, sample.nobs = 1000) popModel22 <- " f1 =~ 0.7*y1 + 0.7*y2 + 0.7*y3 f2 =~ 0.7*y4 + 0.7*y5 + 0.7*y6 + 0.3*y1 f3 =~ 0.7*y7 + 0.7*y8 + 0.7*y9 + 0.3*y4 f1 ~~ 1*f1 f2 ~~ 1*f2 f3 ~~ 1*f3 f1 ~~ 0.5*f2 f1 ~~ 0.5*f3 f2 ~~ 0.5*f3 y1 | -0.31*t1 + 0.79*t2 + 1.66*t3 y2 | -0.31*t1 + 0.79*t2 + 1.66*t3 y3 | -0.31*t1 + 0.79*t2 + 1.66*t3 y4 | -0.31*t1 + 0.79*t2 + 1.66*t3 y5 | -0.31*t1 + 0.79*t2 + 1.66*t3 y6 | -0.31*t1 + 0.79*t2 + 1.66*t3 y7 | -0.31*t1 + 0.79*t2 + 1.66*t3 y8 | -0.31*t1 + 0.79*t2 + 1.66*t3 y9 | -0.31*t1 + 0.79*t2 + 1.66*t3 y1 ~~ 0.51*y1 y2 ~~ 0.51*y2 y3 ~~ 0.51*y3 y4 ~~ 0.51*y4 y5 ~~ 0.51*y5 y6 ~~ 0.51*y6 y7 ~~ 0.51*y7 y8 ~~ 0.51*y8 y9 ~~ 0.51*y9
42
" sim22.250 <- simulateData(popModel22, sample.nobs = 250) sim22.500 <- simulateData(popModel22, sample.nobs = 500) sim22.1000 <- simulateData(popModel22, sample.nobs = 1000) list22.250 <- list(model = popModel22, sample.nobs = 250) list22.500 <- list(model = popModel22, sample.nobs = 500) list22.1000 <- list(model = popModel22, sample.nobs = 1000) popModel23 <- " f1 =~ 0.7*y1 + 0.7*y2 + 0.7*y3 f2 =~ 0.7*y4 + 0.7*y5 + 0.7*y6 + 0.3*y1 f3 =~ 0.7*y7 + 0.7*y8 + 0.7*y9 + 0.3*y4 f1 ~~ 1*f1 f2 ~~ 1*f2 f3 ~~ 1*f3 f1 ~~ 0.5*f2 f1 ~~ 0.5*f3 f2 ~~ 0.5*f3 y1 | 0.28*t1 + 0.71*t2 + 1.23*t3 y2 | 0.28*t1 + 0.71*t2 + 1.23*t3 y3 | 0.28*t1 + 0.71*t2 + 1.23*t3 y4 | 0.28*t1 + 0.71*t2 + 1.23*t3 y5 | 0.28*t1 + 0.71*t2 + 1.23*t3 y6 | 0.28*t1 + 0.71*t2 + 1.23*t3 y7 | 0.28*t1 + 0.71*t2 + 1.23*t3 y8 | 0.28*t1 + 0.71*t2 + 1.23*t3 y9 | 0.28*t1 + 0.71*t2 + 1.23*t3 y1 ~~ 0.51*y1 y2 ~~ 0.51*y2 y3 ~~ 0.51*y3 y4 ~~ 0.51*y4 y5 ~~ 0.51*y5 y6 ~~ 0.51*y6 y7 ~~ 0.51*y7 y8 ~~ 0.51*y8 y9 ~~ 0.51*y9 " sim23.250 <- simulateData(popModel23, sample.nobs = 250) sim23.500 <- simulateData(popModel23, sample.nobs = 500) sim23.1000 <- simulateData(popModel23, sample.nobs = 1000) list23.250 <- list(model = popModel23, sample.nobs = 250) list23.500 <- list(model = popModel23, sample.nobs = 500) list23.1000 <- list(model = popModel23, sample.nobs = 1000) dat21.250 <- cfa(analyzeModel, data = sim21.250, std.lv = TRUE, estimator = "WLSMV") dat21.500 <- cfa(analyzeModel, data = sim21.500, std.lv = TRUE, estimator = "WLSMV") dat21.1000 <- cfa(analyzeModel, data = sim21.1000, std.lv = TRUE, estimator = "WLSMV") dat22.250 <- cfa(analyzeModel, data = sim22.250, std.lv = TRUE, estimator = "WLSMV") dat22.500 <- cfa(analyzeModel, data = sim22.500, std.lv = TRUE, estimator = "WLSMV") dat22.1000 <- cfa(analyzeModel, data = sim22.1000, std.lv = TRUE, estimator = "WLSMV") dat23.250 <- cfa(analyzeModel, data = sim23.250, std.lv = TRUE, estimator = "WLSMV")
43
dat23.500 <- cfa(analyzeModel, data = sim23.500, std.lv = TRUE, estimator = "WLSMV") dat23.1000 <- cfa(analyzeModel, data = sim23.1000, std.lv = TRUE, estimator = "WLSMV") Output21.250 <- sim(1000, dat21.250, n=250, generate=list21.250, lavaanfun = "cfa", std.lv=TRUE) Output21.500 <- sim(1000, dat21.500, n=500, generate=list21.500, lavaanfun = "cfa", std.lv=TRUE) Output21.1000 <- sim(1000, dat21.1000, n=1000, generate=list21.1000, lavaanfun = "cfa", std.lv=TRUE) Output22.250 <- sim(1000, dat22.250, n=250, generate=list22.250, lavaanfun = "cfa", std.lv=TRUE) Output22.500 <- sim(1000, dat22.500, n=500, generate=list22.500, lavaanfun = "cfa", std.lv=TRUE) Output22.1000 <- sim(1000, dat22.1000, n=1000, generate=list22.1000, lavaanfun = "cfa", std.lv=TRUE) Output23.250 <- sim(1000, dat23.250, n=250, generate=list23.250, lavaanfun = "cfa", std.lv=TRUE) Output23.500 <- sim(1000, dat23.500, n=500, generate=list23.500, lavaanfun = "cfa", std.lv=TRUE) Output23.1000 <- sim(1000, dat23.1000, n=1000, generate=list23.1000, lavaanfun = "cfa", std.lv=TRUE) summary(Output21.250) summary(Output21.500) summary(Output21.1000) summary(Output22.250) summary(Output22.500) summary(Output22.1000) summary(Output23.250) summary(Output23.500) summary(Output23.1000) inspect21.250 <- inspect(Output21.250, "fit") inspect21.500 <- inspect(Output21.500, "fit") inspect21.1000 <- inspect(Output21.1000, "fit") inspect22.250 <- inspect(Output22.250, "fit") inspect22.500 <- inspect(Output22.500, "fit") inspect22.1000 <- inspect(Output22.1000, "fit") inspect23.250 <- inspect(Output23.250, "fit") inspect23.500 <- inspect(Output23.500, "fit") inspect23.1000 <- inspect(Output23.1000, "fit") inspect21.250 <- inspect(Output21.250, "fit", improper=TRUE) inspect22.250 <- inspect(Output22.250, "fit", improper=TRUE) inspect22.500 <- inspect(Output22.500, "fit", improper=TRUE) inspect23.250 <- inspect(Output23.250, "fit", improper=TRUE) sample<-c(rep("250", 6000), rep("500", 6000), rep("1000", 6000)) distr<-c(rep("symm",2000), rep("modasymm",2000), rep("extasymm",2000),rep("symm",2000), rep("modasymm",2000), rep("extasymm",2000),rep("symm",2000), rep("modasymm",2000), rep("extasymm",2000)) specif<-c(rep("good", 1000), rep("misspec",1000), rep("good", 1000), rep("misspec",1000), rep("good", 1000), rep("misspec",1000), rep("good", 1000), rep("misspec",1000), rep("good", 1000), rep("misspec",1000), rep("good", 1000), rep("misspec",1000), rep("good", 1000), rep("misspec",1000), rep("good", 1000), rep("misspec",1000), rep("good", 1000), rep("misspec",1000))
44
rmsea<-c(inspect11.250$rmsea, inspect21.250$rmsea, inspect12.250$rmsea, inspect22.250$rmsea, inspect13.250$rmsea, inspect23.250$rmsea, inspect11.500$rmsea, inspect21.500$rmsea, inspect12.500$rmsea, inspect22.500$rmsea, inspect13.500$rmsea, inspect23.500$rmsea, inspect11.1000$rmsea, inspect21.1000$rmsea, inspect12.1000$rmsea, inspect22.1000$rmsea, inspect13.1000$rmsea, inspect23.1000$rmsea) cfi<-c(inspect11.250$cfi, inspect21.250$cfi, inspect12.250$cfi, inspect22.250$cfi, inspect13.250$cfi, inspect23.250$cfi, inspect11.500$cfi, inspect21.500$cfi, inspect12.500$cfi, inspect22.500$cfi, inspect13.500$cfi, inspect23.500$cfi, inspect11.1000$cfi, inspect21.1000$cfi, inspect12.1000$cfi, inspect22.1000$cfi, inspect13.1000$cfi, inspect23.1000$cfi) tli<-c(inspect11.250$tli, inspect21.250$tli, inspect12.250$tli, inspect22.250$tli, inspect13.250$tli, inspect23.250$tli, inspect11.500$tli, inspect21.500$tli, inspect12.500$tli, inspect22.500$tli, inspect13.500$tli, inspect23.500$tli, inspect11.1000$tli, inspect21.1000$tli, inspect12.1000$tli, inspect22.1000$tli, inspect13.1000$tli, inspect23.1000$tli) srmr<-c(inspect11.250$srmr, inspect21.250$srmr, inspect12.250$srmr, inspect22.250$srmr, inspect13.250$srmr, inspect23.250$srmr, inspect11.500$srmr, inspect21.500$srmr, inspect12.500$srmr, inspect22.500$srmr, inspect13.500$srmr, inspect23.500$srmr, inspect11.1000$srmr, inspect21.1000$srmr, inspect12.1000$srmr, inspect22.1000$srmr, inspect13.1000$srmr, inspect23.1000$srmr) indices<-data.frame(sample, distr, specif, rmsea, cfi, tli, srmr) indices$sample<-factor(indices$sample, levels = c("250", "500", "1000")) indices$distr<-factor(indices$distr, levels = c("symm", "modasymm", "extasymm")) indices$specif<-factor(indices$specif, levels = c("good", "misspec")) mydataGOOD<-indices[indices$specif=="good",] mydataMISSPEC<-indices[indices$specif=="misspec",] rmseacfiG<-mydataGOOD[,4:5] rmseacfiM<-mydataMISSPEC[,4:5] rmseatliG<-mydataGOOD[,c(4,6)] rmseatliM<-mydataMISSPEC[,c(4,6)] rmseasrmrG<-mydataGOOD[,c(4,7)] rmseasrmrM<-mydataMISSPEC[,c(4,7)] cfitliG<-mydataGOOD[,5:6] cfitliM<-mydataMISSPEC[,5:6] cfisrmrG<-mydataGOOD[,c(5,7)] cfisrmrM<-mydataMISSPEC[,c(5,7)] tlisrmrG<-mydataGOOD[,6:7] tlisrmrM<-mydataMISSPEC[,6:7] kendall.w(rmseacfiG) kendall.w(rmseacfiM) kendall.w(rmseatliG) kendall.w(rmseatliM) kendall.w(rmseasrmrG) kendall.w(rmseasrmrM) kendall.w(cfitliG) kendall.w(cfitliM) kendall.w(cfisrmG) kendall.w(cfisrmrM) kendall.w(tlisrmrG) kendall.w(tlisrmrM)
45
modelRMSEA<-aov(rmsea~sample*distr*specif, data = indices) modelCFI<-aov(cfi~sample*distr*specif, data = indices) modelTLI<-aov(tli~sample*distr*specif, data = indices) modelSRMR<-aov(srmr~sample*distr*specif, data = indices) etaSquared(modelRMSEA, type = 2, anova = FALSE) etaSquared(modelCFI, type = 2, anova = FALSE) etaSquared(modelTLI, type = 2, anova = FALSE) etaSquared(modelSRMR, type = 2, anova = FALSE)