CHAPTER 4 RESEARCH DESIGN - repository.tufs.ac.jp
Transcript of CHAPTER 4 RESEARCH DESIGN - repository.tufs.ac.jp
CHAPTERă4ăRESEARCHăDESIGN
ăăăăăInătheăpreviousăchaptersïŒăwaysăofăapproachingăhowăreadingăabilityăcouldăbe
definedăfromătheăperspectiveăofătestăitemăspecificationsăwereăexploredïŒăInăChapteră2ïŒ
ităhasăbeenăexaminedăandăemphasizedăthatïŒăinăinvestigatingătheănatureăofăreadingătest
withăitsărelationătoătheălatentăstructureăofăreadingăabilityïŒătheăscopeăoftheăpresentăstudy
isăonătheâproductâofăFLăreadingăasăaăresultăofăFLăreadingâprocessâïŒăFurthermoreïŒ
Chapteră3ăhadădescribedăaăwayăinăwhichăaăconstnlctăofăreadingăabilityăcouldăbe
definedăbyădevelopingătestăitemsăthatăelicităcertainătypesăofăreadingăproductăinătest
takersâreadingăcomprehensionïŒăReadingâcompetenceâwasătermedătoăbeăaăfacetăthat
constitutesăaămajorăpartăofăreadingâperformanceâïŒăandăinădefiningătheăreading
constructăfbrătheăpurposeăofăreadingătestăitemădevelopmentïŒăităwasăproposedăthatïŒ
althoughăaătestăitemăisădefinedătoăbeăaătoolăwhichăelicitsăaăreadingăperformanceïŒăthat
performanceăshouldăbeăacceptedăasăsomethingăthatăallowsătheătestersătoădraw
inferencesăandămakeăgeneralizationsăaboutăwhatăsortăofăreadingăactivitiesătheătestătaker
mightăbeăableătoădoïŒăFurthermoreïŒăthisăshouldăbeăconsideredăanalyticallyăasăan
interactionăofăhisăcompetenceăandătheăcontextăratherăthanăconsideringăităasăsomething
holisticăandăcontentïŒrepresentativeïŒăTbăcontinueăalongătheăsameălinesăofăapProachïŒ
theăsignificanceăofăspecifyingătheăcomponentsăofăaătestăitemïŒââquestionătypesâin
particularïŒăinăoperationalizingătheăreadingăconstructătoăbeătestedăwasădiscussedïŒăThis
wasăfèherăexploredăbyăreflectingăonăitemădiffricultyïŒăorăaăquantitativeăaspectăofăaătest
itemïŒăTheădiscussionăhadăconcludedăinăsuggestingăaăpossibilityăofăaălinkăbetweenăthe
questionătypeăofăaătestăitemăandăitsădifficultyïŒăwhichăprovidesătheăfbllowingăresearch
questionsătoătheăpresentăresearchïŒ
4ïŒ1Researchăquestions
ResearchăQuestionă1ïŒ
IsăităvalidătoăemployâquestionătypesïŒăasăaăprimeăcomponentăthatăconstructsătest
itemsăusedăinăelicitingătestătakersïŒăL2ăreadingăperformancesïŒ
46
æ±äșŹć€ćœèȘć€§ćŠ ć棫ćŠäœè«æ Doctoral thesis (Tokyo University of Foreign Studies)
ăăăăăWhatăareătheăfactorsăthatăconstituteătheăL2ăreadingăperformancesăofăleamersăof
EnglishăatăsecondaryăeducationăinăJapanïŒăwhenătheyăareăextractedăfromăfactorăanalïŒrtic
studiesăofăreadingăproductsăelicitedăusingăreadingătestăitemsïŒăWouldătheyădiffer
acrossălearnersăwithădifferentăreadingăabilitiesïŒ
ăăăăăInăanăattemptătoăcomeăupăwithăaătestăitemăspecificationăthatăeffectively
operationalizesădifferentăreadingăperformancesătoăbeătestedïŒăinspiredăbyăNegishi
ïŒ1996ïŒandăWadaïŒ2003ïŒïŒătheăpresentăstudyăproposesătheâquestionătypâofăaătestăitem
toăbeăaăprimeăcomponentătoăconstituteăsuchăaäžameworkïŒăAtătheăsameătimeïŒăhoweverïŒ
becauseăNegishiïŒ1996ïŒandăWadaïŒ2003ïŒhadănotăaccommodatedătheăinteractionsăof
theseăconstructingăcomponentsăwithătheălatentăreadingăstructureăofătestătakersïŒăan
attentionăwillăbeărenderedătoăthisăaspectăinămuchăgreaterădepthïŒăasăităisăpossibleăthat
theăprimeăfactorsăcouldăchangeăinăaccordanceăwithătheătestătakersâreadingăabilitiesïŒ
ResearchăQuestionă2ïŒ
IsăităvalidătoăassumeăaăcertainărelationshipăbetWeenăquestionătypesăandăitem
difficultyăinăelicitingătestătakersïŒăL2ăreadingăperformancesïŒ
ăăăăIsătheăitemădifficultyăofăaătestăitemïŒăcalibratedăusingăItemăResponseăTheoryïŒ
affectedăbyăitsăquestionătypeïŒăIfăsoïŒăhowïŒăWbuldăthisărelationshipădifferăacross
learnersăwithădifferentăreadingăabilitiesïŒ
ăăăăăWithăanăintereăstăinăsuggestingătheăfacetsăofăaăreadingăteăstăitemăthatăwouldăallow
theăwritersăofătestăitemsătoăpredeterrnineătheădifficultyăofăaătestăitemïŒătheăpresentăstudy
investigatesătheăpossibilityăofăaălinkăbetweenătheăitemădiflricultyăofăaătestăitemăandăits
questionătypeïŒăAttentionăwillăalsoăbeăgivenătoăcasesăwithădifferentăabilitiesăofătest
takersătoăseeăifătheăordersăofăperceivedădif6cultiesăacrossădifferentăquestionătypes
differăaccordingătoătheădifferentăabilityăgroupsăofătestătakersïŒ
47
æ±äșŹć€ćœèȘć€§ćŠ ć棫ćŠäœè«æ Doctoral thesis (Tokyo University of Foreign Studies)
42DataăCollection
4ïŒ2ïŒ1Subjects
ăăăăăAsampleăofă8301earnersăofăEnglishăfromăseniorăhighăschoolăandăuniversityăin
JapanăhadăparticipatedăinătheămainăpartăofătheăpresentăstudyïŒăOfătheseïŒ280ăwere
thirdïŒyearăhighăschoolăstudentsăandă550ăwereăfirstïŒyearăundergraduateăstudentsăin
çżlversltyïŒ
ăăăăăTheămajăorityăofăhighăschoolăstudentsăhadăfiveăyearsăofăEnglishăeducationăunder
theăCourseăofăStudyăprovidedăbyătheăMinistryăofăEducationïŒăCultureïŒăSportsïŒăScience
andăTechnologyăinăEnglishăinăaăforeignălanguageăenvironmentïŒăTheyăwereătoldăthat
theătestăwasăadministeredătoăcollectădataăonăindividualâsăEnglishăproficiencyïŒăThe
studentsăhadăfiveăEnglishăclassesăinăaăweekïŒnothingăwasădoneăinătheăclassroomăthat
wouldăhelpătheăstudentsătoăprepareăfbrătheătestsăadministeredăinăthisăstudyïŒ
ăăăăăForătheăuniversityăstudentsïŒătheăcircumstancesăwereătheăsameăasăhighăschool
studentsăexceptăthatătheădurationăofătimeăEnglishăwasăleamedăwasămostlyăsixăyearsïŒ
AllăofătheçżiversityăstudentsămajăoredăinăoneăforeignălanguageăotherăthanăEnglishăand
wereăgivenătheătestăearlyăinăAprilïŒăimmediatelyăafterătheyăhadăenteredăuniversityïŒăasăa
placementătestăfbrătheirăEnglishăclassesăthatăwereăprerequisiteăinătheăuniversity
curriculumïŒăThisăwasătoăensureăthatătheătestătakersădidănotăhaveăanyăspecial
knowledgeăofăEnglishăorăofăanyăotherăacademicăfieldăthatăwouldădistortătheăoutcome
ofădataăcollectionsïŒ
ăăăăăThereăwereăsomeăvariationsăinăbothăhighăschoolăandăuniversityăstudentsâ
backgroundăofăhowăandăhowălongăEnglishăwasălearnedïŒeïŒgïŒăstudentsăwhoăhad
overseasăexperiencesïŒïŒăhoweverïŒătheăvariationăinătheănumberăofăyearsătheyăhadăspent
timeăabroadăorătheăintensityăofăhowămuchăEnglishătheyăhadăleamedăwereăsoăgreatăthat
ităwasănotăpossibleătoăcomeăupăwithăanyăgeneralizableăcriterionăfbrăomittingătheăscoresïŒ
MoreoverïŒăităcouldăbeăassumedăthatăthoăseăvariationsăwouldăbeăanăinherentăfactorăin
leamersâreadingăabilityăthatăenablesăthemătoăscoreăhighăonătheătestïŒăsoătheăpresent
authorăhadădecidedătoădisregardăsuchăfactorsăinătheăprocessăofădataăcollectionăasălong
asăitădidănotăaffectătheădistributionăofăscoresătooăgreatlyïŒ
48
æ±äșŹć€ćœèȘć€§ćŠ ć棫ćŠäœè«æ Doctoral thesis (Tokyo University of Foreign Studies)
4ïŒ2ïŒ2ăMaterials
ăăăăăTheătwoăsetsăofătestăinstrumentăwereăemployedăinătheămainăstudyïŒ
4ïŒ2ïŒ2ïŒ1TestăSetïŒl
ăăăăăTestăSetăAïŒpresentedăinăAppendixăAïŒconsistsăofănineăpassagesïŒăeachăpassage
withăthreeămultipleïŒchoiceătestăitemsïŒoneăcorrectăoptionăandăthreeădistracters
providedïŒtoăbeărespondedăonătheăbaseăofăitsăcomprehensionïŒăTheseănineăpassages
wereăselectedăafterăanăitemăselectionăwasădoneăinătheăpilotăstudyïŒăprovidingă27ăreading
testăitemsïŒăTheăfeaturesăofătheseănineăpassagesăareăasăfollowsïŒ
Tableă4ïŒ1ăTheăfeaturesăofăpassagesăemployedăinăTestăSetăA
TEXT ItemïŒ REase GrăLevel WordsïŒ1 1ïŒ3 56ïŒ8 8ïŒ7 952 4ïŒ6 66ïŒ4 7ïŒ3 1093 7ïŒ9 55ïŒ2 10 1085 13ïŒ15 65ïŒ2 9ïŒ6 1106 16ïŒ18 64ïŒ8 7ïŒ5 957 19ïŒ21 65ïŒ7 7ïŒ6 101
8 22ïŒ24 68ïŒ1 7ïŒ4 1049 25ïŒ27 55ïŒ8 8ïŒ4 97
10 28ïŒ30 57ïŒ1 9ïŒ5 103
61ïŒ68 8ïŒ44 102ïŒ44
ïŒTeXtă4ïŒăasăwellăasăltemă10ïŒ11ăandă12ăareămissingăfromătheătableăbecauseătheyăwereăomittedăafterăthe
itemăSeleCtiOnïŒïŒ
ăăăăăAllăofătheăpassagesăareătakenăfromăReadingăComprehensionăSectionïŒadvanced
levelïŒofăGlobalăTestăofăEnglishăCommçżicationïŒGTECïŒdevelopedăbyăBenesse
CorporationïŒăTheăpreăsentăauthorăhadădeterminedăGTECătoăbeăanăappropriateăsourceăof
readingătextsăsinceăităwasădesignedătoătestăEnglishăproficiencyăofăhighïŒintermediate
leamersăinăseniorăhighăschoolsăandçżiversitiesăinăJapanïŒăwhichăisăatăanăequivalent
levelăofătheăsubjectsătoăbeătestedăandăalsoăofăwhatătheăCourseăofăStudyăprovidedăby
MinistryăofăEducationïŒăCultureïŒăSportsïŒăScienceăamdăTeclmologyăaimsăforïŒ
49
æ±äșŹć€ćœèȘć€§ćŠ ć棫ćŠäœè«æ Doctoral thesis (Tokyo University of Foreign Studies)
ăăăăăInăTableă4ïŒ1ïŒââRïŒăEaseâindicatesătheăFleschăReadingăEaseăandââGrïŒăLevelâ
indicatesătheăFleschïŒKincaidăGradeăLeve1ïŒăTheyăbothăindicateăaăreadabilityăindexïŒăa
meansăofădescribingăhowăeasilyăwrittenămaterialsăcouldăbeăreadăandçżderstoodïŒ
AlthoughătheyăemployătheăsameăcoreămeasuresïŒwordălengthăandăsentenceălengthïŒto
calculateătheăindexïŒătheyăhaveădifferentăweightingăfactorsïŒăwhichăsometimesăcreate
incoherenceăinătheăoutcomeăofăcalculationsïŒăTheăindicesăprovidedăbyătheăFlesch
ReadingăEaseăindicatesătheăeasinessăofăreadingăaăpassageăfromătheăscaleăofăzeroătoăone
hçżdredïŒăzeroăbeingătheămostădifficultătoăoneăhçżdredăbeingătheăeasiestïŒ
FleschïŒKincaidăGradeăLevelăexpressesătheăreadabilityăinăaăgradeălevelăofăUS
educationalăsystemïŒămakingăităeasierătoăjăudgeătheăreadabilityălevelăofăvariousăbooks
andătextsïŒăObservingătheseăindicesăfbrătheănineăpassagesăusedăinăTestăSetăAïŒăthe
presentăauthorăassumesătheădiffricultyăofăpassagesăwereăappropriateăforătheăsubjăects
andăfbrătheăpurposeăofătheăpresentăresearchïŒseeă4ïŒ3ïŒ1ăforăfUrtherăexplanationsăonăhow
theăsubjăectăgroupsăwereăpredeterminedăforătheămainăstudyïŒïŒ
ăăăăăTheănumberăofăwordsăinăeachăpassageăwasăcoçżtedăsoăasătoăregulateăthe
characteristicsăofăeachăpassageïŒăTheăpresentăauthorăhadăselectedăpassagesăthatăwere
aroundă100ăwordsăinătotalïŒăconsideringătheătimeăconstraintăofătestingăenvironmentsïŒ
TheănumbersăatătheăbottomăindicateătheămeansăforăeachăindexïŒ
ăăăăăAsăfbrătheăthreeămultipleïŒchoiceătestăitemsăthatăwereătoăbeăansweredăafter
readingăeachăpassageïŒătheăpresentăauthorăhadăwrittenătheăquestionsăandăfourăoptionsă»
TheăvalidityăofăwhichăquestionătypeïŒseeă3ïŒ4ïŒ2ăfbrădetailedăexplanationsïŒeachăitem
representedăwasăcheckedăbyăherăcolleaguesïŒtwoăteachersăatăaăseniorăhighăschoolïŒand
theirăassessmentăhadăsufflcientăcorrelationăofïŒ76ïŒăForătheăitemsăwhere
disagreementsăwereăfbundïŒătheyăwereădiscussedăandărevisedăsoăthatăallăthreeăpeople
ïŒtheătwoăcolleaguesăandăIïŒwereăsatisfiedăwithătheădecisionïŒ
ăăăăăăForăeachăpassageïŒătheăfirstăitemăwasăwrittenăsoăthatătheăquestionăelicitsăa
âglobalïŒinferentialâcomprehensionăofătheăpassageïŒăTheseăwereătheăitemsănumbered
1ïŒ4ïŒ7ïŒ13ïŒ16ïŒ19ïŒ22ïŒ25ïŒandă28ïŒăandătheyăaskedăfbrătheămainăideaăofătheăpassageïŒ
ForăexampleïŒăitemălăofăTestăSetăAïŒââ1ïŒWhatăisătheămainăideaăofăthisăpassageïŒâïŒcanăbe
answeredăcorrectlyăifăaătestătakerăcomprehendsăthatătheămainăideaăinătheăpassageăisăthe
50
æ±äșŹć€ćœèȘć€§ćŠ ć棫ćŠäœè«æ Doctoral thesis (Tokyo University of Foreign Studies)
growingăseamăinătheăseafloorăofătheăAtlanticăOceanïŒăTheăwordingăandăphrasesăused
inăeachăquestionămayăvaryïŒăbutăallănineăquestionsïŒitemsă1ïŒ4ïŒ7ïŒ13ïŒ16ïŒ19ïŒ22ïŒ25ïŒăand
28ïŒareămadeătoăelicitâglobalïŒinferentiarâtypeăofăreadingïŒ
ăăăăăTheăsecondăitemăwasăwrittenăsoăthatătheăquestionăasksăfbrăaââlocalïŒliterală
comprehensionïŒăTheseăwereătheăitemsănumberedă2ïŒ5ïŒ8ïŒ14ïŒ17ïŒ20ïŒ23ïŒ26ïŒăandă29ïŒ
andătheyăaskedăfbrătheăinformationăwhichăisădirectlyăinterpretedäžomăaărelatively
smallăamountăofătextăsourceïŒăWithăregardătoătheăfirstăpassageăwhichăappearsăinăTeăst
SetăAïŒăitemă2ăisăsuchătestăitemïŒăItemă2ărequiresăaătestătakerătoăcompleteătheăsentenceïŒ
ââ
QïŒTheăspeedăatăwhichătheăseafloorăisăspreadingăisïŒżâăTheăcorrectăoptionââïŒCïŒhalf
asăfastăasăhumanăfingemailsăgrowïŒâcanăbeăchosenăifătheătestătakerăcanăspotăand
understandătheălastăsentenceăinătheăpassageïŒâThisăspreadingăoccursăinăhalfăofăaăspeed
ofăhowăfastăfingernailsăgrowïŒâasăităiăsïŒăWithoutăanyăfUrtherăinferringăfromătheătextïŒ
ăăăăăTheălastăitemăwasăcomposedăsoăthatătheăquestionăprovokesăaâlocalïŒinferentialăă
çżderstandingăofătheăpassageïŒăTheseăwereăitemsă3ïŒ6ïŒ9ïŒ15ïŒ18ïŒ21ïŒ27ïŒ30ïŒăandăthey
calledăforătheăinformationăwhichăcouldăbeăobtainedăafterămakingăanăinferenceăfromăa
relativelyăsmallăamountăofătextăsourceïŒăWithăregardătoătheăfirstăpassageăwhich
appearsăinăTestăSetăAïŒăitemă3ïŒââ3ïŒăTheăbreakïŒoffăofăPangaeaăstartedăbecauseïŒïŒïŒâïŒ
requiresăsuchătypeăofăcomprehensionăandăasksăfbrătheăcauseăofătheăgrowingăseamăin
theăseafloorăoftheăAtlanticăOceanïŒăInăorderătoăchooseătheăcorrectăoptionïŒââïŒBïŒaplate
startedătoădeveloPçżderwaterăandătheălandăwasăseparatedïŒâatestătakerăneedsăto
understandătheăsentenceïŒââSinceăthatătimeïŒătheăAtlanticăOceanăhasăwidenedăalongăaăhotïŒ
rockïŒproducingăseΔmăinătheăseafloorïŒeâandăinferăthatătheârockïŒproducingăsearnâisăthe
causeătheăbreakïŒoffăofăPangaeaïŒ
ăăăăăTheăthreeăquestionsăfbrăeachăpassageăwereăaskedăsoăthatătheăglobalïŒinferential
questionăwouldăcomeăfirstïŒătheălocalïŒliteralăquestionăsecondïŒăandătheălocalïŒinferential
thirdïŒăTheăpresentăauthorăhadăchosenătoăprovideăthemăinăthisăorderăbecauseăthisăis
theăorderăinăwhichătheăquestionsăseemătoăappearăinătheăreadingăsectionsăofăcommon
standardizedăproficiencyătestsïŒăsuchăasăTOEFLăorăTOEICïŒ
ăăăăăAsăfbrătheătimeăallocatedătoăthisătestïŒăbecauseăoneăclassăperiodăinăseniorăhigh
schoolsăisăusuallyă50ăminutesïŒ50ăminutesăwasătheămaximumălengthăofătimeăallowed
51
æ±äșŹć€ćœèȘć€§ćŠ ć棫ćŠäœè«æ Doctoral thesis (Tokyo University of Foreign Studies)
toăimplementăTestăSetăAïŒăIdeallyïŒăsufficientătimeăshouldăbeăgivenătoătheătestătakers
sinceătheăfbcusăofătheăpresentăstudyăisăinătheătestătakersââpowerâïŒăratherăthanătheir
âspeedâïŒăTherefbreïŒăspecialăattentionăwasăgivenăsoăthatătheătestătakersăwouldăbeăable
toăcompleteătheătestăsetăwithinătheătimeăallocatedïŒ
ăăăăăPriorătoătheătestăimplementationăfbrătheămainăstudyïŒăaăpilotătestăwasăcarriedăout
inăorderătoăvalidateătheătestăitemsădevelopedăbyătheăproceduresădescribedăaboveïŒăThe
subjăectsăwereă143ăstudentsăfromăaăseniorăhighăschoolăwhichăisăconsideredătoăbeăofthe
equivalentăacademicălevelătoătheăhighăschoolăatăwhichăTestăSăetăAăwasăimplementedăin
theămainăstudyïŒ
ăăăăăTheămainăinterestăinăcanyingăoutătheăpilotătestăwasătoăfindăandăeditătheătest
itemsăthatăexhibităproblemsăwithăitsăitemădiscriminationăindicesïŒăItemădiscrimination
isââtheăcapacityăofătestăitemsătoădifferentiateăamongăcandidatesăpossessingămoreăor
lessăofătheătraităthatătheătestăisădesignedătoămeasureïŒâïŒDaviesăetïŒăalïŒ1999ïŒ96ïŒăIn
developingăaătestăinstrumentïŒăităisăessentialăthatătheătestăitemsăhaveăhighălevelsăofăitem
discriminabilityătoăensureăaăreliableămeasurementăofătestătakersâabilityïŒăItemsăwith
lowăitemădiscriminationăindexăareăusuallyăeliminatedäžomăaătestăorăeditedïŒăInăthe
presentăstudyïŒăitemădiscriminabilityăwasăcalculatedăusingăclassicalătestătheory
ïŒpointïŒbiserialăcorrelationăcalculatedăbyăITEMANïŒdueătoătheăsmallănumberăof
subjăectsăandăitemsïŒ
ăăăăăInăTableă4ïŒ2ïŒââPBsâindicatesăpointïŒbiserialăcorrelationïŒăandââPCăâindicatesăthe
percentageăofătestătakersăwhoăcorrectlyăansweredăeachăitemïŒăIndicesăfbr
pointïŒbiserialăcorrelationăareăusedătoăindicateăhowăwellăanăitemădiscriminatesătest
takersăwhoăareămoreăcapableăwithăthoseăwhoăareănotăsoăcapableïŒăItăisăoftenădefined
thatăpointăbiserialăcorrelationsăofïŒ25ăandăaboveăareăacceptableïŒHenningă1987ïŒ53ïŒïŒ
andămostăofătheăitemsăsurpassedăthisăcriterionïŒăPercentageăcorrectăisăusedătoăshow
howăeasyïŒorădifficultïŒatestăitemăisăbecauseătheăhigherïŒlowerïŒtheăpercentageăof
peopleăwhoăcorrectlyăansweredăaătestăitemïŒătheăeasierïŒmoreădiffiTăcultïŒatestăitemăhad
beenăperceivedăbyătheătestătakersïŒ
ăăăăăăAsăităisăapparentïŒăitemsă10ïŒ11ïŒ12ăwereăconsideredătoăbeăproblematicăbecause
theyăshowănegativeăorăveryălowădiscriminationïŒăTheseăwereătheăitemsăprovidedăfbr
52
æ±äșŹć€ćœèȘć€§ćŠ ć棫ćŠäœè«æ Doctoral thesis (Tokyo University of Foreign Studies)
theăsarneăpassageïŒăsoăităcouldăbeăpresumedăthatătheăpassageăitselfăwasăproblematicăfor
thisălevelăofătestătakersïŒăForăthisăreasonïŒătheăpresentăauthorăhadădecidedăităbestăto
eliminateăallăthreeăitemsăalongăwithătheăpassageïŒăItemsă1ïŒ2ïŒ3ïŒ9andălă6ăalsoăhadălow
discriminabilityïŒăsoătheăpresentăauthorăhadăreviewedăandărevisedăeachăitemïŒăTestăSet
ApresentedăinăAppendixăAăisătheăfinalăversionăofătheseăitemsăafterătheărevisionïŒïŒTheăitem
numbersăwereăleftăasătheyăwereăwhenătheătestăsetăwasăimplementedăinătheămainăstUdyïŒăandăthis
wasăannouncedăorallyătoătestătakersăbyătheăproctorsïŒïŒ
Tableă4ïŒ2ăTheădiscriminationăindicesăofătestăitemsăinătheăpilotăversionăofăTestăSetăA
ITEMïŒ PBs PC1 0ïŒ05 0ïŒ46
2 0ïŒ13 0ïŒ43
3 0ïŒ21 0ïŒ33
4 0ïŒ51 0ïŒ8
5 0ïŒ49 0ïŒ7
6 0ïŒ39 0ïŒ4
7 0ïŒ35 0ïŒ76
8 0ïŒ42 0ïŒ64
9 0ïŒ01 0ïŒ13
10 äžăïŒ02 0ïŒ19
ll äžăïŒ1 0ïŒ12
12 0ïŒ18 0ïŒ38
13 0ïŒ41 0ïŒ47
14 056 0ïŒ36
15 0ïŒ51 0ïŒ69
16 0ïŒ13 0ïŒ4
17 0ïŒ49 0ïŒ43
18 0ïŒ49 0ïŒ48
19 0ïŒ42 0ïŒ54
20 0ïŒ42 0ïŒ57
21 0ïŒ39 0ïŒ28
22 0ïŒ51 0ïŒ62
23 0ïŒ58 0ïŒ45
24 0ïŒ44 0ïŒ53
25 0ïŒ51 0ïŒ62
26 0ïŒ54 0ïŒ43
27 0ïŒ38 0ïŒ68
28 0ïŒ47 0ïŒ42
29 0ïŒ56 0ïŒ47
30 0ïŒ51 0ïŒ42
Inăorderătoăcompareătheăreadingăabilitiesăofătestătakersăwhoătookăthisăsetăofătest
53
æ±äșŹć€ćœèȘć€§ćŠ ć棫ćŠäœè«æ Doctoral thesis (Tokyo University of Foreign Studies)
andïŒămoreăimportantlyïŒătoăobserveătheăalterationăofălatentăabilityăstructureăamongătest
takersăwithădifferentăreadingăabilitiesïŒăitemsă1ïŒ2ăandă3ăreappearăinăTestăSetăBăasăitems
1ïŒ2ïŒandă3ïŒăitemsă7ïŒ8ïŒ9asăitemsă4ïŒ5ïŒăandă6ăandăitemsă10ïŒ11ïŒăandă12ăasăitemsă7ïŒ8ïŒ
andă9ïŒăHoweverïŒăasăităwasăstatedăinătheăpreviousăparagraphïŒăbecauseăitemsă10ïŒ11ïŒ
andă12ăwereăomittedăfromăTestăSăetăAïŒăitemsă7ïŒ8ïŒăandă9ăhadătoăbeăomittedăfromăTest
SetăBăasăwellïŒ
ăăăăăAsăfbrătheătimeăallocatedăfbrătheăcompletionăofătheătestïŒăităwasăreportedăfromăthe
teachersăwhoăhadăproctoredăforătheăpilotăstudyăthatămostăofătheătestătakersăappearedăto
haveăreachedătheălastăitemăofătheăteăstïŒăwhichăprovesăthată50ăminutesăwasăaăsufficient
timeăfbrătheătestătakersăinătheăpresentăstudyïŒ
4ïŒ2ïŒ2ïŒ2TestăSetăB
ăăăăăTestăSăetăBăiăsăpresentedăinăAppendixăBïŒăInătotalïŒăthereăareă27ătestăitemsăinăthe
testăsetïŒnineăpassagesăareăprovidedïŒăeachăwithăthreeămultipleïŒchoiceătestăitemsătoătest
testătakersâcomprehensionïŒăEachăitemăhasăoneăcorrectăoptionăandăthreeădistractersïŒ
TheseănineăpassagesăwereăselectedăafterăanăitemăselectionăwasădoneăinătheăpilotăstudyïŒ
TheăfeaturesăofătheseănineăpassagesăareăpresentedăinăTableă4ïŒ3ïŒ
Tableă4ïŒ3ăTheăfeaturesăofăpassagesăemployedăinăTestăSetăB
TEXT 1temïŒ REase GrăLevel WordsïŒ1 1ïŒ3 56ïŒ8 8ïŒ7 952 4ïŒ6 55ïŒ2 10 108
4 10ïŒ12 34ïŒ1 12 157
5 13ïŒ15 35ïŒ3 12 142
6 16ïŒ18 34ïŒ8 12 1607 19ïŒ21 37ïŒ7 12 160
8 22ïŒ24 38ïŒ9 12 152
9 25ïŒ27 33ïŒ4 12 155
10 28ïŒ30 33ïŒ6 12 151
40 11ïŒ4 142ïŒ22
ïŒăreXtă3ïŒăasăwellăasăltemă7ïŒ8andăgăareămissingăfromătheătableăbecauseătheyăwereăomittedăafterăthe
itemăseleCtionïŒïŒ
TextălăisătheăsameăpassageăasăTextălăinăTestăSetăAïŒăTextă2ăisătheăsameăpassageăas
54
æ±äșŹć€ćœèȘć€§ćŠ ć棫ćŠäœè«æ Doctoral thesis (Tokyo University of Foreign Studies)
Textă3ăinăTestăSetăAïŒăandăTextă3ăisătheăsameăpassageăasăTextă4ăinăTestăSetăAïŒăThis
wasădoneătoăcompareătheăreadingăabilitiesăofătestătakersăwhoătookăthisăsetăofătestïŒăTest
SetăBïŒăwithătheătestătakersăwhoătookătheăTestăSetăAăandïŒăinăparticularïŒătoăseeăifăany
alterationăwouldăemergeăwithăregardătoătestătakersâlatentăabilityăstmctureăamong
differentăabilityăgroupsïŒăTheărestăofătheăpassagesăwereătakenäžomăReading
ComprehensionăSăectionăofăTOEFLăTestăPreparationăKităMorkbookïŒETSă1998ïŒïŒăThe
presentăauthorăhadădeterminedăTOEFLăTestăpreparationămaterialătoăbeăanăappropriate
sourceăofăreadingăpassagesăbecauseïŒăsinceăTOEFLăwasădesignedătoătestăEnglish
proficiencyăofăstudentsăwhoăareăseekingătoăstudyăatăanăundergraduateăorăgraduateălevel
inătheăEnglishïŒspeakingăenvironmentïŒătheălevelăofăEnglishăproficiencyărequiredăto
succeedăinăcompletingăthemăwouldăbeătheăsameăasăthatăofăadvancedălearnersăinăJapanïŒ
whichăisăatăanăequivalentălevelăofătheăsubjăectsătoăbeătestedăbyăTestăSăetăBïŒ
ăăăăăInătheăTableă4ïŒ3ïŒâRïŒăEaseâindicatesăFleschăReadingăEaseăandââGrïŒăLeveră
indicateăsăFleschïŒKincaidăGradeăLevelïŒăTheănumberăofăwordsăwereăcountedăsoăasăto
regulateătheăcharacteristicsăofăeachăpassageïŒăTheăpresentăauthorăhadăselected
passagesăthatăwereăaroundă150ăwordsăinătotalăforăTextsă4ătoă10ïŒăconsideringătheătime
constraintăofătestingăenvironmentsïŒăTheănumbersăatătheăbottomăindicateătheămeans
fbrăeachăindexïŒ
ăăăăăAsăfbrătheăthreeămultipleïŒchoiceătestăitemsăthatăwereătoăbeăansweredăafter
readingăeachăpassageïŒătheăpresentăauthorăhadăwrittenătheăquestionsăandăfburăoptionsă»
TheseăquestionsăandăoptionsăwereăexaminedăfbrătheirăvalidityăbyăherătwoăcolleaguesïŒ
AfterăeachăpassageïŒăaââglobalïŒinferentia1âquestionïŒââlocalïŒliteralăâquestionïŒăand
ââæçŸăąâ æ|inferentialâquestionïŒseeă3ïŒ4ïŒ2ăfbrădetailedăexplanationsăofâquestionătypesâïŒ
areăpresentedăinătheăsameămannerăasătheseăquestionsăareăpresentedăinăTestăSetăAïŒ
ThiăsămeansăthatïŒăfbrăeachăpassageïŒăaââglobalïŒinferentialâăquestionăisătheăfirstăitemăthat
comesăafterătheăpassageïŒăaââlocalïŒliteralâquestionătheăsecondïŒăandăaââlocalïŒinferentialâ
queăstionătheălastïŒăThereforeïŒăitemsănumberedă1ïŒ4ïŒ10ïŒ13ïŒ16ïŒ19ïŒ22ïŒ25ïŒăandă28ăare
âââæçŸbâ æ|inferentialâăquestionăwhichăaskedăfbrătheămainăideaăofătheăpassageïŒăitems
numberedă2ïŒ5ïŒ11ïŒ14ïŒ17ïŒ20ïŒ23ïŒ26ïŒăandă29ăareâlocalïŒliteralâquestionsăwhichăasked
fbrătheăinformationăwhichăisădirectlyăinterpretedăfromăaărelativelyăsmallăamountăof
55
æ±äșŹć€ćœèȘć€§ćŠ ć棫ćŠäœè«æ Doctoral thesis (Tokyo University of Foreign Studies)
textăsourceïŒăandăitemsă3ïŒ6ïŒ12ïŒ15ïŒ18ïŒ21ïŒ27ïŒ30ăareââlocalïŒinferentialăăquestions
askedăforătheăinformationăwhichăcouldăbeăobtainedăafterămakingăanăinferenceăfrom
relativelyăsmallăamoçżtăofătextăsourceïŒseeăpPïŒ51ïŒ52ăfbrădetailedăexplanationăand
examplesăofăhowătheseăquestionsăwereăpresentedïŒïŒăTheăvalidityăofăwhichăquestion
typeăeachăitemărepresentedăwasăconfirmedăbyătheătwoăcolleaguesăwhoăhadăworkedăon
theăquestionătypesăofăTestăSetăAïŒăandătheirăcorrelationăwasïŒ71ïŒăForătheăitemsăwhere
disagreementsăwereăfbundïŒătheyăwereădiscussedăandărevisedăsoăthatăallăthreeăpeople
ïŒtheătwoăcolleaguesăandăIïŒwereăsatisfiedăwithătheădecisionïŒ
ăăăăăForăTestăSetăBïŒătheătimeăallocatedătoătheătestăwasă50ăminutesăinăorderătoăparallel
TestăSetăAïŒăInăwritingăandărevisingăTestăSetăBïŒăspecialăattentionăwasăalsoăgivenăso
thatătheătestătakersăwouldăbeăableătoăcompleteătheătestăsetăwithinătheătimeăallocatedïŒ
ăăăăăPriorătoătheătestăimplementationăfbrătheămainăstudyïŒăaăpilotătestăwasăcarriedăout
inăorderătoăvalidateătheătestăitemsădevelopedăbyătheăproceduresădescribedăaboveïŒăThe
subjectsăwereă156ăstudentsăfromătheăsameçżiversityăatăwhichăTestăSetăBăwas
implementedăinătheămainăstudyïŒăTheyăwereăofătheăsameăacademicăbackgroundăasăthe
subjăectsăwhoăhadăparticipatedăinătheămainăstudyïŒ
ăăăăăTheămainăinterestăinăcarryingăoutătheăpilotătestăwasătoăfindăandăeditătheătest
itemsăthatăexhibităproblemsăwithăitsăitemădiscriminationăindicesïŒăAsăităwasădoneăin
theăpilotăstudyăforăTestăSăetăAïŒăitemădiscriminabilityăwasăcalculatedăusingăclassicalătest
theoryïŒpointïŒbiserialăcorrelationăcalculatedăbyăITEMANïŒdueătoătheăsmallănumberăof
subjăectsïŒ
ăăăăăInăTableă4ïŒ4ïŒââPBsâindicatesăpointïŒbiserialăcorrelationăfbrăitemădiscriminabilityïŒ
andââPCâindicatesătheăpercentageăofătestătakersăwhoăcorrectlyăansweredăeachăitemăto
showăitemădiäŒcultyïŒăItemsă7ïŒ8ïŒ9wereăautomaticallyăeliminatedăbecauseătheyăwere
theăsameăitemsăasăthoseăeliminatedăfromăTestăSetăAïŒitemsă10ïŒ11ïŒăandă12ïŒïŒăThe
presentăauthorăhadăoriginallyăintendedătoăuseătheseăthreeăitemsăfbrălevelăcomparison
acrossădifferentăsubjectăgroupsăbutădecidedătoădiscardăthemăfbrăthisăreasonăandăalso
dueătoătheătimeăconstraintăexpectedăinătheătestingăenvironmentïŒăFurthermoreïŒăitemsăl
andă2ïŒăwhichărevealălowăitemădiscriminationăinăTableă4ïŒ4ïŒăwereărevisedăbecauseăthey
wereătheăitemsăpresentedăasăitemsălăandă2ăinăTestăSetăAăandăhadăalsoăshownălowăitem
56
æ±äșŹć€ćœèȘć€§ćŠ ć棫ćŠäœè«æ Doctoral thesis (Tokyo University of Foreign Studies)
discriminationăinătheăpilotătestăfbrăTestăSetăAïŒăTheăsameăwasătrueăfbrăitemă4ăandă6
whichăwereănumberedă7ăandă9ăinăTestăSăetăAïŒăItemsă23ăandă29ăalsoăhadălow
discriminabilityïŒăsoătheyăwereăreviewedăandărevisedăaccordinglyïŒăTestăSetăBăwhichăis
presentedăinăAppendixăBătheăfinalăversionăafterătheseărevisionsïŒïŒTheăitemănumbers
wereăleftăasătheyăwereăwhenătheătestăsetăwasăimplementedăinătheămainăstudyïŒăandăthis
wasăoçżcedăorallyătoătestătakersăbyătheăproctorsïŒïŒ
Tableă44ăTheădiscriminationăindicesăofătestăitemsăinătheăpilotăversionăofăTestăSetăB
ITEMïŒ PBs PC1 0ïŒ27 0ïŒ94
2 0ïŒ18 0ïŒ99
3 0ïŒ30 0ïŒ86
4 0ïŒ29 0ïŒ43
5 0ïŒ43 0ïŒ81
6 0ïŒ20 0ïŒ44
7 0ïŒ38 0ïŒ80
8 0ïŒ56 0ïŒ63
9 0ïŒ18 0ïŒ67
10 0ïŒ45 0ïŒ71
ll 0ïŒ39 0ïŒ84
12 0ïŒ49 0ïŒ57
13 0ïŒ42 0ïŒ84
14 0ïŒ54 0ïŒ31
15 0ïŒ41 0ïŒ36
16 0ïŒ30 0ïŒ36
17 0ïŒ33 0ïŒ63
18 0ïŒ32 0ïŒ21
19 0ïŒ20 0ïŒ97
20 0ïŒ28 0ïŒ91
21 0ïŒ33 0ïŒ81
22 0ïŒ23 0ïŒ65
23 0ïŒ15 0ïŒ36
24 0ïŒ42 0ïŒ51
25 0ïŒ47 0ïŒ52
26 0ïŒ27 0ïŒ40
27 0ïŒ36 0ïŒ22
28 0ïŒ29 0ïŒ91
29 0ïŒ18 0ïŒ84
30 0ïŒ33 0ïŒ75
AsăfbrătheătimeăallocatedăfbrătheăcompletionăofătheătestïŒăităwasăreportedăfromăthe
57
æ±äșŹć€ćœèȘć€§ćŠ ć棫ćŠäœè«æ Doctoral thesis (Tokyo University of Foreign Studies)
teachersăwhoăhadăproctoredăforătheăpilotăstudyăthatămostăofătheătestătakersăappearedăto
haveăreachedătheălastăitemăofătheătestïŒăwhichăprovesăthată50ăminutesăwasăaăsufficient
timeăfbrătheătestătakersăinătheăpresentăstudyïŒ
4ïŒ2ïŒ3ăTestăAdministration
ăăăăăTestăSetăAăandăTestăSetăBăwereăbothăadministeredăină50ăminutesïŒăSeniorăhigh
schoolăstudentsăwereăgivenăTestăSetăAïŒăItăwasăimplementedăasăaăreadingăproficiency
testăinăaă50ïŒminuteăclassăperiodïŒăproctoredăbyătheăteachersăwhoătaughtătheăclassăinăthe
regularălessonïŒ
ăăăăăForçżiversityăstudentsïŒătheătestăwasăadministeredăasăaăpartăofăaăplacementătest
fbrătheirărequiredăEnglishăclassesăwhichăconsistedăofăaălisteningăcomprehension
sectionăandăaăreadingăcomprehensionăsectionïŒăTheyăwereăgivenăeitherăTestăSetăAăor
TestăSetăBïŒădependingăonătheădateătheyăwereătakingătheătestïŒăThoseăstudentsăwho
tookătheătestăonătheăfirstădayăofătheăplacementătestăwereăgivenătheătestăwhichăincluded
TestăSetăAăasătheăreadingăcomprehensionăsectionïŒăandăthoseăwhoătookătheătestăonăthe
secondădayïŒăTestăSetăBïŒăTheăscoresăonătheăreadingăcomprehensionăsectionăofătheătest
wereănotăcountedăinătheăplacementăitselfăbecauseăofătheădifferenceăinădifficulty
betweenătheătwoătestăsetsïŒăInătheăfirstăhalfăofătheătestingătimeïŒăstudentsăwereăgivenă50
itemsăthatătestedătheirălisteningăskillsïŒăInăthisăpartăofătheătestïŒătheătimeăwasăregulated
byătheălisteningămaterialïŒăAtătheăendăofăthisăsectionïŒăwhichăwasăannouncedăbyăthe
listeningămaterialăitselfïŒăstudentsăwereătoldătoăbeginătheăreadingăsectionïŒăThe
studentsăwereăgivenă50ăminutesăfbrătheăreadingăsectionïŒăTheătestăwasăproctoredăby
theăteachersăwhoăteachătheărequiredăEnglishăclassesïŒ
ăăăăăBothăhighăschoolăstudentsăandçżiversityăstudentsăwereăaskedătoăprovideătheir
answersăonămarkïŒsheetsïŒăTheseămarkïŒsheetsăwereăscoredăelectricallyăonăthe
markïŒsheetăscaçżerïŒ
4ïŒ3DataăAnalysis
4ïŒ3ïŒ1ăPredeterminingăAbilityăGroups
58
æ±äșŹć€ćœèȘć€§ćŠ ć棫ćŠäœè«æ Doctoral thesis (Tokyo University of Foreign Studies)
ăăăăăPriorătoătheădataăanalysesïŒăthreeăgroupsăofădifferentăabilitiesăwereădetermined
basedăonătheăresultsăofătheădataăcollectionăaboveïŒăTheăthreeăgroupsăareïŒGroup
AïŒLowïŒăGroupăAïŒHighïŒăandăGroupăBïŒ
ăăăăăGroupăAïŒLowăandăGroupăBăwereătoărepresentătheăgroupsăofătestătakersăwho
wereărespondingătoătheăitemsăthatăhadăaădifficultyăthatăisăequivalentătoătheirăreading
abilityïŒăandăGroupăAïŒHighătoărepresentătheătestătakersăwhoăwereărespondingătoăthe
itemsăthatăwereăconsideredătoăhaveăaădifficultyălowerăthanătheirăreadingăabilityïŒăIn
thisăwayïŒătheăresultsăofăGroupăAïŒLowăandăGroupăAïŒHighăcouldăbeăcomparedăto
investigateătheădifferencesăexhibitedăbyătestătakersăwithădifferentăreadingăabilities
tacklingătheătestăitemsăofătheăsameădifficultyïŒăRèhermoreïŒătheăresultsăofăGroup
AïŒLowăandăGroupăBăwereătoăbeăcomparedătoăobserveătheădifferencesăpresentedăbyătest
takersăwithădifferentăreadingăabilitiesărespondingătoătheătestăitemsăthatăhadăthe
difficultyăequivalentătoătheirăabilityïŒ
ăăăăăHereïŒăanăexplanationăofăwhatăisămeantăbyââtestătakersăwithădifferentăreading
abilitiesărespondingătoătheătestăitemsăthatăhadătheădifficultyăequivalentătoătheirăabilityâ
forăGroupăAïŒLowăandăGroupăBăandââtheăteăstătakersăwhoăwereăreăspondingătoătheăitems
thatăwereăconsideredătoăhaveătheădifficultyălowerăthanătheirăreadingăabilityâfbrăGroup
AïŒHighămayăbeănecessaryïŒâInăItemăResponseăTheoryïŒIRTïŒïŒătheătheoryăonăwhichăthe
calculationăofăitemădifficultyăwasăbasedăinătheăanalysesăofăSectionă5ïŒ3ïŒătheăideaăisăto
findătheărelationshipăbetweenătheădifficultyăofăaătestăitemïŒătheăabilityăofăaătestătakerïŒ
andătheăprobabilityăofăaătestătakerăansweringăaătestăitemăcorrectlyïŒOhtomoă1996ïŒ69ïŒïŒ
TheădifficultyăofăaătestăitemăisădeterminedăbyăitsâitemăcharacteristicăcurveâïŒăaăgraph
whichăisădrawnăafterătheăcalibrationăusingălogisticăfUnctionïŒăOnăthisăgraphïŒătheăpoint
whereăitămeetsăwhereătheăprobabilityăofăaăpersonărespondingătoăthatăitemăisăOïŒ50ïŒ50ïŒ ïŒ
indicatesătheăabilityălevelăofăthatăpersonïŒătheăpersonăwhoseăprobabilityăofăanswering
thatătestăitemăcorrectlyăisăOïŒ50ïŒăandăthatăabilityăindexăisăemployedăasătheădifficultyăof
theătestăitemïŒăTherefbreïŒătheăindexăprovidedăasââthetaâinăAppendixăCïŒ1ïŒăDïŒ1ïŒăand
EïŒ1ïŒindicatesătheăabilityălevelïŒfromïŒ3ïŒOătoă3ïŒ0ïŒofăaăpersonăwhoseăprobabilityăof
respondingătoăthatăitemăisăOïŒ50ăandăthatăalsoărepresentsătheădifficultyăofătheătestăitemïŒ
Thisărelationshipăbetweenătheăabilityăofăaătestătakerăandătheădifficultyăofăaătestăitem
59
æ±äșŹć€ćœèȘć€§ćŠ ć棫ćŠäœè«æ Doctoral thesis (Tokyo University of Foreign Studies)
bringsătheăpresentăreaderătoăcharacterizeăeachăsubjăectăgroupăasăhavingăanăabilityăthatăis
ââ?æčæ”źć„éâ æ?ç ç €@toâăorââhigherăthanâtheădifficultyălevelăoftestăitemsïŒ
ăăăăăOriginallyïŒătheăpresentăauthorăhadăchosenătoăgiveăTestăSetăAătoăhighăschool
studentsăandăhalfăofătheăuniversityăstudentsïŒăsoăthatăhighăschoolăstudentsăwould
representăGroupăAïŒLowăandăuniversityăstudentsïŒăGroupăAïŒHighïŒăTestăSetăBăwas
givenătoătheărestăofătheăuniversityăstudentsătoărepresentăGroupăBïŒăAtăthisăpointïŒăthe
authorăhadăassumedăthatăuniversityăstudentsăwouldăpossessăhigherăabilityăinăEnglish
readingăcomprehensionăsinceătheyăhadăhadăanăextraăyearăofăEnglishăeducationăalong
withătheirăpreparatoryălearningăexperienceăfbrçżiversityăentranceăexaminationsïŒ
HoweverïŒăthisămethodăofăpredeterminingătheăabilityăgroupsădidănotăfUnctionăforăthe
presentăstudyăbecauseïŒăvirtuallyïŒănoădifferenceăcouldăbeăfbundăbetweenătheăscoresăof
highăschoolăstudentsăandăuniversityăstudentsăonăTestăSetăAïŒtheămeanăscoresăwereă17ïŒ6
fbrătheăhighăschoolăstudentsăandă17ïŒ9ăfbrçżiversityăstudentsïŒăOneăpossibilityăwhich
couldăhaveăcausedăthisătoăhapPenăisătheăfactăthatçżiversityăstudentsăwereăgivenăthe
readingăcomprehensionătestăafterătheyăhadăworkedăonătheălisteningăcomprehension
sectionăinătheăplacementătestïŒăTheăcognitiveăloadăwhichăwasăimposedăonătheătest
takersăwhileăworkingăonătheălisteningăcomprehensionăcouldăhaveăexhaustedăthem
cognitivelyăandăimpededătheirăperformancesăonătheăreadingăsectionïŒărenderingăthe
resultăaboveïŒăHoweverïŒăwhenătheălisteningătestămaterialăwasăevaluatedïŒăităwas
determinedăthatăitădidănotăappearătoăexhibitătheădiffricultyăthatăwouldăinfluenceătest
takersâperformanceăinătheălatterăsectionăofătheătestïŒăTherefbreïŒăităwasăpresumedăthat
thereăindeedăwasălittleădifferenceăinăreadingăabilityăbetweenăhighăschoolăstudentsăand
universityăstudentsăwhoăwereăgivenăTestăSetăAïŒăForăthisăreasonïŒăatăthisăpointïŒăthe
presentăauthorădecidedătoălookăatătheăresultsăofătestătakersăwhoăworkedăonăTestăSetăA
asăaăwholeïŒăregardlessăofăwhetherătheyăwereăhighăschoolăstudentsăorăuniversity
studentsïŒăandăpredetermineătheăabilityăgroupsăbasedăonătheirătestăscoresăonăTestăSetăAïŒ
AdetailedădescriptionăofăhowătheseăgroupsăwereădecidedăisăpresentedăinăChapteră5ïŒ
NoăchangeăwasămadeăinăpredeterminingăGroupăBăsinceătheăuniversityăstudentsăwho
workedăonăTestăSetăBăhadăaveragedă16ïŒ3ïŒăwhichăshowedăthatătheătestătakersăwhoăwere
givenăTestăSetăBăwereăadvancedăleamersăwhoăareăatătheăsameăabilityălevelăasăthe
60
æ±äșŹć€ćœèȘć€§ćŠ ć棫ćŠäœè«æ Doctoral thesis (Tokyo University of Foreign Studies)
readingăabilityăexpectedătoăcorrectlyărespondătoătheătestăitemsăinăTestăSetăBïŒ
4ïŒ3ïŒ2StatisticalăProcâŠedures
ăăăăăThreeăstatiăsticalăproceduresăwereătakenăinăorderătoăanalyzeătheădataăcollectedïŒ
4ïŒ3ïŒ2ïŒ1DescriptiveăStatistics
ăăăăăForăeachătestăsetïŒămeanăandăstandardădeviationăwereăcalculatedïŒăKR20ăwas
usedătoăestimateătheăintemalăconsistencyăofăeachătestăsetătoăensureăitsăreliabilityăin
measuringăstudentsâreadingăabilityïŒăForătheăpurposeăofătestăvalidationïŒătheăfacility
valueïŒpercentageăcorrectïŒandădiscriminationăindexïŒpointïŒbiserialăcorrelationïŒ
calculatedăusingăClassicalăTestăTheoryăbyăITEMANăïŒAssessmentăSystems
CorporationïŒwasăalsoăprovidedïŒ
4ïŒ3ïŒ2ïŒ2FactorïŒlnalyticăStudies
ăăăăăInăanăattemptătoăcomeăupăwithăaătestăitemăspecificationăthatăeffectively
operationalizesădifferentăreadingăperformancesătoăbeătestedïŒătheăpresentăstudy
proposesăthatătheââquestionătypeăâofăaătestăitemăcouldăbeăaăprimeăcomponentăto
constituteăsuchăaăframeworkïŒăInăorderătoăidentifă·theăcomponentsïŒăorăfactorsïŒăthat
constituteăL2ăreadingăperformancesïŒéŁŽctorăanalysesăareădoneăfbrătheăcollectedădataăin
eachăTestăSetïŒăTheănatureăoftheăfactorsăgeneratedăisăconsultedăqualitativelyïŒ
ăăăFullïŒinformationăfactorăanalysisăwasăappliedăinăfactorăanalyticăstudiesăofăbothătest
setsăviaăTESTFACTă2ïŒScientificăSoftwareăIntemationalïŒïŒăAlthoughăsomeăproblems
areăpointedăoutăinăusingătraditionalăfactorăanalysisămethodsăwithăbinaryădataïŒiïŒeïŒăitems
thatăareăscoredădichotomouslyăbyăjudgingărightăorăwrongïŒïŒăfUllïŒinformationăfactor
analysisăhasăbeenăevaluatedătoăaccommodateăsuchăcircumstancesïŒNegishiă1996ïŒBock
1984ïŒïŒ
4ïŒ3ïŒ2ïŒ2ărtemăAănăalyses
ăăăăăToădiscoverăwhichăfacetsăofăaăreadingătestăitemăwouldăallowătheăwritersăofătest
itemsătoăpredetermineătheădiffricultyăofăaătestăitemïŒătheăpresentăstudyăinvestigatesăthe
61
æ±äșŹć€ćœèȘć€§ćŠ ć棫ćŠäœè«æ Doctoral thesis (Tokyo University of Foreign Studies)
possibilityăofăaălinkăbetweenătheăitemădifficultyăofăaătestăitemăandăitsăquestionătypeïŒ
ForăthisăpurposeïŒătestăitemsăareăanalyzedăbyăconsultingătheirăitemădifficultyăindices
calculatedăviaăRaschăAnalysisăusingăRASCALïŒAssessmentăSystemsăCorporationïŒin
relationăwithăquestionătypeïŒăOtherăinformationăinătheăfinalăparameterăestimatesăas
wellăasăaărawăscoreăconversionătableïŒăanăitemăbyăpersonădistributionămapïŒăaătest
characteristicăcurveïŒăandăaătestăinformationăcurveăareăprovidedăinăthisăsectionăof
analysisïŒ
62
æ±äșŹć€ćœèȘć€§ćŠ ć棫ćŠäœè«æ Doctoral thesis (Tokyo University of Foreign Studies)