Powell, Powell (2010) Challenging the Equivalency Assumption

8/2/2019 Powell, Powell (2010) Challenging the Equivalency Assumption

1/12

C h a l l e n g i n g t h E q u i v a l e n c y A s s u m p t i o ni N C L B a n R T A s s e s s m e n t s

b J a C P o w e l l , P h . D . a n V a l e r i e J H P o w e l l , P h . D .B e t t e r S c h o o l i n g S y s t e m s 1

T h i d e a s b e h i n d t h U F e d e r a l L e g i s l a t i o n k n o w n a " N C h i l d L e f t B e h i n d " ( N C L B ) [ 1 a n R a c e t t h T o ( R T T ) [ 2 a r c o m m e n d a b l e . T h o b j e c t i v e s f o r t h e R T p r o g r a m a r . .

. . f u n d i n g t c o n s o r t i a o S t a t e s t d e v e l o p a s s e s s m e n t s , t h a t a r v a l i d , s u p p o r t a n i n f o r m i n s t r u c t i o n ,p r o v i d e a c c u r a t e i n f o r m a t i o n a b o u t w h a t s t u d e n t s k n o w a n c a d . . I i e s s e n t i a l t h a t i m p o r t a n t d e c i s i o n s a b o u t t h e f u t u r e o t h c h i l d r e n o t h U n i t e d S t a t e s b s o l i d l y

g r o u n d e d u p o n r e l i a b l e a n v a l i d a s s e s s m e n t d a t a . O b v i o u s l y , t h s u c c e s s o f s u c h p r o j e c t s i f i r m l y b a s e d u p o n a e q u i v a l e n c e a s s u m p t i o n , p r o v i d i n g r e a s o n s t b s k e p t i c a l . T h i s a s s u m p t i o n s t a t e s :

H i T h e r e i e q u i v a l e n c e b e t w e e n t h e d i r e c t i o n o t o t a l - s c o r e c h a n g e s a n t h d i r e c t i o n o e d u c a t i o n a l a c h i e v e m e n t c h a n g e s .

H , , : I m p l i c i t i n t h i s a s s u m p t i o n i c o r o l l a r y t h a t t h e r e i n m e a n i n g f u l i n f o r m a t i o na v a i l a b l e f r o m t h e a l t e r n a t i v e a n s w e r s , u s u a l l y c o n s i d e r e d t b w r o n g .

T h i s p a p e r a d d r e s s e s t h e q u i v a l e n c e a s s u m p t i o n a n i t c o r o l l a r y a s r e l a t e d t t h e s e p r e s c r i b e d g o a l s b a s e du p o n i n c l u d i n g i n t o t h a s s e s s m e n t o s t u d e n t p e r f o r m a n c e t h e i r s e l e c t i o n s o a l a n s w e r s ( i n c l u d i n g a l t e r n a t i v ea n s w e r s ) , w h i c h s e l e c t i o n s a r e g e n e r a l l y i g n o r e d i e s t a b l i s h i n g p e r f o r m a n c e a c c o u n t a b i l i t y f o e d u c a t i o n a lp r o g r e s s .

B a c k g r o u n dT h i s p a p e r u s e s t h t e r m i n o l o g y o a c c e p t a b l e ( t y p e A a n s w e r s ( u s u a l l y c a l l e d " r i g h t " ) a n u n a c c e p t a b l e

( t y p e n o n - A ) a n s w e r s ( u s u a l l y c a l l e d " w r o n g " ) a n d i r e f e r r i n g t t h c h a n g e s i a n s w e r s e l e c t i o n o v e r p r e -s p e c i f i e d t i m e i n t e r v a l ( i t h i s c a s e , f i v e m o n t h s ) .

T h i n s i g h t s l e a d i n g t t h i s p a p e r b e g a n i 1 9 5 8 w i t h s p r e a d s h e e t c r e a t e d f o r i n t e r p r e t a t i o n o h i g hs c h o o l h i s t o r y m u l t i p l e - c h o i c e ( M / C ) t e s t . T y p e n o n - A s e l e c t i o n s a p p e a r e d t o c l u s t e r n a r r o w l y i t h s p r e a d s h e e td i s t r i b u t e d a l o n g t h e t o t a l - s c o r e s c a l e . I n t e r v i e w s r e v e a l e d s t u d e n t s w e r e s e l e c t i n g a l t h e i r a n s w e r s u s i n g t h e i ri n t e r p r e t a t i o n s o t h q u e s t i o n s [ 3 ] .

U p o n r e c o g n i z i n g t h a t t y p e n o n - A s e l e c t i o n s r e v e a l e d r e a d i n g a n t h i n k i n g p r o c e s s p r o b l e m s , t h i so b s e r v a t i o n l e d t o r e f o c u s i n g t e a c h i n g o h o t r e a d t h t e x t , h o t t h i n k a n h o t l e a r n , r e p l a c e i n g t e l l i n gt h e s e s t u d e n t s t h e c o n t e n t s o t h t e x t b o o k . T h c h a n g e i t h c l a s s r e s p o n s i v e n e s s f r o m t h i s m e t h o d c h a n g e w a r e m a r k a b l e . N l o n g e r r e l u c t a n t l e a r n e r s , t h e s t u d e n t s b e c a m e e a g e r , e n t h u s i a s t i c , e x c i t e d a n e x p r e s s e d t h e i ro p i n i o n s o p e n l y . T h i s s a m e o u t c o m e r e c u r r e d w h e r e v e r t h i s i d e a e x p l o r a t i o n w a a p p l i e d . I 1 9 6 4 , i f u r n i s h e dd o c t o r a l d i s s e r t a t i o n t o p i c [ 4 ] .

T h e r e f o l l o w e d s e r i e s o s t u d i e s t h a t d e m o n s t r a t e d t h a t :1 R e a s o n i n g r e p o r t s p r e d i c t e d t y p e n o n - A s e l e c t i o n s w i t h a d u l t s [ 5 ] .2 C h i l d r e n ' s t y p e n o n - A s e l e c t i o n s w e r e d e v e l o p m e n t a l ^ p a r a l l e l [ 6 t P i a g e t i a n c l i n i c a l

o b s e r v a t i o n s , p e r f e c t l y r e p l i c a t i n g t h e a g m o d e s o t h s u b s c o r e s [ 7 ] .3 T h c o r r e l a t i o n s a m o n g a n s w e r s e l e c t i o n s u b s c o r e s ( b o t h T y p e a n n o n - A ) w e r e c o n j o i n t [ 8 ] .4 G i v i n g t y p e a n s w e r s o n s u p p l i e d a n s w e r t e s t a n u n d e r s t a n d i n g t h c o n c e p t s i t h t e s t i t e m s

a r u n r e l a t e d e v e n t s [ 9 5 S y s t e m a t i c c h a n g e s a m o n g t y p e n o n - A a n s w e r s a r a g e - a p p r o p r i a t e [ 1 0 ] .6 M i s c o n c e p t i o n s a n d o t h e r i n t e r p r e t a t i o n c l a s s e s a r e i d e n t i f i a b l e f r o m t y p e n o n - A s e l e c t i o n s [ 1 2 ] .7 P r o f o u n d l y i n f o r m e d s t u d e n t s s w i t c h a n s w e r s f r o m t y p e t t y p e n o n - A s e l e c t i o m [ 1 2 , 1 3 ] .

B e t t e r S c h o o l i n g S y s t e m s i a 5 0 1 ( c ) ( 3 ) c h a r i t a b l e f o u n d a t i o n e s t a b l i s h e d t p r o v i d e r e s e a r c h a n s c h o o l s y s t e m s u p p o r t f o o r g a n i z a t i o n s e n g a g e d i p r o v i d i n g d i r e c t e d u c a t i o n t i n d i v i d u a l s o a l a g e s . C o n t a c t i n f o r m a t i o n : E m a i l : i p o w e l l @ t i r . c o m :P o s t a l : 1 0 S h a w n e e R o a d , P i t t s b u r g h , P 1 5 2 4 1 , 1 1 3 0 ; P h o n e : + 1 - 4 1 2 - 8 3 5 - 2 1 1 6 ; F a x : + 1 - 4 1 2 - 8 3 5 - 1 1 8 9


2/12

8 T h r e e d i s t i n c t l y d i f f e r e n t d e v e l o p m e n t a l p a t h w a y s w e r e f o u n d a m o n g t h e s e d a t a [ 1 2 ] :a P i a g e t - l i k e p e r f o r m a n c e w a s u p p o r t e d a p p r o p r i a t e l y f o a g ( a b o u t 5 0 o a l l s w e r

c h a n g e s ) ,b S e l e c t i o n c h a n g e s i d e n t i f y i n g d e c l i n i n g p e r f o r m a n c e a p p e a r i t h r e v e r s e o r d e r ( a b o u t

3 0 % ) a n c S t a l l e d d e v e l o p m e n t a P i a g e t ' s C o n c r e t e O p e r a t i o n s s t a g e ( a b o u t 2 0 % ) .

9 A n s w e r s e l e c t i o n b a s e d u p o n i t e m i n t e r p r e t a t i o n i w o r l d w i d e p h e n o m e n o n . [ 1 4 ]T h i s i n o a e x h a u s t i v e l i s t o t h i s r e s e a r c h . M u c h m o r e d e t a i l c a n b e f o u n d e l s e w h e r e [ 3 1 1 3 ] . T h e s e

f i n d i n g s e x p l a i n t h t e r m i n o l o g y . T h p a t h s h o w i n g r e v e r s a l o f e x p e c t e d d e v e l o p m e n t m a n o o n l y r e f l e c t s c o r ec h a n g e s b u a l s o a n t i c i p a t e s l e a v i n g s c h o o l e a r l y .

A l t e r n a t i v e l y , p r o f o u n d s t u d e n t s b r i n g d e e p e r u n d e r s t a n d i n g t c e r t a i n i t e m s t h a n e x p e c t e d a n c o n s i s t e n t l ys e l e c t s p e c i f i c t y p e n o n - A a n s w e r s t h a t a r d e f e n s i b l y c o r r e c t f r o m t h e a d d i t i o n a l i n f o r m a t i o n t h e y a r u s i n g , l e a d i n gt d e c l i n i n g s c o r e s [ 1 2 ] . F i n a l l y , t y p e n o n - A s e l e c t i o n s m a b p e r f o r m a n c e - a p p r o p r i a t e d i g r e s s i o n s f r o m t h e x p e c t e d a n s w e r s .

I t e m R e s p o n s e t h e o r y ( I R T ) h a s h o w n s u c h s c a l i n g o t y p e n o n - A a n s w e r s a n d t h i s o b s e r v a t i o n w i t hp r o f o u n d l y i n f o r m e d s t u d e n t s , a l b e i t w i t h d i f f e r e n t e x p l a n a t i o n [ 1 5 ] . F o t h e s e r e a s o n s , w h e n t y p e n o n - A a n s w e r sa r i g n o r e d a n o n l y t y p e s e l e c t i o n s a r e c o n s i d e r e d , t h e r e i d a n g e r o f m i s c l a s s i f y i n g s t u d e n t s . W h e n t y p e n o n -

s u b - s c o r e s e l e c t i o n f r e q u e n c i e s a r c o m b i n e d w i t h t h t y p e s u b - s c o r e s s e l e c t i o n s , t h e s e m e a s u r e c o g n i t i v em a t u r i t y ( C M ) o r d e r e d a l o n g c h r o n o l o g i c a l a g ( C A ) b m o d e o s e l e c t i o n . T h i s a p p r o a c h f o e d u c a t i o n a l d i a g n o s i sm a e n h a n c e t h m u l t i d i m e n s i o n a l i t e m r e s p o n s e t h e o r y ( M I R T ) [ 1 6 ] c u r r e n t l y b e i n g d e v e l o p e d .

I n v e s t i g a t i n g c o m b i n i n g a n s w e r s e l e c t i o n s i n t o s i n g l e a n a l y s i s s y s t e m r e q u i r e s m e a n s t o v e r c o m el i n e a r d e p e n d e n c y , s u c h p r o c e d u r e h a f o u n d [ 9 ] , p r e s e n t e d a n d u s e d h e r e i n . I i n c r e a s e s o b s e r v a b l e p e r f o r m a n c ec a t e g o r i e s s u b s t a n t i a l l y . I d e n t i f y i n g t h i s s y n e r g y a n t h i m p a c t s o n o u s i n g i t a r e t h e c o r e o t h i s r e s e a r c h r e p o r to t h i n c i d e n c e o m i s c l a s s i f i c a t i o n .

n e s t a t i s t i c a l a p p r o a c h , w i t h n e s y m b o l , t h T h u r s ( P ) , w a r e q u i r e d . I p r o v i d e s m e t r i c o m e a n i n g f u l n e s s f o t h o b s e r v e d f r e q u e n c y o l e s s i n c l u d i n g e v e r y c e l l o t h r e s p o n s e m a t r i x . I i d e n t i f i e sm e a n i n g f u l s e l e c t i o n f r e q u e n c i e s i n v o l v i n g n o n - l i n e a r l e a r n i n g d y n a m i c s .

N e P a r a d i g m f o T e s t i n gT h r e e e s s e n t i a l a s s u m p t i o n s f r o m c l a s s i c a l t e s t t h e o r y ( C T T ) [ 1 7 ] d r i v e t h c u r r e n t p r a c t i c e s f o a s s e s s m e n t

f o t h N C L B i n i t i a t i v e a n R T f u n d i n g . T h e s e a r e :1 S u c c e s s f u l s t u d e n t s p o s s e s s t h n e c e s s a r y k n o w l e d g e t a n s w e r c o r r e c t l y .

2 T h e r e i e q u i v a l e n c e b e t w e e n t h e d i r e c t i o n o s c o r e c h a n g e s a n d t h a t o c o g n i t i v e d e v e l o p m e n t .3 H i g h s c o r e s s i g n i f y g r e a t e r c o g n i t i v e m a t u r i t y ( C M ) a n l o w e r o n e s l e s s e r C M w i t h c h a n g e s i

C b e i n g i n d i c a t e d b t h e d i r e c t i o n s o f c h a n g e a n a r e p r o p o r t i o n a l t t h a m o u n t o c h a n g e s i t h e s e s c o r e s .

B i m p l i c a t i o n i t h C C m o d e l , o n l y a c c e p t a b l e t y p e a n s w e r s a r c o n s i d e r e d m e a n i n g f u l .U n a c c e p t a b l e ( t y p e n o n - A ) a n s w e r s a r a s s u m e d t c o n t a i n n u s e f u l i n f o r m a t i o n a b o u t s t u d e n t s ' c o g n i t i v ed e v e l o p m e n t . T h i s p a p e r c h a l l e n g e s t h i s e q u i v a l e n c e a s s u m p t i o n f o N C L B a n R T a s s e s s m e n t s t h r o u g h t h N a t i o n a l A s s e s s m e n t o E d u c a t i o n a l P r o g r e s s ( N A E P ) [ 1 8 ] . T h o b j e c t i v e s f o a c c o u n t a b i l i t y r e q u i r e t h a t t h e s ed e c i s i o n s m u s t b e b a s e d u p o n g r o u n d e d d a t a [ 1 9 ] .

U n d e r l y i n g t h i s e n t i r e r e p o r t i a d a t a s e c o l l e c t e d t o e s t a b l i s h d e v e l o p m e n t a l s e q u e n c e s a m o n g a l a n s w e r sb a s e d u p o n ( C A ) s e l e c t i o n m o d e s . G i v i n g r e a d i n g c o m p r e h e n s i o n t e s t [ 2 0 ] t w i c e ( O c t o b e r - M a r c h ) a n c r o s s t a b u l a t i n g t h e s e t w a d m i n i s t r a t i o n s r e v e a l e d t h d y n a m i c s o a n s w e r - s e l e c t i o n .

T h t y p e a n s w e r s w e r e c l a s s i f i e d i n t o t w s u b s e t s , n a r r o w p e r s p e c t i v e t h i n k i n g ( 2 i t e m s ) a n b r o a dp e r s p e c t i v e t h i n k i n g ( 1 i t e m s ) u s i n g p e r s o n a l i t y s u r v e y w i t h M a s l o w - l i k e s c a l e u s i n g t h p r o c e d u r e w o u t l i n eb e l o w , i n l i e u o i n t e r v i e w s . H o t h i s c l a s s i f i c a t i o n w a a c c o m p l i s h e d i g i v e n e l s e w h e r e [ 1 2 ] .

E x c e l p r o f i l e s f r o m s u b s e t c h a n g e s c o r e s s h o w a s c e n d i n g r e v e r s e ( C c u r v e s o d e s c e n d i n g u c u r v e s a l o n g t h C ( y ) a x i s . C o g n i t i v e M a t u r i t y ( C M ) i n c r e a s e s w h e n h i g h e r C s u b - s c o r e s i n c r e a s e a n d l o w e r


3/12

C s u b - s c o r e s d e c r e a s e . H e n c e , t h t o b u l g e o t h a d v a n c i n g c h a n g e s s t a n d s t t h r i g h t w i t h p o s i t i v e n u m b e r sa n t h b o t t o m t t h l e f t w i t h n e g a t i v e n u m b e r s . D e c l i n i n g c o g n i t i o n r e v e r s e s t h p a t t e r n w i t h a h o r i z o n t a l f l i p . T h h i g h e r c o g n i t i v e s u b s e o r e s s h o w d e c l i n e i f r e q u e n c y a n t h l o w e r o n i n c r e a s e s o v e r t h o b s e r v e d t i m e i n t e r v a l .T h e s e c h a n g e - s c o r e s a r p r e s e n t e d i F i g u r e w i t h p e r c e n t a g e s ( t a d j u s t f o u n e q u a l s u b t e s t s i z e s ) f o t h a x i s .W h e n t h o v e r a l l t h e r e i n o c h a n g e o r t h e c h a n g e i o r t h o g o n a l t t h C a x i s t h e h o r i z o n t a l b a r s f o t h p r o f i l ed i s p l a y f o r d i f f e r e n t c h a n g e s a r e s c a t t e r e d a l o n g t h a x i s w i t h n e i t h e r t h p o s i t i v e n o i t n e g a t i v e c l u s t e r i n gp a t t e r n s a c l o s e l y a s s o c i a t e d C A b e i n g e v i d e n t .

H e r e i a e x a m p l e o p r o f i l e ( n o t e t h c u r v e w h e n v i e w e d f r o m t h r i g h t ) :F i g u r e 1 S a m p l e S t u d e n t P r o f i l e [ 2 1 ]

f f i l l

K e | D e

m c

- 1 - 2 2 + 1 + 2 - 2

1

i n e ss a s e s

T h c a t e g o r i e s t h a t d i n o c h a n g e

C h a n g eC a t e g o r y

O v e r G e n e r a l i z e dT r a n s p o s i t i o nI r r e l e v a n tO v e r S i m p l i f yW o r d A s s o c i a t i o nR e d e f i n e d t e r m sI s o l a t e d R e s p o n s e

A g M o d e

1 1 1 1

a r e n o t s h o w n .

T h C m o d e s a r p r e s e n t e d i t h n u m b e r s t t h r i g h t o e a c h p r o f i l e n a m e . T h i s c u r v e p r o f i l e s h o w ss t u d e n t w h o s e l o w e r t y p e n o n - A s c o r e i n c r e a s e d , w i t h o n e x c e p t i o n ( R e d e f i n e d T e r m s ) , a n t h h i g h e r C p e r f o r m a n c e d e c l i n e d . T h i s s t u d e n t ' s C w a 1 3 - 3 i O c t o b e r , s h o w e d C o 1 1 - 6 i M a r c h . T h i s o b s e r v a t i o nr e p r e s e n t s a d e c l i n e o m o r e t h a n o n y e a r i C M

O t h o t h e r h a n d , t h i s s t u d e n t ' s t y p e s e l e c t i o n s c o r e i n c r e a s e d b 7 . ( 3 / 4 o a y e a r ) o v e r t h e s em o n t h s . T h i s i n c r e a s e w a c a u s e d b a 2 i n c r e a s e i n a r r o w p e r s p e c t i v e s e l e c t i o n s a n a d e c l i n e o 1 i b r o a d p e r s p e c t i v e s e l e c t i o n s . T h s t u d e n t i m o v i n g d o w n f r o m t h t r a n s i t i o n i n t o c o n c r e t e t h i n k i n g ( a g e m o d e s 9 1 0 i n t o c o n c r e t e a n e g o c e n t r i c t h i n k i n g ( a g e m o d e 8 ) T h i n c r e a s e i n a r r o w p e r s p e c t i v e a n w i t h d r a w a l f r o mb r o a d p e r s p e c t i v e t h i n k i n g s u p p o r t s t h i s d e t e r i o r a t i o n i C M T h i n c r e a s e i s c o r e m i s c l a s s i f i e s t h i s s t u d e n t ' s C b a b o u t t w y e a r s .

T h i s d i s c r e p a n c y o C d e c l i n e a n t y p e s e l e c t i o n f r e q u e n c y i n c r e a s e i n d i c a t e s t h i n c r e a s e d l e v e l o p e r f o r m a n c e d e t a i l s a v a i l a b l e f r o m t h i s p r o f i l e [ 2 2 ] . U s i n g a l s e l e c t i o n s i n c r e a s e s t h e p e r f o r m a n c e i n f o r m a t i o na v a i l a b l e f r o m t h t e s t t h r e e f o l d . B e c a u s e t h e q u i v a l e n c e a s s u m p t i o n i a a l o n o t h i n g t y p e o a s s u m p t i o n , t h i so n e x a m p l e i t h n e c e s s a r y a n s u f f i c i e n t t o c o n d i t i o n f a l s i f y i t H o w e v e r , i t h i s m i s c l a s s i f i c a t i o n i r a r e e v e n t ,t h u s o t h i s a s s u m p t i o n c a n b e x c u s e d .

T f u r t h e r t e s t t h a c c u r a c y o t h e q u i v a l e n c e a s s u m p t i o n , t h e h y p o t h e t i c a l q u e s t i o n s b e c o m e :H j T h e r e i e q u i v a l e n c e b e t w e e n c o g n i t i v e m a t u r i t y l e v e l c h a n g e s d e f i n e d b t h p r o c e d u r e a n

c o r r e s p o n d i n g c h a n g e s i t h f r e q u e n c y o f t y p e a n s w e r s f o a l s t u d e n t s .H 2 U s i n g t h p r o c e d u r e c a p t u r e s a n a d e q u a t e a m o u n t o t h v a r i a b i l i t y , m i n i m i z i n g m i s c l a s s i f i c a t i o n o

s t u d e n t s w h e n a l a l t e r n a t i v e a n s w e r s a r i n c l u d e d i t h e s c o r i n g .H O m i t t i n g t y p e n o n - A a n s w e r f r e q u e n c i e s m i s c l a s s i f y p e r f o r m a n c e c h a n g e s .R e s e a r c h Q u e s t i o n : I t h i n c i d e n c e o m i s c l a s s i f i c a t i o n s u f f i c i e n t l y l a r g e t b s e r i o u s ?

E s t a b l i s h i n g t h I o r d e r t s h o w t h a t t h e C m o d e s o c h a n g e s a m o n g t h n o n - A a n s w e r s , i w a n e c e s s a r y t b y p a s s l i n e a r

d e p e n d e n c y . T h p r o c e d u r e w d e v e l o p e d [ 1 0 ] , a a d a p t a t i o n o t h e m u l t i n o m i a l , i i n c l u d e d h e r e w i t h . T h p r o c e d u r e r e q u i r e s a n e s t a t i s t i c , t h T h u r s ( P ) , t h c a l c u l a t i o n p r o c e d u r e f o w h i c h f o l l o w s :


4/12

I ( p r e - p o s t ) c r o s s t a b u l a t e d f o u r - o p t i o n m u l t i p l e - c h o i c e t e s t , e a c h i t e m p r o d u c e s 1 c e l l m a t r i xc o n t a i n i n g t h f r e q u e n c y o j o i n t s e l e c t i o n f o e a c h p r e - p o s t r e s p o n s e p a i r . T h i s m a t r i x i n o d i a g o n a l l y s y m m e t r i c .A a n s w e r s e l e c t i o n c h a n g e f r o m o p t i o n ( a t o p t i o n ( b d o e s n o p r o v i d e t h s a m e i n f o r m a t i o n a c h a n g e f r o mo p t i o n ( b ) t o o p t i o n ( a ) . D e p e n d i n g u p o n t h I R o C o r d e r o t h e s e o p t i o n s , o n i a i n c r e a s e i C a n t h o t h e r i a d e c l i n e i C M I m a t t e r s n o w h e t h e r e i t h e r i t h t y p e a n s w e r . A l s u c h e v e n t s a r m u t u a l l y e x c l u s i v e .

T h o s e s t u d e n t s w h o , f o s o m e r e a s o n , o m i t t e d m a k i n g c h o i c e a e i t h e r o t w a d m i n i s t r a t i o n s w e r eo m i t t e d f r o m c o n s i d e r a t i o n i n t h i s s t u d y . p o s s i b l e m e t h o d f o d e a l i n g w i t h m i s s i n g d a t a w i l l b d i s c u s s e d l a t e r .

T h e r e a r f o u r p i e c e s o i n f o r m a t i o n t c o n s i d e r f i r m f o e a c h c e l l f r e q u e n c y . T h e s e a r e :1 T h e n u m b e r o t i m e s e a c h p o s s i b l e r e s p o n s e p a i r w a c h o s e n ( t h e o b s e r v e d f r e q u e n c y ) ,

2 T h e n u m b e r o t i m e s t h i s g r o u p c h o s e t h f i r s t m e m b e r o t h e p a i r o t h f i r s t a d m i n i s t r a t i o n , ( t h ec o l u m n t o t a l )

3 T h e n u m b e r o t i m e s t h i s g r o u p c h o s e t h s e c o n d m e m b e r o t h i s p a i r o t h s e c o n d a d m i n i s t r a t i o n( t h e r o t o t a l ) , a n

4 T h t o t a l n u m b e r o o b s e r v a t i o n s i t h e n t i r e f r e q u e n c y t a b l e ( t a b l e t o t a l ) .I m a t h e m a t i c a l t e r m s , t h e v a l u e s b e i n g c o n s i d e r e d a r e t h e c e l l f r e q u e n c y , i t a s s o c i a t e d r o a n c o l u m n

s u m s , a n t h t a b l e s u m . I m a t t e r s n o t w h e t h e r t h r o o r t h e c o l u m n t o t a l s r e p r e s e n t t h e f i r s t a d m i n i s t r a t i o n .

S t e p 1

T h P r o c e d u r e

T h i s p r o c e d u r e b e g i n s w i t h a n m a t r i x o f r e q u e n c i e s O i e i t h e r o b o t h a n d n 2 a f o l l o w s :

O 2

o m C

0 , O 2

O m c

o l o 2

6 m c

R R

R

w h e r e :7 =

= o , i =

a n

' = 1 7 = 1

( 1

( 2

(

S t e pT h n e x t s t e p i t c o l l a p s e t h i s m a t r i x a r o u n d e a c h c e l l O s e q u e n t i a l l y . T h i s s t e p p r o d u c e s s i x t e e n 2 x

m a t r i c e s , w i t h t h s e l e c t e d o b s e r v e d f r e q u e n c y o O b e i n g 0 o t h s o r t :w h e r e : / R ' 0

R ' A 1 - R ' i= C ' , - o ,

C ' N - C ' - ia n d h N - ( o + f + g ) .

I w o r d s , / i s t h r e m a i n d e r o t h r o w , i t h r e m a i n d e r o f t h c o l u m n a n i t h r e s i d u a l f r e q u e n c y o t h r e s t o t h t a b l e . D u r i n g i t e r a t i o n , v a l u e s a r e x c h a n g e d ( b 1 f r o m m i n i m u m t m a x i m u m i c e l l 0

c c R ' R '


5/12

S i n c e t h e s e v a l u e s a r a l f r e q u e n c i e s , a n t h l e a s t p o s s i b l e f r e q u e n c y i a n c e l l i z e r o ( 0 ) , t h l e a s tp o s s i b l e v a l u e t h a t c a p o s s e s s i w h e n e i t h e r t h e f r e q u e n c y v a l u e o o o i z e r o ( 0 ) . S i m i l a r l y , t h e g r e a t e s tp o s s i b l e v a l u e t h a t c e l l O c a c o n t a i n o c c u r s w h e n e i t h e r t h f r e q u e n c y o f o o i z e r o ( 0 ) .

M a t h e m a t i c a l l y :O ( m i n ) / ? o t h e r w i s e o ( m i n ) ( 4

O ( m a x ) l e s s e r o R ' ( + f a n C ( + g ( 5 S t e p

T h c u m u l a t i v e p r o b a b i l i t y o t h c e l l u s i n g t h e q u a t i o n a n c o n t r o l p a r a m e t e r s ( a n 5 f r o m s t e p 2 O f m a x )

P ' ( P ) ( P Y ( P ^ ( P ) h7 7 T 7 T V T W ( P l ) u ( P 2 Y u ( P ^ ( P 4 ) h u ( 6 < - > u - J u S "

O ( m j n )

S t e pT h n e x t s t e p i t f i n d t h c u m u l a t i v e p r o b a b i l i t y f o t h o b s e r v e d f r e q u e n c y o l e s s [ P ) t h i s t i m e

i t e r a t i n g f r o m o ( m i n ) t u s i n g t h e s a m e e q u a t i o n ( 6 ) , u s i n g o n l y c o n t r o l p a r a m e t e r s i n ( 4 ) a f o l l o w s :

P N i p i T u i P i i , , ( P d s ( P a ) ' ' , , ( o j f l g j h . , 1

O ( i n m )

S t e pT h d e s i r e d T h u r s ( P y ) v a l u e i t h s t r e n g t h o t h o b s e r v e d c e l l f r e q u e n c y o l e s s b e c o m e s t h e q u o t i e n t o t h e s e t w c u m u l a t i v e p r o b a b i l i t i e s f o e a c h c e l l :P t P c / P , ( 7 ) / ( 6 ) ( 8 T h i s p r o c e d u r e p r o v i d e s a s t r e n g t h e s t i m a t e o t h e v e n t s i e a c h c e l l i n d e p e n d e n t l y f r o m t h o b s e r v e d

f r e q u e n c y o l e s s . B e i n g n o n - p a r a m e t r i c , t h T h u r s ( P s e e m s t c a p t u r e t h p r o p e r t i e s o f a n y m a t r i x w h e r e t h d i c h o t o m o u s r e q u i r e m e n t s f o a p p l y i n g t h G L a r v i o l a t e d . I t m a t h e m a t i c a l p r o p e r t i e s a r n o y e d e t e r m i n e d ,b u i s e e m s t b r e l a t e d t t h N I r a n g e s f r o m 1 I o u l a r g e r d a t a s e t s , w h a v e d e t e r m i n e d t h e a e o t h

b f i n d i n g t h s t a n d a r d d e v i a t i o n o t h a v e r a g e s o t h c o l u m n s f o e a c h i t e m f o t h e e n t e r s e t . I t w s e p a r a t ed a t a s e t s , i s e e m s t b e a b o u t 0 . 0 8 .

T e s t i n g t h H y p o t h e s e sr a n d o m s a m p l e o f 5 2 s t u d e n t s w a s d r a w n f r o m t h n e a r l y 3 , 0 0 0 s t u d e n t s f r o m t h e t h i r d g r a d e t h r o u g h t h

e n o h i g h s c h o o l .E x c e l p r o f i l e s c l a s s i f i e d i n d i v i d u a l s i n t o n i n e f r e q u e n c y c a t e g o r i e s i n t o t w o - w a y 3 x t a b l e w i t h

v a r i a b l e s o f 1 D e c l i n e ,

2 N c h a n g e a n d3 I n c r e a s e

P l a c e d o r t h o g o n a l l y b o t h t h a p p e a r C ( y a n a g g r e g a t e f r e q u e n c y o t y p e s e l e c t i o n s i t h ( x d i r e c t i o n s . T h c l a s s i f i c a t i o n p r o c e d u r e i n v o l v e d v i s u a l i d e n t i f i c a t i o n f r o m t h p r o f i l e c u r v e s u s i n g t h c u r v e p a t t e r n s a d e s c r i b e df o F i g u r e 1 .

T h r e e i n d e p e n d e n t t e s t s o e q u i v a l e n c e w e r e u s e d :1 T h p r o p o r t i o n o c a p t u r e i t h e q u i v a l e n c e d i a g o n a l i r e p r e s e n t e d b t h v a r i a n c e r e c o v e r e d .

T h s q u a r e r o o t o t h i s v a l u e e s t i m a t e s t h p r o d u c t - m o m e n t c o r r e l a t i o n ( F i s h e r t e s t ) .


6/12

2 A e x p e c t a t i o n t a b l e d e s i g n e d t r e p r e s e n t e q u i v a l e n c e w a u s e d w i t h t d e t e r m i n e t h e x t e n to c o n f o r m i t y e x p e c t a t i o n s .

3 T h p r o p o r t i o n o w i t h i n - e x p e c t a t i o n c a p t u r e t o u t s i d e - e x p e c t a t i o n c a p t u r e e s t a b l i s h e s t h d e g r e eo e q u i v a l e n c e .

C o n c l u s i o n s w e r e d r a w n f r o m t h c o m b i n a t i o n o t h e s e t h r e e s t a t i s t i c a l t e s t s . v a l u e f o e v e r c e l l i t h r e s u l t i n g 3 x m a t r i x t d e t e r m i n e w h e t h e r t h e s t r e n g t h r e s i d e d i t h r e f e r e n c e d i a g o n a l .

R e s u l t s :T a b l e 1 O b s e r v e d F r e q u e n c i e s [ 2 3 ]

D i r e c t i o no

C o g n i t i v eC h a n g e

U p N o n e

D o w n iT o t a l s

D i r e c t i o n o T o t a l - S c o r e C h a n g eU p

1 1

3

N o n e D o w n 4 M a r g i n a l

T o t a l s

2 1 1

5

T h d a r k l y s h a d e d b o x e d c e l l s p r o v i d e t h r e f e r e n c e d i a g o n a l , w h i c h s h o u l d c o n t a i n m o s t o t h e s e d a t a t d e m o n s t r a t e e q u i v a l e n c e b e t w e e n t o t a l - c o r r e c t s c o r e c h a n g e a n d c o g n i t i v e c h a n g e . T h i s m a t r i x d o e s n o c o n f o r mv i s i b l y t e x p e c t a t i o n s b e c a u s e m o s t e v e n t s a r o u t s i d e t h i s m a i n d i a g o n a l .

T h o b s e r v e d d i a g o n a l c o n t a i n s 1 6 : 5 2 m e m b e r s p r o v i d i n g v a r i a n c e e s t i m a t e ( r 2 ) o f 0 . 3 0 8 f o w h i c h t h c o r r e l a t i o n a l e q u i v a l e n t i 0 . 5 5 5 . T h i s v a l u e g i v e s F i s h e r o 1 . 6 2 7 w h i c h i n o s i g n i f i c a n t a t h 0 . 0 5l e v e l a s t h e v a l u e o m u s t b a l e a s t 1 . 8 6 0 . T h e r e i s t h e r e f o r e n a g r e e m e n t b e t w e e n t h c o n t e n t s o t h r e f e r e n c ed i a g o n a l a n e x p e c t a t i o n .

N o t i c e t h a t t h e c o m p a r i s o n c o m e s f r o m c o m m o n l y u s e d o s t a n d a r d v a r i a b l e o s c o r e c h a n g e s e q u a t e da g a i n s t s c o r e c h a n g e s d e r i v e d f r o m n e p r o c e d u r e b a s e d u p o n n e s t a t i s t i c a n u s i n g d a t a t d e f i n e v a r i a b l et h a t i n o c o m m o n l y u s e d t a s s e s s e d u c a t i o n a l p r o g r e s s . T h c r e d i b i l i t y o t h i s p r o c e d u r e h i n g e s u p o n t h r e a s o n a b l e n e s s o u s i n g c h a n g e s f r o m a n a n s w e r t a n o t h e r a n s w e r w i t h o u t r e g a r d t a n s w e r t y p e t d e t e r m i n eC / M . A i n d i c a t e d a b o v e , t h i s r e p o r t i t h c u l m i n a t i o n o m a n y y e a r s o i n v e s t i g a t i o n i w h i c h a n s w e r s s e l e c t i o nh a b e e n s h o w n t b e d e p e n d e n t u p o n q u e s t i o n i n t e r p r e t a t i o n a s r e p o r t e d i t h l i t e r a t u r e i n d i c a t e d , b u t h a s n o b e e np a r t o t h m a i n s t r e a m o f t e s t d e v e l o p m e n t r e s e a r c h .

T a b l e 2 ~ E x p e c t a t i o n sD i r e c t i o n o


U p N o n e

D o w n 4T o t a l s


4

4

N o n e D o w n - M a r g i n a l

T o t a l s

4

-

5

T h i s % e x p e c t a t i o n t a b l e m a t c h e s t h o b s e r v a t i o n s f o t h m i d d l e a n d l o w e r r i g h t c e l l s , p l a c e s i n t o a l t h o f f - d i a g o n a l c e l l s a n b a l a n c e s t h t a b l e t o t a l ( t h e t o l e f t ) ; i n c l u d i n g m a x i m u m f r e q u e n c i e s i t h i s d i a g o n a l a n m i n i m i z i n g t h e o f f - d i a g o n a l c e l l s .

T h i s a n a l y s i s g i v e s % t o t : a ' o 2 8 4 . 9 3 0 . I t h a g g r e g a t e f r e q u e n c y o 4 ( 4 2 w e r e e q u a l l yd i s t r i b u t e d a l o n g t h i s d i a g o n a l t h e % 2 v a l u e i s i m i l a r . I n t h i s c a s e , t h y j s u i 2 8 9 . 3 . x s u i e x c e s s o P o . o 5 =1 5 . 5 0 7 ( f o r d e g r e e s o f f r e e d o m ) w i l l r e j e c t t h e q u i v a l e n c e h y p o t h e s i s . T h m o d e l d o e s n o f i t h e s e d a t a u s i n g t h

X t e s t f o a g r e e m e n t .T h o b s e r v e d d i f f e r e n c e o p r o p o r t i o n s c o m p a r e s 1 6 : 5 2 w i t h 3 6 : 5 2 . T h r e s u l t i n g 1 9 . 0 4 1 i n d i c a t e s t h a t

t h e s e t w p r o p o r t i o n s a r m e a n i n g f u l l y d i f f e r e n t .


7/12

A l l t h r e e t e s t s c o n t r a d i c t t h a s s u m p t i o n , w h i c h l e a d s t r e j e c t i n g H a n a c c e p t i n g H o T h o f f - d i a g o n a lf r e q u e n c i e s e x c e e d e x p e c t a t i o n s , i n v a l i d a t i n g t h e q u i v a l e n c e a s s u m p t i o n s t a t i s t i c a l l y .

T a b l e p r o v i d e s t h v a l u e s f o t h f r e q u e n c i e s f r o m T a b l e 1 O t h 9 s t u d e n t s w h o s e t o t a l s c o r e sd e c l i n e d ( a i l l u s t r a t e d i F i g u r e 1 ) t w t h i r d s o t h e m s h o w e d a i n c r e a s e i C M E v e n m o r e d i s t u r b i n g , o t h 3 s t u d e n t s w h o s e t o t a l s c o r e s i n c r e a s e d , n e a r l y t w t h i r d s o t h e m s h o w e d n g a i n s o r d e c l i n i n g C ( 1 3 : 2 3 ) a m o n gt h o s e w h o s e t o t a l s c o r e s i n c r e a s e d .

T a b l e 3 V a l u e s f r o m T a b l eD i r e c t i o n o


U p N o n e

D o w n iT o t a l s


0 . 2 6 10 . 9 0 30 . 6 2 71 . 7 9 1

N o n e0 . 4 0 20 . 5 3 90 . 9 4 41 . 8 8 5

D o w n0 . 9 8 40 . 3 2 70 . 2 7 51 . 5 8 6

M a r g i n a lT o t a l s

1 . 6 4 71 . 7 6 91 . 8 4 65 . 2 6 2

T h v a l u e r e v e a l s t h e p a t t e r n w h e n a l c h a n g e s a r c o n s i d e r e d m e a n i n g f u l . O p a r t i c u l a r i m p o r t a n c e a r t h c e l l s s h o w n a B o l d f a c e d E n l a r g e d . E a c h o t h e s e i t h h i g h e s t o b s e r v e d f r e q u e n c y i t h e i r r e s p e c t i v e r o w so c o l u m n s . S i m i l a r s t r e n g t h i n o i t h e r e f e r e n c e d i a g o n a l . T h e s e t h r e e c e l l s a c c o u n t f o 2 3 : 3 6 , o r a b o u t t w t h i r d so t h e m i s c l a s s i f i e d s t u d e n t s .

T h f a c t t h a t t h s u o t h i > 1 . 0 0 a n a b o u t o n t e n t h o t h t o t a l f r e q u e n c y m e a n s t h a t t h e s e t w v a l u e s m a b r e l a t e d t t h e x p l a i n e d v a r i a b i l i t y o e a c h c e l l , b u d n o t r e p r e s e n t t h i s v a l u e p r e c i s e l y .

S i g n a l - t o - N o i s e R a t i oT h e r e w a o n l y o n i t e m i t h P r o v e r b s T e s t t h a t h a a l f i v e s t a g e s o d e v e l o p m e n t o b s e r v e d a m o n g t h e s e

s t u d i e s ( I t e m 1 8 ) , w h i c h p r o v i d e d t h s i g n a l t o n o i s e r a t i o f o t h e n t i r e t e s t , b e c a u s e s t a g e t r a n s f o r m s w e r e C a p p r o p r i a t e f o m o s t i t e m s . T h f r e q u e n c y o a l m e a n i n g f u l a n s w e r p a i r s f o r t y p e r e p e t i t i o n s ( C r i t e r i o n : 1 . 0 0 0

1 < T f . o P p r o d u c e d s i g n a l t o n o i s e r a t i o o 0 . 2 3 6 : 1 . 0 0 0 . A p p l y i n g t h s a m e s t r i n g e n t l i m i t s t o a l t h f r e q u e n c i e sw i t h i n m e a n i n g f u l c h a n g e p a i r s i t h c h a n g e m a t r i x p r o d u c e d t h e s i g n a l t o n o i s e r a t i o o 0 . 7 6 4 : 1 . 0 0 0 . T a k i n g t h i sl a t t e r n u m b e r a s t h e v a r i a n c e ( r 2 ) e s t i m a t e , t h e c o r r e l a t i o n b e c a m e 0 . 8 8 5 , p r o v i d i n g a F i s h e r t e s t v a l u e o

3 . 5 2 1 . T r e a t i n g t h e d i f f e r e n t s i g n a l t n o i s e r a t i o s a p r o p o r t i o n s p r o v i d e s a 2 3 1 . 3 . T h f a c t t h a t t h e s e t w v a l u e s a d t 1 . 0 0 0 i c o i n c i d e n t a l b e c a u s e t h 0 . 7 6 4 v a l u e i n c l u d e s t h e 0 . 2 3 6 o n e . T h d i f f e r e n c e b e t w e e n 0 . 7 6 4a n 1 . 0 0 0 r e p r e s e n t s t h c u m u l a t i v e f r e q u e n c i e s w i t h i n t h c e l l t h a t w e r e o u t s i d e t h m e a n i n g f u l r a n g e o f f 0 . 9 1 2 .

T h e s e t w p r o p o r t i o n s a r e s i g n i f i c a n t l y d i f f e r e n t f r o m e a c h o t h e r . B i g n o r i n g t h n o n - A a n s w e r s , w a r l o s i n g a l a r g e a m o u n t o i n f o r m a t i o n . H o p e r t i n e n t t h i s i n f o r m a t i o n m i g h t b e n e e d s m o r e r e s e a r c h . I s u c h t e s t s a r a c t u a l l y m e a s u r i n g s t u d e n t s ' i n t e r p r e t a t i o n s t r a t e g i e s m o r e t h a n t h e i r k n o w l e d g e , t h e n , p e r h a p s w s h o u l d b et e a c h i n g i n t e r p r e t a t i o n s t r a t e g i e s a n r e c o r d i n g w h i c h s t r a t e g i e s a r e b e i n g u s e d t t e a c h o u s t u d e n t s h o t t e a c ht h e m s e l v e s . T h e f f e c t i v e n e s s o t h i s a l t e r n a t i v e t e a c h i n g a p p r o a c h i m e n t i o n e d a b o v e a n d d i s c u s s e d i m b o o k[ 3 ] ,

I t h i s c a s e , H i a c c e p t e d . T h u s , H p r o v i d e s a n a c c e p t a b l e b a s i s f o r c l a s s i f y i n g s t u d e n t s , i n d i c a t i n g t h en e e d f o a n s w e r - b y - a n s w e r s c o r i n g f r o m r e p e a t e d m e a s u r e m e n t s t a s s e s s s t u d e n t g a i n s f o N C L B a n R T a d e q u a t e l y .

R e s e a r c h I m p l i c a t i o n sT h e s e d a t a f o t h e s e 5 s t u d e n t s a r o l d . T h e y w e r e c o l l e c t e d i t h 1 9 7 0 s i c o u n t r y o t h e r t h a n t h

U n i t e d S t a t e s . T h e y w e r e d r a w n a r e p r e s e n t a t i v e s a m p l e f r o m j u r i s d i c t i o n w h i c h a l s o u s e d h i g h s t a k e s t e s t i n g .T h i m p l i c a t i o n s f r o m t h e m h o w e v e r a r s u p p o r t e d u s i n g r e c e n t d a t a f r o m t h U n i t e d S t a t e s i s e v e r a l w a y s [ 1 1 6 ] .

T b e g i n w i t h , i h a b e e n k n o w n i s t a t i s t i c a l c i r c l e s t h a t t h n o r m a l b i v a r i a t e d i s t r i b u t i o n c a c o n c e a li m p o r t a n t i i n f o r m a t i o n , i p r o c e d u r e s f r o m t h G L a r a p p l i e d t d a t a f o w h i c h i t a p p l i c a t i o n i i n a p p r o p r i a t e .A i n t e r p r e t a t i o n p r o c e d u r e u s i n g t y p e t y p e n o n - A e v e n t s c r e a t e s a a r t i f i c i a l d i c h o t o m y w h e n a p p l i e d t d a t a


8/12

w h e r e e a c h o b s e r v a t i o n a l e v e n t h a s m o r e t h a n t w o p t i o n s . T h e x c u s e t h a t t h e s e a d d i t i o n a l o p t i o n s c a l e a d t l i n e a r d e p e n d e n c y a n d m a t h e m a t i c a l c o n t r a d i c t i o n h a n o b e e n v a l i d s i n c e t h e p u b l i c a t i o n o s u c c e s s f u l b y p a s sp r o c e d u r e [ 1 0 ] . P r o f e s s i o n a l i n e r t i a r e m a i n s t h o n l y e x c u s e .

C o l l e c t i v e l y , t h i s r e s e a r c h r e v e a l s t h a t a n s w e r s e l e c t i o n i t h o u g h t f u l a n b a s e d u p o n C d e v e l o p m e n t a ls t a t u s , c o m m o n m i s c o n c e p t i o n s a n c u l t u r a l d i f f e r e n c e s . T h e s e a n s w e r s a r n o r a n d o m i t h s e n s e t h a t r a d i o a c t i v ed e c a y i r a n d o m . I a l s o s h o w s t h a t a n s w e r c h a n g e s r e v e a l t h e d y n a m i c s o t h e l e a r n i n g p r o c e s s i f o r m a t i v e s e n s e ,p r o v i d i n g m u c h m o r e u s e f u l e d u c a t i o n a l i n f o r m a t i o n t h a n t h s n a p - s h o t i p s a t i v e a p p r o a c h . I a d d i t i o n , s i n c e t h e s ec h a n g e s o r d e r i t h C s e q u e n c e , t h e y p r o v i d e m o r e f o r m a t i v e i n f o r m a t i o n t h a n c h a n g e s i n t o t a l s c o r e s . T h i sr e p o r t s h o w s t h a t t h i s a d d i t i o n a l f o r m a t i v e i n f o r m a t i o n f a l s i f i e s t h u s o t o t a l - s c o r e c h a n g e s b e c a u s e t h l a t t e rm i s c l a s s i f i e s t h e s e d y n a m i c e v e n t s t a n u n a c c e p t a b l e l e v e l f o r g o o d p r o f e s s i o n a l j u d g m e n t s a b o u t s t u d e n tp e r f o r m a n c e . F r o m t h i s k n o w l e d g e , w c a e s t a b l i s h t h f o l l o w i n g r e s e a r c h a g e n d a :

1 T b c e r t a i n t h a t t h e s e f i n d i n g s a r a p p l i c a b l e t a n j u r i s d i c t i o n s o t h e r t h a n t h d a t a s o u r c e ,d e m o n s t r a t i o n p r o j e c t i n e u t r a l s e t t i n g i r e q u i r e d . T h p r o j e c t s h o u l d :

a B e m o r e t h a n o n y e a r i d u r a t i o n . T h s e q u e n c e e m e r g i n g h e r e o f i N a r r o w p e r s p e c t i v e ,

i i B r o a d p e r s p e c t i v e ,i i i . M u l t i d i m e n s i o n a l p e r s p e c t i v e a n i v W h o l e t h e m e p e r s p e c t i v e [ 2 4 ]

n e e d s t b o b s e r v e d w i t h i n t h c o n t e x t o s i n g l e s t u d y .b A l b u o n e o f t h i t e m s ( I t e m 1 8 i t h P r o v e r b s T e s t h a a l e a s t t w n o n - A a l t e r n a t i v e s

o t h s a m e C l e v e l . I i n e c e s s a r y t b a b l e t o v e r l a p t h s e q u e n c e t d e t e r m i n ew h e t h e r t h e s e b i f u r c a t i o n s a r e d d i e s i t h C s e q u e n c e o r i n d i c a t o r s o m o r ed e v e l o p m e n t a l p a t h w a y s .

c F o t h i n c l u s i o n o t h w h o l e t h e m e p e r s p e c t i v e , i m a b n e c e s s a r y t i n c l u d e a d u l tl e a r n e r s i n t o t h e s t u d y , a t h i s s t a g e m a n o b i d e n t i f i a b l e d i s c o n t i n u i n g t h s e q u e n c es e a r c h w i t h s e n i o r s i h i g h s c h o o l .

d I t i s e s s e n t i a l t h a t t h i s s t u d y a l s o u s t h r e p e e i t e d m e a s u r e s d e s i g n t o b s e r v e t h e l e a r n i n gd y n a m i c s .

2 I t h e s e d y n a m i c s d e m o n s t r a t e m u l t i p l e p a t h w a y s , b e y o n d t h e t h r e e a l r e a d y i d e n t i f i e d :a C g a i n ,b C d e c l i n e a n c C s t a l l e d a t h n a r r o w p e r s p e c t i v e l e v e l

t h s e c o n d s t e p i t d e t e r m i n e t h e c h a r a c t e r i s t i c s o t h e s e p a t h w a y b y c r o s s t a b u l a t i n g m e a s u r e s o fs u c h c o n c e p t s a m u l t i p l e - i n t e l l i g e n c e s [ 2 5 ] a n l a t e r a l t h i n k i n g [ 2 6 ] . T h i s l a t t e r c o n c e p t m a b r e l a t e d t m u l t i d i m e n s i o n a l t h i n k i n g .

3 I t h e s e s d y n a m i c s a r s u p p o r t e d , t h n e x t s t e p w i l l b t a p p l y t h p r o c e d u r e t e x i s t i n g t e s t s o t h g e n e r a l a c h i e v e m e n t t y p e ( t h e S A a n t h A C T ) a n o c u r r i c u l u m o r i e n t s a s s e s s m e n t t d e t e r m i n e w h e t h e r t h e s e d e v e l o p m e n t a l s e q u e n c i n g a l s o o c c u r s a m o n g t h n o n - A a n s w e r s i t h e s et e s t s . A e s s e n t i a l p a r t o t h i s s t e p i t o f i n d w a t c l a s s i f y t h T y p e a n s w e r s i n t o n a r r o w a n b r o a d p e r s p e c t i v e a n s w e r s , p e r h a p s u s i n g t h d i f f i c u l t y l e v e l s o t h e s e a n s w e r s f r o m I R T , f r o mM I R T [ 2 7 ] a n d / o r f r o m t h p r o c e d u r e u s e d h e r e o c r o s s t a b u l a t i n g w i t h S c h o o l s w o u l d L i k e t S e [ 2 8 ] . A p a r t o t h i s s t u d y , t h e w a y s i w h i c h t h S c h o o l s s u r v e y d i s t i n g u i s h e s b e t w e e n t h e s ep e r s p e c t i v e s a n t h I R v a l u e s c o u l d e s t a b l i s h t h i n t e r c o n n e c t e d n e s s b e t w e e n t h e s e t w p r o c e d u r e s . I t h e s e a l r e a d y e x i s t i n g t e s t s a l s o s h o w t h u n d e r l y i n g l e a r n i n g d y n a m i c s u n d e rr e p e a t e d m e a s u r e s t r i a l s , t h e i r r e d e v e l o p m e n t w i l l b e c o m e u n n e c e s s a r y a t h e i r a u g m e n t a t i o n b a d d i n g t h e i r n o n - A c a t e g o r i e s a n t h e i n t e r p r e t a t i o n o t h e s e f o a s s e s s m e n t p u r p o s e s w i l l b s u f f i c i e n t . P r o v i d i n g p r o f i l e s t o t e a c h e r s b a s e d u p o n t h e s e c a t e g o r i c a l i n t e r p r e t a t i o n s w i l l a u g m e n tt h e i r i n f o r m a t i o n b a s e f o i n t e r v e n t i o n d e c i s i o n s .

4 I s e c u r i t y c o n c e r n s a r i s e f r o m u s i n g r e p e a t e d m e a s u r e s o t h e s e t e s t s , p a r a l l e l f o r m s [ 2 9 ] c a b e s t a b l i s h e d w i t h a n s w e r s - b y - a n s w e r p r e c i s i o n b c o n c u r r e n t a d m i n i s t r a t i o n o b o t h f o r m s f o t h c a l i b r a t i n g a d m i n i s t r a t i o n , c r o s s t a b u l a t i n g t h e s e t w t e s t s , a n s w e r - b y - a n s w e r a n d d e t e r m i n i n g t h

v a l u e f o e v e r y c e l l . I m o s t o t h a n s w e r c a t e g o r i e s m a t c h b e t w e e n t e s t , t h e y a r p a r a l l e l , a n c a b m a d e t p e r f o r m m o r e p r e c i s e l y b r e c a l i b r a t i n g t h e m o t h e i r j u a n v a l u e s . S i n c e


9/12

s c o r i n g w i l l b u p o n a n s w e r - s e l e c t i o n - c h a n g e p a t t e r n s a n n o t o t a l - t y p e s e l e c t i o n f r e q u e n c i e s ,s e c u r i t y s h o u l d b l e s s o p r o b l e m , o n c e s t u d e n t s u n d e r s t a n d t h a t t h e y a r d o i n g t h e m s e l v e sd i s s e r v i c e b r e l y i n g u p o n e x t e r n a l s o u r c e s f o t h e i r a n s w e r s .

5 A s s u m i n g t h a t m o r e t h a n t h e a l r e a d y t h r e e p a t h w a y s a r f o u n d , a w s h o u l d e x p e c t f r o mp s y c h o l o g i c a l a n c u l t u r a l d i v e r s i t y , t h a n s w e r - c a t e g o r y s e q u e n c e s e s t a b l i s h e d b t h i s r e s e a r c hc a b i n c l u d e d i t h e c u r r i c u l a r b e n c h m a r k s [ 3 0 ] f o l l o w i n g t h r e s e a r c h - b a s e d s e q u e n c e s t o t r a c kC i t h d e t a i l a v a i l a b l e f r o m t h p r o c e d u r e o r e s e a r c h - b a s e d i m p r o v e m e n t s t h e r e u p o n .

6 E v e n t u a l l y , a c o m p r e h e n s i v e m a o h u m a n c o g n i t i v e d e v e l o p m e n t , p e r h a p s s i m i l a r t t h W 1 C Sm o d e l [ 3 1 ] w i l l b e s t a b l i s h e d . I t h m e a n t i m e , u s i n g o t h e r a p p r o a c h e s f o e d u c a t i o n a ld i a g n o s i s , s u c h a c o n c e p t i n v e n t o r i e s [ 3 2 ] w i l l e n h a n c e o u r u n d e r s t a n d i n g o f C f u r t h e r .

7 A t h e c h a r a c t e r i s t i c s o t h C d e v e l o p m e n t a l p a t h w a y s b e c o m e e s t a b l i s h e d , t h e i n t e r v e n t i o ns t r a t e g i e s a p p r o p r i a t e f o e a c h c a a l s o b e s t a b l i s h e d . I t h p a s t , i n t e r v e n t i o n a t t e m p t s h a v e b e e nb a s e d u p o n t h a s s u m p t i o n t h a t t h e r e s h o u l d b e s i n g u l a r " b e s t m e t h o d s . " T h i s r e s e a r c h a p p r o a c h ,b u i l t u p o n t h c l a s s i c a l r a n d o m - a s s i g n m e n t d o u b l e - b l i n d p r o c e d u r e h a b e e n u n s u c c e s s f u l b e c a u s ei h a t h r a n d o m a s s i g n m e n t o p a r t i c i p a n t s t m e t h o d s h a i g n o r e d h u m a n d i v e r s i t y . T r u l ye f f e c t i v e r a n d o m a s s i g n m e n t t p r o c e d u r e s w h e r e i n t h e i n t e r v e n t i o n s a r e f f e c t i v e f o r s o m e a n d e t r i m e n t a l f o o t h e r s s h o u l d s h o w n m e a n i n g f u l d i f f e r e n c e s , a h a b e e n t h g e n e r a l i z e d r e s u l t sf r o m s u c h s t u d i e s . A l t h i s r e s e a r c h i o p e n t f u r t h e r e x p l o r a t i o n u s i n g d e f i n a b l e s u p o p u l a t i o n s .T h o u t c o m e f r o m t h i s r e s e a r c h s h o u l d b d i f f e r e n t f r o m p r e v i o u s r e s u l t s .

T h i s l i s t i s b y n o m e a n s e x h a u s t i v e . T h p r o s p e c t o t r i p l i n g t h a v a i l a b l e i n f o r m a t i o n t o w a r d s i m p r o v i n ge d u c a t i o n a l e f f e c t i v e n e s s , s t r e n g t h e n i n g t h u n d e r s t a n d i n g o f h u m a n d i v e r s i t y n e e d e d t e n h a n c e l e a r n i n g a n t e m p o w e r p e o p l e t o s e l f - i n i t i a t e t h e i r l e a r n i n g t b e c o m e l i f e - l o n g l e a r n e r s o p e n s e n d l e s s p o s s i b i l i t i e s .

C o n c l u s i o n sT h h u m a n c o s t o c u r r e n t p r a c t i c e i t o o h i g h t c o n t i n u e i t u s e . O u r e s e a r c h h a s s h o w n t h a t t h t o 2 0

o f o u r s t u d e n t s , g r o u p e d i n t o e l e m e n t a r y , i n t e r m e d i a t e a n h i g h s c h o o l a g l e v e l s , s h o w 5 0 w i t h a n a r r o wp e r s p e c t i v e i e l e m e n t a r y s c h o o l . T h i s o b s e r v a t i o n i t b e e x p e c t e d a t h e g o c e n t r i c a n c o n c r e t e t h i n k i n g l e v e l sf o t h a t a g g r o u p . H o w e v e r , t h e i r c h a n g e i n o a l o n g t h p a t h w a y f o u n d . I n s t e a d , f u l l 7 o t h e s e s t u d e n t s a r f u n c t i o n i n g a t h i s l e v e l i h i g h s c h o o l [ 3 3 ] .

O t h o t h e r h a n d , a f t e r t h f o u r t h g r a d e s l u m p , t h o s e w h a r i t h t o 2 d r o p f r o m b e i n g 2 o t h i sg r o u p t b e i n g o i t T h 3 0 w h w e r e i n t h i s t o 2 b v i r t u e o b e i n g h i g h i b o t h n a r r o w a n d b r o a dp e r s p e c t i v e s d e c l i n e d t 2 % T h i s a b i l i t y t o b a l a n c e t h e s e t w p e r s p e c t i v e s i n o b e i n g t a u g h t i s c h o o l s .

O u e x p e r i e n c e r e g a r d i n g d e l i b e r a t e t e a c h i n g f o i n s i g h t s [ 3 1 3 h a l o n g h i s t o r y i t h l i t e r a t u r e . I i i l l u s t r a t e d b m a n y e x a m p l e s , i n c l u d i n g s o m e c u r r e n t o n e s [ 1 2 , 3 3 , 3 4 , 3 5 , 3 6 ] , I g o e s b a c k t J o h n D e w e y [ 3 7 ] a n r e f l e c t s t h c l i n i c a l w o r k o P i a g e t [ 7 ] . T h e s s e n t i a l i d e a i t h a t s t u d e n t s c o n s t r u c t t h e i r o w k n o w l e d g e f r o m t h e i re x p e r i e n c e s a n i d e p e n d s w h e t h e r t h e s e e x p e r i e n c e s a r m i n d - o p e n i n g o f m i n d - c l o s i n g w h e t h e r t h e i r C i n c r e a s e s , d e c l i n e s o b e c o m e s s t u c k i s o m e d o c t r i n a i r e p e r s p e c t i v e a t h e y l e a r n t o r e j e c t c o n t r a d i c t o r y o p t i o n s t t h e i r c u r r e n t p e r s p e c t i v e .

T h I n t e r n e t h a r e m o v e d t h e p h y s i c a l b a r r i e r s t i n t e r p e r s o n a l c o m m u n i c a t i o n o a g l o b a l b a s i s . I i n o b e c o m i n g n e c e s s a r y t r e m o v e t h p s y c h o l o g i c a l b a r r i e r s t i n t e r p e r s o n a l c o m m u n i c a t i o n o t h s a m e s c a l e . I i e v i d e n t , f r o m t h i s r e s e a r c h , f o c u s i n g u p o n c u l t u r a l l y e x p e c t e d a n s w e r s , a i m p l i e d b c o n s i d e r i n g o n l y t y p ea n s w e r f r e q u e n c i e s f o e d u c a t i o n a l e f f e c t i v e n e s s n a r r o w s t h C p r o c e s s , i n c r e a s i n g t h e s e p s y c h o l o g i c a l b a r r i e r s .F r o m t h b e h a v i o r a l s c i e n c e p e r s p e c t i v e , r e i n f o r c i n g e x p e c t a t i o n a t h e x p e n s e o f o p e n e x p l o r a t i o n s h o u l d h a v e t h i se f f e c t .

O u n e g l e c t t e x a m i n e t h i n f o r m a t i o n i m p l i c a t i o n s o t h n o n - A a n s w e r s , b e c a u s e t h e m i s c l a s s i f i c a t i o no c c u r r i n g i c o u n t e r i n t u i t i v e , i l e a d i n g u n i n t e n t i o n a l l y , t e x t e n s i v e c l o s e d - m i n d e d n e s s , p r o d u c i n g h u m a n c o s tt h a t i t o o h i g h t m a k e t h c o n t i n u a t i o n o c u r r e n t e d u c a t i o n a s s e s s m e n t p r a c t i c e s t h i g h t b t o l e r a b l e .

A c k n o w l e d g e m e n t sT h s t a t i s t i c a l p r o c e d u r e s u s e d i t h i s p a p e r a r d e r i v e d f r o m F r e u n d [ 3 8 ] a n a r i m p l e m e n t e d i E x c e l a

s t u d e n t l a b o r a t o r y c a l c u l a t i n g s e r v i c e [ 3 9 ] . T h c a l c u l a t i o n o w i l l a p p e a r l a t e r .


10/12

R e f e r e n c e s[ I P u b l i c L a 1 0 7 - 1 1 0 - J a n 8 , 2 0 0 2[ 2 C F D A N u m b e r s ( G r a n t C a t e g o r i e s ) : 8 4 . 3 9 5 B ( C o m p r e h e n s i v e A s s e s s m e n t s S y s t e m s ) a n d 8 4 . 3 9 5 C .[ 3 P o w e l l , J C . ( 2 0 1 0 ) . M a k i n g P e a s a n t s i n t o K i n g s . B l o o m i n g t o n , I N A u t h o r H o u s e . I S B N : 9 7 8 - 1 - 4 4 9 0 - 0 6 3 4 - 1 .[ 4 P o w e l l , J C . ( 1 9 7 0 ) . S t u d y o f A c h i e v e m e n t I n f o r m a t i o n f r o m W r o n g a n s w e r s g i v e n t M u l t i p l e C h o i c e T e s t s .

U n p u b l i s h e d D o c t o r a l D i s s e r t a t i o n , E d m o n t o n A l b e r t , C a n a d a : D e p t . o E d P s y c h . , U n i v e r s i t y o A l b e r t a .[ 5 P o w e l l , J C ( 1 9 6 8 ) . T h i n t e r p r e t a t i o n o w r o n g a n s w e r s f r o m a m u l t i p l e - c h o i c e t e s t . E d u c a t i o n a l a n

P s y c h o l o g i c a l M e a s u r e m e n t , 2 8 4 0 3 - 4 1 2 .[ 6 P o w e l l , J C . ( 1 9 7 7 ) . T h d e v e l o p m e n t a l s e q u e n c e o c o g n i t i o n a r e v e a l e d b w r o n g a n s w e r s . A l b e r t a J o u r n a l

o f E d u c a t i o n a l R e s e a r c h X X I I I , ( 1 4 - 5 1 . E R I C E J 1 5 9 3 3 5 .[ 7 P i a g e t , J ( 1 9 8 5 ) . T h E q u i l i b r a t i o n o C o g n i t i v e S t r u c t u r e s : T h C e n t r a l P r o b l e m o f I n t e l l e c t u a l D e v e l o p m e n t .

C h i c a g o : U n i v e r s i t y o C h i c a g o P r e s s . ( N e w t r a n s l a t i o n o T h D e v e l o p m e n t o f T h o u g h t )[ 8 L u c e , R D T u k e y , J W ( 1 9 6 4 ) . S i m u l t a n e o u s c o n j o i n t m e a s u r e m e n t : n e t y p e o f u n d a m e n t a l

m e a s u r e m e n t . J o u r n a l o f M a t h e m a t i c a l P s y c h o l o g y , / ( I ) , 1 - 2 7 .[ 9 P o w e l l , J C M i k i , H ( 1 9 8 5 ) . A n s w e r a n o m a l i e s , h o s e r i o u s ? N a s h v i l l e , T N P s y c h o m e t r i c S o c i e t y : P a p e r .[ 1 0 ] P o w e l l , J C S h k l o v N ( 1 9 9 2 ) . O b t a i n i n g i n f o r m a t i o n a b o u t l e a r n e r s ' t h i n k i n g s t r a t e g i e s f r o m w r o n g

a n s w e r s o m u l t i p l e - c h o i c e t e s t s . E d u c a t i o n a l a n P s y c h o l o g i c a l M e a s u r e m e n t , 5 2 8 4 7 - 8 6 5 .[ I I ] P o w e l l , J C B e r n a u e r , J a n A g n i h o r t i , V ( I n P r e s s ) . C h a p t e r 1 8 L e a r n i n g f r o m I n c o r r e c t A n s w e r s o

M u l t i p l e - c h o i c e T e s t s : I m p l i c a t i o n s f o N e T e a c h i n g P a r a d i g m , i n I s a i a s , P e a l T o w a r d s L e a r n i n g a n I n s t r u c t i o n i W e 3 . A d v a n c e s i C o g n i t i o n a n E d u c a t i o n a l P s y c h o l o g y . N e Y o r k : S p r i n g e r .

[ 1 2 ] P o w e l l , J C . ( 2 0 1 0 ) . C h a p . 3 T e s t i n g a f e e d b a c k t i n f o r m t e a c h i n g . I n J M S p e c t o r , e a l ( 2 0 1 0 ) L e a r n i n ga n I n s t r u c t i o n i t h D i g i t a l A g e : M a k i n g D i f f e r e n c e t h r o u g h C o g n i t i v e A p p r o a c h e s . N e Y o r k : S p r i n g e r .

[ 1 3 ] P o w e l l , J C . ( 2 0 1 0 ) . D p r o f o u n d l y i n f o r m e d s t u d e n t s c h o o s e w r o n g a n s w e r s , l o w e r i n g t h e i r s c o r e s ? R e s e a r c hr e p o r t p r e s e n t e d t t h P s y c h o m e r t i c S o c i e t y , A t h e n s , G A I S B N : 9 7 8 - 1 - 4 4 1 9 - 1 5 5 1 - 4

[ 1 4 ] P o w e l l , J C B e r n a u e r , J a n A g n i h o r t i , V ( I P r e s s ) . C h a p t e r 1 8 L e a r n i n g f r o m I n c o r r e c t A n s w e r s o M u l t i p l e - c h o i c e T e s t s : I m p l i c a t i o n s f o N e T e a c h i n g P a r a d i g m . I n I s a i a s , P , e t a l T o w a r d s L e a r n i n g a n I n s t r u c t i o n i W e 3 . A d v a n c e s i C o g n i t i o n a n E d u c a t i o n a l P s y c h o l o g y . N e Y o r k : S p r i n g e r . I S B N : 9 7 8 -9 7 2 - 8 9 3 9 - 2 7 - 4

[ 1 5 ] B o n d , T G F o x , C . M ( 2 0 0 7 ) . ( 2 n d E d . ) . A p p l y i n g t h R a s c h M o d e l : F u n d a m e n t a l M e a s u r e m e n t i t h H u m a n S c i e n c e s . M a h w a h , N J L a w r e n c e E r l b a u m . ( P a g e 2 2 ) .

[ 1 6 ] R e c k a s e , M D ( 2 0 0 9 ) . M u l t i d i m e n s i o n a l I t e m R e s p o n s e ( S t a t i s t i c s f o b e h a v i o r a l a n S o c i a l S c i e n c e s ) . N e Y o r k : S p r i n g e r . I S B N : 9 7 8 - 0 3 8 8 9 9 7 5 6 .

1 7 L o r d , F M N o v i c k , M R ( 1 9 6 8 ) . S t a t i s t i c a l t h e o r i e s o f m e n t a l t e s t s c o r e s . R e a d i n g M A A d d i s o n - W e l s l e y .[ 1 8 ] N a t i o n a l C e n t e r f o E d u c a t i o n a l S t a t i s t i c s , " N A E P Q u e s t i o n s T o o l , " " E x p l o r e N A E P Q u e s t i o n s , "

h t t p : / / n c e s . e d . g o v / n a t i o n s r e p o r t c a r d / i t m r l s x / d e f a u l t . a s p x , a c c e s s e d J u l y 2 7 , 2 0 1 1[ 1 9 ] G l a s e r , B a r n e y G a n S t r a u s s , A n s e l m L ( 1 9 6 7 ) . T h D i s c o v e r y o G r o u n d e d T h e o r y : S t r a t e g i e s f o

q u a l i t a t i v e r e s e a r c h . C h i c a g o , I L A l d i n e .[ 2 0 ] G o r h a m , D R . ( 1 9 5 7 ) . P r o v e r b s T e s t . M i s s o u l a , M T P s y c h o l o g i c a l T e s t S p e c i a l i s t s .[ 2 1 ] A d a p t e d f r o m : P o w e l l , J C . ( 2 0 1 0 ) . C h a p t e r 3 F i g u r e 3 . 1 0 P a g e 4 4 [ 2 2 ] A n g l i m , J ( 2 0 0 9 ) B l o g : D i f f e r e n c e s c o r e s . ( 9 / 2 9 / 0 9 ) R e t r i e v e d 7 / 3 0 / 1 1[ 2 3 ] P o w e l l , J C ( 2 0 1 1 ) . O b s e r v i n g C o g n i t i o n f r o m U n a c c e p t a b l e A n s w e r s . S u b m i t t e d t C E L D A , 2 0 1 1 . T h i s

T a b l e i u s e d d i f f e r e n t l y f r o m i t u s e h e r e i n t h i s o t h e r p a p e r .[ 2 4 ] I r a n - N e j a d , A & P a r i z i , M ( 2 0 0 8 ) . M e e t i n g t h c h a l l e n g e s o t h d i g i t a l a g b y g r o u n d i n g s y m b o l s i

u n d e r s t a n d i n g . C o g n i t i o n a n E x p l o r a t o r y L e a r n i n g i D i g i t a l A g ( C E L D A ) , P r o c e e d i n g s I A D / S , I n t . C o n f ,F r e i b u r g , G e r m a n y .

[ 2 5 ] G a r d n e r , H o w a r d . ( 1 9 9 3 ) . ( 1 0 t h A n n i v e r s a r y E d . ) F r a m e s o f m i n d : t h t h e o r y o m u l t i p l e i n t e l l i g e n c e s . [ W i t hn e i n t r o d u c t i o n b t h e a u t h o r ] . N e Y o r k , N Y B a s i c B o o k s .

[ 2 6 ] D B o n o , E ( 2 0 0 5 ) T h s i v a l u e m e d a l s . L o n d o n : V e r m i l i o n .[ 2 7 ] R e c k a s e , M D ( 2 0 0 9 ) . M u l t i d i m e n s i o n a l I t e m R e s p o n s e T h e o r y S t a t i s t i c s f o B e h a v i o r a l a n S o c i a l

S c i e n c e s ) . N e Y o r k : S p r i n g e r . I S B N : 9 7 8 - 0 3 8 - 7 8 9 9 5 7 - 6 .[ 2 8 ] P o w e l l , J C C o t t r e l l , D J a n L e v e r , M a r g a r e t ( 1 9 7 7 ) S c h o o l s W o u l d L i k e t S e e : A o p i n i o n s u r v e y w i t h

i n t e r e s t i n g p o s s i b i l i t i e s . A l b e r t a J o u r n a l o f E d u c a t i o n a l R e s e a r c h . X X I I I ( 3 2 2 2 4 1 .

1


11/12

[ 2 9 ] K o l e n , M i c h a e l a n d B r e n n a n , R o b e r t L ( 2 0 0 4 ) . ( 2 n d E d . ) T e s t E q u a t i n g , S c a l i n g a n L i n k i n g M e t h o d s a n P r a c t i c e s . N e Y o r k : S p r i n g e r S c i e n c e + B u s i n e s s M e d i a . I S B N : 0 - 3 8 7 - 4 0 0 8 6 - 9 .

[ 3 0 ] M a r z a n o , R J K e n d a l l , J S ( 1 9 9 6 ) . c o m p r e h e n s i v e g u i d e t d e s i g n i n g s t a n d a r d s - b a s e d d i s t r i c t s , s c h o o l s ,a n c l a s s r o o m s . A l e x a n d r i a , V A A s s o c i a t i o n f o S u p e r v i s i o n a n d C u r r i c u l u m D e v e l o p m e n t .

[ 3 1 ] S t e r n b e r g , R J ( 2 0 0 3 ) . W i s d o m , I n t e l l i g e n c e , a n C r e a t i v i t y S y n t h e s i z e d . N e Y o r k : C a m b r i d g e U n i v . P r e s s .[ 3 2 ] O t h e r a p p l i c a t i o n s u s e t y p e n o n - A a n s w e r s f o d i a g n o s t i c t e s t i n g , e g C o n c e p t i n v e n t o r i e s ( H a l l o u n , I

H e s t e n e s , D L ( 1 9 8 5 ) . C o m m o n s e n s e a b o u t m o t i o n . A m e r i c a n J o u r n a l o f P h y s i c s , 5 3 ( 1 1 ) 1 0 5 6 1 0 6 5 ) i b u o n e o f s e v e r a l e x a m p l e s .

[ 3 3 ] P o w e l l , J . C . ( 2 0 1 0 ) . C h a p t e r 3 P a g e s 3 8 - 4 0 .[ 3 4 ] K o h l , H e r b e r t R ( 1 9 6 7 ) . 3 c h i l d r e n . N e Y o r k : N e A m e r i c a n L i b r a r y .[ 3 5 ] C o d e l l , E s m e R a j i . ( 2 0 0 9 ) . E d u c a t i n g E s m e : d i a r y o f t e a c h e r ' s f i r s t y e a r . ( E x p a n d e d E d i t i o n ) C h a p e l H i l l ,

N C A l g o n q u i n B o o k s o C h a p e l H i l l . I S B N : 9 7 8 1 5 6 5 1 2 9 3 5 1[ 3 6 ] W i e m a n , C a r l . ( 2 0 1 1 ) . A c t i v e t e a c h i n g i m p r o v e s t e s t s c o r e s a n a t t e n d a n c e c o m p a r e d t t r a d i t i o n a l l e c t u r e

m e t h o d . S c i e n c e . M a 1 4 [ 3 7 ] D e w e y , J o h n . ( 1 9 1 6 ) . D e m o c r a c y ! a n E d u c a t i o n : A I n t r o d u c t i o n t t h P h i l o s o p h y o E d u c a t i o n . N e Y o r k ,

M a c m i l l a n .[ 3 8 ] F r e u n d , J o h n E ( 1 9 8 8 ) . ( 7 l h E d . ) M o d e r n E l e m e n t a r y S t a t i s t i c s . E n g l e w o o d C l i f f s , N J P r e n t i c e H a l l .[ 3 9 ] C o n t a c t J a P o w e l l f o m o r e i n f o r m a t i o n . S e e : F o o t n o t e o f i r s t p a g e .


12/12

Powell, Powell (2010) Challenging the Equivalency Assumption

Documents

Transcript of Powell, Powell (2010) Challenging the Equivalency Assumption