powell (2011) observing cognition from unacceptable answers

8/2/2019 Powell (2011) Observing Cognition From Unacceptable Answers

1/8

2 0

O B S E R V I N G C O G N I T I O N

F R O MU N A C C E P T A B L EA N S W E R S

J a yC . P o w e l l* ** *B e l t e rS c h o o l i n g S y s t e m s

* * 1 0 7S h a w n e eR o a d ,

P i t t s b u r g h ,P A 1 5 2 4 1

U n i t e dS t a t e so f A m e r i c a .

A B S T R A C T

T h i s s t u d y c o n t i n u e so u rr e s e a r c hi n t ot h ee d u c a t i o n a l u s e f u l n e s so f t h eu n a c c e p t a b l e( t y p e- , A )( " w r o n g " ) a n s w e r sg i v e n

b y s t u d e n t si n t e s t i n g s i t u a t i o n s .I t w i l lp r e s e n ts p e c i f i c a l l ya n o v e r v i e w o ft h e s ea n s w e r sa s t h e i rs e l e c t i o no r d e r st h e m

c h r o n o l o g i c a l l y .B y u s i n gt h e s eo r d e r e ds e q u e n c e s ,i n c r e a s i n g p r e c i s i o np l a c e m e n t p e r f o r m a n c eb e y o n d w h a ti s a v a i l a b l e

f r o mt h ea c c e p t a b l e( t y p eA ) ( " r i g h t " )a n s w e r si s p r o v i d e d .

K E Y W O R D S

A s s e s s m e n t ,U n a c c e p t a b l ea n s w e r s ,I n f o r m i n gt e a c h i n g ,P r o f i l e s ,E q u i v a l e n c e .

1 . I N T R O D U C T I O N

S e v e r a ls t u d i e s( P o w e l l ,1 9 6 8 ,1 9 7 7 ,2 0 1 0 ,P o w e l le t a l . 2 0 1 0 ) h a v es h o w nt h ev a l u eo f u n a c c e p t a b l e( - r A )

a n s w e r st o i n f o r mt e a c h i n g .T h i ss t u d yp r e s e n te x a m p l eo f s e q u e n c e so f s e l e c t i o n p r o c e s sr e l a t e da n s w e r s

f o r m i n g d e v e l o p m e n t a ls e q u e n c e s .I t w i l la l s ol o o ka t t h eE q u i v a l e n c e H y p o t h e s i sa s a b a s i sf o ru s i n g o n l y

a c c e p t a b l ea n s w e r sf o ra s s e s s i n g s t u d e n tP e r f o r m a n c e .

W eu s et h et e r m " u n a c c e p t a b l e "i n t h ep l a c eo f t h et e r m" w r o n g "b e c a u s em u l t i p l e - c h o i c e( M / C )t e s t sa r e

s c o r e de l e c t r o n i c a l l yw i t h a na r b i t r a r ya n s w e rk e y .H e n c e ,t h es c o r i n gp r o g r a ma c c e p t s ap a r t i c u l a ra n s w e ri n

e a c hi t e ma n dr e j e c t st h er e m i n d e r .T h ep o s s i b i l i t yt h a tt h e s ea n s w e r sm a yp r o v i d e p e r f o r m a n c ei n f o r m a t i o n

i s n o t c o n s i d e r e d .A n a l t e r n a t i v es c o r i n ga p p r o a c h ,b e i n gd e v e l o p e db y B e t t e rS c h o o l i n g S y s t e m s ,c o n s i d e r s

a l l a n s w e r s .I t c l a s s i f i e st h e mb y t h e d e v e l o p m e n t a ls t a g e st h e y r e p r e s e n ta n dt h e t h o u g h tp r o c e s s e st h a t

g e n e r a t e d t h e m .

T h ev a l u eo f t h i sa p p r o a c hc o m e sf r o mt h ed i a g n o s t i ci n f o r m a t i o ni t p r o v i d e s .

A n s w e rs e l e c t i o n s a r eo f t h e s e s e v e r a l t y p e s .T h em o s tc o m m o na g e sf o rt h e s es e l e c t i o n sc a n b eb u i l t i n t o

p e r f o r m a n c ep r o f i l e s .W h e nt e a c h e r s o rs c h o o la d m i n i s t r a t o r sw i s ht o e s t a b l i s h t h ep e r f o r m a n c el e v e l so f

s t u d e n t si n t e r m s o fc o g n i t i v eg a i n s ,t h i sa p p r o a c hp r o v i d e sg r e a t e rp r e c i s i o nt h a nc o n s i d e r i n go n l yt h e ( A )

a n s w e rf r e q u e n c i e so r t h e i rs c a l e p o s i t i o n sa s d e t e r m i n e db y t h e i rd i f f i c u l t i e s .

W ep r e s e n ts e v e r a le x e m p l a r ya n s w e rt y p e s ,w i t h a na n a l y s i so f t h e i n t e r p r e t i v em e a n i n gi l l u s t r a t i v eo f

t h i s" e r r o rr e d u c t i o n / e l i m i n a t i o n "a p p r o a c ht o a s s e s s m e n t .T h i s p a p e ri s n o t i n t e n d e dt o b e a n e x h a u s t i v e

r e c o u n t i n go f t h et e s t su p o n w h i c ht h i sa p p r o a c hh a sb e e na p p l i e d .

A p p l i c a t i o no f t h i sa l t e r n a t i v ep r o c e d u r ei s l a b o r i n t e n s i v ed u r i n gs e t u p .S e l e c t i o n - p a t t e r ns c o r i n gb y

a n s w e rt y p ei s r e q u i r e dt o i d e n t i f y t h e l e v e l so f c o g n i t i o no f e v e r y a n s w e r .O n c et h e a n s w e r - s t r u c t u r ep a t t e r n s

h a v e b e e ne s t a b l i s h e d ,h i g hs p e e dc o m p u t e r sc a ne a s i l yp r o v i d eq u i c k t u r n a r o u n d t i m ef o rt h e d e l i v e r yo f t h e

f o r t h c o m i n gd i a g n o s t i c i n f o r m a t i o n .

1 . 1 C H A L L E N G I N GC U R R E N TS C O R I N GP R A C T I C E S

I t i s n o wc l e a rt h a ts t u d e n t ss e l e c ta n s w e r sf o r m u l t i p l e - c h o i c et e s t sb a s e du p o nt h e i ri n t e r p r e t a t i o n so f t h e

q u e s t i o n s ( P o w e l l , 1 9 7 7 ,a , b a n dS h k l o v , 1 9 9 2 , P o w e l l ,2 0 1 0 ,P o w e l l ,e t a l . ,2 0 1 0 ) .T h i sp a p e rc o n s i d e r sa


2/8

s e c o n dp r o p e r t yo f t h e s es e l e c t i o n s ,t h e d e v e l o p m e n t a lo r d e ro f ( h e s e l e c t i o no f s u c h a n s w e r sa r e s t u d e n t

c o g n i t i o nm a t u r e s .

I n m a n yc a s e s ,s t u d e n te r r o r s a r el i k eo n i o n s , o c c u r r i n gi n l a y e r s t h a tc h a n g ew i t ha d v a n c i n gc o g n i t i v e

c o m p l e x i t y .

S e l e c t i o n s a r es y m p t o m a t i co f t h e n a t u r eo f t h e c o g n i t i v el e v e l st h r o u g hw h i c hs t u d e n t s ' p r o g r e s s .A s

P i a g e t ' s( 1 9 6 5 )c l i n i c a lo b s e r v a t i o n sp o i n t so u t ,c h i l d r e np r o g r e s st h r o u g ha s y s t e m a t i cs e r i e so f s t a g e so f

i n c r e a s i n gc o g n i t i v ec o m p l e x i t ya s t h e y m a t u r e .T h e s es t a g e s a r er e f l e c t e di n s i m i l a rs y s t e m a t i cc h a n g e si n

t h ec o g n i t i v ec o m p l e x i t y o ft y p e i Aa n s w e r st h e ys e l e c t i nm u l t i p l e - c h o i c e q u e s t i o n s

2 . E S T A B L I S H I N G P R O F I L E SF R O MA L LA N S W E R S

2 . 1 . 1T h eE q u i v a l e n c eP r o b l e m

W h e nt e s t sa r e e l e c t r o n i c a l l y s c o r e d ,a s i n g l ea n s w e ri s a c c e p t e da n dt h e f r e q u e n c i e so f t y p eA a n s w e r sa r e

a c c u m u l a t e d . T h i s p r o c e d u r ei s u s e du p o nt h e p r e s u m p t i o nt h a tt h i s s c o r e a c c u r a t e l yr e f l e c t ss t u d e n t s '

c o g n i t i v es t a t u sa c c u r a t e l y .

T h ep r o b l e mw i t ht h i sa s s u m p t i o ni s t h a to u t s i d eo f o u rw o r k ,i t h a s n e v e r b e e nc o n f i r m e d .T a b l e1 g i v e s

t h er e s u l t so f t h ec h a n g e si n s c o r e sf o r5 2 s t u d e n t sr a n g i n ga g e sf r o m8 y e a r so f a g et o n e a r l y2 0 ,w h ow e r eg i v e nt h es a m et e s tt w i c e( O c t o b e ra n dM a r c h ) .T h i st a b l eh a st h ec o m p a r i s o n b e t w e e nt h ec o g n i t i v ec h a n g e s

o v e rt h i st i m e - f r a m e( i nt h er o w s )a n dt h et o t a ls c o r e s( i nt h ec o l u m n s ) .

T a b l e1 . F r e q u e n c y o f c h a n g e s b yc a t e g o r y

C o g n i t i v eP e r f o r m a n c e

C h a n g e

U p tN o n e

D o w n- I

T o t a l s

C h a n g eo f T y p eA

T o t a lS c o r e

D o w n- I

4

3

1

8

N o n e

2

3

3

8

U p t

1 6

1 3

7

3 6

T o t a l s

2 2

1 9

1 1

5 2

T h es h a d e dd i a g o n a lc e l l si n d i c a t ee q u i v a l e n c eb e t w e e ns c o r ec h a n g e a n dc o g n i t i v e c h a n g e .I f e q u i v a l e n c e

w e r et i g h t ,t h i sd i a g o n a lw o u l dh a v em o s to f t h e s t u d e n t si n i t . N o t i c et h a tt h e r e a r e2 0 s t u d e n t sw h o s et o t a l

s c o r e s i n c r e a s e db u tw h o s ec o g n i t i v ep e r f o r m a n c ed i dn o t .B e y o n dt h i sv i s u a ld e m o n s t r a t i o no f t h e f a l s e n e s s

o f t h i sa s s u m p t i o n ,t h ed e g r e e o f n o n c o n f o r m i t yi s d i s c u s s e di n a n o t h e rp a p e r( P o w e l l ,2 0 1 1 ) .

P r o f i l e sf o rt h e s e n i n ec a t e g o r i e sw i t ha n i n t e r p r e t i v ed i s c u s s i o nw i l lb e t h e s u b j e c to f o u r n e x ts e c t i o n

a n dt h em a i nt o p i co f t h i sp a p e r .

2 . 1 . 2I n t e r p r e t i n gS t u d e n tC h a n g eP r o f i l e s

I n t h e e a r l y1 9 7 0 s ,a r e a d i n gc o m p r e h e n s i o n( G o r h a m ,1 9 5 7 )t e s tw a sg i v e nt o 5 5 0s t u d e n t s ,( g r a d e s2 -

8 ) a n dt y p e- . Aa n s w e r sw e r eo r g a n i z e di n t o1 3 c l u s t e r st h a tw e r ei d e n t i f i a b l eb y t h em o d e so f t h es e l e c t i o n

a g e s .T w e l v eo f t h e s ew h e r et h e ns c o r e da s s u b s c a l e s ,c o m b i n e dw i t ht h et w o( A )a n s w e rs u b s c a l e s( C o n c r e t e

a n dA b s t r a c t )a n do r d e r e db y c l u s t e r i n ga g a i n .T h er e s u l t i n go r d e rp e r f e c t l y r e c a p i t u l a t e d t h ea g e s e q u e n c eb y

a g em o d e so f s e l e c t i o n ,T h eC o n c r e t e( t y p eA ) a n s w e r sw e r ee m b e d d e dw i t hf o u rt y p e i As u b s e t s .T h e r e

w e r et w os u b s e t sf o rt h e9 y e a r - o l d s ,a n da s i n g l es u b s e tt h e r e a f t e r f o re a c ha g el e v e l .T h eA b s t r a c t( t y p eA )

a n s w e r s t o p p e dt h eo r d e r .N i n eo f t h e1 0 0t y p e- i A a n s w e r st h a td i dn o tf o r mc l u s t e r s .

T h u s ,w e h a d1 4 s u b s e t s( l a t e r1 5 )t h a ta c c o u n t e df o r 1 5 1o f t h e 1 6 0 a n s w e r so n t h i s4 0 - i t e m , 4 - o p t i o n

t e s t .I n t e r v i e w sw i t h ar e p r e s e n t a t i v es a m p l e( 9 0i n a l l )f o r t h e i rr e a s o n i n gf o r s e l e c t i n gt y p e- > A a n s w e r s

c l a s s i f i e dt h e s es u b s e t s( P o w e l l ,1 9 7 7 ) .A P i a g e t - l i k es e q u e n c ee m e r g e d ,s u g g e s t i n gt h e s e l e c t i o n st o b e

d e v e l o p m e n t a l l ya p p r o p r i a t e .


3/8


4/8

T r a n s p o s i t i o n T r

O v e rG e n e r a l i z a t i o nO G

S i m p l i f i c a t i o nS i m

D i v e r s i t y D i v

A b s t r a c ta n s w e r s A B S

N a r r o wP e r s p e c t i v eN A R

B r o a dP e r s p e c t i v eB R D 1 8

1 3 S t u d e n ti n v e r t sa r e l a t i o n s h i pi n t h e q u e s t i o n .

1 4 S t u d e n ta d d sa n i r r e l e v a n tc o m p o n e n tt o s e l e c tt h ea n s w e r .

1 5 S t u d e n ti g n o r e sa s u b t l e d i s t i n c t i o nw h e ns e l e c t i n ga n s w e r s .

1 7 S t u d e n tc h o s eo n eo f t h en i n et y p e- . Aa n s w e r st h a td i dn o tc l u s t e r .

1 6 S t u d e n ts e l e c t st h ec u l t u r a l l ya c c e p t e dm e a n i n g( t y p eA a n s w e r ) .

1 5 S t u d e n ts e l e c t sa t y p eA a n s w e rs h o w nt o h a v ea n o p t i o nl i m i t i n ga s p e c t .

S t u d e n ts e l e c t sa t y p eA a n s w e rs h o w nt o h a v ea n o p t i o ne x p a n d i n g

a s p e c t ,

T h el a s tt w oc a t e g o r i e sn e e ds o m ea d d i t i o n a l e x p l a n a t i o n .I n a d d i t i o nt o t h eP r o v e r b sT e s t ,t h e s e s t u d e n t sw e r eg i v e n

a s e c o n di n s t r u m e n tf r o mt h e f i f t hg r a d e o n w a r d . T h i sw a sS c h o o l sI w o u l dL i k et o S e e( P o w e l l ,e t a l . , 1 9 7 7 ) .I t h a s

p r o v e nt o b e a d e e pp e r s o n a l i t yt e s t t h a tm i g h ts e r v ei n t h ep l a c eo f i n t e r v i e w s .I t s S c a l e5 r e s e m b l e sM a s l o w ' s( 9 6 8 )

h i e r a r c h yo f n e e d s .T h e r ea r ef o u rl e v e l s :

1 . S e l f - p r o t e c t i o n ,

2 . S e l f - i n d u l g e n c e ,

3 . S e l f - d e v e l o p m e n ta n d

4 . O u t r e a c h .

T h ef o r m e rt w o w e r e c o m b i n i n gi n t oa n a r r o wp e r s p e c t i v ei n t h i n k i n ga n dt h el a t t e rt w oi n t oa b r o a dp e r s p e c t i v e .B y

c r o s s t a b u l a t i n gt h i si n s t r u m e n tw i t hP r o v e r b sa n ds c o r i n g t y p eA a n s w e r so n S c a l e5 , t h e r ee m e r g e d t w os u b s e t so f t h e s e

a n s w e r s ,N A R( 2 4t y p e A a n s w e r s )a n dB R D( 1 6 t y p eA a n s w e r s ) .T h ef o r m e ra p p e a r st o b e r e l a t e dc l o s i n g t h em i n d ,t h e l a t t e rt o o p e n i n gi t . A b a l a n c i n g o ft h e s et w oa p p e a r st o b e r e l a t e dt o a s h i f tf r o mt w o - v a l u e( Y e s / N o )l o g i ct o a

M u l t i d i m e n s i o n a l( M L D )p e r s p e c t i v e ,w h i c hg o e sb e y o n dP i a g e t ' sF o r m a lO p e r a t i o n s ) .

T h i sf i n d i n ge x p l a i n ss w i t c h i n ga w a yf r o ma t y p eA a n s w e ri n s o m eq u e s t i o n st o a p a r t i c u l a rt y p e- i At y p e a n s w e r ,a s

r e p o r t e de l s e w h e r e( B o n da n dF o x ,p . 2 2 ,a n dP o w e l l ,2 0 1 0 , p3 5 ) .T h i sb e h a v i o rl o w e r ss c o r e sa s c o g n i t i v e m a t u r i t y

i n c r e a s e sb e c a u s et h e p r o f o u n d l y i n f o r m e dr e a dm o r ei n t oM / Cq u e s t i o n s t h a nt h e i t e m d e s i g n e r si n t e n d e d .T h i s

r e a l i z a t i o ni s p a r to f t h er e a s o nw h yt h ee q u i v a l e n c ea s s u m p t i o ni s i n v a l i d .A n o t h e rp a r to f i t a r i s e sb e c a u s ee x c e s s i v e

f o c u su p o nt y p eA a n s w e r sa p p e a r st o i n c r e a s et h eN A Rs u b s e ts e l e c t i o n so f t y p eA s o t h a ti m p r o v i n gs c o r e si n d i c a t e

s t a t i co r d e c l i n i n g c o g n i t i v em a t u r i t y ,a s t h er i g h t - h a n dc o l u m no f T a b l eI d e m o n s t r a t e s .T h e r ef o l l o wt h r e ee x a m p l e

p r o f i l e s .

2 . 2 . S a m p l eP r o f i l e so f S t u d e n tC o g n i t i v eD e v e l o p m e n t

2 . 2 . 1T h e" I d e a lS t u d e n t "

F i g u r e1 : T y p eA S c o r eI n c r e a s e s/ C o g n i t i v eI n c r e a s e s

S t u d e n tN o .2 5

A g e :1 4 y ,7 m

11 =

1 =

N A RB R D

A B SM D T

O G

T r

l t r

L R

= ^

, |

'

D M D T D A B SC i f ' I ' i " M I - I A I '

I f t h ee q u i v a l e n c e h y p o t h e s i sw e r es u p p o r t e d ,a l l t h es t u d e n tp r o f i l e sw h o s et o t a ls c o r ei n c r e a s e dw o u l d

l o o ks o m e t h i n gl i k e t h i s p r o f i l e .A c t u a l l y ,t h i sp r o f i l ei s r e m a r k a b l e .T h e s eg a i n sa r ea l l a b o v et h ea g el e v e l

( d o u b l e - h e a d e d a r r o w )a n dt h e g a i n si n a l l t h r e eN a r r o wa n d B r o a d a n dM u l t i d i m e n s i o n a lP e r s p e c t i v e s

i n d i c a t et h a tt h a tt h i sp e r s o n h a ss h i f t e df r o m2 - v a l u e t h i n k i n gt o m u l t i d i m e n s i o n a lt h i n k i n ga t a n a g e o fl e s s

t h a n1 5 .T h i sp a t t e r ni l l u s t r a t e st h es i n ec u r v ec l i m b i n gt h ev e r t i c a l a x i s .O f p a r t i c u l a ri n t e r e s ta r e t h eg a i n si n

b o t ht h eN a r r o w( N A R )a n dt h eB r o a d( B R D )P e r s p e c t i v e s ,w h i c hs u g g e s t st h ee m e r g e n c eo f t h e" b a l a n c e d "

a p p r o a c ht o c o g n i t i o n ,w h e r eb o t ht h e" b i gp i c t u r e "a n dt h e" a t t e n t i o n t od e t a i l s "a r e p a r to f c o g n i t i o n .H e

b a l a n c i n gm a yb e s t a g e2 o f t h i sm e t a c o g n i t i v el e v e l .


5/8

W i t ha p r o f i l el i k e t h i so n e ,t h e t e a c h e rs h o u l dc o n s i d e ra s e l f - i n i t i a t e ds t u d yp r o g r a m , m o n i t o r e d o fc o u r s e ,a n d

d e v e l o pt h ey o u n gp e r s o na s a t u t o r f o ro t h e r s .

2 . 2 . 2 T h e" U n e x p e c t e dS t u d e n t "

F i g u r e2 . S c o r e sD e c l i n ea n dC o g n i t i o n G a i n s

H e r et h e g a i n sa r e a b o v et h e a g el e v e la n dt h e d e c l i n e sb e l o wi t , a s w e w o u l de x p e c t w i t h" n o r m a l "

d e v e l o p m e n t .H o w e v e r ,t h et o t a ls c o r e sd e c l i n e .T h er e a s o nf r o mt h i si s a s h i f ta w a yf r o mt h eq u e s t i o n s w i t h

a N a r r o wP e r s p e c t i v e .T h i so b s e r v a t i o ni n d i c a t e sa m o v e m e n tb e y o n dF o r m a lO p e r a t i o n s .A l a r g ep a r to f t h i s

c h a n g ei s t h ei n c r e a s e di n t h eM u l t i d i m e n s i o n a lP e r s p e c t i v e( M D T ) ,w h i c ha r et y p e- . Aa n s w e r s .I t i s t y p i c a l

f o rs t u d e n t sm a k i n gt h i s s h i f tt o m e t a c o g n i t i o nt o h a v et h e i rs c o r e s d e c l i n ea s t h e i r a b i l i t ya d v a n c e s .

2 . 2 . 3 T h e" I g n o r e dS t u d e n t "

F i g u r e3 : S c o r e sI n c r e a s ea n dC o g n i t i o nD e c l i n e s

A s i n F i g u r e2 , t h i s p r o f i l et e l l sa d i f f e r e n ts t o r y .H e r et h e s t u d e n t ' st y p eA s c o r e i n c r e a s e d a l o n g w i t ha d e c l i n ei nc o g n i t i o n .F r o mt h ee q u i v a l e n c e a s s u m p t i o n ,t h i ss t u d e n th a sn o l e a r n i n gp r o b l e m .T h i sc h a n g ew i l lb e m i s s e de n t i r e l y

w h e no n l y t y p eA a n s w e r sa r e c o n s i d e r e d .. T h ei n c r e a s e sw e r ei n N a r r o wP e r s p e c t i v ea r eO v e rS i m p l i f i c a t i o n s ,W o r d

A s s o c i a t i o n sa n dI s o l a t e dR e s p o n s e si t e m ss e l e c t e d .T h i sc h a n g ep a t t e r ni s t y p i c a lo f s t u d e n t sr e s p o n d i n gt o p r e s s u r et o

" b er i g h t . "T h eh i g h e s ts c o r i n gs t u d e n t sa r em o s ts u s c e p t i b l et o t h i sp r e s s u r e .T h e s ec a t e g o r i e sc o m b i n et o s u g g e s ta m i n d

t h a th a ss h u td o w n .C u r r e n ts c o r i n gp r a c t i c e sh a v et h i s e f f e c t ,a l b e i tu n i n t e n t i o n a l ,b e c a u s e a ni n c r e a s ei n t y p eA a n s w e r

s c o r ei s a s s u m e da n i n c r e a s ei n p e r f o r m a n c e .

2 . 3E X T E N D I N GT OO T H E RC O N T E N TA R E A S

I n t h eP r o v e r b sT e s t ad i s t i n c td e v e l o p m e n to r d e r o c c u r r e d .U s i n gI R T ,t h i so r d e r i n go f t y p e- . Aa n s w e r s

i s c o m m o nw i t h w e l l c o n s t r u c t e dt e s t i na l ls u b j e c ta r e a s .T h ef o l l o w i n ge x a m p l ei l l u s t r a t e s t h i s p o i n t .


6/8


7/8

T o t h s e n d ,t e s tm a k e r sn e e dt o i n c l u d et h e i n t e r p r e t a t i o n sb e h i n ds e l e c t i o n sa n dt h e p a t t e r no f s u c h

i n t e r p r e t a t i o n sf r o mR S Er e s e a r c hi n t ot h e i ri n s t r u m e n t sa n di n t h e i ra s s e s s m e n tr e p o r t s .S o m et e a c h e r sw i l l

r e q u i r e a s s i s t a n c et o u s e t h i s a d d i t i o n a li n f o r m a t i o ne f f e c t i v e l y .P r o d u c i n gt e s t su s i n gt h i sa l t e r n a t i v e

a p p r o a c hw i l lc o s tm o r et h a nc u r r e n t l ye x p e r i e n c e d .H o w e v e r ,t h eh u m a nc o s t so f n o t u n d e r t a k i n gs u c ha n

a p p r o a c ha r eu n c o n s c i o n a b l e .

F o re f f e c t i v eu s eo f t h ea d d i t i o n a li n f o r m a t i o na v a i l a b l ef r o mR S E ,t e a c h e r sn e e dt o t e a c hh o wt o t h i n k

a n dh o wt o l e a r nu s i n gt h e s u b j e c tm a t t e ro f t h e c o u r s ea s a v e h i c l e .T h i sa p p r o a c ht o t e a c h i n gi s m o r e

m o t i v a t i n gf o rs t u d e n t sa n dm o r ei n t e r e s t i n gf o rt e a c h e r st h a nt h em o r ec o m m o ni n f o r m a t i o n t r a n s m i s s i o n

a p p r o a c h .I t i s a l s ol e s sc l o s e de n d e d a n dl e s sd o c t r i n a i r e .P r o d u c i n g a ne d u c a t i o nt h a tl e a d st o s t u d e n ts e l f -

g e n e r a t e di n s i g h t si s m o r ei m p o r t a n tt h a np a r t i c u l a rd e l i v e r ym e t h o d o l o g i e s .

A C K N O W L E D G E M E N T S

T h a n k st o D r . V i s h n u t e e r t h A g n i h o t r i ,V i c eP r e s i d e n t- T e s tD e v e l o p m e n t ,E d u c a t i o n a lI n i t i a t i v e sP v t .

L t d . ,N o . 9 7 , 2 n dF l o o r ,R o b e r t s o nR o a d ,F r a z e rT o w n ,B a n g a l o r e - 5 6 0 0 0 5- I n d i af o r a c c e s st o t h e

m a t h e m a t i c si t e m .

R E F E R E N C E S

B o n d ,T . G . & F o x , C .M . ( 2 0 0 7 ) .( 2 n dE d . ) .A p p l y i n gt h eR a s c hM o d e l :F u n d a m e n t a l M e a s u r e m e n ti n t h eH u m a nS c i e n c e s .M a h w a h ,N J :L a w r e n c eE r l b a u m .

G o r h a m ,D . R . ( 1 9 5 7 ) .P r o v e r b sT e s t .M i s s o u l a ,M T :P s y c h o l o g i c a l T e s tS p e c i a l i s t s .

H a l l o u n ,I . & H e s t e n e s ,D . L . ( 1 9 8 5 ) .C o m m o ns e n s e a b o u t m o t i o n .A m e r i c a nJ o u r n a lo fP h y s i c s , 5 3 , ( \ \ )1 0 5 6- 1 0 6 5 .M a s l o w ,A . H .( 1 9 6 8 ) .( 2 n dE d . ) .T o w a r da p s y c h o l o g yo fb e i n g .N e wY o r k ,N Y : V a nN o s t r a n d .P i b u r n ,M . D . ( 1 9 8 9 ) .R e l i a b i l i t ya n d V a l i d i t yo f t h e P r e p o s i t i o n a lL o g i cT e s t .E d u c a t i o n a la n d P s y c h o l o g i c a l

M e a s u r e m e n t ,v o l .4 9 n o .3 6 6 7 - 6 7 2

P i a g e t , J e a n .( 1 9 6 5 ) .T h eO r i g i n so fI n t e l l i g e n c ei n t h e C h i l d .N e wY o r k :W .W N o r t o n .P o w e l l ,J . C . ( 1 9 6 8 ) .T h ei n t e r p r e t a t i o no f w r o n ga n s w e r sf r o ma m u l t i p l e - c h o i c et e s t .E d u c a t i o n a la n dP s y c h o l o g i c a l

M e a s u r e m e n t ,2 8 ,4 0 3 - 4 1 2 .

P o w e l l ,J . C . ( 1 9 7 7 ) .T h ed e v e l o p m e n t a l s e q u e n c e o fc o g n i t i o na s r e v e a l e db y w r o n ga n s w e r s . A l b e r t aJ o u r n a lo f

E d u c a t i o n a lR e s e a r c hX X I I I ,( 1 ) 4 3 j 5 1 .E R I CE J 1 5 9 3 3 5 .

P o w e l l ,J . C . ( 2 0 1 0 a ) .C h a p t e r3 : T e s t i n ga s f e e d b a c kt o i n f o r mt e a c h i n g .I n J . M i c h a e lS p e c t o r ,e t a l . ( 2 0 1 0 )L e a r n i n g

a n dI n s t r u c t i o ni n t h e D i g i t a lA g e :M a k i n ga D i f f e r e n c et h r o u g hC o g n i t i v eA p p r o a c h e s .N e wY o r k :S p r i n g e r .

I S B N :9 7 8 - 1 - 4 4 1 9 - 1 5 5 1 - 4

P o w e l l ,J . C . ( 2 0 1 0 b ) .D o p r o f o u n d l y i n f o r m e ds t u d e n t sc h o o s ew r o n ga n s w e r s ,l o w e r i n gt h e i rs c o r e s ?R e s e a r c hr e p o r t

p r e s e n t e dt o t h eP s y c h o m e r t i cS o c i e t y ,A t h e n s ,G A

P o w e l l ,J . C . ( 2 0 1 0 c ) .M a k i n gP e a s a n t si n t oK i n g s .B l o o m i n g t o n ,I N :A u t h o rH o u s e .I S B N :9 7 8 - 1 - 4 4 9 0 - 0 6 3 4 - 1 .

P o w e l l ,J . C . ( 2 0 1 1 ) .T h eT r a v e s t yo fN oC h i l dL e f tB e h i n d .( S u b m i t t e d ) .

P o w e l l ,J . C , C o t t r e l l ,D . J . a n dL e v e r ,M a r g a r e t( 1 9 7 7 )S c h o o l sI W o u l dL i k et o S e e :A n o p i n i o n s u r v e yw i t hi n t e r e s t i n g

p o s s i b i l i t i e s .A l b e r t aJ o u r n a lo fE d u c a t i o n a lR e s e a r c h .X X I I I( 3 )2 2 6- 2 4 1 .

P o w e l l ,J . C . & S h k l o vN . ( 1 9 9 2 ) .O b t a i n i n gi n f o r m a t i o n a b o u tl e a r n e r s 't h i n k i n gs t r a t e g i e sf r o mw r o n ga n s w e r s o nm u l t i p l e - c h o i c et e s t s .E d u c a t i o n a la n dP s y c h o l o g i c a lM e a s u r e m e n t ,5 2 ,8 4 7 - 8 6 5 .

P o w e l l ,J . C , B e r n a u e r ,J . a n dA g n i h o r t i ,V . ( I nP r e s s ) .C h a p t e r1 8 :L e a r n i n gf r o mI n c o r r e c tA n s w e r so n M u l t i p l e - c h o i c e

T e s t s :I m p l i c a t i o n sf o r aN e wT e a c h i n gP a r a d i g m ,i n I s a i a s , P , e ta l . T o w a r d sL e a r n i n ga n dI n s t r u c t i o ni n W e b3 . 0

A d v a n c e si n C o g n i t i o na n dE d u c a t i o n a lP s y c h o l o g y .N e wY o r k :S p r i n g e r .

W i e m a n ,C a r l .( 2 0 1 1 ) .A c t i v e t e a c h i n gi m p r o v e st e s ts c o r e sa n da t t e n d a n c ec o m p a r e dt o t r a d i t i o n a ll e c t u r em e t h o d .

S c i e n c e .M a y1 4 .


8/8

A P P E N D I XA : C O G N I T I V E S T R A T E G I E SF O U N D

F u n c l i o n t n j j

F n g w m t s t u f l

R w t w A k > n

f e a t n n g e i t K i i l

f i a t i n t l n a

D e l c r k i n i l k m

S l m t e g y

I s o l a t e dE t c S p M K

W o r dA s s o c i a t i o n

O v e rS i m p i i i h M i i o

D i g r e s s i o n

P a r t i a lI V n n s h d o n

L i t e r ; ) !R e d u c t i o n

S i m p l i f i c a t i o n

R e d e f i n e dT e r m

T r a o s p c s t e H i

( m t f f i o n

C o o l b i u a l i u n

E x i r a p o l a t w i

h e rt i c t w n i H / a t i t i

M w q r C M W i

C s n c t c t sK i y M

>

P e r a o n a l i a d

U c i . l l

A b s u t i c i R i y h l

C o n l i t i u c m

M e m o r i z a t i o n

C o n f l s t n

A c q u i e s c e n c eo r

R l M t m

C o d e

I K

W A

0 5

D i l i

P T

I , U

S i m

'

R T

T r

l a v

B x l

E x p

O G

C C

C O N

'

P e r

L i e

A B S

C o n

M e m

C i i f

S i )

A R

D o v o b p -

m c n l a l

S i j i j j c

E g o c e n t r i c

C o n et e t c

I ' i g u r a i h c

E b b o m i i v c

h y c i e e n t r i c

C o n c r e t e

F i g u r a t i v e

t I s b o i i i t i v c

E g o c e n t r i c

C o n er c t e

R g u n u J v f l

E f e b o r a t t v e

B g o c w i i r i :

C o n c r e t e

F i g u r a t i v e

E b t m n l i v f l

B g K t n t t f c

C o n c r e t e

F . t i b c r a t i v e

E g o c e n t r i c

C o t m c R

h ' i n u n i t i v e

E k b o n t f v e

E g O C S B t E f c

C o n c r e t e

F f j g u m t f c w

E i s b o t a t r v e

C o g n i v i t i v eS t r a t e g i c sI d e n t i f i e dU s i n g I n t c n i c w s

I m i I m i n .1 3

M w H i t t , M T : l

D e s e r t i o n

N ol i n kj j i v e i iI x ' i M f e i ig i a wi n

0 N p i f l n a i k mf t fe h o i c e .

[ . i n kb e t w e e n u u r d si n | t M Oc l i u i c c

e t n r l yu t v e nl . H Kh o i r e l e v a n t .

C r i t i c a lc o m p o n e n t so l ' U i cp r o b l e m

a r eo n u t f e di l l c h o i c e ,

C h o i c es s r ow i t h av a l i di m tb t ul b s

u n c so l T o na t a n y c i i t .

O n l yp u n o ft h ep r c i v i r r t i i st r i m s k n e i l

i m o[ . K r s o n a le x p e r k - n c c .

l i x t n c l sF t t D B ib u t n u ta Ko f t f a f li ' l e r ; ]

m s s f i f mo f t i t ec a m w t B f c a i l o f l .

E x t n e t lm o s tb t u n o ti i l l o l ' i h el l g i i r -

; i ( i v em e a n i n g ;o fI b f lc o m n u : n i c ; i l K u i .

C a i e a o r vb o ic l e n r i vc a a b l f c b e A

T J i en i e a n i n y o ft l i cp r D V f i l bb t l u n j ;

! i \ ; i l i e r i i u ;t h em e a n i n go f k e y w o r d s

C a t e g o r y n o u i e a r l ye m b l i M W ,

A m i l t w W f t & t l C h f l i ye > m a d ei n I h e

m e n n f e i gb y r e a n a n g i n gH u m .

C h o t W O lt h e o j y i o s en i c a n i f h j .

C h o i c ic j u t I b i U r n s t o i jf o r w a r du s i

i v r s o i t n lo b n c n ' a i i o t v

M e a n i n gc . M c n d c dl i t c r a t l v

C f c o O M Sa r to r f f i w e rI h a ip K BI x ' y o m

C a t e g o r ye s t a b l i s h e dt i yl e s to u l b o r .

C i U f l g o r y n o tc s l a b f e l w d

i l i ei n e i i n i n g ( l f L h co t m e r h .

( ; u c i ; o r vn o i e * i ; i b f e h e d .

R a I b K I s t e ma n d : a l i c r n a i i v et o p e t S C

e x i x r i c n e e - .

P n j v f d c sa I t e r n lt n & f t k u k n o ft h en

f o ei h ca i s w a rc h o s e n .

f ' i i t e g t i r ye s t u b l i s l u ' d i nt r s li i u l h u r

A i U Um a nu i n B t p r c l i t t i a nd m ; m e n d e db v t e s t d e v e l o | i c r .

C o m m i l sm l b n r u i t i o nt o H D S n w yw r t h o u li f l H t e r a t n t x f i n g

h i s d f l l i c u l i y c o r w i e c i n i j j : i d e a sh i m

o g b a ls t r u c i u r c s .

f e e s l a f f a Bh c a p i b f c o ft e a m i n g .

G i v e su p o r d i s p l d c c sf e e l i n go f

t v o r A k f i s n e s s o n t ot i n s e l n x i l .

( I ' J . i ? ) .P r o v e r b *T a x i

c h ' . l u u i c a l" l V * t i5 2 K b ^ H

E x a m p l e s

S t e i n

l i l c r e ' sn i i i i i v; i s l i | i i v v i . v |

( k w e c n ) i l i ce u p c i n dt h el i j i .

T h em o nc < ) s tL i t em o r el i t i i H i r .

R i c h e ss e r v ea w i s em a nb t uc o i

m ai n . 1a C o o l

D o n ' t c r yD V E f S & f it n i i k .

[ ' I kl i c i ta m ib u m s ,i l > ee wo n e

b l a c k e n s .

D n n ' i s w . i p( I r a d c )l u i r s c sw h A t i

e n i s s i t i gt h e s l r c o r n .

S p e e c hi s i h cp i c i m v o f t h cm i n d

O u i t U )c o f n e .O t i i e l v l yy ;( E a s y

c o b w .E a s yg o j

T l i cg n U Hi s i i l w . i y bf f t e m tm t l

o t l i e iI t l l m v ' sy a r d

D o n ' t c r o s sL i n :b r i d g ei - n u i ly o uy

l o i l

N oe x o m p l e ia w i i b b l e .

T o o m i i n yc e o l aq i o f lt & cb n H h .

N o : , * .. a , h N c

S i f S s gw h 9 f lt h ei r o ni s I w i t .

I t i v v o fr a i n s b i ni i p o u r s .

D o n ' tt h c o wg o o dm o n e ya l t e r I x

O u i c k KC O M , Q u i c k l y& o ; ' T a u y

e n m c ,I Z a s yg o | .

Q u i c k Cc o m e .Q u i c k l yg o ;< E >

e n n i e .K . i s \ f f j .

f h o i c c

D o n ' it a l kt o om u c hw h f te a t i n g

( i i r t x l l i m i f i si l 8 V B 1 0I t f u k ll i x 1

i n s o n ww n y .

D o n ' t l am o n e y( j ot o y o u r h e a d

I t ' sh c i l c ri t vt i u g h t h a nl o a y .

L m v qd u n g e n n ut h m y sa k n o .

D o n ' tt i yB f i i r M t l d n gu n t i ly o ua r c

1 0d o I L

W o r d sp . t i n ip i c t u r e si n y o u rm m

A l w a y st i l !l l l i l l j ; ; ,O Ht i n t

D o o ' lS l a yi n m i cp b e cl o d o s o n

T h eb r i d g ei n t i l o n g w a y * ,o f f .

V i . i u ' 1 1b a v ol o om a n yi d e a s

T h , " u ' &w h e ni t b e n d sb e s i .

A l i n k :k a s b a da i a l o t .

D o n ' tt r a s t f lm o n e y .

S o m ep e o p l ed o a s t h e yp l e n s ca

j o u s t i i c yp l e a s e .

A l w a y sc e m f c Q a n dg p l qn d

R e a w n h q

V r a i ' Db a t h e r p e o p l ei f y o u

i a f kt e wi n i i c i h .

G b e dt i l i n g sc o s tm o r e .

M o n e yc a n ' t ( s h o u l d n ' t !r u n

y o u rl i f e .

W es h o u l dl o o ko n i h c f n r r t y

s i d e .

Y o ur n i [ . " J i lg p \ b a d l yI n i r n t t d .

Y o un i e l l if a l li n ,

W h e ny o u ' r e r e a d i n g ,y o u c a n

p i c t u r ew h a tt h eA u t h o ri s s a j f c i j j -

" O i i t K l y " e l i a n y t J( o m e i u it l i c

( . - l i i k l ' sb u s yc b s s n w i nf i f e ,

Y o uh i l ) t i c v t - Tk n o ww l i a lU i eu l h e r

p l a c ei s l i k e

A s s u m t d ,n o lp r o v i d e d

W i t ht o om a n yp B o p I oy o uw o n ' tb e

; i h Vi n d e c i d ew h ; i t( o d o ,

C k a i e r t w K i E g w a t u r l c .

D o m gm o s d t & i g r a n gi s b a dd o

n i i i i i e rI m w1 %i s ( I k -e r r o r .

B c e & u t ci f y i i uw a s t en a n c y y o u

w i l le n dU p p o o f .

I t ( t l I k sa b o u tc o m i n g a n dg o i n ^ .

' N e v c r s a l b & t T c i i p r w s o s t h c i * :

i f t i n sp r o v e r bb o i l e r

1 . T h e mm a yn o lI k a n yC l f l o n i n g 0 j lb a t c y t u i c si n t h eh h n ks | K i t . : sw l i t : r ow eb a nf a d J o a l f t df l i n t( h e s e c a i u ^ i w i c sh n v i ; m i l y e t I x - e u c h i a h f o h u i l .

2 . M o s ta i . "i I k H t t f l g u i C i l o rw h i c h e x a m p l e sh o v eb e e np c o \ ' k l c t ?c o m e f i o mP o u c l l *( 9 7 7 Ju n d r e p r e s e n tc o m m o ni r n e r p r c - u i b n sf r o m i m e n - i e ^ sw i t h i n c l u s t e r s .

3 . T h ed e t e r i o r a t i o nc a l o r i c sc o m eI ' r o m t ca c h i n ge x j i c r t c n c ea n dL i t ep m & B t to ft h i sp a t h w a yi n t h er c p c a i e d - m c a H t f c s .s t u d y ,[ n t o r v t e wd a i ab u mn o i c o B c c t f d i n t h ss t u d y .

f H i ti i ^ x i t i r f t si ^ [ j r o v k l c da s ; l s l a r t t n gp * i i n tl o rc s i n h K s h i t i j jt h ei n c i i n i n g n i b c i so C n l t e r n i i l i v ei i n s w e r s .f N y c f w i H n g u i s l i c; m ; t l y s i sm : i yh e t j iw a a f n e t f i o t l o fe . s t a h l i s h m i ib u t w s e ai t e ma n s w e rl i n k a g e sh a sk e nc - s w b l t s h c d ,

5 A Ia i r l yc o m p l e t em o d e lf o ru s i r i j il c ^ . 1d D l f li n l e r p i v l e t li n t h u sw a yt o i n f o r mt t a c W n gh e sa l s ol e nd s v e b p e db y t h ea d h o r ,

powell (2011) observing cognition from unacceptable answers

Documents