v 2 » 4 T ? ' 7 ' . 4 - ‘ f f { r ‘ v " . . r a . l . . 4 “ I ] . . . ‘ « < , . A . . ‘ x l l k - l 4 1 l ' . ‘ . ! l l x ' | ' 4 1 . ‘ I l l f 3 ' ‘ « t i l l h ‘ l ‘ l l u - ‘ l ‘ l ‘ l . l l l l x ‘ l " l l ' l t I ‘ l l ? ! " “ - ! ' 1 ' . ) + , . ‘ I i ‘ E V A L U A T I O N I N A M O D U L A R S E L F - P A C E D I N T R O D U C T O R Y C H E M I S T R Y C O U R S E : I M P R O V I N G T H E T E S T I N G A N D M E A S U R E M E N T O F A C H I E V E M E N T A N D A T T I T U D E B y E u g e n e J o s e p h K a l e s A D I S S E R T A T I O N S u b m i t t e d t o M i c h i g a n S t a t e U n i v e r s i t y i n p a r t i a l f u l f i l l m e n t o f t h e r e q u i r e m e n t s f o r t h e d e g r e e o f D O C T O R O F P H I L O S O P H Y D e p a r t m e n t s o f C h e m i s t r y a n d A d m i n i s t r a t i o n a n d H i g h e r E d u c a t i o n 1 9 7 8 W - l J » W ; . 3 m 0 9 c G A B S T R A C T E V A L U A T I O N I N A M O D U L A R S E L F - P A C E D I N T R O D U C T O R Y C H E M I S T R Y C O U R S E : I M P R O V I N G T H E T E S T I N G A N D M E A S U R E M E N T O F A C H I E V E M E N T A N D A T T I T U D E B y E u g e n e J o s e p h K a l e s T h e f i r s t p o r t i o n o f t h i s r e s e a r c h c o n c e r n s t h e i n v e s t i g a t i o n a n d i m p r o v e m e n t o f t h e r e l i a b i l i t y o f m u l t i p l e - c h o i c e c h e m i s t r y t e s t s a s u s e d i n a m o d u l a r s e l f - p a c e d i n t r o d u c t o r y c o u r s e . T h i s c o u r s e r e q u i r e s h u n d r e d s o f r e l i a b l e y e t e a s i l y g r a d e d f i f t e e n - i t e m e x a m s p e r t e r m . T h e m u l t i p l e - c h o i c e f o r m a t i s r e a d i l y s c o r a b l e , b u t f o u r - a n d f i v e - c h o i c e q u e s t i o n s a r e o f d o u b t f u l r e l i a b i l i t y . T e s t r e l i a b i l i t y w a s i n v e s t i g a t e d a s a f u n c t i o n o f t h e g u e s s i n g o p p o r t u n i t y w h e n t h e n u m b e r o f a n s w e r c h o i c e s v a r i e d f r o m f o u r t o i n f i n i t y ( t h e s h o r t - a n s w e r i t e m i s t r e a t e d a s a m u l t i p l e - c h o i c e i t e m w i t h a n i n f i n i t e n u m b e r o f c h o i c e s ) . T e s t r e l i a b i l i t y w a s a l s o i n v e s t i g a t e d a s a f u n c t i o n o f t w o t y p e s o f i t e m c o n t e n t : p r o b l e m s a n d n o n p r o b l e m s . R e l i a b i l i t i e s i n t h e s e s t u d i e s a r e e s t i m a t e d b y p a r a l l e l f o r m s c o r r e l a t i o n c o e f f i c i e n t s b e t w e e n t w o e x a m s a d m i n i s t e r e d s u c c e s s i v e l y t o t h e s a m e s t u d e n t s . F l u c t u a t i o n i n t r u e s c o r e s i s r e s p o n s i b l e f o r a d r o p o f o n l y 0 . 0 2 r e l i a b i l i t y u n i t s o v e r t h e t w o h o u r t e s t i n g i n v e r v a l . E u g e n e J o s e p h K a l e s G u e s s i n g i s a f u n c t i o n o f t e s t d i f f i c u l t y - - s t u d e n t s g u e s s m o r e o f t e n o n a d i f f i c u l t t e s t - - a n d w h e n d i f f i c u l t y i s t a k e n i n t o a c c o u n t , t h e c o r r e l a t i o n b e t w e e n n u m b e r o f a n s w e r c h o i c e s a n d g u e s s i n g e r r o r i s o v e r 0 . 9 0 . E a c h d o u b l i n g o f t h e n u m b e r o f c h o i c e s c u t s g u e s s i n g e r r o r a p p r o x i m a t e l y i n h a l f . Y e t e v e n w h e n g u e s s i n g i s t h e o r e t i c a l l y e l i m i n a t e d a s i n t h e s h o r t - a n s w e r i t e m , r e l i a b i l i t y i s n o t u n i t y b e c a u s e p a r a l l e l f o r m s o f a n e x a m a r e n o t p e r f e c t l y e q u i v a l e n t . T h i s n o n e q u i v a l e n c e e r r o r i s o f t h e s a m e m a g n i t u d e a s t h e g u e s s i n g e r r o r f o r s i x - c h o i c e q u e s t i o n s a n d i t i s r e l a t i v e l y c o n s t a n t r e g a r d l e s s o f t h e n u m b e r o f a n s w e r c h o i c e s . A t l e a s t i n c h e m i s t r y , w h e t h e r t e s t q u e s t i o n s a r e p r o b l e m s o r n o n p r o b l e m s a l s o a f f e c t s t e s t r e l i a b i l i t y . A l t h o u g h b o t h t y p e s o f i t e m s s h o w i n c r e a s i n g r e l i a b i l i t y a s t h e n u m b e r o f c h o i c e s i s i n c r e a s e d , p r o b l e m s h a v e h i g h e r a v e r a g e r e l i a b i l i t i e s t h a n n o n p r o b l e m s . F o r t h e t e s t s u s e d h e r e , p r o b l e m s a v e r a g e d a b o u t t w e l v e p e r c e n t m o r e r e l i a b l e t h a n d i d n o n p r o b l e m s . W h e n t h e m i x o f p r o b l e m s a n d n o n p r o b l e m s i s t h a t w h i c h a c t u a l l y a p p e a r s o n e x a m s u s e d i n t h e s e c o u r s e s , r e l i a b i l i t i e s a r e m i d w a y b e t w e e n t h o s e o f p r o b l e m s a n d n o n p r o b l e m s . U n r e l i a b i l i t y d u e t o n o n e q u i v a l e n c e b e t w e e n p a r a l l e l f o r m s i s a l s o h i g h e s t f o r n o n p r o b l e m s , l o w e s t f o r p r o b l e m s , a n d i n t e r m e d i a t e f o r t e s t s o f m i x e d i t e m t y p e s . I n c r e a s i n g t h e n u m b e r o f a n s w e r c h o i c e s f r o m f o u r a n d f i v e t o e i g h t a n d t e n p r o d u c e s s u f f i c i e n t i m p r o v e m e n t i n t e s t r e l i a b i l i t y . E u g e n e J o s e p h K a l e s S e v e r a l e x a m p l e s o f i n c r e a s i n g t h e n u m b e r o f r e s p o n s e s a r e d i s c u s s e d . T w o o t h e r a s p e c t s o f t h e c o u r s e w h i c h w e r e i n v e s t i g a t e d a r e t h e c o s t s o f t h e m e t h o d o f i n s t r u c t i o n a n d t h e s t u d e n t a t t i t u d e s t o w a r d t h e c o u r s e a n d s u b j e c t . T h e h i g h i n i t i a l a n d f i x e d c o s t s o f t h i s s y s t e m p r o d u c e s a v i n g s o n l y w h e n c o u r s e e n r o l l m e n t s a r e h i g h . C o s t s a r e a b o u t t w e n t y - n i n e d o l l a r s p e r s t u d e n t w h e n e n r o l l m e n t s a r e o v e r f i f t e e n h u n d r e d a n d i n c r e a s e t o f o r t y - t h r e e d o l l a r s p e r s t u d e n t a s c o u r s e e n r o l l m e n t d e c l i n e s t o s e v e n h u n d r e d . I n c o m p a r i s o n w i t h a l a r g e l e c t u r e s y s t e m , d o l l a r s a v i n g s a r e m a r g i n a l , b u t i n s t r u c t i o n a l p e r s o n n e l a r e m u c h m o r e . e f f i c i e n t l y u s e d . A t t i t u d e s u r v e y r e s u l t s s h o w a c o r r e l a t i o n n e a r 0 . 7 0 w i t h p e r c e n t r e t u r n a n d a c o r r e l a t i o n w i t h c o u r s e g r a d e r a n g i n g f r o m z e r o t o 0 . 3 0 . O b s e r v e d r e s p o n s e m e a n s a r e l o w e r t h a n t y p i c a l u n i v e r s i t y c o u r s e s b e c a u s e s t u d e n t s a r e n o t r a t i n g a p e r s o n a n d b e c a u s e g r a d e s i n t h e c o u r s e a v e r a g e 0 . 2 4 u n i t s ( o n a f o u r p o i n t s c a l e ) l o w e r t h a n s t u d e n t t e r m g r a d e p o i n t a v e r a g e s . A c o m p a r i s o n o f p o s i t i v e l y s t a t e d L i k e r t i t e m s w i t h ' n a t u r a l l y u n b i a s e d ' e v a l u a t i v e i t e m s s h o w e d l i t t l e d i f f e r e n c e b e t w e e n f o r m a t s . W h a t d i f f e r e n c e w a s o b s e r v e d t e n d e d t o f a v o r t h e L i k e r t r a t h e r t h a n t h e e v a l u a t i v e f o r m a t . A C K N O W L E D G E M E N T S I w i s h t o e x p r e s s s i n c e r e t h a n k s t o D r . R o b e r t N . H a m m e r f o r h i s p a t i e n t d i r e c t i o n a n d c o n s t a n t e n c o u r a g e m e n t t h r o u g h t h e l o n g y e a r s o f m y g r a d u a t e s t u d y . I a l s o w i s h t o d e d i c a t e a s p e c i a l t h a n k y o u t o t h e m e m o r y o f D r . W i l l i a m E . S w e e t l a n d . W i t h o u t h i s i n i t i a l s u p p o r t o f a n d i n t e r e s t i n m y p r o g r a m , t h i s j o i n t d e g r e e w o u l d n o t h a v e b e e n p o s s i b l e . I w i s h t o a c k n o w l e d g e t h e r o l e o f D r . R o b e r t L . E b e l i n t h e m o l d i n g o f m y b e l i e f s a n d s k i l l s i n m e a s u r e m e n t b o t h a s a m e m b e r o f m y g u i d a n c e c o m m i t t e e a n d a s a n i n s t r u c t o r i n c o u r s e s I h a v e t a k e n , I w i s h t o t h a n k t h e D e p a r t m e n t o f C h e m i s t r y a t M i c h i g a n S t a t e U n i v e r s i t y f o r i t s s u p p o r t i n t h e e a r l y s t a g e s o f m y g r a d u a t e s t u d y , a n d f o r t h e o p p o r t u n i t y t o m e l d r e s e a r c h w i t h t e a c h i n g i n a n i n t r o d u c t o r y c h e m i s t r y c o u r s e . F i n a l l y , I w i s h t o t h a n k m y p a r e n t s , F r a n k a n d G e n e v i e v e K a l e s , f o r t h e i r u n f a i l i n g s u p p o r t a n d l o v i n g a c c e p t a n c e . i i T A B L E O F C O N T E N T S P a g e L I S T O F T A B L E S . . . . . . . . . . . . . . . . . . . . . . . . . x L I S T O F F I G U R E S . . . . . . . . . . . . . . . . . . . . . . . . x v i i C h a p t e r I . C H E M I S T R Y L E A R N I N G S Y S T E M S . . . . . . . . . . . . . 1 A . I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . 1 1 . H i s t o r i c a l m e t h o d s o f t e a c h i n g c h e m i s t r y . . . 2 2 . M o d e r n i n n o v a t i o n s i n p e d a g o g i c t e c h n o l o g y . . 4 a . A u d i o - v i s u a l - t u t o r i a l i n s t r u c t i o n . . . . 4 b . P r o g r a m m e d i n s t r u c t i o n . . . . . . . . 5 c . S e l f - p a c e d i n s t r u c t i o n . . . . . . . . . . 9 d . T h e c o n f l u e n c e o f i n n o v a t i o n s . . . . . . 1 0 B . I n t r o d u c t o r y c h e m i s t r y a t M i c h i g a n S t a t e U n i v e r s i t y . 1 2 1 . T r a d i t i o n a l t e a c h i n g m e t h o d s . . . . . . . . . 1 2 2 . M o d u l a r s e l f - p a c e d i n t r o d u c t o r y c h e m i s t r y . . 1 6 a . S y l l a b u s a n d s t u d y g u i d e s . . . . . . . ' . 1 8 b . P r e s e n t a t i o n o f m a t e r i a l . . . . . . . . . 2 0 c . H e l p R o o m a s s i s t a n c e . . . . . . . . . . 2 2 d . T e s t i n g a n d g r a d i n g . . . . . . . . . . . 2 3 C . E v a l u a t i n g t h e t e a c h i n g m e t h o d . . . . . . . . . . . . 2 9 1 . K n o w l e d g e g a i n e d b y t h e s t u d e n t s . . . . . . . 2 9 i i i 2 . 3 . a . R e s e a r c h i n m e a s u r i n g a c h i e v e m e n t S t u d e n t a t t i t u d e s a b o u t t h e c o u r s e a n d s u b j e c t . a . R e s e a r c h i n m e a s u r i n g a t t i t u d e s C o s t s o f t h e s y s t e m . . . . . . . . . . . . . . a . C a t e g o r i e s o f c o s t . . . . . . . . . . . . b . C o s t s u m m a r y . . . . . . . . . . . . . . c . C o m p a r i s o n w i t h t h e l e c t u r e m e t h o d I I . E R R O R S I N M E A S U R I N G S T U D E N T A C H I E V E M E N T . . . A . T h e o r y a n d l i t e r a t u r e . . . . . . . . . . . . . . . . . 1 . T h e p r o b a b l e e r r o r f o r a t e s t s c o r e . . . . . . 2 . i T h e i m p o r t a n c e o f t e s t r e l i a b i l i t y . . . . . . . 3 . D e f i n i t i o n o f t e s t r e l i a b i l i t y . . . . . . . . . . 4 . R e l i a b i l i t y f r o m t e s t - r e t e s t . . . . . . . . . . 5 . R e l i a b i l i t y f r o m p a r a l l e l f o r m s . . . . . . . . 6 . R e l i a b i l i t y f r o m h o m o g e n e i t y o f c o n t e n t . . . . 7 . F a c t o r s a f f e c t i n g t e s t r e l i a b i l i t y . . . . . . . . a . T e s t l e n g t h . . . . . . . . . . . . . . . . b . N u m b e r o f r e s p o n s e o p t i o n s . . . . . . . c . I n t e r r e l a t i o n o f t o p i c s . . . . . . . . . . d . I t e m i n t e r c o r r e l a t i o n s a n d d i f f i c u l t i e s e . G u e s s i n g , d i f f i c u l t y , a n d c o n s i s t e n c y . . f . D i s t r i b u t i o n o f s c o r e s . . . . . . . . . . 8 . F a c t o r s a f f e c t i n g t h e s t a n d a r d e r r o r . . . . . i v 3 0 3 0 3 0 3 1 3 2 3 7 4 0 4 3 4 4 4 4 4 6 4 7 4 9 5 0 5 2 5 3 5 3 5 4 6 0 6 3 6 5 6 7 6 9 9 . A n e x p e r i m e n t a l c o m p a r i s o n o f t w o i t e m f o r m a t s . . . . . . . . . . . . . . 1 0 . S u m m a r y o f m e a s u r e m e n t t h e o r y . . . . . . . B . W r i t i n g a n d r e s t r u c t u r i n g t e s t i t e m s . . . . . . . . . 1 . . I n c r e a s i n g t h e n u m b e r o f a n s w e r c h o i c e s . . . 2 . I n t e r c o n v e r s i o n o f m u l t i p l e - c h o i c e a n d s h o r t - a n s w e r i t e m s . . . . . . . . . . . . 3 . L i m i t s o f s t r u c t u r a l c h a n g e . . . . . . . . . . C . E x p e r i m e n t a l d e s i g n . . . . . . . . . . . . . . . . . 1 . I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . 2 . S e l e c t i o n o f i t e m f o r m a t . . . . . . . . . . . . 3 . C o m p o n e n t s o f o b s e r v e d t e s t v a r i a n c e . . . . . 4 . E x p e r i m e n t a l d e s i g n . . . . . . . . . . . . . . 5 . C o m p a r i s o n s c h e m e s . . . . . . . . . . . . . . a . C o m p a r i s o n o f p a r a l l e l t e s t s o f f i v e - o p t i o n m u l t i p l e - c h o i c e i t e m s b . C o m p a r i s o n o f p a r a l l e l t e s t s w i t h m o r e t h a n f i v e o p t i o n s p e r i t e m . . c . C o m p a r i s o n o f p a r a l l e l t e s t s o f s h o r t - a n s w e r i t e m s . . . . . . . . . . d . C o m p a r i s o n o f s h o r t - a n s w e r i t e m s w i t h p a r a l l e l m u l t i p l e - c h o i c e i t e m s . . . e . A v a r i a t i o n o f a t e s t - r e t e s t c o m p a r i s o n . . . . . . . . 6 . A d m i n i s t r a t i v e p r o c e d u r e f o r ' S p e c i a l O p t i o n ' e x a m s . . . . . . . . . . . . . D . R e s u l t s a n d d i s c u s s i o n . . . . . . . . . . . . . . . . 1 . E f f e c t s o f p o s i t i o n , f o r m , a n d g r o u p . . . . . V 7 2 7 6 7 9 7 9 8 2 8 6 9 0 9 0 9 0 9 2 9 6 9 7 9 8 9 8 9 9 9 9 1 0 0 1 0 1 1 0 2 1 0 4 _ a . I n t r o d u c t i o n . . . . . . . . . . . . . . . b . O b s e r v e d t e s t r e l i a b i l i t i e s . . . . . . . . c . D i s c u s s i o n o f n o n - z e r o e f f e c t s : i . p o s i t i o n . . . . . . . . . . . . . . i i . f o r m . . . . . . . . . . . . . . . . i i i . g r o u p . . . . . . . . . . . . . . . . d . S u m m a r y o f p o s i t i o n , f o r m , a n d g r o u p e f f e c t s . . . . . . . . . . . . . 2 . E f f e c t s o f s o m e e x a m i n a t i o n c h a r a c t e r i s t i c s o n r e l i a b i l i t y . . . . . . . . . 3 . R e l i a b i l i t y o f s u b s e t s o f i t e m s . . . . . . . . . a . I n t r o d u c t i o n . . . . . . . . . . . . . . . b . R e s u l t s . . . . . . . . . . . . . . . . . . c . C o m p o n e n t s o f v a r i a n c e . . . . . . . . . i . E r r o r v a r i a n c e d u e t o f l u c t u a t i o n . i i . E r r o r v a r i a n c e d u e t o g u e s s i n g . . i i i . E r r o r v a r i a n c e d u e t o n o n e q u i v a l e n c e . . . . . . . . . . . i v . E r r o r v a r i a n c e d u e t o m e m o r y . . 4 . T y p e o f i t e m s t r u c t u r e a n d v a r i a b i l i t y i n t e s t m e a n s . . . . . . . . . . . . 5 . S t a n d a r d e r r o r o f m e a s u r e m e n t f o r t e s t s a n d s u b t e s t s . . . . . . . . . . . . . . . E . S u m m a r y a n d c o n c l u s i o n s f o r e r r o r s i n m e a s u r e m e n t . . . . . . . . . . . . . . . . . . . . 1 . L i s t o f r e s e a r c h c o n c l u s i o n s . . . . . . . . . . v i 1 0 4 1 0 5 1 0 7 1 0 8 1 0 9 1 1 0 1 1 0 1 1 5 1 1 5 1 1 6 1 2 1 1 2 2 1 2 3 1 3 0 1 3 2 1 3 4 1 3 7 1 4 1 1 4 1 2 . I m p l i c a t i o n s o f s o m e i m p o r t a n t c o n c l u s i o n s . . 3 . L i s t o f a p h o r i s m s a n d r e c o m m e n d a t i o n s A T T I T U D E M E A S U R E M E N T A N D S U R V E Y B I A S . . . . . A . I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . B . L i t e r a t u r e . . . . . . . . . . . . . . . . . . . . . . . 1 . A t t i t u d e a s s e s s m e n t t e c h n i q u e s . . . . . . . . 2 . E f f e c t s o f w o r d i n g a n d s t r u c t u r e i n s u r v e y i t e m s . . . . . . . . . . . . . . . . . . a . D i r e c t i o n a l i t y i n i t e m s o r r e s p o n s e s . . i . D i r e c t i o n o f f a v o r a b i l i t y i n t h e i t e m s t e m . . . . . . . . . . i i . O r d e r o f p r e s e n t a t i o n i n a c o m p l e x s t a t e m e n t . . . . . . i i i . D i r e c t i o n o f f a v o r a b i l i t y i n r e s p o n s e k e y s . . . . . . . . . . b . F i x e d a n d v a r i a b l e r e s p o n s e k e y s . . . . c . N u m b e r o f r e s p o n s e c h o i c e s . . . . . . . d . S p e c i f i c w o r d i n g o f s t a t e m e n t s o r r e s p o n s e s . . . . . . . . . i . W o r d s o f f r e q u e n c y o r d e g r e e . . . i i . V a r i a t i o n s i n r e s p o n s e k e y s . . . . 3 . S u m m a r y o f s u r v e y w o r d i n g e f f e c t s . . . . . . C . E x p e r i m e n t a l d e s i g n . . . . . . . . . . . . . . . . . D . R e s u l t s a n d d i s c u s s i o n . . . . . . . . . . . . . . . . 1 . T a b l e s o f r e s u l t s a n d s i g n i f i c a n c e t e s t s . . . . 2 . D i f f e r e n c e s b e t w e e n t h e t w o f o r m s . . . . . . v i i 1 4 2 1 4 9 1 5 4 1 5 4 1 5 5 1 5 5 1 5 9 1 6 0 1 6 0 1 6 2 1 6 2 1 6 3 1 6 7 1 6 9 1 6 9 1 7 1 1 7 4 1 7 6 1 7 9 1 7 9 1 8 3 I V . 3 . D i s c u s s i o n o f r e s u l t s . . . . . . . . . . . . . . 4 . C o n c l u s i o n s . . . . . . . . . . . . . . . . . . . E . C o r r e c t i o n f o r t h e o b s e r v e d b i a s . . . . . . . . . . . F . S u m m a r y f o r a t t i t u d e s u r v e y b i a s . . . . . . . . . . S T U D E N T A C H I E V E M E N T A N D A T T I T U D E . . . . . . . . A . W h a t a r e s t u d e n t s e x p e c t e d t o k n o w ? . . . . . . . . 1 . S y l l a b u s o f t o p i c s . . . . . . . . . . . . . . . . 2 . S t u d y g u i d e u n i t s . . . . . . . . . . . . . . . . B . M e a s u r i n g k n o w l e d g e o f c h e m i s t r y . . . . . . . . . . 1 . T e s t a b l e c o n c e p t s f r o m e a c h u n i t o f m a t e r i a l . 2 . C o m p u t e r - m a n a g e d e x a m f i l e . . . . . . . . . C . W h a t d i d t h e s t u d e n t s l e a r n ? . . . . . . . . . . . . . 1 . O v e r a l l a c h i e v e m e n t . . . . . . . . . . . . . . 2 . P a t t e r n s o f a c h i e v e m e n t . . . . . . . . . . . . 3 . A c c u r a c y o f t h e f i n a l g r a d e . . . . . . . . . . D . M e a s u r i n g a t t i t u d e a n d a t t i t u d e c h a n g e . . . . . . . . 1 . C o u r s e e v a l u a t i o n f o r m . . . . . . . . . . . . 2 . P r e c o u r s e a n d p o s t c o u r s e s u r v e y s . . . . . . E . W h a t a r e t h e s t u d e n t a t t i t u d e s ? . . . . . . . . . . . 1 . R e s u l t s o f t h e c o u r s e e v a l u a t i o n . . . . . . . . 2 . P a t t e r n s i n s t u d e n t a t t i t u d e . . . . . . . . . . a . G e n e r a l a t t i t u d e f a c t o r s . . . . . . . . . b . P r e c o u r s e a n d p o s t c o u r s e r e s p o n s e d i f f e r e n c e s . . . . . . . . . . . c . R e l a t i o n b e t w e e n a t t i t u d e s a n d g r a d e . . v i i i 1 8 4 1 9 0 1 9 1 1 9 4 1 9 5 1 9 5 1 9 5 1 9 6 1 9 7 1 9 8 1 9 9 2 0 2 2 0 2 2 0 6 2 0 8 2 1 2 2 1 2 2 1 6 2 2 0 2 2 4 2 2 9 2 3 0 2 3 5 2 3 8 F . S u m m a r y o f a c h i e v e m e n t a n d a t t i t u d e . . . . . . . . 2 4 5 V . S U M M A R Y . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4 7 A . M a j o r c o n c l u s i o n s . . . . . . . . . . . . . . . . . . 2 4 7 1 . I m p r o v i n g t e s t r e l i a b i l i t y . . . . . . . . . . . 2 4 7 2 . E n s u r i n g t e s t v a l i d i t y . . . . . . . . . . . . . 2 4 8 3 . A t t i t u d e s u r v e y c o n s t r u c t i o n . . . . . . . . . . 2 4 9 4 . S t u d e n t a c h i e v e m e n t i n C E M 1 3 0 / 1 3 1 . . . . . 2 5 0 5 . S t u d e n t a t t i t u d e s i n C E M 1 3 0 / 1 3 1 . . . . . . . 2 5 0 6 . R e l a t i v e c o s t s o f t h e s y s t e m . . . . . . . . . . 2 5 1 7 . E v a l u a t i o n o f C E M 1 3 0 / 1 3 1 . . . . . . . . . . 2 5 2 O B . S u g g e s t i o n s f o r f u t u r e r e s e a r c h . . . . . . . . . . . 2 5 4 1 . I n m e a s u r i n g a c h i e v e m e n t . . . . . . . . . . . 2 5 4 2 . I n m e a s u r i n g a t t i t u d e s . . . . . . . . . . . . . 2 5 7 3 . I n p r e d i c t i o n o f c o u r s e p e r f o r m a n c e . . . . . . 2 5 8 R E F E R E N C E S . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 6 2 A P P E N D I C E S . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 7 3 A . S y l l a b u s , u n i t o b j e c t i v e s , a n d t e s t a b l e c o n c e p t s . . . 2 7 3 B . S t a t i s t i c s a n d s i g n i f i c a n c e t e s t s f o r f i f t e e n - i t e m t e s t s f r o m v a r i o u s c o m p a r i s o n s c h e m e s . . . . . . . 2 9 5 C . M i s c e l l a n e o u s t a b l e s . . . . . . . . . . . . . . . . . 3 2 4 D . S t a t i s t i c s f o r s u b s e t s o f i t e m s f r o m t h e f i f t e e n - i t e m t e s t s o f v a r i o u s c o m p a r i s o n s c h e m e s . . . . . . . . 3 2 9 E . T e s t i n g a n d g r a d i n g s t a t i s t i c s f o r C E M 1 3 0 a n d 1 3 1 . 3 4 0 F . A t t i t u d e s u r v e y a n d c o u r s e e v a l u a t i o n r e s u l t s . . . . 3 5 5 G . C o m p u t e r p r o g r a m s . . . . . . . . . . . . . . . . . 4 0 5 i x T a b l e 1 . 1 1 . 2 L I S T O F T A B L E S I n s t r u c t i o n a l d e s i g n o p t i o n s . . . . . . . . . . . . . . . . . G r a d i n g s c a l e s u s e d i n C E M 1 3 0 a n d 1 3 1 . . . . . . . . . . C o m p e n s a t i o n i n d o l l a r s p e r h a l f - t i m e u n i t p a i d t o f a c u l t y , g r a d u a t e a s s i s t a n t s , a n d u n d e r g r a d u a t e a s s i s t a n t s M e a n c o s t p e r s t u d e n t f o r f i v e t e r m s ( 1 9 7 3 - 7 7 ) . . . . . . S u m m a r y o f c o s t s i n e i g h t c a t e g o r i e s f o r C E M 1 3 0 / 1 3 1 . . C o m p a r i s o n o f o p e r a t i n g c o s t s i n 1 9 7 5 d o l l a r s f o r l e c t u r e ( o l d ) a n d s e l f - p a c e d ( n e w ) c o u r s e s . . . . . . . . . C o m p o n e n t s o f o b s e r v e d t e s t v a r i a n c e . . . . . . . . . . S u m m a r y d a t a f r o m P l u m l e e . . . . . . . . . . . . . . . . S u m m a r y d a t a f r o m P l u m l e e a d j u s t e d f o r t e s t l e n g t h . . . S P S S R e g r e s s i o n o u t p u t s u m m a r y . . . . . . . . . . . . . C o r r e l a t i o n c o e f f i c i e n t s a n d t h e f r a c t i o n o f v a r i a n c e d u e t o f l u c t u a t i o n i n t r u e s c o r e s ( V F fl ) . . . . . . . . . . . C o e f f i c i e n t s o f d e t e r m i n a t i o n f o r r e g r e s s i o n e q u a t i o n s t h a t p r e d i c t g u e s s i n g a n d e r r o r v a r i a n c e f r o m i t e m c h a n c e s c o r e . . . . . . . . . . . . . . . . . . . . . . . . C a l c u l a t e d v a r i a n c e f r a c t i o n s f o r d i f f e r e n t t y p e s o f i t e m s . C a l c u l a t e d v a r i a n c e f r a c t i o n s d u e t o g u e s s i n g a n d m e m o r y . . . . . . . . . . . . . . . . . . . . . . . . . S t a b i l i t y e s t i m a t e o f t h e m e a n ( S E M ) f o r g r o u p s o f t e s t s . . P a g e 1 1 2 8 3 4 3 8 3 9 4 1 4 9 , 9 2 7 4 7 6 1 1 4 1 2 2 1 2 4 1 2 9 1 3 4 1 3 6 > 1 1 > 1 1 > 1 1 . p . . 1 0 V a r i a t i o n i n s t a n d a r d e r r o r o f m e a s u r e m e n t b e t w e e n a n d w i t h i n g u e s s i n g l e v e l s . . . . . . . . . . . . . . . . . 1 3 9 . 1 D i s t r i b u t i o n a n d d e s c r i p t i o n o f t h e d i f f e r e n t i t e m f o r m a t s . 1 5 4 . 2 E x a m p l e s o f t w o r e s p o n s e k e y s f r o m H o l d a w a y . . . . . . 1 7 3 . 3 S a m p l e i t e m i n b o t h L i k e r t a n d e v a l u a t i v e f o r m a t s . . . . . 1 7 6 . 4 D i f f e r e n c e s i n r e s p o n s e m e a n s a n d t - t e s t s t a t i s t i c s f o r e a c h i t e m . . . . . . . . . . . . . . . . . . . . . . . . 1 8 1 . 5 S i g n i f i c a n c e t e s t s f o r e q u a l i t y o f v a r i a n c e . . . . . . . . . 1 8 2 . 6 E x a m p l e s o f d i f f e r e n t f o r m a t s f o r t h e s a m e s u r v e y i t e m . 1 8 5 . 7 D i s t r i b u t i o n o f s u r v e y r e s p o n s e m e a n s . . . . . . . . . . . 1 8 7 . 8 A s u r v e y q u e s t i o n i n v o l v i n g a ' r a t h e r - t h a n ' c o m p a r i s o n . . 1 8 9 . 9 P e r c e n t a g e d i f f e r e n c e s b e t w e e n s u r v e y m e a n s f o r t h e o r i g i n a l a n d e x p e r i m e n t a l f o r m a t s . . . . . . . . . . . . . 1 9 2 . 1 0 E x a m p l e o f a c e l l p o p u l a t i o n c o r r e c t i o n - 1 3 0 F 7 5 N o . 3 . . 1 9 2 . 1 C o u r s e e v a l u a t i o n r e s p o n s e p e r c e n t s t o I t e m s 1 5 , 1 6 , a n d 1 7 . . . . . . . . . . . . . . . . . . . . 2 2 6 . 2 M a j o r f a c t o r s f r o m t h e a t t i t u d e s u r v e y s . . . . . . . . . . 2 3 2 . 3 D i f f e r e n c e s i n m e a n r e s p o n s e o n p o s t c o u r s e a t t i t u d e f a c t o r s c o m p a r e d w i t h p r e c o u r s e r e s p o n s e s . . . . . . . . 2 3 6 . 4 C o r r e c t e d a p p r o x i m a t e c h a n g e s i n s t u d e n t a t t i t u d e . . . . 2 3 7 . 5 M e a n c o r r e l a t i o n o f a t t i t u d e f a c t o r s w i t h c o u r s e g r a d e . . 2 3 9 . 6 A t t i t u d e f a c t o r m e a n s a n d c o r r e l a t i o n w i t h c o u r s e g r a d e . 2 4 0 . 7 A v e r a g e c o u r s e g r a d e s w e i g h t e d f o r e n r o l l m e n t . . . . . . 2 4 4 . 1 S y l l a b u s w i t h U n i t d i v i s i o n s f o r C E M 1 3 0 / 1 3 1 ( 1 9 7 5 ) . . . 2 7 4 . 2 O b j e c t i v e s f o r s y l l a b u s u n i t s o f C E M 1 3 0 a n d 1 3 1 . . . . . 2 8 1 . 3 T e s t a b l e c o n c e p t s f o r s y l l a b u s u n i t s o f C E M 1 3 0 a n d 1 3 1 . 2 8 8 x i ! . ( I D I n i " . U 3 0 1 U ) S U 0 0 D C G l o s s a r y o f s y m b o l s . . . . . . . . . . . . . . . . . . . . 2 9 6 D a t e , s o u r c e , a n d n u m b e r o f f o r m s f o r e a c h c o d e . . . . 3 0 1 S u m m a r y s t a t i s t i c s f o r p a r a l l e l f o r m s r e l i a b i l i t y e s t i m a t i o n . . . . . . . . . . . . . . . . . . . 3 0 2 C o m p a r i s o n o f f o r m s b y g r o u p f o r d e p e n d e n t s a m p l e s . . 3 0 8 C o m p a r i s o n o f f o r m s b y t e s t d a t e f o r d e p e n d e n t s a m p l e s . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 0 C o m p a r i s o n o f g r o u p s b y t e s t d a t e f o r i n d e p e n d e n t s a m p l e s . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 1 C o m p a r i s o n o f p o s i t i o n s b y t e s t d a t e f o r d e p e n d e n t s a m p l e s . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 1 C o m p a r i s o n o f p o s i t i o n s b y g r o u p f o r i n d e p e n d e n t s a m p l e s . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 2 C o m p a r i s o n o f g r o u p s b y f o r m f o r i n d e p e n d e n t s a m p l e s . 3 1 3 C o m p a r i s o n o f v a r i a n c e s b y f o r m f o r d e p e n d e n t s a m p l e s . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 4 C o m p a r i s o n o f v a r i a n c e s b y g r o u p f o r i n d e p e n d e n t s a m p l e s . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 5 1 2 . 1 3 . . 1 3 . . 1 3 . . 1 4 . . 1 4 . . 1 5 . . 1 5 . . 1 6 . S u m m a r y d a t a f o r t h e n i n e s u b g r o u p s w i t h i n C o d e A . . . F o r m a n d g r o u p A N O V A f o r C o d e s W , X , a n d Y . . . . . G r o u p a n d p o s i t i o n A N O V A f o r C o d e s W , X , a n d Y F o r m a n d p o s i t i o n A N O V A f o r C o d e s W , X , a n d Y . . . . C o m p a r i s o n o f p o s i t i o n s f o r d e p e n d e n t s a m p l e s . . . . . C o m p a r i s o n o f p o s i t i o n - g r o u p i n t e r a c t i o n s . . . . . . . . C o m p a r i s o n o f f o r m s f o r d e p e n d e n t s a m p l e s . . . . . . . C o m p a r i s o n o f f o r m - p o s i t i o n i n t e r a c t i o n s . . . . . . . . C o m p a r i s o n o f g r o u p s f o r i n d e p e n d e n t s a m p l e s . . . . . x i i 3 1 6 3 1 8 3 1 8 3 1 8 3 1 9 3 1 9 3 2 0 3 2 0 3 2 1 P P P P s P P s U U U U U U U . 1 6 . 2 . 1 7 . 1 . 1 7 . 2 . 1 8 . 6 . 2 . 6 . 3 . 7 . 1 . 7 . 2 . 7 . 3 . 8 . 1 . 8 . 2 C o m p a r i s o n o f g r o u p - f o r m i n t e r a c t i o n s . . . . . . . . . C o m p a r i s o n o f v a r i a n c e s b y g r o u p f o r i n d e p e n d e n t s a m p l e s . . . . . . . . . . . . . . . . . . . . . . . . . . C o m p a r i s o n o f v a r i a n c e s f o r d e p e n d e n t s a m p l e s . . . . . S t a n d a r d e r r o r s a n d c r i t i c a l v a l u e s f o r s t a t i s t i c a l t e s t s o f t h e s i g n i f i c a n c e o f d i f f e r e n c e s i n m e a n s . . . . . . . . S u m m a r y d a t a f o r t h e c a l c u l a t i o n o f t h e S t a b i l i t y E s t i m a t e o f t h e M e a n . . . . . . . . . . . . . . C o m p o s i t e r e l i a b i l i t y o f a s e r i e s o f t e s t s . . . . . . . . . I n t e r c o r r e l a t i o n s o f d i f f e r e n t u n i t e x a m s a n d s t a n d a r d d e v i a t i o n o f t e r m a v e r a g e . . . . . . . . . . . . . . . . . T e s t s t a t i s t i c s a d j u s t e d t o a s t a n d a r d t e n - i t e m l e n g t h . . S t a t i s t i c s f o r s u b t e s t s o f p r o b l e m s . . . . . . . . . . . . S t a t i s t i c s f o r s u b t e s t s o f n o n n u m e r i c a l q u e s t i o n s S t a t i s t i c s f o r s u b t e s t s w i t h i d e n t i c a l c o n t e n t . . . . . . . V a r i a n c e f r a c t i o n s f o r f i f t e e n - i t e m t e s t s . . . . . . . . . P a r t i a l v a r i a n c e s f o r f i f t e e n - i t e m t e s t s . . . . . . . . . S e l e c t e d s t a t i s t i c s w i t h g u e s s i n g p a r t i a l l e d o u t . . . . . . V a r i a n c e f r a c t i o n s f o r s u b t e s t s o f p r o b l e m s . . . . . . . P a r t i a l v a r i a n c e s f o r s u b t e s t s o f p r o b l e m s . . . . . . . . S e l e c t e d s t a t i s t i c s w i t h g u e s s i n g p a r t i a l l e d o u t . . . . . . V a r i a n c e f r a c t i o n s f o r s u b t e s t s o f n o n p r o b l e m s . . . . . P a r t i a l v a r i a n c e s f o r s u b t e s t s o f n o n p r o b l e m s . . . . . . S e l e c t e d s t a t i s t i c s w i t h g u e s s i n g p a r t i a l l e d o u t . . . . . . S e l e c t e d s t a t i s t i c s f o r s u b t e s t s w i t h i d e n t i c a l c o n t e n t . . S e l e c t e d s t a t i s t i c s w i t h g u e s s i n g p a r t i a l l e d o u t . . . . . . x i i i 3 2 1 3 2 2 3 2 2 3 2 3 3 2 6 3 2 7 3 2 8 3 3 0 3 3 1 3 3 2 3 3 3 3 3 4 3 3 4 . 3 3 4 3 3 5 3 3 5 3 3 5 3 3 6 3 3 6 3 3 6 3 3 7 3 3 7 ; r o o d n i 1 P ” P P 1 F 1 1 F “ . 9 . 1 . 9 . 2 . 9 . 3 . 9 . 4 . 1 0 . 1 1 . 1 2 . 1 3 . 1 4 . 3 . 1 L i n e a r e q u a t i o n s f o r s u b t e s t s w i t h i d e n t i c a l c o n t e n t . . . L i n e a r e q u a t i o n s f o r f i f t e e n - i t e m t e s t s . . . . . . . . . . L i n e a r e q u a t i o n s f o r s u b t e s t s o f p r o b l e m s . . . . . . . . L i n e a r e q u a t i o n s f o r s u b t e s t s o f n o n p r o b l e m s . . . . . . T e s t i n g a n d g r a d i n g s t a t i s t i c s f o r C E M 1 3 0 W 7 3 . . . . . . T e s t i n g a n d g r a d i n g s t a t i s t i c s f o r C E M 1 3 1 S 7 3 . . . . . . T e s t i n g a n d g r a d i n g s t a t i s t i c s f o r C E M 1 3 0 F 7 3 . . . . . . T e s t i n g a n d g r a d i n g s t a t i s t i c s f o r C E M 1 3 1 W 7 4 . . . . . . T e s t i n g a n d g r a d i n g s t a t i s t i c s f o r C E M 1 3 0 W 7 4 . . . . . . T e s t i n g a n d g r a d i n g s t a t i s t i c s f o r C E M 1 3 1 S 7 4 . . . . . . T e s t i n g a n d g r a d i n g s t a t i s t i c s f o r C E M 1 3 0 F 7 4 . . . . . . T e s t i n g a n d g r a d i n g s t a t i s t i c s f o r C E M 1 3 1 W 7 5 . . . . . . T e s t i n g a n d g r a d i n g s t a t i s t i c s f o r C E M 1 3 0 W 7 5 . . . . . ° . T e s t i n g a n d g r a d i n g s t a t i s t i c s f o r C E M 1 3 1 S 7 5 . . . . . . T e s t i n g a n d g r a d i n g s t a t i s t i c s f o r C E M 1 3 0 F 7 5 . . . . . . T e s t i n g a n d g r a d i n g s t a t i s t i c s f o r C E M 1 3 1 W 7 6 . . . . . . T e s t i n g a n d g r a d i n g s t a t i s t i c s f o r C E M 1 3 0 W 7 6 . . . . . . T e s t i n g a n d g r a d i n g s t a t i s t i c s f o r C E M 1 3 1 8 7 6 . . . . . . F o u r t e e n g r a p h s o f a v e r a g e r e s p o n s e t o I t e m s 1 t h r o u g h 1 4 f r o m t h e c o u r s e e v a l u a t i o n f o r m i n d i c a t i n g m e a n a n d i n t e r p o l a t e d m e d i a n r e s p o n s e s f o r e a c h o f f o u r t e e n t e r m s w i t h m a j o r e n r o l l m e n t s . . . . . . . . . . . . . . T w e n t y - f o u r b a r g r a p h s o f p e r c e n t r e s p o n s e i n e a c h r e s p o n s e c a t e g o r y f o r I t e m s 1 t h r o u g h 1 4 a n d 1 8 t h r o u g h 2 2 f o r t e r m s w i t h m a j o r e n r o l l m e n t s . . . . . . I t e m m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e W i n t e r 1 9 7 3 C h e m 1 3 0 . . . . . . . . . . . . . . . . . . . 3 3 7 3 3 8 3 3 9 3 3 9 3 4 1 3 4 2 3 4 3 3 4 4 3 4 5 3 4 6 3 4 7 3 4 8 3 4 9 3 5 0 3 5 1 3 5 2 3 5 3 3 5 4 3 6 0 3 6 5 3 7 7 F . 3 . 2 F . 3 . 3 F . 3 . 4 F . 3 . 5 F . 3 . 6 F . 3 . 7 F . 3 . 8 F . 3 . 9 F . 3 . 1 0 F . 3 . 1 1 F . 3 . 1 2 F . 3 . 1 3 F . 3 . 1 4 F . 4 . 1 F . 4 . 2 F . 4 . 3 I t e m m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e S p r i n g 1 9 7 3 C h e m 1 3 1 . . . . . . . . . . . . . . . . . . . 3 7 8 I t e m m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e F a l l 1 9 7 3 C h e m 1 3 0 . . . . . . . . . . . . . . . . . . . . 3 7 9 I t e m m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e W i n t e r 1 9 7 4 C h e m 1 3 1 . . . . . . . . . . . . . . . . . . . 3 8 0 I t e m m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e W i n t e r 1 9 7 4 C h e m 1 3 0 . . . . . . . . . . . . . . . . . . . 3 8 1 I t e m m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e S p r i n g 1 9 7 4 C h e m 1 3 1 . . . . . . . . . . . . . . . . . . . 3 8 2 I t e m m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e F a 1 1 1 9 7 4 C h e m 1 3 0 . . . . . . . . . . . . . . . . . . . . . 3 8 3 I t e m m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e W i n t e r 1 9 7 5 C h e m 1 3 1 . . . . . . . . . . . . . . . . . . . 3 8 4 I t e m m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e W i n t e r 1 9 7 5 C h e m 1 3 0 . . . . . . . . . . . . . . . . . . . 3 8 5 I t e m m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e S p r i n g 1 9 7 5 C h e m 1 3 1 . . . . . . . . . . . . . . . . . . . 3 8 6 I t e m m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e F a l l 1 9 7 5 C h e m 1 3 0 . . . . . . . . . . . . . . . . . . . . 3 8 7 I t e m m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e W i n t e r 1 9 7 6 C h e m 1 3 1 . . . . . . . . . . . . . . . . . . . 3 8 8 I t e m m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e W i n t e r 1 9 7 6 C h e m 1 3 0 . . . . . . . . . . . . . . . . . . . 3 8 9 I t e m m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e S p r i n g 1 9 7 6 C h e m 1 3 1 . . . . . . . . . . . . . . . . . . . 3 9 0 F a c t o r m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e W i n t e r 1 9 7 3 C h e m 1 3 0 . . . . . . . . . . . . . . . . . . . 3 9 1 F a c t o r m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e S p r i n g 1 9 7 3 C h e m 1 3 1 . . . . . . . . . . . . . . . . . . . 3 9 2 F a c t o r m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e F a l l 1 9 7 3 C h e m 1 3 0 . . . . . . . . . . . . . . . . . . . . 3 9 3 X V F . 4 . 4 F a c t o r m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e W i n t e r 1 9 7 4 C h e m 1 3 1 . . . . . . . . . . . . . . . . . . . 3 9 4 F . 4 . 5 F a c t o r m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e W i n t e r 1 9 7 4 C h e m 1 3 0 . . . . . . . . . . . . . . . . . . . 3 9 5 F . 4 . 6 F a c t o r m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e S p r i n g 1 9 7 4 C h e m 1 3 1 . . . . . . . . . . . . . . . . . . . 3 9 6 F . 4 . 7 F a c t o r m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e F a l l 1 9 7 4 C h e m 1 3 0 . . . . . . . . . . . . . . . . . . . . 3 9 7 F . 4 . 8 F a c t o r m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e W i n t e r 1 9 7 5 C h e m 1 3 1 . . . . . . . . . . . . . . . . . . . 3 9 8 F . 4 . 9 F a c t o r m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e W i n t e r 1 9 7 5 C h e m 1 3 0 . . . . . . . . . . . . . . . . . . . 3 9 9 F . 4 . 1 0 F a c t o r m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e S p r i n g 1 9 7 5 C h e m 1 3 1 . . . . . . . . . . . . . . . . . . . 4 0 0 F . 4 . 1 1 F a c t o r m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e F a l l 1 9 7 5 C h e m 1 3 0 . . . . . . . . . . . . . . . . . . . . 4 0 1 F . 4 . 1 2 F a c t o r m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e W i n t e r 1 9 7 6 C h e m 1 3 1 . . . . . . . . . . . . . . . . . . . 4 0 2 F . 4 . 1 3 F a c t o r m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e W i n t e r 1 9 7 6 C h e m 1 3 0 . . . . . . . . . . . . . . . . . . . 4 0 3 F . 4 . 1 4 F a c t o r m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e S p r i n g 1 9 7 6 C h e m 1 3 1 . . . . . . . . . . . . . . . . . . . 4 0 4 x v i L I S T O F F I G U R E S F i g u r e 1 . 1 H i e r a r c h y o f i n t r o d u c t o r y c h e m i s t r y c o u r s e s . C o u r s e s i n t h e s a m e r o w c a n n o t b o t h b e t a k e n f o r c r e d i t ; u n b r o k e n a r r o w s l e a d f r o m p r e r e q u i s i t e t o s u c c e s s o r c o u r s e s . T h e d a s h e d l i n e s e p a r a t e s g e n e r a l f r o m o r g a n i c c h e m i s t r y ; t h e d o t t e d l i n e s i n d i c a t e p a t h s o f c o n t i n u a t i o n i n c h e m i s t r y . . . . . . . . . . . . . . . . . . . . . . . . . O r i g i n a l s c h e d u l i n g o f e x a m i n a t i o n w i n d o w s . E a c h t e r m b l o c k i s d i v i d e d i n t o t e n w e e k s . . . . . . . . . . . . . . . C u r r e n t s c h e d u l i n g o f e x a m i n a t i o n w i n d o w s . E a c h t e r m b l o c k i s d i v i d e d i n t o t e n w e e k s . . . . . . . . . . . . . . . R e l i a b i l i t i e s a n d : 2 0 c o n f i d e n c e i n t e r v a l s f o r t e s t s o f f i f t e e n i t e m s l i s t e d b y t e s t c o d e ( s e e A p p e n d i x B ) . . . . . P e r c e n t a g e d i s t r i b u t i o n o f s o u r c e s o f v a r i a t i o n i n r e l i a b i l i t y c o e f f i c i e n t s f r o m l i n e a r r e g r e s s i o n o f e i g h t v a r i a b l e s a n d p a r a l l e l f o r m s c o r r e l a t i o n c o e f f i c i e n t s . . R e l i a b i l i t i e s a n d : l : 2 c r c o n f i d e n c e i n t e r v a l s f o r s u b t e s t s o f p r o b l e m s l i s t e d b y t e s t c o d e ( s e e A p p e n d i x D ) . . . . . . . R e l i a b i l i t i e s a n d 1 : 2 0 c o n f i d e n c e i n t e r v a l s f o r s u b t e s t s o f i d e n t i c a l c o n t e n t l i s t e d b y t e s t c o d e ( s e e A p p e n d i x D ) . . R e l i a b i l i t i e s a n d : h Z O ' c o n f i d e n c e i n t e r v a l s f o r s u b t e s t s o f n o n p r o b l e m s l i s t e d b y t e s t c o d e ( s e e A p p e n d i x D ) . . . . R e l i a b i l i t y c o e f f i c i e n t v s . i t e m c h a n c e s c o r e f o r s u b t e s t s o f p r o b l e m s , s u b t e s t s o f n o n p r o b l e m s , a n d t e s t s o f m i x e d i t e m t y p e s . C o r r e s p o n d i n g l i n e a r e q u a t i o n s f r o m T a b l e D . 9 a r e p l o t t e d f o r s u b t e s t s o f p r o b l e m s a n d n o n p r o b l e m s , a n d f i f t e e n - i t e m t e s t s . . . . . . . . . . . . I t e m c h a n c e s c o r e v s . v a r i a n c e f r a c t i o n s o f g u e s s i n g a n d t o t a l e r r o r v a r i a n c e f o r f i f t e e n - i t e m t e s t s . . . . . . . . . x v i i P a g e 1 3 2 5 2 6 1 0 6 1 1 3 1 1 8 1 1 8 1 1 9 1 2 0 1 2 5 . 1 0 . 1 1 . 1 0 I t e m c h a n c e s c o r e v s . v a r i a n c e f r a c t i o n s o f g u e s s i n g a n d t o t a l e r r o r v a r i a n c e f o r s u b t e s t s o f p r o b l e m s . . . . . . . I t e m c h a n c e s c o r e v s . v a r i a n c e f r a c t i o n s o f g u e s s i n g a n d t o t a l e r r o r v a r i a n c e f o r s u b t e s t s o f n o n p r o b l e m s . . . . . I t e m c h a n c e s c o r e v s . g u e s s i n g a n d e r r o r v a r i a n c e f o r s u b t e s t s o f s h o r t - a n s w e r i t e m s c o m p a r e d w i t h i d e n t i c a l m u l t i p l e - c h o i c e i t e m s . . . . . . . . . . . . . . . . . . . . I t e m c h a n c e s c o r e v s . s t a n d a r d e r r o r o f m e a s u r e m e n t f o r f i f t e e n - i t e m t e s t s a n d t e n - i t e m s u b t e s t s o f p r o b l e m s . . . R e l a t i v e s c a l e p o s i t i o n s o f d i f f e r e n t r e s p o n s e c h o i c e s f o r t h r e e r e s p o n s e c o n t i n u a , t a k e n f r o m S p e c t o r . T h e s c a l e i s i n t e r v a l w i t h a r b i t r a r y u n i t s . . . . . . . . . . . . . . . C o u r s e e v a l u a t i o n s u r v e y - ' o l d ' f o r m . . . . . . . . . . . C o u r s e e v a l u a t i o n s u r v e y - ' n e w ' f o r m . . . . . . . . . . . L a s t - t r i e s m e a n p e r c e n t , a l l - t r i e s m e a n p e r c e n t , f i n a l g r a d e m e a n . . . . . . . . . . . . . . . . . . . . . . A v e r a g e p e r c e n t o f t h e e n r o l l m e n t t h a t a t t e m p t e d e a c h o f t h e e x a m s : o n c e - d a r k s c r e e n ; t w i c e - l i g h t s c r e e n ; w h i t e b l o c k s - t h r e e , f o u r , a n d f i v e t i m e s ; b l a c k - s i x o r m o r e t i m e s . . . . . . . . . . . . . . . . . E x a m m e a n p e r c e n t s f o r l a s t t r i e s a n d a l l t r i e s . . . . . . S a m p l e c o u r s e e v a l u a t i o n f o r m ( f r o n t ) f r o m C E M 1 3 0 F 7 5 . S a m p l e c o u r s e e v a l u a t i o n f o r m ( b a c k ) f r o m C E M 1 3 0 F 7 5 . . S a m p l e p r e c o u r s e a t t i t u d e f o r m . . . . . . . . . . . . . . S a m p l e p o s t c o u r s e a t t i t u d e f o r m . . . . . . . . . . . . . . R e g r e s s i o n p l o t o f m e a n r e s p o n s e o n p e r c e n t r e t u r n ; m e a n r e s p o n s e = 1 . 8 7 7 + 0 . 0 1 6 0 6 ( p e r c e n t r e t u r n ) . . . . . O b s e r v e d a n d a d j u s t e d r e s p o n s e m e a n s f o r F a c t o r 1 1 f r o m t h e c o u r s e e v a l u a t i o n f o r m . . . . . . . . . . . . . . R e s p o n s e m e a n s f o r F a c t o r 1 1 a n d F a c t o r 1 2 f r o m c o u r s e e v a l u a t i o n f o r m . . . . . . . . . . . . . . . . . . . x v i i i 1 2 6 1 2 7 1 3 3 1 4 0 1 7 2 1 7 7 1 7 8 2 0 4 2 0 5 2 0 9 2 1 4 2 1 5 2 1 8 2 1 9 2 2 3 2 2 3 2 2 5 4 . 1 1 I t e m 1 4 f r o m t h e c o u r s e e v a l u a t i o n : " I f I w e r e g i v e n t h e c h o i c e , I w o u l d c h o o s e t h i s m e t h o d f o r a c o u r s e r a t h e r t h a n t h e l e c t u r e / r e c i t a t i o n - t h r e e - e x a m s - a n d - a - f i n a l m e t h o d . " . . . . . . . . . . . . . . . . . . . . . . 2 2 7 4 . 1 2 I t e m 1 8 f r o m t h e c o u r s e e v a l u a t i o n : " B y w h i c h m e t h o d w o u l d y o u p r e f e r a c o u r s e t o b e t a u g h t ? " . . . . . . . . . 2 2 7 4 . 1 3 M e a n c o u r s e g r a d e i n C E M 1 3 0 a n d C E M 1 3 1 a n d f r e s h m a n G P A ; s e e t e x t . . . . . . . . . . . . . . . . . . . 2 4 3 x i x C h a p t e r I C h e m i s t r y l e a r n i n g s g s t e m s I . A . I n t r o d u c t i o n T e a c h i n g a n d c h e m i s t r y a r e l o n g s t a n d i n g a c t i v i t i e s o f m a n . Y e t a s s c i e n c e s , b o t h a r e r e l a t i v e l y n e w . T h e s c i e n c e o f c h e m i s t r y i s b a r e l y t w o h u n d r e d y e a r s o l d , a n d t h a t o f e d u c a t i o n i s j u s t o u t o f i n f a n c y . E v e n n e w e r i s t h e a p p l i c a t i o n b y c h e m i s t s o f i n s t r u c t i o n a l p r i n c i p l e s t o t h e i r o w n t e a c h i n g . A s H a v i g h u r s t [ 1 ] o b s e r v e d i n 1 9 4 1 , " . . . c h e m i s t r y t e a c h e r s h a v e n o t t r e a t e d t h e i r t e a c h i n g p r o b l e m a s a s c i e n t i f i c o n e , d e s e r v i n g t h e s a m e i n t e l l i g e n c e a n d i n d u s t r y , s c i e n t i f i c m e t h o d , a n d a t t i t u d e t h a t t h e y d e v o t e t o r e s e a r c h i n c h e m i s t r y . ” T h e y e a r s s i n c e W o r l d W a r I I h a v e b e e n o n e s o f b u r g e o n i n g e n r o l l m e n t s i n c o l l e g e c h e m i s t r y , c o u p l e d w i t h m o d e r n b u d g e t a r y l i m i t a t i o n s . T h u s s q u e e z e d f r o m b o t h s i d e s , t h e c h e m i c a l e d u c a t o r i s m o r e c o n c e r n e d t h a n e v e r i n t h e p a s t w i t h t h e e f f i c a c y o f h i s t e a c h i n g m e t h o d s . T h e l e a r n i n g s y s t e m c a n b e a s s i m p l e a s a n i n s t r u c t o r m e e t i n g d a i l y w i t h a g r o u p o f t h i r t y s t u d e n t s , o r a s c o m p l e x a s a c o u r s e w i t h s e v e r a l l e c t u r e r s , g r a d u a t e a s s i s t a n t s , p r o c t o r s , g r a d e r s , a n d a t h o u s a n d s t u d e n t s . I n a n y c a s e t h e t e a c h e r i s c o n c e r n e d w i t h t h e e f f i c a c y a n d e f f i c i e n c y o f h i s s y s t e m - - t h e r e s u l t s i n s t u d e n t a c h i e v e m e n t , a t t i t u d e , a n d b e h a v i o r - - a n d t h e c o s t s i n t i m e , m o n e y , a n d e f f o r t . E s s e n t i a l t o a n y e v a l u a t i o n o f a t e a c h i n g m e t h o d i s t h e m e a s u r e m e n t o f s t u d e n t a t t i t u d e s a n d a c h i e v e m e n t s . T h i s s t u d y e n c o m p a s s e s t h e a n a l y s i s a n d r e f i n e m e n t o f t h e m e a s u r e m e n t t e c h n i q u e s u s e d i n t h e r e c e n t l y i m p l e m e n t e d m o d u l a r s e l f - p a c e d 1 i n t r o d u c t o r y c h e m i s t r y s e q u e n c e a t M i c h i g a n S t a t e U n i v e r s i t y . B e f o r e a d i s c u s s i o n o f t h e e x p e r i m e n t a l w o r k i s p r e s e n t e d , a b r i e f h i s t o r y o f t h e m e t h o d s o f t e a c h i n g c h e m i s t r y a n d t h e r e c e n t d e v e l o p m e n t s i n i n s t r u c t i o n a l t e c h n i q u e a r e g i v e n , f o l l o w e d b y a d e s c r i p t i o n o f t h e i n s t r u c t i o n a l s e t t i n g i n w h i c h t h i s w o r k w a s d o n e a n d t o w h i c h t h e s e r e s u l t s a p p l y . I . A . 1 . H i s t o r i c a l m e t h o d s o f t e a c h i n g c h e m i s t r y I n d a y s o f y o r e t h e s t u d e n t l e a r n e d h i s a l c h e m y a s a n a p p r e n t i c e t o a m a s t e r c h y m i s t a m o n g t h e a l e m b i c s a n d r e t o r t s o f t h e m a s t e r ' s l a b o r a t o r y . A s t h e s c i e n c e o f c h e m i s t r y m a t u r e d , t h e n u m b e r o f s t u d e n t s t o b e i n s t r u c t e d g r e w , a n d t h e t u t o r i a l m a s t e r - a p p r e n t i c e m e t h o d p r o v e d e x c e e d i n g l y i n e f f i c i e n t . I t w a s a l s o i n a p p r o p r i a t e f o r t h e m a j o r i t y o f s t u d e n t s w h o d i d n o t a s p i r e t o b e p r o f e s s i o n a l c h e m i s t s , b u t w h o p u r s u e d c h e m i s t r y f o r i t s c u l t u r a l v a l u e o r i n t h e c o u r s e o f m e d i c a l s t u d i e s . T h e l e c t u r e b e c a m e t h e p r i n c i p a l m o d e o f t r a n s m i t t i n g c h e m i c a l k n o w l e d g e ? S o o n t e x t b o o k s w e r e b e i n g w r i t t e n a s s u p p l e m e n t s a n d a i d s t o t h e c o u r s e l e c t u r e s - - t h e f i r s t e n t i r e l y d o m e s t i c c h e m i s t r y t e x t w a s w r i t t e n i n 1 8 1 9 b y G o r h a m . D u r i n g t h e s e e a r l y y e a r s , s t u d e n t s w e r e a l m o s t n e v e r p r o v i d e d w i t h l a b o r a t o r y i n s t r u c t i o n . B e n j a m i n S i l l i m a n [ 3 ] , t h e m o s t p r o m i n e n t e d u c a t o r o f h i s d a y , r e f l e c t i n g h i s t i m e s a i d o f s t u d e n t s , * F o r a c o m p l e t e t r e a t m e n t o f t h e h i s t o r i c a l d e v e l o p m e n t o f c h e m i c a l e d u c a t i o n i n A m e r i c a s e e r e f e r e n c e s 2 - 5 . 3 " . . . I s h o u l d m u c h p r e f e r t h a t t h e y s h o u l d d o n o t h i n g ; f o r t h e n t h e y w o u l d n o t h i n d e r m e a n d m y t r a i n e d a s s i s t a n t s , n o r d e r a n g e n o r b r e a k t h e a p p a r a t u s . " N e a r t h e c l o s e o f t h e n i n e t e e n t h c e n t u r y , t h e v a l u e o f l a b o r a t o r y i n s t r u c t i o n w a s m o r e w i d e l y a c c e p t e d . A b o u t t h i s t i m e t h e c h e m i s t r y g r a d u a t e s t u d e n t m a d e h i s a p p e a r a n c e , a n d b y 1 9 1 4 o n e - s e v e n t h o f t h e P h . D . ' s g r a n t e d b y A m e r i c a n u n i v e r s i t i e s w e r e i n c h e m i s t r y . C o u p l e d w i t h t h e g r e a t e r a v a i l a b i l i t y o f l a b o r a t o r y a p p a r a t u s , t h e s e f a c t o r s l e d t o r a p i d a n d n e a r l y u n i v e r s a l i n c l u s i o n o f c h e m i s t r y l a b o r a t o r y i n s t r u c t i o n a s p a r t o f t h e l e a r n i n g s y s t e m . O f s o m e w h a t s l o w e r s p r e a d w a s t h e r e c i t a t i o n o r q u i z s e c t i o n , b u t b y t h e n i n e t e e n - t w e n t i e s i t t o o b e c a m e a s t a n d a r d p i e c e o f e d u c a t i o n a l m a c h i n e r y . A s u r v e y t a k e n b y H e n d r i c k s [ 6 ] i n 1 9 2 4 f o u n d t h a t c h e m i s t r y s t u d e n t s w e r e a f f o r d e d t w o o r t h r e e l e c t u r e h o u r s p e r w e e k , o n e q u i z h o u r , a n d t h r e e o r f o u r l a b o r a t o r y h o u r s . T h e q u i z o r d i s c u s s i o n s e c t i o n s a l o n g w i t h t h e l a b o r a t o r y m e e t i n g s h a v e n o t v a r i e d m u c h i n s i z e b e t w e e n f i f t e e n a n d t h i r t y s t u d e n t s f r o m t h e e a r l i e s t d a y s o f c h e m i c a l i n s t r u c t i o n t o t h e p r e s e n t . I n c o n t r a s t , l e c t u r e e n r o l l m e n t s h a v e i n c r e a s e d u n t i l f o u r h u n d r e d i n o n e l e c t u r e a r e n a i s n o t a n u n k n o w n o c c u r r e n c e . A s e a r l y a s 1 9 3 0 E h r e t [ 7 ] d e s c r i b e d t h e b e g i n n i n g c h e m i s t r y c o u r s e s a t N e w Y o r k U n i v e r s i t y w i t h a n n u a l e n r o l l m e n t s o f n e a r l y 1 4 0 0 s t u d e n t s e m p l o y i n g n i n e l e c t u r e r s a n d t h i r t y g r a d u a t e a s s i s t a n t s . T o d a y m o s t m a j o r i n s t i t u t i o n s c o n t e n d w i t h s i m i l a r n u m b e r s . 4 T o a c c o m m o d a t e l a r g e h e t e r o g e n e o u s e n r o l l m e n t s , e d u c a t o r s i n m a n y d i s c i p l i n e s h a v e e x p e r i m e n t e d w i t h t e a c h i n g m e t h o d s s o m e t i m e s r a d i c a l l y d i f f e r e n t f r o m t h e t r a d i t i o n a l l e c t u r e f o r m a t . M o s t o f t h e s e i n n o v a t i o n s a w a i t e d t h e d e v e l o p m e n t o f t h e t e c h n o l o g y t o r e l e a s e t h e i n s t r u c t o r f r o m l i v e o r a l ( d e l i v e r y o r p r i n t e d t e x t u a l m a t e r i a l . T h i s t e c h n o l o g y b e g a n i n f l u e n c i n g c o l l e g e c o u r s e s f r o m t h e n i n e t e e n - f i f t i e s o n w a r d . I . A . 2 . M o d e r n i n n o v a t i o n s i n p e d a g o g i c t e c h n o l o g y T h e p o s t w a r p r o g r e s s i n t h e t e c h n o l o g i e s o f c o m m u n i c a t i o n a n d c a l c u l a t i o n h a s h a d a m a j o r i m p a c t o n h o w c o u r s e s a r e t a u g h t . T h e m a j o r a d v a n c e s i n c l u d e t e l e v i s i o n , h i g h - s p e e d c o m p u t e r s , a u d i o a n d v i d e o c a s s e t t e s , o p t i c a l s c a n n e r s , t e l e t y p e s a n d t e r m i n a l s , a n d l o w - c o s t d u p l i c a t i n g m a c h i n e s . T h e t h r e e m o s t i m p o r t a n t l e a r n i n g s y s t e m i n n o v a t i o n s a r e ( 1 ) a u d i o - v i s u a l - t u t o r i a l , ( 2 ) p r o g r a m m e d i n s t r u c t i o n , a n d ( 3 ) s e l f - p a c e d i n s t r u c t i o n . E a c h o f t h e s e i n n o v a t i o n s w i l l b e b r i e f l y d i s c u s s e d a l o n g w i t h t h e t e c h n o l o g y w h i c h m a d e t h e m p o s s i b l e . I . A . 2 . a . A u d i o - v i s u a l - t u t o r i a l i n s t r u c t i o n S . N . P o s t l e t h w a i t e [ 8 , 9 ] i n t r o d u c e d t h e a u d i o - t u t o r i a l s y s t e m a t P u r d u e U n i v e r s i t y i n 1 9 6 1 a s a p r o g r a m o f r e m e d i a l a s s i s t a n c e f o r i n t r o d u c t o r y b o t a n y . T h e h e a r t o f t h e s y s t e m i s t h e p r e r e c o r d e d c o u r s e m a t e r i a l t o w h i c h s t u d e n t s h a v e f r e e a c c e s s . I n i t i a l l y a n d s t i l l 5 m o s t o f t e n t h i s m a t e r i a l i s a n a u d i o c a s s e t t e r e c o r d i n g w h i c h s e r v e s a s a f l e x i b l e s u b s t i t u t e f o r t h e l e c t u r e . P o s t l e t h w a i t e [ 1 0 ] s o o n e x p a n d e d t h e m e t h o d b e y o n d s i m p l e r e m e d i a l r e v i e w s t o i n c l u d e c o m p l e t e i n s t r u c t i o n a l m o d u l e s . E a c h a u d i o - v i s u a l - t u t o r i a l m o d u l e i n c l u d e s a u d i o c a s s e t t e s , v i s u a l a i d s , s u p p l e m e n t a r y p r i n t e d m a t e r i a l , a n d e x p e r i m e n t a l e q u i p m e n t o r m o d e l s . T w o o u t s t a n d i n g b e n e f i t s d i s t i n g u i s h A V T m e t h o d s f r o m t h e t r a d i t i o n a l l e c t u r e . F i r s t , t h e s t u d e n t i s n o t r e s t r i c t e d i n h i s s t u d y o f t h e c o u r s e m a t e r i a l b y t h e s c h e d u l e o f l e c t u r e s . S t u d e n t s m a y l i s t e n e s s e n t i a l l y a n y t i m e ( o f t e n i n c l u d i n g e v e n i n g s a n d w e e k - e n d s ) t o t h e a u d i o c a s s e t t e s . S e c o n d , a s a s t u d e n t i s g o i n g o v e r t h e m a t e r i a l , h e i s n o t c o n s t r a i n e d t o c o v e r i t a t t h e s a m e s p e e d a s a n o t h e r s t u d e n t , b u t m a y s t o p , r a c e a h e a d , o r b a c k t r a c k a s h e f e e l s n e c e s s a r y . T h e s e t w o r e a s o n s m a y e x p l a i n w h y t e l e v i s i o n n e v e r a p p r o a c h e d t h e p o p u l a r i t y o f t h e a u d i o c a s s e t t e . T e l e v i s i o n a s a t e a c h i n g a i d w a s r e v i e w e d b y B a r n a r d [ 1 1 - 1 3 ] i n 1 9 6 8 . T e l e v i s e d l e c t u r e s p r o v i d e n o n e o f t h e b e n e f i t s o f t h e a u d i o c a s s e t t e , a n d r e t a i n t h e d r a w b a c k s o f t h e l a r g e l e c t u r e i n a d d i t i o n t o t h e i m p e r s o n a l i t y o f a r e c o r d e d p r e s e n t a t i o n . V i d e o c a s s e t t e e q u i p m e n t i s s t i l l t o o e x p e n s i v e a n d c u m b e r s o m e f o r w i d e s p r e a d u s e ; t h u s t e l e v i s i o n i s l i m i t e d t o a r e a s w h e r e t h e v i s u a l i m a g e i s i n t e g r a l t o t h e p r e s e n t a t i o n . T h e m o s t s u c c e s s f u l c o n t i n u i n g u s e o f t e l e v i s i o n h a s b e e n i n l a b o r a t o r y i n s t r u c t i o n . W h e n u s e d t o d e m o n s t r a t e t h e p r o c e d u r e s t o b e u s e d a n d s h o w e x p e c t e d r e s u l t s , a p i c t u r e i s w o r t h a t h o u s a n d w o r d s . T h e t e l e v i s e d p r e - l a b o r a t o r y p r o g r a m m a i n t a i n s a c o n s i s t e n c y o f p r e s e n t a t i o n u n m a t c h e d b y t h e d i f f e r e n c e s w i t h i n a g r o u p o f l a b o r a t o r y i n s t r u c t o r s . W h e n f i n a l l y v i d e o c a s s e t t e s a r e a s i n e x p e n s i v e a n d e a s y t o u s e a s a u d i o c a s s e t t e s a r e t o d a y , t h e n t e l e v i s i o n w i l l g a i n a c c e p t a n c e a s a c o n v e n i e n t o p t i o n t o t h e b o o k , t a p e , o r l e c t u r e . I . A . 2 . b . P r o g r a m m e d i n s t r u c t i o n L a r g e l e c t u r e s a n d t h e v a r i o u s m e d i a m e t h o d s e x c e l i n t h e e f f i c i e n t p r e s e n t a t i o n o f m a t e r i a l ; t h e y d o n o t r e q u i r e b u t o n l y e n c o u r a g e t h e p a r t i c i p a t i o n o f t h e s t u d e n t i n t h i s p r o c e s s . P r o g r a m m e d i n s t r u c t i o n i s a s y s t e m a t i c p l a n o f p r e s e n t i n g c o u r s e m a t e r i a l w h i c h r e q u i r e s t h e a c t i v e p a r t i c i p a t i o n o f t h e s t u d e n t a s h e p r o c e e d s t h r o u g h t h e l e s s o n . J e s s e H . D a y [ 1 4 ] s u m m a r i z e d t h e p r o m i s e s o f p r o g r a m m e d i n s t r u c t i o n : " [ t h e s t u d e n t ] c a n n o t p r o c e e d f r o m i t e m 1 t o i t e m 2 u n t i l h e h a s l e a r n e d i t e m 1 . T h u s t h e r e i s a b u i l t - i n g u a r a n t e e t h a t w h e n h e h a s f i n i s h e d t h e p r o g r a m h e h a s l e a r n e d S E o f i t , n o t j u s t t h e 9 0 % n e e d e d f o r a n A . H e i s c o n t i n u o u s l y a c t i v e . H e c a n n o t s k i m o r s t a r - g a z e ; t h e p r o g r a m w a i t s p a t i e n t l y - - t h e s t u d e n t m u s t m a k e a c t i v e e f f o r t . T h e s t u d e n t l e a r n s w h a t h e d o e s ; h e i s n o p a s s i v e s p o n g e . H e p r o c e e d s a t h i s o w n p a c e ; t h e b r i g h t g o q u i c k l y , t h e n o t - s o - b r i g h t m o r e s l o w l y . T h e w e l l - w r i t t e n p r o g r a m i s s o l o g i c a l , c l e a r , a n d c o n - s e c u t i v e t h a t t h e s t u d e n t r a r e l y f a i l s t o m a k e e a c h s t e p . I t i s n o t l i k e a t u r g i d t e x t b o o k w h o s e e x p l a n a t i o n s n e e d e x p l a n a t i o n s . T h e s t u d e n t r e c e i v e s i m m e d i a t e c o n f i r m a t i o n o f e a c h r i g h t a n s w e r , o r i m m e d i a t e c o r r e c t i o n i f w r o n g . T h e r e i s n o w a i t i n g w h i l e p a p e r s a r e g r a d e d , t h e q u e s t i o n f o r g o t t e n , a n d i n t e r e s t p a s t . T h e c o n f i r m a t i o n o f c o r r e c t n e s s a t e a c h s t e p i s t r e m e n d o u s l y e n c o u r a g i n g t o t h e s t u d e n t a n d p r o v i d e s c o n f i d e n c e f o r t h e n e x t s t e p . " T h e r e a r e t w o f u n d a m e n t a l l y d i f f e r e n t k i n d s o f p r o g r a m s - - l i n e a r a n d i n t r i n s i c . J a y A . Y o u n g [ 1 5 ] d e s c r i b e s t h e l i n e a r p r o g r a m a s a s e r i e s o f s t a t e m e n t s i n t e r s p e r s e d w i t h f i l l - i n q u e s t i o n s . E a c h p a r a g r a p h w i t h a q u e s t i o n i s a ' f r a m e ' a n d t h e s t e p s b e t w e e n f r a m e s a r e s m a l l e n o u g h t h a t t h e s t u d e n t w i l l a l m o s t n e v e r m i s s a q u e s t i o n . T h e m a t e r i a l i s p r e s e n t e d i n a l o g i c a l ( l i n e a r ) p r o g r e s s i o n f r o m t h e i n i t i a l t o t h e c o n c l u d i n g s t a t e m e n t . D a y [ 1 6 ] d e s c r i b e s t h e i n t r i n s i c p r o g r a m a s b r a n c h i n g o r m u l t i p l e - c h o i c e r a t h e r t h a n l i n e a r o r f i l l - i n . T h e s t u d e n t i s p r e s e n t e d w i t h a q u e s t i o n a n d a s k e d t o s e l e c t h i s a n s w e r f r o m a s e t o f r e s p o n s e s . E a c h r e s p o n s e l e a d s t h e s t u d e n t t o a d i f f e r e n t b r a n c h o f t h e p r o g r a m , e x p l a i n i n g t h e m i s t a k e w h i c h l e d t o t h e w r o n g a n s w e r , o r r e i t e r a t i n g t h e r e a s o n i n g w h i c h g a v e t h e c o r r e c t a n s w e r . T h e ' t e a c h i n g m a c h i n e s ' m e n t i o n e d b y D a y [ 1 7 ] a n d S k i n n e r [ 1 8 ] a r e a u t o m a t e d v e r s i o n s o f p r o g r a m m e d i n s t r u c t i o n . S . L . P r e s s e y [ 1 9 ] [ m a y b e c r e d i t e d w i t h i n v e n t i n g t h e f i r s t t r u e t e a c h i n g m a c h i n e s i n t h e n i n e t e e n - t w e n t i e s . H o w e v e r , t h e e d u c a t i o n a l w o r l d w a s n o t t h e n r e a d y f o r s u c h a n i n d u s t r i a l r e v o l u t i o n . P r e s s e y [ 2 0 ] d e s p a i r e d a t t h i s i n t r a n s i g e n c e : " T h e w r i t e r h a s f o u n d f r o m b i t t e r e x p e r i e n c e t h a t o n e p e r s o n a l o n e c a n a c c o m p l i s h r e l a t i v e l y l i t t l e , a n d h e i s r e g r e t f u l l y d r o p p i n g f u r t h e r w o r k o n t h e s e p r o b l e m s . " I t w a s n o t u n t i l l e a r n i n g t h e o r y p r o v i d e d a r a t i o n a l e f o r t h e s u c c e s s o f t e a c h i n g m a c h i n e s 8 a n d o t h e r f o r m s o f p r o g r a m m e d i n s t r u c t i o n t h a t t h e i r u s e i n c r e a s e d . B . F . S k i n n e r [ 2 1 ] d i s c u s s e d t h e p o s t w a r d e v e l o p m e n t s i n t h e e x p e r i m e n t a l a n a l y s i s o f b e h a v i o r a n d c o n c l u d e d t h a t t h e p r i n c i p l e s o f c o n d i t i o n i n g , s h a p i n g , a n d b e h a v i o r m o d i f i c a t i o n h a v e a n e x c i t i n g f u t u r e i n e d u c a t i o n . " T h e p r i n c i p l e s e m e r g i n g f r o m t h i s a n a l y s i s , a n d f r o m a s t u d y o f v e r b a l b e h a v i o r b a s e d u p o n i t , a r e a l r e a d y [ 1 9 5 7 ] b e i n g a p p l i e d i n t h e d e s i g n o f m e c h a n i c a l d e v i c e s t o f a c i l i t a t e i n s t r u c t i o n i n r e a d i n g , s p e l l i n g , a n d a r i t h m e t i c i n y o u n g c h i l d r e n , a n d i n r o u t i n e t e a c h i n g a t t h e c o l l e g e l e v e l . " T h e m o s t a d v a n c e d f o r m o f t h e t e a c h i n g m a c h i n e i s t h e c o m p u t e r . T h e d i f f e r e n t w a y s p r o g r a m m e d i n s t r u c t i o n h a s b e e n c o m p u t e r i z e d a r e d e t a i l e d b y C a s t l e b e r r y [ 2 2 ] , E w i g [ 2 3 ] , L o w e r [ 2 4 ] , a n d G r a n d e y [ 2 5 ] . T h e u s e o f c o m p u t e r s r e q u i r e s a l a r g e i n i t i a l i n v e s t m e n t i n i n t e r a c t i v e c o m p u t e r t e r m i n a l s a n d t h e d e v e l o p m e n t o f s o p h i s t i c a t e d c o m p u t e r p r o g r a m s . P e r h a p s b e c a u s e o f t h i s h i g h c o s t i n t i m e a n d m o n e y , c o m p u t e r i z a t i o n h a s o n l y h a d a s u p p l e m e n t a r y r o l e i n i n s t r u c t i o n . C o m p u t e r a s s i s t e d i n s t r u c t i o n ( C A I ) i s a v e r y s u c c e s s f u l , i f e x p e n s i v e , m e t h o d o f d r i l l a n d p r a c t i c e . W h e n t h e c o s t s d e c r e a s e a n d w h e n s u c c e s s f u l p a c k a g e d p r o g r a m s a r e r e a d i l y a v a i l a b l e , t h e c o m p u t e r m a y p l a y a l a r g e r p a r t i n i n s t r u c t i o n . I . A . 2 . c . S e l f _ - p a c e d i n s t r u c t i o n F r e d S . K e l l e r [ 2 6 ] d e s c r i b e d a n i n n o v a t i v e l e a r n i n g s y s t e m i n h i s s e m i n a l a r t i c l e o f 1 9 6 8 . K e l l e r s u m m a r i z e d f i v e d i s t i n g u i s h i n g f e a t u r e s w h i c h s e t h i s m e t h o d a p a r t f r o m t h e c o n v e n t i o n a l : ( 1 ) T h e s t u d e n t g o e s t h r o u g h t h e c o u r s e m a t e r i a l a t h i s o w n p a c e ( 2 ) S t u d e n t s c a n n o t p r o c e e d t o n e w m a t e r i a l u n t i l t h e y h a v e d e m o n s t r a t e d m a s t e r y o f p r e v i o u s m a t e r i a l ( 3 ) L e c t u r e s a n d d e m o n s t r a t i o n s a r e s u p p l e m e n t a r y a n d m o t i v a t i o n a l , a n d d o n o t c o n t a i n a n y e s s e n t i a l m a t e r i a l ( 4 ) T h e w r i t t e n w o r d i s s t r e s s e d i n t e a c h e r - s t u d e n t c o m m u n i c a t i o n ( 5 ) T h e u s e o f a s s i s t a n t s a n d s t u d e n t p r o c t o r s p e r m i t s r e p e a t e d t e s t i n g , i m m e d i a t e f e e d b a c k , a n d a l m o s t u n a v o i d a b l e t u t o r i n g T h e K e l l e r p l a n , o r P e r s o n a l i z e d S y s t e m o f I n s t r u c t i o n ( P S I ) a s i t i s n o w m o s t o f t e n c a l l e d , h a s s p r e a d w i t h a l m o s t r e v o l u t i o n a r y f i r e . I n d e e d , a s c a n t t h r e e y e a r s a f t e r K e l l e r ' s o r i g i n a l a r t i c l e , G r e e n [ 2 7 ] a s k e d w h e t h e r t h e p l a n w a s c a t c h i n g o n t o o f a s t . M a n y m o d i f i c a t i o n s h a v e a p p e a r e d , b u t t h e m o s t e n d u r i n g f e a t u r e i n t h e s e v a r i a t i o n s o n t h e K e l l e r t h e m e i s s e l f - p a c i n g . T h e s e l f - p a c i n g e l e m e n t i n P S I d e m a n d s t h a t a n a l t e r n a t i v e t o t h e t r a d i t i o n a l f i x e d c l a s s m e e t i n g b e f o u n d . K e l l e r p o i n t s o u t t h a t t h i s d o e s n o t m e a n t h e t e a c h e r m u s t u s e p r o g r a m m e d i n s t r u c t i o n , a u d i o - v i s u a l m e d i a , o r t e a c h i n g m a c h i n e s . W h a t i s m o s t i m p o r t a n t i s t h a t s t u d e n t s b e t o l d e x a c t l y w h a t t h e y a r e e x p e c t e d t o l e a r n a n d t h e n b e g i v e n t h e f r e e d o m t o d e t e r m i n e w h e n a n d h o w t o l e a r n i t . T h e K e l l e r p l a n d o e s n o t d e p e n d o n m o d e r n t e c h n o l o g y . W h e t z e l [ 2 8 ] d e s c r i b e d i n 1 9 3 0 a ' K e l l e r - b e f o r e - K e l l e r ' m e t h o d r e l y i n g o n a t e x t b o o k a n d m i m e o g r a p h e d h a n d o u t s . I t s e e m s a g a i n , a s i n t h e c a s e 1 0 o f p r o g r a m m e d i n s t r u c t i o n , t h a t g r o w t h o f t h e s e l f - p a c i n g m e t h o d w a i t e d u n t i l t h e m o r e f a v o r a b l e c l i m a t e o f t h e l a s t d e c a d e s . I . A . 2 . d . T h e c o n f l u e n c e o f i n n o v a t i o n s Y e s t e r d a y ' s t e a c h e r h a d f e w c h o i c e s t o m a k e a b o u t t h e m e t h o d s o f h i s p r o f e s s i o n . B e y o n d d e c i d i n g w h e t h e r t o g i v e t h r e e o r t w o h o u r e x a m s , h o w m u c h t o w e i g h t t h e f i n a l , w h i c h d e m o n s t r a t i o n t o p e r f o r m i n l e c t u r e , a n d o t h e r e s s e n t i a l l y m i n o r c o n c e r n s , t h e i n s t r u c t o r p r a c t i c e d w i t h i n t h e t i m e - t e s t e d t r a d i t i o n a l f o r m a t . T o d a y ' s t e a c h e r h a s m a n y m o r e o p p o r t u n i t i e s t o b e t h e c r e a t i v e m a n a g e r o f a l e a r n i n g s y s t e m r a t h e r t h a n a p a r r o t o r e n t e r t a i n e r o r d i s c i p l i n a r i a n . T h e o p t i o n s a v a i l a b l e t o t h e i n s t r u c t o r p l a n n i n g a c o u r s e a r e m a n y , a n d h i s a p p r o a c h t o d e s i g n i n g a l e a r n i n g s y s t e m w i l l b e e c l e c t i c . A l i s t o f t h e m a j o r c h o i c e s a f f o r d e d t h e i n s t r u c t o r i s p r e s e n t e d i n T a b l e 1 . 1 i n f o u r a r e a s - - p r e s e n t a t i o n , p a c i n g , t e s t i n g a n d g r a d i n g , a n d a s s i s t a n c e . H h t m m fl m m o H H H e m * 1 0 5 0 1 1 T a b l e 1 . 1 I n s t r u c t i o n a l d e s i g n o p t i o n s P r e s e n t a t i o n o f c o u r s e m a t e r i a l L a r g e l e c t u r e - l i t t l e o r n o t e a c h e r - s t u d e n t i n t e r a c t i o n S m a l l l e c t u r e - o p p o r t u n i t y f o r q u e s t i o n s o r d i s c u s s i o n . S e m i n a r - d i s c u s s i o n w i t h o u t f o r m a l l e c t u r e p r e s e n t a t i o n s . A u d i o c a s s e t t e s a v a i l a b l e f o r u n s c h e d u l e d s t u d e n t u s e . T e l e v i s e d l e c t u r e s l i v e o r o n a l i m i t e d s c h e d u l e . V i d e o c a s s e t t e s a v a i l a b l e f o r u n s c h e d u l e d s t u d e n t u s e P r o g r a m m e d t e x t s f o r s t u d e n t s e l f - s t u d y o r r e m e d i a t i o n T e a c h i n g m a c h i n e s f o r s t u d e n t s e l f - s t u d y o r r e m e d i a t i o n C A I 9 - i n t e r a c t i v e c o m p u t e r s y s t e m o f p r o g r a m m e d i n s t r u c t i o n T e x t b o o k - u s u a l l y a s a n a d j u n c t p r e s e n t a t i o n H a n d o u t s - a s s u p p l e m e n t a r y m a t e r i a l P a c i n g ' o f p r e s e n t a t i o n 1 . 2 . 3 . I n s t r u c t o r p a c i n g a c c o r d i n g t o a d e f i n i t e s c h e d u l e S e l f - p a c e d w i t h i n t h e m a t r i c u l a t e d t e r m M o d u l a r p a c i n g - s e l f - p a c i n g b e t w e e n s c h e d u l e d d e a d l i n e s T e s t i n g a n d g r a d i n g 1 . 2 . 3 . S i n g l e - t r y e x a m i n a t i o n s w i t h a ' c u r v e d ' g r a d i n g s c a l e R e p e a t a b l e m a s t e r y t e s t s w i t h p a s s i n g s c o r e s e t v e r y h i g h - g r a d e i s b a s e d o n t h e n u m b e r o f t e s t s s u c c e s s f u l l y p a s s e d R e p e a t a b l e t e s t s g r a d e d w i t h a p r e d e t e r m i n e d s c a l e - c o u r s e g r a d e i s b a s e d o n t h e c u m u l a t i v e o r ' l a s t - t r i e s ' a v e r a g e A s s i s t a n c e . I n t e r r u p t i o n o f c l a s s p r e s e n t a t i o n . A f t e r c l a s s o r b y a p p o i n t m e n t S p e c i a l r e c i t a t i o n o r d i s c u s s i o n s e c t i o n s H e l p R o o m a s s i s t a n c e . S u p p l e m e n t a r y p r e s e n t a t i o n m a t e r i a l T u t o r i a l a s s i s t a n c e b y c o n t r a c t o r a p p o i n t m e n t 1 2 I . B . I n t r o d u c t o r y c h e m i s t r y a t M i c h i g a n S t a t e U n i v e r s i t y T h e c u r r i c u l u m o f c h e m i s t r y c o u r s e s o f f e r e d i n t h e D e p a r t m e n t o f C h e m i s t r y a t M i c h i g a n S t a t e U n i v e r s i t y u n d e r w e n t a m a j o r r e v i s i o n i n t h e F a l l o f 1 9 6 7 . P r e v i o u s l y t h e d e p a r t m e n t p r o v i d e d t w o i n t r o d u c t o r y s e q u e n c e s - - C E M 1 0 1 , 1 0 2 , a n d 1 0 3 f o r n o n m a j o r s a n d C E M 1 1 1 , 1 1 2 , a n d 1 1 3 f o r m a j o r s . C u r r e n t l y t e n d i f f e r e n t c o u r s e s a r e o f f e r e d w h i c h c a n b e a r r a n g e d i n m o r e t h a n t e n d i f f e r e n t s e q u e n c e s . T h e h i e r a r c h y o f p a t h s a m o n g t h e s e c o u r s e s i s i l l u s t r a t e d i n F i g u r e 1 . 1 . U n t i l 1 9 7 3 , h o w e v e r , a l l t h e c o u r s e s w e r e t a u g h t b y t h e t r a d i t i o n a l l e c t u r e - r e c i t a t i o n a p p r o a c h . I n W i n t e r o f 1 9 7 3 , a m a j o r c h a n g e w a s m a d e i n t h e w a y C E M 1 3 0 a n d 1 3 1 a r e t a u g h t . T h e s e t w o c o u r s e s - - w h i c h e n r o l l a b o u t o n e - t h i r d o f t h e e n t i r e f r e s h m a n c l a s s a t t h e u n i v e r s i t y - - a r e n o w t a u g h t b y a m o d u l a r s e l f - p a c e d s y s t e m . B o t h t h e t r a d i t i o n a l m e t h o d s a n d t h i s r e c e n t i n n o v a t i o n w i l l n o w b e d e s c r i b e d . I . B . 1 . T r a d i t i o n a l t e a c h i n g m e t h o d s W h e n t h e s y l l a b u s o f i n t r o d u c t o r y c h e m i s t r y c o u r s e s w a s r e s t r u c t u r e d i n 1 9 6 7 , t h e l a b o r a t o r y s e c t i o n s p r e v i o u s l y a t t a c h e d t o s p e c i f i c l e c t u r e c o u r s e s w e r e e s t a b l i s h e d a s s e p a r a t e l y n u m b e r e d c o u r s e s . T h e m e t h o d s b y w h i c h t h e s e c o u r s e s w e r e a n d c o n t i n u e t o b e t a u g h t a r e t y p i c a l " a n d w i l l n o t b e f u r t h e r d i s c u s s e d . * T h e o n l y f e a t u r e w h i c h m i g h t b e c o n s i d e r e d i n a n y w a y u n u s u a l i s t h e o c c a s s i o n a l u s e o f r e c o r d e d t e l e v i s i o n p r e - l a b o r a t o r y d e m o n s t r a t i o n s . c t u r e s L 3 e 1 1 3 0 , 1 1 4 1 L a [ 1 b 6 s 1 ] 1 3 t 0 6 2 ] . 1 5 3 \ 1 4 2 [ 1 6 3 ] 3 5 1 2 4 1 1 2 2 3 5 2 2 4 2 3 5 3 - » 2 4 5 F i g u r e 1 . 1 H i e r a r c h y o f i n t r o d u c t o r y c h e m i s t r y c o u r s e s . C o u r s e s i n t h e s a m e r o w c a n n o t b o t h b e t a k e n f o r c r e d i t ; u n b r o k e n a r r o w s l e a d f r o m p r e r e q u i s i t e t o s u c c e s s o r c o u r s e s . T h e d a s h e d l i n e s e p a r a t e s g e n e r a l f r o m o r g a n i c c h e m i s t r y ; t h e d o t t e d l i n e s i n d i c a t e p a t h s o f c o n t i n u a t i o n i n c h e m i s t r y . 1 4 T h e d e s c r i p t i o n o f t h e t r a d i t i o n a l l e a r n i n g s y s t e m u s e d i n t h e l e c t u r e c o u r s e s i s o r g a n i z e d a c c o r d i n g t o t h e h e a d i n g s i n t r o d u c e d i n t h e p r e v i o u s s e c t i o n l i s t i n g t h e c h o i c e s a f f o r d e d t h e i n s t r u c t o r i n t h e d e s i g n o f a l e a r n i n g s y s t e m . P r e s e n t a t i o n o f c o u r s e m a t e r i a l . T r a d i t i o n a l l y , t h e l i v e l e c t u r e i s t h e b a s i c v e h i c l e u s e d t o p r e s e n t c o u r s e m a t e r i a l t o s t u d e n t s . W h e n t h e s i z e o f t h e e n r o l l m e n t p r e c l u d e s a l l s t u d e n t s m e e t i n g i n t h e s a m e r o o m , s e p a r a t e - b u t - e q u a l l e c t u r e s e c t i o n s a r e o f f e r e d . T h e l e c t u r e r s i n m u l t i - s e c t i o n e d c o u r s e s m e e t r e g u l a r l y a n d d i s c u s s w h a t w i l l b e c o v e r e d i n t h e s y l l a b u s o f t o p i c s i n o r d e r t h a t l e c t u r e s p r o c e e d c o n c u r r e n t l y t h r o u g h t h e s a m e m a t e r i a l . F a c u l t y m e m b e r s a r e a s s i g n e d t o l e c t u r e i n t h e v a r i o u s c o u r s e s o n a r o t a t i n g b a s i s a c c o r d i n g t o t h e i r s u b j e c t c o m p e t e n c y a n d p e d a g o g i c p r e f e r e n c e s . A l l t h e l e c t u r e c o u r s e s u s e a t e x t b o o k a s a s e c o n d a r y m e t h o d o f p r e s e n t a t i o n . T h e e x t e n t t o w h i c h t h e l e c t u r e r r e l i e s o n t h e t e x t i s a f u n c t i o n o f b o t h t h e a d e q u a c y o f c o m m e r c i a l l y a v a i l a b l e t e x t b o o k s a n d a l s o o f t h e i n s t r u c t o r ' s s t y l e . A d d i t i o n a l m a t e r i a l i s f r e q u e n t l y p r e s e n t e d a s h a n d o u t s r e p r o d u c e d i n q u a n t i t y i n t h e C h e m i s t r y D e p a r t m e n t c o p y c e n t e r . T h e s e h a n d o u t s m a y b e n e c e s s a r y t o b r i d g e g a p s i n t e x t b o o k c o v e r a g e o f s y l l a b u s t o p i c s o r m a y o n l y b e s u p p l e m e n t a r y h o m e w o r k a s s i g n m e n t s a n d p r a c t i c e p r o b l e m s . P a c i g o f p r e s e n t a t i o n . S i n c e t h e p r i n c i p a l m o d e o f p r e s e n t a t i o n i s t h e l i v e l e c t u r e , a l l s t u d e n t s a r e c o n s t r a i n e d t o p r o g r e s s a t t h e s a m e r a t e . T h e s e l e c t u r e c o u r s e s a r e a l m o s t e n t i r e l y 1 5 i n s t r u c t o r - p a c e d ; o n l y w h e n t h e i n s t r u c t o r t r e a t s t h e l e c t u r e s a s s e c o n d a r y t o t h e t e x t b o o k d o e s t h e s t u d e n t h a v e a n y o p p o r t u n i t y t o a l t e r t h e p a c e a t w h i c h h e c o v e r s t h e m a t e r i a l . T e s t i n g _ a _ n d g a d i r i g ; M e a s u r e m e n t o f s t u d e n t a c h i e v e m e n t i s a c c o m p l i s h e d b y l e n g t h y a n d i n f r e q u e n t t e s t i n g . T w o o r t h r e e h o u r e x a m s a n d a t w o - h o u r f i n a l e x a m a r e u s e d t o o b t a i n a d i s t r i b u t i o n o f s t u d e n t a c h i e v e m e n t . C o u r s e s w h i c h a l s o h a v e r e c i t a t i o n o r q u i z s e c t i o n s m a y o f t e n i n c l u d e g r a d e s f r o m h o m e w o r k o r s h o r t q u i z z e s i n a s t u d e n t ' s t o t a l s c o r e ? r B a s e d o n t h e d i s t r i b u t i o n o f t o t a l o r m e a n s c o r e s , a n d a l s o o n t h e i n s t r u c t o r ' s e x p e c t a t i o n s o f c l a s s p e r f o r m a n c e , c u t o f f p o i n t s a r e e s t a b l i s h e d a n d g r a d e s a r e a s s i g n e d . T h e p r o c e s s e n s u r e s t h a t , a t l e a s t f o r l a r g e c l a s s e s , t h e d i s t r i b u t i o n o f f i n a l g r a d e s i s r e l a t i v e l y c o n s t a n t f r o m t e r m t o t e r m . A s s i s t a n c e . M o s t o f t h e i n t r o d u c t o r y c h e m i s t r y c o u r s e s h a v e a l a r g e l e c t u r e s e c t i o n a c c o m p a n i e d b y a s m a l l e r r e c i t a t i o n o r q u i z s e c t i o n . T h e s e r e c i t a t i o n c l a s s e s a r e s t a f f e d b y g r a d u a t e t e a c h i n g a s s i s t a n t s w i t h w h o m a b o u t t w e n t y - f i v e s t u d e n t s m e e t f o r o n e h o u r e a c h w e e k . D u r i n g r e c i t a t i o n , s t u d e n t s h a v e t h e o p p o r t u n i t y t o a s k q u e s t i o n s , d i s c u s s t h e l e c t u r e , a n d r e v i e w h o m e w o r k p r o b l e m s . I n a d d i t i o n , a g e n e r a l c h e m i s t r y h e l p r o o m i s s t a f f e d o n a r o t a t i n g b a s i s b y g r a d u a t e a s s i s t a n t s a s s i g n e d t o r e c i t a t i o n s e c t i o n s i n t h e l a r g e s t 1 " S c h w e n d e m a n [ 2 9 ] d e s c r i b e d a m e t h o d o f s t a n d a r d i z i n g t h e g r a d e s r e c e i v e d o n q u i z z e s o r h o m e w o r k b a s e d o n t h e c o m m o n h o u r a n d f i n a l e x a m i n a t i o n s . T h i s c o m p u t e r i z e d m e t h o d o f a v e r a g i n g a n d w e i g h t i n g w a s s o m e t i m e s u s e d i n C E M 1 1 1 a n d 1 1 2 a n d i n C E M 1 3 0 , 1 3 1 , a n d 1 4 1 . 1 6 c o u r s e s . S t u d e n t s m a y r e c e i v e m o r e i n d i v i d u a l i z e d a s s i s t a n c e o n a w a l k - i n b a s i s b y g o i n g t o t h e h e l p r o o m . A l s o , s p e c i a l h e l p s e s s i o n s a r e u s u a l l y h e l d t h e d a y b e f o r e i m p o r t a n t e x a m i n a t i o n s . A n d f i n a l l y , s t u d e n t s m a y s e e k h e l p f r o m t h e l e c t u r i n g p r o f e s s o r o r t e a c h i n g a s s i s t a n t e i t h e r a f t e r c l a s s , d u r i n g o f f i c e h o u r s , o r b y a p p o i n t m e n t . I . B . 2 . M o d u l a r s e l f - p a c e d i n t r o d u c t o r y c h e m i s t r y I n t h e s p r i n g o f 1 9 7 2 t h e C h e m i s t r y D e p a r t m e n t a t M i c h i g a n S t a t e U n i v e r s i t y a c c e p t e d a p r o p o s a l f r o m t h e E d u c a t i o n a l P o l i c i e s C o m m i t t e e a n d t h e G e n e r a l C h e m i s t r y C o m m i t t e e t o c o m p l e t e l y r e s t r u c t u r e t h e w a y s i n w h i c h C E M 1 3 0 a n d 1 3 1 w e r e t a u g h t . A s t h e p r i n c i p a l a r c h i t e c t o f t h e n e w s y s t e m , D r . R o b e r t N . H a m m e r [ 3 0 ] s e t o u t s o m e o f t h e p h i l o s o p h y a n d a s s u m p t i o n s o n w h i c h t h e p l a n n e d c h a n g e s w e r e b a s e d . T h e s e a r e e x e r p t e d h e r e : " T h e a i m o f t h i s p l a n i s t o i m p r o v e t h e t e a c h i n g o f i n t r o d u c t o r y c h e m i s t r y b y m a x i m u m i n d i v i d u a l i z a t i o n o f s u b j e c t m a t t e r a n d t e a c h i n g m e t h o d s w i t h o u t b u r d e n i n g t h e f a c u l t y o r g r a d u a t e t e a c h i n g a s s i s t a n t s , w i t h o u t i n c r e a s i n g c o s t s , a n d w i t h o u t s a c r i f i c i n g s c h o l a r l y s t a n d a r d s . " " A l t h o u g h t h e r e i s n o t h i n g s a c r e d a b o u t t h e w a y w e t e a c h o u r m a j o r s , n e i t h e r i s t h e r e a n y c o m p e l l i n g n e e d t o c h a n g e w h a t w e t e a c h o r h o w w e t e a c h i t . C h e m i s t r y m a j o r s a n d o t h e r s w h o a r e h a p p y i n t h e l e c t u r e - r e c i t a t i o n s y s t e m m i g h t b e h a n d l e d b y c o n t i n u a t i o n o f t h e . . . 1 4 1 , 1 5 2 , 1 5 3 s e q u e n c e . " ” L e c t u r i n g i s a n i n e f f i c i e n t w a y t o t e a c h f a c t s a n d i d e a s t o m o s t b e g i n n i n g s t u d e n t s . " " S t u d e n t s s h o u l d b e t o l d i n d e t a i l a n d i n w r i t i n g e x a c t l y w h a t t h e y a r e e x p e c t e d t o k n o w a n d w h a t t h e y a r e t o b e a b l e t o d o a f t e r s t u d y i n g a t o p i c . " 1 7 ” S t u d e n t s c a n a n d w i l l t e a c h t h e m s e l v e s w h e n g i v e n g u i d a n c e , p r o p e r l e a r n i n g r e s o u r c e s , a n d a d e q u a t e r e w a r d s . W h e n e a c h o f t h e s e e s s e n t i a l s i s p r e s e n t , s e l f - t e a c h i n g a p p e a r s t o b e m o r e p o p u l a r a n d m o r e e f f e c t i v e f o r m o s t s t u d e n t s ( t h o u g h p r o b a b l y n o t a l l ) t h a n i s p a s s i v e l i s t e n i n g i n t h e l e c t u r e r o o m . S e l f - t e a c h i n g h a s t h e a d d i t i o n a l a d v a n t a g e t h a t i t c u l t i v a t e s i n d e p e n - d e n c e o n t h e p a r t o f t h e s t u d e n t . " " T h e r e a r e n e v e r e n o u g h i n s t r u c t o r s a n d n e v e r w i l l b e . H o w e v e r , t h i s p r o p o s a l i s b a s e d o n t h e a s s u m p t i o n t h a t w e p r o b a b l y m u s t g e t a l o n g w i t h f e w e r G r a d u a t e T e a c h i n g A s s i s t a n t s i n t h e n e a r f u t u r e a n d t h a t d o l l a r c o s t s c a n b e n o g r e a t e r t h a n n o w , o n c e a n o p e r a t i o n a l s t e a d y s t a t e h a s b e e n a t t a i n e d . T h e u n m i s t a k a b l e m e s s a g e , t h e n , t o a n y o n e w h o w a n t s t o i m p r o v e c h e m i c a l e d u c a t i o n i s t h a t p e o p l e m u s t b e r e s e r v e d f o r t h o s e t a s k s t h a t n e e d p e o p l e , a n d p e o p l e ' s s k i l l s a n d a b i l i t i e s m u s t b e f o c u s e d o n t a s k s t h e y f i t . F u r t h e r m o r e , m a c h i n e s - - o f m a n y k i n d s - - m u s t b e u s e d w i s e l y t o d o t h e r e p e t i t i v e , m e c h a n i c a l , o r c l e r i c a l t a s k s w h i c h w e c a n n o l o n g e r a f f o r d t o d o w i t h p r o f e s s i o n a l l y t r a i n e d m i n d s a n d h a n d s . " " A n o t h e r a s s u m p t i o n o f t h i s p r o p o s a l i s t h a t t h e ' e q u a l t i m e a n d t r e a t m e n t f o r a l l ' p h i l o s o p h y c h a r a c t e r i s t i c o f t r a d i t i o n a l c l a s s r o o m t e a c h i n g i s n o l o n g e r a c c e p t a b l e . " " W e s h o u l d w o r k t o w a r d a n e d u c a t i o n a l s y s t e m i n w h i c h a s t u d e n t c a n s t u d y i n h i s i n d i v i d u a l w a y - - w i t h g u i d a n c e , l e a r n i n g a i d s , a n d r e w a r d s - - a n d r e c e i v e i n d i v i d u a l h e l p i f a n d w h e n h e n e e d s o r w a n t s i t . " " T h e a b i l i t y t o w o r k r a p i d l y d o e s n o t s e e m t o h a v e s u f f i c i e n t m e r i t t o c o m p e n s a t e f o r d a m a g e d o n e b y r u s h i n g s t u d e n t s t h r o u g h l e a r n i n g o r t e s t i n g p r o c e s s e s . N e i t h e r d o e s t h e r e a p p e a r t o b e m u c h j u s t i f i c a t i o n f o r t h e r e q u i r e m e n t t h a t a l l s t u d e n t s w o r k a t t h e s a m e r a t e . H e n c e , w i t h i n t h e b r o a d l i m i t s i m p o s e d b y t h e t e r m s y s t e m a n d e c o n o m i c a l p r o g r a m a d m i n i s t r a t i o n , s t u d e n t s s h o u l d b e f r e e t o p r o g r e s s a t s e l f - c h o s e n r a t e s . " T h e s y s t e m m a c h i n e r y f o r t h e t w o - t e r m s e q u e n c e o f C E M 1 3 0 a n d 1 3 1 w a s c o n s t r u c t e d d u r i n g t h e f a l l a n d w i n t e r o f 1 9 7 2 - 7 3 , a n d t e a c h i n g a c t u a l l y b e g a n d u r i n g W i n t e r a n d S p r i n g o f 1 9 7 3 . T h e b a s i c d e s i g n e l e m e n t s a r e d i s c u s s e d b e l o w ; a l s o n o t e d a r e t h e e v o l u t i o n a r y c h a n g e s w h i c h w e r e m a d e d u r i n g t h e p e r i o d o f t h e s e s t u d i e s . 1 8 I . B . 2 . a . S y l l a b u s a n d s t u d y g u i d e s T h e s y l l a b u s o f t o p i c s i s t h e t a b l e o f c o n t e n t s o f t h e s e c o u r s e s . I t h a s b e e n d i v i d e d i n t o u n i t s o f w o r k a p p r o x i m a t e l y e q u i v a l e n t t o o n e l e c t u r e p e r i o d p l u s a s s o c i a t e d o u t - o f - c l a s s a s s i g n m e n t . T h e r e a r e t h i r t y - s i x u n i t s i n C E M 1 3 0 a n d t w e n t y - s e v e n i n C E M 1 3 1 s o t h a t n i n e u n i t s c o r r e s p o n d t o o n e a c a d e m i c c r e d i t . A s t u d y g u i d e f o r e a c h u n i t " r d e s c r i b e s t h e p a t h b y w h i c h t h e s t a t e d g o a l s o f t h e u n i t a r e r e a c h e d . T h e S t u d y g u i d e i s t h e i n d i s p e n s i b l e c e n t r a l e l e m e n t i n t h i s i n s t r u c t i o n a l s y s t e m . E a c h s t u d y g u i d e c o n s i s t s o f t h r e e p a r t s . T h e f i r s t s e c t i o n i s a n i n t r o d u c t i o n t o t h e t o p i c a n d a s t a t e m e n t o f t h e e d u c a t i o n a l g o a l s o f t h e u n i t . A l t h o u g h e a r l y v e r s i o n s o f s o m e s t u d y g u i d e s i n c l u d e d o b j e c t i v e s s e t f o r t h i n b e h a v i o r a l t e r m s , t h e c u r r e n t p r a c t i c e i s t o b e m o r e g e n e r a l . A m o r e p r a c t i c a l e x a m p l e o f t h e e x p e c t e d s t u d e n t b e h a v i o r i s p r o v i d e d b y t h e s t u d y q u e s t i o n s a n d p r a c t i c e p r o b l e m s . T h e s e c o n d c o m p o n e n t o f t h e s t u d y g u i d e i s t i t l e d W h a t T o D o . F o u r b a s i c s t e p s f o r m t h e s k e l e t o n o f t h i s p e d a g o g i c a l g o r i t h m . F i r s t , t h e s t u d e n t i s t o l i s t e n t o a n a u d i o c a s s e t t e f o r t h a t u n i t . S e c o n d , h e i s t o r e v i e w t h e a p p r o p r i a t e t e x t b o o k r e f e r e n c e s . T h i r d , h e s h o u l d a n s w e r t h e s t u d y q u e s t i o n s a n d w o r k t h e p r a c t i c e p r o b l e m s i n c l u d e d i n t h e s t u d y g u i d e . F i n a l l y , t h e s t u d e n t i s d i r e c t e d t o b e g i n t h e n e x t u n i t . T h i s b a s i c l i s t e n - r e a d - p r a c t i c e - p r o c e e d s e q u e n c e o f s t e p s i s f r e q u e n t l y * O n l y i n r a r e c a s e s w h e r e s u b t o p i c s c a n n o t b e d i v i d e d i n t o s e p a r a t e p a c k a g e s a r e m o r e t h a n o n e u n i t i n c l u d e d i n a s i n g l e s t u d y g u i d e . T h e s y l l a b u s i s l i s t e d i n A p p e n d i x A . 1 9 e x p a n d e d o r e l a b o r a t e d . T h e s t u d e n t ' s a t t e n t i o n m a y b e d i r e c t e d t o s p e c i a l m o d e l s o r l a b o r a t o r y e x a m p l e s . A s p e c i a l m o t i o n p i c t u r e o r f i l m l o o p m a y b e r e c o m m e n d e d . R e m i n d e r s a r e o f t e n m a d e t o r e v i e w t h e s y l l a b u s a n d t o s e e k a s s i s t a n c e i n t h e H e l p R o o m w h e n n e e d e d . W h e n a u n i t i s t h e l a s t i n a s e r i e s f o r a n e x a m , t h e s t u d e n t i s a d v i s e d t o t r y a s a m p l e e x a m , d o a n y n e e d e d r e v i e w , a n d t h e n t a k e t h e f o r m a l e x a m i n a t i o n c o v e r i n g t h o s e u n i t s . T h e l i s t o f s t u d y q u e s t i o n s i s t h e f i n a l e l e m e n t i n e a c h s t u d y g u i d e . O c c a s s i o n a l l y , s u p p l e m e n t a r y n o t e s w i l l b e i n c l u d e d w i t h t h e s t u d y q u e s t i o n s s o t h a t w h a t i s h e a r d o n t a p e o r r e a d i n t h e t e x t i s r e i t e r a t e d i n a n e a s i l y r e v i e w a b l e f o r m . T h e s e q u e s t i o n s a n d p r o b l e m s p r o v i d e a w o r k i n g e x a m p l e o f t h e o b j e c t i v e s o f t h e u n i t . T h e s a m p l e e x a m i n c l u d e d w i t h t h e l a s t u n i t i n a t e s t a b l e c l u s t e r i s y e t a n o t h e r e x a m p l e o f u n i t o b j e c t i v e s . W h e n t h e s t u d e n t i s a b l e t o a n s w e r t h e s e q u e s t i o n s h e i s r e a d y t o c o n t i n u e t o t h e n e x t u n i t o r e x a m . T h u s t h e s t u d y g u i d e f u l f i l l s t h r e e f u n c t i o n s : 1 . D e f i n e e x a c t l y w h a t t h e s t u d e n t i s t o l e a r n . 2 . L i s t t h e r e s o u r c e s a v a i l a b l e t o t h e s t u d e n t . 3 . P r o v i d e m e a n s f o r s e l f - e s t i m a t i o n o f c o m p e t e n c y . T h e s t u d y g u i d e s c o n t i n u e t o u n d e r g o m a n y m i n o r m o d i f i c a t i o n s a s t h e c o u r s e s a r e t a u g h t , b u t t h e i r b a s i c s t r u c t u r e r e m a i n s u n c h a n g e d . T h e s y l l a b u s w a s e x t e n s i v e l y r e a r r a n g e d d u r i n g t h e 1 9 7 6 - 7 7 a c a d e m i c y e a r . U n i t s i n t h e . t w o - t e r m s e q u e n c e C E M 1 3 0 / 1 3 1 a r e n o w n u m b e r e d c o n s e c u t i v e l y r a t h e r t h a n b e g i n n i n g a t ' 1 ' f o r t h e s e c o n d c o u r s e . 2 0 I . B . 2 . b . P r e s e n t a t i o n o f m a t e r i a l T h e p r i m a r y m e t h o d o f p r e s e n t a t i o n i n t h i s s y s t e m i s t h e a u d i o c a s s e t t e t a p e . T h e i n s t r u c t o r s p e a k s t o t h e s t u d e n t i n a c o n v e r s a t i o n a l t o n e a n d i n t e r s p a c e s h i s p r e s e n t a t i o n o f t h e t o p i c w i t h e x a m p l e s a n d q u e s t i o n s . E a c h t a p e i s a c c o m p a n i e d b y a v i s u a l s u p p l e m e n t - - c a l l e d T a p e N o t e s - - t o w h i c h r e f e r e n c e i s m a d e w h e n a p i c t u r e , t a b l e , g r a p h , o r w r i t t e n l i s t i s p a r t i c u l a r l y h e l p f u l . T h e s t u d e n t s a r e e n c o u r a g e d t o s t o p t h e t a p e o f t e n , t o b a c k t r a c k i f n e c e s s a r y , a n d t o t a k e n o t e s f r e e l y . A s p e c i a l T a p e R o o m c u r r e n t l y h o u s e s o v e r 1 5 0 c a s s e t t e p l a y b a c k u n i t s - - u p f r o m a n o r i g i n a l t h i r t y - - a n d t h e s t u d e n t s m a y c h e c k o u t t a p e s a n d l i s t e n t o t h e m w i t h h e a d p h o n e s d a y s a n d e v e n i n g s d u r i n g t h e w e e k a n d o n a f t e r n o o n s S a t u r d a y a n d S u n d a y . D u r i n g p e a k h o u r s , t h e o n l y s o u n d s h e a r d i n t h e T a p e R o o m a r e t h e s t o p s a n d s t a r t s o f t h e a u d i o m a c h i n e s a n d t h e w h i r s o f r e w i n d a n d f a s t - f o r w a r d ; i t s o u n d s m u c h l i k e a c o n v e n t i o n o f c r i c k e t s a n d c l i c k - b e e t l e s . S t u d e n t s a r e n o t r e s t r i c t e d s o l e l y t o l i s t e n i n g t o t a p e s i n t h e T a p e R o o m . B e g i n n i n g i n F a l l 1 9 7 3 a t a p e d u p l i c a t o r w a s m a d e a v a i l a b l e f o r g e n e r a l s t u d e n t u s e o n a s i d e t a b l e i n t h e T a p e R o o m . W i t h i n t w o y e a r s i t w a s d e c i d e d t h a t o p e r a t i o n o f t h e d u p l i c a t o r w o u l d b e r e s t r i c t e d t o t r a i n e d p e r s o n n e l . S t u d e n t s w h o d e s i r e d a c o p y o f a n a u d i o t a p e w o u l d t u r n i n a b l a n k c a s s e t t e i n a s e l f - a d d r e s s e d e n v e l o p e a n d i t w o u l d b e t r a n s c r i b e d a n d r e a d y f o r p i c k - u p t h e n e x t d a y . T h i s p r o c e d u r e s o o n b e c a m e b u r d e n s o m e l y c u m b e r s o m e a s t h e n u m b e r o f d u p l i c a t i o n s p e r t e r m n e a r e d t w e n t y t h o u s a n d . F r o m F a l l 1 9 7 6 o n w a r d , 2 1 a s t u d e n t w h o w i s h e s c o p i e s o f t a p e s m a y g e t t h e m f r o m t h e T a p e E x c h a n g e w i n d o w . T o r e c e i v e a p r e r e c o r d e d c a s s e t t e , t h e s t u d e n t m u s t t r a d e e i t h e r s p e c i a l p r e - p a i d s c r i p o r a p r e v i o u s c a s s e t t e o b t a i n e d w i t h s u c h s c r i p . A s e c o n d a r y r e s o u r c e i n t h i s s y s t e m a s i n t h e l e c t u r e s y s t e m i s t h e t e x t b o o k . T h e o r d e r i n g o f t o p i c s i n t h e s y l l a b u s w a s p r e p a r e d i n d e p e n d e n t l y o f a n y t e x t b o o k ; h e n c e n o n e e x a c t l y f o l l o w s t h e p r o g r e s s i o n o f s t u d y u n i t s . W h e n t h e n e w s y s t e m w a s f i r s t i m p l e m e n t e d , o n l y o n e t e x t b o o k w a s u s e d a n d t h e a p p r o p r i a t e p a g e a n d c h a p t e r r e f e r e n c e s w e r e i n c l u d e d d i r e c t l y i n t h e s t u d y g u i d e s f o r t h e v a r i o u s u n i t s . T w o t e r m s l a t e r , a s e c o n d t e x t b o o k w a s a d d e d t o t h e r o s t e r a n d t h e s t u d e n t s g i v e n t h e i r c h o i c e o f w h i c h t o u s e . S i n c e i t w a s f o r s e e n t h a t t e x t b o o k s m i g h t b e c h a n g e d o f t e n , r e f e r e n c e s t o t e x t b o o k a s s i g n - m e n t s w e r e t h e r e a f t e r i n c l u d e d o n a s e p a r a t e s h e e t . I n t h e p a s t f o u r y e a r s , f i v e d i f f e r e n t t e x t b o o k s - - a t l e a s t t w o e a c h t e r m - - h a v e b e e n o f f e r e d a s o p t i o n s t o t h e s t u d e n t s . T h e m o s t s i g n i f i c a n t c h a r a c t e r i s t i c s o f t h i s m e a n s o f p r e s e n t a t i o n a r e i t s f l e x i b i l i t y a n d c o n s i s t e n c y . A u d i o t a p e s a r e m o d i f i e d a n d i m p r o v e d w i t h l i t t l e m o r e e f f o r t t h a n n e e d e d f o r t h e p r e p a r a t i o n a n d d e l i v e r y o f a l e c t u r e . O n c e r e c o r d e d , t h e a u d i o c a s s e t t e d e l i v e r s t h e c o u r s e m a t e r i a l t o a n y n u m b e r o f s t u d e n t s w i t h a c o n s i s t e n t q u a l i t y a n d a f l e x i b l e r a t e a n d s c h e d u l e . A d d i t i o n a l l y , t h e f l e x i b i l i t y p r e s e n t i n m u l t i p l e t e x t b o o k r e f e r e n c e s a l l o w s t h e s t u d e n t t o c h o o s e t h a t b o o k w h i c h m o s t a p p e a l s t o h i m . I t a l s o a l l o w s t h e i n s t r u c t o r t o c h a n g e 2 2 t e x t b o o k s e a s i l y s i n c e t h e s e q u e n c e o f t o p i c s h a s n e v e r b e e n t i e d t o t h e p r e s e n t a t i o n o f a s i n g l e a u t h o r . I . B . 2 . c . H e l p R o o m a s s i s t a n c e T h e H e l p R o o m i s i n t e n d e d t o b e a p l a c e w h e r e s t u d e n t s c a n i n t e r a c t w i t h i n s t r u c t o r s a n d w i t h e a c h o t h e r . I t i s o p e n f i v e d a y s a w e e k e x c e p t F r i d a y e v e n i n g a n d i s s t a f f e d w i t h g r a d u a t e t e a c h i n g a s s i s t a n t s a c c o r d i n g t o t h e e x p e c t e d s t u d e n t a t t e n d a n c e . T w o q u i t e d i f f e r e n t k i n d s o f s t u d e n t - i n s t r u c t o r a c t i v i t y o c c u r - - d e p e n d i n g o n t h e n u m b e r o f s t u d e n t s p r e s e n t . W h e n v e r y f e w s t u d e n t s a r e i n t h e H e l p R o o m , t h e a t m o s p h e r e i s t h a t o f a q u i e t l o u n g e . C a s u a l d i s c u s s i o n s o c c u r a m o n g s t u d e n t s a n d i n s t r u c t o r s , a n d m u c h r e a l t u t o r i n g t a k e s p l a c e . S t u d e n t s w h o w a n t o r n e e d s u b s t a n t i a l i n d i v i d u a l a s s i s t a n c e a t t e n d t h e s e o f f - h o u r s r e g u l a r l y . I n c o n t r a s t , w h e n l a r g e n u m b e r s o f s t u d e n t s c r o w d i n t o t h e H e l p R o o m , i t s e e m s a b e d l a m . S o m e s t u d e n t s a r e s t i l l t o b e f o u n d q u i e t l y s t u d y i n g i n t w o s a n d t h r e e s a r o u n d t h e r o o m . E a c h i n s t r u c t o r i s g e n e r a l l y t h e f o c u s o f a k n o t o f s t u d e n t s s e e k i n g h e l p ( a t t i m e s v o c i f e r o u s l y ) o r l i s t e n i n g a s i f a t a s t a n d i n g - r o o m - o n l y r e c i t a t i o n c l a s s . M o v e m e n t s w i r l s t h r o u g h t h e r o o m a s s t u d e n t s c o m e a n d g o , a n d a s i n s t r u c t o r s m o v e a c r o s s t h e b l a c k b o a r d o r s e a r c h o u t t h o s e t o o t i m i d t o ' b u t t r i g h t i n ' . T w o i n f o r m a l r u l e s g o v e r n i n g r u s h - h o u r i n s t r u c t o r s a r e ( 1 ) d o n ' t s t a n d s t i l l , a n d ( 2 ) d o n ' t t a l k t o o n l y o n e s t u d e n t . 1 h [ i T n e s c e t u p r s r e o n f t n u 5 i u v n e i r t s s 0 . i t w y i t g h r a t d h i e n e g x s e c y p s t t i e o m n i s t h a n t u t m h e e r r i e c a i l s e b o n t g w r e a e d n e 0 0 o . f a . 0 n 5 d . 4 . 0 2 3 A s a s u p p l e m e n t t o t h e H e l p R o o m , s p e c i a l h e l p s e s s i o n s a r e ' o f t e n s c h e d u l e d t o r e v i e w m a t e r i a l w h i c h i s k n o w n t o c a u s e m a n y s t u d e n t s d i f f i c u l t y . T h e s e f o r m a l s e s s i o n s p r o v i d e a m o r e t r a d i t i o n a l s e t t i n g f o r t h e s t u d e n t s b e s t h e l p e d b y a s c h e d u l e d c l a s s . I . B . 2 . d . T e s t i n g a n d g r a d i _ n g T h e e x a m i n a t i o n s y s t e m u s e d i n C E M 1 3 0 / 1 3 1 m a y b e b e s t d e s c r i b e d a s a m o d i f i e d m a s t e r y s y s t e m . E v e r y c e r t a i n n u m b e r o f u n i t s , t h e s t u d e n t i s d i r e c t e d t o t a k e a p r o f i c i e n c y e x a m . A p r e d e t e r m i n e d g r a d i n g s c a l e i s u s e d t o c o m p u t e t h e g r a d e o n e a c h e x a m . I f t h e s t u d e n t i s d i s s a t i s f i e d w i t h h i s g r a d e , h e m a y r e t a k e t h e e x a m w i t h o u t p e n a l t y . O n l y t h e l a s t t r y f o r e a c h e x a m i s t h e g r a d e w h i c h c o u n t s t o w a r d t h e s t u d e n t ' s t e r m a v e r a g e . W i t h i n t h e t i m e l i m i t s w h e n a n e x a m i s o f f e r e d , t h e s t u d e n t i s a b l e t o s e t h i s o w n l e v e l o f m a s t e r y a n d r e t a k e e x a m i n a t i o n s u n t i l h e a c h i e v e s t h i s l e v e l . A t t h e e n d o f t h e c o u r s e a c u m u l a t i v e f i n a l e x a m i n a t i o n i s g i v e n . T h e e f f e c t o f t h e f i n a l e x a m o n a s t u d e n t ' s g r a d e i s r e s t r i c t e d t o r a i s i n g o r l o w e r i n g t h e g r a d e o n e s t e p z ' r D e p e n d i n g o n w h a t g r a d e t h e s t u d e n t h a s w h e n h e t a k e s t h e f i n a l e x a m , h e m u s t s c o r e s o m e m i n i m u m o n t h e f i n a l t o k e e p t h e s a m e g r a d e o r m u s t s c o r e a t o r a b o v e s o m e h i g h e r s c o r e t o r a i s e h i s g r a d e . I f t h e s t u d e n t s c o r e s w i t h i n a p p r o x i m a t e l y t e n p e r c e n t a g e p o i n t s o f h i s t e r m a v e r a g e h i s g r a d e w i l l b e u n c h a n g e d . 2 4 T h e g r a d i n g s c a l e s u s e d , t h e n u m b e r o f e x a m s i n a c o u r s e , a n d t h e n u m b e r o f d a y s e a c h e x a m i s o f f e r e d h a v e u n d e r g o n e c o n s i d e r a b l e c h a n g e i n t h e m o r e t h a n f o u r y e a r s t h e s y s t e m h a s b e e n o p e r a t i n g . T h e i n i t i a l d e s i g n f o r t h e s e c o u r s e s h a d n i n e e x a m s i n C E M 1 3 0 a n d s e v e n i n 1 3 1 . T h e a p p r o x i m a t e ' w i n d o w s ' - - t h e d a y s d u r i n g w h i c h a n e x a m i s o f f e r e d - - f o r e a c h e x a m i n t h e t w o c o u r s e s a r e d i s p l a y e d i n F i g u r e s 1 . 2 a n d 1 . 3 . T h e o r i g i n a l s c h e d u l i n g o f e x a m i n a t i o n w i n d o w s h a s c o n s i d e r a b l e o v e r l a p . T h e r e w e r e m a n y d a y s w h e n b e t w e e n t h e t w o c o u r s e s s e v e n d i f f e r e n t e x a m s w e r e b e i n g g i v e n . T h e n u m b e r o f e x a m s a n d t h e n u m b e r o f d a y s e a c h i s o f f e r e d w e r e r e d u c e d t o t h e c u r r e n t s c h e d u l e a s i l l u s t r a t e d i n F i g u r e 3 . T w o b e n e f i t s a n d o n e l o s s r e s u l t f r o m t h i s a d j u s t e d a r r a n g e m e n t . O n e g a i n i s a d m i n i s t r a t i v e . P r e v i o u s l y , t h e m u l t i p l i c i t y o f f o r m s a n d e x a m s h a d o f t e n o v e r l o a d e d t h e e x a m - g e n e r a t i o n m a c h i n e r y . N o w , f e w e r d i f f e r e n t f o r m s n e e d b e g e n e r a t e d o f e a c h e x a m , a n d f e w e r d i f f e r e n t e x a m s a r e g i v e n a n d g r a d e d o n a n y o n e d a y . T h e s e c o n d g a i n a f f e c t s s t u d e n t s . T h e o r i g i n a l s c h e d u l i n g o f e x a m i n a t i o n s a l l o w e d s t u d e n t s t o p r o c r a s t i n a t e t o t h e i r d e t r i m e n t . W i t h i n t h e l a s t t e n d a y s o f c l a s s e s , m a n y s t u d e n t s s t i l l n e e d e d t o s t u d y f o r a n d t a k e t h r e e s e p a r a t e e x a m s . W i t h f e w e r e x a m s a n d a t i g h t e r s c h e d u l e , i t i s m u c h l e s s l i k e l y t h a t s t u d e n t s w i l l f a l l d a n g e r o u s l y b e h i n d i n t h e i r s t u d i e s . T h e r e i s , h o w e v e r , a m a j o r l o s s w i t h t h e c u r r e n t s c h e d u l e . T h e e x t e n t t o w h i c h s t u d e n t s a r e a l l o w e d t o p a c e t h e m s e l v e s i s l i m i t e d s e v e r e l y b y t h e f i r s t a n d l a s t d a y s a n e x a m i s o f f e r e d . T h e s e l f - p a c i n g i n t h e s e ‘ “ I “ “ “ “ I I ‘ I . l . i . t . i . i ’ t . . l . l I l . O 0 . E a c h t e r m b l o c k i s d i v i d e d i n t o t e n w e e k s . i g u r e 1 . 2 O r i g i n a l s c h e d u l i n g o f e x a m I n a t i o n W I n d o w s . O ‘ C A I ‘ O ‘ D A C O O “ “ ‘ fl 0 . 0 . . . C " . . . . . . . . 1 3 1 2 5 2 6 F i g u r e 1 . 3 C u r r e n t s c h e d u l i n g o f e x a m i n a t i o n w i n d o w s . E a c h t e r m b l o c k i s d i v i d e d i n t o t e n w e e k s . 2 7 c o u r s e s i s n o w m o r e s t r i c t l y m o d u l a r t h a n i n t h e o r i g i n a l d e s i g n . W i t h i n e a c h m o d u l e d e f i n e d b y t h e c l o s i n g d a t e o f a n e x a m , t h e s t u d e n t s t u d i e s a n d i s t e s t e d a t h i s o w n p a c e , b u t t h e m o d u l e s t h e m s e l v e s a r e n o w i n s t r u c t o r - p a c e d . I t i s p l a n n e d f o r t h e n e a r f u t u r e , w i t h i n t h e c u r r e n t f r a m e w o r k o f m i n i m u m - s c h e d u l e d - p r o g r e s s , t o a l l o w s t u d e n t s t o p r o c e e d a s r a p i d l y a s t h e y a r e a b l e b y m o v i n g t h e o p e n i n g d a t e s f o r e a c h e x a m n e a r e r t h e b e g i n n i n g o f t h e t e r m . T h e g r a d i n g s c a l e s u s e d i n C E M 1 3 0 / 1 3 1 h a v e a l s o e v o l v e d f r o m t h e o r i g i n a l d e s i g n t o t h e p r e s e n t . T h e d i f f e r e n t s c a l e s u s e d i n t h e s e c o u r s e s a r e d i s p l a y e d i n T a b l e 1 . 2 . T h e i n i t i a l c u t - o f f p o i n t s i n t h e g r a d i n g s c a l e w e r e d e r i v e d f r o m a c o m p o s i t e g r a d i n g s c a l e f o r t h e p r e v i o u s f o u r y e a r s . I t w a s a s s u m e d t h a t t h e t e s t s t o b e g i v e n i n t h e n e w c o u r s e s w o u l d n o t b e m u c h m o r e d i f f i c u l t o r e a s y t h a n t h e y h a d b e e n i n t h e p a s t . A f t e r t h e s y s t e m w a s i n o p e r a t i o n f o r a y e a r , a m a j o r u p w a r d s h i f t i n t h e s c a l e w a s m a d e . I t w a s f o u n d t h a t t h e a b b r e v i a t e d l e n g t h a n d t h e n o - f a u l t r e p e a t a b i l i t y o f e x a m s g a v e g r a d e d i s t r i b u t i o n s w i t h u n j u s t i f i a b l y h i g h m e a n s . A f t e r t h i s m a j o r c h a n g e i n t h e s c a l e , s e v e r a l m i n o r a d j u s t m e n t s w e r e m a d e d u r i n g s u c c e e d i n g t e r m s t o a c c o m m o d a t e m a t h e m a t i c a l p e c u l i a r i t i e s o b s e r v e d i n t h e a v e r a g i n g o f t h e f i f t e e n - i t e m e x a m i n a t i o n s t o g i v e a n o v e r a l l p e r c e n t a g e . 2 8 T a b l e 1 . 2 G r a d i n g s c a l e s u s e d i n C E M 1 3 0 a n d 1 3 1 * a a M i n i m u m t e r m a v e r a g e n e e d e d t o r e c e i v e a p a m c u l a r g r a d e G r a d e 4 . 0 3 . 5 3 . 0 2 . 5 2 . 0 1 . 5 1 . 0 T e r m s 1 3 0 W 7 3 t h r o u g h 1 3 1 8 5 7 4 9 0 . 0 8 3 . 0 7 6 . 0 6 9 . 0 6 1 . 0 5 3 . 0 4 5 . 0 1 3 0 F 7 4 a n d 1 3 1 F 7 4 9 3 . 0 8 7 . 0 8 0 . 0 7 3 . 0 6 7 . 0 6 0 . 0 5 3 . 0 1 3 0 W 7 5 t h r o u g h 1 3 1 S S 7 5 9 2 . 0 8 6 . 0 7 9 . 0 7 2 . 0 6 6 . 0 5 9 . 0 5 2 . 0 1 3 0 5 7 5 a n d 1 3 1 F 7 5 9 2 . 0 8 5 . 0 7 9 . 0 7 2 . 0 6 5 . 0 5 9 . 0 5 2 . 0 1 3 0 f r o m W 7 6 o n w a r d 9 2 5 2 ' 8 5 . 5 7 8 . 8 7 2 . 2 6 5 . 5 5 8 . 8 5 2 . 2 1 3 1 f r o m W 7 6 o n w a r d 9 2 . 0 8 5 . 3 7 8 . 6 7 2 . 0 6 5 . 3 5 8 . 6 5 2 . 0 M i n i m u m s c o r e o n t h e f i n a l e x a m n e e d e d t o r a i s e a g r a d e o n e s t e p 1 3 0 w 7 3 t h r o u g h 1 3 1 s s 7 4 * * - - 9 4 . 0 8 7 . 0 8 0 . 0 7 2 . 0 6 4 . 0 5 6 . 0 1 3 0 1 7 7 4 a n d 1 3 1 F 7 4 - - 9 0 . 0 8 7 . 0 7 5 . 0 6 8 . 0 6 0 . 0 5 3 . 0 1 3 0 W 7 5 o n w a r d - - 9 4 . 0 9 0 . 0 8 2 . 0 7 5 . 0 6 7 . 0 6 0 . 0 ' M i n i m u m s c o r e o n t h e f i n a l e x a m n e e d e d t o k e e p a p a r t i c u l a r g r a d e 1 3 0 w 7 3 t h r o u g h 1 3 1 3 5 7 4 “ 8 0 . 0 7 3 . 0 6 6 . 0 5 9 . 0 5 1 . 0 4 3 . 0 3 5 . 0 1 3 0 1 3 7 4 a n d 1 3 1 F 7 4 7 5 . 0 6 8 . 0 6 0 . 0 5 3 . 0 4 5 . 0 4 0 . 0 3 7 . 0 1 3 0 W 7 5 o n w a r d 8 2 . 0 7 5 . 0 6 7 . 0 6 0 . 0 5 2 . 0 4 5 . 0 4 0 . 0 * O n l y t h e l a s t a t t e m p t o n e a c h o f t h e s e v e r a l e x a m s i s c o u n t e d i n t h e t e r m m e a n . ” F o r 1 3 1 8 7 3 o n l y , t h e m i n i m u m s c o r e n e e d e d t o k e e p a n y g r a d e w a s s e t a t 3 5 . 0 , a n d t h e m i n i m u m s c o r e n e e d e d t o r a i s e a n y g r a d e w a s s e t a t 7 5 . 0 . 2 9 I . C . E v a l u a t i n g t h e t e a c h i n g m e t h o d T h e e v a l u a t i o n o f t h e m o d u l a r s e l f - p a c e d i n s t r u c t i o n a l s y s t e m u s e d i n C E M 1 3 0 / 1 3 1 r e q u i r e s t h e m e a s u r e m e n t o r e s t i m a t i o n o f s e v e r a l i n p u t s a n d o u t c o m e s . T h e r e l e v a n t o u t c o m e s o f t h i s s y s t e m a r e t h e s t u d e n t ' s k n o w l e d g e o f c h e m i s t r y a n d h i s a t t i t u d e s a b o u t t h e c o u r s e a n d s u b j e c t . M e a s u r e m e n t o f t h e s e q u a n t i t i e s i s n o t m e r e l y c l e r i c a l , b u t i n v o l v e s s y s t e m a t i c i n v e s t i g a t i o n i n t o t h e i n s t r u m e n t s o f s u c h m e a s u r e m e n t . A s H a v i g h u r s t [ 1 ] n o t e s , " T h e k e y t o i m p r o v e m e n t i s v e r y o f t e n t h e s k i l l f u l d e v i s i n g o f w a y s o f o b s e r v i n g a n d m e a s u r i n g a c h i e v e m e n t s o f t h e d e s i r e d o u t c o m e s . F o r t h i s r e a s o n t h e d e v i s i n g o f t e s t s a n d o t h e r i n s t r u m e n t s o f e v a l u a t i o n i s o f g r e a t i m p o r t a n c e . " T h e n e e d e d r e s e a r c h i n t h e a r e a s o f a c h i e v e m e n t a n d a t t i t u d e i s i n t r o d u c e d i n t h e n e x t t w o s e c t i o n s . T h e t h i r d s e c t i o n t r e a t s t h e i n p u t s o f t h e s y s t e m - - t h e c o s t s i n d o l l a r s , t i m e , a n d e f f o r t . I . C . 1 . K n o w l e d g e g a i n e d b y t h e s t u d e n t s B e f o r e k n o w l e d g e o f c h e m i s t r y c a n b e a p p r a i s e d , o n e m u s t f i r s t d e c i d e e x a c t l y w h a t t o m e a s u r e a n d h o w t o m e a s u r e i t . R e s e a r c h i n t o c u r r i c u l u m a n d c o u r s e c o n t e n t i s b e y o n d t h e s c o p e o f t h e s e s t u d i e s . T h e w h a t o f t h e s e c o u r s e s i s d i s c u s s e d i n C h a p t e r I V . I n c o n t r a s t , t h e d e t a i l s o f h a w t o m e a s u r e a c h i e v e m e n t i n t h i s a s s i g n e d b o d y o f c h e m i c a l k n o w l e d g e i s e m i n e n t l y s u s c e p t i b l e t o s y s t e m a t i c s t u d y . 3 0 I . C . 1 . a . R e s e a r c h i n m e a s u r i n g a c h i e v e m e n t R e s e a r c h i n m e a s u r e m e n t i s a n i n v e s t i g a t i o n o f t h e e r r o r s i n h e r e n t i n d i f f e r e n t m e a s u r i n g i n s t r u m e n t s o r t e c h n i q u e s . S u c h e r r o r s i n m e a s u r i n g s t u d e n t a c h i e v e m e n t a r e t h e t o p i c o f C h a p t e r I I . T h e g o a l o f t h i s r e s e a r c h i n m e a s u r e m e n t e r r o r i s t h a t t h r o u g h a n a l y s i s a n d q u a n t i f i c a t i o n , e r r o r c a n b e p r e d i c t e d , c o n t r o l l e d , a n d r e d u c e d . 1 . C . 2 . S t u d e n t a t t i t u d e s a b o u t t h e c o u r s e a n d s u b j e c t T h e w h a t a n d h o w o f a t t i t u d e m e a s u r e m e n t a r e l e s s e x p l i c i t t h a n f o r a c h i e v e m e n t . S t u d e n t s e l f - r e p o r t i n g o n a t t i t u d e s u r v e y s i s t h e i n s t i t u t i o n a l l y a c c e p t e d m e t h o d o f m e a s u r e m e n t . S p e c i f i c a l l y w h a t a t t i t u d e s a r e m e a s u r e d i s d i s c u s s e d i n C h a p t e r I V . I . C . 2 . a . R e s e a r c h i n m e a s u r i n g a t t i t u d e s S i n c e i n d i v i d u a l g r a d e s a r e n o t a s s i g n e d t o s t u d e n t s o n t h e b a s i s o f t h e i r a t t i t u d e s , t h e r e i s l e s s c o n c e r n w i t h i n d i v i d u a l r a n d o m e r r o r s . W h a t i s s t i l l i m p o r t a n t , h o w e v e r , i s t h e o v e r a l l a c c u r a c y o f g r o u p a t t i t u d e m e a s u r e m e n t . T h e g o a l o f t h i s r e s e a r c h i n a t t i t u d e m e a s u r e m e n t i s t o d e t e r m i n e w h e t h e r t h e s u r v e y t e c h n i q u e s u s e d i n t h e s e c o u r s e s a r e o f t h e s a m e r e l a t i v e a c c u r a c y a s t h o s e u s e d t h r o u g h o u t t h e u n i v e r s i t y . T h i s e x p e r i m e n t a l d e t e r m i n a t i o n i s d e s c r i b e d i n C h a p t e r ) I I I . 3 1 I . C . 3 . C o s t s o f t h e s y s t e m I n a n i d e a l l e a r n i n g s y s t e m t h e s t u d e n t s w o u l d l e a r n m o r e , l i k e i t b e t t e r , a n d c o s t t h e d e p a r t m e n t l e s s . U n f o r t u n a t e l y , i t i s n o t e a s y - - i f i n d e e d p o s s i b l e - - t o a c h i e v e a l l t h r e e s i m u l t a n e o u s l y . S o m e o f o n e m a y h a v e t o b e t r a d e d t o g a i n m o r e o f a n o t h e r , a n d e x t e r n a l c o n d i t i o n s m a y i m p o s e m a x i m u m o r m i n i m u m v a l u e s o n t h e s e v a r i a b l e s , f u r t h e r l i m i t i n g d e s i g n c h o i c e s . A s w a s s t a t e d e a r l i e r , o n e o f t h e m a i n a s s u m p t i o n s u p o n w h i c h t h e n e w l e a r n i n g s y s t e m i s p r e d i c a t e d i s t h a t c e r t a i n c o s t s m u s t b e d e c r e a s e d . T h e n u m b e r o f f a c u l t y a n d g r a d u a t e a s s i s t a n t s a v a i l a b l e f o r a s s i g n m e n t t o t h e s e c o u r s e s m a y b e l e s s t h a n i n t h e p a s t . S i n c e p e r s o n n e l c o s t s a r e t h e l a r g e s t b u d g e t i t e m , t h e m o r e e f f i c i e n t u s e o f f e w e r i n s t r u c t o r s m a y r e s u l t i n c o n s i d e r a b l e s a v i n g . T h i s s a v i n g w i l l b e o f f s e t a t l e a s t s o m e w h a t b y i n c r e a s e d c o s t s i n c o m p u t e r c h a r g e s , u n d e r g r a d u a t e l a b o r , a n d e q u i p m e n t i n v e s t m e n t s . T h e f o l l o w i n g c o m p e n d i u m o f t h e c o s t s i n c u r r e d i n t h e o p e r a t i o n o f C E M 1 3 0 / 1 3 1 h a s b e e n p r e p a r e d . S o m e o f t h e s e c o s t s a r e a d j u s t e d a v e r a g e s a n d o t h e r s a r e a p p r o x i m a t i o n s , b u t m o s t a r e c o m p i l e d f r o m t h e a c t u a l d o l l a r s s p e n t b y t h e C h e m i s t r y D e p a r t m e n t i n t h e o p e r a t i o n o f t h e s e c o u r s e s . J - t N O O P v ‘ U O Q 3 2 I . C . 3 . a . C a t e g o r i e s o f c o s t T h e m o s t b a s i c d i v i s i o n o f c o s t s i s i n t o f i x e d a n d v a r i a b l e . T h e f i x e d c o s t s o f t e a c h i n g a c o u r s e r e m a i n s u b s t a n t i a l l y c o n s t a n t r e g a r d l e s s o f t h e e n r o l l m e n t . S o m e o f t h e s e i n c l u d e m a i n t e n a n c e , u t i l i t i e s , c o n s t r u c t i o n a m o r t i z a t i o n , a n d a d m i n i s t r a t i o n . S i n c e t h e s e c o s t s a r e c o n s t a n t , a n d s i n c e t h e D e p a r t m e n t o f C h e m i s t r y i s n o t s e p a r a t e l y b i l l e d f o r t h e s e c o s t s w h e n a c o u r s e i s t a u g h t , s u c h ' h i d d e n ' f i x e d c o s t s w i l l n o t b e t r e a t e d . C o s t s w h i c h d e p e n d o n t h e o p e r a t i o n o f a c o u r s e , h o w e v e r t h e y a r e r e l a t e d t o e n r o l l m e n t , a r e t r e a t e d a s v a r i a b l e c o s t s . S o m e a r e l i n e a r w i t h r e s p e c t t o t h e n u m b e r o f s t u d e n t s , s u c h a s t h e c o s t o f h a n d o u t s ; s o m e a r e s t e p - f u n c t i o n s , s u c h a s t h e c o s t o f f a c u l t y a n d s t a f f ; a n d s o m e a r e u n r e l a t e d o r r e l a t e d i n a c o m p l e x m a n n e r , s u c h a s d e v e l o p m e n t a n d i m p r o v e m e n t c o s t s . T h e v a r i a b l e c o s t s i n c u r r e d b y t h e D e p a r t m e n t o f C h e m i s t r y h a v e b e e n d i v i d e d i n t o e i g h t b r o a d c a t e g o r i e s : F a c u l t y G r a d u a t e a s s i s t a n t s U n d e r g r a d u a t e a s s i s t a n t s U n d e r g r a d u a t e h o u r l y s t a f f R e g u l a r s a l a r i e d s t a f f C o m p u t e r p r o g r a m m e r s C o m p u t e r c h a r g e s E q u i p m e n t , s u p p l i e s a n d s e r v i c e s T h e d e f i n i t i o n o f e a c h o f t h e s e c a t e g o r i e s i s d i s c u s s e d b e l o w , a n d t h e e x t e n t t o w h i c h q u o t e d c o s t s a r e a p p r o x i m a t e r a t h e r t h a n a c t u a l i s n o t e d i n t h e d i s c u s s i o n o f e a c h c a t e g o r y . 3 3 F a c u l t y . I n a t y p i c a l l e c t u r e c o u r s e , t h e f a c u l t y c o s t w o u l d f o l l o w a s t e p f u n c t i o n w i t h e a c h s t e p e q u a l t o t h e c a p a c i t y o f t h e l e c t u r e h a l l . I n C E M 1 3 0 / 1 3 1 t h e r e a r e n o l e c t u r e s , s o t h i s r e l a t i o n s h i p i s o n l y a p p r o x i m a t e . F a c u l t y a r e a s s i g n e d t o c o u r s e s i n t h e C h e m i s t r y D e p a r t m e n t i n h a l f - t i m e u n i t s , o f w h i c h t h e r e a r e s e v e n p e r y e a r ? T h u s f o r a n y t e r m , e a c h u n i t c o s t s o n e - s e v e n t h o f a y e a r l y s a l a r y . T h e m e a n s a l a r y f o r a l l f a c u l t y i n t h e d e p a r t m e n t w a s d i v i d e d b y s e v e n f o r e a c h a c a d e m i c y e a r t o a r r i v e a t t h e a v e r a g e c o s t p e r u n i t . T h e l e v e l s o f h a l f - t i m e c o m p e n s a t i o n f o r e a c h u n i t o f f a c u l t y f o r t h e r e l e v a n t a c a d e m i c y e a r s a r e p r e s e n t e d i n T a b l e 1 . 3 o n t h e n e x t p a g e . G r a d u a t e a s s i s t a n t s . T h e c o s t o f g r a d u a t e t e a c h i n g a s s i s t a n t s i s a l s o a s t e p f u n c t i o n , b u t i n c o n t r a s t w i t h f a c u l t y c o s t s , t h e s t e p s a r e m u c h s m a l l e r a n d h e n c e t h e r e l a t i o n s h i p b e t w e e n c o s t a n d e n r o l l m e n t i s s m o o t h e r . G r a d u a t e t e a c h i n g a s s i s t a n t s a r e a l s o a s s i g n e d t o c o u r s e s i n h a l f - t i m e u n i t s b u t t h e s t i p e n d s p a i d t o g r a d u a t e a s s i s t a n t s v a r y m u c h l e s s t h a n d o f a c u l t y s a l a r i e s . T h e r e a r e t h r e e l e v e l s o f a p p o i n t m e n t ; t h e m e d i a n s t i p e n d - - L e v e l 2 - - h a s b e e n c h o s e n a s r e p r e s e n t a t i v e o f t h e c o s t o f o n e g r a d u a t e a s s i s t a n t u n i t . T h e c h a n g e i n a v e r a g e s t i p e n d o v e r t h e y e a r s o f t h e s e d a t a i s d i s p l a y e d i n T a b l e 1 . 3 . * S i n c e s u m m e r s e s s i o n c o u r s e s a r e o f t e n h a l f - t e r m , a n d d u t i e s d u r i n g t h e s u m m e r a r e m u c h l i g h t e r t h a n d u r i n g o t h e r t e r m s , t h e f a c u l t y u n i t s f o r s u m m e r t e r m s h a v e b e e n w e i g h t e d o n l y h a l f a s m u c h a s u n i t s f r o m F a l l , W i n t e r , o r S p r i n g t e r m s . 3 4 U n d e r g r a d u a t e a s s i s t a n t s . I n F a l l T e r m 1 9 7 5 , t h e D e p a r t m e n t o f C h e m i s t r y b e g a n h i r i n g u n d e r g r a d u a t e t e a c h i n g a s s i s t a n t s t o w o r k i n C E M 1 3 0 / 1 3 1 . E a c h u n d e r g r a d u a t e a s s i s t a n t i s a s s i g n e d i n q u a r t e r - t i m e u n i t s , t h u s m a k i n g t w o u n d e r g r a d u a t e a s s i s t a n t s e q u a l t o o n e g r a d u a t e t e a c h i n g a s s i s t a n t i n t h e c a l c u l a t i o n o f w o r k l o a d a n d t h e n u m b e r o f a s s i s t a n t s n e e d e d . I n T a b l e 1 . 3 t h e a v e r a g e s t i p e n d s p a i d t o u n d e r g r a d u a t e a s s i s t a n t s r e p r e s e n t t w o q u a r t e r - t i m e u n i t s i n o r d e r t h a t c o s t s o f f a c u l t y , g r a d u a t e , a n d u n d e r g r a d u a t e a s s i s t a n t s m a y b e c o m p a r e d d i r e c t l y . T a b l e 1 . 3 C o m p e n s a t i o n i n d o l l a r s p e r h a l f - t i m e u n i t p a i d t o f a c u l t y , g r a d u a t e a s s i s t a n t s , a n d u n d e r g r a d u a t e a s s i s t a n t s . Y e a r F a c u l t y G r a d u a t e U n d e r g r a d . 1 9 7 2 / 7 3 2 , 6 6 7 1 , 1 7 0 - 1 9 7 3 / 7 4 2 , 7 6 7 1 , 2 6 0 - 1 9 7 4 / 7 5 3 , 0 5 8 1 , 3 5 0 - 1 9 7 5 / 7 6 3 , 1 6 6 1 , 4 7 0 7 5 0 1 9 7 6 / 7 7 3 , 2 9 6 1 , 5 3 0 7 8 0 1 9 7 7 / 7 8 3 , 5 6 7 1 , 6 2 0 8 1 0 T h e c o s t p e r u n i t - - w h i c h r e p r e s e n t s w h a t a r e a s s u m e d t o b e e q u i v a l e n t a m o u n t s o f w o r k - - d e c r e a s e s b y h a l f f r o m o n e c a t e g o r y t o t h e n e x t ; a g r a d u a t e a s s i s t a n t i s s l i g h t l y l e s s t h a n h a l f a s e x p e n s i v e a s a f a c u l t y m e m b e r , a n d a n u n d e r g r a d u a t e t e a c h i n g a s s i s t a n t i s a b o u t 3 5 h a l f a s e x p e n s i v e a s a g r a d u a t e t e a c h i n g a s s i s t a n t . T h e s e d i f f e r e n c e s r e f l e c t t h e d i s s i m i l a r d u t i e s a n d r e s p o n s i b i l i t i e s o f t h e s e p o s i t i o n s . U n d e r g r a d u a t e h o u r l y s t a f f . C l e r i c a l a n d m e c h a n i c a l t a s k s s u c h a s e x a m g r a d i n g , r e c o r d k e e p i n g , a n d t a p e d u p l i c a t i o n a r e p e r f o r m e d b y u n d e r g r a d u a t e s h i r e d o n a n h o u r l y b a s i s . T h e a c t u a l n u m b e r o f h o u r s w o r k e d a n d n o m i n a l w a g e s p a i d a r e r e p o r t e d i n t h e s u m m a r y t a b l e i n t h e n e x t s e c t i o n . A l m o s t a l l o f t h e u n d e r g r a d u a t e s t u d e n t s t a f f a r e p a i d t h r o u g h w o r k - s t u d y g r a n t s s u b s i d i z e d o u t s i d e t h e D e p a r t m e n t o f C h e m i s t r y . T h e d e p a r t m e n t p a y s o n l y o n e - f i f t h o f t h e n o m i n a l h o u r l y w a g e o f a w o r k - s t u d y s t u d e n t . A l s o , a v e r y s m a l l f r a c t i o n o f t h e t o t a l h o u r s l i s t e d f o r u n d e r g r a d u a t e s t a f f i s a t t r i b u t a b l e t o r e c o r d k e e p i n g w o r k d o n e f o r o t h e r c o u r s e s . T h u s t h e a c t u a l d o l l a r c o s t t o t h e d e p a r t m e n t f o r u n d e r g r a d u a t e s t a f f i n C E M 1 3 0 / 1 3 1 i s o n l y t w e n t y p e r c e n t o f t h e l i s t e d f i g u r e s . H o w e v e r , I s u b s i d i e s o f t h i s n a t u r e a r e n o t u n i v e r s a l l y a v a i l a b l e , s o t h e m o r e r e a l i s t i c n o m i n a l d o l l a r c o s t f o r u n d e r g r a d u a t e s t a f f i s r e p o r t e d , r a t h e r t h a n t h e a c t u a l d o l l a r c o s t . R e g i l a r s a l a r i e d s t a f f . S e c r e t a r i a l a n d s u p e r v i s o r y p e r s o n n e l a r e n o t a s s i g n e d s p e c i f i c c o u r s e w o r k - l o a d s . T h e c o s t f o r s t a f f m e m b e r s i s a n a p p r o x i m a t i o n b a s e d o n t h e e s t i m a t e d p e r c e n t a g e o f t h e i r t i m e s p e n t o n C E M 1 3 0 / 1 3 1 , a n d a s s u c h m a y b e i n e r r o r t e n o r t w e n t y p e r c e n t . I n N o v e m b e r 1 9 7 7 o n e f u l l - t i m e p o s i t i o n d e v o t e d e n t i r e l y t o m a n a g e m e n t o f t h e s e c o u r s e s w a s e s t a b l i s h e d . 3 6 C o m m t e r p r o g r a m m e r s . T h e t o t a l w a g e s p a i d t o h o u r l y e m p l o y e d p r o g r a m m e r s d o e s n o t r e f l e c t i n s t r u c t i o n a l c o s t s r e l a t e d t o e n r o l l m e n t i n t h e s e c h e m i s t r y c o u r s e s . T h e c o m p u t e r p r o g r a m m e r s w o r k a l m o s t e x c l u s i v e l y o n d e v e l o p i n g a n d i m p r o v i n g t h e c o m p u t e r p r o g r a m s u s e d i n v a r i o u s f u n c t i o n s w i t h i n t h e s y s t e m . M u c h o f t h e d e v e l o p m e n t a l w o r k i s d o n e d u r i n g t h e s u m m e r w h e n m o r e t i m e i s a v a i l a b l e f o r i m p l e m e n t a t i o n a n d t e s t i n g o f s o f t w a r e c h a n g e s . T h e r e p o r t e d f i g u r e s a r e a n o v e r e s t i m a t e b e c a u s e a l l d e v e l o p m e n t a l c o s t s a r e c h a r g e d t o C E M 1 3 0 / 1 3 1 e v e n t h o u g h s i n c e t h e s u m m e r o f 1 9 7 3 o t h e r c h e m i s t r y c o u r s e s e n j o y t h e u s e o f t h e p r o g r a m s a n d c a p a b i l i t i e s t h u s m a d e a v a i l a b l e . Y e t t h e o v e r e s t i m a t e i s n o t g r e a t s i n c e C E M 1 3 0 / 1 3 1 a c c o u n t f o r f r o m 7 5 t o 9 5 p e r c e n t o f t h e t o t a l c o m p u t e r u t i l i z a t i o n o f t h e p r o g r a m s , a n d i f n o t f o r t h e i m p e t u s t o w a r d t h e i r d e v e l o p m e n t p r o v i d e d b y t h e s e c o u r s e s , t h e r e m a y h a v e b e e n n o p r o g r a m m i n g w o r k d o n e . C o m p u t e r c h a r g e s . T h e r e a r e t w o p r i n c i p a l d i v i s i o n s o f c o m p u t e r c h a r g e s - — p e r m a n e n t f i l e c h a r g e s a n d c o m p u t e r t i m e c h a r g e s . T h e c o s t s r e p o r t e d i n t h e s u m m a r y t a b l e a r e f o r t h o s e f i l e a n d t i m e c h a r g e s a t t r i b u t a b l e o n l y t o C E M 1 3 0 / 1 3 1 a s e s t i m a t e d f r o m r e c o r d s o f t h e n u m b e r s o f s e p a r a t e j o b s r u n , f i l e s s t o r e d , a n d c h a n g e s i n d o l l a r b a l a n c e s o f d i f f e r e n t a c c o u n t n u m b e r s . I n a s m u c h a s t h e s a m e a c c o u n t s w e r e u s e d f o r d a i l y c o u r s e o p e r a t i o n a s w e l l a s f o r d e v e l o p m e n t a l p r o g r a m m i n g , t h e t w o a r e a s c o u l d n o t b e s e p a r a t e d ; a g a i n t h i s c o s t c a t e g o r y i s a n o v e r e s t i m a t e o f t r u e o p e r a t i n g c o s t a n d 3 7 i s r e l a t e d t o c o u r s e e n r o l l m e n t i n a c o m p l e x a n d s o m e w h a t i n v e r s e m a n n e r . T h e p e r c e n t a g e o f c o m p u t e r c h a r g e s d i r e c t l y c r e d i t e d t o o p e r a t i o n ( a s o p p o s e d t o d e v e l o p m e n t ) h a s v a r i e d u n p r e d i c t a b l y b e t w e e n t w e n t y a n d e i g h t y p e r c e n t o f t h e t o t a l r e p o r t e d c o m p u t e r c h a r g e s . W i t h o u t d e v e l o p m e n t t h e r e w o u l d b e n o o p e r a t i o n s ; f o r t h i s r e a s o n t h e c o s t s o f d e v e l o p m e n t a n d o p e r a t i n g e x p e n s e a r e n o t l i s t e d s e p a r a t e l y s i n c e t h e w r i t i n g , t e s t i n g , a n d c h a n g i n g o f c o m p u t e r p r o g r a m s i s a n i n d i r e c t b u t r e a l o p e r a t i n g c o s t . D e v e l o p m e n t a l w o r k i s n o t p r o p o r t i o n a l t o c o u r s e e n r o l l m e n t a n d d o e s d i s t o r t t h e t o t a l c o s t p e r t e r m t o a c e r t a i n e x t e n t . E g u i p m e n t , s u p p l i e s a n d s e r v i c e s . T h i s l a s t c a t e g o r y o f c o s t i s t h e s u m o f f i v e r e l a t e d a r e a s : s p e c i a l l y r e n t e d e q u i p m e n t , r o u t i n e c o p y c h a r g e s , u n i v e r s i t y p r i n t i n g s e r v i c e s , a m o r t i z e d c a p i t a l 3 e x p e n d i t u r e s f o r e q u i p m e n t , a n d s p e c i a l l y o r d e r e d s u p p l i e s . A l t h o u g h s e v e r a l o f t h e s e s u b t o t a l s a r e e s t i m a t e d r a t h e r t h a n e x a c t q u a n t i t i e s , a s p e c i a l e f f o r t w a s m a d e n o t t o u n d e r - o r o v e r e s t i m a t e a n y s p e c i f i c c o s t a n d t h e r e f o r e t h e t o t a l c o s t f o r t h e f i v e s u b t o t a l s s h o u l d b e q u i t e c l o s e t o t h e t r u e c o s t . I . C . 3 . b . C o s t s u m m a r y T h e c o s t s i n c u r r e d b y t h e D e p a r t m e n t o f C h e m i s t r y i n t h e o p e r a t i o n o f C E M 1 3 0 / 1 3 1 f o r e a c h o f t h e e i g h t c a t e g o r i e s d i s c u s s e d i n t h e p r e v i o u s s e c t i o n a r e p r e s e n t e d i n T a b l e 1 . 5 o n p a g e 3 9 . T h e t o t a l c o s t p e r t e r m i s l i s t e d i n t h e s e c o n d t o l a s t c o l u m n a n d t h e c o s t p e r 3 8 s t u d e n t i n t h e l a s t c o l u m n . S u m m e r t e r m s h a v e b e e n e x c l u d e d f r o m t h e c o s t - p e r - s t u d e n t c o l u m n b e c a u s e o f t h e p r o n o u n c e d d i s t o r t i o n i n t o t a l c o s t w h i c h i s t h e r e s u l t o f d e v e l o p m e n t a l c o m p u t e r w o r k d o n e m o s t l y d u r i n g t h e s u m m e r . T h e v a r i a t i o n s i n c o s t p e r s t u d e n t a r e t h e r e s u l t o f f i x e d o p e r a t i n g c o s t s a n d s t e p - f u n c t i o n c o s t s ; t h e m o s t c o s t - e f f i c i e n t t e r m s a r e t h o s e o f v e r y l a r g e e n r o l l m e n t . P r e s e n t e d b e l o w i n T a b l e 1 . 4 a r e t h e t o t a l a n d a v e r a g e c o s t s f o r c a l e n d a r e q u i v a l e n t t e r m s . T a b l e 1 . 4 M e a n c o s t p e r s t u d e n t f o r f i v e t e r m s ( 1 9 7 3 - 7 7 ) T e r m E n r o l l m e n t T o t a l c o s t * C o s t p e r s t u d e n t T o t a l O p e r a t i n g F a l l 8 7 7 5 2 5 9 , 9 3 5 . 0 0 2 9 . 6 2 2 8 . 1 1 W i n t e r 8 8 1 3 2 4 6 , 3 9 7 . 0 0 2 7 . 9 6 2 6 . 8 5 S p r i n g 3 8 5 2 1 6 4 , 6 7 0 . 0 0 4 2 . 7 5 3 9 . 9 4 S u m m e r 8 3 5 5 5 , 3 6 1 . 0 0 * * 6 6 . 3 0 6 0 . 3 1 * I n c l u d e d i n t h e s e t o t a l s a r e a l l d e v e l o p m e n t a l c o s t s i n c u r r e d . * * . . D e l e t e d f r o m t h l S t o t a l a r e a l l c o m p u t e r p r o g r a m m i n g a n d u s e r c h a r g e s s i n c e t h e s e a r e d i s p r o p o r t i o n a t e l y l a r g e i n t h e s u m m e r . O p e r a t i n g c o s t s d o n o t i n c l u d e a m o r t i z e d c a p i t a l e x p e n d i t u r e s n o r d e v e l o p m e n t a l c o m p u t e r p r o g r a m m i n g a n d u s e c h a r g e s . S p r i n g a n d s u m m e r t e r m s h a v e h i g h e r r e l a t i v e c o s t s b e c a u s e o f f i x e d s t a f f s a l a r i e s a n d f i x e d c o s t s i n c l u d e d i n s u p p l i e s a n d s e r v i c e s . T h e s e f i x e d c o s t s , p l u s t h e s t e p - f u n c t i o n o f f a c u l t y p a r t i c u l a r l y d i s t o r t t h e c o s t p e r s t u d e n t f o r s u m m e r t e r m s . E v e n w i t h t h e a t y p i c a l l y h i g h s u m m e r c o s t , t h e s e c o u r s e s a r e s t i l l m o r e c o s t e f f i c i e n t t h a n n e a r l y t / n t e 8 2 6 2 2 1 9 1 2 d 3 2 1 6 0 5 8 2 0 . . . . . . . . . 3 2 . s o u t C s l . a ' 1 t 5 0 o 2 8 5 9 5 9 0 3 3 1 4 2 4 2 2 2 3 2 2 4 3 0 6 7 9 6 6 9 0 5 7 0 3 1 4 6 4 6 1 1 5 3 5 7 1 2 6 8 8 6 3 7 8 7 9 7 5 1 0 7 7 1 1 0 6 9 6 1 6 6 5 5 8 8 3 5 2 9 1 4 0 7 8 7 ( , , . , , , , , . . , . , , . , , . , , , 8 7 4 1 3 6 5 2 7 2 8 5 8 7 1 5 2 7 4 9 2 2 2 1 5 5 2 4 4 6 6 7 3 3 1 3 1 3 1 3 1 . v r 8 5 3 2 5 9 6 1 1 2 8 1 3 2 8 8 9 6 5 5 2 I ’ . l p p e 5 2 2 5 2 6 6 3 1 1 8 9 1 5 1 3 9 3 5 7 1 u s 1 6 2 1 8 0 5 6 7 3 6 4 0 8 1 0 1 0 0 7 7 S 2 2 3 1 4 2 4 2 3 1 2 2 3 3 4 5 3 3 2 3 a 5 8 3 4 1 1 1 1 6 8 5 9 9 8 2 0 8 4 9 1 5 8 2 5 5 8 8 6 1 0 8 2 8 0 4 3 5 3 2 5 . . - . . . . . . . . . . . . . . . . . 5 1 4 3 5 9 7 5 3 6 6 8 4 6 3 2 0 2 1 8 5 7 0 5 8 3 3 8 9 9 0 0 0 9 2 0 9 8 0 4 1 1 3 3 2 3 5 8 7 5 9 1 0 0 3 6 5 5 0 1 1 1 1 1 1 1 2 . s r m m 1 g 3 1 / 0 3 1 r P f f 0 0 0 0 0 0 6 5 0 0 0 0 0 0 0 0 0 0 0 0 0 5 4 2 4 0 0 7 6 4 4 4 4 9 9 9 2 5 0 0 2 7 . . . . . . . . . . . . . . . . . . . . . 7 0 5 0 0 0 5 3 0 0 0 2 4 4 4 7 6 4 4 1 3 M t 8 6 6 5 4 4 6 3 5 5 2 8 4 4 4 9 6 0 0 1 0 a 8 5 0 1 6 6 3 2 1 1 3 6 2 2 2 8 2 6 6 9 0 E S C , , , , , , , , , , , , , , , , , , , , 2 2 2 4 4 3 4 4 4 3 2 3 3 3 2 3 3 3 3 5 r t 5 5 0 8 0 8 7 0 5 1 1 8 2 3 3 7 5 o f n f e f d a s u t t S 9 2 8 4 0 1 5 3 2 8 3 4 3 8 2 2 2 . - . . . . . - . - . . . . . . . 0 1 3 3 0 6 3 8 1 7 8 2 7 1 6 6 2 6 0 1 4 9 6 7 6 3 0 0 0 3 1 4 3 8 1 5 e 3 2 2 1 8 9 3 5 1 7 7 3 8 7 9 0 0 4 i , , , , , , 1 , , , , , , , , , S r 2 2 1 2 2 2 2 3 3 2 3 4 5 1 6 6 o . g d e a 0 7 4 0 0 6 2 8 t r 5 8 0 0 6 9 2 4 a c r 9 9 9 2 2 0 9 7 , , , , . , , e 1 3 1 6 4 1 3 t d h n 5 2 1 1 5 6 0 0 0 g U 1 1 1 1 5 0 5 0 0 1 7 9 6 7 0 0 5 0 0 . , . , , 9 3 8 9 7 3 2 3 1 5 2 1 4 3 7 5 3 1 9 1 3 1 2 1 1 2 1 1 1 1 1 2 5 . 5 5 . . i e n i s t s o c f o y r y $ t a l - m u m c t a i u F n S U 5 . 1 e l b a T 3 7 5 2 5 0 3 5 2 0 5 2 7 8 6 6 6 7 6 0 4 7 1 1 4 0 5 4 1 6 6 7 6 1 8 7 4 9 1 7 6 5 2 3 0 7 1 4 9 8 1 7 0 9 1 0 1 7 1 1 1 2 1 1 1 2 2 2 2 m 3 4 5 6 7 r 2 3 3 7 3 4 4 7 4 5 5 7 5 6 6 7 6 7 7 7 7 e 7 7 7 5 7 7 5 7 7 7 7 5 7 7 7 7 s 7 7 5 7 T F W w W 5 $ F 5 5 5 5 F F N W S s F S 5 F N 5 . 3 3 4 1 3 . 3 5 5 1 3 . 3 5 5 2 , 6 6 7 8 , 3 0 1 1 1 , 0 6 8 1 1 , 0 6 8 2 , 7 6 7 6 , 1 1 6 1 2 , 2 3 2 6 , 1 1 6 3 , 0 5 8 6 . 3 3 2 9 , 4 9 8 6 , 3 3 2 3 , 1 6 6 1 3 , 1 8 4 1 3 , 1 8 4 6 . 5 9 2 1 3 , 2 9 6 4 1 4 , 1 4 8 N m m fi m 3 - fi ' I — 1 N 3 N H N M N r — [ 3 3 N G r a d . A s s t . U n i t F I N - K O O ] 2 5 . 5 - 8 1 , 1 7 0 8 , 1 9 0 7 , 0 2 0 2 , 3 4 0 1 8 , 9 0 0 2 7 . 7 2 0 1 3 , 8 6 0 2 , 5 2 0 1 8 , 9 0 0 3 1 , 0 5 0 1 0 , 1 2 5 2 , 7 0 0 2 2 , 0 5 0 1 9 , 1 1 0 1 6 , 1 7 0 U n i t fi g : _ $ — ' 2 0 0 2 0 0 . 0 0 1 , 2 2 4 . 0 0 3 9 5 . 7 8 5 7 7 . 0 0 8 1 4 . 0 0 1 , 1 7 0 . 0 0 4 4 2 . 5 3 5 4 2 . 0 7 7 4 0 . 3 4 1 , 7 4 0 . 2 3 6 4 8 . 9 6 3 2 9 . 1 3 4 8 5 . 8 1 1 , 9 4 9 . 7 6 1 , 3 1 5 . 9 0 5 2 5 . 5 8 3 4 8 . 0 4 1 , 8 7 9 . 7 1 9 6 8 . 3 7 C o m p u t e r c h g s . 4 5 . 0 6 4 7 . 8 6 3 3 . 2 9 2 9 . 0 8 4 8 . 7 0 3 9 4 0 a n y o t h e r l o w - e n r o l l m e n t u n i v e r s i t y c o u r s e . F o r e x a m p l e , a c l a s s o f t w e n t y s t u d e n t s w i t h a f u l l - t i m e f a c u l t y m e m b e r a s t h e o n l y i t e m c o n s i d e r e d i n t h e c o s t w i l l h a v e a c o s t p e r s t u d e n t m o r e t h a n t w i c e a s g r e a t . I . C . 3 . c . C o m p a r i s o n w i t h t h e l e c t u r e m e t h o d I n t h e p r e v i o u s t w o s e c t i o n s a c t u a l o r a b s o l u t e c o s t s w e r e d i s c u s s e d . I n t h i s s e c t i o n a r e p r e s e n t e d t h e r e l a t i v e c o s t s o f i n s t r u c t i o n f o r e q u a l n u m b e r s o f s t u d e n t s u n d e r t h e n e w m o d u l a r s e l f - p a c e d m e t h o d a n d t h e t r a d i t i o n a l l e c t u r e - r e c i t a t i o n m e t h o d . T h e o p e r a t i n g c o s t s o v e r t h e p a s t s e v e n y e a r s d u r i n g F a l l a n d W i n t e r t e r m s a r e t h e b a s i s o f t h e f i g u r e s p r e s e n t e d i n T a b l e 1 . 6 . T h e p u r e l y d e v e l o p m e n t a l c o s t s o f c o m p u t e r p r o g r a m m i n g h a v e n o t b e e n i n c l u d e d i n t h e c o m p u t e r c h a r g e s , a n d t h e t o t a l a n d p e r - s t u d e n t c o s t s h a v e b e e n g i v e n b o t h w i t h a n d w i t h o u t a m o r t i z e d c a p i t a l e x p e n d i t u r e s f o r e q u i p m e n t . T h e c o s t p e r s t u d e n t f o r t h e l e c t u r e r e c i t a t i o n m e t h o d i s a l m o s t i n d e p e n d e n t o f e n r o l l m e n t w h e r e a s t h a t o f t h e n e w m e t h o d i s s t r o n g l y d e p e n d e n t o n e n r o l l m e n t . T h e c o m p a r i s o n o f e n r o l l m e n t s o f o n e a n d t w o t h o u s a n d s t u d e n t s e m p h a s i z e s t h e i n c r e a s e d c o s t - e f f e c t i v e n e s s o f t h e n e w m e t h o d a s e n r o l l m e n t s i n c r e a s e . T h e n e w s e l f - p a c e d m e t h o d h a s h i g h e r f i x e d c o s t s f o r s t a f f a n d e q u i p m e n t w h i l e t h e t r a d i t i o n a l l e c t u r e m e t h o d h a s h i g h e r v a r i a b l e c o s t s f o r i n s t r u c t i o n a l p e r s o n n e l . C l o e m c t p u a r r e i s ( o o l n d ) o f a n o d p e s r e a l t f i - n p g a c c e o d s t ( s n e i w n ) 1 c 9 o 7 u 5 r d s o e l s l a r s f o r T a b l e 1 . 6 4 1 1 0 0 0 s t u d e n t s 2 0 0 0 s t u d e n t s 9 0 3 ‘ “ “ 3 8 0 1 ? O l d N e w O l d N e w F a c u l t y ' 1 2 , 2 3 2 6 , 1 1 6 2 4 , 4 6 4 1 2 , 2 3 2 3 G r a d u a t e a s s i s t a n t 2 ' 3 1 2 , 1 5 0 1 2 , 1 5 0 2 5 , 6 5 0 2 4 , 3 0 0 U n d e r g r a d u a t e a s s i s t a n t 3 - 1 , 5 6 0 - 2 , 7 3 0 S t u d e n t s t a f f - 1 , 4 8 8 - 2 , 9 7 3 6 S t a f f 1 , 6 4 4 4 , 4 1 7 1 , 6 4 4 4 , 4 1 7 C o m p u t e r c h a r g e s 1 0 6 2 1 0 2 1 2 4 2 0 S u p p l i e s 8 : s e r v i c e s 7 8 0 2 , 5 2 9 l . 5 3 0 4 , 0 7 7 T o t a l c o s t 2 6 , 9 1 2 2 8 , 4 7 0 5 3 , 5 0 0 5 1 , 1 5 2 C o s t p e r s t u d e n t 2 6 . 9 1 2 8 . 4 7 2 6 . 7 5 2 5 . 5 8 A d j u s t e d t o t a l c o s t ‘ 2 6 , 9 1 2 2 7 , 0 7 0 5 3 , 5 0 0 4 9 , 7 5 2 A d j u s t e d s t u d e n t c o s t ‘ 2 6 . 9 1 2 7 . 0 7 2 6 . 7 5 2 4 . 8 8 ' O n e u n i t o f f a c u l t y p e r 2 5 0 s t u d e n t s i n l e c t u r e a n d o n e u n i t p e r 5 0 0 s t u d e n t s i n n e w m e t h o d ; b a s e d o n s e v e n y e a r m e a n s f o r F a l l a n d W i n t e r t e r m s . 2 S e v e n y e a r m e a n r a t i o o f 1 0 8 s t u d e n t s p e r T . A . i n l e c t u r e c o u r s e a n d 8 9 s t u d e n t s p e r T . A . i n s e l f - p a c e d m e t h o d ; f i g u r e s r o u n d e d u p w a r d . 3 H a 1 f - t i m e a p p o i n t m e n t s a r e d i v i d e d e i g h t y p e r c e n t g r a d u a t e a n d t w e n t y p e r c e n t u n d e r g r a d u a t e a s s i s t a n t . ‘ A d j u s t e d t o t a l a n d p e r - s t u d e n t c o s t s d o n o t i n c l u d e a m o r t i z e d c a p i t a l c o s t ; o n l y t r u e o p e r a t i n g c o s t s a r e i n c l u d e d i n s u p p l i e s a n d s e r v i c e s f o r t h e s e fi g u r e s . T h e a m o u n t d e l e t e d i s $ 1 , 4 0 0 f i x e d c o s t . 4 2 A s t h e e n r o l l m e n t s i n c r e a s e , t h e s i g n i f i c a n c e o f t h e f i x e d c o s t s d e c r e a s e a n d t h e n e w m e t h o d b e c o m e s m o r e d o l l a r - e f f i c i e n t t h a n t h e o l d m e t h o d . F r o m a p u r e l y m o n e t a r y s t a n d p o i n t t h e m o d u l a r s e l f - p a c e d m e t h o d o f i n s t r u c t i o n n o w b e i n g u s e d f o r C E M 1 3 0 / 1 3 1 i s l e s s e x p e n s i v e t h a n a c o n t i n u a t i o n o f t h e l e c t u r e m e t h o d w o u l d h a v e b e e n . I n a d d i t i o n , t h e r e i s o n e o t h e r m a j o r i n c r e a s e i n e f f i c i e n c y w h i c h i s n o t r e f l e c t e d i n t h e s e f i g u r e s . A g r a d u a t e a s s i s t a n t i n a l e c t u r e c o u r s e i s t y p i c a l l y a s s i g n e d f i v e c o n t a c t h o u r s i n r e c i t a t i o n s e c t i o n s a n d h e l p r o o m . I n C E M 1 3 0 / 1 3 1 t h e h a l f - t i m e a s s i g n m e n t f o r e a c h g r a d u a t e t e a c h i n g a s s i s t a n t i s t w e l v e h o u r s i n t h e h e l p r o o m w i t h n o o t h e r d a i l y d u t i e s . T h u s e a c h t e a c h i n g a s s i s t a n t p r o v i d e s m o r e t h a n t w i c e t h e i n s t r u c t i o n a l o u t p u t f i g u r e d i n c o n t a c t h o u r s f o r t h e s a m e s a l a r y . C h a p t e r I I E r r o r s i n m e a s u r i n g s t u d e n t a c h i e v e m e n t I I . A . T h e o r y a n d l i t e r a t u r e Q u a n t i t a t i v e a n a l y s i s i s n o t l i m i t e d t o t h e c h e m i c a l l a b o r a t o r y , b u t o c c u r s a l s o i n t h e c l a s s r o o m , f o r w h a t i s a c h e m i s t r y t e s t b u t t h e i n s t r u m e n t w i t h w h i c h t h e t e a c h e r e s t i m a t e s t h e d i f f e r e n t a m o u n t s o f k n o w l e d g e i n e a c h s t u d e n t i n h i s ' s a m p l e ' ? T h e a c c u r a c y o f a t e s t s c o r e - - i t s g o o d n e s s a s a m e a s u r e o f t h e s t u d e n t ' s t r u e l e v e l o f k n o w l e d g e - - i s n o t s u s c e p t i b l e o f s t a t i s t i c a l e r r o r a n a l y s i s . T h e s y s t e m a t i c e r r o r s w h i c h a f f e c t t h e a c c u r a c y o f t h e t e s t a r e e d u c e d [ r a t i o n a l l y o r t h r o u g h s o m e c o m p a r i s o n w i t h a n e x t e r n a l s t a n d a r d . A t y p i c a l e x a m p l e o f a s y s t e m a t i c e r r o r i s a t e s t w h i c h i s t o o e a s y o r t o o d i f f i c u l t . T h i s e r r o r i s c o u n t e r a c t e d b y s h i f t i n g t h e g r a d i n g s c a l e u p w a r d o r d o w n w a r d . T h e e n t i r e e n d - o f - t e r m p r o c e s s o f c o n s t r u c t i n g a s c a t t e r d i a g r a m o f a l l s t u d e n t s ' s c o r e s , d e c i d i n g o n t h e a v e r a g e c o u r s e g r a d e , a n d c h o o s i n g t h e c u t o f f p o i n t s f o r e a c h g r a d e c a t e g o r y i s e s s e n t i a l l y a p r o c e s s o f a d j u s t i n g m e a s u r e m e n t s f o r a c c u r a c y . H o w e v e r , t h e r e m a y s t i l l b e e r r o r s i n m e a s u r e m e n t w h i c h d o n o t a f f e c t t h e a c c u r a c y o f t h e t e s t s c o r e s y s t e m a t i c a l l y b u t w h i c h d o a f f e c t t h e p r e c i s i o n o f t h e t e s t a s a m e a s u r i n g i n s t r u m e n t . A r a n d o m o r n o n s y s t e m a t i c e r r o r l o w e r s t h e p r e c i s i o n o r r e p r o d u c i b i l i t y o f t h e i n d i v i d u a l s c o r e s o f t e n w i t h n o e f f e c t o n t h e m e a n a n d d i s t r i b u t i o n o f a l l s c o r e s . T h i s i m p r e c i s i o n i n t h e t e s t s c o r e i s r e c o g n i z e d a t l e a s t i m p l i c i t l y w h e n g r a d e s a r e a s s i g n e d t o s t u d e n t s ' o n t h e b o r d e r l i n e . ' 4 3 4 4 G i v i n g t h e s t u d e n t t h e b e n e f i t o f t h e d o u b t o r u s i n g a d d i t i o n a l c r i t e r i a s u c h a s s t e a d y p r o g r e s s o r e v i d e n c e o f e f f o r t a r e a t t e m p t s t o a l l o w f o r t h e r a n d o m e r r o r s i n m e a s u r e m e n t . I n t h i s c h a p t e r , e r r o r s i n m e a s u r e m e n t w h i c h a f f e c t t h e p r e c i s i o n o f t h e t e s t s c o r e w i l l b e e x p l i c i t l y e x a m i n e d b o t h t h e o r e t i c a l l y a n d e x p e r i m e n t a l l y . I I . A . 1 . T h e R r o b a b l e e r r o r f o r a t e s t s c o r e T h e d e g r e e o f r e p r o d u c i b i l i t y o r ' p r o b a b l e e r r o r ' o f a m e a s u r - m e n t i s s p e c i f i e d b y a p l u s — o r - m i n u s i n t e r v a l a r o u n d t h e o b s e r v a t i o n . T h e p r o b a b l e e r r o r i s a f u n c t i o n o f t h e s c a t t e r i n t h e e x p e r i m e n t a l d a t a e x p r e s s e d a s t h e s t a n d a r d d e v i a t i o n o f a l l o b s e r v a t i o n s f r o m t h e i r m e a n [ 3 1 ] . T h u s t h e p r e c i s i o n o f a m e a s u r e m e n t i s e s t i m a t e d f r o m t h e v a r i a t i o n a m o n g s e v e r a l m e a s u r e m e n t s . T h e p r o b a b l e e r r o r o r s t a n d a r d e r r o r o f m e a s u r e m e n t ( S E M ) o f a n a n a l y t i c a l b a l a n c e c o u l d b e d e t e r m i n e d b y s e l e c t i n g a t y p i c a l m a s s a n d m a k i n g s e v e r a l w e i g h i n g s . T h e a s s u m p t i o n s a r e m a d e t h a t t h e m a s s i s u n c h a n g i n g a n d t h a t o n c e c a l i b r a t e d f o r t h i s m a s s , t h e b a l a n c e m a y b e u s e d t o e s t i m a t e m a s s e s a t o t h e r p o i n t s i n t h e s c a l e w i t h e q u a l p r e c i s i o n . B y a n a l o g y , t h e a m o u n t o f c h e m i s t r y a s t u d e n t k n o w s m i g h t b e c o n s i d e r e d a s h i s ' m a s s o f k n o w l e d g e ' a n d t h e e x a m i n a t i o n a s t h e b a l a n c e w e u s e t o e s t i m a t e t h i s m a s s . H o w e v e r , t h e r e a r e t h r e e r e a s o n s w h y w e c a n n o t d e t e r m i n e t h e s t a n d a r d e r r o r f o r a t e s t b y s i m p l y c h o o s i n g a s t u d e n t a n d a d m i n i s t e r i n g t h e t e s t a d o z e n t i m e s . 4 5 F i r s t , t h e s a m e s t u d e n t i f g i v e n t h e s a m e t e s t a s e c o n d t i m e w o u l d r e m e m b e r m a n y o f t h e a n s w e r s h e g a v e t h e f i r s t t i m e i f t h e i n t e r v a l b e t w e e n t e s t i n g s w e r e s h o r t , o r c h a n g e i n t h e a m o u n t o f c h e m i s t r y h e k n e w i f t h e i n t e r v a l w e r e l o n g . S e c o n d , t h e s c a l e o f t e s t s c o r e s , u n l i k e t h e m a s s s c a l e o f a b a l a n c e , i s n o t a l i n e a r i n t e r v a l s c a l e . A z e r o o n t h e t e s t d o e s n o t m e a n t h a t a s t u d e n t k n o w s n o c h e m i s t r y , n o r d o e s a s c o r e t w i c e a s l a r g e a s a n o t h e r i m p l y t w i c e a s m u c h k n o w l e d g e . T h i r d , t h e t e a c h e r i s r a r e l y i n t e r e s t e d i n t h e p r e c i s i o n o f o n e s p e c i f i c t e s t s i n c e s e l d o m i s t h e s a m e t e s t u s e d m o r e t h a n o n c e . R a t h e r h e i s i n t e r e s t e d i n t h e p r e c i s i o n o f a c l a s s o f t e s t s w h i c h m i g h t b e g e n e r a t e d a c c o r d i n g t o a s p e c i f i c p r o c e d u r e . F o r t h e s e r e a s o n s w e m u s t a t t e m p t t o r e d e f i n e t h e s t a n d a r d e r r o r o f m e a s u r e m e n t i n t e r m s b o t h m a n a g e a b l e a n d m e a n i n g f u l . A d e f i n i t i o n t h a t i s m a n a g e a b l e w i l l d e f i n e t h e p r e c i s i o n o f a t e s t i n v a r i a b l e s w h i c h c a n b e e s t i m a t e d w i t h r e a s o n a b l e c o n f i d e n c e g i v e n t h e c h a r a c t e r i s t i c s o f t h e s t u d e n t s a n d t h e t e s t s . A d e f i n i t i o n t h a t i s m e a n i n g f u l w i l l e x p r e s s p r e c i s i o n i n t e r m s w h i c h a r e r e l a t e d t o t h e q u a l i t y o f t h e t e s t . 4 6 I I . A . 2 . T h e i m p o r t a n c e o f t e s t r e l i a b i l i t y T h e s t a n d a r d e r r o r o f m e a s u r e m e n t , S E M , f o r a t e s t s c o r e m a y b e d e r i v e d f r o m t h e b i n o m i a l f o r m u l a f o r s a m p l i n g e r r o r ‘ : ' T h e e q u a t i o n i s S E M = k p q [ 2 . 1 ] w h e r e k i s t h e l e n g t h o f t h e t e s t , p i s t h e t r u e f r a c t i o n o f t h e m a t e r i a l k n o w n b y t h e s t u d e n t , a n d q i s t h e f r a c t i o n u n k n o w n . A n u n b i a s e d e s t i m a t o r o f t h e s t a n d a r d e r r o r i s 1 . S E M _ \ fl _ 1 ( x ) ( k - x ) [ 2 . 2 ] w h e r e x i s t h e o b s e r v e d t e s t s c o r e [ 3 3 ] . T w o c o n c l u s i o n s c a n b e d r a w n : a l o n g e r t e s t p r o v i d e s a m o r e p r e c i s e e s t i m a t e o f t h e s t u d e n t ' s k n o w l e d g e , a n d t h e m e a s u r e m e n t e r r o r d e p e n d s o n t h e s c o r e t h e s t u d e n t g e t s . Y e t a l t h o u g h m a n a g e a b l e , t h i s d e f i n i t i o n i s n o t m e a n i n g f u l i n t h e d e s i r e d s e n s e s i n c e n e i t h e r t e s t l e n g t h n o r t e s t s c o r e a r e r e l a t e d t o t e s t q u a l i t y . * L o r d [ 3 2 ] c o m p a r e s t h e s t u d e n t t o t h e s t a t i c i a n ' s u r n o f b l a c k a n d w h i t e b a l l s : " P a r a l l e l i n g t h e u r n c o n t a i n i n g a l a r g e n u m b e r o f b a l l s , w e m a y ‘ i m a g i n e a p o o l c o n t a i n i n g a l a r g e n u m b e r o f t e s t i t e m s . I f a l l t h e i t e m s i n t h e p o o l c o u l d b e a d m i n i s t e r e d t o t h e e x a m i n e e w i t h o u t p r a c t i c e e f f e c t , f a t i g u e e f f e c t , a n d s o f o r t h , t h e o n e s h e w o u l d g e t r i g h t m a y b e t h o u g h t o f a s c o r r e s p o n d i n g t o t h e w h i t e b a l l s , a n d t h e o n e s h e w o u l d g e t w r o n g a s c o r r e s p o n d i n g t o t h e b l a c k b a l l s . E a c h p a r a l l e l f o r m o f t h e t e s t i s t h o u g h t o f a s a r a n d o m s a m p l e f r o m t h e p o o l . T h e n u m b e r o f ' w h i t e ' ( c o r r e c t l y a n s w e r e d ) i t e m s i n e a c h s a m p l e i s t h e e x a m i n e e ' s s c o r e o n t h a t f o r m o f t h e t e s t . T h e s t a n d a r d d e v i a t i o n o f t h i s n u m b e r , f o u n d b y t h e u s u a l b i n o m i a l f o r m u l a , i s t h e e x a m i n e e ' s s t a n d a r d e r r o r o f m e a s u r e m e n t . . . " 4 7 L o r d [ 3 4 ] h a s s h o w n t h a t t h e m e a n s t a n d a r d e r r o r a s d e f i n e d i n E q u a t i o n 2 . 2 i s r e l a t e d t o t e s t r e l i a b i l i t y b y S E M = s x 1 - r [ 2 . 3 ] w h e r e s x i s t h e o b s e r v e d s t a n d a r d d e v i a t i o n a n d r t h e r e l i a b i l i t y c a l c u l a t e d a c c o r d i n g t o t h e K u d e r - R i c h a r d s o n F o r m u l a 2 1 . T h i s r e l a t i o n , L o r d s t a t e s , . . . i s a m a t h e m a t i c a l i d e n t i t y - - n o t a n a p p r o x i m a t i o n , n o t a c o n c l u s i o n b a s e d o n p l a u s i b l e a s s u m p t i o n s . " T h e a v e r a g e s t a n d a r d e r r o r ( a g e o m e t r i c m e a n ) i s d e f i n e d b y t h i s e q u a t i o n a s a f u n c t i o n o f t e s t r e l i a b i l i t y . T h i s d e f i n i t i o n i s s o m e w h a t l e s s m a n a g e a b l e t h a n t h e o n e s d e s c r i b e d b y E q u a t i o n s 2 . 1 a n d 2 . 2 b e c a u s e e s t i m a t e s o f t e s t r e l i a b i l i t y a r e l e s s d e t e r m i n a t e t h a n a r e t e s t l e n g t h a n d t e s t s c o r e ; b u t i t i s m o r e m e a n i n g f u l b e c a u s e t e s t r e l i a b i l i t y c a n b e c l e a r l y r e l a t e d t o t e s t q u a l i t y . T h e f o c u s o f t h i s d i s c u s s i o n w i l l s h i f t t o t h e d e f i n i t i o n a n d e s t i m a t i o n o f t e s t r e l i a b i l i t y . I I . A . 3 . D e f i n i t i o n o f t e s t r e l i a b i l i t y T h e t e s t s c o r e i n c l a s s i c a l t e s t t h e o r y i s d e f i n e d a s t h e s u m o f t r u e s c o r e a n d e r r o r [ 3 5 ] . T h e t r u e s c o r e i s t h e s c o r e t h e s t u d e n t w o u l d r e c e i v e i f t h e r e w e r e n o e r r o r s o f a n y k i n d i n m e a s u r e m e n t . E r r o r i s a r a n d o m c o n t r i b u t i o n w h i c h m a y m a k e t h e o b s e r v e d s c o r e h i g h e r o r l o w e r t h a n t h e s t u d e n t ' s t r u e s c o r e . A c o l l e c t i o n o f t e s t s c o r e s w i l l h a v e a s e p a r a t e m e a n a n d v a r i a n c e f o r t r u e s c o r e s a n d f o r e r r o r s c o r e s . T h e m e a n o f t h e t r u e s c o r e s i s t h e ' t r u e t e s t m e a n . ' 4 8 S i n c e e r r o r s c o r e s a r e a s s u m e d t o b e p u r e l y r a n d o m , t h e m e a n o f a l l e r r o r s c o r e s i s z e r o ? T h e v a r i a n c e o f t h e t r u e s c o r e s i s p o s i t i v e b e c a u s e t h e r e a r e r e a l d i f f e r e n c e s i n k n o w l e d g e o f c h e m i S t r y b e t w e e n s t u d e n t s . T h e v a r i a n c e o f e r r o r s c o r e s i s p o s i t i v e b e c a u s e s q u a r e d d e v i a t i o n s f r o m a m e a n o f z e r o d o n o t c a n c e l . T h e r e m a y b e m a n y i n d e p e n d e n t c a u s e s o f r a n d o m e r r o r , e a c h c o n t r i b u t i n g s o m e f r a c t i o n t o t h e e r r o r v a r i a n c e . T h e o b s e r v e d t e s t v a r i a n c e w i l l b e t h e s u m o f t h e t r u e - s c o r e v a r i a n c e a n d a l l t h e e r r o r v a r i a n c e s ? " A t y p i c a l b r e a k d o w n o f t e s t v a r i a n c e i n t o i t s c o m p o n e n t s i s l i s t e d i n T a b l e 2 . 1 . T h e r e l i a b i l i t y o f a t e s t i s f o r m a l l y d e f i n e d a s t h e f r a c t i o n o f t o t a l v a r i a n c e p r o d u c e d b y d i f f e r e n c e s i n t r u e s c o r e s a m o n g s t u d e n t s . S i n c e t h e t r u e s c o r e i s u n k n o w n , r e l i a b i l i t y c a n n o t b e d e f i n i t e l y d e t e r m i n e d ; i t c a n o n l y b e e s t i m a t e d . T h e c h o i c e o f a s t a t i s t i c w i t h w h i c h t o m a k e t h i s e s t i m a t i o n w i l l d e p e n d o n t h e a s s u m p t i o n s o n e * T h i s c o n c e p t i o n o f t r u e a n d e r r o r s c o r e s i s a s i m p l i f i c a t i o n . E r r o r m a y b e s y s t e m a t i c o r r a n d o m . S y s t e m a t i c e r r o r m a y b e e i t h e r c o n s t a n t f o r a l l s c o r e s , i n c r e a s i n g o r d e c r e a s i n g e a c h b y t h e s a m e a m o u n t , o r i t m a y v a r y i n a c o m p l e x m a n n e r d e p e n d i n g o n t e s t s c o r e o r s o m e o t h e r v a r i a b l e . S y s t e m a t i c e r r o r a f f e c t s t h e a b s o l u t e a c c u r a c y o f t h e s c a l e w i t h o u t a f f e c t i n g r e l a t i v e a c c u r a c y o r r a n k i n g . R a n d o m e r r o r d i r e c t l y a f f e c t s t h e p r e c i s i o n o f t h e s c o r e - - t h e c o n f i d e n c e w i t h w h i c h a h i g h e r s c o r e i s h e l d t o i n d i c a t e g r e a t e r k n o w l e d g e t h a n a l o w e r s c o r e . R a n d o m e r r o r c a n n o t b e ' c o r r e c t e d f o r ' t h e w a y o n e c o r r e c t s f o r s y s t e m a t i c e r r o r ; i t c a n o n l y b e e s t i m a t e d a f t e r - t h e - f a c t . T h r o u g h p o s t h o c e r r o r a n a l y s i s t h e s o u r c e s a n d s i z e s o f r a n d o m e r r o r c a n b e d e t e r m i n e d a n d p e r h a p s a t t e n u a t e d i n f u t u r e m e a s u r e m e n t s . I n d i s c u s s i o n s o f p r e c i s i o n a n d e r r o r i n m e a s u r e m e n t , s y s t e m a t i c e r r o r o f t e n ( a s h e r e ) w i l l b e M i n c l u d e d w i t h t r u e s c o r e s o a s t o s i m p l i f y t h e a n a l y s i s o f r a n d o m e r r o r . T h e v a r i a n c e o f a s u m o f u n c o r r e l a t e d s c o r e s i s t h e s i m p l e s u m o f t h e i n d i v i d u a l v a r i a n c e s o f t h e s e p a r a t e s c o r e d i s t r i b u t i o n s . 4 9 c h o o s e s t o m a k e a b o u t t h e s t u d e n t s a n d t e s t s i n v o l v e d . S e v e r a l m e t h o d s o f e s t i m a t i n g t e s t r e l i a b i l i t y w i l l n o w b e d i s c u s s e d w i t h a t t e n t i o n g i v e n t o h o w d i f f e r e n t a s s u m p t i o n s a b o u t t r u e a n d e r r o r v a r i a n c e s a f f e c t t h e i n t e r p r e t a t i o n a n d u s e o f t h e c o e f f i c i e n t t h u s e s t i m a t e d . T a b l e 2 . 1 C o m p o n e n t s o f o b s e r v e d t e s t v a r i a n c e S y m b o l S o u r c e 3 2 . 1 . d i f f e r e n c e s i n k n o w l e d g e ( T = t r u e s c o r e ) 3 2 1 . 1 l e a r n i n g a n d f o r g e t t i n g ( f l = f l u c t u a t i o n i n t r u e s c o r e ) 3 2 g ' g u e s s i n g v a r i a t i o n s a m o n g s t u d e n t s ( g = g u e s s i n g ) S z a d m e f f e c t s o f d a y , r o o m , e t c . ( a d m = a d m i n i s t r a t i o n ) $ 2 e q u n r e p r e s e n t a t i v e c o v e r a g e o f t o p i c s ( e q = e q u i v a l e n c e ) s z s c s u b j e c t i v e s c o r i n g e r r o r s ( s o = s c o r i n g ) 3 2 m m e m o r y o f p r e v i o u s t e s t q u e s t i o n s ( m = m e m o r y ) 8 2 R a l l r e m a i n i n g s o u r c e s o f e r r o r ( R = r e s i d u a l ) I I . A . 4 . R e l i a b i l i t y f r o m t e s t - r e t e s t T h e r e p i t i t i o n o f a m e a s u r e m e n t a n d t h e c o r r e l a t i o n b e t w e e n t h e s e r e p e a t e d m e a s u r e s a s a w a y t o e s t i m a t e t h e r e l i a b i l i t y i n v o l v e s o n l y t w o a s s u m p t i o n s : ( 1 ) t h e q u a n t i t y m e a s u r e d i s u n c h a n g e d b y t h e a c t o f m e a s u r e m e n t , a n d ( 2 ) t h e q u a n t i t y m e a s u r e d d o e s n o t f l u c t u a t e d u r i n g o r b e t w e e n m e a s u r e m e n t s . W h i l e t h e s e a s s u m p t i o n s m a y o f t e n 5 0 b e m e t i n t h e c h e m i c a l l a b o r a t o r y , i t i s u n l i k e l y t h a t t h e y a r e b o t h t r u e s i m u l t a n e o u s l y i n t h e c l a s s r o o m . T h e s m a l l e r t h e i n t e r v a l b e t w e e n a d m i n i s t r a t i o n s o f t h e s a m e t e s t , t h e l e s s l i k e l y t r u e s c o r e s f l u c t u a t e b u t t h e m o r e l i k e l y m e m o r y o f t h e f i r s t s e t o f r e s p o n s e s i n f l u e n c e s t h e s u b s e q u e n t s e t . T h e s c o r e t h e s t u d e n t g e t s m a y b e t h e s a m e n o t b e c a u s e h i s k n o w l e d g e o f c h e m i s t r y i s u n c h a n g e d b u t b e c a u s e h e r e m e m b e r e d h o w h e a n s w e r e d t h o s e q u e s t i o n s t h e f i r s t t i m e . T h i s i n c l u s i o n o f m e m o r y v a r i a n c e w i t h t r u e - s c o r e v a r i a n c e w i l l s p u r i o u s l y i n f l a t e t h e e s t i m a t e o f t h e r e l i a b i l i t y c o e f f i c i e n t [ 3 6 , 3 7 ] . I f s u f f i c i e n t t i m e i s a l l o w e d b e t w e e n t e s t s f o r t h e s t u d e n t s t o f o r g e t h o w t h e y a n s w e r e d t h e q u e s t i o n s t h e n t h e y p r o b a b l y h a v e a l s o f o r g o t t e n s o m e o f w h a t t h e y k n e w . T h e r e l i a b i l i t y c o e f f i c i e n t m a y a l s o b e i n f l a t e d w h e n c a l c u l a t e d b y t h e t e s t - r e t e s t m e t h o d i f t h e s p e c i f i c t e s t u s e d i s n o t r e p r e s e n t a t i v e o f o t h e r p o s s i b l e t e s t s . T h i s s e c o n d t y p e o f e r r o r , c o m m o n l y c a l l e d s a m p l i n g e r r o r , i s n o t i m p o r t a n t w h e n t h e p r o p e r t y b e i n g m e a s u r e d i s v e r y n a r r o w l y d e f i n e d . F o r e x a m p l e , w h e t h e r a p a r t i c u l a r y a r d s t i c k i s ' r e p r e s e n t a t i v e ' o f p o s s i b l e y a r d s t i c k s i s e a s i l y j u d g e d . A c h i e v e m e n t i n c h e m i s t r y i s n o t a s e a s y t o m e a s u r e a c c u r a t e l y a s i s l e n g t h o r t h e y i e l d o f a c h e m i c a l r e a c t i o n . I I . A . 5 . R e l i a b i l i t y f r o m p a r a l l e l f o r m s T h e e s t i m a t i o n o f r e l i a b i l i t y f r o m t h e c o r r e l a t i o n b e t w e e n t w o p a r a l l e l f o r m s o f a t e s t i s a t e c h n i q u e w h i c h a g a i n i n v o l v e s o n l y t w o a s s u m p t i o n s : ( 1 ) t w o ' d i f f e r e n t ' t e s t s a r e ' e q u i v a l e n t ' , a n d 5 1 ( 2 ) t h e r e i s n o f l u c t u a t i o n i n t h e s t u d e n t ' s k n o w l e d g e d u r i n g o r b e t w e e n t e s t s . T h e s e c o n d o f t h e s e a s s u m p t i o n s i s t h e s a m e a s t h e s e c o n d u p o n w h i c h t e s t - r e t e s t r e l i a b i l i t y m e a s u r e m e n t s a r e b a s e d . T h e b a s i s o f t h e f i r s t a s s u m p t i o n i s t h e a s s e r t i o n t h a t t w o t e s t s h a v e t h e s a m e c o n t e n t . T h e d e f i n i t i o n s o f e q u i v a l e n c e r a n g e f r o m i t e m - b y - i t e m c o r r e s p o n d e n c e b e t w e e n f o r m s [ 3 8 - 4 0 ] t o s e t s o f i t e m s r a n d o m l y s e l e c t e d f r o m a p o o l o f p a r a l l e l i t e m s [ 4 1 - 4 3 ] . T h e p r o d u c t - m o m e n t c o r r e l a t i o n b e t w e e n t h e s e t w o t e s t s w h e n g i v e n t o t h e s a m e g r o u p o f s t u d e n t s i s t h e g e o m e t r i c m e a n o f t h e i r r e l i a b i l i t y c o e f f i c i e n t s [ 4 4 ] . M u c h i f n o t a l l o f t h e v a r i a n c e d u e t o s a m p l i n g e r r o r i s t r a n s f e r r e d f r o m t r u e s c o r e t o e r r o r , a n d m e m o r y a s a s o u r c e h a s b e e n e l i m i n a t e d - T h e p a r a l l e l f o r m s m e t h o d o f r e l i a b i l i t y e s t i m a t i o n i s t h e a c c e p t e d o p e r a t i o n a l d e f i n i t i o n o f t e s t r e l i a b i l i t y . . E s t i m a t i o n o f r e l i a b i l i t y b y e i t h e r t e s t - r e t e s t o r p a r a l l e l f o r m s c o r r e l a t i o n s t i l l i n v o l v e s t h e a s s u m p t i o n a b o u t t r u e - s c o r e f l u c t u a t i o n o v e r a t i m e i n t e r v a l . C u r e t o n [ 4 0 ] s a y s , " I d e a l l y , t e s t r e l i a b i l i t y s h o u l d b e d e t e r m i n e d f r o m e x p e r i m e n t a l l y i n d e p e n d e n t t e s t s e s s i o n s s o c l o s e t o g e t h e r t h a t t h e t r u e a b i l i t i e s o f t h e e x a m i n e e s d o n o t c h a n g e d u r i n g t h e i n t e r v a l . I n p r a c t i c e n o i n t e r v a l i s s h o r t e n o u g h . " I t w o u l d t a k e f i v e a d m i n i s t r a t i o n s a t e q u a l i n t e r v a l s t o p r o v i d e [ a r e a s o n a b l e e x t r a p o l a t i o n b a c k t o a n i n t e r v a l o f z e r o [ 4 4 ] . B e c a u s e o f t h e e x t r a l a b o r i n v o l v e d i n t h e c o n s t r u c t i o n a n d a d m i n i s t r a t i o n o f m o r e t h a n o n e t e s t , a s t a t i s t i c w h i c h e s t i m a t e s t h e r e l i a b i l i t y f r o m o n l y a s i n g l e t e s t a d m i n i s t r a t i o n i s o f t e n u s e d . 5 2 I I . A . 6 . R e l i a b i l i t y f r o m h o m o g e n e i t y o f c o n t e n t T w o m e t h o d s b a s e d o n t h e i n t e r n a l c o n s i s t e n c y o f a s i n g l e t e s t m a y b e u s e d t o e s t i m a t e t h e r e l i a b i l i t y c o e f f i c i e n t : t h e s p l i t - h a l v e s c o r r e l a t i o n p i o n e e r e d b y S p e a r m a n i n 1 9 1 0 [ 3 5 ] a n d t h e t y p e s o f c o e f f i c i e n t s i n t r o d u c e d b y K u d e r a n d R i c h a r d s o n i n 1 9 3 7 [ 3 8 ] . W h e n a t e s t i s s p l i t i n t o t w o h a l v e s t h e a s s u m p t i o n i s m a d e t h a t s i n c e t h e w h o l e t e s t w a s t a k e n a t o n e s i t t i n g t h e r e i s n o t i m e i n t e r v a l b e t w e e n h a l v e s ? r I f e a c h o f t h e s e h a l v e s i s f u l l y r e p r e s e n t a t i v e o f t h e w h o l e t e s t t h e n t h e c o r r e l a t i o n c o e f f i c i e n t b e t w e e n t h e m ( a d j u s t e d u p w a r d t o t h e l e n g t h o f t h e w h o l e t e s t u s i n g t h e S p e a r m a n - B r o w n p r o p h e c y f o r m u l a ) w i l l b e a s a p p r o p r i a t e a n e s t i m a t e o f t e s t r e l i a b i l i t y a s w o u l d b e a c o r r e l a t i o n b e t w e e n p a r a l l e l f o r m s . C o e f f i c i e n t s o f i n t e r n a l c o n s i s t e n c y m a k e t h e a s s u m p t i o n t h a t w i t h i n - t e s t i t e m c o r r e l a t i o n s a r e a s a p p r o p r i a t e a s b e t w e e n - t e s t c o r r e l a t i o n s . T h i s m i n i m u m a s s u m p t i o n i s t h e b a s i s f o r t h e K u d e r - R i c h a r d s o n F o r m u l a 8 ( K R B ) . I n t h e d e r i v a t i o n o f t h e K R 8 i t i s a s s u m e d t h a t i t e m - t e s t c o r r e l a t i o n s , r i t ’ a r e t h e b a s i s f o r r e a s o n a b l e s u b s t i t u t e s f o r i t e m r e l i a b i l i t i e s , r v i a t h e r e l a t i o n i i ’ r i t = \ / r t t r i i [ 2 . 4 1 * A c c o r d i n g t o C u r e t o n [ 4 0 ] a s p l i t t i n g o f t h e t e s t i n t o t w o h a l v e s w h e n t h e n u m b e r o f i t e m s i s a m u l t i p l e 1 4 5 8 9 1 2 1 3 1 6 o f f o u r m a y b e d o n e t h u s : 2 3 6 7 1 0 . 1 1 1 4 1 5 T h e m i d p o i n t s i n t h e a d m i n i s t r a t i o n s o f t h e t w o h a l v e s c o i n c i d e f o r t h i s p a t t e r n . I n t h e u s u a l o d d - e v e n s p l i t , t h e ' e v e n ' h a l f i s a d m i n i s t e r e d a f u l l i t e m l a t e r t h a n t h e ' o d d ' h a l f . T h i s t i m e d i s p l a c e m e n t i s p r o b a b l y i n c o n s e q u e n t i a l u n l e s s t h e i n d i v i d u a l i t e m s a r e l e n g t h y . 5 3 I f i n a d d i t i o n i t i s a s s u m e d t h a t i t e m s a r e e q u a l l y i n t e r c o r r e l a t e d a n d h a v e e q u a l v a r i a n c e s , t h e K R 2 0 m a y b e u s e d t o e s t i m a t e c o n s i s t e n c y . B y m a k i n g a f i n a l r i g i d a s s u m p t i o n t h a t a l l i t e m d i f f i c u l t i e s a r e e q u a l , * i n t e r n a l c o n s i s t e n c y m a y b e e s t i m a t e d f r o m o n l y t h e t e s t m e a n a n d t e s t v a r i a n c e b y t h e K R 2 1 . I I . A . 7 . F a c t o r s a f f e c t i n g t e s t r e l i a b i l i t y T h e a s s u m p t i o n s o n e i s w i l l i n g t o m a k e i n f l u e n c e t h e c h o i c e o f a s t a t i s t i c t o b e u s e d a s t h e e s t i m a t o r o f r e l i a b i l i t y . I t i s t h e r e f o r e d e s i r e a b l e t o k n o w h o w v i o l a t i o n o f t h e s e a s s u m p t i o n s a f f e c t t h e e s t i m a t e . M a n y a u t h o r s h a v e e x a m i n e d t h e i n t e r r e l a t i o n s o f t e s t l e n g t h ( k ) , t e s t v a r i a n c e ( 3 2 ) , i t e m v a r i a n c e ( p q ) , m e a n i t e m d i f f i c u l t y ( 3 ) , n u m b e r o f a n s w e r c h o i c e s ( J ) , i t e m i n t e r c o r r e l a t i o n s ( r i j ) : d i s t r i b u t i o n o f i t e m d i f f i c u l t i e s , f a c t o r s t r u c t u r e o f t e s t c o n t e n t , i n t e r n a l c o n s i s t e n c y , a n d r e l i a b i l i t y . I I . A . 7 . a . T e s t l e n g t h A l o n g e r t e s t i s a m o r e r e l i a b l e t e s t . T h i s a x i o m a t i c r e l a t i o n s h i p w a s f i r s t q u a n t i f i e d b y S p e a r m a n a n d B r o w n s e p a r a t e l y i n 1 9 1 0 a n d i s e x p r e s s e d b y t h e S p e a r m a n - B r o w n p r o p h e c y f o r m u l a * T h i s a s s u m p t i o n i s r a r e l y m e t b u t i s s e l d o m c r i t i c a l . I f i t e m d i f f i c u l t y i s 0 . 5 0 , i t e m v a r i a n c e i s 0 . 2 5 ; a s t h e d i f f i c u l t y d i v e r g e s t o 0 . 3 6 o r 0 . 6 4 t h e v a r i a n c e d e c r e a s e s o n l y s l i g h t l y t o 0 . 2 3 . T h u s o n l y w h e n i t e m d i f f i c u l t i e s a r e w i d e l y d i s t r i b u t e d a b o u t t h e i r m e a n d o e s t h e a v e r a g e i t e m v a r i a n c e d i f f e r s i g n i f i c a n t l y f r o m t h e s q u a r e o f t h e a v e r a g e i t e m d i f f i c u l t y . 5 4 _ n r n _ 1 + ( n - 1 ) r [ 2 . 5 ] w h e r e r i s t h e r e l i a b i l i t y o f a t e s t a n d n i s t h e f a c t o r b y w h i c h t h e l e n g t h o f t h e t e s t i s d e c r e a s e d o r i n c r e a s e d . T h i s f o r m u l a i s d e r i v e d f r o m c l a s s i c a l t e s t a n d i n f o r m a t i o n t h e o r y w h i c h c o n s i d e r s t h e ' t r u e ' c o m p o n e n t o f t e s t v a r i a n c e a s i n c r e a s i n g w i t h t h e s q u a r e o f 1 1 w h i l e t h e r a n d o m c o m p o n e n t i n c r e a s e s o n l y l i n e a r l y [ 3 5 , 4 5 , 4 6 ] . T h e S p e a r m a n - B r o w n p r o p h e c y f o r m u l a i s b a s e d o n t h e a s s u m p t i o n s t h a t v a r i a n c e s a n d r e l i a b i l i t i e s p e r - u n i t - l e n g t h a d d e d o r d e l e t e d a r e e q u a l . C u r e t o n [ 4 0 ] d e m o n s t r a t e d t h a t t h e v i o l a t i o n o f e i t h e r a s s u m p t i o n s e p a r a t e l y w i l l h a v e l i t t l e e f f e c t o n t h e p r e d i c t i o n . ( T h i s d e m o n s t r a t i o n p r o v i d e s p o s t h o c j u s t i f i c a t i o n f o r w h a t w o u l d o t h e r w i s e t h r o u g h o u t t h e y e a r s h a v e b e e n r a t h e r i n d i s c r i m i n a t e a p p l i c a t i o n b y m a n y w h o d i s c u s s p r e d i c t i o n s b u t n o t a s s u m p t i o n s . ) I I . A . 7 . b . N u m b e r o f r e s p o n s e o p t i o n s T h e e f f e c t o f t h e t e s t l e n g t h o n r e l i a b i l i t y h a s b e e n d i s c u s s e d i n t h e p r e v i o u s s e c t i o n . Y e t t h e d e f i n i t i o n o f t h e l e n g t h o f a t e s t a s t h e n u m b e r o f i t e m s i s b u t o n e o f t w o l i m i t i n g - c a s e v i e w s o f h o w t o c a l c u l a t e t h e l e n g t h o f a t e s t . T h e f i r s t c a s e c o n s i d e r s t h e l e n g t h o f t h e t e s t t o b e t h e t o t a l n u m b e r o f a n s w e r c h o i c e s f o r a l l t e s t q u e s t i o n s . I n t h i s c a s e , t h e i t e m i s t r e a t e d a s a n i n c o n s e q u e n t i a l l y s h o r t s t e m p l u s a c o l l e c t i o n o f r e s p o n s e o p t i o n s f r o m w h i c h t h e c o r r e c t a n s w e r m u s t b e s e l e c t e d u p o n c a r e f u l c o n s i d e r a t i o n o f a l l a n s w e r s i n t h e s e t . 5 5 T h u s t h e s t u d e n t s p e n d s h i s t i m e s e l e c t i n g h i s r e s p o n s e , a n d a b e t t e r r e p r e s e n t a t i o n o f t h e t e s t l e n g t h i s t h e t o t a l n u m b e r o f r e s p o n s e o p t i o n s r a t h e r t h a n s i m p l y t h e n u m b e r o f q u e s t i o n s . T h e s e c o n d l i m i t i n g c a s e c o n s i s t s o f a p r o b l e m t o b e s o l v e d w i t h o u t r e f e r e n c e t o a s e t o f r e s p o n s e s . U p o n s o l u t i o n o f t h e p r o b l e m , t h e a n s w e r n e e d o n l y b e l o c a t e d q u i c k l y i n t h e s e t o f a n s w e r c h o i c e s . T h e s t u d e n t ' s t i m e i n t h i s c a s e i s a l m o s t w h o l l y s p e n t s o l v i n g a p r o b l e m i n s t e a d o f m a k i n g a c h o i c e . T h e r e l i a b i l i t y o f t h e s e s t e m - c o n t e n t i t e m s s h o u l d f o l l o w t h e S p e a r m a n - B r o w n p r o p h e c y f o r m u l a w i t h t h e t e s t l e n g t h c o n v e n t i o n a l l y d e f i n e d a s t h e n u m b e r o f q u e s t i o n s . T h e r e l i a b i l i t y c o e f f i c i e n t s f o r r e s p o n s e - c o n t e n t ( f i r s t c a s e ) i t e m s s h o u l d f o l l o w t h e p r o p h e c y f o r m u l a w h e n t h e t e s t l e n g t h i s t a k e n a s t h e t o t a l n u m b e r o f a n s w e r c h o i c e s . S e v e r a l a u t h o r s h a v e s t u d i e d t h e p r o p h e c y o f r e l i a b i l i t y f o r w h a t t h e y a s s u m e a r e r e s p o n s e - c o n t e n t t e s t i t e m s . R e m m e r s a n d c o - w o r k e r s [ 4 7 - 5 2 ] r e p o r t e d s e v e r a l c o m p a r i s o n s o f s p l i t - h a l v e s c o r r e l a t i o n s w i t h r e l i a b i l i t i e s p r e d i c t e d b y t h e p r o p h e c y f o r m u l a . T h e f o r m u l a c o r r e c t l y p r e d i c t e d r e l i a b i l i t y c o e f f i c i e n t s f o r i t e m s w i t h t w o t h r o u g h f i v e c h o i c e s t a k e n f r o m t h e P u r d u e P l a c e m e n t T e s t i n E n g l i s h a n d p r e p a r e d b y r a n d o m d e l e t i o n o f i n c o r r e c t o p t i o n s f r o m t h e o r i g i n a l f i v e - c h o i c e q u e s t i o n s . I n a n o t h e r s t u d y o f a r i t h m e t i c i t e m s f o r j u n i o r h i g h s c h o o l s t u d e n t s , h e f o u n d a g a i n t h a t t h e p r e d i c t e d r e l i a b i l i t i e s a g r e e d w i t h e x p e r i m e n t a l v a l u e s . A t h i r d s i m i l a r s t u d y c o n f i r m e d t h e p r o p h e c y i n v o l v i n g a l g e b r a t e s t s o f v a r y i n g n u m b e r s o f 5 6 a n s w e r c h o i c e s . R e m m e r s d i d n o t e x a m i n e t h e v a l i d i t y o f t h e p r o p h e c y f o r m u l a f o r a c h i e v e m e n t t e s t s c o n t a i n i n g q u e s t i o n s w i t h m o r e t h a n f i v e r e s p o n s e o p t i o n s . H o w e v e r , h e d i d o b s e r v e t h a t t h e f o r m u l a f a i l e d t o p r e d i c t t h e r e l i a b i l i t i e s o f s e v e n - c h o i c e a t t i t u d e s u r v e y i t e m s . T h e S p e a r m a n - B r o w n p r o p h e c y f o r m u l a p r e d i c t s t h a t a t e s t o f i n f i n i t e l e n g t h w i l l h a v e a r e l i a b i l i t y c o e f f i c i e n t o f 1 . 0 0 i r r e s p e c t i v e o f t h e i n i t i a l r e l i a b i l i t y u p o n w h i c h t h e p r o p h e c y i s b a s e d . W h e n t h e t e s t l e n g t h i s c o n s i d e r e d a s t h e t o t a l n u m b e r o f c h o i c e s , t h e s h o r t - a n s w e r o r f r e e r e s p o n s e i t e m i s a s p e c i a l c a s e o f t h e i t e m w i t h a n i n f i n i t e n u m b e r o f c h o i c e s ? T h i s l e a d s t o t h e c o n c l u s i o n t h a t a l l s h o r t - a n s w e r t e s t s a r e o f p e r f e c t r e l i a b i l i t y s i m p l y b e c a u s e o f t h e i r s t r u c t u r e a n d i n d e p e n d e n t o f t h e i r c o n t e n t o r q u a l i t y . T h i s s e e m s u n l i k e l y . W h a t h a s b e e n s u p p o r t e d b y R e m m e r s i s t h e g e n e r a l c o n c l u s i o n t h a t i n c r e a s i n g t h e n u m b e r o f a n s w e r c h o i c e s d o e s i n c r e a s e r e l i a b i l i t y . T h e e x a c t p o i n t a t w h i c h t o e x p e c t b r e a k d o w n o f t h e S p e a r m a n - B r o w n p r o p h e c y f o r m u l a h a s n o t b e e n d e t e r m i n e d . I t i s i n t e r e s t i n g t o n o t e t h a t e v e n f o r s u p p o s e d l y s t e m - c o n t e n t a r i t h m e t i c a n d a l g e b r a q u e s t i o n s t h e f o r m u l a c o r r e c t l y p r e d i c t s i n c r e a s e d r e l i a b i l i t y f o r u p t o f i v e o p t i o n s ; t h i s i s m o r e l i k e l y d u e t o a d e c r e a s e i n g u e s s i n g t h a n t o a n i n c r e a s e i n a p p a r e n t t e s t l e n g t h . I f t h e t o t a l n u m b e r o f o p t i o n s - - t e s t l e n g t h - - i s h e l d c o n s t a n t , t h e i n t e r a c t i o n b e t w e e n t h e s p e c i f i c n u m b e r o f q u e s t i o n s a n d t h e * T h i s i s d o n e e x p l i c i t l y b y M a t t s o n [ 5 3 ] a n d i m p l i c i t l y b y o t h e r a u t h o r s . 5 7 p r o b a b i l i t y o f a s u c c e s s f u l g u e s s w i l l l e a d t o a n o p t i m a l n u m b e r o f r e s p o n s e o p t i o n s p e r i t e m . T v e r s k y [ 5 4 ] c a l c u l a t e d t h e t h e o r e t i c a l m a x i m u m f o r a d i s c r i m i n a t i o n f u n c t i o n . T h e o p t i m a l n u m b e r o f o p t i o n s w a s t h e t r a n s c e n d e n t a l c o n s t a n t 3 ( 2 . 7 1 8 . . . ) , w h i c h r o u n d s u p t o t h e i n t e g e r t h r e e . G r i e r [ 5 5 ] u s e d a n e q u a t i o n d e v e l o p e d b y E b e l " t o s h o w t h a t t h e K R 2 1 i s a l s o m a x i m i z e d a t t h r e e o p t i o n s p e r i t e m . H e s t a t e d t h r e e r e s e r v a t i o n s . T h i s a n a l y s i s i s o n l y v a l i d f o r r e s p o n s e - c o n t e n t i t e m s . I t a p p l i e s o n l y t o t e s t s w h e r e t h e t o t a l n u m b e r o f o p t i o n s i s g r e a t e r t h a n f i f t y - f o u r . A n d f i n a l l y , o n l y w h e n t h e u s e o f t h e K R 2 1 i s a r e a s o n a b l e b a s i s f o r e s t i m a t i n g t e s t r e l i a b i l i t y a r e t h e s e c o n c l u s i o n s a p p r o p r i a t e . M o r e r e c e n t l y , L o r d [ 5 7 ] a n a l y z e d t h e r e s u l t s o f t h e S A T V e r b a l e x a m . W i t h t h e a s s u m p t i o n t h a t g u e s s i n g i s p u r e l y r a n d o m , h e d e r i v e d a n e q u a t i o n t o p r e d i c t t h e n u m b e r o f c h o i c e s w h i c h m a x i m i z e s t h e r e l i a b i l i t y c o e f f i c i e n t i n d e p e n d e n t o f t e s t l e n g t h b u t d e p e n d e n t o n i t e m i n t e r c o r r e l a t i o n s a n d d i f f i c u l t i e s . T h i s e q u a t i o n y i e l d e d p r e d i c t i o n s s i m i l a r t o t h o s e o f T v e r s k y a n d G r i e r . H o w e v e r , L o r d f o u n d t h a t t h e r e l a t i v e e f f i c i e n c y o f i t e m s w i t h d i f f e r e n t n u m b e r s o f c h o i c e s i s a f u n c t i o n o f t h e d i f f i c u l t y l e v e l . A t l o w a b i l i t y ( h i g h d i f f i c u l t y ) , g u e s s i n g i s o f p a r a m o u n t i m p o r t a n c e a n d h e f o u n d t h a t f i v e - c h o i c e i t e m s w e r e * E b e l ' s [ 5 6 ] e q u a t i o n i s b a s e d o n r e a s o n a b l e a s s u m p t i o n s a b o u t t h e t e s t m e a n a n d s t a n d a r d d e v i a t i o n ; i t p r o v i d e s a l o w e r - b o u n d e s t i m a t e t o t h e r e l i a b i l i t y . T h e e s t i m a t e b e c o m e s i n c r e a s i n g l y l e s s a c c u r a t e a s t e s t l e n g t h d e c r e a s e s o r a s t h e s t a n d a r d d e v i a t i o n i n c r e a s e s . 5 8 m o r e e f f e c t i v e t h a n t w o - , t h r e e - , o r f o u r - c h o i c e i t e m s . C o n v e r s e l y , a t h i g h a b i l i t y ( l o w d i f f i c u l t y ) , r e l i a b i l i t y a n d d i s c r i m i n a t i o n d e p e n d o n t h e n u m b e r o f i t e m s - - t o a t t a i n t h e m a x i m u m n u m b e r o f i t e m s f o r a g i v e n t o t a l n u m b e r o f o p t i o n s r e q u i r e s t h e f e w e s t ( t w o ) p e r i t e m . B y a d j u s t i n g i t e m d i f f i c u l t i e s a c c o r d i n g t o s u g g e s t i o n s L o r d m a d e p r e v i o u s l y [ 5 8 ] , h e e l i m i n a t e d m u c h o f t h e e f f e c t o f d i f f e r e n t i a l a b i l i t y ( d i f f i c u l t y l e v e l ) a n d f o u n d t h e t h r e e - c h o i c e f o r m a t t o b e m o s t e f f i c i e n t . T o o , t h e p r e d i c t e d c h a n c e s c o r e b a s e d o n t h e n u m b e r o f r e s p o n s e o p t i o n s o f t e n o v e r e s t i m a t e s t h e a c t u a l c h a n c e s c o r e . L o r d o b s e r v e d t h a t l o w - l e v e l e x a m i n e e s p e r f o r m a t b e l o w c h a n c e . L o r d a l s o a d d e d t h a t s e l d o m i s a g u e s s t r u l y r a n d o m , a n d w h e n t h e r e s p o n s e i s b a s e d o n p a r t i a l i n f o r m a t i o n , t h e d i s c r i m i n a t i n g p o w e r o f t h e i t e m i s l i k e l y t o c h a n g e i n a n u n p r e d i c t a b l e m a n n e r w h e n t h e n u m b e r o f a n s w e r c h o i c e s i s c h a n g e d . T h i s t e n d s t o d i s c o u r a g e a n y a t t e m p t t o r e s t r u c t u r e i t e m s b y l o w e r i n g t h e n u m b e r o f a n s w e r c h o i c e s i n o r d e r t o i n c r e a s e t h e n u m b e r o f i t e m s . C o s t i n [ 5 9 ] d i d a n e m p i r i c a l s t u d y o f t h e e f f e c t o f r e d u c i n g t h e n u m b e r o f r e s p o n s e o p t i o n s f r o m f o u r t o t h r e e a s a t e s t o f T v e r s k y ' s p r o o f t h a t t h r e e i s t h e o p t i m a l n u m b e r . H e s e l e c t e d f i f t y t o s i x t y i t e m s f r o m e a c h o f f o u r t o p i c s i n a n e x t e n s i v e p o o l o f i t e m s u s e d i n a n i n t r o d u c t o r y p s y c h o l o g y c o u r s e . H a l f o f t h e f o u r - c h o i c e q u e s t i o n s w e r e r e d u c e d t o t h r e e - c h o i c e b y r a n d o m d e l e t i o n o f a d i s t r a c t o r . A f t e r t w o h u n d r e d s t u d e n t s t o o k t h e t e s t s , t h e i t e m s w e r e s o r t e d i n t o t h e t w o t y p e s . T h e d i s c r i m i n a t i o n i n d e x , K R Z O ’ a n d i t e m d i f f i c u l t i e s 5 9 w e r e c a l c u l a t e d b a s e d o n t e s t l e n g t h s o f t w e n t y - f i v e o r t h i r t y i t e m s . W h i l e t h e o v e r a l l v a l u e s o f t h e K R 2 0 c o e f f i c i e n t s w e r e n o t i m p r e s s i v e ( 0 . 5 0 t o 0 . 6 2 ) , f o r a l l t o p i c s t h e t h r e e - c h o i c e i t e m s w e r e m o r e c o n s i s t e n t , m o r e d i s c r i m i n a t i n g , a n d o n l y s l i g h t l y l e s s d i f f i c u l t . T h o u g h m a n y o f t h e d i f f e r e n c e s w e r e n o t s t a t i s t i c a l l y s i g n i f i c a n t , t h e t r e n d i n t h e c o e f f i c i e n t s s u p p o r t e d T v e r s k y . R a m o s [ 6 0 ] d i s t i n g u i s h e d b e t w e e n ' n a t u r a l ' f o u r - c h o i c e i t e m s a n d ' a r t i f i c i a l ' f o u r - c h o i c e i t e m s . A r t i f i c i a l f o u r - c h o i c e i t e m s w e r e o r i g i n a l l y f i v e - c h o i c e i t e m s f r o m w h i c h t h e l e a s t a t t r a c t i v e d i s t r a c t o r w a s d e l e t e d . C o l l e g e - l e v e l F r e n c h a n d S p a n i s h r e a d i n g t e s t s w e r e a d m i n i s t e r e d t o o v e r o n e t h o u s a n d s t u d e n t s a t d i f f e r e n t s c h o o l s . A f t e r c o r r e c t i n g s c o r e s f o r g u e s s i n g ” a n d u s i n g a K R Z O m o d i f i e d f o r o m i t t e d i t e m s , R a m o s f o u n d t h a t a r t i f i c i a l f o u r - c h o i c e i t e m s h a d c o e f f i c i e n t s c o m p a r a b l e t o n a t u r a l f o u r - c h o i c e i t e m s . H e a l s o f o u n d t h a t n a t u r a l f o u r - c h o i c e i t e m s h a d s l i g h t l y l o w e r i n t e r n a l c o n s i s t e n c i e s t h a n t h e u n m o d i f i e d f i v e - c h o i c e t e s t i t e m s . R a m o s p o i n t e d o u t t h a t g e n e r a l i z i n g t o o t h e r d i s s i m i l a r t e s t s i s n o t e n t i r e l y w a r r a n t e d . T h e s e s t u d i e s o f p r e d i c t e d r e l i a b i l i t y a n d t h e o p t i m a l n u m b e r o f a n s w e r c h o i c e s a r e b a s e d p r i m a r i l y o n r e s p o n s e - c o n t e n t i t e m s i n a r e a s o t h e r t h a n c h e m i s t r y . M o s t o f t h e q u e s t i o n s a s k e d o n c h e m i s t r y * W h e n t e s t s c o r e s a r e c o r r e c t e d f o r g u e s s i n g , Z i m m e r m a n [ 6 1 ] a n d C o u l t e r [ 6 2 ] a g r e e t h a t t h e a v e r a g e e f f e c t o f g u e s s i n g o n t h e g r o u p m e a n m a y b e e l i m i n a t e d , b u t t h e i r r e g u l a r a n d u n k n o w n e f f e c t s o f l u c k f o r d i f f e r e n t s t u d e n t s w i l l s t i l l c o n t r i b u t e t o e r r o r v a r i a n c e . C o u l t e r p o i n t s o u t t h a t i f a l l i t e m s a r e a t t e m p t e d , c o r r e c t e d s c o r e s c o r r e l a t e p e r f e c t l y w i t h u n c o r r e c t e d s c o r e s . 6 0 t e s t s i n C E M 1 3 0 / 1 3 1 a r e s t e m - c o n t e n t i t e m s s u c h a s n u m e r i c a l p r o b l e m s . T h e l e n g t h o f t i m e i t t a k e s a s t u d e n t t o w o r k a p r o b l e m i s t h e o r e t i c a l l y i n d e p e n d e n t o f t h e n u m b e r o f a n s w e r c h o i c e s . T h u s p r o b l e m s a r e n o t s u s c e p t i b l e t o t h e s a m e m a t h e m a t i c a l t r e a t m e n t b y w h i c h t h r e e i s d e t e r m i n e d t o b e t h e o p t i m a l n u m b e r o f c h o i c e s . Y e t s o m e p o i n t s m a d e b y R e m m e r s a n d L o r d a r e p e r t i n e n t . T h e r e l i a b i l i t y o f t e s t s w i l l i n c r e a s e w h e n t h e n u m b e r o f r e s p o n s e o p t i o n s i s i n c r e a s e d . T h i s i n c r e a s e w i l l b e m o s t e f f e c t i v e w h e n t h e t e s t s a r e s o m e w h a t d i f f i c u l t , a n d m o s t o f t h e g a i n i n r e l i a b i l i t y w i l l o c c u r a t t h e l o w e n d o f t h e s c a l e . N o n e o f t h e s e s t u d i e s w e n t b e y o n d f i v e a n s w e r c h o i c e s . I t i s a m a j o r a i m o f t h i s r e s e a r c h t o e x t e n d t h e i n v e s t i g a t i o n o f r e l i a b i l i t y i n t o t h e u n c h a r t e d s e a b e t w e e n f i v e a n d t e n r e s p o n s e o p t i o n s . I I . A . 7 . c . I n t e r r e l a t i o n o f t o p i c s T h e m a n n e r i n w h i c h i t e m s t e s t i n g t h e v a r i o u s t o p i c s o n a n e x a m i n a t i o n i n t e r r e l a t e i s d e s c r i b e d b y t h e f a c t o r s t r u c t u r e f r o m a f a c t o r a n a l y s i s . W h e n t h e c o e f f i c i e n t o f i n t e r n a l c o n s i s t e n c y i s u s e d a s a n e s t i m a t e o f t e s t r e l i a b i l i t y , t h e a s s u m p t i o n i s m a d e t h a t i t e m i n t e r c o r r e l a t i o n s a r e h o m o g e n e o u s ? ' A r e l i a b i l i t y e s t i m a t e ' h a l f w a y ' b e t w e e n i n t e r n a l c o n s i s t e n c y a n d p a r a l l e l f o r m s c o r r e l a t i o n i s t h e * T h i s a s s u m p t i o n o f h o m o g e n e i t y d o e s n o t m e a n t h a t a l l i t e m s m u s t i n t e r c o r r e l a t e h i g h l y o r e v e n e q u a l l y . I t d o e s m e a n t h a t t h e r e a r e n o c l u s t e r s o f i t e m s w h i c h i n t e r c o r r e l a t e m o r e h i g h l y a m o n g t h e m s e l v e s t h a n t h e y d o w i t h o t h e r i t e m s o n t h e t e s t . 6 1 s p l i t - h a l v e s c o r r e l a t i o n c o e f f i c i e n t . C r o n b a c h [ 4 3 ] c o m p a r e d t h e K R 2 0 t o t h e s p l i t - h a l v e s c o e f f i c i e n t . H e s h o w e d t h a t t h e m e a n o f a l l p o s s i b l e s p l i t - h a l v e s c o r r e l a t i o n s i s e q u a l t o t h e K R Z O . G i v e n t h e l o g i c a l p r e s u m p t i o n t h a t a p l a n n e d d i v i s i o n w o u l d p r o d u c e a h i g h e r c o e f f i c i e n t t h a n t h e m e a n o f a l l p o s s i b l e s p l i t s - - e v e n p o o r o n e s - - C r o n b a c h a n a l y z e d a 6 0 - q u e s t i o n t e s t o f m e c h a n i c a l r e a s o n i n g t a k e n b y n i n t h g r a d e b o y s . T h r e e s c h e m e s o f s p l i t t i n g t h e t e s t i n t o t w o h a l v e s w e r e e m p l o y e d : r a n d o m s e l e c t i o n , s e l e c t i o n a c c o r d i n g t o i t e m d i f f i c u l t y , a n d s e l e c t i o n a c c o r d i n g t o b o t h c o n t e n t a n d d i f f i c u l t y . T h e r a n g e o f c a l c u l a t e d c o e f f i c i e n t s w a s g r e a t e s t f o r t h e r a n d o m s p l i t s a n d s m a l l e s t f o r s p l i t s e q u a t e d f o r b o t h c o n t e n t a n d d i f f i c u l t y . T h e m e a n o f a l l p o s s i b l e s p l i t s c a l c u l a t e d b y t h e K R Z O w a s r o u g h l y e q u a l t o t h e m e a n o f t h e r a n d o m s p l i t s a n d s l i g h t l y l o w e r t h a n t h e p l a n n e d s p l i t s , b u t t h e d i f f e r e n c e s w e r e n o t s t a t i s t i c a l l y s i g n i f i c a n t . R e f e r r i n g H t o o t h e r a n a l y s e s , C r o n b a c h a d d e d . . . w e h a v e s t u d i e s o f s e v e n t e s t s w h i c h s e e m t o s h o w t h a t t h e v a r i a t i o n f r o m s p l i t t o s p l i t i s t o o s m a l l t o b e o f p r a c t i c a l i m p o r t a n c e . " T h i s f a i l u r e o f s e e m i n g l y h e t e r o g e n e o u s t e s t s t o h a v e l o w e r c o e f f i c i e n t s o f c o n s i s t e n c y t h a n r e l i a b i l i t y l e d h i m t o s t u d y t h e i n f l u e n c e o f f a c t o r s t r u c t u r e o n i n t e r n a l c o n s i s t e n c y . T h r e e b a s i c k i n d s o f f a c t o r s a r e f o u n d i n t e s t i t e m s - - a g e n e r a l f a c t o r ( G ) , g r o u p o r c l u s t e r f a c t o r s , a n d s i n g l e - i t e m f a c t o r s . T h e s i z e s a n d d i s t r i b u t i o n s o f t h e s e f a c t o r s w i t h i n t h e t e s t h a v e d i f f e r i n g e f f e c t s o n c o n s i s t e n c y . I f t h e r e i s o n l y o n e s i g n i f i c a n t g e n e r a l f a c t o r 6 2 a n d n o g r o u p o r c l u s t e r f a c t o r s o n a t e s t , t h e n e v e n w h e n t h i s g e n e r a l f a c t o r i s w e a k ( i . e . i t e m i n t e r c o r r e l a t i o n s o f 0 . 0 9 ) i t s i m p o r t a n c e r a p i d l y i n c r e a s e s w i t h t e s t l e n g t h . F o r a t e s t o f t w e n t y - f i v e i t e m s , G a c c o u n t s f o r a b o u t 4 5 p e r c e n t o f t e s t v a r i a n c e a n d f o r o n e h u n d r e d i t e m s , G a c c o u n t s f o r a b o u t 7 5 p e r c e n t . I n t h i s c a s e w h e r e t h e r e a r e n o d i s t i n c t c l u s t e r s o r s u b s e t s o f i t e m s , t h e n a s l o n g a s t h e t e s t i s n o t s i m u l t a n e o u s l y s h o r t a n d h e t e r o g e n e o u s , t h e i n t e r n a l c o n s i s t e n c y w i l l b e n e a r l y i d e n t i c a l t o t h e s p l i t - h a l v e s c o r r e l a t i o n a n d b y a n a l o g y t h e p a r a l l e l f o r m s c o r r e l a t i o n . T h e K R Z O i n d i c a t e s h o w m u c h v a r i a n c e d e p e n d s o n t h e g e n e r a l f a c t o r . A s s u c h i t i s a m e a s u r e o f c o n t e n t h o m o g e n e i t y a s w e l l a s t e s t r e l i a b i l i t y . I f a t e s t i s k n o w n t o b e h e t e r o g e n e o u s w i t h d i s c r e t e h o m o g e n e o u s s u b t e s t s , t h e c o n c e p t o f o v e r a l l c o n s i s t e n c y d o e s n o t a p p l y a n d a c o e f f i c i e n t o f i n t e r n a l c o n s i s t e n c y w i l l s e r i o u s l y u n d e r e s t i m a t e t h e r e l i a b i l i t y . I n s u m m a r y , C r o n b a c h s t a t e d t h a t t h e K R Z O i s a l o w e r b o u n d t o t h e r e l i a b i l i t y c o e f f i c i e n t a n d a n u p p e r b o u n d t o i n t e r n a l c o n s i s t e n c y . T h e e x t e n t t o w h i c h t h e K R Z O u n d e r e s t i m a t e s r e l i a b i l i t y o r o v e r e s t i m a t e s c o n s i s t e n c y d e p e n d s o n t h e f a c t o r s t r u c t u r e a n d t h e s i z e o f t h e G f a c t o r . L o r d [ 6 3 ] s h o w s t h a t e s t i m a t e s o f i n t e r n a l c o n s i s t e n c y p r o v i d e d b y t h e K R Z O a n d K R 2 1 a r e e s t i m a t e s o f t h e r a n d o m s a m p l i n g e r r o r i n t h e s e l e c t i o n o f t e s t i t e m s . C o n s i s t e n c y c o e f f i c i e n t s t r e a t d i f f e r e n c e s i n t o p i c a r e a s a n d i t e m c o n t e n t a n d d i f f i c u l t y w i t h i n t e s t s a s t h e s o u r c e o f d i f f e r e n c e s b e t w e e n t e s t s . B u t i f t h e p o o l o f i t e m s f r o m w h i c h t h o s e 6 3 o n t h e t e s t a r e s e l e c t e d i s c a r e f u l l y s t r a t i f i e d , i t i s n o t d i f f i c u l t t o g e n e r a t e h e t e r o g e n e o u s t e s t s w h i c h a r e s t i l l p a r a l l e l . I n t h i s c a s e t h e p a r a l l e l f o r m s c o r r e l a t i o n c o e f f i c i e n t w i l l p r o v i d e t h e o n l y r e a l i s t i c e s t i m a t e o f t r u e t e s t r e l i a b i l i t y . I I . A . 7 . d . I t e m i n t e r c o r r e l a t i o n s a n d d i f f i c u l t i e s G u l l i k s e n [ 6 4 ] i n v e s t i g a t e d t h e r e l a t i o n o f i t e m i n t e r c o r r e l a t i o n s a n d d i f f i c u l t i e s t o t e s t r e l i a b i l i t y . B y d e f i n i n g t h e r e l i a b i l i t y a s t h e r a t i o o f t r u e v a r i a n c e t o o b s e r v e d v a r i a n c e , h e s h o w e d w h a t c o n d i t i o n s m a x i m i z e t e s t v a r i a n c e . F o r a w e l l - c o n s t r u c t e d o n e - f a c t o r t e s t c o n s i s t i n g o f i t e m s w i t h s i m i l a r r e l i a b i l i t i e s a n d i n t e r c o r r e l a t i o n s w h i c h a r e a l s o u n c o r r e l a t e d w i t h i t e m v a r i a n c e ( i t e m d i f f i c u l t y ) , h e s u m m a r i z e d t h e r e s u l t s i n t h r e e t h e o r e m s . T h e o r e m A . I t e m i n t e r c o r r e l a t i o n s c a n b e a t a m a x i m u m o n l y w h e n i t e m d i f f i c u l t i e s a r e e q u a l , a n d t h e f a r t h e r f r o m 0 . 5 0 t h e a v e r a g e d i f f i c u l t y i s , t h e f a s t e r c o r r e l a t i o n d e c r e a s e s a s t h e i t e m d i f f i c u l t i e s b e c o m e m o r e w i d e l y s c a t t e r e d a b o u t t h e i r m e a n . T h e o r e m B . T e s t v a r i a n c e w i l l i n c r e a s e a s i t e m d i f f i c u l t i e s c l u s t e r m o r e c l o s e l y , a s i n t e r c o r r e l a t i o n s i n c r e a s e , a n d a s t h e a v e r a g e i t e m d i f f i c u l t y a p p r o a c h e s 0 . 5 0 . T h e o r e m C . A s t h e t e s t b e c o m e s m o r e h o m o g e n e o u s i n c o n t e n t a n d t h e i t e m s m o r e s i m i l a r i n d i f f i c u l t y ( i d e a l l y a l l e q u a l t o 0 . 5 0 ) , t h e t e s t r e l i a b i l i t y w i l l i n c r e a s e . T h i s i s a c o r o l l a r y t o t h e r e l a t i o n b e t w e e n t e s t l e n g t h a n d r e l i a b i l i t y . 6 4 G u l l i k s e n p o i n t s o u t t h a t h i s t h e o r e t i c a l t r e a t m e n t d o e s n o t c o n s i d e r i t e m s o n w h i c h g u e s s i n g c a n o c c u r . H e a l s o s t a t e s t h a t t e s t v a r i a n c e i s n o t t h e o n l y c r i t e r i o n b y w h i c h t e s t r e l i a b i l i t y c a n b e j u d g e d . B r o g d e n [ 6 5 ] s t u d i e d t h e e f f e c t s o f v a r i a t i o n s i n i t e m d i f f i c u l t y , s p r e a d o f i t e m d i f f i c u l t i e s , a n d i t e m i n t e r c o r r e l a t i o n s o n c o e f f i c i e n t s o f i n t e r n a l c o n s i s t e n c y . I n a s i m u l a t i o n , h e f o u n d t h a t a s i t e m i n t e r c o r r e l a t i o n s d e c r e a s e , i n d i c a t i n g a n i n c r e a s i n g l y c o m p l e x f a c t o r s t r u c t u r e , t h e v a r i a n c e o f i t e m d i f f i c u l t i e s h a s a g r e a t e r e f f e c t o n c o n s i s t e n c y . T h i s e f f e c t i n c r e a s e s a s t h e a v e r a g e d i f f i c u l t y d e p a r t s f r o m 0 . 5 0 . T h u s i f i t e m s h a v e l o w i n t e r c o r r e l a t i o n s a n d w i d e l y d i f f e r e n t d i f f i c u l t i e s , e v e n v e r y l o n g t e s t s w i l l h a v e l o w i n t e r n a l c o n s i s t e n c y a s e s t i m a t e d b y t h e K R 8 . W i t h h e t e r o g e n e o u s c o n t e n t t h e r e i s m o r e t o g e g a i n e d b y c l u s t e r i n g i t e m d i f f i c u l t i e s n e a r t h e m i d d l e o f t h e d i f f i c u l t y s c a l e t h a n w i t h h o m o g e n e o u s c o n t e n t . T h e c o e f f i c i e n t s o f c o n s i s t e n c y t h u s i n d i c a t e n o t o n l y c o n s i s t e n c y o f c o n t e n t ' b u t a l s o c o n s i s t e n t y o f i t e m d i f f i c u l t i e s , a n d p a r a l l e l f o r m s o f t e s t s m u s t b e p a r a l l e l i n b o t h c o n t e n t a n d d i f f i c u l t y . C r o n b a c h [ 6 6 ] d i s c u s s e s t h e r e l a t i o n s h i p b e t w e e n s p r e a d o f i t e m d i f f i c u l t y a n d d i s c r i m i n a t i n g p o w e r a t d i f f e r e n t l e v e l s o f a c h i e v e m e n t . H e d e m o n s t r a e s t h a t t h e v a l i d i t y e s t i m a t e d b y t h e b i s e r i a l i t e m - t e s t c o r r e l a t i o n , r i t : i s d r a m a t i c a l l y a f f e c t e d b y t h e i n t e r a c t i o n s b e t w e e n i t e m i n t e r c o r r e l a t i o n a n d d i f f i c u l t y l e v e l . T h e o p t i m a l s p r e a d o f i t e m d i f f i c u l t i e s w h i c h p r o v i d e s t h e w i d e s t r a n g e o f d i s c r i m i n a t i o n a n d v a l i d i t y d e p e n d s o n h o w h i g h l y i t e m s i n t e r c o r r e l a t e . W h e n i t e m s a r e 6 5 v e r y h i g h l y i n t e r c o r r e l a t e d , t h e t e s t s h o u l d h a v e a w i d e r a n g e o f i t e m d i f f i c u l t i e s s o t h a t d i s c r i m i n a t i o n i s v a l i d l y m a d e a t m a n y l e v e l s o f a c h i e v e m e n t . W h e n i t e m i n t e r c o r r e l a t i o n s a r e l o w , w h i c h f o r a o n e f a c t o r t e s t m e a n s l o w i t e m r e l i a b i l i t y , t h e i t e m d i f f i c u l t i e s s h o u l d a l l b e e q u a l l y d i f f i c u l t a t o r j u s t a b o v e t h e m i d p o i n t b e t w e e n c h a n c e a n d p e r f e c t . I I . A . 7 . e . G u e s s i n g , d i f f i c u l t g , a n d c o n s i s t e n c y L o r d [ 5 8 ] e x t e n d e d t h e c a l c u l a t i o n s o f B r o g d e n a n d G u l l i k s e n t o t h e c a s e w h e r e g u e s s i n g c a n o c c u r . U s i n g a K R 8 m o d i f i e d f o r g u e s s i n g , h e c o n c l u d e d t h a t t h e i n t e r n a l c o n s i s t e n c y c o e f f i c i e n t i s m a x i m i z e d b y d e c r e a s i n g t h e s p r e a d o f i t e m d i f f i c u l t i e s a n d b y m a k i n g t h e m e a n i t e m d i f f i c u l t y s l i g h t l y g r e a t e r t h a n h a l f w a y b e t w e e n c h a n c e s u c c e s s a n d 1 . 0 . L o r d n o t e d t h a t t h e c o n s i s t e n c i e s a r e l o w e s t f o r t w o - c h o i c e i t e m s a n d i n c r e a s e s t e a d i l y a s t h e n u m b e r o f c h o i c e s i n c r e a s e s t o f i v e p e r i t e m . H e a l s o o b s e r v e d t h a t t h e a m o u n t b y w h i c h i t e m s s h o u l d b e m a d e e a s i e r t o m a x i m i z e c o n s i s t e n c y i n c r e a s e s a s t h e i n t e r c o r r e l a t i o n s a m o n g t h e i t e m s i n c r e a s e . H e s t a t e s t h a t m a k i n g i t e m s e a s i e r i n c r e a s e s r e l i a b i l i t y a t t h e l o w e n d o f t h e s c a l e w h i l e s l i g h t l y d e c r e a s i n g t h e d i s c r i m i n a t i o n a t t h e u p p e r e n d . C a r r o l l [ 6 7 ] a l s o e x t e n d e d G u l l i k s e n ' s w o r k t o t h e c a s e w h e r e g u e s s i n g c a n o c c u r . H e d e r i v e d s i m i l a r r e l a t i o n s h i p s a n d r e a c h e d s i m i l a r c o n c l u s i o n s . T h e r e l i a b i l i t y a s e s t i m a t e d b y t h e c o r r e l a t i o n b e t w e e n t e s t s o r b e t w e e n i t e m s d e c r e a s e s a s t h e m e a n d i f f i c u l t y 6 6 i n c r e a s e s a n d a l s o a s t h e d i f f e r e n c e s i n d i f f i c u l t y b e t w e e n t e s t s o r i t e m s b e c o m e m o r e p r o n o u n c e d . C a r r o l l s t a t e s a f o r m u l a f o r e s t i m a t i n g t h e t r u e c o r r e l a t i o n a f t e r d e l e t i o n o f g u e s s i n g v a r i a n c e r S a S b ’ - V r = 1 1 1 [ 2 . 6 ] \ / s § s g - E E a s g ‘ 3 E b s § + 3 5 E a E b w h e r e E i s t h e m e a n f a i l u r e s c o r e a n d J i s t h e n u m b e r o f a n s w e r c h o i c e s . W h e n t h e t w o f o r m s h a v e e q u a l m e a n s a n d v a r i a n c e s , t h e f o r m u l a s i m p l i f i e s t o 2 , r s I ‘ — ' — ' _ " " 1 [ 2 7 ] 2 - — . 5 J E N u n n a l l y [ 6 8 ] a l s o d e r i v e d a f o r m u l a f o r c o r r e c t i n g r e l i a b i l i t y c o e f f i c i e n t s f o r g u e s s i n g . H e b e g a n w i t h t h e c l a s s i c a l d e f i n i t i o n o f r e l i a b i l i t y a s t h e r a t i o o f t r u e t o o b s e r v e d v a r i a n c e , a n d a s s u m e d t h a t g u e s s i n g n o t o n l y i n c r e a S e s e r r o r v a r i a n c e b u t a l s o d e c r e a s e s t r u e - s c o r e v a r i a n c e . H i s f o r m u l a i s [ 2 . 8 ] T h e t e r m i n b r a c k e t s i s C a r r o l l ' s s i m p l i f i e d f o r m u l a a n d t h e o t h e r t e r m s a r e c o r r e c t i o n s f o r t h e d e c r e a s e i n t r u e - s c o r e v a r i a n c e . P a r t o f t h e g u e s s i n g v a r i a n c e i s r e l a t e d i n a c o m p l e x m a n n e r t o t r u e - s c o r e v a r i a n c e b e c a u s e g u e s s i n g i s g r e a t e s t a t l o w a b i l i t y l e v e l s a n d d e c r e a s e s a s t r u e s c o r e i n c r e a s e s . C a r r o l l ' s c o r r e c t i o n f o r m u l a i s 6 7 l i m i t e d t o t h e p r o d u c t - m o m e n t c o r r e l a t i o n c o e f f i c i e n t ; N u n n a l l y ' s c o r r e c t i o n f o r m u l a m a y b e a p p l i e d t o a n y r e l i a b i l i t y c o e f f i c i e n t . 1 1 . A . 7 . e . D i s t r i b u t i o n s o f s c o r e s W h i l e i t i s o f t e n a s s u m e d t h a t t h e u n d e r l y i n g a b i l i t y m e a s u r e d b y a t e s t i s n o r m a l l y d i s t r i b u t e d , t h e a c t u a l d i s t r i b u t i o n o f t e s t s c o r e s m a y b e q u i t e u n l i k e t h e n o r m a l c u r v e . S c o t t [ 6 9 ] d e f i n e d a f o r m u l a f o r d i s c r i m i n a t i o n r e l a t e d t o t h e d i s t r i b u t i o n o f s c o r e s a n d e x a m i n e d t h e e f f e c t s o f v a r i a t i o n s i n t e s t l e n g t h , i t e m i n t e r c o r r e l a t i o n s , a n d d i f f i c u l t y o n h i s i n d e x o f d i s c r i m i n a t i o n . H e f o u n d t h a t m a x i m u m d i s c r i m i n a t i o n o c c u r s w h e n i t e m d i f f i c u l t y i s 0 . 5 0 a n d t h e o b s e r v e d d i s t r i b u t i o n i s r e c t a n g u l a r . ( T h e i t e m i n t e r c o r r e l a t i o n d e s c r i b e s t h e s h a p e o f t h e d i s t r i b u t i o n - - w h e n t h e i n t e r c o r r e l a t i o n i s 0 . 0 0 t h e d i s t r i b u t i o n i s n o r m a l , w h e n t h e i n t e r c o r r e l a t i o n i s a p p r o x i m a t e l y 0 . 3 3 t h e d i s t r i b u t i o n i s r e c t a n g u l a r , a n d a s t h e i n t e r c o r r e l a t i o n n e a r s 1 . 0 0 t h e d i s t r i b u t i o n a p p r o a c h e s a U - o r J - s h a p e . ) A s t h e t e s t d i f f i c u l t y d e p a r t s f r o m 0 . 5 0 t h e m a x i m u m d i s c r i m i n a t i o n o c c u r s w h e n i t e m s a r e l e s s i n t e r c o r r e l a t e d t h a n 0 . 3 3 . I n c r e a s i n g t e s t l e n g t h s o a s t o i n c r e a s e d i s c r i m i n a t i o n a n d p r e c i s i o n i s m o s t e f f e c t i v e w h e n t h e i t e m i n t e r c o r r e l a t i o n i s a t i t s ' b e s t ' v a l u e f o r a p a r t i c u l a r d i f f i c u l t y l e v e l . A s t h e i n t e r c o r r e l a t i o n d e p a r t s i n e i t h e r d i r e c t i o n f r o m i t s c a l c u l a t e d o p t i m u m , t h e i n c r e m e n t a l i m p r o v e m e n t i n d i s c r i m i n a t i o n g a i n e d b y l e n g t h e n i n g t h e t e s t d e c r e a s e s . F r o m e m p i r i c a l e v i d e n c e h e c o l l e c t e d , S c o t t c o n c l u d e d t h a t a l l o w i n g t h e i t e m d i f f i c u l t i e s t o v a r y 6 8 w i d e l y a b o u t t h e i r m e a n v a l u e i s n o t a d e p e n d a b l e w a y t o i n c r e a s e d i s c r i m i n a t i o n e v e n w h e n i t e m i n t e r c o r r e l a t i o n s a r e h i g h . L o r d [ 4 2 ] c o n s i d e r e d s o m e o f t h e s e s a m e i n t e r a c t i o n s f o r t h e c a s e o f a o n e - f a c t o r t e s t m e a s u r i n g a n o r m a l l y d i s t r i b u t e d a b i l i t y . H e d r e w s e v e r a l c o n c l u s i o n s . " T h e t e s t s c o r e d i s t r i b u t i o n w i l l n o t i n g e n e r a l h a v e t h e s a m e s h a p e a s t h e d i s t r i b u t i o n o f a b i l i t y ; i n p a r t i c u l a r i f a b i l i t y i s n o r m a l l y d i s t r i b u t e d , t h e r a w s c o r e s i n g e n e r a l w i l l n o t b e n o r m a l l y d i s t r i b u t e d . " " T y p i c a l l y , i f a t e s t i s a t t h e a p p r o p r i a t e d i f f i c u l t y l e v e l f o r t h e g r o u p t e s t e d , t h e m o r e d i s c r i m i n a t i n g t h e t e s t , ' " T h e s k e w n e s s t h e m o r e p l a t y k u r t i c [ f l a t t e r ] t h e s c o r e d i s t r i b u t i o n . ' o f t h e t e s t s c o r e d i s t r i b u t i o n t y p i c a l l y t e n d s t o b e c o m e p o s i t i v e a s t h e t e s t d i f f i c u l t y i s i n c r e a s e d , n e g a t i v e a s t h e d i f f i c u l t y i s d e c r e a s e d . " " U — s h a p e d a n d r e c t a n g u l a r d i s t r i b u t i o n s o f r a w s c o r e s c a n b e o b t a i n e d I ! i f s u f f i c i e n t l y d i s c r i m i n a t i n g t e s t i t e m s c a n b e f o u n d . . . o r i f t h e t e s t i s a d m i n i s t e r e d t o a g r o u p w i t h w i d e r a n g i n g a b i l i t i e s . " A t e s t c o m p o s e d o f i t e m s o f e q u a l d i s c r i m i n a t i n g p o w e r b u t o f . v a r y i n g d i f f i c u l t y w i l l n o t b e a s d i s c r i m i n a t i n g i n t h e n e i g h b o r h o o d o f a n y s i n g l e a b i l i t y l e v e l a s w o u l d a t e s t c o m p o s e d o f s i m i l a r i t e m s a l l o f a p p r o p r i a t e d i f f i c u l t y f o r t h a t l e v e l . " L o r d a l s o n o t e s t h a t t h e H d i s t r i b u t i o n o f e r r o r v a r i e s w i t h a b i l i t y l e v e l a n d . . . a l t h o u g h u n c o r r e l a t e d w i t h a b i l i t y a n d w i t h t r u e s c o r e i n t h e p r o d u c t - m o m e n t s e n s e , t h e e r r o r s o f m e a s u r e m e n t a r e n o t i n d e p e n d e n t o f a b i l i t y o r o f t r u e s c o r e s , s i n c e t h e s t a n d a r d d e v i a t i o n a n d t h e s k e w n e s s o f t h e e r r o r s v a r y w i t h t h e a b i l i t y l e v e l . " 6 9 I I . A . 8 . F a c t o r s a f f e c t i n g t h e s t a n d a r d e r r o r T h i s d i s c u s s i o n t h u s f a r h a s f o c u s e d o n t e s t r e l i a b i l i t y b e c a u s e t e s t r e l i a b i l i t y c a n b e d i r e c t l y r e l a t e d t o i m p o r t a n t s o u r c e s o f e r r o r i n m e a s u r e m e n t . I n a d d i t i o n , t e s t r e l i a b i l i t y h a s b e e n e x a m i n e d a s a f u n c t i o n o f s u c h v a r i a b l e s a s t e s t l e n g t h , n u m b e r o f c h o i c e s p e r i t e m , a n d f a c t o r s t r u c t u r e . T h e r e l i a b i l i t y , t e s t v a r i a n c e , a n d s t a n d a r d e r r o r o f m e a s u r e m e n t ( S E M ) a r e r e l a t e d a s s h o w n b y E q u a t i o n 2 . 3 , r e s t a t e d h e r e S E M = s l - r [ 2 . 3 ] I t i s t h r o u g h c h a n g e s i n t h e r e l i a b i l i t y c o e f f i c i e n t a n d t h e s t a n d a r d d e v i a t i o n o f t h e t e s t s c o r e s ( s x ) t h a t c h a n g e s i n t h e s t a n d a r d e r r o r o f m e a s u r e m e n t a r e o b s e r v e d . S o m e o f t h e s e c h a n g e s w i l l n o w b e d i s c u s s e d . Z i m m e r m a n [ 6 1 ] d i s c u s s e d t h e r e l a t i o n o f r e l i a b i l i t y a n d s t a n d a r d e r r o r o f m e a s u r e m e n t t o g u e s s i n g . T h e s t a n d a r d e r r o r o f m e a s u r e m e n t c h a n g e s w i t h t h e o p p o r t u n i t y f o r g u e s s i n g . A t h i g h e r t e s t s c o r e s , i t i s l e s s l i k e l y g u e s s i n g i s s i g n i f i c a n t a n d t h i s l o w e r s t h e s t a n d a r d e r r o r . A t l o w s c o r e s , g u e s s i n g i s m o r e l i k e l y a n d h e n c e t h e s t a n d a r d e r r o r i s g r e a t e r . Z i m m e r m a n s t a t e d a f o r m u l a f o r c a l c u l a t i n g t h e m i n i m u m p o s s i b l e s t a n d a r d e r r o r b a s e d o n t h e n u m b e r o f a n s w e r c h o i c e s ( J ) , t h e t e s t l e n g t h ( k ) , a n d t h e t e s t s c o r e ( x ) . _ l _ j S E M m i n _ \ / J ( k x ) [ 2 . 9 ] 7 0 T h i s r e s i d u a l e r r o r ( S E M m - m ) w o u l d b e p r e s e n t e v e n i f a l l o t h e r s o u r c e s o f e r r o r w e r e a b s e n t . T h e m i n i m u m e r r o r d e c r e a s e s a s t h e n u m b e r o f a n s w e r c h o i c e s i n c r e a s e s a n d a s t h e t r u e p r o p o r t i o n o f t h e m a t e r i a l k n o w n b y t h e s t u d e n t i n c r e a s e s . H o r n [ 7 0 ] d e r i v e d f o u r d i f f e r e n t e q u a t i o n s f o r t h e s t a n d a r d e r r o r o f m e a s u r e m e n t w h i c h d e p e n d o n d i f f e r e n t t h e o r i e s o f e r r o r v a r i a n c e a n d r e l i a b i l i t y e s t i m a t i o n b u t a r e c a l c u l a t e d f r o m t h e s a m e s u m m a r y s t a t i s t i c s ( o b s e r v e d t e s t v a r i a n c e a n d p a r a l l e l f o r m s c o r r e l a t i o n c o e f f i c i e n t s ) . E q u a t i o n 2 . 3 ( r e s t a t e d b e l o w ) a p p l i e s w h e n t h e t r u e c o e f f i c i e n t i s e s t i m a t e d b y p l a c i n g a c o n f i d e n c e i n t e r v a l a r o u n d t h e o b s e r v e d c o e f f i c i e n t . W h e n t w o f a l l i b l e m e a s u r e m e n t s a r e c o m p a r e d , E q u a t i o n 2 . 1 0 c o u l d b e a p p l i e d . S E M s t fi n - r f [ 2 . 1 0 ] H o r n d e s c r i b e d t w o o t h e r f o r m u l a s b a s e d o n r e g r e s s i o n m o d e l s . H e r e c o m m e n d s t h a t t h e c h o i c e f r o m a m o n g t h e s e f o u r e q u a t i o n s b e a p p r o p r i a t e t o t h e v a r i a n c e m o d e l c h o s e n r a t h e r t h a n t o t h e m e t h o d o f r e l i a b i l i t y c a l c u l a t i o n . S i n c e t h e v a r i a n c e m o d e l m o s t c o m m o n l y c h o s e n t r e a t s t h e c a l c u l a t e d r e l i a b i l i t y c o e f f i c i e n t a s t h e b e s t e s t i m a t e o f t r u e r e l i a b i l i t y , E q u a t i o n 2 . 3 i s t y p i c a l l y u s e d . M a t t s o n [ 5 3 ] p u r s u e s a d e r i v a t i o n o f t h e s t a n d a r d e r r o r o f m e a s u r e m e n t w h i c h s h o w s a r e l a t i o n t o d i f f i c u l t y a n d r e l i a b i l i t y + K 2 3 2 ( k - 1 ) + I N K - { I N K - k ) } [ 2 . 1 1 ] 7 1 s o m e w h a t d i f f e r e n t f r o m t h a t d i s c u s s e d b y Z i m m e r m a n . O n a d i f f i c u l t t e s t ( p r o p o r t i o n c o r r e c t l e s s t h a n 0 . 5 0 ) g u e s s i n g w i l l i n c r e a s e t h e s t a n d a r d e r r o r o f m e a s u r e m e n t , w h e r e a s o n a n e a s y t e s t g u e s s i n g w i l l d e c r e a s e t h e s t a n d a r d e r r o r . F o r a n y d i f f i c u l t y l e v e l , a n i n c r e a s e i n t h e c h a n c e o f a c o r r e c t g u e s s l o w e r s t r u e - s c o r e v a r i a n c e a n d h e n c e r e l i a b i l i t y . T h e f o r m u l a s p r e s e n t e d a b o v e f o r t h e c o m p u t a t i o n o f t h e s t a n d a r d e r r o r o f m e a s u r e m e n t p e r t a i n t o a s i n g l e t e s t . A s e r i e s o f t e s t s g i v e n t o g r o u p s o f s t u d e n t s m a y b e c o n s i d e r e d a s a s e t o f t s u b t e s t s o f k i t e m s e a c h f r o m a p o o l o f K i t e m s , a n d t h e s t u d e n t s a s s u b g r o u p s o f 1 1 s t u d e n t s f r o m a p o p u l a t i o n o f N s t u d e n t s . S h o e m a k e r [ 7 1 ] d e s c r i b e d a f o r m u l a f o r t h e s t a n d a r d e r r o r o f t h e t o t a l m e a n s c o r e o f a l l s t u d e n t s o n a l l i t e m s b a s e d o n a m u l t i p l e m a t r i x m o d e l o f s a m p l i n g s u b g r o u p s o f s t u d e n t s a n d s u b t e s t s o f i t e m s . T h e f o r m u l a f o r a n i n f i n i t e p o p u l a t i o n o f s t u d e n t s i s 1 1 2 2 S E M = fl a n — F T M K s d [ ( K - k ) ( n - 1 ) - k n ( t - 1 ) ] w h e r e s d 2 i s t h e v a r i a n c e o f i t e m d i f f i c u l t i e s , s 2 i s t h e t e s t v a r i a n c e , a n d 1 ’ ) . i s t h e e x p e c t e d p o p u l a t i o n m e a n f o r t h e e n t i r e p o o l o f t e s t i t e m s . S h o e m a k e r i n d i c a t e d t h r e e r e l a t i o n s h i p s w h i c h f o l l o w d i r e c t l y f r o m t h e f o r m u l a . F i r s t , i n c r e a s i n g t h e s p r e a d o f i t e m d i f f i c u l t i e s i n c r e a s e s t h e s t a n d a r d e r r o r o f m e a s u r e m e n t u n l e s s t k = K . S e c o n d , i n c r e a s i n g 7 2 i n t e r n a l c o n s i s t e n c y ( a s m e a s u r e d b y t h e K R Z O ) i n c r e a s e s t h e s t a n d a r d e r r o r . T h i r d , i n c r e a s e d s k e w n e s s i n t h e d i s t r i b u t i o n o f s c o r e s a l s o i n c r e a s e s t h e s t a n d a r d e r r o r o f m e a s u r e m e n t . S h o e m a k e r e m p i r i c a l l y e x a m i n e d t h e s i z e o f t h e e x p e c t e d e f f e c t s t h r o u g h a s e r i e s o f c o m p u t e r - s i m u l a t e d t e s t s a n d f o u n d t h a t c o n s i s t e n c y a n d s p r e a d o f d i f f i c u l t i e s a r e i m p o r t a n t f a c t o r s i n t h e m o d e l . H e a l s o n o t e d t h a t i n c r e a s e s i n t h e n u m b e r o f s t u d e n t s t a k i n g a s u b t e s t , t h e n u m b e r o f s u b t e s t s , a n d t h e l e n g t h o f t h e s u b t e s t s a l s o r e d u c e t h e s t a n d a r d e r r o r t o v a r y i n g d e g r e e s . T h e e f f e c t o f t h e n u m b e r o f s u b t e s t s i s g r e a t e s t f o r s k e w e d d i s t r i b u t i o n s , a n d t h e e f f e c t o f t h e t e s t l e n g t h g r e a t e s t f o r n o r m a l d i s t r i b u t i o n s . U n l e s s t k = K , t h e b e s t g e n e r a l p r o c e d u r e i s t o i n c r e a s e t h e n u m b e r o f s u b t e s t s r a t h e r t h a n i n c r e a s i n g t e s t l e n g t h . T h i s p r o c e d u r e m a y b e a p p l i e d t o e s t i m a t i o n o f t h e m e a n s c o r e f o r a p o o l o f t e s t q u e s t i o n s w h i c h c a n n o t a l l b e g i v e n t o t h e p o p u l a t i o n o f s t u d e n t s . T h e a s s u m p t i o n s o n w h i c h t h e m o d e l i s b a s e d . i n c l u d e o n e . w h i c h r e q u i r e s s u b g r o u p s o f s t u d e n t s t e s t e d t o b e r a n d o m l y s e l e c t e d w i t h o u t r e p l a c e m e n t . T h e e f f e c t o f o v e r l a p b e t w e e n s u b g r o u p s o f s t u d e n t s w a s n o t d i s c u s s e d b y S h o e m a k e r b u t t h e e f f e c t w o u l d s e e m t o m a k e t h e e s t i m a t e d s t a n d a r d e r r o r o f m e a s u r e m e n t a n u n d e r e s t i m a t e . I I . A . 9 . A n e x p e r i m e n t a l c o m g a r i s o n o f t w o i t e m f o r m a t s P l u m l e e [ 7 2 ] t e s t e d t h e t h e o r e t i c a l p r e d i c t i o n s o f t h e e f f e c t o f c h a n c e s u c c e s s o n i t e m - t e s t c o r r e l a t i o n ( a n e s t i m a t e o f o n e - f a c t o r v a l i d i t y ) a n d o n t e s t r e l i a b i l i t y . S h e c o m p a r e d f i v e - o p t i o n m u l t i p l e - 7 3 c h o i c e i t e m s t o s h o r t - a n s w e r i t e m s o n a t e s t o f a l g e b r a , g e o m e t r y , a n d t r i g o n o m e t r y . A c c o r d i n g t o t h e o r y , t h e r e l i a b i l i t y o f m u l t i p l e - c h o i c e i t e m s w i l l a l w a y s b e l e s s t h a n t h e r e l i a b i l i t y o f s h o r t - a n s w e r i t e m s b e c a u s e g u e s s i n g i m p a r t s a d d i t i o n a l e r r o r v a r i a n c e t o t h e o b s e r v e d v a r i a n c e . S i n c e t h e t r u e - s c o r e v a r i a n c e i s a t b e s t u n c h a n g e d , t h e r a t i o o f t r u e t o e r r o r v a r i a n c e w i l l b e l o w e r f o r t h e m u l t i p l e - c h o i c e f o r m a t . A l s o , t h e m e a n o f a m u l t i p l e - c h o i c e t e s t s h o u l d b e h i g h e r t h a n t h e m e a n o f a n e q u i v a l e n t s h o r t - a n s w e r t e s t . T h e e x p e c t e d m e a n o f t h e m u l t i p l e - c h o i c e t e s t c a n b e p r e d i c t e d f r o m t h e s h o r t - a n s w e r t e s t m e a n b y ( p ) [ 2 . 1 2 ] w h e r e J i s t h e n u m b e r o f c h o i c e s ( i n t h i s c a s e J = 5 ) . F o u r s e t s o f t h i r t y - s i x i t e m s w e r e p r e p a r e d s o a s t o b e e q u i v a l e n t i n c o n t e n t , d i f f i c u l t y , a n d d i s c r i m i n a t i o n . E a c h o f t h e f o u r s e c t i o n s w a s p r e p a r e d i n b o t h s h o r t - a n s w e r a n d m u l t i p l e - c h o i c e f o r m a t . T w o s e t s o f e a c h f o r m a t w e r e c o m p i l e d t o m a k e t w o d i f f e r e n t t e s t p a i r s , a n d e a c h t e s t p a i r w a s g i v e n i n b o t h d i r e c t i o n s - - m u l t i p l e - c h o i c e f o l l o w e d b y s h o r t - a n s w e r t o o n e g r o u p a n d t h e r e v e r s e t o a n o t h e r g r o u p . T h e f o u r s e c t i o n s o f t h i r t y - s i x q u e s t i o n s w e r e p r e c e e d e d b y a c o m m o n s e t o f s i x t e e n i t e m s i n o r d e r t h a t g r o u p e q u i v a l e n c e m i g h t b e e s t i m a t e d . T h e f o u r b a t t e r i e s w e r e a d m i n i s t e r e d t o a p p r o x i m a t e l y 5 6 0 e x a m i n e e s ( N = 1 3 9 f o r e a c h b a t t e r y ) a s s e p a r a t e l y t i m e d s u b t e s t s a t o n e s i t t i n g . H e r r e s u l t s a r e p r e s e n t e d i n T a b l e 2 . 2 o n t h e f o l l o w i n g p a g e . 7 4 T a b l e 2 . 2 S u m m a r y d a t a f r o m P l u m l e e [ 7 2 ] G r o u p W G r o u p X G r o u p Y G r o u p Z , 1 3 7 . 7 3 9 . 8 * 3 6 . 2 4 2 2 * o 1 1 . 3 1 0 . 4 1 0 . 9 1 0 . 6 , 1 3 7 . 8 * 3 1 . 6 3 9 7 * 3 1 . 1 o 1 0 . 2 1 0 . 6 9 . 6 1 0 . 3 r ( S A ) * * 0 . 8 4 0 . 8 0 0 . 8 5 0 . 8 1 r ( M C ) 0 . 8 1 0 . 7 6 0 . 7 2 0 . 8 1 9 0 . 7 5 0 . 6 9 0 . 7 5 0 . 6 9 * T e s t m e a n s i n d i c a t e d w i t h a n a s t e r i s k a r e f o r m u l t i p l e - c h o i c e f o r m s ; u n s t a r r e d t e s t m e a n s a r e f o r s h o r t - a n s w e r f o r m s . 1 ” S A i n d i c a t e s s h o r t - a n s w e r a n d M C i n d i c a t e s m u l t i p l e — c h o i c e ; r - h a t i s t h e m u l t i p l e - c h o i c e c o e f f i c i e n t p r e d i c t e d f r o m t h e s h o r t - a n s w e r r e s u l t . P l u m l e e c a l c u l a t e d t h e m e a n s a n d s t a n d a r d d e v i a t i o n s b a s e d o n t h e s u m o f t h e t w o s e c t i o n s o f e a c h t e s t w h i c h h a d t h e s a m e f o r m a t . T h e r e l i a b i l i t y c o e f f i c i e n t s a r e p a r a l l e l f o r m s c o r r e l a t i o n s b e t w e e n t h e t w o 3 6 - i t e m s u b t e s t s i n e a c h b a t t e r y t h a t w e r e o f t h e s a m e f o r m a t a n d t a k e n b y t h e s a m e s t u d e n t s . P l u m l e e s t a t e d t h a t t h e m e a n s o n t h e c o m m o n 1 6 - i t e m s u b t e s t u s e d t o e q u a t e t h e g r o u p s w e r e s t a t i s t i c a l l y e q u a l t h o u g h s h e d i d n o t r e p o r t t h e m . A c h i - s q u a r e t e s t f o r e q u a l i t y o f r e l i a b i l i t y c o e f f i c i e n t s d e m o n s t r a t e d t h a t t h e d i f f e r e n c e s a m o n g t h e o b s e r v e d c o e f f i c i e n t s w e r e n o t s i g n i f i c a n t . P l u m l e e a n a l y z e d t h e r e g r e s s i o n p r e d i c t i o n f o r t e s t m e a n s a n d f o u n d t h a t s e v e n o f t h e e i g h t o b s e r v e d d i f f e r e n c e s b e t w e e n s e t s o f i t e m s w i t h t h e s a m e c o n t e n t b u t d i f f e r e n t f o r m a t s w e r e w i t h i n t h e r a n g e 7 5 o f t h e p r e d i c t e d v a l u e s . H o w e v e r , t h e s e c o m p a r i s o n s w e r e f o r t e s t s w i t h p a r a l l e l c o n t e n t a d m i n i s t e r e d t o d i f f e r e n t g r o u p s o f s t u d e n t s . I n a s m u c h a s t h e g r o u p s w e r e e q u a t e d b y a t e s t w i t h o n l y s i x t e e n i t e m s , a n d f o r a n a l p h a l e v e l o f o n l y 0 . 0 5 , a n y c o n c l u s i o n s a r e t e n u o u s . P l u m l e e h e r s e l f g a v e f u r t h e r c a v e a t b y s t a t i n g t h a t t h e n u m b e r o f s t u d e n t s w h o c o m p l e t e d i t e m s i n d i f f e r e n t s e c t i o n s o f t h e b a t t e r y r a n g e d f r o m 3 2 t o 1 0 9 a n d t h u s t h e p r o p o r t i o n s c o r r e c t ( 3 ) u s e d i n t h e r e g r e s s i o n a n a l y s i s a r e n o t b a s e d o n N = 1 3 9 . T h e h i g h n u m b e r o f o m i t t e d i t e m s a n d t h e l a c k o f c o n t r o l f o r t h i s f a c t o r a f f e c t s t h e s t r e n g t h o f h e r c o n c l u s i o n s . A l s o l i s t e d i n t h e t a b l e a r e t h e e x p e c t e d c o r r e l a t i o n s o f t h e m u l t i p l e - c h o i c e t e s t s a s c a l c u l a t e d a c c o r d i n g t o C a r r o l l ' s f o r m u l a ( E q u a t i o n 2 . 6 ) . T h e d i f f e r e n c e s b e t w e e n t h e e x p e c t e d a n d o b t a i n e d c o e f f i c i e n t s w e r e s t a t i s t i c a l l y s i g n i f i c a n t o n l y f o r t e s t Z . P l u m l e e c o n c l u d e d t h a t t h e r e s e e m e d t o b e a s m a l l b u t c o n s i s t e n t ( a l t h o u g h n o t s t a t i s t i c a l l y s i g n i f i c a n t ) t e n d e n c y f o r t h e a c t u a l r e l i a b i l i t y a n d m e a n o f a m u l t i p l e - c h o i c e t e s t t o d e p a r t f r o m t h e p r e d i c t e d v a l u e " . . . t h e e v i d e n c e d o e s i n t h e d i r e c t i o n o f t h e s h o r t - a n s w e r s t a t i s t i c . s e e m t o i n d i c a t e t h a t i t e m - t e s t c o r r e l a t i o n a n d t e s t r e l i a b i l i t y m a y n o t b e a s a d v e r s e l y a f f e c t e d b y t h e m u l t i p l e - c h o i c e f o r m a s h a s b e e n f r e q u e n t l y a s s u m e d . " T h e d i r e c t i o n o f t h i s d e p a r t u r e a g r e e s w i t h L o r d ' s [ 5 7 ] o b s e r v a t i o n - - e x a m i n e e s w h o d o n o t k n o w t h e c o r r e c t a n s w e r r e s p o n d a t a b e l o w c h a n c e l e v e l a n d t h i s t e n d s t o r e d u c e t h e c o n t r i b u t i o n o f g u e s s i n g t o e r r o r v a r i a n c e . 7 6 T a b l e 2 . 3 w a s p r e p a r e d b y t h i s a u t h o r s o t h a t P l u m l e e ' s d a t a m a y b e c o m p a r e d d i r e c t l y w i t h d a t a o b t a i n e d i n t h i s r e s e a r c h . T h e K R 2 1 w a s c a l c u l a t e d f r o m d a t a p r e s e n t e d i n h e r r e p o r t , a n d a l l c o n s i s t e n c y a n d r e l i a b i l i t y c o e f f i c i e n t s a d j u s t e d d o w n w a r d t o a t e s t l e n g t h o f f i f t e e n i t e m s . T h e m e a n s a n d v a r i a n c e s w e r e a l s o a d j u s t e d t o c o r r e s p o n d t o a f i f t e e n - i t e m t e s t . T a b l e 2 . 3 S u m m a r y d a t a f r o m P l u m l e e [ 7 2 ] a d j u s t e d f o r t e s t l e n g t h T e s t F o r m a t r ' 6 E s 8 2 K R 2 1 W S A . 6 8 6 . 5 2 3 6 . 8 7 8 . 2 5 . 5 8 5 6 W M C . 6 4 0 . 5 6 . 5 2 5 0 . 7 0 7 . 2 8 . 5 2 0 6 X S A . . 6 2 5 . 4 3 8 9 . 7 5 7 . 5 8 . 5 4 9 4 X M C . . 5 6 9 . 4 8 . 5 5 2 8 . 7 2 7 . 4 2 . 5 3 6 7 Y S A . 7 0 3 . 5 0 2 8 . 8 1 7 . 8 9 . 5 6 2 2 Y M C . 5 1 7 . 5 6 . 5 5 1 4 . 6 0 6 . 7 7 . 4 8 3 7 Z S A . 6 4 0 . 4 3 1 9 . 7 5 7 . 5 6 . 5 4 9 4 Z M C . 6 4 0 . 4 8 . 5 8 6 1 . 7 0 7 . 2 8 . 5 3 5 9 I I . A . 1 0 . S u m m a g y o f m e a s u r e m e n t t h e o r y s t a n d a r d d e v i a t i o n o f a s e r i e s o f r e p e a t e d m e a s u r e s . S i n c e t h e s a m e T h e p r o b a b l e e r r o r o f a t e s t s c o r e i s s o m e f u n c t i o n o f t h e s t u d e n t s c a n n o t b e r e p e a t e d l y t e s t e d w i t h o u t l e a r n i n g , f o r g e t t i n g , p r a c t i c e , o r f a t i g u e a f f e c t i n g t h e i r t e s t s c o r e s , a n d s i n c e t h e s a m e 7 7 t e s t s o u g h t n o t b e a d m i n i s t e r e d m o r e t h a n o n c e t o t h e s a m e s t u d e n t s , t h e p r o b a b l e e r r o r c a n n o t b e d e t e r m i n e d b y t h e m e t h o d s u s e d i n t h e c h e m i c a l l a b o r a t o r y t o c a l i b r a t e a n a n a l y t i c a l i n s t r u m e n t . T h e a v e r a g e s t a n d a r d e r r o r f o r a t e s t g i v e n t o a w h o l e g r o u p o f s t u d e n t s c a n b e e s t i m a t e d . I t i s a f u n c t i o n o f t h e l e n g t h o f t h e t e s t , t h e s p r e a d i n t h e d i s t r i b u t i o n o f s c o r e s , a n d t h e r e l i a b i l i t y o f t h e t e s t . T h e t e s t l e n g t h i s n o t r e l a t e d t o t e s t q u a l i t y . I n c o n t r a s t , t e s t r e l i a b i l i t y a n d s c o r e d i s t r i b u t i o n s a r e i n t i m a t e l y r e l a t e d t o t e s t q u a l i t y c h a r a c t e r i s t i c s s u c h a s d i f f i c u l t y l e v e l , v a r i a b i l i t y i n c o n t e n t , i t e m d i s c r i m i n a t i o n , a n d g u e s s i n g o p p o r t u n i t y . B e c a u s e r e l i a b i l i t y i s r e l a t e d t o v a r i a b l e s w h i c h a f f e c t t e s t q u a l i t y w h i l e t h e s t a n d a r d e r r o r o f m e a s u r e m e n t i s n o t , i n v e s t i g a t i o n a n d q u a n t i f i c a t i o n o f m e a s u r e m e n t e r r o r w a s d o n e t h r o u g h e s t i m a t i n g a n d a n a l y z i n g t e s t r e l i a b i l i t y . T h e m o s t w i d e l y a c c e p t e d o p e r a t i o n a l d e f i n i t i o n o f t e s t r e l i a b i l i t y i s t h e p r o d u c t - m o m e n t c o r r e l a t i o n b e t w e e n p a r a l l e l f o r m s . A n i n t e r n a l c o n s i s t e n c y c o e f f i c i e n t s u c h a s t h e K R Z O i s a n a d e q u a t e e s t i m a t e o f t e s t r e l i a b i l i t y o n l y w h e n i t e m s w i t h i n t h e t e s t a r e a s s i m i l a r t o e a c h o t h e r a s t h e y a r e ( o r w o u l d b e ) t o i t e m s o n a p o s s i b l e p a r a l l e l t e s t . S i n c e t h e t e s t s g i v e n i n C E M 1 3 0 / 1 3 1 c o v e r a w i d e r a n g e o f t o p i c s , t h e i r i n t e r n a l c o n s i s t e n c y i s l o w e r t h a n t h e i r r e l i a b i l i t y . F o r t h e s e t e s t s , t h e r e f o r e , i n t e r n a l c o n s i s t e n c y i s n o t a p p r o p r i a t e a s a s t a t i s t i c w i t h w h i c h t o e s t i m a t e e r r o r s i n m e a s u r e m e n t . T h e c o r r e l a t i o n c o e f f i c i e n t b e t w e e n t w o e q u i v a l e n t t e s t s g i v e n t o t h e s a m e g r o u p o f s t u d e n t s w a s . u s e d t o e s t i m a t e t e s t r e l i a b i l i t y . 7 8 T h e c l a s s i c a l t h e o r e t i c a l d e f i n i t i o n o f t e s t r e l i a b i l i t y i s t h e r a t i o o f t r u e - s c o r e v a r i a n c e t o t o t a l o b s e r v e d v a r i a n c e . S i n c e r a n d o m e r r o r s a r e u n c o r r e l a t e d w i t h t r u e s c o r e s , t h i s d e f i n i t i o n m a y b e r e s t a t e d : t e s t r e l i a b i l i t y i s e q u a l t o o n e m i n u s t h e r a t i o o f e r r o r v a r i a n c e t o o b s e r v e d v a r i a n c e . W i t h t h i s a l t e r n a t e f o r m o f t h e v a r i a n c e - r a t i o d e f i n i t i o n o f t e s t r e l i a b i l i t y , t h e m a g n i t u d e o f t h e e r r o r v a r i a n c e a n d t h e e f f e c t o n t h i s e r r o r o f t e s t c h a r a c t e r i s t i c s s u c h a s g u e s s i n g o p p o r t u n i t y w e r e c a l c u l a t e d f r o m t h e p a r a l l e l - f o r m s r e l i a b i l i t y c o e f f i c i e n t s . I n t h e n e x t s e c t i o n a r e s e t f o r t h s o m e o f t h e t e c h n i q u e s u s e d t o p r e p a r e t e s t q u e s t i o n s f o r t h e e x p e r i m e n t a l c o m p a r i s o n s p r e s e n t e d i n t h e r e s u l t s . 7 9 I I . B . W r i t i n g a n d r e s t r u c t u r i n g t e s t i t e m s T h e t e s t q u e s t i o n s w h i c h a p p e a r e d o n s o m e o f t h e t e s t s w h i c h w e r e c o m p a r e d i n t h e s e s t u d i e s d i d n o t r e q u i r e a n y c h a n g e s i n i t e m f o r m a t o r n u m b e r o f a n s w e r c h o i c e s . O t h e r c o m p a r i s o n s c h e m e s i n v o l v i n g s h o r t - a n s w e r a n d m u l t i p l e - c h o i c e q u e s t i o n s w i t h m o r e t h a n f i v e r e s p o n s e o p t i o n s o f t e n r e q u i r e d s u b s t a n t i a l r e w o r k i n g o f m a n y t e s t i t e m s . T h e c o n v e r s i o n o f m u l t i p l e - c h o i c e q u e s t i o n s i n t o s h o r t - a n s w e r q u e s t i o n s o f a f u l l y e q u i v a l e n t n a t u r e i s q u i t e e a s y f o r s o m e i t e m s a n d d i f f i c u l t i f n o t i m p o s s i b l e f o r o t h e r s . T h e e x p a n s i o n o f t h e s e t o f r e s p o n s e O p t i o n s f o r a m u l t i p l e - c h o i c e i t e m i s a t r i v i a l e x e r c i s e f o r n u m e r i c a l p r o b l e m s a n d s e l d o m t r u l y d i f f i c u l t f o r o t h e r i t e m s . T h e c r e a t i o n o f a r e s p o n s e s e t f o r a s h o r t - a n s w e r i t e m s o t h a t i s m a y a p p e a r a s a m u l t i p l e - c h o i c e i t e m o n a t e s t i s a l s o r e l a t i v e l y e a s y a l t h o u g h t h e m u l t i p l e c h o i c e i t e m t h u s f o r m e d m a y b e t o o e a s y . I I . B . 1 . I n c r e a s i n g t h e n u m b e r o f r e s p o n s e o p t i o n s T h e r e a r e t w o b a s i c s t r a t e g i e s u s e d t o c r e a t e o r e x p a n d t h e r e s p o n s e s e t o f a n u m e r i c a l p r o b l e m . T h e s i m p l e s t m e t h o d i s t o p r o v i d e a c o l l e c t i o n o f n u m b e r s a m o n g w h i c h t h e c o r r e c t a n s w e r c a n b e f o u n d . N o a t t e m p t i s m a d e t o p r o v i d e d i s t r a c t o r s r e p r e s e n t i n g l o g i c a l t h o u g h i n c o r r e c t c a l c u l a t i o n s . T h e m o r e s o p h i s t i c a t e d s t r a t e g e m i s t o p r o v i d e d i s t r a c t o r s w h i c h a r e t h e r e s u l t o f p o s s i b l e m i s t a k e s i n a l g e b r a , a r i t h m e t i c , o r s u b s t i t u t i o n . I f m o r e d i s t r a c t o r s a r e n e e d e d t h a n a r e p r o d u c e d b y t h i s ' p r o b a b l e e r r o r s ' a p p r o a c h , D l ‘ O O L C 8 0 s u f f i c i e n t ' r a n d o m ' n u m b e r s a r e s e l e c t e d t o b a l a n c e t h e s e t o f a n s w e r c h o i c e s . T h i s p r o b a b l e e r r o r s m e t h o d s h o u l d b e e m p l o y e d w h e n e v e r t h e d e v e l o p m e n t o f t h e r e s p o n s e s e t i s t r a c t a b l e t o a l o g i c a l p l a n . T h e s e s a m e s t r a t e g i e s a r e a l s o a p p r o p r i a t e w h e n a n i t e m i s n o t a n u m e r i c a l p r o b l e m . T h e f o l l o w i n g e x a m p l e d e m o n s t r a t e t h e a p p l i c a t i o n o f t h e ' r a n d o m n u m b e r s ' a n d ' p r o b a b l e e r r o r s ' m e t h o d s f o r n o n n u m e r i c a l q u e s t i o n s . E x a m p l e 1 : W h i c h o f t h e f o l l o w i n g i s t r u e w h e n e l e c t r i c i t y i s f l o w i n g i n a n e l e c t r o l y t i c c e l l ? A n i o n s m i g r a t e t o w a r d t h e c a t h o d e . A n i o n s m i g r a t e t o w a r d t h e a n o d e . C a t i o n s m i g r a t e t o w a r d t h e a n o d e . E l e c t r o n s , n o t i _ o n s , m o v e t h r o u g h t h e s o l u t i o n . T h e e x p a n d e d s e t o f p o s s i b l e c h o i c e s i s : A n i o n s m i g r a t e t o w a r d t h e c a t h o d e . A n i o n s m i g r a t e t o w a r d t h e p o s i t i v e e l e c t r o d e . A n i o n s m i g r a t e t o w a r d t h e a n o d e . A n i o n s m i g r a t e t o w a r d t h e n e g a t i v e e l e c t r o d e . C a t i o n s m i g r a t e t o w a r d t h e c a t h o d e . C a t i o n s m i g r a t e t o w a r d t h e p o s i t i v e e l e c t r o d e . C a t i o n s m i g r a t e t o w a r d t h e a n o d e . C a t i o n s m i g r a t e t o w a r d t h e n e g a t i v e e l e c t r o d e . N e g a t i v e i o n s m i g r a t e t o w a r d t h e c a t h o d e . N e g a t i v e i o n s m i g r a t e t o w a r d t h e p o s i t i v e e l e c t r o d e . N e g a t i v e i o n s m i g r a t e t o w a r d t h e a n o d e . N e g a t i v e i o n s m i g r a t e t o w a r d t h e n e g a t i v e e l e c t r o d e . P o s i t i v e i o n s m i g r a t e t o w a r d t h e c a t h o d e . P o s i t i v e i o n s m i g r a t e t o w a r d t h e p o s i t i v e e l e c t r o d e . P o s i t i v e i o n s m i g r a t e t o w a r d t h e a n o d e . P o s i t i v e i o n s m i g r a t e t o w a r d t h e n e g a t i v e e l e c t r o d e . E l e c t r o n s m i g r a t e t o w a r d t h e c a t h o d e . E l e c t r o n s m i g r a t e t o w a r d t h e p o s i t i v e e l e c t r o d e . E l e c t r o n s m i g r a t e t o w a r d t h e a n o d e . E l e c t r o n s m i g r a t e t o w a r d t h e n e g a t i v e e l e c t r o d e . 1 - ‘ 1 r m w n ' o o a g r w ‘ r - r - s - m r u m a p o ‘ m I 1 I - I t * 4 1 ' ( * ) d e n o t e s c o r r e c t r e s p o n s e 8 1 T h e a b o v e t w e n t y p o s s i b l e r e s p o n s e s i n c l u d e e i g h t c o r r e c t a n s w e r s a n d t w e l v e d i s t r a c t o r s . T h i s s e l e c t i o n i s o b v i o u s l y n o t e x h a u s t i v e . T h e r e s p o n s e s e t f o r t h e a b o v e i t e m i s s u b s c e p t i b l e o f e x p a n s i o n b y i n c l u s i o n o f v a r i o u s l o g i c a l p e r m u t a t i o n s o f t h e r e l a t e d c o n c e p t s . E v e n f o r a q u e s t i o n i n a n a r e a n o t n a r r o w l y r e s t r i c t e d t o a s m a l l s e t o f r e l a t e d c o n c e p t s , t h e m e t h o d o f p r o b a b l e e r r o r s m a y b e e m p l o y e d t o c o n s t r u c t t h e a n s w e r s e t . E x a m p l e 2 : W h i c h o f t h e s a l t s l i s t e d b e l o w c o u l d b e u s e d t o p r o d u c e a n a c i d i c s o l u t i o n ? 2 . N H C l 3 . L i H S 4 . K F 1 . K H P O 4 2 4 T h e e x p a n d e d s e t o f p o s s i b l e a n s w e r s i s : a . o n l y 1 i . 2 a n d 4 b . o n l y 2 j . 3 a n d 4 c . o n l y 3 k . 1 , 2 , a n d 3 d . o n l y 4 l . 1 , 2 , a n d 4 e . 1 a n d 2 m . 1 , 3 , a n d 4 f . 1 a n d 3 n . 2 , 3 , a n d 4 g . 1 a n d 4 0 . a l l o f t h e s e h . 2 a n d 3 p . n o n e o f t h e s e F r o m t h e s e d i s t r a c t o r s , n i n e m a y b e s e l e c t e d t o c o n v e r t a f o u r - c h o i c e q u e s t i o n i n t o a t e n - c h o i c e q u e s t i o n . T h i s m e t h o d o f i n c r e a s i n g t h e n u m b e r o f a n s w e r c h o i c e s d o e s n o t a p p l y w h e n t h e q u e s t i o n i s w o r d e d s u c h t h a t t h e a n s w e r i s p e r f o r c e u n i q u e . E x a m p l e 3 : W h i c h o f t h e f o l l o w i n g g a s e s h a s t h e l o w e s t c r i t i c a l t e m p e r a t u r e ? T h e a d d i t i o n o f p o s s i b l e d i s t r a c t o r s t o t h i s i t e m i s n o t s t r i c t l y p l a n n e d a c c o r d i n g t o w h a t p r o b a b l e e r r o r s t h e s t u d e n t m i g h t m a k e a l t h o u g h : 9 : 0 0 . 0 m h - g n i c r a 8 2 t h a t w o u l d i n f l u e n c e t h e s e l e c t i o n o f c h o i c e s . R a t h e r , d i s t r a c t o r s a r e c h o s e n r a n d o m l y a n d i n c l u d e d i n t h e a n s w e r s e t a s l o n g a s t h e c o r r e c t a n s w e r r e m a i n s u n a m b i g u o u s l y r i g h t a n d a s l o n g a s a d i s t r a c t o r i s n o t s o o b v i o u s l y w r o n g a s t o b e i n e f f e c t i v e . E x a m p l e 4 : A p u r e s u b s t a n c e w h i c h m e l t s o v e r a w i d e t e m p e r a t u r e r a n g e i s l i k e l y t o b e a . c r y s t a l l i n e c . a m o r p h o u s b . m o l e c u l a r A n e x p a n d e d s e t o f r e s p o n s e s : h e x a g o n a l c l o s e s t p a c k e d a n i o n i c c r y s t a l o f s m a l l f o r m u l a w e i g h t s y m m e t r i c a l o f v e r y l o w d e n s i t y a m o l e c u l a r c r y s t a l c u b i c c l o s e s t p a c k e d a m o r p h o u s h y d r o g e n b o n d e d a n o r g a n i c c o m p o u n d T h o u g h m a n y o f t h e d i s t r a c t o r s r e f e r t o s u b s t a n c e s w h i c h m i g h t m e l t o v e r a w i d e r a n g e , o n l y a s u b s t a n c e w h i c h i s a m o r p h o u s a l w a y s b e h a v e s i n t h i s m a n n e r . W h e n t h e s u p p l y o f l o g i c a l a n d d i r e c t l y r e l a t e d d i s t r a c t o r s i s e x h a u s t e d , p r o f i t a b l e u s e m a y b e m a d e o f s u c h e s s e n t i a l l y i r r e l e v a n t b u t d i m l y r e l a t e d d i s t r a c t o r s a s i l l u s t r a t e d i n E x a m p l e 4 . I I . B . 2 . I n t e r c o n v e r s i o n o f m u l t i p l e - c h o i c e a n d s h o r t - a n s w e r i t e m s N u m e r i c a l p r o b l e m s a r e r e a d i l y c o n v e r t e d b e t w e e n t h e m u l t i p l e - c h o i c e a n d s h o r t - a n s w e r f o r m a t s . S e l d o m i s e v e n a m i n i m a l c h a n g e 8 3 n e e d e d i n t h e w o r d i n g o f a p r o b l e m . A m u l t i p l e - c h o i c e q u e s t i o n i s c h a n g e d i n t o a s h o r t - a n s w e r q u e s t i o n b y e l i m i n a t i o n o f t h e a n s w e r s e t . A s h o r t - a n s w e r i t e m i s t r a n s f o r m e d i n t o a m u l t i p l e - c h o i c e i t e m b y c o n s t r u c t i o n o f a r e s p o n s e s e t u t i l i z i n g t h e m e t h o d s j u s t d i s c u s s e d . T h e c o n v e r s i o n o f n o n n u m e r i c a l m u l t i p l e - c h o i c e q u e s t i o n s i n t o s h o r t - a n s w e r q u e s t i o n s f r e q u e n t l y r e q u i r e s c h a n g e s i n t h e w o r d i n g o f t h e q u e s t i o n . O f t e n t h e a n s w e r c h o i c e s w h i c h a r e p r o v i d e d b y a m u l t i p l e - c h o i c e q u e s t i o n l i m i t t h e s c o p e o f a q u e s t i o n w h i c h w o u l d o t h e r w i s e p o s s e s s m y r i a d c o r r e c t r e s p o n s e s . S o m e t i m e s t h e r e s p o n s e s i n c l u d e i n f o r m a t i o n n e c e s s a r y t o t h e s o l u t i o n o f t h e p r o b l e m . T w o e x a m p l e s a r e p r e s e n t e d h e r e ; E x a m p l e 5 i s e a s i l y c o n v e r t e d t o s h o r t - a n s w e r f o r m a t w h e r e a s E x a m p l e 6 i s c o n v e r t e d o n l y a f t e r m o d i f i c a t i o n s u b s t a n t i a l e n o u g h t o r a d i c a l l y a l t e r t h e c h a r a c t e r o f t h e i t e m . E x a m p l e 5 : W h i c h o f t h e f o l l o w i n g i s a d e t a i l e d i o n i c e q u a t i o n w h i c h r e p r e s e n t s t h e r e a c t i o n o f s o l u b l e C r C l w i t h t h e h y d r o x i d e i o n t o f o r m i n s o l u b l e c h r o m i u m ( I I I ) h y d r o x i d e ? a . C r 3 + + 3 N a + + 3 0 1 ’ + 3 0 1 1 ‘ C r < 0 H ) 2 + 3 N a + + 3 0 1 ' + O H ” - 3 + _ b . 3 0 H + C r — C r ( O H ) 3 c . C r 3 + + 3 0 1 ‘ + 3 N a + + 3 0 1 1 ‘ C r ( O H ) 3 + 3 N a + + 3 0 1 ‘ d . C r C l 3 + 2 N a O H = C r ( O H ) 2 + 2 N a + + 3 0 1 ' + - _ 3 + - e . C r C l 3 + 3 N a + 3 0 H - C r + 3 0 H + 3 N a C l C o n v e r s i o n o f E x a m p l e 5 : W r i t e t h e d e t a i l e d i o n i c e q u a t i o n w h i c h r e p r e s e n t s t h e r e a c t i o n o f s o l u b l e C r C l 3 w i t h s o d i u m h y d r o x i d e t o f o r m i n s o l u b l e c h r o m i u m ( I I I ) h y d r o x i d e . 3 9 6 0 . 0 8 4 E x a m p l e 6 : C o n s i d e r t h e f o l l o w i n g b a l a n c e d e q u a t i o n : 3 s t + 2 1 1 * + 2 N o 3 ’ = 2 N O ( g ) + 4 1 1 2 0 + 3 5 ( 3 ) I t i s a n e t i o n i c e q u a t i o n I t i s a d e t a i l e d i o n i c e q u a t i o n I t i s a m o l e c u l a r e q u a t i o n I f 2 N a + i s a d d e d t o b o t h s i d e s , i t w i l l t h e n b e a d e t a i l e d i o n i c e q u a t i o n I f 3 H 2 8 i s r e p l a c e d b y 6 H + + 3 5 2 ' , i t w i l l t h e n b e a d e t a i l e d i o n i c e q u a t i o n f . I f 2 H + a n d 2 N O 3 " a r e d e l e t e d , i t w i l l t h e n b e a m o l e c u l a r e q u a t i o n ( D S o s i m p l e a c h a n g e a s r e w o r d i n g t h e f i r s t p h r a s e i n t h e i t e m s t e m w i l l n o t t r a n s f o r m t h i s q u e s t i o n i n t o a s h o r t - a n s w e r f o r m a t . T h e r e s u l t i n g s h o r t - a n s w e r m a y b e c o n f u s i n g o r c u m b e r s o m e o r b o t h . S e v e r a l a t t e m p t s a t c o n v e r t i n g E x a m p l e 6 i n t o s h o r t - a n s w e r f o r m a t a r e o f f e r e d h e r e t o i l l u s t r a t e t h i s p r o b l e m . C o n v e r s i o n 1 o f E x a m p l e 6 : C o n s i d e r t h e f o l l o w i n g b a l a n c e d e q u a t i o n . . . . W h a t t y p e o f e q u a t i o n i s t h i s ? I f t h i s e q u a t i o n i s n o t a t r u e e x a m p l e o f a n y t y p e , w h a t m u s t b e d o n e t o m a k e i t a d e t a i l e d i o n i c e q u a t i o n ? C o n v e r s i o n 2 o f E x a m p l e 6 : C o n s i d e r t h e f o l l o w i n g b a l a n c e d e q u a t i o n . . . . S t a t e w h e t h e r t h i s e q u a t i o n i s a d e t a i l e d i o n i c e q u a t i o n . I f i t i s n o t , w h a t m u s t b e d o n e t o m a k e i t a d e t a i l e d i o n i c e q u a t i o n ? C o n v e r s i o n 3 o f E x a m p l e 6 : C o n s i d e r t h e f o l l o w i n g b a l a n c e d e q u a t i o n . . . . I s t h i s e q u a t i o n m o l e c u l a r , n e t i o n i c , o r d e t a i l e d i o n i c ? I f i t i s n o n e o f t h e s e , w h a t m u s t b e d o n e t o m a k e t h e e q u a t i o n a d e t a i l e d i o n i c e q u a t i o n ? 8 5 T h e f i r s t c o n v e r s i o n o f E x a m p l e 6 i s , t o s a y t h e l e a s t , a m b i g u o u s . S o m e o f t h e a m b i g u i t y m a y b e o v e r c o m e b y s a c r i f i c i n g s o m e o f t h e s c o p e o f t h e q u e s t i o n a s s h o w n i n t h e s e c o n d c o n v e r s i o n a t t e m p t . T h i s s h o r t - a n s w e r q u e s t i o n n o l o n g e r i n c l u d e s r e f e r e n c e s t o m o l e c u l a r o r n e t i o n i c e q u a t i o n s . T h e t h i r d c o n v e r s i o n c o n t a i n s a l m o s t a l l t h e e l e m e n t s o f t h e o r i g i n a l m u l t i p l e - c h o i c e q u e s t i o n , b u t i s m e r e l y a m u l t i p l e - c h o i c e q u e s t i o n i n s h o r t — a n s w e r c l o t h i n g . S c o r i n g e a s e h a s b e e n s a c r i f i c e d i n t h i s c a s e t o g a i n a s m a l l a m o u n t o f a m b i g u i t y . W h e n a n i t e m i s a s i n t r a c t a b l e t o c o n v e r s i o n a s i s E x a m p l e 6 , i t i s b e s t n o t t o a t t e m p t d i r e c t c o n v e r s i o n b u t t o s e l e c t a n o t h e r q u e s t i o n a l t o g e t h e r . T h e c r e a t i o n o f a r e s p o n s e s e t f o r a n o n n u m e r i c a l s h o r t - a n s w e r i t e m i s , i n c o n t r a s t , s t r a i g h t f o r w a r d . O n r a r e o c c a s s i o n s t h e m u l t i p l e - c h o i c e i t e m t h u s c r e a t e d w i l l b e i n a p p r o p r i a t e l y e a s y . T h i s s t e m s f r o m t w o r e l a t e d c a u s e s - - e i t h e r t h e n u m b e r o f p o s s i b l e a n s w e r s i s t o o f e w o r t h e c l u e s p r o v i d e d b y t h e a n s w e r s a r e t o o s t r o n g . E x a m p l e 7 : _ T h e p o i n t o f z e r o a m p l i t u d e o n a w a v e i s c a l l e d t h e . . . A p o s s i b l e r e s p o n s e s e t : a . c r e s t b . n o d e c . t r o u g h E x a m p l e 8 : T h e s m a l l e s t p a r t i c l e o f l i g h t e n e r g y i s c a l l e d t h e . . . A p o s s i b l e r e s p o n s e s e t : a . q u a n t u m b . e l e c t r o n G . g a m m a r a y D ! T C J ( - D I D ( D T i h s e s o l v a m i o n u g n p t o o t f a K s s N i O m u 3 n h i t i r c w a h t e d i i s n s r w o a t l v e e s i o s u c a l n d e n d b e o n i t c h r e e r a m s i e c d r b e y a c t i o n . ? D U O L C 8 6 M u l t i p l e - c h o i c e q u e s t i o n s c o n s t r u c t e d b y s i m p l e c o n v e r s i o n o f s h o r t - a n s w e r q u e s t i o n s w i t h s u c h r e s t r i c t e d a n s w e r d o m a i n s w i l l s e l d o m b e c o m p a r a b l e i n d i f f i c u l t y . A l s o , r e w o r d i n g t h e i t e m t o m a k e i t m o r e t h a n t r i v i a l w i l l a l s o m a k e i t l e s s t h a n e q u i v a l e n t . I I . B . 3 . L i m i t s o f s t r u c t u r a l c h a n g e M u l t i p l e - c h o i c e q u e s t i o n s c a l l f o r t h e s e l e c t i o n o f a n a n s w e r f r o m a m o n g a s e t o f p o s s i b l e c h o i c e s a c c o r d i n g t o a p r o b l e m o r i d e a s t a t e d i n t h e i t e m s t e m . W h e t h e r t h e i t e m c a n b e c o n v e r t e d i n t o s h o r t - a n s w e r f o r m a t d e p e n d s o n t h e n a t u r e o f t h e r e s p o n s e s e t . T h r e e g e n e r a l c l a s s e s o f r e s p o n s e s e t s a r e : ( 1 ) a r e s t r i c t e d s e t w i t h a c l e a r l y d e f i n e d d e s c r i p t o r , ( 2 ) a w e l l - d e f i n e d b u t e s s e n t i a l l y u n l i m i t e d s e t , a n d ( 3 ) a n a r b i t r a r y o r u n d e f i n e d s e t o f r e s p o n s e s . S e v e r a l e x a m p l e s o f t h e s e f o l l o w . E x a m p l e 9 : T h e c a u s e o f t h e b o i l i n g p o i n t e l e v a t i o n o f a s o l u t i o n i s v a p o r p r e s s u r e i n c r e a s e o s m o t i c p r e s s u r e i n c r e a s e f r e e z i n g p o i n t d e p r e s s i o n t h e r m a l c o n d u c t i v i t y v a p o r p r e s s u r e d e c r e a s e E x a m p l e 1 0 : c o o l i n g t h e K N O 3 b e f o r e a d d i n g i t t o t h e w a t e r h e a t i n g t h e w a t e r w h i l e a d d i n g t h e K N O 3 a d d i n g a l a r g e e x c e s s o f K N O 3 t o t h e w a t e r v i g o r o u s l y s t i r r i n g t h e w a t e r w h i l e a d d i n g K N O 3 8 7 F o r t h e s e t w o e x a m p l e s t h e r e a r e c l a s s d i s c r i p t o r s o r p r o m p t s a v a i l a b l e w h i c h d i r e c t t h e s t u d e n t t o c o n s i d e r o n l y t h e r e s t r i c t e d s e t o f p o s s i b l e r e s p o n s e s . C o n v e r s i o n o f E x a m p l e 9 : T h e c o l l i g a t i v e p r g e r g y w h i c h i s t h e d i r e c t c a u s e o f t h e b o i l i n g p o i n t e l e v a t i o n o f a s o l u t i o n i s . . . C o n v e r s i o n o f E x a m p l e 1 0 : D i s s o l v i n g p o t a s s i u m n i t r a t e i n w a t e r i s a n e n d o t h e r m i c r e a c t i o n . A c c o r d i n g t o L e C h a t e l i e r ' s p r i n c i p l e , t h e a m o u n t o f K N O 3 w h i c h d i s s o l v e s c o u l d b e i n c r e a s e d b y . . . T h e u n d e r s c o r e d p r o m p t s r e m o v e t h e a m b i g u i t y w h i c h m i g h t b e p r e s e n t i n t h e i r a b s e n c e . I f t h e r e s p o n s e s e t s u g g e s t e d b y t h e p r o m p t i s t o o s m a l l , h o w e v e r , t h e i t e m m a y b e o f m u c h l e s s v a l u e . T h e c o n v e r s i o n o f E x a m p l e 1 o n p . 8 0 f r o m m u l t i p l e - c h o i c e f o r m a t i n t o s h o r t - a n s w e r f o r m a t i l l u s t r a t e s t h i s ' i t e m t r i v i a l i z a t i o n ' e f f e c t . C o n v e r s i o n o f E x a m p l e 1 : W h e n e l e c t r i c i t y i s f l o w i n g i n a n e l e c t r o l y t i c s o l u t i o n , t h e a n i o n s m i g r a t e t o w a r d w h i c h e l e c t r o d e ? T h e r e i s n o w a y t o r e m o v e a m b i g u i t y w i t h o u t m a k i n g t h e c o n v e r t e d f o r m c o n s i d e r a b l y e a s i e r t h a n t h e o r i g i n a l m u l t i p l e - c h o i c e i t e m . A l t e r n a t e l y , w h e n t h e n u m b e r o f p o s s i b l e r e s p o n s e s i s t o o l a r g e , a n a t t e m p t t o r e s t r i c t t h e p o s s i b l e c h o i c e s b y q u a l i f y i n g t h e s h o r t - a n s w e r q u e s t i o n p r o d u c e s a l i k e e f f e c t . N o t r e s t r i c t i n g t h e s e t s o a s t o a v o i d t r i v i a l i z a t i o n m a y l e a d t o c o n v e r s i o n o f a m u l t i p l e - c h o i c e i t e m i n t o a f r e e - r e s p o n s e i t e m w h i c h i s b e t t e r c h a r a c t e r i z e d a s e s s a y r a t h e r t h a n a s s h o r t - a n s w e r . N ‘ U O Q 8 8 E x a m p l e 1 1 : I n c o n c e n t r a t e d i o n i c s o l u t i o n s , a . b . c . d . i o n s m o v e f a s t e r t h a n i n d i l u t e s o l u t i o n s i o n s a r e m o r e r e s t r i c t e d i n t h e i r m o t i o n s d u e t o i n t e r i o n i c a t t r a c t i v e f o r c e s s o l u t e m o l e c u l e s a r e n e v e r c o m p l e t e l y i o n i z e d i o n s a f f e c t c o l l i g a t i v e p r o p e r t i e s t o t h e g r e a t e s t e x t e n t C o n v e r s i o n o f E x a m p l e 1 1 : D i s c u s s t h e c o l l i g a t i v e p r o p e r t i e s o f e l e c t r o l y t e s a n d n o n e l e c t r o l y t e s a s a f u n c t i o n o f c o n c e n t r a t i o n . T h e c o n v e r s i o n o f E x a m p l e 1 1 i n t o a s h o r t - a n s w e r q u e s t i o n f o u n d e r s b e c a u s e t h e r e i s n o n a r r o w d e f i n i t i o n o f t h e s e v e r a l p o s s i b l e r e s p o n s e s i n t h e m u l t i p l e - c h o i c e i t e m . E x a m p l e 1 2 : T h e r e s u l t s o f s i m p l e t e s t s m a d e u p o n s e v e r a l s o l u t i o n s a r e l i s t e d b e l o w . W h i c h r e s u l t i n d i c a t e s t h a t t h e s o l u t i o n w a s i n i t i a l l y s a t u r a t e d ? T h e s o l u t i o n w a s w a r m e d a n d s o l u t e c r y s t a l l i z e d o u t P u r e s o l u t e w a s a d d e d a n d s o m e o f i t d i s s o l v e d A c r y s t a l o f s o l u t e c a u s e d c r y s t a l l i z a t i o n t o o c c u r S o l u t e w a s a d d e d a n d n o c h a n g e i n c o n c e n t r a t i o n o b s e r v e d C o n v e r s i o n o f E x a m p l e 1 2 : S u g g e s t s i m p l e e x p e r i m e n t a l t e s t s t h a t w o u l d a l l o w y o u t o d i s t i n g u i s h a m o n g s o l u t i o n s w h i c h m i g h t b e u n s a t u r a t e d , s a t u r a t e d , o r s u p e r s a t u r a t e d . T h e c o n v e r s i o n o f E x a m p l e 1 2 a g a i n l e a d s t o a n e s s a y q u e s t i o n r a t h e r t h a n a s h o r t - a n s w e r q u e s t i o n . W h e n t h e d o m a i n o f a n s w e r c h o i c e s i s v e r y l a r g e , t h e s e l e c t i o n o f c h o i c e s f o r a r e s p o n s e s e t i s e s s e n t i a l l y a r b i t r a r y . T h e r e s p o n s e s e t i s a l s o a r b i t r a r y w h e n t h e n u b o f t h e q u e s t i o n i s a c o m p a r i s o n , 8 9 s i n c e t h e s e l e c t i o n o f r e s p o n s e s t o b e c o m p a r e d i s d i s c r e t i o n a r y . S u c h m u l t i p l e - c h o i c e q u e s t i o n s a s E x a m p l e s 1 3 a n d 1 4 c a n n o t b e c o n v e r t e d i n t o p a r a l l e l s h o r t - a n s w e r q u e s t i o n s . E x a m p l e 1 3 : I n t h e f o l l o w i n g l i s t , w h i c h c o m p o u n d i s a w e a k e l e c t r o l y t e ? a . N a C l b . N H 4 O H c . L i C l O 4 d . H I C o n v e r s i o n o f E x a m p l e 1 3 : W r i t e t h e f o r m u l a o f a w e a k e l e c t r o l y t e . E x a m p l e 1 4 : W h i c h o f t h e f o l l o w i n g i o n s s h o u l d b e m o s t s t r o n g l y s o l v a t e d i n a q u e o u s s o l u t i o n ? a . F ' b . 5 2 ‘ c . B r - d . O z ” C o n v e r s i o n o f E x a m p l e 1 4 : W r i t e t h e f o r m u l a o f a n i o n s t r o n g l y s o l v a t e d i n a q u e o u s s o l u t i o n . T h e s e p o s s i b l e s h o r t - a n s w e r q u e s t i o n s c e r t a i n l y a r e n o t p a r a l l e l t o t h e i r m u l t i p l e - c h o i c e a n a l o g s . T h e s e l a s t t w o e x a m p l e s o f m u l t i p l e - c h o i c e q u e s t i o n s a r e i n f a c t t e s t i n g f o r a c h i e v e m e n t o f a s k i l l w h i c h c a n n o t b e e x p l i c i t l y t e s t e d i n a n y o t h e r w a y . T h e a b i l i t y t o m a k e a s e l e c t i o n f r o m a m o n g s e v e r a l O p t i o n s i s p e r t i n e n t t o m a n y p r a c t i c a l s i t u a t i o n s . W h i c h i n d i c a t o r t o u s e i n a t i t r a t i o n , w h a t r e a g e n t s t o c o m b i n e f o r a b u f f e r s o l u t i o n , w h a t s a l t t o c h o o s e f o r a n e l e c t r o l y t i c b a t h , w h i c h e x p e r i m e n t a l c o n d i t i o n s w i l l p r o d u c e a d e s i r e d e f f e c t - - t h e s e a r e o n l y f o u r e x a m p l e s o f i n n u m e r a b l e a p p l i c a t i o n s o f t h e a b i l i t y t o s e l e c t . 9 0 I I . C . E x p e r i m e n t a l d e s i g p I I . C . 1 . I n t r o d u c t i o n T e s t i n g p r o c e d u r e s i n C E M 1 3 0 / 1 3 1 r e q u i r e l a r g e n u m b e r s o f e x a m i n a t i o n s t o b e g e n e r a t e d , a d m i n i s t e r e d , s c o r e d , a n d r e c o r d e d . T o f a c i l i t a t e t h i s t a s k , e x a m i n a t i o n g e n e r a t i o n a n d r e c o r d k e e p i n g a r e d o n e b y c o m p u t e r . S c o r i n g i s u s u a l l y d o n e b y h a n d b e c a u s e s c o r i n g m a c h i n e s a r e n o t r e a d i l y a v a i l a b l e . E x a m s a r e a d m i n i s t e r e d t o l a r g e g r o u p s o f s t u d e n t s i n l e c t u r e h a l l s a n d a r e s c o r e d i m m e d i a t e l y t h e r e a f t e r . T h e e x a m i n a t i o n s u s e d i n t h e s e c o u r s e s c o n s i s t a l m o s t e n t i r e l y o f m u l t i p l e - c h o i c e ( q u e s t i o n s . H o w e v e r , i t i s b e l i e v e d t h a t t h e t y p i c a l m u l t i p l e - c h o i c e i t e m s ( a n d t r u e - f a l s e i t e m s i n p a r t i c u l a r ) p e r m i t g u e s s i n g t o s u c h a n e x t e n t t h a t f i f t e e n - i t e m e x a m s a r e t o o e a s y a n d t o o u n r e l i a b l e . T h e p u r p o s e s o f t h e s e r e l i a b i l i t y s t u d i e s a r e t o i n v e s t i g a t e t h e r e l i a b i l i t i e s o f v a r i o u s t y p e s o f e x a m q u e s t i o n s u n d e r d i f f e r e n t c o n d i t i o n s , t o c o m p a r e r e l i a b i l i t i e s o f s h o r t - a n s w e r o n t h e o n e h a n d a n d ' m u l t i p l e - c h o i c e i t e m s w i t h d i f f e r e n t n u m b e r s o f c h o i c e s o n t h e o t h e r , a n d t o c o m p a r e m e a n s o n e x a m s w i t h d i f f e r e n t q u e s t i o n f o r m a t d i s t r i b u t i o n s . I I . C . 2 . S e l e c t i o n o f i t e m f o r m a t T h r e e b a s i c i t e m f o r m a t s a p p e a r o n a t y p i c a l c h e m i s t r y e x a m - - m u l t i p l e - c h o i c e , s h o r t - a n s w e r , a n d p r o b l e m o r e s s a y . E a c h o f t h e s e t y p e s h a s d r a w b a c k s a n d s t r o n g p o i n t s , a n d f o r e a c h t y p e t h e r e a r e 9 1 t o p i c s w h i c h l e n d t h e m s e l v e s w i t h e a s e t o a p a r t i c u l a r f o r m a t ; f o r o t h e r a r e a s i t i s v e r y d i f f i c u l t t o w r i t e a g o o d i t e m i n t h a t s a m e f o r m a t . M u l t i p l e - c h o i c e a n d s h o r t - a n s w e r i t e m s a r e b o t h c l a s s i f i e d a s o b j e c t i v e i t e m s ” b e c a u s e o f t h e s t r a i g h t f o r w a r d m a n n e r i n w h i c h t h e y a r e s c o r e d . T h e a n s w e r t o a n o b j e c t i v e i t e m i s - - o r s h o u l d b e - - c l e a r l y r i g h t o r w r o n g , a n d n o p a r t i a l c r e d i t i s g i v e n . T h i s i s i n c o n t r a s t t o t h e p r o b l e m o r e s s a y q u e s t i o n w h e r e t h e g r a d e r e v a l u a t e s a w r i t t e n r e s p o n s e s u b j e c t i v e l y o r g i v e s c r e d i t i n a p r o b l e m b a s e d o n m e t h o d o r p a r t i a l s o l u t i o n . I n C E M 1 3 0 / 1 3 1 t h e s t u d e n t i s g i v e n t h e o p p o r t u n i t y t o t a k e t e s t s o n c e a d a y d u r i n g a n a p p r o x i m a t e l y t e n d a y p e r i o d w i t h h i s g r a d e o n t h e t e s t d e t e r m i n e d b y a p r e s e t g r a d i n g s c a l e . T h e s t u d e n t m a y r e p e a t a n e x a m u n t i l s a t i s f i e d w i t h h i s s c o r e , o r u n t i l t h e c l o s i n g d a t e . O n l y t h e l a s t s c o r e ( n o t t h e h i g h e s t s c o r e ) i s t h e o n e o n w h i c h h i s g r a d e i s b a s e d . D u r i n g a t y p i c a l e x a m w e e k o n e t o f o u r t h o u s a n d t e s t s m a y b e a d m i n i s t e r e d , s c o r e d , a n d e n t e r e d i n t o s t u d e n t r e c o r d s . S i n c e s u c h l a r g e n u m b e r s o f t e s t s a r e u s e d , a l l i t e m s a r e o f t h e o b j e c t i v e f o r m a t s o t h a t t h e y c a n b e r a p i d l y s c o r e d b y n o n e x p e r t g r a d e r s . * T h e t r u e - f a l s e i t e m m a y b e t r e a t e d f o r c o m p u t a t i o n a l p u r p o s e s a s a s p e c i a l c a s e o f t h e m u l t i p l e - c h o i c e i t e m w i t h o n l y t w o o p t i o n s . A m a t c h i n g i t e m i s a c o m p l e x s e t o f i n t e r l o c k i n g m u l t i p l e - c h o i c e q u e s t i o n s w i t h d e c r e a s i n g n u m b e r s o f o p t i o n s p e r i t e m . Q u e s t i o n s w i t h m o r e t h a n o n e c o r r e c t a n s w e r c a n b e c o n s i d e r e d a c o l l e c t i o n o f t r u e - f a l s e q u e s t i o n s t h a t m a y c o n t a i n m o r e t h a n o n e t r u e s t a t e m e n t . M a t c h i n g a n d m u l t i p l e - a n s w e r i t e m s c a n n o t b e a n a l y z e d b e c a u s e o f t h e i n t e r l o c k i n g n a t u r e o f t h e i r r e s p o n s e s . N o n e o f t h e i t e m s u s e d i n C E M 1 3 0 / 1 3 1 o r i n t h e s e s t u d i e s a r e o f t h e l a t t e r t w o t y p e s , a n d v e r y f e w a r e t r u e - f a l s e i t e m s . 9 2 I I . C . 3 . C o m p o n e n t s o f o b s e r v e d t e s t v a r i a n c e T h e o b s e r v e d t e s t v a r i a n c e m a y b e d i s t r i b u t e d i n t o s e v e r a l c a t e g o r i e s w h i c h a r e u n c o r r e l a t e d . T h e c o m p o n e n t s l i s t e d i n T a b l e 2 . 1 a n d r e s t a t e d b e l o w a r e o f v a r y i n g m a g n i t u d e a n d i m p o r t a n c e . T a b l e 2 . 1 C o m p o n e n t s o f o b s e r v e d t e s t v a r i a n c e S y m b o l S o u r c e $ 2 . 1 . d i f f e r e n c e s i n k n o w l e d g e ( T = t r u e s c o r e ) 3 2 f 1 l e a r n i n g a n d f o r g e t t i n g ( f l = f l u c t u a t i o n i n t r u e s c o r e ) 5 2 g , g u e s s i n g v a r i a t i o n s a m o n g s t u d e n t s ( g = g u e s s i n g ) S z a d m e f f e c t s o f d a y , r o o m , e t c . ( a d m = a d m i n i s t r a t i o n ) S z e q u n r e p r e s e n t a t i v e c o v e r a g e o f t o p i c s ( e q = e q u i v a l e n c e ) s t c s u b j e c t i v e s c o r i n g e r r o r s ( s o = s c o r i n g ) 8 2 m m e m o r y o f p r e v i o u s t e s t q u e s t i o n s ( m = m e m o r y ) 3 2 R a l l r e m a i n i n g s o u r c e s o f e r r o r ( R = r e s i d u a l ) E r r o r v a r i a n c e a t t r i b u t a b l e t o s c o r i n g a n d t o a d m i n i s t r a t i v e c o n d i t i o n s w i l l a p p r o a c h z e r o u n d e r t h e c o n d i t i o n s p r e v a i l i n g i n t h i s s y s t e m a n d w i l l n o t b e f u r t h e r c o n s i d e r e d . V a r i a n c e c a u s e d b y f l u c t u a t i o n i n t r u e s c o r e s i s a l s o a s s u m e d t o b e n e g l i g i b l e w h e n t h e i n t e r v a l b e t w e e n t e s t s i s a s s h o r t a s i t i s f o r t h e s e r e l i a b i l i t y s t u d i e s . T h e m e a n t i m e b e t w e e n a l l i t e m s o n t h e t w o t e s t s i s n e v e r m o r e t h a n o n e h o u r a n d f o r m o s t e x a m i n e e s i t 9 3 a v e r a g e s a b o u t f o r t y m i n u t e s ? F l u c t u a t i o n i n t r u e s c o r e i s n o t c l a s s e d a s e r r o r s i n c e a p e r f e c t l y p r e c i s e t e s t w o u l d a c c u r a t e l y r e g i s t e r a d i f f e r e n c e i f t h e s c o r e t r u l y f l u c t u a t e d . H o w e v e r , a n y f l u c t u a t i o n i s l i k e l y t o b e d i a g n o s e d a s e r r o r p r o d u c e d b y a l a c k o f e q u i v a l e n c e b e t w e e n t e s t s . T h e r e i s n o w a y t o d e t e r m i n e w h e t h e r a c h a n g e i n o b s e r v e d s c o r e i s c a u s e d b y a c h a n g e i n w h a t t h e s t u d e n t k n o w s o r b y a c h a n g e i n w h a t t h e t e s t m e a s u r e s . S i n c e t r u e - s c o r e f l u c t u a t i o n c a n n o t b e s e p a r a t e d f r o m t e s t - c o n t e n t f l u c t u a t i o n , i t w i l l n o t b e c o n s i d e r e d e x p l i c i t l y a s a n i m p o r t a n t s o u r c e o f v a r i a n c e d i f f e r e n t f r o m v a r i a n c e c a u s e d b y a l a c k o f e q u i v a l e n c e b e t w e e n t e s t s . T h e e f f e c t o f m e m o r y o f r e s p o n s e s g i v e n p r e v i o u s l y i s o f u n m i s t a k a b l e c o n s e q u e n c e w h e n t h e s a m e i t e m s a p p e a r o n a s u b s e q u e n t t e s t . B u t t h e r e i s a l s o a g r a y a r e a b e t w e e n t h e e r r o r v a r i a n c e o f m e m o r y a n d t h e l a c k o f v a l i d i t y o f t h e i t e m s . M e m o r y i s o n e e x t r e m e ; t h e s t u d e n t e n c o u n t e r s a n i t e m a s e c o n d t i m e a n d r e m e m b e r s h o w h e a n s w e r e d i t t h e f i r s t t i m e . K n o w l e d g e i s a t t h e o t h e r e x t r e m e ; t h e s t u d e n t e n c o u n t e r s a ' d i f f e r e n t ' i t e m t e s t i n g f o r t h e s a m e k n o w l e d g e a n d i s a g a i n a b l e t o s o l v e t h e p r o b l e m . I f h o w e v e r t h e s t u d e n t i s a b l e t o a n s w e r a q u e s t i o n b a s e d n o t o n t r u e k n o w l e d g e b u t o n s o m e s u p e r f i c i a l i t e m c h a r a c t e r i s t i c , w h e t h e r t h i s l e a d s t o m e m o r y v a r i a n c e o r t r u e - s c o r e v a r i a n c e d e p e n d s o n w h a t o n e c l a s s i f i e s a s s u p e r f i c i a l . * O n l y o n e o f t h e c o r r e l a t i o n s t u d i e s u s e d m o r e t h a n t w o t e s t s ; o n t h a t s i n g l e o c c a s i o n t h r e e t e s t s w e r e a d m i n i s t e r e d i n t h r e e d i f f e r e n t o r d e r s t o t h r e e g r o u p s o f s t u d e n t s . T h e f i r s t a n d t h i r d t e s t s w o u l d t h e n h a v e a m e a n s e p a r a t i o n t i m e t w i c e a s l o n g a s c o n s e c u t i v e l y t a k e n t e s t s . 9 4 C e r t a i n l y w h e n a s t u d e n t i s a b l e t o a n s w e r a q u e s t i o n d u e t o t e s t w i s e n e s s r a t h e r t h a n k n o w l e d g e o f c h e m i s t r y , t h e ' k n o w l e d g e ' h e d e m o n s t r a t e s i s s u p e r f i c i a l . Y e t c o n s i d e r t h i s e x a m p l e : E x a m i c a c i d i s a m o n o p r o t i c a c i d w i t h K a = 1 . 0 0 x 1 0 ' 6 . W h a t i s t h e p H o f a s o l u t i o n w h i c h i s o n e m o l a r i n b o t h e x a m i c a c i d a n d p o t a s s i u m e x a m a t e ? ( 1 ) 1 . 0 ( 2 ) 6 . 0 ( 3 ) 1 4 ( 4 ) 9 . 9 ( 5 ) 8 . 2 A s t u d e n t c o u l d a r r i v e a t t h e c o r r e c t a n s w e r i n m a n y w a y s w i t h o u t m a k i n g a r a n d o m g u e s s . T h e m e t h o d w h i c h t h e i t e m w r i t e r p r o b a b l y h a d i n m i n d i s t o s e t u p t h e e q u i l i b r i u m e x p r e s s i o n , s o l v e f o r t h e c o n c e n t r a t i o n o f h y d r o g e n i o n , a n d c o n v e r t t o p H u n i t s . A n o t h e r m e t h o d i s b a s e d o n a r e s t r i c t e d p r i n c i p l e . W h e n a s o l u t i o n c o n s i s t s o f e q u i m o l a r q u a n t i t i e s o f a w e a k a c i d a n d i t s s a l t , t h e p H o f t h e r e s u l t a n t b u f f e r i s e q u a l t o t h e n e g a t i v e l o g a r i t h m o f t h e i o n i z a t i o n c o n s t a n t o f t h e a c i d . W h i l e t h i s s e c o n d m e t h o d t e s t s a s l i g h t l y l e s s s o p h i s t i c a t e d k i n d o f k n o w l e d g e , t h e i n s t r u c t o r w o u l d l i k e l y a c c e p t t h i s m e a s u r e m e n t a s v a l i d a n d m e a n i n g f u l . S t i l l a n o t h e r m e t h o d i s b a s e d o n a l e s s r i g o r o u s c h a i n o f l o g i c . A s o l u t i o n o f a w e a k a c i d a n d i t s s a l t i s a w e a k l y a c i d i c b u f f e r . T h e s c a l e o f p H i s d e f i n e d s u c h t h a t a s o l u t i o n w i t h a p H o f s e v e n i s n e u t r a l a n d s m a l l e r n u m b e r s d e n o t e a c i d i c s o l u t i o n s . T h e s e c o n d a n s w e r c h o i c e i s t h e o n l y p H v a l u e w h i c h i s w e a k l y a c i d i c . T h i s t h i r d m e t h o d o f s o l u t i o n i s e v i d e n c e o f a l e v e l o f k n o w l e d g e m u c h l o w e r t h a n t h e i t e m i s d e s i g n e d t o t e s t . T h e k n o w l e d g e i s n o t t r i v i a l , b u t i t i s n o t a s 9 5 a d v a n c e d a s i n t e n d e d . T h i s l a s t m e t h o d i s i n t h e g r a y a r e a ; i t b o r d e r s o n ' c h e m i s t r y w i s e n e s s ' r a t h e r t h a n ' t e s t w i s e n e s s ' . E v e n i f t h e s t u d e n t i s o n l y a b l e t o n a r r o w h i s o p t i o n s t o t h e t w o v a l u e s w h i c h a r e a c i d i c p H a n d g u e s s w h i c h i s c o r r e c t , d o e s n o t t h i s s h o w s o m e f a m i l i a r i t y w i t h a c i d s , b u f f e r s , a n d t h e p H s c a l e ? P e r h a p s e v e n s u c h i n t u i t i v e a c q u a i n t a n c e w i t h t h e s u b j e c t m a t t e r i s a v a l i d e d u c a t i o n a l g o a l . B e c a u s e t h e d e f i n i t i o n o f m e m o r y v a r i a n c e f o r o t h e r t h a n r e t e s t i n g w i t h i d e n t i c a l i t e m s l e a d s i n t o s u c h a g r a y a r e a , t h e c o n s i d e r a t i o n o f m e m o r y v a r i a n c e w i l l b e r e s t r i c t e d t o t h e t e s t - r e t e s t s i t u a t i o n . F o r a l l r e l i a b i l i t y s t u d i e s w h e r e n o n i d e n t i c a l t e s t s a r e c o m p a r e d , e r r o r v a r i a n c e d u e t o m e m o r y i s a s s u m e d t o b e z e r o . T h u s f a r , f o u r o f t h e v a r i a n c e c o m p o n e n t s f r o m T a b l e 2 . 1 h a v e b e e n e l i m i n a t e d f r o m g e n e r a l c o n s i d e r a t i o n : s c o r i n g , a d m i n i s t r a t i o n , f l u c t u a t i o n , a n d m e m o r y . F o u r c a t e g o r i e s r e m a i n t o b e c o n s i d e r e d : t r u e s c o r e , g u e s s i n g , e q u i v a l e n c e , a n d r e s i d u a l . T r u e - s c o r e v a r i a n c e w i l l e q u a l z e r o o n l y w h e n a l l s t u d e n t s k n o w t h e s a m e a m o u n t o f c h e m i s t r y : ' R e s i d u a l v a r i a n c e i s t h a t c a t e g o r y c o n t a i n i n g a l l s o u r c e s o f v a r i a n c e n o t c o n s i d e r e d e x p l i c i t l y ; i t i s a t h e o r e t i c a l b e t - h e d g e s o a s H t o a v o i d t h e a c c u s a t i o n " B u t y o u f o r g o t . . . R e s i d u a l i s a l s o t h e c o n v e n i e n t r e s i d e n c e f o r a l l s o u r c e s o f e r r o r o t h e r t h a n t h e s i n g l e c a t e g o r y b e i n g i n v e s t i g a t e d . F o r e x a m p l e , w h e n g u e s s i n g v a r i a n c e i s * U n d e r a m a s t e r y s y s t e m o f l e a r n i n g , m o s t s t u d e n t s a c h i e v e t h e s a m e l e v e l o f k n o w l e d g e - - m a s t e r y - - a n d v a r i a t i o n a m o n g t r u e s c o r e s i s p e r f o r c e l o w o r z e r o . T h e e s t i m a t i o n a n d i n t e r p r e t a t i o n o f r e l i a b i l i t y a n d m e a s u r e m e n t e r r o r f o r s u c h t e s t s i s m o r e d i f f i c u l t . 9 6 b e i n g s t u d i e d , r e s i d u a l v a r i a n c e w i l l i n c l u d e t h e v a r i a n c e c a u s e d b y n o n e q u i v a l e n c e - - c e r t a i n l y n o t a n i n c o n s e q u e n t i a l s o u r c e . G u e s s i n g a n d e q u i v a l e n c e a r e t h e t w o m a j o r s o u r c e s o f e r r o r s i n m e a s u r e m e n t w h i c h a r e i n v e s t i g a t e d i n t h i s r e s e a r c h . T h e i r i m p o r t a n c e a n d t h e m e t h o d o f t h e i r e s t i m a t i o n a r e d i s c u s s e d i n t h e n e x t s e c t i o n . I I . C . 4 . E x p e r i m e n t a l d e s i g n E r r o r s c a u s e d b y g u e s s i n g i r b y n o n e q u i v a l e n c e a r e i m p o r t a n t f o r t w o r e a s o n s . F i r s t , s i n c e s t u d e n t s a r e a l l o w e d t o r e t a k e t e s t s o n w h i c h t h e y p e r f o r m p o o r l y , t h e t e s t s c o r e a s a r e l i a b l e m e a s u r e o f k n o w l e d g e a n d n o t t h e l u c k y g u e s s i s i m p o r t a n t . S e c o n d , s i n c e d i f f e r e n t f o r m s o f a n e x a m a r e t a k e n b y d i f f e r e n t g r o u p s o f s t u d e n t s - - y e t g r a d e d o n t h e s a m e s c a l e - - a l l p a r a l l e l f o r m s s h o u l d b e e q u a l i n d i f f i c u l t y a n d r e p r e s e n t a t i v e i n c o n t e n t . B o t h O f t h e s e r e a s o n s c o n c e r n t h e s t a b i l i t y o f t h e m e a s u r e m e n t : t h e s t a b i l i t y o f t h e i n d i v i d u a l s c o r e , a n d t h e s t a b i l i t y o f t h e t e s t m e a n . O n l y w h e n a t e s t i s r e l i a b l e i n b _ o t _ h s e n s e s w i l l a t e s t s c o r e b e p r e c i s e a n d a c c u r a t e o n a n a b s o l u t e r a t h e r t h a n a r e l a t i v e s c a l e o f a c h i e v e m e n t . T h e t e s t r e l i a b i l i t y a n d t h e m e a s u r e m e n t e r r o r r e s u l t i n g f r o m g u e s s i n g a n d n o n e q u i v a l e n c e a r e e s t i m a t e d f r o m i n t e r n a l c o n s i s t e n c y c o e f f i c i e n t s , p a r a l l e l f o r m s c o r r e l a t i o n s , a n d s u m m a r y s t a t i s t i c s f o r e a c h t e s t a d m i n i s t r a t i o n . 9 7 I I . C . 5 . C o m p a r i s o n s c h e m e s W h e n t e s t s a r e c o m p a r e d , t h e r e s h o u l d b e i t e m - b y - i t e m c o n t e n t c o r r e s p o n d e n c e b e t w e e n t h e t e s t s , a n d a l l i t e m s s h o u l d b e t h e s a m e f o r m a t . T h i s a l l o w s t h e p u r e s t e s t i m a t e s t o b e m a d e o f t h e c o n t r a s t b e t w e e n t w o f o r m a t s o r t h e r e l i a b i l i t y o f a s i n g l e f o r m a t . A t t h e s a m e t i m e , t h e t e s t s u s e d a n d t h e e x p e r i m e n t a l s e t t i n g s h o u l d b e i d e n t i c a l t o t h a t t y p i c a l l y f o u n d i n t h e c l a s s r o o m . T h i s a l l o w s t h e r e s u l t s o f t h e r e s e a r c h t o b e g e n e r a l i z e d t o t h e a c t u a l t e s t i n g s i t u a t i o n s . A s i s o f t e n t h e c a s e , c o n d i t i o n s w h i c h m a k e e x p e r i m e n t s m o r e t h e o r e t i c a l l y r i g o r o u s a l s o m a k e t h e r e s u l t s l e s s r e a d i l y a p p l i c a b l e t o t h e c l a s s r o o m , a n d e x p e r i m e n t a l d e s i g n s w h i c h m i r r o r t h e c l a s s r o o m m a y c o n t a i n t o o m a n y u n c o n t r o l l e d v a r i a b l e s a n d c o m p l e x i n t e r a c t i o n s w h i c h m a k e i t d i f f i c u l t t o d r a w s o u n d c o n c l u s i o n s . T h e t e s t s u s e d i n t h i s r e s e a r c h a r e n o t d i f f e r e n t i n c o n t e n t f r o m t h o s e r e g u l a r l y u s e d i n t h e c o u r s e . O f t e n , h o w e v e r , e x t e n s i v e c h a n g e s w e r e m a d e i n t h e s t r u c t u r e a n d f o r m a t o f q u e s t i o n s ( a c c o r d i n g t o t h e p r o c e d u r e s o u t l i n e d i n S e c t i o n I I . B ) . B e c a u s e s o m e i t e m s c o u l d n o t b e r e s t r u c t u r e d i n k e e p i n g w i t h t h e f o r m a t f o r a p a r t i c u l a r c o m p a r i s o n , s e l d o m a r e t h e f i f t e e n - i t e m t e s t s u s e d i n t h e s e s t u d i e s o f o n e f o r m a t . R a t h e r t h a n m a n i p u l a t e t e s t c o n t e n t a r t i f i c i a l l y , s o m e s t r u c t u r a l d e s i g n p u r i t y w a s s u r r e n d e r e d . T h i s a p p r o a c h s a c r i f i c e s s o m e m a t h e m a t i c a l r i g o r a n d c o m p u t a t i o n a l e a s e i n o r d e r t h a t t h e r e s u l t s b e c o n f i d e n t l y a p p l i c a b l e t o t h e c o u r s e e n v i r o n m e n t . S t a t i s t i c s w e r e c a l c u l a t e d w h e n a p p r o p r i a t e f o r s u b t e s t s o f i t e m s m o r e n e a r l y i d e n t i c a l 9 8 i n f o r m a t . T h e d a t a f r o m t h e t h i r t y - t w o c o m p a r i s o n s w h i c h w e r e m a d e a r e g r o u p e d i n t o f i v e g e n e r a l c a t e g o r i e s . I I . C . 5 . a . C o m p a r i s o n s o f p a r a l l e l t e s t s o f f i v e - o p t i o n m u l t i p l e - c h o i c e i t e m s T h i s f i r s t c a t e g o r y i n c l u d e s n i n e s t r u c t u r a l l y u n c h a n g e d t e s t s c o n s i s t i n g a l m o s t e n t i r e l y o f f i v e - c h o i c e i t e m s . T h e r e a r e f i f t e e n c o m p a r i s o n s i n t h i s c a t e g o r y , s o m e o f w h i c h d i f f e r o n l y i n t h e o r d e r i n w h i c h t h e t w o t e s t s w e r e a d m i n i s t e r e d . T h e c o r r e l a t i o n c o e f f i c i e n t b e t w e e n t w o t e s t s o f t h i s t y p e i s a n e s t i m a t e o f t h e r e l i a b i l i t y o f t h e f i v e - c h o i c e i t e m . T h e e s t i m a t e w i l l b e l e s s t h a n 1 . 0 0 t o t h e e x t e n t t h a t n o n e q u i v a l e n c e a n d g u e s s i n g c o n t r i b u t e t o e r r o r v a r i a n c e . I t s h o u l d a l s o b e n o t e d t h a t b e c a u s e a f i f t e e n - i t e m e x a m h a s s u c h a r e s t r i c t e d s c a l e , t h e m a x i m u m p o s s i b l e c o r r e l a t i o n w i l l b e l e s s t h a n u n i t y u n l e s s t e s t m e a n s a n d s t a n d a r d d e v i a t i o n s a r e e q u a l . I I . C . 5 . b . C o m p a r i s o n o f p a r a l l e l t e s t s w i t h m o r e t h a n f i v e o p t i o n s p e r i t e m T h e t e s t s i n t h i s c a t e g o r y h a d t h e n u m b e r o f a n s w e r c h o i c e s i n c r e a s e d t o b e t w e e n s i x a n d t e n f r o m t h e o r i g i n a l f o u r o r f i v e . T h e s i x c o m p a r i s o n s a r e a m o n g s e v e n d i f f e r e n t t e s t s . A s i n t h e f i r s t s c h e m e , e r r o r v a r i a n c e i s s u b d i v i d e d i n t o p r i m a r i l y g u e s s i n g e r r o r a n d n o n e q u i v a l e n c e b e t w e e n f o r m s . T h e c o r r e l a t i o n c o e f f i c i e n t b e t w e e n t w o t e s t s i n t h i s c a t e g o r y w i l l s h o w t h e e f f e c t o f i n c r e a s i n g t h e n u m b e r o f r e s p o n s e o p t i o n s o n t e s t r e l i a b i l i t y . 9 9 I I . C . 5 . 0 . C o m p a r i s o n o f p a r a l l e l t e s t s o f s h o r t - a n s w e r i t e m s T h e m e a s u r e d r e l i a b i l i t y o f t h e s h o r t - a n s w e r f o r m a t i s t h e m a x i m u m p o s s i b l e v a l u e f o r t e s t r e l i a b i l i t y w h e n t h e o n l y v a r i a b l e a l l o w e d t o c h a n g e i s t h e n u m b e r o f r e s p o n s e o p t i o n s . I n t h i s c o m p a r i s o n , i t i s a s s u m e d t h a t e r r o r s d u e t o g u e s s i n g a r e z e r o , a n d a n y o b s e r v e d e r r o r v a r i a n c e i s t h e r e f o r e e s s e n t i a l l y t h a t o f n o n e q u i v a l e n c e . T h e f o u r c o m p a r i s o n s i n t h i s c a t e g o r y a r e a m o n g f o u r t e s t s w h i c h c o n s i s t p r e d o m i n a n t l y o f s h o r t - a n s w e r i t e m s . T h e s e i t e m s w e r e p r e p a r e d f r o m t h e o r i g i n a l m u l t i p l e - c h o i c e f o r m a t w i t h a s l i t t l e c h a n g e i n w o r d i n g a s p o s s i b l e . I I . C . 5 . d . C o m p a r i s o n o f s h o r t - a n s w e r i t e m s w i t h p a r a l l e l m u l t i p l e - c h o i c e i t e m s T h e c o m p a r i s o n s i n t h i s c a t e g o r y a r e b e t w e e n s h o r t - a n s w e r i t e m s a n d m u l t i p l e - c h o i c e i t e m s w i t h e i g h t a n d t e n o p t i o n s . T h e g u e s s i n g e r r o r i n t r o d u c e d b y t h e m u l t i p l e - c h o i c e f o r m a t w i l l b e o n l y h a l f w h a t i t w o u l d b e i f b o t h t e s t s w e r e m u l t i p l e - c h o i c e . T h e h a r m o n i c m e a n o f t h e n u m b e r o f c h o i c e s w h e n t w o t e n - o p t i o n t e s t s a r e c o m p a r e d i s t e n ; t h e h a r m o n i c m e a n w h e n a t e n - o p t i o n t e s t a n d a s h o r t - a n s w e r t e s t a r e c o m p a r e d i s t w e n t y . T h i s i s a w a y o f i n d i r e c t l y d o u b l i n g t h e m e a n n u m b e r o f a n s w e r c h o i c e s s o t h a t t h e r e l i a b i l i t y o f m o r e - t h a n - t e n r e s p o n s e o p t i o n s c a n b e e s t i m a t e d w i t h o u t h a v i n g t o c o n s t r u c t s u c h i t e m s . 1 0 0 I I . C . 5 . e . A v a r i a t i o n o f a t e s t - r e t e s t c o m p g r i s o n T h e f o u r c o m p a r i s o n s a m o n g s i x t e s t s i n t h i s c a t e g o r y a r e a v a r i a n t o f t h e t e s t - r e t e s t m e t h o d . W h e n a s t u d e n t e n c o u n t e r s t h e s a m e t e s t q u e s t i o n a s e c o n d t i m e , h e m a y g i v e t h e s a m e a n s w e r n o t b e c a u s e h e k n o w s t h e a n s w e r b o t h t i m e s b u t r a t h e r b e c a u s e h e r e m e m b e r s t h e a n s w e r h e g a v e t h e f i r s t t i m e . A s h o r t - a n s w e r q u e s t i o n d o e s n o t p r o v i d e a n s w e r c h o i c e s t o b e r e m e m b e r e d , s o t h a t t h e o n l y a s p e c t o f m e m o r y w h i c h a p p l i e s t o a s e c o n d t e s t i s w h e t h e r t h e s t u d e n t c a n s t i l l r e m e m b e r h o w t o a n s w e r a q u e s t i o n h e c o u l d a n s w e r o n t h e f i r s t t e s t . E a c h g r o u p o f s t u d e n t s i n t h e s e c o m p a r i s o n s w a s a d m i n i s t e r e d t w o t e s t s . T h e f i r s t t e s t w a s a s h o r t - a n s w e r t e s t c r e a t e d b y d e l e t i n g t h e r e s p o n s e o p t i o n s f r o m m u l t i p l e ~ c h o i c e q u e s t i o n s , a n d t h e s e c o n d t e s t w a s t h e i d e n t i c a l s e t o f i t e m s ' r e s t o r e d ' t o m u l t i p l e - c h o i c e f o r m a t . I n a s m u c h a s t h e c o n t e n t o f t h e t w o t e s t s i s u n c h a n g e d , t h e r e s h o u l d b e n o e r r o r v a r i a n c e d u e t o n o n e q u i v a l e n c e o f c o n t e n t ? T h e s e c o m p a r i s o n s w i l l n o t b e a v a l i d t e s t o f h o w m u c h e a s i e r t h e m u l t i p l e - c h o i c e f o r m a t i s i n c o m p a r i s o n w i t h t h e s h o r t - a n s w e r f o r m a t b e c a u s e e a c h s t u d e n t w i l l h a v e h a d m o r e t i m e t o w o r k o n t h e m u l t i p l e - c h o i c e q u e s t i o n s . * T h e r e m a y b e s o m e a r c a n e n o n e q u i v a l e n c e o f c o n t e n t i n t r o d u c e d b y t h e c h a n g e f r o m a r e c a l t o a r e c o g n i t i o n i t e m . T h e u s e o f t h e t e s t - r e t e s t m e t h o d a l m o s t a l w a y s i n v o l v e s s o m e s u c h t r o u b l e s o m e i d i o s y n c r a t i c k i n d o f e r r o r v a r i a n c e . T h i s i s w h y C u r e t o n [ 7 3 ] s a i d , " S o f a r a s I c a n t e l l , t h e t e s t - r e t e s t c o e f f i c i e n t h a s n o c l e a r i n t e r p r e t a t i o n u n d e r t h e w e a k t r u e s c o r e [ c l a s s i c a l ] t h e o r y . " * B O s s f b o m t o , o n e t y i t a p r s h t c a s s k r e o s f f a x r e e l p m s o t e w c c e s t b l r t u o a w o t i c d d n h s , i s e t e n a c r s f e b e m i y o d o o t m r . s t h s e r o a e x i c n c b a c d o d f i u t e m a e n s d d s i o u n o o o f r t s r m e u x t s , m m n o r . a e l w t w o a n m o s r e r e w a o l v o u m s e r s N a y e n r a t r d e n o o y m p w s c l r a t o y o s u n d s c c t e o c n t s a s t e o o o l r n i l s e o a , u t s f d d e r c i s a m i e h n y t e e i h w h d c i r s i t m n t r i t s h i n e b a a u r t m a t e i d e o e . n d 1 0 1 I I . C . 6 . A d m i n i s t r a t i v e p r o c e d u r e f o r ' S p e c i a l O p t i o n ' e x a m s S t u d e n t p a r t i c i p a t i o n i n t h e s e e x p e r i m e n t s w a s v o l u n t a r y . N o t i c e s o f t h e d a t e , t i m e , a n d p l a c e o f a ' S p e c i a l O p t i o n ' e x a m w e r e p r o m i n e n t l y p o s t e d d u r i n g t h e w e e k p r i o r t o e a c h o c c u r r e n c e . T o e n c o u r a g e s t u d e n t p a r t i c i p a t i o n , s t u d e n t s w e r e i n f o r m e d t h a t o n l y t h e h i g h e r o f t h e t w o t e s t s c o r e s w o u l d b e e n t e r e d i n t o t h e i r r e c o r d s . A s s t u d e n t s f i l e d i n t o t h e t e s t i n g r o o m , t h e y w e r e f i v e n t h e f i r s t o f t w o e x a m s . W h e n a s t u d e n t f i n i s h e d t h e f i r s t e x a m , h e t u r n e d i n h i s a n s w e r s h e e t a n d w a s g i v e n t h e s e c o n d e x a m . W h e n h e f i n i s h e d t h e s e c o n d e x a m , t h e s t u d e n t r e t u r n e d h i s s e c o n d a n s w e r s h e e t a n d l e f t t h e t e s t i n g r o o m . W h e n t w o f o r m s w e r e a d m i n i s t e r e d c o n c u r r e n t l y , t h e y w e r e d i s t r i b u t e d t o t h e s t u d e n t s w i t h r a n d o m i r r e g u l a r i t y ; t r u e r a n d o m . . . * a s m g n m e n t w o u l d h a v e b e e n 1 m p o s s 1 b l y c u m b e r s o m e . 1 0 2 I I . D . R e s u l t s a n d d i s c u s s i o n T h e i d e a l m e t h o d o f d e t e r m i n i n g t h e r e l i a b i l i t y o f a c h e m i s t r y t e s t w o u l d b e t o a d m i n i s t e r s e v e r a l f l a w l e s s e x a m p l e s o f s p e c i f i c t e s t s t o a p e r f e c t g r o u p o f s t u d e n t s . T h i s g r o u p w o u l d b e p e r f e c t i n t w o w a y s : k n o w l e d g e o f c h e m i s t r y w o u l d b e r e p r e s e n t e d a t a l l l e v e l s f r o m n o k n o w l e d g e o f t h e t o p i c s t e s t e d t o a l l t h a t s h o u l d b e k n o w n a b o u t t h e m ; f u r t h e r , t h e e x t e n t o f e a c h s t u d e n t ' s k n o w l e d g e o f c h e m i s t r y w o u l d b e a b s o l u t e l y c o n s t a n t d u r i n g t e s t i n g a n d t h e s t u d e n t s w o u l d b e c o m p l e t e l y u n c h a n g e d b y t h e t e s t i n g e x p e r i e n c e . S u c h g r o u p s o f s t u d e n t s a n d s u c h c o l l e c t i o n s o f t e s t s d o n o t e x i s t . T h e w a y s i n w h i c h t h e r e a l d e p a r t s f r o m t h e i d e a l i n t r o d u c e s e v e r a l d i f f e r e n t s o u r c e s o f e r r o r i n t o t h e m e a s u r e m e n t p r o c e s s . A l t h o u g h o n e m a y c o n s t r u c t s e v e r a l d i f f e r e n t f o r m s o f a c h e m i s t r y t e s t , t h e y a r e a l l n o t n e c e s s a r i l y e q u i v a l e n t . A n y d i f f e r e n c e s b e t w e e n t h e m i n t h e e m p h a s i s o f t o p i c s c o v e r e d o n e a c h e x a m i n t r o d u c e e r r o r v a r i a n c e d u e t o t h i s n o n e q u i v a l e n c e . Q u e s t i o n s w h i c h a p p e a r o n a t e s t c a n b e t h o u g h t o f a s c h o s e n f r o m a u n i v e r s e o f a l l p o s s i b l e q u e s t i o n s a b o u t t h e e n t i r e s c o p e o f c h e m i c a l t o p i c s c o v e r e d b y t h e e x a m i n a t i o n . O n l y i f a l l p o s s i b l e t e s t i t e m s a r e i d e n t i c a l i n c o n t e n t a n d d i f f i c u l t y - - w h i c h t h e y o b v i o u s l y a r e n o t - - w o u l d a n y s e i r e s o f s a m p l e s d r a w n f r o m t h i s p o p u l a t i o n b e p e r f e c t l y e q u i v a l e n t . T h e i n t e r n a l c o n s i s t e n c y i s a m e a s u r e o f t h e p o s s i b l e s a m p l i n g e r r o r w h i c h m i g h t e x i s t b e c a u s e a l l i t e m s a r e n o t i d e n t i c a l . 1 0 3 A s e c o n d k i n d o f s a m p l i n g e r r o r o c c u r s w h e n t h e g r o u p o f s t u d e n t s t e s t e d t o e s t a b l i s h r e l i a b i l i t y i s n o t r e p r e s e n t a t i v e o f t h e p o p u l a t i o n o f s t u d e n t s t h a t c o u l d h a v e t a k e n t h e e x a m . T h e m e a s u r e - m e n t s b a s e d o n u n r e p r e s e n t a t i v e s a m p l e s m a y n o t c o r r e s p o n d t o p o p u l a t i o n p a r a m e t e r s . C o n s e q u e n t l y , t h e t e s t m e a n s a n d v a r i a n c e s o r i t e m d i f f i c u l t i e s a n d d i s c r i m i n a t i o n s f o r a s m a l l a t y p i c a l s u b g r o u p a r e l i k e l y t o d i f f e r f r o m t h o s e o f t h e t o t a l c o u r s e e n r o l l m e n t . I t i s a l s o u n l i k e l y t h a t t h e s t u d e n t i s i m m u t a b l e i n h i s k n o w l e d g e o f c h e m i s t r y . H e s t u d i e s a n d l e a r n s m o r e , a n d w h e n a c t i v e s t u d y c e a s e s , h e b e g i n s t o f o r g e t . O f t e n t h e q u e s t i o n s o n a t e s t p r o v i d e t h e s t u d e n t w i t h n e w i n s i g h t s i n t o h i s k n o w l e d g e ; t h a t i s , t h e a c t o f m e a s u r e m e n t m a y i t s e l f c h a n g e w h a t i s m e a s u r e d . T h i s f l u c t u a t i o n i n a s t u d e n t ' s k n o w l e d g e i s r e f l e c t e d b y a r e a l c h a n g e i n h i s ' t r u e s c o r e . ' N e v e r t h e l e s s , t h e r e i s n o p r i m a f a c i e w a y t o d i s t i n g u i s h a t r u e c h a n g e i n w h a t t h e s t u d e n t k n o w s f r o m e i t h e r a c h a n g e i n t e s t c o n t e n t o r f r o m t h e r a n d o m e r r o r O f a n i m p e r f e c t t e s t . T h e c o n t r i b u t i o n s o f t h e s e v a r i a b l e s t o e r r o r i n m e a s u r e m e n t a n d t h e i r e f f e c t s o n t e s t r e l i a b i l i t y h a v e b e e n m e n t i o n e d i n t h e t h e o r e t i c a l d i s c u s s i o n ( S e c t i o n I I . A ) . T h e e f f e c t s o f p o s i t i o n , f o r m , a n d g r o u p w h e n m o r e t h a n o n e t e s t i s g i v e n t o a g r o u p o f s t u d e n t s , a s w e l l a s t h e e f f e c t s o f v a r i a b l e s s u c h a s t h e n u m b e r o f a n s w e r c h o i c e s a n d t e s t c o n t e n t a r e e x a m i n e d i n d e t a i l i n t h e f o l l o w i n g p a g e s . 1 0 4 I I . D . 1 . E f f e c t s o f p o s i t i o n , f o r m , a n d g r o u p I I . D . 1 . a . I n t r o d u c t i o n T h e c o r r e l a t i o n b e t w e e n t w o t e s t s c a n b e i n f l u e n c e d b y f a c t o r s o t h e r t h a n t h e r e l i a b i l i t i e s o f t h e t e s t s . A m o n g t h e s e a r e t h e e f f e c t o f t h e o r d e r o f t e s t a d m i n i s t r a t i o n ( p o s i t i o n e f f e c t ) , t h e d i f f e r e n c e s i n c o n t e n t b e t w e e n f o r m s ( f o r m s e f f e c t ) , a n d t h e d i f f e r e n c e s b e t w e e n g r o u p s i n a b i l i t y a n d r a n g e o f a b i l i t i e s ( g r o u p e f f e c t ) . P o s i t i o n e f f e c t . T h e o r d e r i n w h i c h t e s t s a r e t a k e n a n d t h e t i m e b e t w e e n t h e i r t a k i n g m a y a f f e c t t e s t r e l i a b i l i t y b e c a u s e o f f a t i g u e , p r a c t i c e , o r f o r g e t t i n g . T h e s e e f f e c t s a r e e s t i m a t e d b y t h e d i f f e r e n c e s i n t e s t m e a n s a n d i n t e r c o r r e l a t i o n s b e t w e e n t e s t s a d m i n i s t r a t e d i n d i f f e r e n t p o s i t i o n s , e i t h e r s u c c e s s i v e l y o r s e p a r a t e d b y a t h i r d t e s t . T a b l e s o f t h e s e r e s u l t s a r e l i s t e d i n A p p e n d i x B a l o n g w i t h e s t i m a t e s o f t h e i n t e r a c t i o n b e t w e e n p o s i t i o n a n d f o r m o r g r o u p . F o r m s e f f e c t . T h e c o r r e l a t i o n b e t w e e n t e s t s m a y a l s o b e d e c r e a s e d t o t h e e x t e n t t h a t d i f f e r e n t f o r m s o f a n e x a m a s k q u e s t i o n s a b o u t d i f f e r e n t t o p i c s . T h e f o r m s e f f e c t i s t h e r e f o r e t h e d i r e c t m e a s u r e o f e q u i v a l e n c y , a n d t e s t e q u i v a l e n c e i s a f u n d a m e n t a l a s s u m p t i o n f o r r e l i a b i l i t y e s t i m a t i o n b y p a r a l l e l f o r m s c o r r e l a t i o n . C o n t e n t e q u i v a l e n c y i s g o _ t d e m o n s t r a t e d m e r e l y w h e n t e s t s h a v e t h e s a m e m e a n - - n o r d i s p r o v e d w h e n m e a n s a r e s i g n i f i c a n t l y d i f f e r e n t . A y a r d s t i c k a n d a m e t e r s t i c k p r o v i d e q u i t e d i f f e r e n t r a w e s t i m a t e s o f l e n g t h t h o u g h b o t h a r e m e a s u r i n g t h e s a m e ' t o p i c ' . E q u i v a l e n c e o f d i f f i c u l t y ( a s o p p o s e d t o c o n t e n t ) i s d i s c u s s e d i n S e c t i o n I I . D . 4 . 1 0 5 G r o u L e f f e c t . A t h i r d i m p o r t a n t f a c t o r w h i c h i n f l u e n c e s t e s t r e l i a b i l i t y i s t h e c h a r a c t e r o f t h e g r o u p o f s t u d e n t s t e s t e d . A h e t e r o - g e n e o u s g r o u p w i l l h a v e a l a r g e t r u e - s c o r e v a r i a n c e s i n c e t h e r e a r e l a r g e r e a l d i f f e r e n c e s i n a b i l i t y a m o n g s t u d e n t s . T h e l a r g e r t h e t r u e - s c o r e v a r i a n c e , t h e l i k e l i e r t h e r e l i a b i l i t y w i l l b e h i g h s i n c e r e l i a b i l i t y i s t h e r a t i o o f t r u e t o o b s e r v e d v a r i a n c e . W h e n t w o g r o u p s a r e t e s t e d , t h e t e s t g i v e n t o o n e g r o u p m a y h a v e a h i g h e r r e l i a b i l i t y s i m p l y b e c a u s e t h a t g r o u p c o n t a i n e d a g r e a t e r s p r e a d o f a b i l i t i e s . C o m p a r i n g t h e s a m e f o r m o f a t e s t a c r o s s d i f f e r e n t g r o u p s a v e r a g e s m u c h o f t h i s d i f f e r e n c e . T h i s g r o u p e f f e c t i s e s t i m a t e d b y t h e d i f f e r e n c e i n t e s t v a r i a n c e s b e t w e e n g r o u p s w h i c h t o o k t h e s a m e t e s t . T h e s e e f f e c t s a r e s u m m a r i z e d i n A p p e n d i x B . I I . D . 1 . b . O b s e r v e d t e s t r e l i a b i l i t i e s T h e r e l i a b i l i t y c o e f f i c i e n t s a n d c o n f i d e n c e i n t e r v a l s f o r v a r i o u s t e s t a d m i n i s t r a t i o n s a r e d i s p l a y e d i n F i g u r e 2 . 1 . T h e c o n f i d e n c e i n t e r v a l e x t e n d s t w o s t a n d a r d d e v i a t i o n s a b o v e a n d b e l o w e a c h c o e f f i c i e n t ; t h i s i n t e r v a l e n c o m p a s s e s a 9 5 . 4 4 p e r c e n t p r o b a b i l i t y . T h e w i d t h o f t h e c o n f i d e n c e i n t e r v a l d e p e n d s o n l y o n t h e s i z e o f t h e g r o u p t e s t e d . A d m i n i s t r a t i o n C o d e A h a s b e e n d i v i d e d i n t o t h e t h r e e g r o u p s ( W , X , a n d Y ) w h i c h t o o k t h e t e s t s t o g e t h e r . T h e s e d a t a a r e t a k e n f r o m A p p e n d i x B , T a b l e s B . 3 a n d B 1 2 . I L 4 : - 1 0 6 w - 1 2 x - 2 1 Y — 1 2 W ‘ l 3 " . . : _ ' 1 : " 2 1 3 . . : - . . Y - 3 1 ' w - 2 3 x - 2 3 Y - 3 2 U M a t . 0 1 i k i fi fi D 2 E l E 2 E 3 3 E 4 . 9 - . _ - . . : 3 . : . ” x 2 . 8 4 5 2 . \ ‘ u ‘ - - : 5 ' ‘ - , _ 3 : - t = : = ' > - ° C 1 C 2 K 1 K 2 H 1 H 2 L 1 L 2 J 1 J 2 N 1 N 2 ( 3 1 G 2 ' 5 - ‘ - ' - : . » . - 3 W I ' - . ' 5 1 1 ' a o - a n q , I _ l I I " I I I D I - v ' . I ' ' ' - : 3 : ~ : - « 3 5 : 3 5 : . 3 7 3 : _ - ' 1 I : - . . ' 3 ' : . . ' 1 0 . 2 0 . 3 0 . 4 0 . 5 0 . 6 0 . 7 0 . 8 0 . 9 0 . 9 5 F i g u r e 2 . 1 R e l i a b i l i t i e s a n d : 2 0 c o n f i d e n c e i n t e r v a l s f o r t e s t s o f f i f t e e n i t e m s l i s t e d b y t e s t c o d e ( s e e A p p e n d i x B ) . . ' . D . . ' : . ‘ U ' l . . 1 0 7 I I . D . 1 . c . i . D i s c u s s i o n o f n o n - z e r o e f f e c t s : P o s i t i o n T h e a n a l y s i s o f v a r i a n c e ( A N O V A ) t e c h n i q u e i s i n a p p l i c a b l e f o r t h e s e d a t a b e c a u s e e a c h o f t h e ' c e l l s ' i n t h e d e s i g n i s n o t i n d e p e n d e n t . T h e s a m e g r o u p i s a d m i n i s t e r e d d i f f e r e n t f o r m s o f a n e x a m s o t h a t r e l i a b i l i t y m a y b e e s t i m a t e d b y c o r r e l a t i o n . I f t h e e x a m s w e r e c o r r e l a t e d 1 . 0 0 , t h e n a n y d i f f e r e n c e i n t e s t m e a n s w o u l d b e s t a t i s t i c a l l y s i g n i f i c a n t . T h e d i f f e r e n c e c a n n o t b e d u e t o d i f f e r e n c e s i n t h e g r o u p s ( t h e s a m e g r o u p t a k e s b o t h t e s t s ) a n d c a n n o t b e d u e t o r a n d o m e r r o r v a r i a n c e o n o n e e x a m w h i c h d i f f e r s f r o m r a n d o m e r r o r o n t h e o t h e r s i n c e t h e y i n t e r c o r r e l a t e p e r f e c t l y . H o w e v e r , i f t h e i n t e r c o r r e l a t i o n a m o n g c e l l s i s l e s s t h a n u n i t y , t h e s i z e o f t h e c o r r e l a t i o n c o e f f i c i e n t i s i n v e r s e l y r e l a t e d t o t h e s i g n i f i c a n c e o f a d i f f e r e n c e i n t e s t m e a n s . T h e t h r e s h o l d f o r t h e s i g n i f i c a n c e o f a d i f f e r e n c e i s a l w a y s l e s s t h a n t h a t c a l c u l a t e d w i t h t h e a s s u m p t i o n t h a t t h e t w o m e a n s a r e n o t c o r r e l a t e d . T h u s t h e a n a l y s i s o f v a r i a n c e w i l l u n d e r e s t i m a t e a n y d i f f e r e n c e s p r e s e n t . I n c o n t r a s t , m u l t i p l e t - t e s t i n g w i l l o v e r e s t i m a t e a n y d i f f e r e n c e s b e c a u s e w h e n m a n y t - t e s t s a r e d o n e o n a s e t o f d a t a , s o m e r e s u l t s w i l l b e s i g n i f i c a n t m e r e l y b y c h a n c e . T h e r e f o r e , o n l y a s t r o n g p a t t e r n o f s i g n i f i c a n t r e s u l t s w i l l b e i n t e r p r e t e d a s i n d i c a t i n g a s i g n i f i c a n t d i f f e r e n c e ; s i n g l e s i g n i f i c a n t r e s u l t s w i l l b e l i g h t l y t a k e n . A l t h o u g h i n a p p r o p r i a t e b e c a u s e d i f f e r e n c e s a r e u n d e r e s t i m a t e d , t h e a n a l y s i s o f v a r i a n c e i s l i s t e d i n T a b l e B 1 3 i n A p p e n d i x B . E v e n t h o u g h t h e e f f e c t i s u n d e r e s t i m a t e d , i t i s u n l i k e l y t h a t t h e p o s i t i o n e f f e c t c o u l d i n f l a t e e n o u g h u n d e r a n o t h e r t e c h n i q u e t o b e c o m e s i g n i f i c a n t . 1 0 8 T h e p o s i t i o n e f f e c t i s a l s o n o n e x i s t a n t w h e n t h e m o r e l i b e r a l m u l t i p l e t - t e s t i n g p r o c e d u r e i s u s e d . F o r 2 4 c o m p a r i s o n s a c r o s s 1 9 g r o u p s a n d b e t w e e n 1 8 s e p a r a t e f o r m s , n o t a s i n g l e s i g n i f i c a n t d i f f e r e n c e i s f o u n d . W h e n g r o u p s a r e p o o l e d f o r e a c h a d m i n i s t r a t i o n o f t h e s a m e f o r m s i n d i f f e r e n t o r d e r s , t h e e l e v e n d i f f e r e n c e s c o n t a i n o n l y o n e w h i c h i s s i g n i f i c a n t a n d t h i s i s a t a n a l p h a a l m o s t g r e a t e r t h a n . 0 5 - - i . e . b o r d e r i n g o n n o n s i g n i f i c a n c e . T h e s e r e s u l t s a r e t a b u l a t e d i n A p p e n d i x B , T a b l e s B . 7 , B . 8 , a n d B . 1 4 . I I . D . 1 . 0 . i i . D i s c u s s i o n o f n o n - z e r o e f f e c t s : F o r m A s w a s t h e c a s e f o r t h e p o s i t i o n e f f e c t , m u l t i p l e t — t e s t s w e r e u s e d t o d i s c e r n a n y d i f f e r e n c e s d u e t o t h e l a c k o f e q u i v a l e n c e o f p u r p o r t e d l y e q u i v a l e n t e x a m s . B e c a u s e t h e s a m e g r o u p w a s g i v e n e a c h f o r m , t h e m e a n s a r e n o t i n d e p e n d e n t a n d a n a d j u s t e d s t a n d a r d e r r o r f o r c o r r e l a t e d o r d e p e n d e n t s a m p l e s w a s a g a i n u s e d . T h e d i f f e r e n c e s a n d s i g n i f i c a n c e t e s t s f o r t h e f o r m s e f f e c t a r e l i s t e d i n T a b l e s B . 4 , B . 5 , a n d B . 1 5 i n A p p e n d i x B . E a c h o f t h e d i f f e r e n c e s i s b e t w e e n t w o f o r m s o f a n e x a m g i v e n t o t h e s a m e g r o u p . F i f t e e n o f t h e e i g h t e e n d i f f e r e n c e s a r e s i g n i f i c a n t . T h u s , e v e n e x p e c t i n g a s i g n i f i c a n t r e s u l t o c c a s i o n a l l y b y v i r t u e o f t h e m u l t i p l e t - t e s t p r o c e d u r e , i t i s c l e a r t h a t t h e r e i s a f o r m s e f f e c t - - t h e p a t t e r n i s t o o s t r o n g t o a t t r i b u t e t o c h a n c e . 1 0 9 I I . D . 1 . 0 . i i i . D i s c u s s i o n o f n o n - z e r o e f f e c t s : G r o u p T h e r e a r e t w o p o s s i b l e g r o u p e f f e c t s : o v e r a l l l e v e l o f a b i l i t y , a n d r a n g e o f a b i l i t y . T h e r e a r e a l s o t w o w a y s t h e s e p o s s i b l e d i f f e r e n c e s c a n a f f e c t r e l i a b i l i t y e s t i m a t e s . T h e t o t a l g r o u p o f s t u d e n t s a t a n y s i n g l e t e s t a d m i n i s t r a t i o n m a y b e u n r e p r e s e n t a t i v e o f t h e g e n e r a l s t u d e n t p o p u l a t i o n b y b e i n g m o r e a b l e o r h e t e r o g e n e o u s o r l e s s s o . T h e d i s t r i b u t i o n o f a l t e r n a t e f o r m s o f a n e x a m m a y d i v i d e t h e g r o u p o f s t u d e n t s i n t o d i s s i m i l a r s u b g r o u p s . I n s t a t i s t i c a l t e r m s t h e s e t w o a r e a s o f c o n c e r n a r e s e l e c t i o n ( f r o m t h e p o p u l a t i o n ) a n d a s s i g n m e n t ( t o t h e t r e a t m e n t s ) , a n d b o t h s h o u l d b e r a n d o m . T h e r e i s n o m e t h o d b y w h i c h t h e s e d a t a m a y b e a n a l y z e d w h i c h w i l l s h o w w h e t h e r o r n o t t h e a c t u a l g r o u p s t e s t e d a r e r e p r e s e n t a t i v e . W h e t h e r t h e s u b g r o u p s o f e a c h a d m i n i s t r a t i v e c o d e a r e e q u i v a l e n t i s d e t e r m i n e d b y t e s t i n g d i f f e r e n c e s b e t w e e n m e a n s s u m m e d f o r e a c h d i v i s i o n o f a g r o u p a c r o s s a l l t e s t s t a k e n b y t h e s t u d e n t s i n t h e g r o u p . T h e s e d i f f e r e n c e s a n d t e s t s o f s i g n i f i c a n c e a r e p r e s e n t e d i n T a b l e s B . 6 , B . 9 , a n d B . 1 6 . O f t h e e l e v e n d i f f e r e n c e s , t h e o n l y o n e w h i c h i s s i g n i f i c a n t i s b e t w e e n t w o g r o u p s w h i c h t o o k t w o e x a m s , o n l y o n e o f w h i c h w a s t h e s a m e f o r b o t h g r o u p s . H e r e , t h e g r o u p e f f e c t i s c o m p o u n d e d w i t h t h e f o r m s e f f e c t . T h u s i t a p p e a r s e v i d e n t t h a t t h e r e i s n o g r o u p e f f e c t i n t h e s e n s e o f s y s t e m a t i c i m p o r t a n t d i f f e r e n c e s i n ' a s s i g n m e n t ' t o e a c h o r d e r o f t e s t i n g . W h e t h e r t h e m e t h o d o f s e l f - s e l e c t i o n o f s t u d e n t s f o r t h e s e s p e c i a l o p t i o n e x a m s p r o d u c e s e x t r e m e l y n o n r e p r e s e n t a t i v e g r o u p s i s a n u n a n s w e r e d q u e s t i o n . 1 1 0 T h e s i z e s o f t h e g r o u p s t e s t e d a r e f o r t h e m o s t p a r t ' l a r g e ' , a n d t h e r a n g e s o f s c o r e s r e c e i v e d o n t h e e x a m i n a t i o n s a r e n o t u n u s u a l l y r e s t r i c t e d o r d i s p e r s e d . T h e n a t u r e o f t h e e f f e c t s d i s c u s s e d i n t h e s e p a g e s i s p r i m a r i l y r e l a t i v e - - t h a t i s , w h e t h e r a p a r t i c u l a r t e s t c h a r a c t e r i s t i c i n c r e a s e s r e l i a b i l i t y o r t e s t m e a n c o m p a r e d w i t h a n o t h e r c h a r a c t e r i s t i c . I t w o u l d s e e m r e a s o n a b l e t h a t d i f f e r e n c e s i n g r o u p h e t e r o g e n e i t y o r a v e r a g e a b i l i t y m i g h t a f f e c t a b s o l u t e v a l u e s f o r t h e v a r i o u s e f f e c t s b u t n o t t h e d i r e c t i o n o f a r e l a t i o n s h i p . R e g a r d l e s s o f h o w p o o r l y a t h e r m o m e t e r i s c a l i b r a t e d , i f i t f u n c t i o n s a t a l l , o n e c a n e a s i l y d e t e r m i n e w h i c h i s t h e h o t t e r o f t w o o b j e c t s . I I . D . 1 . d . S u m m a r y o f p o s i t i o n , f o r m , a n d g r o u p e f f e c t s T h e r e i s c l e a r l y n o p o s i t i o n e f f e c t a n d - - j u s t a s c l e a r l y - - t h e r e i s a f o r m s e f f e c t . I t a l s o s e e m s r e a s o n a b l e t o c o n c l u d e t h a t t h e r e i s n o s i g n i f i c a n t g r o u p e f f e c t w h e n t h e g r o u p s a r e l a r g e . T h e r e a r e s l i g h t i n t e r a c t i o n s b e t w e e n f o r m a n d g r o u p , o n e g r o u p d o i n g s l i g h t l y b e t t e r o n a p a r t i c u l a r f o r m t h a n a n o t h e r g r o u p , b u t t h i s i n t e r a c t i o n e f f e c t i s n o t o f t e n s e e n a n d i s n e v e r a s l a r g e a s t h e f o r m s e f f e c t c a u s e d b y d i f f e r e n c e s i n c o n t e n t b e t w e e n a l t e r n a t e f o r m s o f a n e x a m . I I . D . 2 . E f f e c t s o f s o m e e x a m i n a t i o n c h a r a c t e r i s t i c s o n r e l i a b i l i t y T h e e s t i m a t e d t e s t r e l i a b i l i t y m a y r e l a t e i n a c o m p l e x m a n n e r t o o t h e r e x a m i n a t i o n c h a r a c t e r i s t i c s s u c h a s c h a n c e f o r g u e s s i n g , m e a n d i f f i c u l t y , o r s p r e a d o f a b i l i t i e s . E i g h t v a r i a b l e s i n c l u d i n g t h e s e t h r e e 1 1 1 w e r e u s e d t o p r e d i c t t h e c o r r e l a t i o n c o e f f i c i e n t t h r o u g h a m u l t i p l e r e g r e s s i o n c o m p u t e r p r o g r a m . T h e s u m m a r y o f t h e o u t p u t f r o m t h e p r o g r a m i s l i s t e d i n T a b l e 2 . 4 . T h e s t a n d a r d i z e d Z - s c o r e b e t a w e i g h t s i n d i c a t e t h e s e p a r a t e i m p o r t a n c e o f e a c h v a r i a b l e i n t h e p r e d i c t i o n e q u a t i o n . T h e f o u r b e s t p r e d i c t o r s a r e t h e s t a n d a r d d e v i a t i o n , t h e n u m b e r o f m u l t i p l e - c h o i c e a n s w e r o p t i o n s , t h e i n t e r c o r r e l a t i o n a m o n g t h e t e s t i t e m s ( c o n t e n t h o m o g e n e i t y ) , a n d t h e d i f f e r e n c e i n c h a n c e f o r g u e s s i n g b e t w e e n t w o t e s t s c o r r e l a t e d . T h e s t a n d a r d d e v i a t i o n a n d i t e m i n t e r c o r r e l a t i o n s a r e c h a r a c t e r i s t i c s o f t h e t e s t a n d g r o u p , w h i l e t h e g u e s s i n g p o s s i b i l i t y a n d d i f f e r e n c e s i n g u e s s i n g p o s s i b i l i t y b e t w e e n t e s t s a r e s t r u c t u r a l c h a r a c t e r i s t i c s i n d e p e n d e n t o f t h e g r o u p t e s t e d . T h e e n t i r e e i g h t - v a r i a b l e p r e d i c t i o n e q u a t i o n a c c o u n t s f o r s i x t y - t w o p e r c e n t o f t h e v a r i a n c e i n c o r r e l a t i o n c o e f f i c i e n t s ; t h e r a m a i n d e r ( t h i r t y - e i g h t p e r c e n t ) i s u n a c c o u n t e d f o r b y t h e s e v a r i a b l e s * ( a n d p e r h a p s b y a n y v a r i a b l e s ) . T h e o p p o r t u n i t y t o g u e s s - - a s i n d i c a t e d b y t h e m u l t i p l e - c h o i c e - e q u i v a l e n t * * ( M C E ) n u m b e r o f r e s p o n s e o p t i o n s - - a c c o u n t e d f o r t h e m o s t v a r i a n c e ( 3 4 p e r c e n t ) o f a n y s i n g l e v a r i a b l e . T h i s e f f e c t o f t h e n u m b e r o f r e s p o n s e o p t i o n s w i l l b e d i s c u s s e d i n g r e a t e r d e t a i l i n S e c t i o n I I . D . 3 . 0 . i i . T h e t e s t m e a n d i d n o t c o n t r i b u t e m u c h t o t h e p r e d i c t i o n e q u a t i o n , a l t h o u g h i t d i d c o r r e l a t e n e g a t i v e l y w i t h r e l i a b i l i t y ( - 0 . 4 3 ) . T h e e x p e c t e d r e l a t i o n s h i p b e t w e e n t e s t m e a n a n d r e l i a b i l i t y i s t h a t a s t h e * V a r i a t i o n i n t h e d e g r e e o f p a r a l l e l i s m b e t w e e n e q u i v a l e n t t e s t s i s t h e ” l i k e l i e s t c a u s e o f t h e r e m a i n i n g v a r i a n c e i n c o e f f i c i e n t s . [ h a r m o n i c m e a n ] 1 1 2 m e a n i n c r e a s e s a b o v e t h e o p t i m a l m e a n ( h a l f w a y b e t w e e n c h a n c e a n d p e r f e c t ) , t h e r e l i a b i l i t y i n c r e a s e s b e c a u s e t h e r e i s l e s s g u e s s i n g . T h e r e a r e n o t e n o u g h v a l u e s f o r m e a n s a b o v e a n d b e l o w e x p e c t e d o p t i m a l m e a n s t o t e s t s y s t e m a t i c a l l y t h i s t h e o r e t i c a l c o n c l u s i o n . T h e m e a n a s a n i n d e p e n d e n t v a r i a b l e w a s e n t e r e d i n t o t h e r e g r e s s i o n e q u a t i o n t o g u a r d a g a i n s t a n y e f f e c t p e c u l i a r t o t h e s e s p e c i f i c d a t a . T h e r e w a s n o n e . A n o t h e r v a r i a b l e w h i c h m i g h t h a v e h a d a s i z e a b l e e f f e c t o n e s t i m a t e d r e l i a b i l i t y i s t h e p e r c e n t o f t h e t e s t i t e m s w h i c h a r e p r o b l e m s , a s o p p o s e d t o n o n n u m e r i c a l q u e s t i o n s . T h i s d i c h o t o m i z a t i o n o f i t e m s i n t o p r o b l e m s a n d n o n p r o b l e m s i s a s i m p l i f i c a t i o n o f t h e f a c t o r s t r u c t u r e . A s m e n t i o n e d b y C r o n b a c h e a r l i e r , t e s t s w i t h a s i n g l e s t r o n g f a c t o r h a v e h i g h e s t r e l i a b i l i t i e s , w h i l e t e s t s w i t h c o m p l e x f a c t o r s t r u c t u r e s , e s p e c i a l l y t e s t s o f s t r a t i f i e d c o n t e n t , h a v e l o w e r r e l i a b i l i t i e s u n l e s s t h e t e s t s a r e l o n g . M a t h e m a t i c a l c a l c u l a t i o n i s a f a c t o r w h i c h a l l p r o b l e m s h a v e i n c o m m o n ; t h u s p r o b l e m s i n d i f f e r e n t c h e m i c a l t o p i c s a r e s o m e w h a t s i m i l a r b y v i r t u e o f t h e i r u n d e r l y i n g m a t h e m a t i c a l n a t u r e . T h e s t r e n g t h o f t h i s m a t h f a c t o r m a y b e g r e a t e n o u g h s o t h a t d i s t i n g u i s h i n g b e t w e e n q u e s t i o n s w h i c h a r e a n d w h i c h a r e n o t p r o b l e m s m i g h t b e o f p r e d i c t i v e v a l u e . O n t h e o t h e r h a n d , s e t s o f i t e m s w h i c h a r e n o t p r o b l e m s m a y h a v e a c o m p l e x a s s o r t m e n t o f w e a k e r f a c t o r s . T h e s t r e n g t h o f t h e g e n e r a l f a c t o r w o u l d d e p e n d o n o n l y h o w s i m i l a r i n c o n t e n t t h e q u e s t i o n s a r e , a n d n o t w h e t h e r t h e y a r e p r o b l e m s . 1 1 3 T h e e f f e c t o f s i m p l e v e r s u s c o m p l e x f a c t o r s t r u c t u r e i s n o t e v i d e n t i n t h i s t r e a t m e n t o f c o r r e l a t i o n c o e f f i c i e n t s b y r e g r e s s i o n a n a l y s i s . I t s s u b t l e n a t u r e i s m o r e a p p a r e n t , h o w e v e r , w h e n t h e r e l i a b i l i t y o f s u b s e t s o f i t e m s a r e d i s c u s s e d i n S e c t i o n I I . D . 3 . T h e m o s t i m p o r t a n t g e n e r a l r e s u l t o f t h i s r e g r e s s i o n a n a l y s i s i s t h e d e m o n s t r a t i o n t h a t t h e n u m b e r o f a n s w e r c h o i c e s d e t e r m i n e s t o a g r e a t e x t e n t h o w r e l i a b l e a t e s t w i l l b e . T h e s u b d i v i s i o n o f v a r i a t i o n i n t e s t r e l i a b i l i t i e s i n t o i t s m a j o r f r a c t i o n s i s v i s u a l l y d i s p l a y e d i n F i g u r e 2 . 2 . 3 4 2 8 3 8 N u m b e r o f O t h e r U n e x p l a i n e d v a r i a n c e a n s w e r c h o i c e s v a r i a b l e s ( m a i n l y n o n e q u i v a l e n c e ) 0 2 5 5 0 1 0 0 F i g u r e 2 . 2 P e r c e n t a g e d i s t r i b u t i o n o f s o u r c e s o f v a r i a t i o n i n r e l i a b i l i t y c o e f f i c i e n t s f r o m l i n e a r r e g r e s s i o n o f e i g h t v a r i a b l e s a n d p a r a l l e l f o r m s c o r r e l a t i o n c o e f f i c i e n t s . 1 1 4 T a b l e 2 . 4 S P S S R e g r e s s i o n o u t p u t s u m m a r y V A R I A B L E S Y M B O L B - W E I G H T A V A R I A B L E S Y M B O L fi - W E I G H T Z 1 3 S T D D E V s . 0 2 3 1 . 5 1 4 8 K R 2 O i K R Q O . 1 3 8 1 . 1 1 0 0 M C E Q U I V M C E . 0 0 5 0 . 5 0 4 3 D E L T M E A N A n - . 2 2 1 3 - . 0 9 3 4 I N T R C O R R r ” - . 6 3 5 1 - . 3 5 2 5 P C T P R B L I o o x n ) - . 0 0 0 2 - . 0 4 5 3 D E L T M C E Q A M C E . 0 0 4 7 . 1 9 4 1 M E A N 5 - . 0 1 8 9 — . 0 1 7 2 I N T E R C O R R E L A T I O N M A T R I X S T 0 0 E v M C E Q U I V I N T R C O R R D E L T M C E Q K R 2 0 D E L T M E A N P C T P R B L M E A N S T D D E V 1 . 0 0 0 0 . 5 6 1 6 . 8 2 4 4 . 0 8 1 8 . 9 1 9 2 - . 0 9 2 3 . 4 2 5 6 - . 5 0 4 7 M C E Q U I V . 5 6 1 6 1 . 0 0 0 0 . 4 4 8 0 . 2 0 8 8 . 4 5 2 4 . 1 5 1 5 . 2 8 4 9 - . 2 2 9 7 I N T R C O R R . 8 2 4 4 . 4 4 8 0 . 0 0 0 0 . 0 3 1 7 . 8 7 7 4 . 1 4 5 5 . 4 9 2 6 - . 1 1 9 1 o s r n c E Q . 0 8 1 8 . 2 0 8 8 . 0 3 1 7 . 0 0 0 0 . 0 2 7 1 . 5 2 0 1 . 1 2 7 7 - . 3 7 0 4 K R 2 0 . 9 1 9 2 . 4 5 2 4 . 8 7 7 4 . 0 2 7 1 1 . 0 0 0 0 . 1 0 7 4 . 4 4 4 3 - . 3 3 1 8 D E L n E A N - . 0 9 0 3 . 1 5 1 5 . 1 4 5 5 . 5 2 0 1 - . 1 0 7 4 . 0 0 0 0 . 0 0 7 8 . 0 8 6 6 P C T P R B L . 4 2 5 6 . 2 8 4 9 . 4 9 2 6 . 1 2 7 7 . 4 4 4 3 . 0 0 7 8 . 0 0 0 0 - . 0 2 5 4 M E A N - . 5 0 4 7 - . 2 2 9 7 . 1 1 9 1 . 3 7 0 4 - . 3 3 1 8 . 0 8 6 6 . 0 2 5 4 1 . 0 0 0 0 S U M M A R Y S T A T I S T I C S S T E P V A R I A B L E F T O E N T E R M U L T I P L E R R 2 S I M P L E _ _ E N T E R E D 0 R R E M O V E 0 ‘ R S Q U A R E D C H A N G E _ _ . ’ R 1 P C T P R B L . 1 6 5 7 . 6 8 6 . 1 6 8 3 . 0 2 8 3 . 0 2 8 3 . 1 6 8 3 D E L T M E A N . 5 5 3 6 . 4 6 1 . 1 8 6 4 . 0 3 4 7 . 0 0 6 4 . 0 7 8 8 M E A N . 0 1 0 9 . 9 1 8 . 4 7 4 4 . 2 2 5 0 . 1 9 0 3 . 4 3 1 8 M C E Q U I V 1 6 . 3 8 8 3 . 0 0 0 . 7 4 9 2 . 5 6 1 3 . 3 3 6 3 . 6 9 4 7 I N T R C O R R 2 . 0 8 1 6 . 1 5 6 . 7 5 4 5 . 5 6 9 3 . 0 0 8 0 . 3 7 7 4 D E L T M C E Q 2 . 0 5 2 8 . 1 5 9 . 7 5 8 5 . 5 7 3 4 . 0 0 6 1 . 3 0 6 5 K R 2 0 . 1 4 1 6 . 7 0 9 . 7 7 4 9 . 6 0 0 4 . 0 2 5 1 . 4 9 1 5 S T D D E V 2 . 1 9 0 4 . 1 4 6 . 7 8 7 3 . 6 1 9 8 . 0 1 9 4 . 6 0 4 8 1 1 5 I I . D . 3 . R e l i a b i l i t y o f s u b s e t s o f i t e m s I I . D . 3 . a . I n t r o d u c t i o n A m o r e d i r e c t e s t i m a t e o f t h e e f f e c t o n t e s t r e l i a b i l i t y o f d i f f e r e n c e s i n t h e n u m b e r o f a n s w e r c h o i c e s o n a m u l t i p l e - c h o i c e t e s t “ ' m a y b e o b t a i n e d f r o m s u b t e s t s o f t h e v a r i o u s t e s t a d m i n i s t r a t i o n s w h e r e i t e m s w i t h i n a s u b t e s t a r e m o r e n e a r l y a l i k e i n s t r u c t u r e . I n a d d i t i o n t o s t r u c t u r a l s i m i l a r i t y , t h e i t e m s h a v e b e e n d i v i d e d i n t o t w o g r o u p s o n t h e b a s i s o f w h e t h e r o r n o t t h e y a r e p r o b l e m s . A s m e n t i o n e d i n t h e p r e v i o u s s e c t i o n , t h i s i s a d i v i s i o n a c c o r d i n g t o f a c t o r s t r u c t u r e , w i t h t h e s u b t e s t s o f p r o b l e m s p o s s e s s i n g a s t r o n g u n i t a r y f a c t o r a n d t h e n o n n u m e r i c a l q u e s t i o n s ( a b b r e v i a t e d ' q u a l ' ) p o s s e s s i n g a c o m p l e x m i x t u r e o f w e a k e r f a c t o r s . F o r t e s t s a s s h o r t a s f i f t e e n i t e m s , c a l c u l a t e d r e l i a b i l i t y c o e f f i c i e n t s a r e c o n s i d e r a b l y l o w e r t h a n t h e v a l u e s e x p e c t e d f o r l o n g e r t e s t s : W C o e f f i c i e n t s f o r s u b t e s t s w i t h a s f e w a s f i v e i t e m s a r e v e r y s e n s i t i v e t o t h e a c t u a l d i s t r i b u t i o n o r s c a t t e r o f s c o r e s o n t h e t w o t e s t s . F o r t h e e x t r e m e c a s e o f a s u b t e s t o f o n l y o n e i t e m , t h e d i s t r i b u t i o n o f s c o r e s i s r e p r e s e n t e d b y t h e i t e m d i f f i c u l t y , 3 . I n t h i s e x t r e m e c a s e , t h e p r o d u c t - m o m e n t c o r r e l a t i o n c o e f f i c i e n t b e t w e e n t w o i t e m s ( p h i , 4 ’ ) c a n n o t r e a c h t h e v a l u e 1 . 0 0 u n l e s s t h e i t e m d i f f i c u l t i e s a r e i d e n t i c a l . * A s h o r t - a n s w e r q u e s t i o n i s c o n s i d e r e d i n t h i s c o n t e x t a s a m u l t i p l e - c h o i c e i t e m w i t h a n i n f i n i t e n u m b e r o f r e s p o n s e o p t i o n s a n d a c h a n c e “ s c o r e o f z e r o . A c c o r d i n g t o t h e S p e a r m a n - B r o w n p r o p h e c y f o r m u l a , a f i f t e e n - i t e m t e s t w i t h a r e l i a b i l i t y o f 0 . 6 5 i s e q u i v a l e n t t o a s i x t y - i t e m t e s t w i t h a r e l i a b i l i t y o f 0 . 8 8 . 1 1 6 A s t h e n u m b e r o f i t e m s ( k ) i n c r e a s e s , t h e d i s t r i b u t i o n o f r e s p o n s e s a p p r o a c h e s s o m e b i n o m i a l d i s t r i b u t i o n . F o r t e s t s w i t h m a n y i t e m s , t h e d i s t r i b u t i o n s t e n d t o b e s i m i l a r u n l e s s t h e m e a n s a r e q u i t e d i f f e r e n t . T h i s s e n s i t i v i t y o f s h o r t s u b t e s t s t o s c o r e d i s t r i b u t i o n s m e a n s t h a t t h e s e s u b t e s t s m a y s e r i o u s l y u n d e r e s t i m a t e t h e r e l i a b i l i t y c o e f f i c i e n t e v e n w h e n t e s t m e a n s a r e e q u a l . I I . D . 3 . b . R e s u l t s I n o r d e r t h a t d i r e c t c o m p a r i s o n o f t h e v a r i o u s s t a t i s t i c s m a y b e m a d e , a l l s t a t i s t i c s h a v e b e e n a d j u s t e d t o a s t a n d a r d t e n - i t e m t e s t l e n g t h . T w o e q u a t i o n s w e r e u s e d t o a d j u s t f o r t e s t l e n g t h . T h e S p e a r m a n - B r o w n p r o p h e c y f o r m u l a i s t h e w i d e l y a c c e p t e d e q u a t i o n f o r c a l c u l a t i n g t h e n e w r e l i a b i l i t y o f a t e s t b a s e d o n a c h a n g e i n i t s l e n g t h . T h e o n l y a s s u m p t i o n m a d e w h e n a p p l y i n g t h i s e q u a t i o n i s t h a t t h e i t e m s a d d e d o r d e l e t e d a r e e q u i v a l e n t - - t h a t i s , t h a t t h e y h a v e t h e s a m e i n t e r c o r r e l a t i o n s , d i f f i c u l t i e s , a n d c o n t e n t a s t h e o r i g i n a l s e t o f i t e m s . T h e p r o p h e c y f o r m u l a h a s b e e n u s e d t o a d j u s t t h e c o r r e l a t i o n c o e f f i c i e n t , r . T h e v a r i a n c e s o f t h e s e s u b t e s t s w e r e a l s o a d j u s t e d f o r t e s t l e n g t h b y b a c k - c a l c u l a t i o n f r o m t h e i n t e r n a l c o n s i s t e n c y c o e f f i c i e n t ( K R 2 0 ) - T h e a s s u m p t i o n w a s m a d e t h a t t h e c o e f f i c i e n t o f i n t e r n a l c o n s i s t e n c y , b a s e d a s i t i s o n i t e m d i f f i c u l t i e s a n d i n t e r c o r r e l a t i o n s a n d t o t a l t e s t v a r i a n c e , i s a s a p p r o p r i a t e a s t h e S p e a r m a n - B r o w n f o r m u l a t o a d j u s t f o r t e s t l e n g t h . T a b l e s o f i n d i v i d u a l s u b t e s t s t a t i s t i c s a r e l i s t e d i n A p p e n d i x D . 1 1 7 T h e r e l i a b i l i t y c o e f f i c i e n t s a n d c o n f i d e n c e i n t e r v a l s f o r s u b t e s t s a r e p r e s e n t e d i n F i g u r e s 2 . 3 , 2 . 4 , a n d 2 . 5 . A s c a n b e s e e n f r o m t h e o v e r l a p o f c o n f i d e n c e i n t e r v a l s , m a n y c o e f f i c i e n t s a r e n o t s i g n i f i c a n t l y d i f f e r e n t f r o m o n e a n o t h e r a t t h e a = . 0 5 l e v e l . E v e n C o d e s A 1 , A 2 , a n d A 3 - - w h i c h a r e f o r g r o u p s n e a r t h r e e h u n d r e d - - h a v e i n t e r v a l s s p a n n i n g m o r e t h a n t e n p o i n t s o n t h e r e l i a b i l i t y s c a l e . T h e i m p o r t a n t t r e n d i n t h e s e d a t a i s a p p a r e n t w h e n r e l i a b i l i t y i s p l o t t e d a g a i n s t t h e i t e m c h a n c e s c o r e ( F i g u r e 2 . 6 ) . T h e i t e m c h a n c e s c o r e ( I C S ) i s t h e r e c i p r o c a l o f t h e n u m b e r o f a n s w e r c h o i c e s p e r i t e m a n d r a n g e s f r o m 0 . 0 0 0 f o r s h o r t - a n s w e r i t e m s t o 0 . 2 5 0 f o r f o u r - o p t i o n m u l t i p l e c h o i c e i t e m s . T h e l i n e a r r e l a t i o n b e t w e e n r e l i a b i l i t y a n d i t e m c h a n c e s c o r e i s s t r o n g e s t f o r s u b t e s t s o f p r o b l e m s , w e a k e s t f o r n o n p r o b l e m s , a n d i n t e r m e d i a t e f o r t e s t s o f m i x e d i t e m t y p e s . T h e c o r r e l a t i o n b e t w e e n r e l i a b i l i t y a n d i t e m c h a n c e s c o r e i s 0 . 8 2 f o r p r o b l e m s , 0 . 3 3 f o r n o n p r o b l e m s , a n d 0 . 7 4 f o r u n p a r c e l e d t e s t s s c a l e d d o w n t o t h e t e n - i t e m s t a n d a r d l e n g t h . T h e r e l a t i o n s h i p b e t w e e n r e l i a b i l i t y a n d i t e m c h a n c e s c o r e i s i n t h e s a m e d i r e c t i o n a n d o f a p p r o x i m a t e l y t h e s a m e m a g n i t u d e f o r a l l t y p e s o f i t e m s . H o w e v e r , t h e s t r e n g t h o f t h e r e l a t i o n i s i n v e r s e l y r e l a t e d t o t h e c o m p l e x i t y o f t h e f a c t o r s t r u c t u r e ; p r o b l e m s h a v e a s t r o n g m a t h e m a t i c a l f a c t o r a n d h e n c e a m o r e p r e c i s e c o r r e s p o n d e n c e b e t w e e n t e s t r e l i a b i l i t y a n d o p p o r t u n i t y f o r g u e s s i n g . , . . . . A A D D E 2 3 1 2 l 1 L 1 1 . 1 0 . 2 0 . 3 0 . 4 0 . 5 0 . 6 0 . : 7 . 0 n 1 . “ i s 4 1 4 1 1 : 2 3 . 2 1 ; - . 9 5 1 1 8 ' : I . . . : . I . : . . 3 : : : r : 5 : “ . I 0 3 , 5 5 . 1 : 1 1 - 1 1 2 2 ” ” ' u h ' . . . 1 § ; . : . . . : : . ( $ 5 : 4 3 . ; - : - : - . ; : ; : - : - : - i 5 - § - : ; i : . 5 . . g i g “ ' - 1 . . m . 4 1 1 1 5 . 1 1 - - - - - - - - - - - - - - B 2 5 3 ‘ 3 : . ' ' 3 B 3 . : 5 1 : g : ; : ; . : : ; ' - ; ; . E 4 N 1 N 2 G 1 G 2 K 1 K 2 H 1 H 2 v } ' . . C I . 4 3 . " - : - : - : " 3 : - . ' - : : - ' : < - ' - : - : - ' - : - : - : - : - ~ - . - : - . - : - : - . $ 4 5 4 . - " _ : . . : . : : . 5 : 3 : 3 . : : 5 : , . . 3 . 3 3 : ' ; " ' - : - ' - x + : - 3 : ; : , . - ‘ ; : ; : , . " L l L a . I . I u a F i g u r e 2 . 3 R e l i a b i l i t i e s a n d 1 2 0 ' c o n f i d e n c e i n t e r v a l s f o r s u b t e s t s o f p r o b l e m s l i s t e d b y t e s t c o d e ( s e e A p p e n d i x D ) . B C 1 C 2 1 ‘ B I 0 1 ' 0 2 ' . 9 5 F i g u r e 2 . 4 R e l i a b i l i t i e s a n d : 2 0 c o n f i d e n c e i n t e r v a l s f o r s u b t e s t s o f i d e n t i c a l c o n t e n t l i s t e d b y t e s t c o d e ( s e e A p p e n d i x D ) . 1 1 9 A 1 A 2 A 3 C 1 C 2 E 1 E 2 2 E 2 3 E 2 4 L 1 L 2 J 1 J 2 K 1 K 2 H 1 H 2 N 1 N 2 ! I l L l - - : . : - - - : - - ' 3 5 . 2 ' ' : . . 1 0 . 2 0 . 3 0 . 4 0 . 9 0 . 9 5 F i g u r e 2 . 5 R e l i a b i l i t i e s a n d : 2 0 c o n f i d e n c e i n t e r v a l s f o r s u b t e s t s o f n o n p r o b l e m s l i s t e d b y t e s t c o d e ( s e e A p p e n d i x D ) . 2 5 I l I l I I - . 2 0 - C l . 1 C : 3 a D 3 g C ) + O . a I ’ O E “ a “ ‘ ; 2 g 5 o ( l 6 I ) D @ C l C ] 3 . c ; ‘ 2 ) c ; 0 o D g ° 0 I ‘ O l I O O O o O 0 0 o 0 o ° . . 8 0 . 9 0 i m o m r . o o a o 8 ; : s : c ' . 3 " . 1 0 “ " 0 0 5 0 J 1 l l l I 1 3 . 1 0 . 2 0 . 3 0 . 4 0 . 5 0 . 6 0 . 7 F i g u r e 2 . 6 1 2 0 . 9 5 R e l i a b i l i t y c o e f f i c i e n t v s . i t e m c h a n c e s c o r e f o r s u b t e s t s o f p r o b l e m s [ I ] , s u b t e s t s o f n o n p r o b l e m s [ U ] , a n d t e s t s o f m i x e d i t e m t y p e s [ 0 ] . C o r r e s p o n d i n g l i n e a r e q u a t i o n s f r o m T a b l e D . 9 a r e p l o t t e d f o r s u b t e s t s o f p r o b l e m s { - 1 a n d n o n p r o b l e m s [ 0 0 0 ] , a n d f i f t e e n - i t e m t e s t s [ 0 0 0 ] . 1 2 1 I I . D . 3 . c . C o m p o n e n t s o f v a r i a n c e T h e v a r i a n c e o f a s u m i s n o t t h e s i m p l e s u m o f t h e v a r i a n c e s . T h e v a r i a n c e o f t h e s u m o f t w o s c o r e s w i l l b e l a r g e r t h a n t h e s u m o f t h e t w o v a r i a n c e s t o t h e e x t e n t t h a t t h e s c o r e s i n t e r c o r r e l a t e . T h e e q u a t i o n f o r c a l c u l a t i n g t h i s s u m m e d v a r i a n c e i s 2 . . . 2 2 S a + b — s a + s b + 2 r a b s a s b [ 2 . 1 3 ] n ( n - 1 ) . — — — - — — — - c o v a r i a n c e t e r m s F o r a s u m o f n v a r i a n c e s t h e r e ' w ' i l l b e b a s e d o n t h e i n t e r c o r r e l a t i o n s o f t h e v a r i a n c e s . O n l y w h e n t h e c o r r e l a t i o n b e t w e e n v a r i a b l e s i s z e r o i s t h e v a r i a n c e o f a s u m e q u a l t o t h e s u m o f t h e v a r i a n c e s . I n t h i s c a s e , t h e t o t a l t e s t v a r i a n c e m a y b e d i s t r i b u t e d i n t o s e v e r a l u n c o r r e l a t e d c a t e g o r i e s w h o s e s i m p l e s u m i s t h e o b s e r v e d v a r i a n c e . E a c h o f t h e c a t e g o r i e s c o n t r i b u t e s a c e r t a i n f r a c t i o n t o t h e t o t a l v a r i a n c e . T h i s f r a c t i o n i s t h e r a t i o o f t h e c o m p o n e n t v a r i a n c e t o t h e t o t a l o b s e r v e d v a r i a n c e . T h u s w h i l e b o t h t h e v a r i a n c e s a n d v a r i a n c e f r a c t i o n s ( V F ) a r e a d d i t i v e , t h e v a r i a n c e f r a c t i o n s p o s s e s s t h e a d d i t i o n a l p r o p e r t y o f a l w a y s s u m m i n g t o a m a t h e m a t i c a l l y c o n v e n i e n t 1 . 0 0 . T h e r e l i a b i l i t y c o e f f i c i e n t i s s i m p l y t h e v a r i a n c e f r a c t i o n f o r t r u e - s c o r e v a r i a n c e , a n d m e a s u r e m e n t e r r o r i s w h a t e v e r f r a c t i o n a n d v a r i a n c e r e m a i n s . F o u r c a t e g o r i e s o f e r r o r v a r i a n c e w e r e i n v e s t i g a t e d : f l u c t u a t i o n , g u e s s i n g , e q u i v a l e n c e , a n d m e m o r y . V a r i a n c e a s c r i b e d t o f l u c t u a t i o n i n t r u e s c o r e s i s s i g n i f i c a n t i n m e a n i n g b u t n o t i n s i z e , a n d v a r i a n c e 1 2 2 d u e t o m e m o r y i s s i g n i f i c a n t b y d e f i n i t i o n i n t h e s e p a g e s o n l y f o r t h e t e s t - r e t e s t s i t u a t i o n . V a r i a n c e s a t t r i b u t e d t o n o n e q u i v a l e n c e a n d g u e s s i n g a r e b o t h l a r g e a n d i m p o r t a n t . E a c h o f t h e s e f o u r c a t e g o r i e s w i l l n o w b e t r e a t e d i n d i v i d u a l l y . I I . D . 3 . c . i . E r r o r v a r i a n c e d u e t o f l u c t u a t i o n E r r o r v a r i a n c e d u e t o f l u c t u a t i o n i n t r u e s c o r e s i s t h e r e s u l t o f a c h a n g e i n w h a t t h e s t u d e n t k n o w s d u r i n g a n e x a m o r b e t w e e n t w o e x a m s . T h e m a g n i t u d e o f t h e f l u c t u a t i o n m a y b e e s t i m a t e d b y v a r y i n g t h e t i m e b e t w e e n t e s t s a n d o b s e r v i n g t h e e f f e c t o f t h i s t i m e v a r i a t i o n o n t h e r e l i a b i l i t y c o e f f i c i e n t s o f t h e t e s t s . C o r r e l a t i o n c o e f f i c i e n t s f o r t e s t s w i t h a m e a n s e p a r a t i o n t i m e o f o n e h o u r a n d a m e a n s e p a r a t i o n t i m e o f t w o h o u r s a r e l i s t e d b e l o w i n T a b l e 2 . 5 . T a b l e 2 . 5 C o r r e l a t i o n c o e f f i c i e n t s a n d t h e f r a c t i o n o f v a r i a n c e d u e t o f l u c t u a t i o n i n t r u e s c o r e s ( V F f l ) C o d e r f o r 1 h o u r r f o r 2 h o u r s V F f 1 * W . 6 2 4 9 . 5 8 7 1 . 0 3 7 8 X . 6 6 6 6 . 6 5 1 0 . 0 1 5 6 Y . 5 4 6 2 . 5 2 6 8 . 0 1 8 4 m e a n . 6 1 2 5 . 5 8 8 6 . 0 2 3 9 * V F f I = r 1 h r " I ‘ 2 h r 1 2 3 A p p r o x i m a t e l y 0 . 0 2 u n i t i n r e l i a b i l i t y i s l o s t t o f l u c t u a t i o n i n t r u e s c o r e s b e c a u s e o f t h e a d d i t i o n a l h o u r b e t w e e n t e s t a d m i n i s t r a t i o n s . I f t h e r e l a t i o n i s l i n e a r , t h e n t h e r e l i a b i l i t y c o e f f i c i e n t s e s t i m a t e d b y t h e c o r r e l a t i o n b e t w e e n i m m e d i a t e l y s u c c e s s i v e t e s t s a r e a l s o t o o l o w b y r o u g h l y 0 . 0 2 u n i t . T h i s v a r i a n c e f r a c t i o n d u e t o f l u c t u a t i o n i s h o w e v e r o n l y b a s e d o n f i v e - o p t i o n m u l t i p l e - c h o i c e t e s t s a n d m a y n o t r e m a i n c o n s t a n t f o r o t h e r t y p e s o f i t e m s . S i n c e t h i s s o u r c e o f e r r o r i s s m a l l i n a n y c a s e , i t w i l l h e r e a f t e r b e i n c l u d e d w i t h o u t i d e n t i f i c a t i o n i n r e s i d u a l e r r o r . I I . D . 3 . c . i i . E r r o r v a r i a n c e d u e t o g u e s s i n g T h e c h a n c e s u c c e s s s o m e t i m e s g a i n e d b y g u e s s i n g t h e a n s w e r t o a q u e s t i o n i n c r e a s e s e r r o r v a r i a n c e . T h e f r a c t i o n o f t h e v a r i a n c e r e s u l t i n g f r o m g u e s s i n g d e p e n d s o n b o t h t h e o p p o r t u n i t y t o g u e s s s u p p l i e d b y t h e l i m i t e d n u m b e r o f p o s s i b l e r e s p o n s e s a n d o n t h e m o t i v a t i o n t o g u e s s w h e n t h e s t u d e n t i s u n s u r e o f h i s a n s w e r . T h e s t u d e n t w h o k n o w s t h e a n s w e r s t o a l l t h e q u e s t i o n s d o e s n ' t g u e s s o n a n y o f t h e m a n d t h e s t u d e n t w h o g e t s f e w q u e s t i o n s r i g h t p r o b a b l y g u e s s e d t h e a n s w e r s t o m a n y o f t h e m . T h u s t h e o b s e r v e d s c o r e i s t h e b e s t a v a i l a b l e e s t i m a t e o f t h e a c t u a l a m o u n t o f g u e s s i n g w h i c h o c c u r s . T h e f o r m u l a d e r i v e d b y N u n n a l l y [ 6 8 ] t o a d j u s t t h e r e l i a b i l i t y c o e f f i c i e n t f o r g u e s s i n g i s b a s e d o n b o t h t h e e s t i m a t e d a m o u n t o f g u e s s i n g ( t h e t e s t m e a n ) a n d o n t h e c h a n c e o f r a n d o m s u c c e s s f o r a g u e s s . H i s f o r m u l a c l e a n l y s e p a r a t e d g u e s s i n g v a r i a n c e f r o m o t h e r 1 2 4 s o u r c e s a s i l l u s t r a t e d i n F i g u r e s 2 . 7 , 2 . 8 , a n d 2 . 9 . A s c a n b e s e e n , t h e l i n e a r e q u a t i o n s d e s c r i b i n g t h e r e l a t i o n b e t w e e n i t e m c h a n c e s c o r e a n d t h e v a r i a n c e a s c r i b e d t o g u e s s i n g a r e b e t t e r t h a n t h e e q u a t i o n s b a s e d o n t o t a l e r r o r v a r i a n c e . I n e a c h c a s e t h e g u e s s i n g c u r v e p a r a l l e l s t h e t o t a l e r r o r c u r v e , b u t t h e p o i n t s o n w h i c h i t i s b a s e d a r e s c a t t e r e d l e s s w i d e l y a n d t h e c o e f f i c i e n t o f d e t e r m i n a t i o n “ i s m u c h h i g h e r . T h e s e c o e f f i c i e n t s a r e l i s t e d b e l o w i n T a b l e 2 . 6 . T h e r e l a t i o n s h i p b e t w e e n g u e s s i n g o p p o r t u n i t y ( i t e m c h a n c e s c o r e ) a n d g u e s s i n g e r r o r i s s t r o n g a n d s t a b l e f o r s u b t e s t s o f p r o b l e m s w h e r e a s i t i s m u c h w e a k e r a n d m o r e v a r i a b l e f o r s u b t e s t s o f n o n p r o b l e m s . T h i s d i f f e r e n c e i n t h e s t r e n g t h o f t h e r e l a t i o n b e t w e e n t h e o r e t i c a l g u e s s i n g o p p o r t u n i t y a n d o b s e r v e d g u e s s i n g e r r o r o c c u r s b e c a u s e o f t h e d i f f i c u l t y o n e h a s i n w r i t i n g t e s t i t e m s w h i c h a r e e q u i v a l e n t i n c o n t e n t a n d d i f f i c u l t y . T a b l e 2 . 6 C o e f f i c i e n t s o f d e t e r m i n a t i o n f o r r e g r e s s i o n e q u a t i o n s t h a t p r e d i c t g u e s s i n g a n d e r r o r v a r i a n c e f r o m i t e m c h a n c e s c o r e T y p e o f d a t a R 2 g u e s s i n g R 2 e r r o r S u b t _ e s t s o f n o n n u m e r i c a l q u e s t i o n s 0 . 6 7 0 . 1 1 S u b t e s t s o f m a t h e m a t i c a l p r o b l e m s 0 . 9 8 0 . 6 7 F i f t e e n - i t e m t e s t s o f m i x e d f o r m a t 0 . 9 5 0 . 5 5 * T h e c o e f f i c i e n t o f d e t e r m i n a t i o n i s e q u a l t o t h e s q u a r e o f t h e c o r r e l a t i o n b e t w e e n t h e d e p e n d e n t a n d i n d e p e n d e n t v a r i a b l e s i n t h e r e g r e s s i o n e q u a t i o n . I t r a n g e s f r o m z e r o t o u n i t y a n d i s a n e s t i m a t e o f t h e ' g o o d n e s s o f f i t ' o f t h e d a t a p o i n t s t o t h e l i n e a r e q u a t i o n . e r o c s e c n a h c m e t I 1 2 5 . 2 5 l l l l / / / / , / / / O C ) , ’ O / . 2 0 — ' / ’ G D / / O O . O O / / / 0 C I 0 / o . 1 5 - . . O / / O / / / l / / O O l . 1 0 - / / / O / O / / / / / . 0 5 - / / / O / O / 1 ' o o ’ / / / l l l l l ‘ 0 0 . I 0 . 2 0 . 3 0 . 4 0 . 5 0 . 5 5 F i g u r e 2 . 7 I t e m c h a n c e s c o r e v s . v a r i a n c e f r a c t i o n s o f g u e s s i n g [ . 1 a n d t o t a l e r r o r v a r i a n c e [ 0 ] f o r f i f t e e n - i t e m t e s t s e r o c s e c n a h c m e t I . 2 5 1 2 6 a n d t o t a l e r r o r v a r i a n c e [ [ 3 ] f o r s u b t e s t s o f p r o b l e m s I / I / / I ! / / / / / / / / I 5 l l 0 q / / / / / / / I / . l O d / I m / / / . 0 5 - A , / / I h I — I I I ' 0 0 . 1 0 U . 2 0 . . . . 3 0 . 4 0 ~ 5 0 - 5 5 F i g u r e 2 . 8 I t e m c h a n c e s c o r e v s . v a r i a n c e f r a c t i o n s o f g u e s s i n g [ I ] e r o c s e c n a h c m e t I . 4 0 . 5 0 . 5 5 . 2 0 - I 1 2 7 . 2 5 . 1 5 - 1 . 1 0 - 1 . 0 5 ‘ . 0 0 F i g u r e 2 . 9 / / l A . l / / I I I A » l / A . A A 4 3 ’ A A / / A / / A » A / A l / ' / fl I A . 2 0 . 3 0 I t e m c h a n c e s c o r e v s . v a r i a n c e f r a c t i o n s o f g u e s s i n g [ A ] a n d t o t a l e r r o r v a r i a n c e [ A ] f o r s u b t e s t s o f n o n p r o b l e m s 1 2 8 A s t u d e n t w h o s u c c e s s f u l l y a n s w e r s o n e q u e s t i o n m a y f a i l a s u p p o s e d l y p a r a l l e l i t e m f o r e s s e n t i a l l y t w o r e a s o n s . F i r s t , h e m a y t r u l y k n o w t h e a n s w e r t o o n e a n d n o t t h e o t h e r . T w o q u e s t i o n s w h i c h t e s t f o r u n c o n n e c t e d b i t s o f k n o w l e d g e i n t h e s a m e n a r r o w t o p i c v e r y o f t e n b e h a v e s o . A n o b v i o u s e x a m p l e i s t h e i d e n t i f i c a t i o n o f e l e m e n t s o r c o m p o u n d s . A s t u d e n t m a y k n o w t h e n a m e f o r K 2 C r 2 0 7 q u i t e i n d e p e n d e n t l y f r o m 0 3 0 4 . I n c o n t r a s t , p a r a l l e l p r o b l e m s a r e s e l d o m c o m p l e t e l y u n c o n n e c t e d s i n c e t h e s o l u t i o n t o a p r o b l e m i s b a s e d o n a m a t h e m a t i c a l p r o c e s s c o m m o n t o b o t h i t e m s . A s a r e s u l t , i t i s u s u a l l y e a s i e r t o w r i t e e q u i v a l e n t p r o b l e m s t h a n t o w r i t e e q u i v a l e n t n o n n u m e r i c a l q u e s t i o n s . T h e s e c o n d r e a s o n a s t u d e n t m a y n o t s c o r e t h e s a m e o n t w o p a r a l l e l i t e m s i s t h a t h e m i g h t h a v e g u e s s e d t h e a n s w e r t o o n e o r b o t h q u e s t i o n s . C l e a r l y , w h e n a q u e s t i o n h a s t e n a t t r a c t i v e a n s w e r o p t i o n s , i t i s u n l i k e l y t h a t t h e s t u d e n t w o u l d g e t b o t h o r e v e n o n e o f t h e q u e s t i o n s r i g h t s i m p l y b y g u e s s i n g . Y e t w h e n a s t u d e n t c a n e l i m i n a t e m a n y o p t i o n s f r o m c o n s i d e r a t i o n b e f o r e h e c h o o s e s , h i s c h a n c e s o f m a k i n g a s u c c e s s f u l g u e s s a r e m u c h e n h a n c e d . I t i s m u c h m o r e d i f f i c u l t t o d e v i s e d i s t r a c t o r s f o r n o n p r o b l e m s t h a n f o r p r o b l e m s . I t i s a l s o m o r e d i f f i c u l t i n t h e c a s e o f n o n p r o b l e m s t o j u d g e b e f o r e h a n d w h e t h e r a d i s t r a c t o r i s i n e f f e c t i v e o r s u c c e s s f u l . A s a r e s u l t , t h e n u m b e r o f e f f e c t i v e d i s t r a c t o r s v a r i e s m o r e f o r n o n p r o b l e m s t h a n f o r p r o b l e m s . T h e d i f f e r e n c e s i n v a r i a b l t y o f e q u i v a l e n c e a n d g u e s s i n g e r r o r s a r e i l l u s t r a t e d b y t h e c o e f f i c i e n t s o f d e t e r m i n a t i o n . T h e d i f f e r e n c e s i n 1 2 9 m a g n i t u d e o f e q u i v a l e n c e a n d g u e s s i n g a r e i l l u s t r a t e d b y t h e v a r i a n c e f r a c t i o n s f o r t h e s e t w o s o u r c e s l i s t e d i n T a b l e 2 . 7 b e l o w . T h r e e a d d i t i o n a l c o n c l u s i o n s m a y b e d r a w n f r o m t h e s e d a t a a n d o t h e r d a t a p r e s e n t e d i n A p p e n d i x D . T a b l e 2 . 7 C a l c u l a t e d v a r i a n c e f r a c t i o n s f o r d i f f e r e n t t y p e s o f i t e m s F i v e - c h o i c e T e n - c h o i c e S h o r t - a n s w e r . * T y p e g u e s s i n g g u e s s i n g g u e s s i n g R e s 1 d u a l P r o b l e m s - . 2 1 0 4 . 1 0 5 2 . 0 0 0 0 . 1 1 8 4 N o n p r o b l e m s . 2 7 4 8 . 1 4 3 5 . 0 1 2 2 . 2 4 4 6 M i x e d t y p e s " . 2 2 6 5 . 1 1 5 7 . 0 0 4 8 . 2 1 9 2 * R e s i d u a l e r r o r i s a l m o s t e n t i r e l y t h a t o f n o n e q u i v a l e n c e b e t w e e n f o r m s M ' T h e s e v a l u e s a r e f o r t e s t s o f f i f t e e n i t e m s a d j u s t e d t o t h e s t a n d a r d t e n - i t e m t e s t l e n g t h o f t h e o t h e r d a t a i n t h e t a b l e . F i r s t , t h e r e l a t i v e c o n t r i b u t i o n o f g u e s s i n g e r r o r t o t o t a l e r r o r v a r i a n c e i s d i r e c t l y p r o p o r t i o n a l t o t h e c h a n c e o f m a k i n g a s u c c e s s f u l g u e s . T h e r e l a t i o n i s w e a k e s t - - t h o u g h s t i l l s t r o n g - - f o r n o n p r o b l e m s b e c a u s e o f t h e u n p r e d i c t a b l e e f f e c t i v e n e s s o f n o n n u m e r i c a l d i s t r a c t o r s . S e c o n d , t h e m a g n i t u d e o f t h e t r u e - s c o r e v a r i a n c e i s i n v e r s e l y r e l a t e d t o g u e s s i n g O p p o r t u n i t y . I n c o n t r a s t w i t h t h e e f f e c t o f g u e s s i n g o n e r r o r , t h e e f f e c t o f g u e s s i n g o n t r u e - s c o r e v a r i a n c e i s n o t l i n e a r . T r u e - s c o r e v a r i a n c e i n c r e a s e s a s t h e o p p o r t u n i t y t o g u e s s d e c r e a s e s , b u t t h e m a g n i t u d e o f t h e i n c r e a s e e x c e e d s t h e c o n c o m i t a n t d e c r e a s e i n e r r o r v a r i a n c e . T h i r d , t h e t o t a l e r r o r v a r i a n c e d o e s n o t d e c r e a s e b y t h e s a m e a m o u n t a s d o e s t h e g u e s s i n g e r r o r d e c r e a s e . T h e r e s i d u a l 1 3 0 e r r o r o f n o n e q u i v a l e n c e t e n d s t o i n c r e a s e s l i g h t l y a s t h e g u e s s i n g e r r o r d e c r e a s e s s o t h a t t h e o b s e r v e d d e c r e a s e i n t o t a l e r r o r i s l e s s t h a n e x p e c t e d . T o t a l t e s t v a r i a n c e i s t h e s u m o f t r u e - s c o r e a n d e r r o r v a r i a n c e , a n d s i n c e t r u e - s c o r e v a r i a n c e i n c r e a s e s m o r e t h a n e x p e c t e d w h i l e e r r o r v a r i a n c e d e c r e a s e s l e s s t h a n e x p e c t e d w h e n g u e s s i n g o p p o r t u n i t y i s r e d u c e d , t h e o v e r a l l e f f e c t i s t o s i g n i f i c a n t l y i n c r e a s e t o t a l t e s t v a r i a n c e . I n s u m , a s t h e g u e s s i n g o p p o r t u n i t y d e c r e a s e s ( 1 ) g u e s s i n g e r r o r v a r i a n c e d e c r e a s e s i n d i r e c t p r o p o r t i o n , ( 2 ) t r u e - s c o r e v a r i a n c e i n c r e a s e s f a s t e r t h a n e x p e c t e d , a n d ( 3 ) t o t a l e r r o r v a r i a n c e d e c r e a s e s m o r e s l o w l y t h a n e x p e c t e d . T h e s e n o n l i n e a r e f f e c t s e v e n o u t s o t h a t t h e r e l i a b i l i t y i s l i n e a r l y r e l a t e d t o t h e i t e m c h a n c e s c o r e . I I . D . 3 . c . i i i . E r r o r v a r i a n c e d u e t o n o n e q u i v a l e n c e T h e m e t h o d o f e s t i m a t i n g t h e r e l i a b i l i t y o f t e s t s b y p a r a l l e l f o r m s I 0 O O O * c o r r e l a t I o n I n t r o d u c e s a m a j o r p O S S I b l e s o u r c e o f e r r o r v a r I a n c e . T w o d i f f e r e n t b u t e q u i v a l e n t f o r m s a r e u s e d t o e s t i m a t e t h e a v e r a g e p r e c i s i o n o f e a c h b y i n t e r c o r r e l a t i o n , a n d a n y e x t e n t t o w h i c h t h e t w o f o r m s d i f f e r i n c o n t e n t w i l l l o w e r t h e i r i n t e r c o r r e l a t i o n . T h i s f o r m s e f f e c t d i s c u s s e d i n S e c t i o n I I . D . 1 . c . i i . i s c a u s e d b y t h e l a c k o f e q u i v a l e n c e b e t w e e n t h e p a r a l l e l f o r m s o f a n e x a m i n a t i o n . A f t e r * T h i s e r r o r i s n o t a n a r t i f a c t o f t h e m e t h o d o f e s t i m a t i n g r e l i a b i l i t y u n l e s s o n e i s i n t e r e s t e d i n t h e s p e c i f i c r e l i a b i l i t y o f a p a r t i c u l a r t e s t f o r m a n d n o t i n t h e r e l i a b i l i t y o f a c l a s s o f t e s t s f r o m w h i c h t h e o n e s b e i n g u s e d a r e s a m p l e d . 1 3 1 t h e s e p a r a t i o n o f g u e s s i n g v a r i a n c e f r o m t o t a l e r r o r v a r i a n c e , t h e b u l k o f t h e r e m a i n i n g e r r o r i s a t t r i b u t a b l e t o t h i s f o r m s e f f e c t . A s c a n b e s e e n i n t h e g r a p h s o f i t e m c h a n c e s c o r e v e r s u s e r r o r v a r i a n c e ( F i g u r e s 2 . 7 , 2 . 8 , a n d 2 . 9 ) , t h e v a r i a n c e f r a c t i o n o f n o n e q u i v a l e n c e i s a p p r o x i m a t e l y c o n s t a n t a c r o s s t h e s c a l e . H o w e v e r , t h i s r e s i d u a l f r a c t i o n o f e r r o r v a r i a n c e d o e s c h a n g e w i t h t h e c o n t e n t o r f a c t o r s t r u c t u r e o f t h e t e s t . S u b t e s t s o f p r o b l e m s a r e m o s t e q u i v a l e n t ( l e a s t a m o u n t o f n o n e q u i v a l e n c e ) , n o n n u m e r i c a l q u e s t i o n s l e a s t e q u i v a l e n t , a n d t e s t s o f m i x e d t y p e s a r e o f i n t e r m e d i a t e e q u i v a l e n c e . N o n e q u i v a l e n c e q u i c k l y s u r p a s s e s g u e s s i n g b y d e f a u l t a s t h e s i n g l e g r e a t e s t s o u r c e o f e r r o r v a r i a n c e w h e n t h e n u m b e r o f a n s w e r c h o i c e s i s i n c r e a s e d . W h e n t e s t s w i t h t e n c h o i c e s a r e u s e d , t h e e r r o r d u e t o g u e s s i n g i s a b o u t h a l f t h a t d u e t o n o n e q u i v a l e n c e . T o t a l e l i m i n a t i o n o f n o n e q u i v a l e n c e b e t w e e n p a r a l l e l f o r m s o f a t e s t w o u l d h a v e a l m o s t a s ( g r e a t a n e f f e c t o n r e l i a b i l i t y a s t o t a l e l i m i n a t i o n o f g u e s s i n g e r r o r . A l t h o u g h t h i s i s t h e o r e t i c a l l y p o s s i b l e i n s o m e i n s t a n c e s , i n p r a c t i c e t h e e f f o r t n e e d e d t o e l i m i n a t e t h e l a s t v e s t i g e s o f n o n e q u i v a l e n c e w o u l d f a r o u t w e i g h a n y m a r g i n a l i m p r o v e m e n t i n r e l i a b i l i t y . T e s t r e l i a b i l i t i e s o f 1 . 0 0 a r e t h e i d e a l b y w h i c h r e a l t e s t s a r e j u d g e d ; o n l y r a r e l y w i l l p e r f e c t i o n b e c l o s e l y a p p r o a c h e d . 1 3 2 I I . D . 3 . c . i v . E r r o r v a r i a n c e d u e t o m e m o r j T h i s l a s t c a t e g o r y o f e r r o r t o b e i n v e s t i g a t e d i s o f a s p e c i a l n a t u r e l i m i t e d t o f e w a c t u a l t e s t i n g s i t u a t i o n s . A s i t i s d e f i n e d , e r r o r v a r i a n c e d u e t o f l u c t u a t i o n s i n o r b e c a u s e o f m e m o r y c a n o n l y e x i s t w h e n t h e s a m e e x a m i n a t i o n i s g i v e n t w i c e t o t h e s a m e s t u d e n t s . H o w e v e r , w h e n t h e s a m e q u e s t i o n s c a n b e s e l e c t e d f r o m a c o m p u t e r b a n k t o a p p e a r o n m o r e t h a n o n e e x a m i n a t i o n , t h e r e i s a g o o d c h a n c e t h a t s t u d e n t s w i l l n o w a n d t h e n e n c o u n t e r q u e s t i o n s t h e y h a v e m e t o n p r e v i o u s t e s t s . T h e t o t a l v a r i a n c e o f a n y t e s t i s t h e c o m p l e x s u m o f t h e v a r i a n c e s o f t h e i n d i v i d u a l i t e m s , a n d i f a p a r t i c u l a r i t e m i s m e t a g a i n , m e m o r y ) v a r i a n c e w i l l c o n t r i b u t e t o e r r o r v a r i a n c e f o r t h a t i t e m , a l b e i t o n l y a s m a l l f r a c t i o n o f t h e t o t a l v a r i a n c e . A r o u g h e s t i m a t e o f t h e i m p o r t a n c e o f m e m o r y v a r i a n c e m a y b e g l e a n e d f r o m t h e s t u d y o f e r r o r a n d g u e s s i n g v a r i a n c e f r a c t i o n s o f s h o r t - a n s w e r v e r s u s m u l t i p l e - c h o i c e q u e s t i o n s . T h e s e v a r i a n c e f r a c t i o n s a r e p l o t t e d a g a i n s t t h e h a r m o n i c m e a n i t e m c h a n c e s c o r e i n F i g u r e 2 . 1 0 . T h e c u r v e f o r g u e s s i n g i s s i m i l a r t o g u e s s i n g c u r v e s f o r o t h e r d a t a , b u t i n t h i s c a s e , t h e r e s i d u a l e r r o r i s p r e d o m i n a n t l y m e m o r y v a r i a n c e s i n c e b o t h t e s t s i n e a c h c o m p a r i s o n h a v e i d e n t i c a l c o n t e n t . I t m a y b e t h a t t h e r e i s a m e a s u r e o f n o n e q u i v a l e n c e i n t r o d u c e d b y c h a n g i n g t h e f o r m a t o f a n i t e m f r o m s h o r t - a n s w e r t o m u l t i p l e - c h o i c e , b u t t h e a p p a r e n t i d e n t i c a l n a t u r e o f t h e i t e m s u s e d i n t h e s e c o m p a r i s o n l e a d s t h i s a u t h o r t o c o n c l u d e t h a t i t i s n o t s u b s t a n t i a l . I f n o n e q u i v a l e n c e w e r e i n t r o d u c e d , t h e n t h e c u r v e e x t r a p o l a t e d t o z e r o J 0 - I D I t e m c h a n c e s c o r e 1 3 3 2 5 J 5 - 0 0 . 1 0 . 2 0 . 3 0 . 4 0 . 5 0 . 5 5 F i g u r e 2 . 1 0 I t e m c h a n c e s c o r e v s . g u e s s i n g [ 0 . 0 ] a n d e r r o r { - . 0 ] v a r i a n c e f o r s u b t e s t s o f s h o r t - a n s w e r i t e m s c o m p a r e d w i t h i d e n t i c a l m u l t i p l e - c h o i c e i t e m s . 1 3 4 w o u l d h a v e a s i z e a b l e p o s i t i v e i n t e r c e p t . T h e i n t e r c e p t i s 0 . 0 2 8 5 u n i t s a n d t h e d e v i a t i o n f r o m z e r o i s a l l i k e l y t o b e c a u s e d b y t h e s m a l l n u m b e r ( s e v e n ) o f p o i n t s o n w h i c h t h e e q u a t i o n i s b a s e d a s o n a n y i n d u c e d n o n e q u i v a l e n c e d u e t o t h e c h a n g e i n i t e m f o r m a t . T a b l e 2 . 8 C a l c u l a t e d v a r i a n c e f r a c t i o n s d u e t o g u e s s i n g a n d m e m o r y T y p e F i v e - c h o i c e s T e n - c h o i c e s V F g u e s s i n g . 3 4 . 1 9 V F m e m o r y . 3 0 . 1 5 T h e v a r i a n c e f r a c t i o n s f o r g u e s s i n g a n d m e m o r y a r e l i s t e d i n T a b l e 2 . 8 . M e m o r y i s a b o u t f o u r - f i f t h s a s i m p o r t a n t a s g u e s s i n g , a n d d e c r e a s e s i n t h e s a m e m a n n e r a s t h e n u m b e r o f r e s p o n s e o p t i o n s i s i n c r e a s e d . S t i l l , e r r o r s o f m e m o r y v a r i a n c e w i l l b e t r i v i a l i f o n l y o n e i t e m o n a n e x a m i s r e p e a t e d . N o t m o r e t h a n t w o p e r c e n t o f t h e t o t a l v a r i a n c e a n d p r o b a b l y m u c h l e s s w i l l a r i s e f r o m m e m o r y . I I . D . 4 . T y p e o f i t e m s t r u c t u r e a n d v a r i a b i l i t y i n t e s t m e a n s T h e p r o d u c t - m o m e n t c o r r e l a t i o n c o e f f i c i e n t i s a m e a s u r e o f t h e r e p r o d u c i b i l i t y o f a d i s t r i b u t i o n r e l a t i v e t o i t s m e a n . W h e n t h e d i s t r i b u t i o n i s e f f e c t i v e l y u n b o u n d e d a n d n o s c o r e s ' p i l e u p ' a t e i t h e r e x t r e m e o f t h e s c a l e , t h e n t h e c o r r e l a t i o n b e t w e e n t w o d i s t r i b u t i o n s c a n b e u n i t y e v e n w h e n t h e m e a n s a r e d i f f e r e n t . A n e w s t a t i s t i c w a s S E M = Z G Y [ 2 . 1 4 ] 1 3 5 d e v i s e d b y t h e a u t h o r t o d e s c r i b e t h i s i n s t a b i l i t y i n t e s t m e a n s , s i n c e t h i s i n s t a b i l i t y i s n o t q u a n t i f i e d b y a n y o t h e r a v a i l a b l e s t a t i s t i c . T h e b e s t e s t i m a t e o f t h e t r u e m e a n b a s e d o n t w o e q u i v a l e n t t e s t s g i v e n t o t h e s a m e g r o u p o f s t u d e n t s i s s i m p l y t h e a v e r a g e o f t h e o b s e r v e d m e a n s . I n t h i s m a n n e r , e a c h o f a p a i r o f t e s t s d e v i a t e s f r o m i t s ' t r u e ' m e a n b y h a l f t h e d i f f e r e n c e b e t w e e n t h e o b s e r v e d m e a n s . T h e s e d e v i a t i o n s f r o m t h e e s t i m a t e d t r u e m e a n m a y b e u s e d t o c a l c u l a t e a s t a b i l i t y e s t i m a t e o f t h e m e a n a c c o r d i n g t o n - l w h e r e d i s t h e o b s e r v e d d i f f e r e n c e i n t e s t m e a n s b e t w e e n t w o t e s t s g i v e n t o t h e s a m e g r o u p o f s t u d e n t s a n d n i s t h e n u m b e r o f p a i r e d t e s t s i n t h e s e t o f d a t a . T h e s t a b i l i t y e s t i m a t e o f t h e m e a n i s i n t e r p r e t e d a s i s a n y s t a n d a r d e r r o r o f m e a s u r e m e n t ; t h e l a r g e r t h e S E M t h e m o r e u n s t a b l e o r i m p r e c i s e t h e m e a s u r e m e n t . T h e s t a b i l i t y e s t i m a t e s f o r t h r e e g r o u p s o f t e s t m e a n s a r e l i s t e d i n T a b l e 2 . 9 o n t h e n e x t p a g e . T h e t e s t s a r e g r o u p e d a c c o r d i n g t o t h e d o m i n a n t i t e m - t y p e : f o u r - a n d f i v e - o p t i o n m u l t i p l e - c h o i c e i t e m s , s i x - t o t e n - o p t i o n i t e m s , a n d s h o r t - a n s w e r i t e m s . T h e r e l a t i o n b e t w e e n t h e i t e m c h a n c e s c o r e a n d t h e s t a b i l i t y e s t i m a t e o f t h e m e a n i s w e a k a n d c u r v i l i n e a r . T h e l i n e a r r e g r e s s i o n e q u a t i o n i s d / 2 = 3 . 0 7 4 3 - 5 . 9 0 4 5 ( I C S ) a n d t h e c o r r e l a t i o n i s o n l y 0 . 2 4 . 1 3 6 T a b l e 2 . 9 S t a b i l i t y e s t i m a t e o f t h e m e a n ( S E M ) f o r g r o u p s o f t e s t s ” G r o u p s I C S “ K R Z O n o f p a i r s d / z S E M A , D , E . 1 9 3 . 6 8 8 7 9 2 . 2 6 3 . 0 6 L , J , N . 1 3 9 . 6 4 0 5 6 1 . 7 3 2 . 3 8 H , K . 0 3 2 . 7 7 1 0 4 2 . 9 3 3 . 5 8 * I n t h i s t a b l e , d / z a n d S E M a r e e x p r e s s e d i n u n i t s o f p e r c e n t . 1 " ” " I t e m c h a n c e s c o r e , t h e r e c i p r o c a l o f t h e h a r m o n i c m e a n n u m b e r o f a n s w e r c h o i c e s p e r q u e s t i o n T h e i n d i v i d u a l d i f f e r e n c e s b e t w e e n p a i r s o f t e s t s a r e t a b u l a t e d i n A p p e n d i x C , T a b l e C . 1 . T h e r e i s a b o u t a s m u c h v a r i a t i o n i n S E M w i t h i n g r o u p s o f t e s t s a s b e t w e e n g r o u p s . H o w e v e r , i f t h e s e r e s u l t s a r e n o t p e c u l i a r t o t h i s s m a l l c o l l e c t i o n o f d a t a , t w o c o n c l u s i o n s m a y b e d r a w n . F i r s t , t h e r e i s l e s s v a r i a t i o n i n d i f f i c u l t y f r o m t e s t t o t e s t a s t h e n u m b e r o f a n s w e r c h o i c e s i n c r e a s e s . S e c o n d , s h o r t - a n s w e r i t e m s d e p a r t f r o m t h i s t r e n d a n d s h o w t h e g r e a t e s t v a r i a t i o n i n d i f f i c u l t y f r o m t e s t t o t e s t . T h e c o n c l u s i o n s m a y b e e x p l a i n e d a s f o l l o w s . T h e m e a n d i f f i c u l t y o f m u l t i p l e - c h o i c e i t e m s w i t h f e w r e s p o n s e o p t i o n s i s s u b j e c t t o m u c h f l u c t u a t i o n b e c a u s e a s m a l l n u m b e r o f p o o r d i s t r a c t o r s h a s a s i z e a b l e e f f e c t o n t h e r e l a t i v e g u e s s i n g s u c c e s s a n d h e n c e t h e i t e m d i f f i c u l t y . F o r e x a m p l e , c o m p a r e a f i v e - o p t i o n i t e m w i t h a t e n - o p t i o n i t e m . W h e n a l l d i s t r a c t o r s a r e a t l e a s t s o m e w h a t e f f e c t i v e , t h e i t e m c h a n c e s c o r e s a r e 0 . 2 0 a n d 0 . 1 0 r e s p e c t i v e l y . W h e n t h r e e d i s t r a c t o r s a r e i n e f f e c t i v e f o r e a c h i t e m , t h e r e s p e c t i v e 1 3 7 i t e m c h a n c e s c o r e s a r e 0 . 5 0 a n d 0 . 1 4 . T h e f i v e - o p t i o n i t e m i s m o r e t h a n t w i c e a s s u s c e p t i b l e t o g u e s s i n g w h e r e a s t h e t e n - o p t i o n i t e m i s o n l y a b o u t f o r t y p e r c e n t m o r e s u s c e p t i b l e . T h e s h o r t - a n s w e r i t e m d o e s n o t c o n t i n u e t h e t r e n d . A l t h o u g h t h e i t e m c h a n c e s c o r e i s z e r o f o r t h e s h o r t - a n s w e r i t e m , t h e r e c a n s t i l l b e c o n s i d e r a b l e v a r i a t i o n i n i n t r i n s i c d i f f i c u l t y b e t w e e n s u p p o s e d l y p a r a l l e l i t e m s . I t i s m u c h e a s i e r t o j u d g e t h e a p p a r e n t d i f f i c u l t y o f a n i t e m i n t h e m u l t i p l e - c h o i c e f o r m a t . T h e u n i v e r s e o f p o s s i b l e a n s w e r s t o a q u e s t i o n a n d t h e r e q u i r e d f i n e n e s s o f d i s t i n c t i o n b e t w e e n r i g h t a n d w r o n g r e s p o n s e s a r e c o n t r o l l e d b y t h e a n s w e r c h o i c e s p r o v i d e d b y a m u l t i p l e - c h o i c e i t e m , w h i l e t h e s e a r e o f t e n u n c o n t r o l l e d o r u n d e f i n e d f o r a s h o r t - a n s w e r i t e m . W h a t a p p e a r t o b e e q u a l l y d i f f i c u l t i t e m s m a y i n p r a c t i c e b e i t e m s q u i t e d i f f e r e n t i n d i f f i c u l t y . I I . D . 5 . S t a n d a r d e r r o r o f m e a s u r e m e n t f o r t e s t s a n d s u b t e s t s T h e s t a n d a r d e r r o r o f m e a s u r e m e n t i s c a l c u l a t e d f r o m t h e r e l i a b i l i t y c o e f f i c i e n t a n d t h e s t a n d a r d d e v i a t i o n a c c o r d i n g t o S E M = S t 1 - r [ 2 . 3 ] L o r d [ 3 4 ] s h o w e d t h a t t h i s v a l u e i s t h e m e a n s t a n d a r d e r r o r b a s e d o n s a m p l i n g t h e o r y . T h e ' r e l i a b i l i t y c o e f f i c i e n t ' i n t h i s c a s e i s t h e K R 2 1 c o e f f i c i e n t o f i n t e r n a l c o n s i s t e n c y w h i c h i s a l o w e r b o u n d t o c o n s i s t e n c y a n d h e n c e g i v e s a n u p p e r b o u n d e s t i m a t e o f t h e s t a n d a r d e r r o r . H o w e v e r , t h e i n t e r n a l c o n s i s t e n c y i s n o t a g o o d e s t i m a t o r o f 1 3 8 r e l i a b i l i t y f o r s h o r t s t r a t i f i e d t e s t s s u c h a s t h o s e u s e d i n C E M 1 3 0 / 1 3 1 . I n t h i s c a s e a m o r e v a l i d s t a n d a r d e r r o r i s c a l c u l a t e d f r o m t h e p a r a l l e l f o r m s c o r r e l a t i o n r e l i a b i l i t y c o e f f i c i e n t . T h e v a l u e s f o r t h e s t a n d a r d e r r o r o f m e a s u r e m e n t a r e p l o t t e d a g a i n s t i t e m c h a n c e s c o r e i n F i g u r e 2 . 1 1 o n p a g e 1 4 0 . T h e r e l a t i o n s h i p b e t w e e n g u e s s i n g o p p o r t u n i t y a n d p r o b a b l e e r r o r i n t e s t s c o r e s i s w e a k a n d u n s t a b l e . " r I f g u e s s i n g w e r e t h e m a j o r s o u r c e o f m e a s u r e m e n t e r r o r t h e r e w o u l d b e a d r a m a t i c d e c r e a s e i n t h e s t a n d a r d e r r o r w h e n i t e m c h a n c e s c o r e s a p p r o a c h z e r o a s f o r s h o r t - a n s w e r i t e m s . H o w e v e r , t h e m e a n d e c r e a s e i n s t a n d a r d e r r o r a s t h e n u m b e r o f r e s p o n s e o p t i o n s i n c r e a s e s f r o m f i v e t o i n f i n i t y i s o f t e n l e s s t h a n t h e d i f f e r e n c e i n s t a n d a r d e r r o r s b e t w e e n t e s t s w i t h s i m i l a r n u m b e r s o f r e s p o n s e o p t i o n s . T h e r e a r e a l s o s e v e r a l i n s t a n c e s w h e r e t e s t s c o m p o s e d o f m a i n l y s h o r t - a n s w e r q u e s t i o n s h a v e l a r g e r s t a n d a r d ) e r r o r s o f m e a s u r e m e n t t h a n t e s t s c o m p o s e d o f f i v e - o p t i o n m u l t i p l e - c h o i c e i t e m s . T h u s m e a s u r e m e n t e r r o r i s n o t s t r o n g l y r e l a t e d t o g u e s s i n g e r r o r , w h e r e a s i n c o n t r a s t r e l i a b i l i t y d o e s d e p e n d s i g n i f i c a n t l y o n g u e s s i n g e r r o r . T h e m a x i m u m d i f f e r e n c e b e t w e e n a n y v a l u e o f t h e s t a n d a r d e r r o r a n d t h e m e a n v a l u e f r o m a l l t e s t s i s a b o u t t h e s a m e a s t h e d i f f e r e n c e s * T h e r e g r e s s i o n e q u a t i o n s a n d c o e f f i c i e n t s o f d e t e r m i n a t i o n d e s c r i b i n g t h i s r e l a t i o n a r e l i s t e d b e l o w . B e c a u s e t h e c o e f f i c i e n t f o r s u b t e s t s o f n o n n u m e r i c a l q u e s t i o n s w a s s o l o w , t h e s e p o i n t s a r e n o t p l o t t e d . F i f t e e n - i t e m t e s t s S E M 1 . 3 3 1 9 + 1 . 9 4 4 4 ( I C S ) R 2 = 0 . 3 0 S u b t e s t s o f p r o b l e m s S E M 1 . 0 7 8 2 + 0 . 9 4 6 6 ( I C S ) R 2 = 0 . 3 1 S u b t e s t s o f n o n p r o b l e m s S E M 0 . 9 5 9 2 + 1 . 0 4 1 6 ( I C S ) R 2 = 0 . 0 6 1 3 9 p r e d i c t e d f r o m r e g r e s s i o n o r t h e d i f f e r e n c e s w i t h i n a s i n g l e g r o u p o f t e s t s w i t h s i m i l a r i t e m c h a n c e s c o r e s . T h i s v a r i a b i l i t y i n s t a n d a r d e r r o r i s t a b u l a t e d i n T a b l e 2 . 1 0 . T a b l e 2 . 1 0 V a r i a t i o n i n s t a n d a r d e r r o r o f m e a s u r e m e n t b e t w e e n a n d w i t h i n g u e s s i n g l e v e l s * V a r i a t i o n F i f t e e n - i t e m t e s t s S u b t e s t s o f p r o b l e m s W i t h i n l e v e l s 2 1 t o 2 8 p e r c e n t 1 6 t o 3 1 p e r c e n t B e t w e e n l e v e l s 2 7 p e r c e n t m a x . 1 8 p e r c e n t m a x F r o m g r a n d m e a n 2 2 t o 2 8 p e r c e n t 1 8 t o 2 5 p e r c e n t 1 " A g u e s s i n g l e v e l i s a g r o u p o f t e s t s w i t h s i m i l a r i t e m c h a n c e s c o r e s T h e s t a n d a r d e r r o r c o u l d b e p r e d i c t e d a b o u t a s w e l l b y s i m p l y t a k i n g t h e o v e r a l l m e a n a s i t c o u l d f r o m a r e g r e s s i o n e q u a t i o n . A p a r t f r o m w h a t m a y b e c o n s i d e r e d a s r a n d o m f l u c t u a t i o n s ( o r f l u c t u a t i o n s r e l a t e d t o s o m e u n s p e c i f i e d c h a r a c t e r i s t i c ) t h e s t a n d a r d e r r o r i s a p p r o x i m a t e l y c o n s t a n t . T h i s c o n c l u s i o n w a s a l s o e m p i r i c a l l y d e m o n s t r a t e d b y L o r d [ 3 4 ] . H e f o u n d t h a t t h e s q u a r e r o o t o f t h e n u m b e r o f t e s t q u e s t i o n s a d e q u a t e l y d e s c r i b e d t h e s t a n d a r d e r r o r o f m e a s u r e m e n t . G i v e n t h e p r o p o r t i o n a l i t y S E M 0 ‘ fl , i t i s e a s y t o c a l c u l a t e t h a t t o d e c r e a s e t h e s t a n d a r d e r r o r f o r f i f t e e n - i t e m t e s t s b y h a l f ? r t h e t e s t s w o u l d h a v e t o b e i n c r e a s e d t o s i x t y i t e m s . * A t y p i c a l s t a n d a r d e r r o r f o r a f i f t e e n - i t e m t e s t i s 1 . 5 s c o r e u n i t s o r t e n p e r c e n t a g e u n i t s . I f t h e t e s t i s i n c r e a s e d t o s i x t y i t e m s , t h e s t a n d a r d e r r o r i n c r e a s e s t o 3 . 0 s c o r e u n i t s b u t d e c r e a s e s t o o n l y f i v e p e r c e n t a g e u n i t s . T h u s t h e r e l a t i v e s i z e o f t h e e r r o r i s c u t i n h a l f . e r o c s e c n a h c m e t I . 2 5 . 2 0 1 4 0 l I I I I I I I I a D C ] , I I I I - I I I . I I 1 ' C I : 1 E ) E l I C D ' I E ] I I [ : 1 I D D I I I I I I I I 1 : 1 3 I I I e I e I I I I I I I I I I D I , C ] I D D : I I I I 1 ' 1 ‘ - + 1 , ' 1 . 0 1 . 5 2 . 0 i t e m c h a n c e s c o r e . o o L F i g u r e 2 . 1 1 0 . 5 S t a n d a r d e r r o r o f m e a s u r e m e n t v s . f o r f i f t e e n - i t e m t e s t s [ U ] a n d t e n - i t e m s u b t e s t s o f p r o b l e m s [ I ] 7 . T t e h h r e e r ' u p e r s f o r s b o i a b l e n m g o o t e p h r p e r o r o r r t s ' u o g o r o f i r t c n u m y e a e d s s e a r u c e r r e a m e s e a n s l a t r e e , t e s g s u t n o b d r l t a d o r e d v g e i e r a c . e r i t e o a n s s l s n i i p g r h o t b l y a b a l s e 1 4 1 I I . E . S u m m a r y a n d c o n c l u s i o n s f o r e r r o r s i n m e a s u r e m e n t T h e m a j o r c o n c l u s i o n s o f t h i s r e s e a r c h i n m e a s u r e m e n t e r r o r a r e s u m m a r i z e d b e l o w i n f o u r t e e n s h o r t s t a t e m e n t s . F o l l o w i n g t h i s l i s t , t h e p r a c t i c a l i m p l i c a t i o n s o f t h e s e c o n c l u s i o n s w i l l b e d i s c u s s e d . L a s t l y , a s e r i e s o f g e n e r a l o b s e r v a t i o n s a n d r e c o m m e n d a t i o n s t o t h e t e s t c o n s t r u c t o r w i l l b e m a d e . 1 1 . E . 1 . L i s t o f r e s e a r c h c o n c l u s i o n s 1 . G u e s s i n g e r r o r i s d i r e c t l y p r o p o r t i o n a l t o t h e f r a c t i o n a l p r o b a b i l i t y o f g u e s s i n g c o r r e c t l y . G u e s s i n g e r r o r i s h a l v e d b y i n c r e a s i n g t h e n u m b e r o f a n s w e r c h o i c e s f r o m f i v e t o t e n . 2 . T h e n u m b e r o f a n s w e r c h o i c e s w a s f o u n d t o b e t h e m o s t i m p o r t a n t o f e i g h t v a r i a b l e s i n t h e p r e d i c t i o n o f t e s t r e l i a b i l i t y f r o m l i n e a r r e g r e s s i o n . I t a c c o u n t s f o r t h i r t y - f o u r p e r c e n t o f t h e v a r i a t i o n i n r e l i a b i l i t y c o e f f i c i e n t s . T h e r e s i d u a l o r u n e x p l a i n e d v a r i a n c e w a s t h i r t y - e i g h t p e r c e n t a n d i n c l u d e s d i f f e r e n c e s i n e q u i v a l e n c e b e t w e e n p a i r s o f c o r r e l a t e d t e s t s . 3 . P a r a l l e l f o r m s o f a n e x a m a r e n o t s t a t i s t i c a l l y i d e n t i c a l . T h i s l a c k o f e q u i v a l e n c e i n c o n t e n t b e t w e e n d i f f e r e n t t e s t s o f t h e s a m e t o p i c s i n t r o d u c e d e r r o r o f t e n g r e a t e r t h a n t h a t c a u s e d b y g u e s s i n g . 4 . R e s i d u a l e r r o r i n c l u d i n g n o n e q u i v a l e n c e i s t h e s a m e s i z e a s g u e s s i n g e r r o r f o r s i x - c h o i c e i t e m s . I t r e m a i n s a p p r o x i m a t e l y c o n s t a n t a n d d o e s n o t d e c r e a s e a s g u e s s i n g o p p o r t u n i t y d e c r e a s e s . 5 . E x a m i n a t i o n s c o n s i s t i n g o f p r o b l e m s t e n d t o b e m o r e r e l i a b l e t h a n t h o s e c o n s i s t i n g o f n o n p r o b l e m s . T h i s d i f f e r e n c e i n r e l i a b i l i t y i s s m a l l ( s e v e n p e r c e n t ) f o r s h o r t - a n s w e r q u e s t i o n s a n d s u b s t a n t i a l ( t w e n t y - f i v e p e r c e n t ) f o r f i v e - c h o i c e q u e s t i o n s . 6 . T h e r e l i a b i l i t y o f t e s t s c o n s i s t i n g o f n o n n u m e r i c a l q u e s t i o n s i s m o r e u n p r e d i c t a b l e t h a n t h a t o f t e s t s c o n s i s t i n g o f p r o b l e m s . T h e s p r e a d i n r e l i a b i l i t y c o e f f i c i e n t s f o r n o n p r o b l e m s i s d o u b l e t h e s p r e a d f o r p r o b l e m s . I t i s p o s s i b l e f o r a t e s t o f n o n p r o b l e m s t o h a v e a n u n u s u a l l y h i g h r e l i a b i l i t y q u i t e b y a c c i d e n t . 1 0 . 1 1 . 1 2 . 1 3 . 1 4 . 1 4 2 A s h o r t - a n s w e r t e s t i t e m m a y b e c a r e f u l l y r e w r i t t e n a s a m u l t i p l e - c h o i c e i t e m w i t h o u t c h a n g i n g w h a t t h e i t e m r e a l l y t e s t s , a l t h o u g h t h e d i f f i c u l t y o f t h e i t e m m a y c h a n g e c o n s i d e r a b l y . W h e n t h e s a m e t e s t q u e s t i o n s a r e e n c o u n t e r e d b y t h e s t u d e n t o n a n i m m e d i a t e r e t e s t , m e m o r y v a r i a n c e i s f o u r - f i f t h s a s l a r g e a s g u e s s i n g v a r i a n c e . M e m o r y v a r i a n c e d e c r e a s e s e r r a t i c a l l y a s t i m e b e t w e e n t e s t i n g s i n c r e a s e s . I t a p p e a r s t h a t a s t h e n u m b e r o f a n s w e r c h o i c e s i n c r e a s e s , t e s t s b e c o m e m o r e s i m i l a r i n d i f f i c u l t y . S h o r t - a n s w e r t e s t s , h o w e v e r , s e e m t o h a v e t h e l e a s t s t a b l e m e a n s . I n t h e s e s t u d i e s , t h e m e t h o d o f a s s i g n i n g s t u d e n t s t o t a k e d i f f e r e n t f o r m s o f a n e x a m i n a t i o n d i d n o t l e a d t o d i f f e r e n c e s b e t w e e n g r o u p s . S t a t i s t i c a l e q u a l i t y o f t h e g r o u p s w a s a c h i e v e d b y n o n s y s t e m a t i c a l l y d i s t r i b u t i n g t e s t s t o s t u d e n t s a s t h e y e n t e r e d t h e e x a m r o o m . I n t h e s e s t u d i e s , t h e o r d e r i n w h i c h t e s t s w e r e t a k e n h a d n o e f f e c t o n t h e c a l c u l a t e d r e l i a b i l i t y c o e f f i c i e n t s . F l u c t u a t i o n i n t r u e s c o r e s i s o f m i n o r i m p o r t a n c e w h e n o n e o r t w o h o u r s s e p a r a t e s t e s t a d m i n i s t r a t i o n s . R e l i a b i l i t y d e c r e a s e d o n l y 0 . 0 2 u n i t s w h e n t h e t i m e b e t w e e n t e s t s i n c r e a s e d f r o m o n e h o u r t o t w o h o u r s . W h e n t e s t q u e s t i o n s h a v e d i f f e r e n t n u m b e r s o f a n s w e r c h o i c e s , t h e h a r m o n i c m e a n o f t h e n u m b e r o f c h o i c e s p e r i t e m i s t h e a p p r o p r i a t e m e t h o d o f c a l c u l a t i n g t h e ' a v e r a g e ' n u m b e r o f a n s w e r c h o i c e s . T h e s h o r t - a n s w e r i t e m i s t r e a t e d a s a m u l t i p l e - c h o i c e i t e m w i t h a n i n f i n i t e n u m b e r o f r e s p o n s e o p t i o n s . I I . E . 2 . I m p l i c a t i o n s o f s o m e i m p o r t a n t c o n c l u s i o n s G r a d e s i n C E M 1 3 0 / 1 3 1 a r e a s s i g n e d a c c o r d i n g t o a p r e s e t s c a l e , y e t s t u d e n t s t a k e d i f f e r e n t e x a m s a t d i f f e r e n t t i m e s a n d a r e a l l o w e d t o r e t a k e a d i f f e r e n t f o r m o f t h e s a m e e x a m w h e n t h e y a r e d i s s a t i s f i e d w i t h t h e i r s c o r e . U n d e r t h e s e c i r c u m s t a n c e s , t h e p r e c i s i o n a n d a c c u r a c y o f d i f f e r e n t f o r m s o f t h e s a m e e x a m r e l a t i v e t o o n e a n o t h e r 1 4 3 a r e o f s p e c i a l c o n c e r n . S i n c e t h e s t u d e n t m a y b e g r a d e d o n h i s p e r f o r m a n c e o n a n y o n e o f s e v e r a l p a r a l l e l f o r m s o f a n e x a m i n a t i o n , i t i s i m p o r t a n t t h a t a l l t h e d i f f e r e n t f o r m s o f e a c h e x a m b e t r u l y e q u i v a l e n t i n b o t h c o n t e n t a n d d i f f i c u l t y . A l s o , s i n c e t h e s t u d e n t m a y r e t a k e a n e x a m s e v e r a l t i m e s , i t i s i m p o r t a n t t h a t h i s f i n a l s c o r e r e f l e c t h i s k n o w l e d g e a n d n o t h i s g u e s s i n g l u c k . T h e t h e o r e t i c a l a n d e x p e r i m e n t a l r e l a t i o n s h i p s b e t w e e n g u e s s i n g e r r o r , t e s t e q u i v a l e n c e - - b o t h o f c o n t e n t a n d d i f f i c u l t y - - a n d t h e t y p e s o f i t e m s w h i c h a p p e a r o n t h e t e s t w i l l n o w b e s u m m a r i z e d . G u e s s i n g e r r o r i s p r o b a b l y t h e s i n g l e g r e a t e s t i m p e d i m e n t t o a c c e p t a n c e o f t h e o b j e c t i v e o r m u l t i p l e - c h o i c e i t e m . T h a t a s t u d e n t c a n r e c e i v e c r e d i t f o r a q u e s t i o n w i t h o u t k n o w l e d g e o f t h e a n s w e r i s c o n s i d e r e d a f a t a l l y d a m n i n g i n d i c t m e n t o f t h e t y p e o f i t e m ' w h i c h a l l o w s g u e s s i n g t o o c c u r . T h e r e s u l t s o f t h i s r e s e a r c h c l e a r l y d e m o n s t r a t e t h a t b y i n c r e a s i n g t h e n u m b e r o f a n s w e r c h o i c e s , t h e e f f e c t o f g u e s s i n g c a n b e r e d u c e d t o t h e p o i n t w h e r e t h e i n j u r y d o n e t h e t e s t r e l i a b i l i t y m a y b e m i n o r r a t h e r t h a n c r i t i c a l . T h e g u e s s i n g e r r o r e x p e c t e d f r o m f o u r - a n d f i v e - c h o i c e i t e m s i s m o r e t h a n h a l v e d b y i n c r e a s i n g t h e n u m b e r o f a n s w e r c h o i c e s t o t e n . I t i s a l s o t r u e t h a t “ s h o r t - a n s w e r o r f i l l - i n q u e s t i o n s a r e n o t i m m u n e t o g u e s s i n g . I n t h e o r e t i c a l d i s c u s s i o n s a n d c a l c u l a t i o n s i t i s a s s u m e d t h a t t h e s h o r t - a n s w e r i t e m m a y b e t r e a t e d a s a m u l t i p l e - c h o i c e i t e m w i t h a n i n f i n i t e n u m b e r o f a n s w e r c h o i c e s . T h e c o n c l u s i o n t h a t t h e s h o r t - a n s w e r i t e m t h e r e f o r e h a s z e r o g u e s s i n g e r r o r i s v a l i d 1 4 4 o n l y i f t h e p o s s i b i l i t i e s t h r o u g h w h i c h t h e s t u d e n t s i f t s i s e f f e c t i v e l y i n f i n i t e . M a n y s h o r t - a n s w e r q u e s t i o n s d o n o t h a v e a n e f f e c t i v e l y i n f i n i t e s e t o f p o s s i b l e a n s w e r s . F o r e x a m p l e , ” H o w m a n y t w o - f o l d a x e s a r e t h e r e i n t h e m o l e c u l e . . . ? " T h o u g h i t m i g h t s e e m t h a t t h e r e a r e a v e r y l a r g e n u m b e r o f p o s s i b l e a n s w e r s t o t h e c o m p l e t e l y u n i n i t i a t e d , t h e s t u d e n t w i t h a n y e x p o s u r e a t a l l t o t h i s t o p i c q u i c k l y r e a l i z e s t h a t t h e a n s w e r i s a n i n t e g e r b e t w e e n z e r o a n d t w e l v e . O t h e r s h o r t - a n s w e r q u e s t i o n s h a v e f e w e r c h o i c e s a n d o t h e r s h a v e m o r e , b u t v e r y o f t e n t h e e f f e c t i v e n u m b e r o f p o s s i b l e a n s w e r s i s l o w e n o u g h t o m a k e g u e s s i n g a n o n - z e r o s o u r c e o f e r r o r . T h u s t h e r e c a l l i t e m t o o c a n s u f f e r f r o m g u e s s i n g a s c a n t h e r e c o g n i t i o n i t e m . G u e s s i n g i s n o t c o n s t a n t f o r a l l s t u d e n t s . T h e g o o d s t u d e n t g u e s s e s l e s s o f t e n a n d w i t h m o r e s u c c e s s t h a n t h e p o o r s t u d e n t . T h i s m e a n s t h a t t h e r e i s l e s s e r r o r i n t h e h i g h e s t s c o r e s t h a n i n t h e l o w e r s c o r e s , a n d t h a t t h e r e i s l e s s g u e s s i n g e r r o r o n a n e a s y t e s t t h a n o n a h a r d t e s t . ( T h e h i g h s c o r e s o n a n y t e s t a r e t h e m o s t r e l i a b l e . T h e r e i s m u c h m o r e c h a n c e o f g i v i n g a s t u d e n t a 1 . 0 w h e n h e s h o u l d h a v e g o t t e n a 0 . 0 t h a n t h e r e i s o f g i v i n g a s t u d e n t a 4 . 0 w h e n h e s h o u l d h a v e r e c e i v e d a 3 . 5 . T h e p r e d i c t i o n o f a c t u a l g u e s s i n g i s b a s e d o n t h e e x p e c t e d c h a n c e o f s u c c e s s a n d d e p e n d s o n m o r e t h a n j u s t t h e n u m b e r o f a n s w e r c h o i c e s . T h e t y p e o f q u e s t i o n i n f l u e n c e s t h e p r e d i c t a b i l i t y o f g u e s s i n g e r r o r s . F o r e x a m p l e , a d i v i s i o n o f t e s t i t e m s i n t o p r o b l e m s a n d n o n p r o b l e m s p r o d u c e s a s t r i k i n g d i f f e r e n c e i n t h e a b i l i t y t o p r e d i c t g u e s s i n g e r r o r . 1 4 5 I t i s m u c h m o r e d i f f i c u l t t o c o n s t r u c t e f f e c t i v e d i s t r a c t o r s f o r n o n p r o b l e m s , a n d b e c a u s e o f t h i s t h e r e l i a b i l i t i e s o f t e s t s o f n o n p r o b l e m s a r e m o r e v a r i a b l e . I n c r e a s i n g t h e n u m b e r o f c h o i c e s d o e s i n c r e a s e t e s t r e l i a b i l i t y a n d d e c r e a s e g u e s s i n g e r r o r , b u t t h e p r e d i c t e d v a l u e s d o n o t e q u a l t h o s e f o r p r o b l e m s e v e n a t i n f i n i t y . A s e c o n d i m p o r t a n t s o u r c e o f ' e r r o r ' i s t h e e r r o r d u e t o n o n e q u i v a l e n c e b e t w e e n d i f f e r e n t f o r m s o f t h e s a m e e x a m i n a t i o n . N o n e q u i v a l e n c e i s a n e r r o r i n t h e s e n s e o f i n a c c u r a t e e s t i m a t i o n o f h o w m u c h t h e s t u d e n t k n o w s o f w h a t w a s t e s t e d . H o w e v e r , i f w h a t w a s t e s t e d i s n o t r e p r e s e n t a t i v e o f w h a t c o u l d h a v e b e e n t e s t e d , t h e n t h e t e s t s c o r e i s n o t r e p r e s e n t a t i v e o f t h e s t u d e n t ' s t o t a l k n o w l e d g e o f t h e c o u r s e m a t e r i a l . A t e s t c o m p o s e d o f i t e m s f r o m t w o o r t h r e e o f f i v e t o p i c s w i l l m i s r e p r e s e n t t h e s t u d e n t ' s k n o w l e d g e u n l e s s i t i s k n o w n t h a t t h e c h o s e n t o p i c s a r e s i m i l a r e n o u g h i n c o n t e n t t o t h e u n t e s t e d t o p i c s s o t h a t t h e s t u d e n t w h o a n s w e r s ' f i v e f r o m c o l u m n A ' c o u l d j u s t a s r e a d i l y a n s w e r e d ' f i v e f r o m c o l u m n E . ' N o n e q u i v a l e n c e e r r o r i s a n a l o g o u s t o f a u l t y s a m p l e s e l e c t i o n f o r a n a l y t i c a l a n a l y s i s . O n e w o u l d n o t s e l e c t a l l t h e s a m p l e s f r o m t h e s a m e r e g i o n o f t h e s p e c i m e n u n l e s s o n e k n e w t h a t t h e s p e c i m e n w e r e h o m o g e n e o u s . T h e s i z e o f t h e e r r o r c a u s e d b y l a c k o f e q u i v a l e n c e i s r o u g h l y e q u a l t o t h e g u e s s i n g e r r o r o f s i x - c h o i c e q u e s t i o n s . I t d o e s n o t c o n s i s t e n t l y d e c r e a s e o r i n c r e a s e a s t h e n u m b e r o f r e s p o n s e o p t i o n s c h a n g e s . A c c o r d i n g l y , l o w e r i n g g u e s s i n g o p p o r t u n i t y , i n c r e a s i n g i t e m d i s c r i m i n a t i o n , o r t e s t i n g f o r h i g h e r m e n t a l p r o c e s s e s m a y 1 4 6 i m p r o v e t h e q u a l i t y o f t h e q u e s t i o n s b u t w i l l n o t m u c h a f f e c t t h e i r r e p r e s e n t a t i v e n e s s o r e q u i v a l e n c e . W h e n t h e n u m b e r o f t e s t a b l e c o n c e p t s i n t h e t o p i c s t o b e c o v e r e d o n a n e x a m i s l a r g e r t h a n t h e n u m b e r o f q u e s t i o n s , i t i s n o t p o s s i b l e f o r a s i n g l e t e s t t o c o v e r a l l c o n c e p t s . T h e r e a r e t h r e e w a y s o f s e l e c t i n g t e s t i t e m s f o r m u l t i - f o r m t e s t s . O n e w a y i s t o p r e p a r e a b a l a n c e d s e l e c t i o n o f q u e s t i o n i d e a s a n d c o n s t r u c t s e v e r a l p a r a l l e l i t e m s f o r e a c h i d e a . T e s t s c o n s t r u c t e d i n t h i s m a n n e r a r e i t e m - p a r a l l e l . A s e c o n d m e t h o d i s t o w r i t e a n u m b e r o f q u e s t i o n s f o r e a c h t e s t a b l e c o n c e p t ( o n e f o r e a c h c o n c e p t i f t h e n u m b e r o f c o n c e p t s i s l a r g e ) a n d r a n d o m l y s e l e c t t h e i n d i v i d u a l t e s t i t e m s f r o m t h i s p o o l . T e s t s o f t h i s s o r t a r e r a n d o m - p a r a l l e l . T h e t h i r d m e t h o d a l s o e n t a i l s w r i t i n g a c o l l e c t i o n o f i t e m s f o r a l l t e s t a b l e c o n c e p t s . T h e q u e s t i o n i d e a s a r e g r o u p e d i n t o c o n t e n t c a t e g o r i e s a n d t e s t i t e m s a r e s e l e c t e d r a n d o m l y f r o m a m o n g t h e s e c a t e g o r i e s . T h i s l a s t w a y y i e l d s t e s t s w h i c h a r e s t r a t i f i e d - r a n d o m - p a r a l l e l . T h e t e s t s u s e d i n C E M 1 3 0 / 1 3 1 a r e g e n e r a t e d a c c o r d i n g t o t h i s m e t h o d . T h e r e i s l e s s c h a n c e f o r l a r g e n o n e q u i v a l e n c e e r r o r w h e n t h e p o o l o f t e s t q u e s t i o n s i s s t r a t i f i e d b e f o r e s e l e c t i o n t h a n w h e n s e l e c t i o n i s p u r e l y r a n d o m f r o m t h e e n t i r e p o o l . ‘ S t i l l , t h e r e i s s o m e w h a t m o r e n o n e q u i v a l e n c e p r e s e n t t h a n i f a l l f o r m s o f t h e t e s t w e r e i t e m - p a r a l l e l . T h e i t e m - p a r a l l e l m e t h o d i s m o s t o f t e n u s e d w h e n o n l y t w o f o r m s o f a n ( e x a m a r e n e e d e d f o r s i m u l t a n e o u s a d m i n i s t r a t i o n t o a l a r g e g r o u p o f s t u d e n t s . W h e n m a n y f o r m s a r e n e e d e d o v e r a p e r i o d o f d a y s , 1 4 7 s t u d e n t s m a y q u i c k l y d e c i p h e r w h i c h c o n c e p t s d o n o t a p p e a r o n t h e t e s t s , s o t h a t s o m e r a n d o m r e p r e s e n t a t i v e n e s s i n t h e s e l e c t i o n o f t e s t i d e a s i s n e c e s s a r y . R e g a r d l e s s o f h o w e x a m s a r e c o n s t r u c t e d , t h e i r d i f f i c u l t y c o n c e r n s t h e i n s t r u c t o r w h o u s e s t h e m . W h e n d i f f e r e n t s t u d e n t s t a k e d i f f e r e n t t e s t s w h i c h c o v e r t h e s a m e m a t e r i a l , t h e t e s t s s h o u l d b e o f e q u i v a l e n t d i f f i c u l t y . T h i s s e c o n d k i n d o f e q u i v a l e n c e i s n o t r e l a t e d t o t e s t r e l i a b i l i t y u n l e s s t h e d i s t r i b u t i o n o f t e s t s c o r e s i s m a r k e d l y d i s t o r t e d b y a c e i l i n g o r f l o o r e f f e c t . B u t w h e n e v e r s t u d e n t s w i l l b e g r a d e d o n d i f f e r e n t t e s t s a c c o r d i n g t o t h e s a m e g r a d i n g s c a l e , t h e t e s t s s h o u l d b e e q u a l l y d i f f i c u l t . I t a p p e a r s t h a t s h o r t - a n s w e r t e s t q u e s t i o n s a r e l e a s t s t a b l e i n d i f f i c u l t y , f o u r - a n d f i v e - c h o i c e i t e m s o f i n t e r m e d i a t e s t a b i l i t y , a n d e i g h t - a n d t e n - c h o i c e i t e m s o f g r e a t e s t s t a b i l i t y i n d i f f i c u l t y . I t a l s o a p p e a r s t h a t s h o r t - a n s w e r a n d m u l t i p l e - c h o i c e i t e m s c a n , w i t h c a r e f u l r e w r i t i n g , b e i n t e r c h a n g e d w i t h o u t c h a n g i n g w h a t t h e i t e m s t e s t . T h u s e q u i v a l e n c e o f c o n t e n t c a n b e p r e s e r v e d , a n d e q u i v a l e n c e o f d i f f i c u l t y e n h a n c e d , i f s h o r t - a n s w e r i t e m s a r e r e w r i t t e n a s m u l t i p l e - c h o i c e i t e m s . T h e g u e s s i n g e r r o r c a n b e h e l d t o a n e m i n e n t l y a c c e p t a b l e l e v e l b y e m p l o y i n g t e n o r m o r e a n s w e r c h o i c e s p e r q u e s t i o n . S o t o o c a n m e m o r y e r r o r s b e h e l d t o a n a c c e p t a b l y l o w l e v e l w h e n o n l y o n e o r t w o i d e n t i c a l q u e s t i o n s a p p e a r o n a s e c o n d f o r m . T h e t r a d i t i o n a l y a r d s t i c k o f m e a s u r e m e n t p r e c i s i o n i s t h e s t a n d a r d e r r o r o f m e a s u r e m e n t o r c o n f i d e n c e i n t e r v a l . H o w e v e r , t h e 1 4 8 s t a n d a r d e r r o r i s n o t a g o o d c r i t e r i o n b y w h i c h t o i m p r o v e t e s t q u a l i t y . I t i s b e s t u s e d t o e v a l u a t e t e s t s w h i c h h a v e b e e n i m p r o v e d a c c o r d i n g t o o t h e r c r i t e r i a s u c h a s g u e s s i n g e r r o r r e d u c t i o n , i n c r e a s e d p a r a l l e l i s m , c o n t e n t r e p r e s e n t a t i v e n e s s , d i f f i c u l t y l e v e l , a n d i t e m d i s c r i m i n a t i o n . T h e s e o t h e r c r i t e r i a a r e e s t i m a t e d e n m a s s e b y t h e t e s t r e l i a b i l i t y . A s a n i l l u s t r a t i o n o f w h y t h e p r o b a b l e e r r o r i s n o t a s a t i s f a c t o r y i m p r o v e m e n t c r i t e r i o n , g u e s s i n g o p p o r t u n i t y m a y b e c o m p a r e d w i t h b o t h t h e s t a n d a r d e r r o r o f m e a s u r e m e n t a n d w i t h t h e r e l i a b i l i t y c o e f f i c i e n t . F o r t e s t s o f p r o b l e m s , g u e s s i n g o p p o r t u n i t y i s s t r o n g l y r e l a t e d t o r e l i a b i l i t y ; t h e e x p e c t e d c h a n c e s c o r e a c c o u n t s f o r 6 7 p e r c e n t o f t h e c h a n g e i n r e l i a b i l i t y a s t h e n u m b e r o f a n s w e r c h o i c e s i n c r e a s e s . I n c o n t r a s t , t h e e x p e c t e d c h a n c e s c o r e a c c o u n t s f o r o n l y 3 1 p e r c e n t o f t h e c h a n g e i n s t a n d a r d e r r o r . A l s o , t h e r e i s o n l y a b o u t h a l f a s m u c h v a r i a t i o n i n t h e p r o b a b l e e r r o r a s t h e r e i s i n t h e r e l i a b i l i t y ; t h e p r o b a b l e e r r o r o f a t e s t i s m o r e n e a r l y c o n s t a n t . R o u g h l y s p e a k i n g , i t ' s a c a s e o f n o t b e i n g a b l e t o p r e d i c t t h e v a r i a t i o n i n s o m e t h i n g w h i c h d o e s n ' t c h a n g e m u c h a n y w a y . T h e b e s t t h e o r e t i c a l p r e d i c t i o n o f t h e p r o b a b l e e r r o r i n a t e s t s c o r e i s b a s e d o n t h e r a w s c o r e a n d t h e t e s t l e n g t h a n d n o t o n t e s t - q u a l i t y c r i t e r i a s u c h a s r e l i a b i l i t y o r d i s c t i m i n a t i o n . 1 1 . 1 3 . 3 . 1 4 9 L i s t o f a p h o r i s m s a n d r e c o m m e n d a t i o n s 1 . T h e a c c u r a c y a n d p r e c i s i o n o f a s t u d e n t ' s g r a d e i n c r e a s e s w h e n t h e r e l i a b i l i t y o f t h e t e r m a v e r a g e i n c r e a s e s . T h e r e l i a b i l i t y o f t h i s o v e r a l l a s s e s s m e n t o f s t u d e n t a c h i e v e m e n t w a x e s a s t h e i n d e p e n d e n t m e a s u r e m e n t s - - t h e t e s t s - - b e c o m e m o r e n u m e r o u s o r m o r e i n d i v i d u a l l y r e l i a b l e . 1 . 1 1 . 2 1 . 3 1 . 4 T h e r e l i a b i l i t y o f a t e s t i n c r e a s e s w i t h i t s l e n g t h . T h i s i s t h e s i m p l e s t m e t h o d o f i n c r e a s i n g m e a s u r e m e n t p r e c i s i o n . T h e t i m e a v a i l a b l e f o r t h e a d m i n i s t r a t i o n o f t h e t e s t i s t h e ' l i m i t i n g r e a g e n t ' i n m o s t c a s e s a n d t h e m a x i m u m f e a s i b l e n u m b e r o f t e s t q u e s t i o n s f o r a g i v e n c l a s s p e r i o d d o e s n o t o f t e n y i e l d a s u f f i c i e n t l y r e l i a b l e t e s t s c o r e . T h e r e l i a b i l i t y o f a t e s t i n c r e a s e s a s t h e i n d i v i d u a l t e s t q u e s t i o n s b e c o m e m o r e r e l i a b l e . S o m e p r a c t i c a l w a y s t o i n c r e a s e i t e m r e l i a b i l i t y a n d r e d u c e r a n d o m e r r o r a r e m e n t i o n e d i n l a t e r r e c o m m e n d a t i o n s . T h e r e l i a b i l i t y o f t h e t e r m a v e r a g e i n c r e a s e s a s t h e n u m b e r o f t e s t s o n w h i c h i t i s b a s e d i n c r e a s e s . B y i n c r e a s i n g t h e n u m b e r o f t e s t s , t h e s i n g l e - t e s t r e s t r i c t i o n s o n t i m e a n d l e n g t h a r e c i r c u m v e n t e d . W h e n t h e n u m b e r o f e x a m i n a t i o n s i n c r e a s e s , e a c h e x a m c o v e r s l e s s m a t e r i a l b u t c o v e r s i t m o r e r e l i a b l y a n d i n g r e a t e r d e p t h . D i m i n i s h i n g t h e s c o p e o f a c o u r s e i n c r e a s e s t h e p r e c i s i o n o f t h e t e s t s g i v e n i n t h e c o u r s e . T h e r a n g e o f t o p i c s t o b e t a u g h t i n a c o u r s e i s s e l d o m d i s c r e t i o n a r y ; t h u s t h i s m e t h o d i s i m p r a c a l . H o w e v e r , t h o s e i n a p o s i t i o n t o d e t e r m i n e c u r r i c u l a r c o n t e n t a n d c o u r s e s y l l a b i s h o u l d n o t e t h a t t o r e q u i r e a l a r g e m a s s o f m a t e r i a l t o b e p r e s e n t e d , m a s t e r e d , a n d t e s t e d a l m o s t e n s u r e s t h a t i t w i l l b e p r e s e n t e d h u r r i e d l y , m a s t e r e d t e n u o u s l y , a n d t e s t e d u n r e l i a b l y . 2 . I n c r e a s i n g t h e n u m b e r o f a n s w e r c h o i c e s r e d u c e s g u e s s i n g e r r o r a n d e n h a n c e s i t e m r e l i a b i l i t y . 2 . 1 2 . 2 T e s t q u e s t i o n s w i t h f i v e o r f e w e r a n s w e r c h o i c e s a r e t o o u n r e l i a b l e f o r s h o r t t e s t s . T h e t e s t s c o r e f r o m f i f t e e n f i v e - c h o i c e q u e s t i o n s c o n s i s t s o f a b o u t 2 3 p e r c e n t g u e s s i n g e r r o r , 2 2 p e r c e n t a d d i t i o n a l e r r o r , a n d o n l y 5 5 p e r c e n t r e l i a b l e m e a s u r e m e n t . W h e n t h e n u m b e r o f r e s p o n s e o p t i o n s d e c r e a s e s t o t w o - - a s f o r t h e t r u e - f a l s e q u e s t i o n - - g u e s s i n g e r r o r b a l l o o n s t o 5 1 p e r c e n t a n d t h e r e l i a b i l i t y s h r i v e l s t o o n l y 2 7 p e r c e n t . T h e g u e s s i n g e r r o r o f f i v e - c h o i c e q u e s t i o n s i s h a l v e d b y i n c r e a s i n g t h e n u m b e r o f a n s w e r c h o i c e s t o t e n . F u r t h e r d o u b l i n g t h e n u m b e r o f c h o i c e s c o n t i n u e s t o h a l v e g u e s s i n g e r r o r , b u t m o r e t h a n t w e n t y a n s w e r c h o i c e s p e r i t e m i s n o t p r a c t i c a b l e . 2 . 3 1 5 0 F i l l - i n o r s h o r t - a n s w e r i t e m s a r e n o t i m m u n e t o g u e s s i n g . O f t e n t h e s m a l l n u m b e r o f a c t u a l c h o i c e s f r o m w h i c h t h e a n s w e r m u s t b e s e l e c t e d i s r e a d i l y o b v i o u s t o e v e n t h e p o o r e r s t u d e n t . W h e n e v e r t h e s t u d e n t h a s n a r r o w e d h i s o p t i o n s t o s o m e r e a s o n a b l y s m a l l n u m b e r , h e c a n ' g u e s s ' t h e a n s w e r e v e n t h o u g h n o e x p l i c i t p r o m p t s a r e e l i m i n a t e d . I n c r e a s i n g t h e n u m b e r o f a n s w e r c h o i c e s s o m e t i m e s i n c r e a s e s t h e t i m e n e e d e d b y t h e s t u d e n t t o t a k e t h e t e s t . 3 . 1 3 . 2 3 . 3 W h e n t h e s t u d e n t m u s t c a r e f u l l y w e i g h e a c h a n s w e r a g a i n s t t h e o t h e r s , t h e r e q u i s i t e t i m e t o a n s w e r t h e q u e s t i o n i s p r o p o r t i o n a l t o t h e n u m b e r o f c h o i c e s . Q u e s t i o n s w h i c h a s k f o r a ' b e s t a n s w e r ' o r ' b e s t e x a m p l e ' a r e f r e q u e n t l y o f t h i s t y p e . E i g h t a n s w e r c h o i c e s i s a r e a s o n a b l e m a x i m u m f o r s u c h r e s p o n s e - c o n t e n t i t e m s . W h e n t h e s t u d e n t c a n a n s w e r t h e q u e s t i o n i n h i s o w n m i n d w i t h o u t r e f e r i n g t o t h e s e t o f a n s w e r c h o i c e s , t h e t i m e r e q u i r e d t o a n s w e r a q u e s t i o n i s l i t t l e a f f e c t e d b y t h e n u m b e r o f c h o i c e s . P r o b l e m s w i t h n u m e r i c a l a n s w e r s a r e g o o d e x a m p l e s o f t h i s s t e m - c o n t e n t t y p e o f i t e m . I t e m s w i t h u p t o t w e n t y c h o i c e s m a y b e u s e d p r o f i t a b l y t o d e c r e a s e t h e g u e s s i n g e r r o r w i t h o u t i n c r e a s i n g t h e t i m e o f t a k i n g a t e s t . T h e t i m e r e q u i r e d t o c o m p l e t e a f i l l - i n o r s h o r t - a n s w e r q u e s t i o n c a n n o t b e e s t i m a t e d b e f o r e h a n d . I f t h e r e i s a n y d o u b t i n t h e s t u d e n t ' s m i n d a b o u t e x a c t l y w h a t t h e q u e s t i o n i s a s k i n g , t h e t i m e h e s p e n d s o n t h e q u e s t i o n i n c r e a s e s . T h e s e t o f a n s w e r s p r o v i d e d b y t h e m u l t i p l e - c h o i c e q u e s t i o n h e l p s t h e s t u d e n t g r a s p t h e c o n t e n t o f t h e i t e m . O c c a s i o n a l l y t h e o b s e r v e d d i f f i c u l t y o f a s h o r t - a n s w e r q u e s t i o n m a y b e d u e t o i t s a m b i g u i t y . M u l t i p l e - c h o i c e p r o b l e m s a r e m o r e r e l i a b l e t h a n n o n p r o b l e m s . T h e g r e a t e r p r e c i s i o n o f a t e s t c o m p o s e d o f p r o b l e m s r e s u l t s f r o m t h e c o n j u n c t i o n o f a s t r o n g f a c t o r s t r u c t u r e a n d m o r e u n i f o r m i t e m q u a l i t y . 4 . 1 4 . 2 T h e m a n y d i f f e r e n t e x a m p l e s o f c h e m i c a l p r o b l e m s a l l h a v e i n c o m m o n t h e i r u n d e r l y i n g m a t h e m a t i c a l n a t u r e . A l g e b r a a n d a r i t h m e t i c a r e s u p e r i m p o s e d o n t h e c h e m i s t r y o f t h e q u e s t i o n s a n d t h e e f f e c t i s t o n a r r o w t h e b r e a d t h o f t h e t o p i c s . N o n p r o b l e m s l a c k t h i s r e i n f o r c i n g r e l a t e d n e s s . D i s t r a c t o r s a r e e a s i e r t o w r i t e f o r p r o b l e m s t h a n f o r n o n p r o b l e m s . W h e n t e n o r m o r e c o m m o n - m i s t a k e w r o n g a n s w e r s a r e n o t a v a i l a b l e , i t i s a s i m p l e m a t t e r t o r o u n d o u t t h e n u m b e r o f a n s w e r c h o i c e s w i t h s e l e c t e d ' r a n d o m ' n u m b e r s . I n c o n t r a s t , i t i s o f t e n v e r y d i f f i c u l t t o c o n s t r u c t p l a u s i b l e d i s t r a c t o r s f o r n o n p r o b l e m s . T h u s t h e g u e s s i n g r a t e i s m o r e e a s i l y l o w e r e d f o r p r o b l e m s t h a n n o n p r o b l e m s . 1 5 1 4 . 3 D i s t r a c t o r s f o r p r o b l e m s a r e n o t e a s i l y d i s m i s s e d a s o b v i o u s l y w r o n g . H o w e v e r , s o m e d i s t r a c t o r s f o r n o n p r o b l e m s m a y b e p r o m p t l y d i s m i s s e d a s o b v i o u s l y w r o n g b y m o s t s t u d e n t s . T h u s t h e a c t u a l g u e s s i n g s u c c e s s o n a n o n p r o b l e m m a y b e m u c h h i g h e r t h a n t h e t h e o r e t i c a l s u c c e s s r a t e , a n d i t m a y v a r y c o n s i d e r a b l y f r o m s t u d e n t t o s t u d e n t . T h e c h a n c e s u c c e s s r a t e f o r p r o b l e m s i s i n p r a c t i c e m u c h m o r e u n i f o r m a n d p r e d i c t a b l e f o r s t u d e n t s a n d f o r q u e s t i o n s . T h e d i f f i c u l t y l e v e l o f a m u l t i p l e - c h o i c e e x a m i s s o m e w h a t m o r e s t a b l e a n d p r e d i c t a b l e t h a n t h a t o f a s h o r t - a n s w e r e x a m . B e c a u s e t h e l e v e l o f d i s c r i m i n a t i o n n e e d e d t o d i s t i n g u i s h t h e c o r r e c t f r o m t h e i n c o r r e c t c a n b e m o r e e a s i l y c o n t r o l l e d i n t h e m u l t i p l e - c h o i c e f o r m a t , t h e d i f f i c u l t y l e v e l i s m o r e e a s i l y p r e d e t e r m i n e d . M o s t s h o r t - a n s w e r q u e s t i o n s c a n b e r e w r i t t e n a s m u l t i p l e - c h o i c e q u e s t i o n s w i t h o u t c h a n g i n g w h a t t h e i t e m s t e s t . 6 . 1 U n l e s s m a n y r e s p o n s e o p t i o n s a r e u s e d , t h e m u l t i p l e - c h o i c e i t e m w i l l b e s i g n i f i c a n t l y e a s i e r t h a n t h e s h o r t - a n s w e r i t e m . 6 . 2 A s h o r t - a n s w e r i t e m w h i c h r e s u l t s i n a s e e m i n g l y t r i v i a l m u l t i p l e - c h o i c e i t e m i s p r o b a b l y a l r e a d y a t r i v i a l q u e s t i o n i n t h e s h o r t - a n s w e r f o r m a t . 6 . 3 I t i s m o r e o f t e n t h e c a s e t h a t a m u l t i p l e - c h o i c e i t e m c a n n o t b e r e w r i t t e n i n s h o r t - a n s w e r f o r m a t t h a n t h e r e v e r s e . A f r e q u e n t e x a m p l e o f s u c h i n t r i n s i c a l l y m u l t i p l e - c h o i c e q u e s t i o n s a s k s t h e s t u d e n t t o s e l e c t t h e a n s w e r w h i c h i s m o s t b a s i c , l e a s t i d e a l , h i g h e s t b o i l i n g , a n d t h e l i k e . T h i s k i n d o f q u e s t i o n m u s t h a v e a l i m i t e d , w e l l - d e f i n e d s e t o f p o s s i b l e a n s w e r s a s p r o v i d e d b y t h e a n s w e r k e y . O n l y w h e n t h e d e f i n e d s e t o f r e s p o n s e s h a s a n u n a m b i g u o u s c l a s s n a m e s u c h a s c o l l i g a t i v e p r o p e r t y 0 r h a l i d e c a n s u c h a q u e s t i o n b e a s k e d i n s h o r t - a n s w e r f o r m a t . A l l t e s t q u e s t i o n s s h o u l d b e s i m i l a r i n d i f f i c u l t y . T h e o n l y t i m e t e s t q u e s t i o n s m u s t c o v e r a r a n g e o f d i f f i c u l t i e s i s w h e n a l l t h e . q u e s t i o n s a r e f r o m t h e s a m e n a r r o w s u b t o p i c . F o r t h e t y p i c a l r a n g e o f t o p i c s o n a c h e m i s t r y t e s t , t h e b e s t o v e r a l l d i s c r i m i n a t i o n b e t w e e n s t u d e n t s a c r o s s a l l g r a d i n g l e v e l s i s a c h i e v e d b y w r i t i n g e a c h o f t h e t e s t q u e s t i o n s t o b e o f m e d i u m d i f f i c u l t y . 7 . 1 T h e r a n g e o f t o p i c s o n a n e x a m i s e s t i m a t e d b y a c o e f f i c i e n t o f i n t e r n a l c o n s i s t e n c y . T h e a p p r o p r i a t e c o e f f i c i e n t f o r t h i s p u r p o s e i s t h e K u d e r - R i c h a r d s o n F o r m u l a 2 1 ( K R 2 1 ) - W h e n t h e K R 2 1 i s n o t n e a r 1 . 0 0 , t h e n t h e d i f f i c u l t y l e v e l s o f a l l t e s t i t e m s s h o u l d l i e b e t w e e n 0 . 4 0 a n d 0 . 7 0 . 7 . 2 1 5 2 W h e n t e a c h i n g a n d t e s t i n g a r e f o r c o m p l e t e m a s t e r y , a n d g r a d e s a r e b a s e d o n a p a s s - f a i l c r i t e r i o n , t h e c o n s i d e r a t i o n o f i t e m d i f f i c u l t i e 3 i s n o t r e l e v a n t . W h a t m a t t e r s i s w h e t h e r g e t t i n g a q u e s t i o n r i g h t i n d i c a t e s c o m p l e t e m a s t e r y o f t h e c o n c e p t . T h e p r o b a b l e e r r o r o f a t e s t s c o r e i s s m a l l e s t f o r h i g h s c o r e s r e g a r d l e s s o f t h e t e s t m e a n . C o n s e q u e n t l y , t h e p r e c i s i o n o f a t e s t c a n b e c o n c e n t r a t e d i n d i f f e r e n t a r e a s o f t h e s c o r e d i s t r i b u t i o n b y c o n t r o l l i n g t h e t e s t d i f f i c u l t y . 8 . 1 8 . 2 8 . 3 8 . 4 D i f f i c u l t t e s t s d i f f e r e n t i a t e m o s t p r e c i s e l y a m o n g t h e b e s t s t u d e n t s . I f t h e i n s t r u c t o r d e s i r e s o n l y t o d e f i n e t h e h i g h e s t r a n k o f s t u d e n t s , a v e r y d i f f i c u l t t e s t s h o u l d b e w r i t t e n . M a n y s t u d e n t s w i l l s c o r e z e r o , b u t t h e i n s t r u c t o r d o e s n o t i n t h i s i n s t a n c e w i s h t o d i s t i n g u i s h d i f f e r e n t ( I e g r e e s o f f a i l u r e . I t i s p a r t i c u l a r l y i m p o r t a n t o n a d i f f i c u l t t e s t t h a t i t e m d i s c r i m i n a t i o n b e u n i f o r m l y h i g h a n d g u e s s i n g e r r o r v e r y l o w . R e c a l l i t e m s a r e b e s t f o r t h e d i f f i c u l t t e s t . E a s y t e s t s d i f f e r e n t i a t e m o s t p r e c i s e l y a m o n g t h e p o o r e s t s t u d e n t s . I f a m i n i m u m a c c e p t a b l e l e v e l o f a c h i e v e m e n t i s t h e c r i t e r i o n b y w h i c h s t u d e n t s w i l l b e j u d g e d , a n e a s y t e s t s h o u l d b e w r i t t e n . M a n y s t u d e n t s w i l l s c o r e p e r f e c t , b u t t h e i n s t r u c t o r d e s i r e s i n t h i s i n s t a n c e o n l y t o d i s c r i m i n a t e b e t w e e n a d e q u a t e a n d i n a d e q u a t e a c h i e v e m e n t . M e d i u m - d i f f i c u l t y t e s t s p r o v i d e t h e b e s t a v e r a g e d i s c r i m i n a t i o n a c r o s s a l l l e v e l s o f a c h i e v e m e n t . P r e c i s i o n a t t h e b o t t o m i s n o t w h o l l y s a c r i f i c e d t o i m p r o v e i t a t t h e t o p , a s o n t h e e x t r e m e l y d i f f i c u l t t e s t , n o r t h e c o n v e r s e a s o n t h e v e r y e a s y t e s t . I n c r e a s i n g t h e l e n g t h o f t h e t e s t i n c r e a s e s p r e c i s i o n a t a l l l e v e l s o f a c h i e v e m e n t r e g a r d l e s s o f s c o r e d i s t r i b u t i o n . T h e e f f o r t r e q u i r e d t o a t t a i n a b a l a n c e d a n d r e p r e s e n t a t i v e t e s t i s a f u n c t i o n o f t h e f a c t o r s t r u c t u r e o f t h e t o p i c s a n d c o n c e p t s p r e s e n t e d i n t h e c o u r s e . T h e K R 2 1 i s a n i n d i r e c t m e a s u r e o f t h e c o n t e n t h o m o g e n e i t y o f a n e x a m i n a t i o n . 9 . 1 9 . 2 9 . 3 W h e n t h e m a t e r i a l t o b e c o v e r e d o n a t e s t i s h o m o g e n e o u s , s i m p l e r a n d o m s e l e c t i o n o f s p e c i f i c q u e s t i o n s f o r t h e t e s t ' p r o v i d e s a r e p r e s e n t a t i v e s a m p l e o f s t u d e n t a c h i e v e m e n t . W h e n t h e m a t e r i a l t o b e c o v e r e d c a n b e c l u s t e r e d i n t o h o m o g e n e o u s s e g m e n t s , 3 t r a t i f i e d - r a n d o m s a m p l i n g p r o v i d e s t h e m o s t r e p r e s e n t a t i v e s a m p l e o f t e s t q u e s t i o n s . W h e n t h e m a t e r i a l t o b e c o v e r e d i s h e t e r o g e n e o u s a n d d o e s n o t c o n t a i n h o m o g e n e o u s s u b t o p i c d i v i s i o n s , n o p r o c e d u r e c a n a s s u r e t h a t a s m a l l s a m p l e o f i t e m s w i l l a d e q u a t e l y r e p r e s e n t t h e m a t e r i a l i n t h e c o u r s e . T h i s i s u n l i k e l y t o b e t h e c a s e f o r t h e t y p i c a l c h e m i s t r y c o u r s e . 1 0 . 1 1 . 1 2 . 1 5 3 W h e n s t u d e n t s d o n o t a l l t a k e t h e s a m e f o r m o f a n e x a m i n a t i o n , a l l f o r m s o f t h e e x a m s h o u l d b e e q u i v a l e n t i n c o n t e n t a n d d i f f i c u l t y . T h e p r o c e d u r e s u s e d t o a c h i e v e c o n t e n t e q u i v a l e n c e a r e t h e s a m e a s t h o s e u s e d t o a t t a i n a b a l a n c e d a n d r e p r e s e n t a t i v e t e s t [ c f . 9 ] . S i m i l a r i t y i n d i f f i c u l t y i s m o r e a p r o d u c t o f j u d g e m e n t t h a n o f e x p l i c i t m e t h o d o l o g y . S t i l l , i t i s e a s i e r t o e s t i m a t e t h e d i f f i c u l t y o f m u l t i p l e - c h o i c e q u e s t i o n s t h a n o f s h o r t - a n s w e r q u e s t i o n s . T h e s t a n d a r d e r r o r o f m e a s u r e m e n t i s a m e a s u r e o f t h e p r e c i s i o n o f t h e t e s t . I t s h o u l d n o t b e u s e d a s t h e c r i t e r i o n b y w h i c h t o i m p r o v e t e s t s s i n c e i t i s o n l y w e a k l y r e l a t e d t o t e s t q u a l i t y . T h e s t a n d a r d e r r o r i s d i r e c t l y r e l a t e d t o t e s t l e n g t h , a n d w i l l d e c r e a s e p r o p o r t i o n a t e l y a s t h e t e s t i s m a d e l o n g e r . T o p i c s w h i c h s e e m t o l e n d t h e m s e l v e s o n l y t o e r r o r - p r o n e t e s t q u e s t i o n s s h o u l d b e r e p r e s e n t e d b y m o r e i t e m s o n t h e t e s t t h a n t o p i c s f o r w h i c h i t i s e a s y t o w r i t e g o o d q u e s t i o n s . 1 2 . 1 T h e e r r o r s o f m e a s u r e m e n t i n a t e s t s c o r e i n c r e a s e l i n e a r l y a s t h e n u m b e r o f t e s t q u e s t i o n s i n c r e a s e s w h e r e a s t h e r e l i a b i l i t y o f t h e s c o r e i n c r e a s e s g e o m e t r i c a l l y . 1 2 . 2 T h e i n c r e a s e i n r e l i a b i l i t y w h e n m o r e q u e s t i o n s a r e i n c l u d e d i n a t e s t i s g r e a t e s t w h e n t h e i n i t i a l r e l i a b i l i t y o f t h e t e s t i s l o w . M a r g i n a l i m p r o v e m e n t s i n t e s t r e l i a b i l i t y a r e s m a l l e s t f o r t e s t s w i t h h i g h r e l i a b i l i t i e s . 1 2 . 3 M o r e i n d i v i d u a l m e a s u r e m e n t s a r e g e n e r a l l y m a d e i n t h e a r e a w h e r e e a c h s i n g l e m e a s u r e m e n t i s l e a s t p r e c i s e s o t h a t t h e t o t a l o r a v e r a g e m e a s u r e m e n t i n t h a t a r e a i s a c c e p t a b l y r e l i a b l e . I f i n d i v i d u a l m e a s u r e m e n t s a r e h i g h l y r e l i a b l e , f e w e r n e e d b e m a d e f o r a n a c c u r a t e e s t i m a t e . C h a p t e r I I I A t t i t u d e m e a s u r e m e n t a n d s u r v e y b i a s I I I . A . I n t r o d u c t i o n T h e m o d u l a r s e l f - p a c e d a u d i o - t u t o r i a l s y s t e m b y w h i c h C E M 1 3 0 a n d 1 3 1 a r e t a u g h t i s q u i t e d i f f e r e n t f r o m t h e t y p i c a l u n i v e r s i t y c o u r s e . B e c a u s e o f t h i s d i f f e r e n c e , t h e S t u d e n t I n s t r u c t i o n a l R a t i n g S y s t e m ( S I R S ) f o r m s r e g u l a r l y d i s t r i b u t e d a t M i c h i g a n S t a t e U n i v e r s i t y f o r e n d - o f - t e r m c o u r s e e v a l u a t i o n s b y s t u d e n t s a r e i n a p p r o p r i a t e . A s e p a r a t e C o u r s e E v a l u a t i o n F o r m w a s d e s i g n e d s p e c i f i c a l l y f o r t h e s e c o u r s e s . T h e o n e - p a g e m a c h i n e - s c o r a b l e f o r m c o n s i s t s o f t w e n t y - t w o i t e m s g e n e r a l l y s i m i l a r t o t h o s e o f t h e S I R S f o r m s a n d w i t h t h e d i s t r i b u t i o n o f i t e m f o r m a t s l i s t e d i n T a b l e 3 . 1 . T a b l e 3 . 1 D i s t r i b u t i o n a n d d e s c r i p t i o n o f t h e d i f f e r e n t i t e m f o r m a t s Q u a n t i t y I t e m n o s . D e s c r i p t i o n t w o 1 - 2 C o m p a r i s o n o f c o u r s e w i t h l e c t u r e t w e l v e 3 - 1 4 S t a t e m e n t s w i t h a L i k e r t r e s p o n s e s c a l e * t h r e e 1 5 - 1 7 F o r c e d - c h o i c e f r o m a m o n g t e n c o u r s e a s p e c t s f i v e 1 8 - 2 2 M u l t i p l e - c h o i c e i t e m s a b o u t v a r y i n g t o p i c s * T y p i c a l L i k e r t s c a l e s r a n g e f r o m s t r o n g l y a g r e e t o s t r o n g l y d i s a g r e e . S o m e w h o r e v i e w e d t h e r e s u l t s o f t h e s u r v e y s t h o u g h t t h a t t h e d e f i n i t e l y p o s i t i v e w o r d i n g o f m a n y o f t h e L i k e r t i t e m s s p u r i o u s l y i n f l a t e d t h e p o s i t i v e r a t i n g s g e n e r a t e d b y t h e s u r v e y . T h e s e c r i t i c i s m s s t i m u l a t e d a s t u d y o f a c o m p a r i s o n b e t w e e n t h i s ' n a t u r a l l y b i a s e d ' L i k e r t f o r m a t a n d a n ' u n b i a s e d ' f o r m a t . 1 5 4 1 5 5 I I I . B . L i t e r a t u r e I I I . B . 1 . A t t i t u d e a s s e s s m e n t t e c h n i q u e s B e h a v i o r i s n o t n e c e s s a r i l y t h e b e s t i n d i c a t o r o f u n d e r l y i n g a t t i t u d e . B e c a u s e o f t i m e l i m i t a t i o n s o r d e p a r t m e n t a l r e q u i r e m e n t s , a s t u d e n t m a y b e c o n s t r a i n e d f o r o r a g a i n s t c h e m i s t r y c o u r s e s i n d e p e n d e n t o f h i s a t t i t u d e . A s G u t t m a n [ 7 4 ] s a y s b y w a y o f a n o l o g y : " I t i s c o n c e i v a b l e t h a t a p e r s o n i s ' a g a i n s t ' a c e r t a i n c a n d i d a t e b u t w i l l v o t e f o r h i m b e c a u s e h e i s e v e n m o r e ' a g a i n s t ' t h e o p p o s i n g c a n d i d a t e , o r h e i s ' a g a i n s t ' a g i v e n p r o p o s i t i o n b u t w i l l e n d o r s e i t , i f t h e o n l y a l t e r n a t i v e i s o n e h e c o n s i d e r s e v e n w o r s e ; o r h e m a y b e ' f o r ' a c a n d i d a t e b u t e v e n m o r e s o ' f o r ' t h e o p p o n e n t , o r ' f o r ' a p r o p o s i t i o n b u t e v e n m o r e s o ' f o r ' a n a l t e r n a t i v e o n e . " V e r y f e w s t u d e n t s w h o t a k e t h e s e i n t r o d u c t o r y c h e m i s t r y c o u r s e s a r e p l a n n i n g a m a j o r i n c h e m i s t r y , a n d t h e s m a l l n u m b e r o f s t u d e n t s t h a t d e c i d e f o r o r a g a i n s t a m a j o r i n c h e m i s t r y d u r i n g t h e s e c o u r s e s i s t o o s m a l l a s a m p l e t o u s e a s b e h a v i o r a l e v i d e n c e o f a t t i t u d e c h a n g e . T h e m o s t s t r a i g h t f o r w a r d m e t h o d o f d e t e r m i n i n g t h e a t t i t u d e s o f s t u d e n t s t o w a r d t h e c o u r s e a n d i t s v a r i o u s a s p e c t s i s t o s u r v e y t h e m i n a q u e s t i o n n a i r e . T h e r e a r e t h r e e m a j o r m e t h o d s o f c o n s t r u c t i n g a n a t t i t u d e s c a l e [ 7 5 ] : t h e m e t h o d o f e q u a l - a p p e a r i n g i n t e r v a l s d e v e l o p e d b y L . L . T h u r s t o n e [ 7 6 ] , t h e m e t h o d o f s u m m a t e d r a t i n g s d e s c r i b e d b y R e n s i s L i k e r t [ 7 7 ] , a n d t h e m e t h o d o f s c a l e a n a l y s i s i n t r o d u c e d b y L o u i s G u t t m a n [ 7 4 ] . I n a l l t h r e e m e t h o d s , a s i n g l e a t t i t u d e i s m e a s u r e d b y a c o l l e c t i o n o f i t e m s . 1 5 6 E q u a l - a p p e a r i n g i n t e r v a l s . I n t h i s m e t h o d a l a r g e c o l l e c t i o n o f s t a t e m e n t s i s r a n k e d o n a c o n t i n u u m f r o m m o s t f a v o r a b l e t o l e a s t f a v o r a b l e b y a j u d g i n g g r o u p . T h e j u d g e s a r e i n s t r u c t e d t o o r d e r t h e s t a t e m e n t s w i t h r e g a r d t o t h e n e g a t i v e o r p o s i t i v e n a t u r e o f t h e s t a t e m e n t n o t w i t h s t a n d i n g t h e i r p e r s o n a l o p i n i o n s . T h e s t a t e m e n t s a r e o r d e r e d a l o n g a n i n e o r e l e v e n p o i n t s c a l e , a n d t h e m e d i a n s c a l e p o i n t f o r t h e g r o u p o f j u d g e s i s t h e s c a l e v a l u e f o r a p a r t i c u l a r s t a t e m e n t . T h e s t a t e m e n t s w i t h t h e h i g h e s t i n t e r - j u d g e a g r e e m e n t a r e s e l e c t e d f o r t h e f i n a l s c a l e . A n e l e v e n ( o r n i n e ) i t e m q u e s t i o n n a i r e i s c o n s t r u c t e d w i t h o n e i t e m a t e a c h s c a l e p o i n t . A p e r s o n r e s p o n d i n g t o t h e s u r v e y i s r e q u e s t e d t o i n d i c a t e ' a g r e e ' , ' d i s a g r e e ' , o r ' u n d e c i d e d ' a b o u t e a c h s t a t e m e n t ; t h e m e a n s c a l e v a l u e o f t h e s t a t e m e n t s w i t h w h i c h h e a g r e e s i s h i s a t t i t u d e v a l u e . S u m m a t e d r a t i n g s . T h i s m e t h o d a l s o b e g i n s w i t h a l a r g e c o l l e c t i o n o f s t a t e m e n t s o n s o m e a t t i t u d e c o n t i n u u m . T h e p e r s o n r e s p o n d i n g t o a n i t e m i n d i c a t e s t h e e x t e n t o f h i s a g r e e m e n t a m o n g s e v e r a l c a t e g o r i e s . T h e m o s t c o m m o n r e s p o n s e k e y i s a f i v e - p o i n t s c a l e s u c h a s ( 1 ) s t r o n g l y a g r e e ( 2 ) a g r e e ( 3 ) n e u t r a l ( 4 ) d i s a g r e e ( 5 ) s t r o n g l y d i s a g r e e T h e i n i t i a l s e t o f i t e m s i s r e f i n e d b y s t a n d a r d t e c h n i q u e s o f i t e m a n a l y s i s a n d t h e m o s t d i s c r i m i n a t i n g i t e m s a r e i n c l u d e d i n t h e a t t i t u d e 1 5 7 s c a l e s o t h a t a b o u t h a l f o f t h e i t e m s h a v e ' s t r o n g l y a g r e e ' a s t h e f a v o r a b l e r e s p o n s e a n d h a l f h a v e ' s t r o n g l y d i s a g r e e ' a s t h e f a v o r a b l e r e s p o n s e . T h e r e s p o n s e s a r e w e i g h t e d a c c o r d i n g t o t h e i r o r d i n a l p o s i t i o n i n t h e r e s p o n s e k e y f r o m u n f a v o r a b l e t o f a v o r a b l e , a n d t h e s u m o f t h e r e s p o n s e s t o a l l t h e i t e m s i s t h e a t t i t u d e v a l u e . T h e L i k e r t m e t h o d i s m u c h m o r e f l e x i b l e t h a n t h e T h u r s t o n e m e t h o d s i n c e t h e n u m b e r o f r e s p o n s e s a n d t h e i r w o r d i n g c a n b e v a r i e d . R e s e a r c h s t u d i e s h a v e s h o w n t h e L i k e r t m e t h o d o f s c o r i n g i t e m s t o b e c o n s i s t e n t l y m o r e r e l i a b l e t h a n t h e T h u r s t o n e m e t h o d [ 7 8 ] . B u t t h e r e i s s t i l l n o e x t e r n a l c r i t e r i o n w h i c h a l l o w s o n e t o c l a i m f o r e i t h e r s c a l e t h a t a p a r t i c u l a r ' s c o r e ' i s t h e c u t t i n g p o i n t b e t w e e n f a v o r a b l e a n d u n f a v o r a b l e a t t i t u d e . A s E d w a r d s [ 7 5 ] n o t e s , t h e r e i s n o a s s u r a n c e t h a t t h e ' n e u t r a l ' r e s p o n s e c a t e g o r y i s t h e t r u e z e r o - p o i n t i n t h e a t t i t u c e c o n t i n u u m . S c a l e a n a l y s i s . G u t t m a n ' s m e t h o d d o e s p r o v i d e a n a p p r o x i m a t e c u t t i n g p o i n t a n d i s o f t e n a b l e t o e s t i m a t e t h e a b s o l u t e p e r c e n t f a v o r a b l e a t t i t u d e w i t h i n t h e g r o u p . T h i s m e t h o d b e g i n s w i t h a m u c h s m a l l e r c o l l e c t i o n o f i t e m s - - a b o u t a s m a n y a s t h e n u m b e r i n t h e f i n a l s u r v e y . T h e i t e m s a r e t e s t e d f o r ' s c a l a b i l i t y ' * b y h a v i n g a l a r g e g r o u p r e s p o n d t o t h e m a c c o r d i n g t o s o m e L i k e r t r e s p o n s e s c a l e . T h e f i n a l s e t o f i t e m s i n c l u d e s o n l y t h o s e w h i c h ' s c a l e ' , a l t h o u g h s e l d o m i f e v e r w i l l a 1 " I f t h e i t e m s a r e p e r f e c t l y s c a l e d , o n e w h o a g r e e d w i t h a m i l d l y f a v o r a b l e s t a t e m e n t w o u l d a g r e e w i t h a l l m o r e f a v o r a b l e s t a t e m e n t s , a n d o n e w h o d i s a g r e e d w i t h a m i l d l y u n f a v o r a b l e s t a t e m e n t w o u l d d i s a g r e e w i t h a l l m o r e u n f a v o r a b l e s t a t e m e n t s . 1 5 8 s e t o f i t e m s s c a l e p e r f e c t l y . T h e p e r s o n r e s p o n d i n g t o t h e a t t i t u d e s c a l e i n d i c a t e s b o t h h i s a g r e e m e n t o r d i s a g r e e m e n t , a n d h i s ' i n t e n s i t y o f f e e l i n g ' a b o u t h i s r e s p o n s e o n a L i k e r t - l i k e s c a l e . F o r t h e e n t i r e s u r v e y e a c h p e r s o n w i l l h a v e a n a g r e e m e n t s c o r e a n d a n i n t e n s i t y s c o r e . W h e n t h e s e t w o s c o r e s a r e p l o t t e d a g a i n s t e a c h o t h e r , a c u r v e w i t h a m i n i m u m i n t e n s i t y p o i n t a t a p a r t i c u l a r a g r e e m e n t s c o r e w i l l u s u a l l y r e s u l t . T h i s a g r e e m e n t s c o r e i s t h e c u t t i n g p o i n t b e t w e e n f a v o r a b l e a n d u n f a v o r a b l e a t t i t u d e i n t h e g r o u p s u r v e y e d . T h e t e c h n i q u e f a l t e r s w h e n t h e g e n e r a l a t t i t u d e i s e x t r e m e l y s k e w e d u n l e s s a l a r g e n u m b e r o f i t e m s n e a r t h e i n t e n s i t y m i n i m u m a r e u s e d . T h u s i t i s p o s s i b l e t o m e a s u r e t h e a b s o l u t e a t t i t u d e o f a g r o u p t o w a r d a s i n g l e t h i n g . B u t a s i n g l e c o u r s e e v a l u a t i o n . f o r m e l i c i t s i n f o r m a t i o n a b o u t m a n y s t u d e n t a t t i t u d e s - - t o w a r d t h e c o u r s e , t o w a r d t h e i n s t r u c t o r , a n d a b o u t s p e c i f i c c h a r a c t e r i s t i c s o f e a c h . I t w o u l d r e q u i r e a t l e a s t f i v e o r t e n s c a l a b l e i t e m s t o d e t e r m i n e e a c h s e p a r a t e a t t i t u d e a n d w o u l d i n c r e a s e t h e l e n g t h o f t h e c u r r e n t f o r m f r o m t w e n t y - t w o t o n e a r l y o n e h u n d r e d i t e m s . S i n c e t h e d e v e l o p m e n t o f t h e T h u r s t o n e a n d L i k e r t t e c h n i q u e s o v e r f o r t y y e a r s a g o , n o n e w t e c h n i q u e s h a v e r e c e i v e d w i d e a c c e p t a n c e . A s S h a w [ 7 9 ] o b s e r v e d i n 1 9 6 7 , " . . . t h e r e s e e m t o h a v e b e e n f e w m a j o r a d v a n c e s o r b r e a k t h r o u g h s i n t e c h n i q u e s o f s c a l e c o n s t r u c t i o n s i n c e t h e T h u r s t o n e a n d L i k e r t m e t h o d s w e r e d e v e l o p e d . " ” T h e o v e r w h e l m i n g m a j o r i t y o f s c a l e s h a s b e e n d e v e l o p e d b y e i t h e r t h e T h u r s t o n e o r t h e L i k e r t t e c h n i q u e . H ” T h i s i s p r o b a b l y a r e s u l t o f t h e g r e a t e r c o m p l e x i t y o f t h e n e w e r p r o c e d u r e s . " 1 5 9 F o r p r a c t i c a l r e a s o n s , v a r i a t i o n s o f t h e L i k e r t m e t h o d o f s u m m a t e d r a t i n g s a r e m o s t o f t e n u s e d f o r p o s t c o u r s e e v a l u a t i o n s u r v e y s . T o s i m p l i f y s o m e w h a t t h e e n s u i n g d i s c u s s i o n , t h e b r o a d c l a s s o f L i k e r t v a r i a n t s m a y b e d i v i d e d i n t o t h r e e t y p e s o f i t e m f o r m a t . T h e f i r s t t y p e i s t h e c l a s s i c L i k e r t s t a t e m e n t w i t h r e s p o n s e s o n a n a g r e e - d i s a g r e e s c a l e . T h e s e c o n d t y p e i s t h e e v a l u a t i v e i t e m . 5 ‘ R e s p o n s e s t o t h e n e u t r a l s t a t e m e n t i n a n e v a l u a t i v e i t e m a r e a l o n g a . j u d g e m e n t a l s c a l e s u c h a s s u p e r i o r - i n f e r i o r , l i k e - d i s l i k e , a n d s u c h . i . T h e ' e m o t i o n a l c o n t e n t ' o f t h e i t e m i s i n t h e r e s p o n s e k e y a n d n o t i n t h e 1 1 . ! i t e m s t e m . A t h i r d t y p e i s p a t t e r n e d a f t e r t h e m u l t i p l e - c h o i c e t e s t q u e s t i o n i n w h i c h t h e a n s w e r c h o i c e s a r e s h o r t d e s c r i p t i o n s o f b e h a v i o r o r o c c u r r e n c e . T h i s t h i r d t y p e w i l l b e d e s i g n a t e d t h e ' d e s c r i p t i v e ' f o r m a t . I n a l l t h r e e t y p e s , t h e r e s p o n s e s a r e o r d e r e d a n d a s s i g n e d n u m e r i c a l v a l u e s . T h e a t t i t u d e s c o r e o f a n i n d i v i d u a l i s t h e s u m m a t i o n o f h i s i n d i v i d u a l r e s p o n s e s , a n d t h e g r o u p m e a n i s t h e a v e r a g e r e s p o n s e v a l u e f o r t h e s u r v e y o r a n y s i n g l e i t e m . I I I . B . 2 . E f f e c t s o f w o r d i n g L a n d s t r u c t u r e i n s u r v e y i t e m s E v e n t h e s m a l l e s t c h a n g e i n a s u r v e y i t e m m a y g r e a t l y a f f e c t t h e p a t t e r n o f r e s p o n s e . T h e d i s c u s s i o n o f t h e s e c h a n g e s a n d t h e i r e f f e c t s i s c o m p l i c a t e d b y t h e i r i n t e r c o r r e l a t i o n s , o v e r l a p p i n g n o m e n c l a t u r e , a n d l a c k o f s t a n d a r d i z e d t a x o n o m y . T h e m a n y s p e c i f i c c h a n g e s i n v e s t i g a t e d b y d i f f e r e n t a u t h o r s h a v e b e e n o r g a n i z e d i n t o f o u r b r o a d c a t e g o r i e s : ( a ) d i r e c t i o n a l i t y , ( b ) f i x e d a n d v a r i a b l e r e s p o n s e s , 1 6 0 ( c ) n u m b e r o f c h o i c e s , a n d ( d ) s p e c i f i c w o r d i n g . T h e l i t e r a t u r e i n e a c h o f t h e s e a r e a s w i l l b e b r i e f l y r e v i e w e d . I I I . B . 2 . a . D i r e c t i o n a l i t y i n i t e m s o r r e s p o n s e s T h r e e r e l a t e d k i n d s o f d i r e c t i o n a l i t y m a y a f f e c t s u r v e y r e s p o n s e . F i r s t , t h e d i r e c t i o n o f f a v o r a b i l i t y i n t h e a t t i t u d e s u r v e y q u e s t i o n m a y 1 . . . . . . i n f l u e n c e t h e r e s p o n s e . T h e s t a t e m e n t ' H e i s a g o o d i n s t r u c t o r ' m a y n o t e l i c i t a p a t t e r n o f r e s p o n s e s w h i c h i s t h e m i r r o r i m a g e o f ' H e i s a p o o r i n s t r u c t o r . ' S e c o n d , t h e o r d e r o f p r e s e n t a t i o n i n a c o m p o u n d s e n t e n c e m a y i n f l u e n c e t h e r e s p o n s e . A g a i n t h e r e m a y n o t b e m i r r o r - i m a g e r e s p o n s e d i s t r i b u t i o n s w h e n t w o s e n t e n c e s s u c h a s ' I p r e f e r l e c t u r e t o l a b ' a n d ' I p r e f e r l a b t o l e c t u r e ' a r e c o m p a r e d . T h i r d , t h e o r d e r i n w h i c h r e s p o n s e c a t e g o r i e s a r e p r e s e n t e d m a y a f f e c t r e s p o n s e s . I I I . B . 2 . a . i . D i r e c t i o n o f f a v o r a b i l i t y i n t h e i t e m s t e m P o s i t i v e l y s t a t e d L i k e r t i t e m s a r e w i d e l y b e l i e v e d t o b e s u b j e c t t o a r e s p o n s e b i a s k n o w n a s a c q u i e s c e n c e . A s t u d e n t w h o ' a c q u i e s c e s ' w o u l d t e n d t o a g r e e w i t h a p o s i t i v e l y s t a t e d e v a l u a t i o n i t e m , t h u s f a l s e l y i n f l a t i n g t h e m e a n . C r o n b a c h [ 8 0 ] a n d G u i l f o r d [ 8 1 ] b o t h d i s c u s s a c q u i e s c e n c e a s a s o u r c e o f b i a s . R o r e r [ 8 2 ] d e m u r s , " . . . t h e i m p o r t a n c e o f a c q u i e s c e n c e i s s o w i d e l y a c c e p t e d t o d a y t h a t i t h a s b e c o m e n e c e s s a r y t o d e m o n s t r a t e i t s n o n e x i s t e n c e ( r a t h e r t h a n i t s e x i s t e n c e , a s w o u l d m o r e a p p r o p r i a t e l y b e t h e c a s e ) . " B a s e d o n a r e v i e w o f t h e l i t e r a t u r e , R o r e r [ 8 3 ] c o n c l u d e d t h a t i n n o i n s t a n c e w a s 1 6 1 a c q u i e s c e n c e u n e q u i v o c a l l y d e m o n s t r a t e d t o b e i m p o r t a n t . E l l i o t [ 8 4 ] c o m p a r e d p o s i t i v e l y s t a t e d L i k e r t i t e m s w i t h t h e r e v e r s e o r n e g a t i v e v e r s i o n s o f t h e s a m e i t e m s . T h e d i r e c t i o n o f t h e r e s u l t i n g b i a s d e p e n d e d o n t h e c o n t e n t o f t h e i t e m s . S o m e t i m e s a c q u i e s c e n c e t o t h e p o s i t i v e i t e m s p r o d u c e d t h e h i g h e r m e a n s ; o t h e r t i m e s o v e r c o m p e n s a t i o n o n t h e n e g a t i v e i t e m s p r o d u c e d t h e h i g h e r m e a n s . T h e m a g n i t u d e o f t h e b i a s a l s o d e p e n d e d o n t h e a p t i t u d e l e v e l o f t h e s u b j e c t s r e s p o n d i n g t o t h e s u r v e y . T h i s n o n u n i f o r m o c c u r r e n c e o f b i a s m a y b e e x p l a i n e d b y t h e o b s e r v a t i o n o f D u B o i s [ 8 5 ] t h a t t h e r e a r e t w o t y p e s o f c o n s i s t e n t r e s p o n d e r s . P e o p l e w h o - w o u l d r e s p o n d ' n e u t r a l ' o r ' u n c e r t a i n ' w h e n p r e s e n t e d s i m u l t a n e o u s l y w i t h b o t h p o l a r a l t e r n a t i v e s m a y ' a g r e e ' t o b o t h o r ' d i s a g r e e ' w i t h b o t h w h e n p r e s e n t e d s e p a r a t e l y . D u B o i s f o u n d a b o u t s i x p e r c e n t o f t h e r e s p o n s e s i n h i s s t u d y i n t h e a g r e e - a g r e e c a t e g o r y a n d a b o u t t w e n t y - f i v e p e r c e n t i n t h e d i s a g r e e - d i s a g r e e c a t e g o r y . W i t h a n y s h i f t i n a t t i t u d e , t h e a g r e e - a g r e e p e r s o n w i l l s h o w p o s i t i v e b i a s w h i l e . t h e d i s a g r e e - d i s a g r e e p e r s o n w i l l s h o w n e g a t i v e b i a s . D u B o i s d i d n o t d e s c r i b e t h e c o n t e n t o f t h e s c a l e s u s e d i n h i s s t u d i e s i n t h e s a m e t e r m s a s d i d E l l i o t , b u t t h e l a r g e d i s a g r e e - d i s a g r e e r e s p o n s e p a t t e r n i s c o n s o n a n t w i t h E l l i o t ' s r e s u l t s o n h e r o p i n i o n - n e u t r a l s c a l e a n d t h e a g r e e - a g r e e r e s p o n s e p a t t e r n i s c o n s i s t e n t w i t h t h e r e s u l t s o f h e r a u t h o r i t a r i a n i s m s c a l e . F r o m t h e m e a g e r e x a m p l e s g i v e n b y t h e t w o a u t h r o s t h i s c o m p o s i t e e x p l a n a t i o n s e e m s r e a s o n a b l e . 1 6 2 T h e c o n c l u s i o n d r a w n f r o m t h e s e s t u d i e s o f D u B o i s a n d E l l i o t i s t h a t t h e p o s i t i v e o r n e g a t i v e b i a s p r e s e n t i n L i k e r t i t e m s d e p e n d s o n t h e s p e c i f i c c o n t e n t o f t h e s t a t e m e n t a n d o n t h e a p t i t u d e o f t h e s t u d e n t r e s p o n d i n g t o t h e s u r v e y . I I I . B . 2 . a . i i . O r d e r o f p r e s e n t a t i o n i n a c o m fl e x s t a t e m e n t A n o t h e r t y p e o f i t e m w h i c h s h o w s t h e e f f e c t s o f d i r e c t i o n a l i t y i s t h e ' d o u b l e - b a r r e l e d ' o r ' r a t h e r - t h a n ' s t a t e m e n t . C a n t r i l [ 8 6 ] o b s e r v e d t h a t t h e o r d e r i n w h i c h a l t e r n a t i v e s i n a c o m p o u n d s e n t e n c e a p p e a r c a n s o m e t i m e s i n f l u e n c e t h e r e s p o n s e s . " I t a p p e a r s t h a t w h e n t h e q u e s t i o n i s a f a i r l y c o m p l i c a t e d o n e t h e r e i s a t e n d e n c y f o r t h e r e s p o n d e n t t o s e l e c t t h e l a s t , m o r e e a s i l y r e m e m b e r e d a l t e r n a t i v e . " " I n a n u m b e r o f o t h e r c a s e s , i n t e r c h a n g i n g t h e p o s i t i o n o f t h e a l t e r n a t i v e s f a i l e d t o p r o d u c e s i g n i f i c a n t d i f f e r e n c e s . " T h i s l a c k o f c o n s i s t e n c y i n t h e d i r e c t i o n a l i t y e f f e c t m a y a g a i n b e d u e t o t h e i n f l u e n c e o f c o n t e n t d e m o n s t r a t e d b y E l l i o t . I I I . B . 2 . a . i i i . D i r e c t i o n o f f a v o r a b i l i t y i n r e s p o n s e k e L s T h e l a s t d i r e c t i o n a l i t y e f f e c t c o n s i d e r e d h e r e i s t h e o r d e r i n w h i c h r e s p o n s e s a r e p r e s e n t e d i n t h e k e y . B l u m b e r g [ 8 7 ] f o u n d n o e f f e c t . " I n p a r t i c u l a r , i t d o e s n o t m a t t e r w h e t h e r ( a ) t h e ' g o o d ' e n d o f a g r a p h i c s c a l e i s l o c a t e d a t t h e l e f t , r i g h t , t o p , o r b o t t o m , ( b ) g r a p h i c s c a l e s o r n u m e r i c a l r a t i n g s a r e u s e d , ( c ) t h e o r d e r o f p r e s e n t a t i o n i s o n e n a m e a t a t i m e , o n e t r a i t a t a t i m e , o r a m a t r i x w i t h f r e e c h o i c e 1 6 3 o f o r d e r , a n d ( d ) s u b j e c t s p r e s e n t e d w i t h t h e m a t r i x c h o o s e t o f i l l o u t o n e n a m e a t a t i m e o r o n e t r a i t a t a t i m e . " I n c o n t r a s t , M a t h e w s [ 8 8 ] f o u n d t h a t t h e r e s p o n s e w a s s l i g h t l y b i a s e d t o w a r d t h e c a t e g o r i e s o n t h e l e f t . H e s u g g e s t e d t h a t r e a d i n g h a b i t s m a y i n f l u e n c e t h e r e s p o n s e w h e n t h e p e r s o n r e s p o n d i n g t o t h e i t e m d o e s n o t h a v e a s t r o n g s t a b l e o p i n i o n . M a t h e w s d i d n o t e x a m i n e t h e e f f e c t s o f t o p - t o - b o t t o m o r d e r i n g o f t h e r e s p o n s e k e y . I I I . B . 2 . b . F i x e d a n d v a r i a b l e r e s p o n s e k e y s C r o n b a c h [ 8 9 ] c o n s i d e r s t h e f i x e d - r e s p o n s e f o r m a t p a r t i c u l a r l y p r o n e t o t h r e e k i n d s o f b i a s : a c q u i e s c e n c e , e v a s i v e n e s s , a n d e x t r e m i s m . A c q u i e s c e n c e h a s a l r e a d y b e e n d i s c u s s e d i n a p r e v i o u s s e c t i o n . E v a s i v e n e s s , w h i c h s o m e a u t h o r s t e r m ' c e n t r a l t e n d e n c y ' i s t h e i n c l i n a t i o n t o c h o o s e t h e n e u t r a l o r m i d d l e c a t e g o r y . E v a s i v e n e s s - l e a d s t o a n a r r o w i n g o f t h e d i s t r i b u t i o n a n d a l e s s e n i n g o f d i s t i n c t i o n s a m o n g w h a t a r e r a t e d . I n c o n t r a s t , e x t r e m i s m i s t h e t e n d e n c y t o c h o o s e o n e o r t h e o t h e r o f t h e e n d c a t e g o r i e s . T h e r e s u l t o f e x t r e m i s m i s t o s k e w t h e d i s t r i b u t i o n . C r o n b a c h s u g g e s t s t h r e e w a y s t o d e c r e a s e b i a s . O n e p o s s i b i l i t y i s t o r e d u c e t h e n u m b e r o f c h o i c e s f o r t h e L i k e r t i t e m f r o m f i v e t o t w o . W i t h o n l y t w o c h o i c e s , t h e r e w o u l d b e n o e v a s i v e n e s s o r e x t r e m i s m , b u t i t s e e m s l i k e l y t h a t a c q u i e s c e n c e m i g h t i n c r e a s e . A n o t h e r p o s s i b i l i t y i s t o m o r e o b j e c t i v e l y d e f i n e t h e r e s p o n s e c a t e g o r i e s f o r t h e L i k e r t o r e v a l u a t i v e i t e m s . T h i s i s a k i n t o t h e m u l t i p l e - c h o i c e f o r m a t 1 6 4 w h e r e i n e a c h r e s p o n s e i s a s h o r t d e s c r i p t i o n t y p i c a l o f t h a t s c a l e p o i n t . S t i l l a t h i r d p o s s i b i l i t y i s t o u s e a f o r c e d - c h o i c e f o r m a t ( v . i . ) i n w h i c h a l l t h e c h o i c e s a p p e a r e q u a l l y f a v o r a b l e y e t d i f f e r a l o n g s o m e o t h e r d i m e n s i o n . B o t h t h e f o r c e d - c h o i c e a n d t h e d e s c r i p t i v e m u l t i p l e - c h o i c e a r e v a r i a b l e - r e s p o n s e i t e m s , i n c o n t r a s t t o t h e f i x e d - r e s p o n s e L i k e r t a n d e v a l u a t i v e i t e m s . r G u i l f o r d [ 8 1 ] a g r e e s w i t h C r o n b a c h t h a t f i x e d - r e s p o n s e i t e m s 1 . - a r e s u b j e c t t o v a r i o u s f o r m s o f b i a s . H o w e v e r , h e c o n t i n u e s , " . . . t h e r e a r e b e t t e r w a y s o f d e a l i n g w i t h t h e s a m e p r o b l e m s a n d . . . i i t h e f o r c e d - c h o i c e d e v i c e i n t r o d u c e s s o m e m e a s u r e m e n t p r o b l e m s t h a t m a y b e w o r s e t h a n t h o s e t h e y w e r e i n t e n d e d t o c o r r e c t . " G u i l f o r d f a v o r s t h e d e s c r i p t i v e m u l t i p l e - c h o i c e f o r m a t w i t h r e s p o n s e s g i v e n i n o p e r a t i o n a l t e r m s . H e c o u n s e l s a g a i n s t t h e u s e o f a n e v a l u a t i v e f o r m a t w i t h s u c h c a t e g o r i e s a s ' e x c e l l e n t ' o r ' p o o r ' b e c a u s e t h e s e t e r m s a r e n o t w e l l d e f i n e d . B o t h C r o n b a c h a n d G u i l f o r d m a r s h a l l a t t r a c t i v e t h e o r e t i c a l a r g u m e n t s t o d i s c o u r a g e t h e u s e o f t y p i c a l L i k e r t a n d e v a l u a t i v e i t e m s . Y e t n e i t h e r c i t e s p e c i f i c e x p e r i m e n t a l e v i d e n c e t h a t f i x e d - r e s p o n s e i t e m s a r e m o r e b i a s e d t h a n v a r i a b l e - r e s p o n s e i t e m s . S e v e r a l s t u d i e s o f f i x e d - a n d v a r i a b l e - r e s p o n s e f o r m a t s h a v e b e e n m a d e , b u t t h e r e s u l t s a r e m i x e d . S h a r o n [ 9 0 ] c o n s t r u c t e d a f o r c e d - c h o i c e a t t i t u d e s u r v e y w h i c h w a s q u i t e r e s i s t e n t t o b i a s . E a c h a t t i t u d e i t e m c o n s i s t e d o f t w o c h a r a c t e r i s t i c s k n o w n t o c o r r e l a t e w i t h t e a c h i n g e f f e c t i v e n e s s , a n d t w o 1 6 5 f a v o r a b l e b u t u n c o r r e l a t e d c h a r a c t e r i s t i c s . T h e s t u d e n t s w e r e r e q u e s t e d t o c h e c k t h e t w o m o s t d e s c r i p t i v e s t a t e m e n t s f r o m e a c h s e t o f f o u r . T h e t o t a l n u m b e r o f r e l e v a n t s t a t e m e n t s c h e c k e d b y t h e s t u d e n t w a s t h e r a t i n g s c o r e f o r t h e i n s t r u c t o r . T h e d e v e l o p m e n t o f a g o o d f o r c e d - c h o i c e s u r v e y i n v o l v e s t h e s e l e c t i o n a n d s c a l i n g o f a l a r g e n u m b e r o f s t a t e m e n t s f o r b o t h g e n e r a l f a v o r a b i l i t y a n d f o r c o r r e l a t i o n 9 . . . . . . w i t h t e a c h i n g e f f e c t i v e n e s s . 1 T h e f o r c e d - c h o i c e f o r m a t i s r e a l l y a h y b r i d b e t w e e n t h e L i k e r t ( s u m m a t e d r a t i n g s a n d t h e T h u r s t o n e s c a l e d s t a t e m e n t s . I n a d d i t i o n t o b e i n g a s d i f f i c u l t t o c o n s t r u c t a s a n y s c a l e d s u r v e y , t h e f o r c e d - c h o i c e D s u r v e y c a n n o t b e u s e d f o r d i a g n o s t i c p u r p o s e s a s c a n m a n y s i m p l e r L i k e r t s c a l e s . I t d o e s n o t i n d i c a t e s t r e n g t h s a n d w e a k n e s s e s , b u t o n l y p r o v i d e s a n o v e r a l l r a t i n g o f t h e i n s t r u c t o r ' s e f f e c t i v e n e s s . I t i s m e n t i o n e d h e r e a s a s p e c i a l v a r i a n t o f t h e d e s c r i p t i v e f o r m a t . S m i t h [ 9 1 ] m a i n t a i n s t h a t t h e r e i s l e s s a c q u i e s c e n c e i n t h e d e s c r i p t i v e f o r m a t t h a n i n t h e L i k e r t f i x e d - r e s p o n s e f o r m a t . H e a l s o s u g g e s t s t h a t t h e s o c i a l d e s i r e a b i l i t y o f t h e m u l t i p l e - c h o i c e r e s p o n s e s b e h e l d c o n s t a n t t o e l i m i n a t e a f a v o r a b i l i t y b i a s . S t o c k f o r d [ 9 2 ] c o m p a r e d a d e s c r i p t i v e f o r m a t w i t h a n e v a l u a t i v e f o r m a t . H e f o u n d t h a t t h e e v a l u a t i v e s c a l e w a s m o r e p o s i t i v e l y b i a s e d a n d l e s s r e l i a b l e t h a n t h e d e s c r i p t i v e s c a l e . B r y a n [ 9 3 ] a l s o c o m p a r e d a n e v a l u a t i v e w i t h a d e s c r i p t i v e f o r m a t . T h e r e w a s n o s i g n i f i c a n t d i f f e r e n c e b e t w e e n t h e t w o s c a l e s a l t h o u g h t h e e v a l u a t i v e f o r m a t o f t e n s h o w e d a s m a l l p o s i t i v e b i a s . T h e d e s c r i p t i o n s p r o v i d e d i n t h e 1 6 6 m u l t i p l e - c h o i c e i t e m s u s e d b y B r y a n h a d l a b e l s c o r r e s p o n d i n g w i t h t h e e v a l u a t i v e r e s p o n s e c h o i c e s w h e r e a s t h e d e s c r i p t i v e i t e m s u s e d b y S t o c k f o r d w e r e n o t t h u s l a b e l e d . T h i s d i f f e r e n c e m a y e x p l a i n t h e d i f f e r e n c e i n l e n i e n c y b i a s e a c h a u t h o r o b s e r v e d . S h o w e r s [ 9 4 ] c o m p a r e d L i k e r t , e v a l u a t i v e , a n d d e s c r i p t i v e f o r m a t s o n t h e S t u d e n t I n s t r u c t i o n a l R a t i n g S y s t e m f o r m s u s e d a t M i c h i g a n S t a t e U n i v e r s i t y . V i r t u a l l y a l l i t e m m e a n s w e r e m a r k e d l y p o s i t i v e , b u t t h e r e w e r e s i g n i f i c a n t r e l a t i v e d i f f e r e n c e s b e t w e e n f o r m s . T h e e v a l u a t i v e f o r m a t w a s c o n s i s t e n t l y l e s s b i a s e d t h a n t h e L i k e r t f o r m a t - T h e d e s c r i p t i v e f o r m a t v a r i e d f r o m m o s t b i a s e d t o l e a s t b i a s e d . T h e r e l i a b i l i t i e s o f t h e t h r e e t y p e s o f i t e m s w e r e c o m p a r a b l e . " T h e c l a i m e d s u p e r i o r i t y , " c o n c l u d e d S h o w e r s , " o f m u l t i p l e c h o i c e o v e r f i x e d a l t e r n a t i v e r e s p o n s e c u e f o r m a t s i n r e d u c i n g b i a s w a s n o t s u b s t a n t i a t e d b y t h e r e s u l t s o f t h i s s t u d y o f l e n i e n c y . " H o w e v e r , n e i t h e r t h e e v a l u a t i v e n o r t h e d e s c r i p t i v e i t e m s S h o w e r s u s e d w e r e r i g o r o u s e x a m p l e s . T h e r e s p o n s e c a t e g o r i e s f o r t h e e v a l u a t i v e i t e m s a r e b e t t e r c h a r a c t e r i z e d a s d e s c r i p t i v e - e v a l u a t i v e . E a c h e v a l u a t i v e l a b e l s u c h a s ' s u p e r i o r ' o r ' b e l o w a v e r a g e ' w a s a c c o m p a n i e d b y a s h o r t d e f i n i n g p h r a s e . T h e r e s p o n s e c a t e g o r i e s f o r t h e d e s c r i p t i v e i t e m s w e r e n o t t r u e d e s c r i p t i o n s b u t r a t h e r o n e o r t w o w o r d p r o m p t s . F u r t h e r , o n l y t h e m i d d l e a n d e n d s o f t h e s c a l e w e r e d e f i n e d b y s u c h t e r m s ; t h e s e c o n d a n d f o u r t h ( o f t h e f i v e ) c h o i c e s w e r e u n l a b e l e d . B e c a u s e o f t h e s e d e p a r t u r e s f r o m t h e ' c l a s s i c ' p a t t e r n s , S h o w e r s ' r e s u l t s m a y n o t g e n e r a l l y h o l d . 1 6 7 E l l i o t [ 8 4 ] c o m p a r e d v a r i a b l e - r e s p o n s e d e s c r i p t i v e i t e m s w i t h f i x e d - r e s p o n s e L i k e r t i t e m s s t a t e d b o t h p o s i t i v e l y a n d n e g a t i v e l y . N o s i n g l e f o r m a t w a s u n i f o r m l y l e a s t o r m o s t b i a s e d . T h e e f f e c t o f s u r v e y c o n t e n t o n t h e b i a s e s o f d i f f e r e n t f o r m a t s m a y s e r v e t o r e c o n c i l e s o m e o f t h e c o n f l i c t i n g c o n c l u s i o n s p u b l i s h e d b y s e v e r a l a u t h o r s . O n t h e a u t h r o i t a r i a n i s m s c a l e , t h e d e s c r i p t i v e m u l t i p l e - c h o i c e f o r m a t w a s l e s s b i a s e d a t a l l a p t i t u d e l e v e l s t h a n t h e t r a d i t i o n a l p o s i t i v e l y - s t a t e d L i k e r t f o r m a t . S i n c e a u t h o r s s t u d y i n g l e n i e n c y b i a s m o s t o f t e n u s e d t h e a u t h o r i t a r i a n i s m o r F - s c a l e , t h e c o n c l u s i o n t h a t f i x e d - r e s p o n s e i t e m s a r e m o r e b i a s e d t h a n d e s c r i p t i v e i t e m s i s r e a s o n a b l e . B u t t h e c o n t e n t o f a c o u r s e e v a l u a t i o n f o r m m o s t c l o s e l y r e s e m b l e s E l l i o t ' s t w o ' p e r s o n a l ' c a t e g o r i e s . W i t h t h i s s u r v e y c o n t e n t , t h e p o s i t i v e L i k e r t i t e m s w e r e a l w a y s l e s s b i a s e d t h a n t h e d e s c r i p t i v e i t e m s , a n d t h e n e g a t i v e L i k e r t i t e m s w e r e u s u a l l y m o s t b i a s e d . T h u s t h e c o n c l u s i o n o f S h o w e r s t h a t d e s c r i p t i v e i t e m s a r e n o t l e s s b i a s e d t h a n o t h e r f o r m a t s d o e s n o t n e c e s s a r i l y c o n t r a d i c t o t h e r c i t e d l i t e r a t u r e w h e n s u r v e y c o n t e n t i s c o n s i d e r e d . I I I . B . 2 . c . N u m b e r o f r e s p o n s e c h o i c e s A l t h o u g h t h e m o s t c o m m o n n u m b e r o f r e s p o n s e c a t e r o r i e s i s f i v e , d i f f e r e n t a t t i t u d e s c a l e s h a v e b e e n c o n s t r u c t e d w i t h a s m a n y a s a h u n d r e d o r a s f e w a s t w o c h o i c e s . D o e s i n c r e a s i n g t h e n u m b e r o f c a t e g o r i e s i n c r e a s e t h e s u r v e y r e s p o n s e r e l i a b i l i t y ? T h i s q u e s t i o n 1 6 8 h a s b e e n d i s c u s s e d t h e o r e t i c a l l y a n d e x a m i n e d e x p e r i m e n t a l l y b y m a n y a u t h o r s . C r o n b a c h [ 8 9 ] a r g u e s t h a t i n c r e a s i n g t h e n u m b e r o f c h o i c e s b e y o n d t w o o n l y a l l o w s d i f f e r e n t b i a s e s t o s p u r i o u s l y i n f l a t e t h e r e l i a b i l i t y . T h e i n c l u s i o n o f a n ' u n d e c i d e d ' c a t e g o r y i n a n ' a g r e e - d i s a g r e e ' k e y m a y l e a d t o c e n t r a l - t e n d e n c y o r e v a s i v e n e s s b i a s . T h e d i f f e r e n t i a t i o n b e t w e e n ' a g r e e ' a n d ' s t r o n g l y a g r e e ' m a y a l l o w e x t r e m i s m t o b i a s t h e r e s u l t s . C r o n b a c h a s s e r t s t h a t w h i l e a g r e a t e r n u m b e r o f r e s p o n s e c h o i c e s m a y i n c r e a s e t h e r e l i a b i l i t y , a n y t h i n g w h i c h a l l o w s r e s p o n s e s e t s t o b i a s t h e r e s u l t s c a n o n l y l o w e r t h e l o g i c a l v a l i d i t y . ‘ R e m m e r s [ 4 9 , 5 1 ] e x a m i n e d t h e r e l i a b i l i t y o f a t t i t u d e s c o r e s f o r t w o - , t h r e e - , f i v e - , a n d s e v e n - c h o i c e a t t i t u d e i t e m s . T h e S p e a r m a n - B r o w n p r o p h e c y f o r m u l a c o r r e c t l y p r e d i c t e d t h e r e l i a b i l i t i e s o f a l l b u t t h e s e v e n - c h o i c e i t e m s . T h u s u n t i l s e v e n c h o i c e s w a s r e a c h e d , t h e a t t i t u d e i t e m b e h a v e d l i k e t h e m u l t i p l e - c h o i c e t e s t i t e m a n d i n c r e a s e d i n r e l i a b i l i t y a s t h e n u m b e r o f a n s w e r c h o i c e s i n c r e a s e d . M a t e l l [ 9 5 ] a n d J a c o b y [ 9 6 ] s t u d i e d t h e r e l i a b i l i t y o f a t t i t u d e i t e m s w h i l e v a r y i n g t h e n u m b e r o f c h o i c e s b e t w e e n t w o a n d n i n e t e e n . T h e y f o u n d n o r e l a t i o n s h i p b e t w e e n t h e n u m b e r o f c h o i c e s a n d e i t h e r r e l i a b i l i t y o r v a l i d i t y . T h e y c o n c l u d e t h a t n e i t h e r r e s p o n s e b i a s n o r r e l i a b i l i t y a r e i n f l u e n c e d s y s t e m a t i c a l l y b y t h e n u m b e r o f s c a l e s t e p s a n d s o c o n c e r n a b o u t e i t h e r s h o u l d n o t i n f l u e n c e t h e c h o i c e o f h o w m a n y r e s p o n s e c a t e g o r i e s t o u s e . O n e c a v e a t t o b e a d d e d i s t h a t 1 6 9 w h e n e x p e r i m e n t a l g r o u p s a r e a s s m a l l a s t h o s e u s e d b y M a t e l l a n d J a c o b y - - t w e n t y - - t h e r e l i a b i l i t y c o e f f i c i e n t s a r e q u i t e i m p r e c i s e ; a t r u e r e l a t i o n s h i p m a y b e l o s t i n t h e n o i s e o f r a n d o m e r r o r . B a s s [ 9 7 ] s h o w e d t h a t a s t h e n u m b e r o f c a t e g o r i e s i n c r e a s e s , t h e o v e r l a p b e t w e e n t h e m i n c r e a s e s . A n y f i n e n e s s o f d i s t i n c t i o n g a i n e d w h e n t h e n u m b e r o f c h o i c e s i s i n c r e m e n t e d m a y b e m u d d l e d b y t h e o v e r l a p o f a d j a c e n t c a t e g o r i e s . O v e r l a p r e s u l t s f r o m t h e r a n g e o f m e a n i n g s d i f f e r e n t w o r d s p o s s e s s ; i t i s d i s c u s s e d i n t h e n e x t s e c t i o n . I I I . B . 2 . d . i p e c i f i c w o r d i n g o f s t a t e m e n t s o r r e s p o n s e s D i f f e r e n t l y w o r d e d s t a t e m e n t s p l u m b i n g t h e s a m e a t t i t u d e w i l l e n g e n d e r d i f f e r e n t p r o p o r t i o n s o f a g r e e m e n t f r o m t h e s a m e i n d i v i d u a l s . T h e p a t t e r n o f r e s p o n s e w i l l a l s o c h a n g e w h e n t h e w o r d s i n t h e a n s w e r k e y a r e a l t e r e d e v e n t h o u g h t h e i t e m s t e m r e m a i n s u n c h a n g e d . T h e s e v a r i a t i o n s i n s u r v e y r e s p o n s e a r e l i n k e d t o t h e c o n n o t a t i o n s o f f r e q u e n c y o r d e g r e e i n a g i v e n w o r d o r s e n t e n c e . I I I . B . 2 . d . i . W o r d s o f f r e q u e n c y a n d d e g r e e P r a t t a n d o t h e r s [ 9 8 , 9 9 ] d i s t i n g u i s h b e t w e e n d e t e r m i n a t e n u m b e r s s u c h a s ' t h r e e ' o r ' s e v e n t e e n ' a n d i n d e t e r m i n a t e n u m b e r s s u c h a s ' f e w ' , ' o f t e n ' , ' s e l d o m ' , o r ' m a n y . ' T h e n u m e r i c a l m e a n i n g o f a n i n d e t e r m i n a t e n u m b e r d e p e n d s o n t h e c o n t e x t . P e p p e r [ 1 0 0 ] a s k e d s u b j e c t s t o d e f i n e t h e n u m e r i c a l o c c u r r e n c e o f f i v e f r e q u e n c y t e r m s i n s e v e r a l c o n t e x t s a s w e l l a s n o c o n t e x t . 1 7 0 " T h e m a j o r f i n d i n g w a s t h a t t h e m e a n d e f i n i t i o n a s s i g n e d t o a n e x p r e s s i o n e m b e d d e d i n a c o n t e x t s h i f t e d f r o m i t s n o - c o n t e x t d e f i n i t i o n t o w a r d t h e e s t i m a t e d f r e q u e n c y o f t h e c o n t e x t e v e n t . F o r e x a m p l e . . . t h e m e a n d e f i n i t i o n o f ' s o m e t i m e s ' [ i n t h e c o n t e x t o f h o w o f t e n m e n f o u n d M i s s S w e d e n a t t r a c t i v e ] w a s h i g h e r t h a n t h e m e a n d e f i n i t i o n o f ' v e r y o f t e n ' [ i n t h e c o n t e x t o f e a r t h q u a k e o c c u r r e n c e ] . " " . . . i t i s e a s i e r f o r [ s u b j e c t s ] t o d e s c r i b e a l o w - f r e q u e n c y e v e n t w i t h a h i g h - f r e q u e n c y e x p r e s s i o n ( C a l i f o r n i a v e r y o f t e n h a s e a r t h q u a k e s ) t h a n t o d e s c r i b e a h i g h - f r e q u e n c y e v e n t w i t h a l o w f r e q u e n c y e x p r e s s i o n ( C a l i f o r n i a n s s e l d o m e a t d i n n e r ) . " I n l i g h t o f t h e s e o b s e r v a t i o n s , i t i s b e t t e r t o u s e a t t i t u d e s t a t e m e n t s w h i c h d e s c r i b e t y p i c a l o r e a s i l y e s t i m a t e d b e h a v i o r t h a n t o s t a t e r a r e a n d u n c o m m o n c o n d i t i o n s . T h e L i k e r t i t e m s h o u l d b e s t a t e d i n t h e w o r d s c l o s e s t t o t h e e x p e c t e d a v e r a g e c i r c u m s t a n c e . F o r e x a m p l e , t h e s t a t e m e n t ' H e i s - a n e x c e l l e n t l e c t u r e r ' i s t o o e x t r e m e . A s t u d e n t w h o c o n s i d e r s t h e i n s t r u c t o r a n a v e r a g e l e c t u r e r m a y d i s a g r e e w i t h t h i s s t a t e m e n t a s m u c h a s a s t u d e n t w h o c o n s i d e r s t h e i n s t r u c t o r a p o o r o n e . T h e s t a t e m e n t ' H e i s a n a v e r a g e l e c t u r e r ' o v e r c o r r e c t s f o r e x t r e m i s m . T h e s t u d e n t w h o c o n s i d e r s t h e l e c t u r e s a b o v e a v e r a g e a s w e l l a s t h e s t u d e n t w h o c o n s i d e r s t h e m b e l o w a v e r a g e m u s t d i s a g r e e w i t h t h i s s t a t e m e n t . T h e r e c o m m e n d e d m i d d l e g r o u n d w o u l d b e ' H e i s a g o o d l e c t u r e r . ‘ T h i s s t a t e m e n t i s n o t s o e x t r e m e t h a t t h e b u l k o f t h e r e s p o n s e i s u n d i f f e r e n t i a t e d d i s a g r e e m e n t , n o r i s i t c e n t e r e d s u c h t h a t d i s a g r e e m e n t c o u l d b e i n t e r p r e t e d a s e i t h e r p o s i t i v e o r n e g a t i v e a t t i t u d e . 1 7 1 S e v e r a l o t h e r a u t h o r s h a v e a l s o i n v e s t i g a t e d t h e n u m e r i c a l v a l u e s o f s u c h f r e q u e n c y t e r m s , u s u a l l y w i t h o u t c o n t e x t . H a k e l [ 1 0 1 ] , S i m p s o n [ 1 0 2 ] , S t r a h a n [ 1 0 3 ] , a n d S c h r i e s h e i m [ 1 0 4 ] r e p o r t e d m e a n s , m e d i a n s , a n d v a r i a b i l i t i e s o f m a n y i n d e t e r m i n a t e n u m b e r s . T h e m o s t n a r r o w l y d e f i n e d w o r d s a r e t h o s e f i r m l y a n c h o r e d t o a d e f i n i t e n u m b e r - - i . e . ' a l w a y s ' , ' n e v e r ' , a n d ' a b o u t a s o f t e n a s n o t ' s h o w e d g r e a t e s t s t a b i l i t y . S p e c t o r [ 1 0 5 ] s c a l e d r e s p o n s e w o r d s i n t h r e e c a t e g o r i e s : e v a l u a t i v e , a g r e e m e n t , a n d f r e q u e n c y . T h e s e l i s t s a r e p r e s e n t e d i n F i g u r e 3 . 1 . T h e a u t h o r r e c o m m e n d s t h a t t h e w o r d s c h o s e n f o r r e s p o n s e s b e e q u a l l y s p a c e d a l o n g t h e s e r a n k i n g s . I I I . B . 2 . d . i i . V a r i a t i o n s i n r e s p o n s e k e y s D a w e s [ 1 0 6 ] c o m p a r e d f i v e d i f f e r e n t r a t i n g s c a l e s a s r e p r e s e n t a t i o n a l m e a s u r e s o f h e i g h t . T h r e e c o r r e l a t e d 0 . 9 4 w i t h t h e o b j e c t s r a t e d w h i l e t h e f o u r t h a n d f i f t h c o r r e l a t e d 0 . 9 0 a n d 0 . 8 8 r e s p e c t i v e l y . T h e s c a l e s w i t h h i g h e s t v a l i d i t y h a d a n e a s i l y . i d e n t i f i e d m i d p o i n t a n d a n a t u r a l l y s t a t e d s y m m e t r i c a l r e s p o n s e k e y . O n e o f t h e l e s s v a l i d s c a l e s w a s h i g h l y a s y m m e t r i c a l , w h i l e t h e o t h e r h a d t o o m a n y i n t e r v a l s a n d n o c l e a r m i d p o i n t . D a w e s a l s o n o t e d t h a t a b i p o l a r r e s p o n s e k e y c a n b e b i a s e d . G e n e r o u s - s t i n g y i s q u i t e d i f f e r e n t f r o m e x t r a v a g e n t - t h r i f t y . B o t h e n d s o f t h e c o n t i n u u m s h o u l d b e s t a t e d i n e q u a l l y f a v o r a b l e t e r m s s o a s n o t t o c o u r t a s o c i a l d e s i r e a b i l i t y b i a s . " - _ - R F O P e r f r e q e p e t e t a u n t t e y e n d t l l y y o f t e n 1 ! F I T I E v a l u a t i o n - E x c e l l e n t - G o o d - - . . S a t i s f a c t o r y - A v e r a g e . F a i r ' F ' D e c e n t - P a s s a b l e ' M e d i o c r e 1 ' - % { n s a t i s f a c t o r y : o r e r i o r - B a d . 1 . - T e r r i b l e . 1 . F i g u r e 3 . 1 1 7 2 A g r e e m e n t - A g r e e v e r y m u c h - O n t h e w h o l e a g r e e - P r e t t y m u c h a g r e e - G e n e r a l l y a g r e e . . M o d e r a t e l y a g r e e : I n c l i n e d t o a g r e e T e n d t o a g r e e : H a l f w a y a g r e e A g r e e i n p a r t ' A g r e e s o m e w h a t ' M i l d l y a g r e e - A g r e e a l i t t l e ' S l i g h t l y a g r e e F r e q u e n c y - M o s t o f t h e t i m e _ c c a s i o n a l l y - o m e I m e s - N o w a n d t h e n - O n c e i n a w h i l e - I n f r e q u e n t l y = O n c e o r t w i c e S e l d o m ' R a r e l y R e l a t i v e s c a l e p o s i t i o n s o f d i f f e r e n t r e s p o n s e c h o i c e s f o r t h r e e r e s p o n s e c o n t i n u a , t a k e n f r o m S p e c t o r [ 1 0 5 ] . T h e s c a l e i s i n t e r v a l w i t h a r b i t r a r y u n i t s . 1 7 3 H o l d a w a y [ 1 0 7 ] e x a m i n e d f i v e s l i g h t l y d i f f e r e n t r e s p o n s e k e y s f o r a s e t o f L i k e r t i t e m s . H e f o u n d t h a t t h e t e r m s ' n e u t r a l ' a n d ' u n d e c i d e d ' h a v e d i f f e r e n t m e a n i n g s ; a g r e a t e r p e r c e n t a g e o f r e s p o n d e n t s c h o s e ' n e u t r a l ' a n d t h e y a p p e a r e d t o c o m e f r o m b o t h t h e a g r e e a n d d i s a g r e e s i d e s o f t h e s c a l e . W h e n t h e ' u n d e c i d e d ' c a t e g o r y w a s p l a c e d t o t h e s i d e o f t h e s c a l e , H o l d a w a y o b s e r v e d a s i g n i f i c a n t d e c l i n e i n t h e p e r c e n t a g e w h o c h o s e t h i s r e s p o n s e . H e a l s o o b s e r v e d a f l a t t e n i n g o f t h e d i s t r i b u t i o n w h e n E x a m p l e A l i s t e d b e l o w w a s s u b s t i t u t e d f o r E x a m p l e B . T a b l e 3 . 2 E x a m p l e s o f t w o r e s p o n s e k e y s f r o m H o l d a w a y [ 1 0 7 ] E x a m p l e A E x a m p l e B A g r e e S t r o n g l y a g r e e M i l d l y a g r e e A g r e e U n d e c i d e d U n d e c i d e d - M i l d l y d i s a g r e e D i s a g r e e D i s a g r e e S t r o n g l y d i s a g r e e E d w a r d s [ 1 0 8 ] a n d G u i l f o r d [ 1 0 9 ] c a u t i o n t h a t t h e ' u n d e c i d e d ' o r ' n e u t r a l ' c a t e g o r y , w h i l e i t m a y b e t h e m i d p o i n t o f t h e s c a l e , d o e s n o t n e c e s s a r i l y i n d i c a t e a t r u l y n e u t r a l a t t i t u d e . I f t h e L i k e r t s t a t e m e n t i s f a v o r a b l e , a s t u d e n t m a y f e e l t h a t t o i n d i c a t e n e u t r a l i t y h e m u s t d i s a g r e e w i t h i t . 1 7 4 I I I . B . 3 . S u m m a r y o f s u r v e y w o r d i n g e f f e c t s N o s i n g l e i t e m f o r m a t i s u n e q u i v o c a l l y l e a s t b i a s e d . T h e c o n t e n t o f t h e s u r v e y q u e s t i o n c a n d e t e r m i n e w h i c h i t e m f o r m a t i s l i k e l y t o b e l e a s t b i a s e d . D e s c r i p t i v e m u l t i p l e - c h o i c e i t e m s a r e s u b j e c t t o e r r a t i c s p a c i n g o f r e s p o n s e c a t e g o r i e s a n d u n p r e d i c t a b l e a c q u i e s c e n c e t o a t t r a c t i v e l y p h r a s e d c h o i c e s . I n t h e o r y t h e d e s c r i p t i v e f o r m a t c a n s h o w t h e l e a s t b i a s , b u t i n p r a c t i c e i t i s e x t r e m e l y d i f f i c u l t t o d e v i s e f i v e d i f f e r e n t b u t e q u a l l y u n b i a s e d c h o i c e s f o r e v e r y i t e m . F i x e d - r e s p o n s e L i k e r t a n d e v a l u a t i v e i t e m s m a y b e s u b j e c t t o v a r i o u s r e s p o n s e - s e t b i a s e s s u c h a s l e n i e n c y , e x t r e m i s m , o r e v a s i v e n e s s . R e s p o n s e s a r e n o t s i g n i f i c a n t l y a f f e c t e d b y t h e o r d e r o f c h o i c e s i n t h e a n s w e r k e y . R e w r i t i n g a s t a t e m e n t a s i t s ' l o g i c a l i n v e r s e ' d o e s n o t p r o d u c e a m i r r o r - i m a g e r e s p o n s e p a t t e r n . D e p e n d i n g o n q u e s t i o n c o n t e n t a n d p h r a s i n g , t h e i n v e r t e d f o r m m a y b e m o r e o r l e s s l e n i e n t t h a n t h e o r i g i n a l s t a t e m e n t . W o r d s o r d e s c r i p t i o n s w h i c h a l l o w t h e l e a s t p e r s o n a l i n t e r p r e t a t i o n y i e l d t h e m o s t r e l i a b l e r e s p o n s e k e y s . H o w e v e r , i t i s o f t e n d i f f i c u l t t o d e s i g n a n a n s w e r k e y w h i c h i s n o t o n l y r e l i a b l e a n d u n a m b i g u o u s b u t a l s o e q u a l l y s p a c e d a n d n o t u n d u l y l e n i e n t . T h e n u m b e r o f c h o i c e s i n t h e a n s w e r k e y a p p e a r s t o b e i n d e p e n d e n t o f e i t h e r t h e r e l i a b i l i t y o r v a l i d i t y o f t h e s c a l e . T h e m o s t w i d e l y a c c e p t e d d e s i g n s u s e f i v e r e s p o n s e c a t e g o r i e s . 1 7 5 F o r t h e s p e c i f i c t y p e o f c o n t e n t f o u n d o n c o u r s e e v a l u a t i o n s , t h e p o s i t i v e l y - s t a t e d L i k e r t i t e m s a r e g e n e r a l l y l e a s t l e n i e n t . T h e L i k e r t i t e m s h o u l d b e s t a t e d i n w o r d s c l o s e s t t o t h e e x p e c t e d a v e r a g e c i r c u m s t a n c e . A t o o l e n i e n t L i k e r t i t e m c a n b e m a d e l e s s b i a s e d b y u s i n g a s l i g h t l y l e s s f a v o r a b l e w o r d i n g i n t h e s t e m s t a t e m e n t . F o r e x a m p l e , i f ' T h e a u d i o t a p e s p r o v i d e d v i b r a n t a n d c o m p r e h e n s i v e c o v e r a g e o f t h e t o p i c s ' i s t o o l e n i e n t , u s e i n s t e a d ' T h e a u d i o t a p e s p r o v i d e d g o o d c o v e r a g e o f t h e t o p i c s . ' T h e m i d d l e c a t e g o r y o f a r e s p o n s e k e y i s n o t n e c e s s a r i l y t h e t r u l y n e u t r a l a t t i t u d e . S o m e i t e m s m a y b e w o r d e d s u c h t h a t a s t u d e n t m a y f e e l t h a t t o i n d i c a t e n e u t r a l i t y h e m u s t d i s a g r e e w i t h a s t a t e m e n t . T h e t r u l y n e u t r a l m i d p o i n t i s m o s t l i k e l y t o b e f o u n d i n e x a m p l e s o f t h e e v a l u a t i v e f o r m a t w i t h a c o m p l e t e l y n e u t r a l a n d u n b i a s e d s t e m , a n d a s i m p l e s y m m e t r i c a l a n s w e r k e y . A n e x a m p l e o f s u c h a n i t e m i s : H o w m u c h d i d y o u l i k e t h i s m e t h o d o f t e a c h i n g a c o u r s e c o m p a r e d t o t h e t r a d i t i o n a l l e c t u r e - r e c i t a t i o n m e t h o d ? ( 1 ) v e r y m u c h l e s s ( 2 ) l e s s ( 3 ) a b o u t t h e s a m e ( 4 ) m o r e ( 5 ) v e r y m u c h m o r e B o t h w o r d s i n t h e a n t o n y m o u s p a i r ' m o r e - l e s s ' a r e e q u a l l y f a v o r a b l e , a n d t h e m i d d l e r e s p o n s e c l e a r l y i n d i c a t e s a r o u g h l y e q u a l l i k i n g f o r b o t h t e a c h i n g m e t h o d 5 . 1 7 6 I I I . C . E x p e r i m e n t a l d e s i g n T w o d i f f e r e n t p o s t c o u r s e e v a l u a t i o n f o r m s w e r e p r e p a r e d f o r d i s t r i b u t i o n t o t h e s t u d e n t s . I n d e s i g n i n g t h e ' n e w ' f o r m t o b e c o m p a r e d w i t h t h e ' o l d ' f o r m , I t e m s 1 , 2 , 1 1 , 1 2 , a n d 1 3 w e r e n o t c h a n g e d s o a s t o s e r v e a s a b a s e l i n e b e t w e e n f o r m s . I t e m s 3 t h r o u g h 9 w e r e c h a n g e d f r o m t h e L i k e r t f o r m a t t o a n e v a l u a t i v e f o r m a t - - , a s a m p l e i t e m a n d t h e t w o r e s p o n s e k e y s a r e l i s t e d i n T a b l e 3 . 3 . I t e m s 1 0 a n d 1 4 a r e c o m p l e x ' r a t h e r - t h a n ' s t a t e m e n t s a n d t h e l o g i c a l i n v e r s e o f t h e o r i g i n a l s t a t e m e n t a p p e a r s o n t h e ' n e w ' f o r m . T a b l e 3 . 3 S a m p l e i t e m i n b o t h L i k e r t a n d e v a l u a t i v e f o r m a t s L i k e r t E v a l u a t i v e I l i k e d t h e s e l f p a c i n g . . . S e l f p a c i n g . . . ( 1 ) s t r o n g l y d i s a g r e e ( 1 ) d i s l i k e d v e r y m u c h ( 2 ) d i s a g r e e s o m e w h a t ( 2 ) d i s l i k e d s o m e w h a t ( 3 ) n e u t r a l ( 3 ) n e u t r a l ( 4 ) a g r e e s o m e w h a t ( 4 ) l i k e d s o m e w h a t ( 5 ) s t r o n g l y a g r e e ( 5 ) l i k e d v e r y m u c h T h e t w o f o r m s w e r e r a n d o m l y c o l l a t e d w i t h t h e f i n a l e x a m i n a t i o n a n d d i s t r i b u t e d t o t h e s t u d e n t s d u r i n g t h e f i n a l e x a m p e r i o d . R e s p o n s e t o t h e s u r v e y w a s v o l u n t a r y ; s t u d e n t s w e r e r e q u e s t e d t o f i l l o u t t h e s u r v e y s a f t e r c o m p l e t i n g t h e i r f i n a l e x a m a n d t h e f o r m s w e r e c o l l e c t e d a s t h e y l e f t t h e r o o m . T h e f o r m s a r e d i s p l a y e d i n F i g u r e s 3 . 2 a n d 3 . 3 . y t o a n ? s w e r I 2 . . t h H c H a o o o m ‘ s h p e e a ' t 0 ‘ s c 0 o 0 f o t d d l y d h h e c c l o u m o e w w ' p u 0 t f o m a m n 6 h u u r t ' e 8 “ o m o d e . w i i m i t i d d n h e y y g h t r a h u t u t o g o & i d w a l l 5 I I c e : o U s e t h e K 0 q I . ! u . " e s t t 8 h 8 i e o 3 n 6 K s 0 e a 1 3 y “ b ! ) “ 3 < o w o a u G k i v " “ l e n n b e t i t i k r e k d n d o o e e q t o , . e t l e h d e n d u i u e a d e t e o t h e l s n a 8 ( h n e s m e n e l 0 o d r ' 1 h o t t i e e e r t c d I C u h u h o t t Q X w w t a h r . e e t a k e c o u a e r a s n o ” e I d n : / s d s e d r i n m P e M f e e e . e i e n y p " x e t ‘ t e o m u ¢ i ‘ t . r t C 0 h f 0 s . e . W I h P g " l e c r e s o u l . . 9 fl b s t . t 8 u d 8 s y 9 t 7 h 8 g u e i h a d . m e c e o t ‘ u . . ‘ 1 u n t o f l d p h a b ' u C t v i 5 w 0 o ¢ r " k p i e e e a m . " e “ e e s " e e e e e e e e " " e e e s ° e e " e e e e e e " " ” I t I o t - : M ’ " I . t I - - " R a 2 s n t 7 ) ! i I 0 M s n ‘ . ; : i s “ : . ” - J 0 a t ! M m “ “ : a m I i 3 ) t i Q 0 I I s e ‘ ) 0 t ‘ i S I I t t 1 " I I : t a I , . o m f r r I C i e h h C t c t t I O l O “ e P e a ' e H a ‘ u a Q d x I h i n g a t o e c a d t t c t o h a o r n e a r d d u o l a p m e d t e i e e e . e a . e a . s ? m e s . t e a . e . e o . t . t h . h o e e . e . e e . e e . . o o o o e e e e d s . e e e ° ? e e . " e e . e . e e e e e ° e e ' ' ‘ . - ' I , [ J : _ e e . e e . e e ° i r o a c e ' P m n o d Q e f o e e e s : e e ' m e i I e e e " e 3 0 0 6 ‘ d u 0 e ‘ m 1 1 0 ‘ 0 O 1 A R I z T h “ e . “ 6 I C T g r a , ‘ 9 . ' h i c F i h g d d y o u o n e a e i p i fl u n v a l u e u m : ( 2 ) 3 r a d y I . H u m i s t m ( ) b o t h ( 4 ) m m : e ( 1 ) M o t e v a - l u r e 3 . 2 C o u r s u a t i o n s u r v e y - ' o l d ' f o r m 1 7 7 C O U R S E P l e a s e f i l l i n y o u r s t u d e n t n u m b e r — . — u p } Y o u r r e s p o n s e s o n t h i s e v a l u a t i o n E V A L U A I I O N w i l l h a v e n o e f f e c t o n y o u r g r a d e . F O R M P l e a s e u s e a s o f t l e a d ( # 2 ) p e n c i l . . ’ 5 ' t h ' r a n t , e . . . t ; . ) 9 ( 9 1 “ i 9 5 . ( i ) v e r y m u c h l e s s K ( 2 ) l e s s E ( 3 ) a b o u t t h e s a m e _ Y ( 4 ) m o r e ( 5 ) v e r y m u c h m o r ‘ ( 1 ) s t r o n g l y d i s a g r e e ( 2 ) d i s a g r e e s o m e w h a t ( 3 ) n e u t r a l ( 4 ] a g r e e s o m e w h a t ( 5 ) s t r o n g l y a g r e e i l i k e d t h e g r a d i n g s c a l e . . . . . . . . . . . . . . . . . . . . 0 “ d e t h e C E M R O O M e a e e e e e e a e a e e e e e e e e a e e 4 . 5 . 5 . 7 . a . [ l i k e d 8 h ! t e x t b o o k a e e a e e e e e e o e e e e e e e e e e e a e e 9 a [ " d e 8 ' 3 9 T I M e e s e e e e e e e e e e e e e e e e e e e e o e e e a 1 3 . ! d i d n o t f e e l n e r v o u s o r a n x i o u s a b o u t t a k i n g a n e x a m . o . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . M ! ! ! w e r e g i v e n t h e c h o i c e . i w o u l d c h o o s e t h i s m e t h o d f o r a c o u r s e " “ " " ° ‘ ° " " " " ° ” " r a t h e r t h a n t h e l e c t u r e / r e c i t a t i o n - t h r e e - e e a m s - a n d ~ a - f i n a l m e t h o d . ( l ) S t u d y g u i d e s 1 5 . F r o m t h e k e y o n t h e l e f t . t h e a s p e c t . . . ( 2 ) i 3 ) ( 4 ) ( 5 ) ( 6 ) - ( 7 ) Y . ( 0 ) ( 9 ) A u d i o t a p e s T a p e n o t e s C E M R o o m L a b u n i t e E x a m p r o c e d u r e T e x t b o o k F i l m s G r a d i n g s c a l e i l i k e d b e s t a b o u t t h e c o u r s e w a s t h e ' 0 . ' s s ‘ 6 0 F r o m t h e k e y o n t h e l e f t . t h e a s p e c t t h a t n e e d s t h e m o s t i m p r o v e m e n t i s t h e . . . . . . 1 1 7 . F r o m t h e k e y o n t h e l e f t . t h e a s p e c t , . . . ' . Q , ‘ 0 i . ) 9 l l " ( 1 0 ] i l i k e d l e a s t a b o u t t h e c o u r s e w a s t h e S e l f - p a c i n g ( ‘ 8 , ” “ c h m e t h o d w o u l d y o u p r e t e r a c o u r s e t o h e t a u g h t ? ( 1 ) l a r g e l e c t u r e p l u s r e c i t a t i m . w i t h M o r t h r e e t e s t s a n d a d e a l e x a m i n a t i o n . . . - ( 1 ) l a r g e l e c t u r e p l u s r e c i t a t i o n . ' 1 ! ! ! a n e x a m p r o c e d u r e s i m i l a r t o t h i s c o u r s e " “ " ° " . 1 ( 3 ) m o d u l a r s e l f - p a c i n g a s i s t h i s c o u r s e . w i t h a s i m i l a r a u t o m a t i o n p r o e e I h I r e . . . - ' 2 0 , l i 0 v d d y o u m o s t a l t o s l i s t e n t o a u d i o t a p e s ? ( l ) m y o n e r e c o r d e r a n d d q a l i c a t e d c a s s e t t e s ' . 3 ( 1 ) t h e m p t i c a o e d c a s s e t t e s a n d r e c o r d e r o ! a f r i e n d ( 3 ) i s t h e T a p e R o o m ( a ) i d i d : t u s e t a p e s . . . 2 ] J i m : m a n y a u d i o t a p e s d i d y o u d u p l i c a t e ? ( i ) a l m o s t a l l ( 2 ) a r o u n d h a l f ( 3 ) v e r y t e e . . e " t ( 4 ) o n e a t a l l - w ” 2 2 . V b a t p e r c e n t a g e o l y o u r e fl o r t a s y o u e x p a n d a t u d y i u t r o l l : ” o l d ' e a a m s ‘ l ( l ) 1 0 % . . . . . . ( 1 0 ) 1 0 0 x " m u n - m » ” e ' I ‘ ° " F o r m F 7 S - O ° O V E R - F i g u r e 3 . 3 C o u r s e e v a l u a t i o n s u r v e y - ' n e w ' f o r m 1 7 8 3 3 s t : ‘ 3 3 3 3 . 2 . 5 ’ ' _ - ' s . - a t I n 6 h C 0 ' C O U R S E P l e a s e f i l l i n y o u r s t u d e n t n u m b e r — - — i r 3 3 2 3 - 3 ? € . € ? . - 5 1 E V A L U A T I O N Y o u r r e s p o n s e s o n t h i s e v a l u a t i o n g ' 3 ‘ _ , , . 7 . , , . . . . w i l l h a v e n o e f f e c t o n y o u r g r a d e . _ _ S “ : 7 . S ' J 5 ‘ 3 5 3 ' 3 1 n “ ' 0 ’ U “ ' 0 I I ! 0 F O R M P l e a s e u s e a s o f t l e a d ( # 2 ) p e n c i l . c - m - . . a e . . . U s e t h e K e y t o a n s w e r t h e f o l l o w i n g t w o q u e s t i o n s : ‘ ‘ g - ( I ) v e r y m u c h 1 “ . 7 I . H o w m u c h d i d y o u l i k e t h i s m e t h o d o f t e a c h i n g a c o u r s e K ( 2 ) l e s s c o m p a r e d t o t h e t r a d i t i o n a l l e c t u r e / r e c i t a t i o n m e t h o d ? . . . . . . . . . 3 3 3 3 § . m . E ( 3 ) a b o u t t h e s a m e - . _ . Y ( 4 ) " ‘ 0 ' . 2 . H o w m u c h d i d y o u l e a r n u n d e r t h i s m e t h o d c o m p a r e d t o t h e 5 3 5 3 3 . . I . . ( 5 ) v e r y m u c h m o r " m m " 7 ° “ m i e h t h a v e l e a r n e d u n d e r t h e t r a d i t i o n a l m e t h o d ? " - 5 2 . . . _ _ _ _ . . . s e a - L . h u m u m fl m u m m 3 . w n e w . O . . . 0 . 0 . . . . . . 0 . 0 0 . 0 0 . 0 0 . 0 0 0 0 0 0 0 0 0 1 : 1 . 2 : 3 g 5 ‘ ‘ q m ‘ 3 9 : 4 . 2 m P M " e e e e e a e e e e e e e e e s s e o e e s e e e e e e o ' l ‘ l - E C 3 fl - ( ” d i a l l k a d v e a ‘ y n n c h . - . - _ - 5 ' ( ” d a l i k e d a o m e n h . 5 . l e | l h ¢ o t t h e fl s a i e s s m : 3 3 3 * , 4 g ( 3 ) “ 1 6 ‘ 1 “ m m “ m e e e e e s e e s e e e e e e e e e ‘ ‘ - - _ _ ‘ w . ! ( ‘ ) M ” m ~ - _ “ ( s ) w ' m m 6 . 6 : “ m u s e e e e O O O O O O O O C O I I e e e e e e 0 . 0 . 0 . 0 0 1 } I 3 4 $ ‘ ” m m . l o w l t 7 . c a M a M e e e e e e e e e e e s e e e e e e s o e s o e e e o a o e e e e m : ~ % ' 3 0 ; W “ ( 1 ) s t r o n g l y d i s a g r e e , . ‘ , ( a d u w m 8 . 1 - 3 M . ) " ' 0 0 - 0 0 0 0 0 0 0 0 0 0 0 s . - . . . . . - . . . . . . o l 2 J I d 5 T 6 . ( ” n e u t r a l ' ” - ‘ — Q ” m _ _ » . : 5 ; 3 ; " ” I ” 9 . 1 . . ” fl e a a e e s e e e e e a e e e e s a a e e e e e e e e e e e e e e e s e e e e : ; , g 5 . L - 1 ‘ 3 1 . ! - ‘ Q P m m l w m m m m m ” d o ( m a c - u n o u u u u u o . . . . . . . . . o . . . . . . . . . . . . . u . . . . . ; , Z , . 5 5 : 5 I . . 1 I . l l , . . , ' V > : ‘ ‘ 1 . m x ‘ u m m M M “ . ‘ m m m m m n m . . . ’ . . . . . l . l . . . . . . . . . . . O I I O O I O O I C O O O I O O O ‘ . l ’ 3 ‘ é ~ 7 u : ‘ 1 : , ‘ 2 . m u * ' u m m m m a m t ! F “ m m c m n u e e e o a a e e s e I e o e e e e e o o e e e e e s e o e e e e e e a e e e o e o t o . . 1 I ‘ E I . 3 fi t : l S J d i d a o t f s e l a e r v o u a o r a a x i o u s a b o u t t a l d a g m e x a m . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ' , ’ . 3 g ; ' - . j ’ ‘ 4 - " 1 m s i ' u t h a c h d c e J - w l d c h o o a a t h e ' ‘ a n . - _ “ . - 5 . : . a n : , I . 3 3 3 . ‘ . ‘ ' 7 ’ . m e t h o d t o r a c o u r s e r a t h e r t h a a t h e m e d m d u a e d i s t t u s c o u r s e . - - , - - ' - ~ ~ — , . ‘ : a 4 A h l I S t . . . [ Z ] A 1 3 1 : : : ‘ d : . ‘ 5 . F r o m t h e k e y o n t h e l e f t . t h e a s p e c t H . . - ‘ ‘ . ‘ - K ‘ 3 ) T a p e n o t : I l i k e d b e s t a b o u t t h e c o u r s e w a s t h e ' 0 . ( 4 ) C E M R o o m . " ' 1 3 3 5 3 5 3 3 3 1 “ ( 5 ) L a b u n i t s ' 6 . k . _ . _ E ( 6 ) E x a m P r o c e d u r e 5 : ? " " ‘ 3 3 y o n t h e i e f t . t h e “ P G “ e a e s e e t i 2 3 ' 5 ' 5 3 . 7 a 9 « i ‘ 7 ) T e x t b o o k n e e s e m o s t I m p r o v e m e n t i s t h e - » - - - - - - , Y ( B ) F i l m s - _ . . . " : a " - — ‘ 3 0 3 . 9 “ J ( 9 ) G r a d i n g s c a l e ‘ 7 . F r o m t h e k e y o n t h e l e f t . t h e a s p e c t , , , . ° ’ ‘ ' ' " ‘ ( t o ! S e l f - e c i n g i l i k e d l e a s t a b o u t t h e c o u r s e w a s t h e 1 8 , 3 1 v fl c h m e m o d v o u l d y o u p r e i e r a o m t r s e t o h e u u g h n . . . . . . . . . . . . - » ( l l h m m m - m w i t h m o r t h r e e t e a t s a a d a n a a i e a a m i u u a » ( 1 ) l a r g e l e c t u r e p l u s r e c i t a t i o n . w i t h a s s u m p r o c e d u r e s i m i l a r t o t h i s c o u r s e ° ° " " " ° " ( 3 ) m o d u l a r s e l f - p a c i n g a s i a t h l s c o u r a e . w i t h a s i m i l a r e x a m i n a t i o n p r o c e i h i r e . . . . " l 9 . m c t n m a a m m a u g i a c m v m ¢ ( ” M o r t i m e r m u s e u m - n i n e s ( 3 ) b o t h ( t i m w . . . - - ' 2 0 . 3 W 0 4 y o u l l o e t d a m l l n e a m a u d o t a p e s ? ( l ) m y o w a r e e o r d e r a n d d u p l l c a o e d c a s s a t t e s . . r ' . ( a t h e d a p l i c a t e d c a a s s t t e a a a d r e c o r d e r o l a f r i e s d ( 3 ) i e t h e 1 ' a p e l t o o m ( 4 ) l d l m ' t u a e t a p e s . . - ' z l J I o U I a - y a u d o t a p e s d d y o u m p l i c a t s ? ( l ) a l m o e t a l l ( 2 ) a r o i m d h a l t ( S h a y l a . ( 4 ) n o s e a t a l l . . . . - " ' 2 2 . ! “ m a g a d y m i r e fl o r t d i d y u a e m m d m d y i q t r o m ” o l d ‘ e a a m s 1 ( l ) l 0 } . . . . . . ( 1 0 ) l 0 “ " " “ u n - " u ‘ ‘ 7 d i a m F 7 5 - N - o v e n - 1 7 9 I I I . D . R e s u l t s a n d d i s c u s s i o n I I I . D . 1 . T a b l e s o f r e s u l t s a n d s i g n i f i c a n c e t e s t s A n a n a l y s i s o f v a r i a n c e i s n o t a p p r o p r i a t e f o r t h e s e d a t a . I t e m s 1 a n d 2 o n b o t h f o r m s w e r e i d e n t i c a l , y e t i n e v e r y e x p e r i m e n t a l c o m p a r i s o n t h e n e w - f o r m m e a n i s h i g h e r t h a n t h e o l d - f o r m m e a n . T h e r e i s n o e x p l a n a t i o n f o r t h i s c u r i o u s c o i n c i d e n c e s a v e c h a n c e . S i n c e t h e r e i s a c o n s i s t e n t d i f f e r e n c e i n f a v o r o f t h e n e w f o r m o n i t e m s w h i c h s h o u l d h a v e i d e n t i c a l r e s p o n s e m e a n s , t h e a n a l y s i s o f v a r i a n c e w o u l d l i k e l y y i e l d a f a l s e p o s i t i v e . A s a s u b s t i t u t e s i g n i f i c a n c e t e s t i n g p r o c e d u r e , m u l t i p l e t - t e s t s w e r e u s e d . T h i s m e t h o d i s t o o l i b e r a l t o v e r i f y t h e s i g n i f i c a n c e o f s p e c i f i c r e s u l t s b u t i t i s a d e q u a t e t o i d e n t i f y a n y i m p o r t a n t t r e n d s i n t h e d a t a . T h e d i f f e r e n c e s i n m e a n r e s p o n s e f o r e a c h i t e m o n t h e t w o f o r m s a n d e a c h t - t e s t s t a t i s t i c a r e l i s t e d i n T a b l e 3 . 4 . T h e n e w - f o r m r e s p o n s e v a l u e s f o r I t e m s 1 0 a n d 1 4 a r e i n v e r t e d s o t h a t t h e s e n s e o f t h e n u m b e r s a g r e e s w i t h t h e o r i g i n a l f o r m a t . T w o d i f f e r e n t l e v e l s o f s i g n i f i c a n c e a r e i n d i c a t e d , b a s e d o n t w o c o n c e p t i o n s o f t h e s e g r o u p s . I f t h e s e r e s u l t s p e r t a i n o n l y t o t h e s p e c i f i c g r o u p s w h i c h w e r e s u r v e y e d , t h e s i g n i f i c a n c e o f a d i f f e r e n c e i n r e s p o n s e m e a n s d e p e n d s o n t h e p e r c e n t s u r v e y r e t u r n - - i f t h e r e t u r n i s o n e h u n d r e d p e r c e n t , a n y d i f f e r e n c e i s s i g n i f i c a n t . I f h o w e v e r , t h e g r o u p s a r e t r e a t e d a s r e p r e s e n t a t i v e s a m p l e s o f a n i n f i n i t e p o p u l a t i o n , t h e n t h e a p p r o p r i a t e c r i t i c a l t - v a l u e d o e s n o t d e p e n d o n p e r c e n t r e t u r n ; t h e ' i n f i n i t e ' c r i t i c a l t - v a l u e f o r a l l t e s t s i s a p p r o x i m a t e l y 1 . 9 7 . T h e ' f i n i t e ' c r i t i c a l 1 8 0 t - v a l u e s v a r y w i t h p e r c e n t s u r v e y r e t u r n a n d a r e l i s t e d i n t h e t a b l e f o r e a c h g r o u p . T h o s e d i f f e r e n c e s w h i c h a r e s i g n i f i c a n t u n d e r e i t h e r c o n s i d e r a t i o n o f t h e s e s a m p l e s a r e i n d i c a t e d b y a d o u b l e a s t e r i s k a n d t h o s e d i f f e r e n c e s s i g n i f i c a n t o n l y f o r f i n i t e p o p u l a t i o n s a r e i n d i c a t e d b y a s i n g l e a s t e r i s k . S c a t t e r e d s i g n i f i c a n c e s w i l l n o t b e c o n s i d e r e d m e a n i n g f u l s i n c e t h e m u l t i p l e t - t e s t i n g p r o c e d u r e w i l l i n d i c a t e t h a t a b o u t f i v e p e r c e n t ( a = . 0 5 ) o f t h e d i f f e r e n c e s a r e s i g n i f i c a n t b y c h a n c e . O n l y i f t h e s a m e i t e m s h o w s a d i f f e r e n c e a c r o s s m o s t o r a l l g r o u p s w i l l t h e d i f f e r e n c e f o r t h a t i t e m b e c o n s i d e r e d ' r e a l . ' T h e r a t i o o f v a r i a n c e s o n t h e o l d a n d n e w f o r m s a r e l i s t e d i n T a b l e 3 . 5 a l o n g w i t h t h e F - t e s t s t a t i s t i c s . I f t h e s e v a r i a n c e s a r e s t a t i s t i c a l l y e q u a l , t h e r a t i o s w i l l l i e b e t w e e n c r i t i c a l l i m i t s o f 1 . 3 9 a n d 0 . 7 2 . I f a r a t i o i s o u t s i d e t h e s e l i m i t s t h e n t h e v a r i a n c e s a r e s i g n i f i c a n t l y d i f f e r e n t a t t h e a = . 0 5 l e v e l . O n l y o n e o f t h e e i g h t y - f o u r r a t i o s i s o u t s i d e t h e s e l i m i t s , b u t s i n c e o n e w o u l d e x p e c t f o u r o r f i v e s i g n i f i c a n t d i f f e r e n c e s b y c h a n c e a l o n e , t h i s a n o m a l y i s n o t i n d i c a t e d . = < 3 “ < fl * * = * 0 2 4 4 8 0 2 5 6 2 9 7 6 5 6 7 7 1 9 0 3 7 7 7 6 3 3 3 6 1 7 0 5 3 6 3 4 9 8 6 . . . . . . . . . . . . . 0 1 1 0 0 1 0 0 0 0 0 0 3 7 W 0 3 1 4 3 4 6 5 1 8 8 3 7 9 4 9 0 0 1 1 0 0 0 1 0 0 0 0 0 0 4 . . . . . . . . . . . . 0 . “ 0 - : : 3 . * * : ” * * ‘ * a * * * * 6 3 2 9 9 4 0 0 0 6 3 3 3 2 4 6 0 6 4 0 4 9 m 6 7 1 7 5 8 9 8 8 7 0 2 1 e 6 . . . . . O . . . , . t 5 2 2 1 1 1 7 1 1 2 1 1 i V V 1 h 3 1 c t 5 4 4 3 4 1 1 3 6 8 9 7 8 a e r o p 1 1 2 0 1 1 2 4 1 1 1 0 2 A . . . . . . 3 . . . . . . ' f * s 4 5 2 5 * * 1 9 0 w k : * 2 2 = % * 0 c t 9 0 6 3 4 1 6 4 4 6 9 2 3 7 7 3 2 0 1 7 6 4 2 i 9 8 0 6 6 3 1 1 9 1 8 1 5 2 9 = : z t . . . . . . . . . . . . . . 5 s 0 0 0 0 1 2 4 2 1 1 2 1 0 0 7 F 0 3 1 i t a t s t s e t - t d n a s n a e m e 7 8 4 2 4 1 9 8 8 1 5 6 0 0 0 0 2 1 0 0 0 1 3 0 . . . . . . . . t . . . - - - ‘ * 9 4 4 4 6 0 0 1 0 6 0 2 3 0 4 3 2 9 2 8 2 6 0 5 3 7 5 1 6 4 6 3 6 8 4 1 3 9 . . . . . . . . . . . . . 0 1 1 2 1 1 1 1 0 O 0 0 0 = * x * ' 8 * * 1 9 9 0 7 4 2 5 5 8 0 6 1 1 3 0 0 1 1 0 2 3 2 2 . . . . . . . . . . . . . - - s < * W ~ = * n * * o 3 4 # # 3 6 p 0 4 9 3 s 7 6 7 5 4 0 2 : : } % 2 1 . 0 3 2 6 * * * * 9 4 8 0 3 0 3 9 2 7 4 0 3 3 0 3 5 9 e 7 1 2 4 1 l l 1 1 1 0 0 6 0 5 . . . . o s . . . . . . . V V 0 3 1 r n i s e c n e r e f 1 6 3 7 3 3 0 6 6 4 7 6 5 2 2 5 1 1 1 1 1 1 0 1 0 7 . . . . . . . . . . . . . 5 7 3 5 7 9 1 3 9 . < 2 * * 4 7 4 9 7 4 8 0 3 0 9 1 f 3 3 5 8 7 1 8 i . 5 . . . . . . 2 9 . . D 4 . 3 e l 7 V V 1 3 1 l l A m b e a T t I O 0 0 0 0 1 0 0 4 . 0 2 3 0 4 7 5 0 4 8 8 2 2 5 7 0 0 3 0 1 0 0 0 0 1 0 0 0 5 . . . . . . . . . . . . . . “ " " - e t i n i f 1 3 4 5 2 6 7 8 9 0 2 3 4 1 t ' ‘ 1 1 1 1 1 A 4 4 1 3 1 S 7 5 A + L A i t A 4 4 2 . 9 5 2 * * 0 . 9 9 5 0 . 4 4 8 0 . 8 5 1 . 2 0 1 . 2 4 0 * = 2 . 0 2 6 * * . 1 5 . 0 5 0 . 3 0 5 2 . 6 8 8 * * . 2 0 . 1 7 4 . 4 2 8 * * . 3 9 0 . 3 5 0 2 . 7 6 0 2 “ : 0 . 9 6 0 2 . 5 6 4 * * 0 . 5 3 7 . V . 1 . 3 0 0 0 . 8 6 0 1 8 1 T ” * O a l E 1 1 1 1 1 " 1 3 2 “ 5 6 7 8 9 ° 1 2 3 " b l e fi fi 3 ' fi 1 { fi 2 1 fi fi 3 fi d f 5 D I 7 g 1 3 r . M ; ; 3 % 3 ; ; ; ; % 3 1 2 z n — 2 * 3 % g m ; % ; E 7 7 : ¢ 1 S 5 9 3 0 0 7 3 1 6 3 5 8 1 1 n S 1 0 9 9 0 0 0 9 1 9 9 9 9 9 3 7 7 9 7 7 7 0 3 8 0 2 1 : . W . . . . . . . . 9 . . . . . . i n 1 0 0 1 1 1 0 1 0 0 0 0 0 0 i g n u m i : C + — " 1 — — 5 : E 7 g ; ‘ 3 2 5 7 5 ; 3 g — g - 7 r 3 fi 1 e fi 1 3 { % H i fi % { fi : g g ‘ - . g g g g C 1 7 — 1 1 1 = . o 1 5 — - g g - 4 n a c 3 a n 0 W 7 c 5 i 1 f M 2 5 % ; } 1 % § 3 g fi ; 5 ; ' 0 } } ; ; % g 1 1 1 1 1 1 1 1 1 1 1 0 0 1 . . . . . . . . . . . . . . 0 0 3 1 1 1 1 1 1 0 0 9 1 9 3 5 0 9 1 6 1 0 0 5 7 8 3 3 e 1 3 2 8 2 0 2 0 5 1 7 7 2 0 t e s fi fi fi fi f % fi § 1 % 1 fi fi : 2 2 M g — — ; t E ; g 5 : g j — % g g g 5 § 3 1 " C w — : 4 — ‘ s f 1 3 1 o 3 0 1 1 1 1 1 1 1 0 0 1 0 0 0 . . . . . . . . . . . . . . o r g g ; 3 % ; % ; g 2 ; - ; ; ; f 5 % 3 r 7 0 8 3 1 6 1 1 1 8 8 1 9 9 9 m 5 1 8 5 1 2 2 0 4 6 7 9 8 1 1 0 2 : 1 7 6 5 3 1 2 5 8 7 7 2 e q u . 1 n a fi fi fi fi 1 1 1 fi { 1 fi fi fi d % l i E g g g 1 0 3 3 C s a : — 5 : . ; g 1 g { e M 2 g 2 g § ; ; ; ; } ; ; 3 3 3 3 n t 1 0 5 , % 3 % o y o 3 0 F . . . . . . . . . . . . . . 1 1 0 1 1 1 1 1 1 1 0 1 0 1 m v a r f 5 5 8 1 7 F 0 9 3 1 1 4 0 1 0 1 9 0 0 9 1 0 8 7 8 1 8 1 5 5 2 5 3 5 3 9 8 6 6 6 5 8 2 7 1 1 . m a t o e I 0 1 0 0 1 1 0 0 0 0 0 0 1 0 s W . . . . . . . . . . . . . . 5 G 1 9 8 8 0 1 0 9 9 9 8 9 8 7 0 8 7 7 2 2 0 : 4 1 6 7 8 2 8 5 9 2 : 0 3 3 6 0 3 8 7 4 2 9 c B 1 a E 5 : s g g g i C ‘ 1 . 3 g m : : g g g - 3 2 ; 2 : . — - E . 1 ; n N ; ; ; 1 E ; ; % ; “ % 4 1 ; ; g 8 1 fi fi 1 fi 1 fi fi i 1 2 r { fi fi % ; % 1 1 2 7 3 % b ‘ ; - C — — i I ? : : : " — 4 M 2 2 S E : ; 2 g g — 3 — % I 5 7 5 3 3 g g 5 g § ‘ 2 4 3 g % ; fi ; ; % i fi { } 1 1 1 1 fi f { fi 3 0 W 7 6 F 0 0 1 1 1 0 1 1 1 0 1 0 1 1 . . . . . . . . . . . . . 0 9 9 0 0 1 9 0 0 0 8 0 9 1 3 5 0 5 3 8 1 7 0 7 u 9 0 8 0 4 0 0 2 5 9 6 2 2 4 9 8 2 0 t o r , n e 1 8 2 1 8 3 I I I . D . 2 . D i f f e r e n c e s b e t w e e n t h e t w o f o r m s T h e o n l y c o n s i s t e n t s i g n i f i c a n t d i f f e r e n c e s b e t w e e n t h e t w o f o r m s a r e o n I t e m s 3 a n d 1 4 . T h e s e t w o i t e m s h a d s i g n i f i c a n t l y h i g h e r m e a n s o n t h e ' n e w ' e v a l u a t i v e f o r m f o r f i v e e x p e r i m e n t a l g r o u p s , a n d t h e ' n e w ' m e a n s w e r e h i g h e r b u t n o t s t a t i s t i c a l l y s i g n i f i c a n t l y s o f o r a s i x t h g r o u p . T h e r e w e r e f o r t y - t w o i t e m b y g r o u p c o m p a r i s o n s o f L i k e r t a n d e v a l u a t i v e f o r m a t s . T h i r t y - o n e t i m e s t h e L i k e r t f o r m a t w a s l e s s b i a s e d a n d e l e v e n t i m e s t h e e v a l u a t i v e f o r m a t w a s l e s s b i a s e d , b u t a l l t w e l v e o f t h e s i g n i f i c a n t d i f f e r e n c e s i n d i c a t e d t h e L i k e r t f o r m a t t o b e l e s s b i a s e d . T h e i n v e r s i o n o f I t e m s 1 0 a n d 1 4 c l e a r l y d i d n o t y i e l d m i r r o r - i m a g e r e s p o n s e s f r o m t h e s t u d e n t s . A l l t w e l v e i t e m b y g r o u p c o m p a r i s o n s - - s e v e n o f t h e m s i g n i f i c a n t - - s h o w e d l e s s l e n i e n c y b i a s i n t h e o r i g i n a l c o n s t r u c t i o n . H o w e v e r , t h e f i v e c o m m o n i t e m s b e t w e e n s u r v e y s a l s o s h o w e d c o n s i s t e n t b i a s . T w e n t y - f i v e o f t h e t h i r t y c o m p a r i s o n s w e r e l e s s b i a s e d ( o n l y t w o s i g n i f i c a n t l y s o ) o n t h e ' o l d ' f o r m e v e n t h o u g h t h e i t e m s w e r e i d e n t i c a l o n b o t h f o r m s . T h i s h a p p e n s t a n c e d a m p s a n y e x t r a v a n t c l a i m s a b o u t t h e o v e r a l l l e n i e n c y b i a s o f t h e e v a l u a t i v e f o r m a t a s c o m p a r e d w i t h t h e L i k e r t f o r m a t . S t i l l , t h e o r i g i n a l f o r m a t s f o r I t e m s 3 a n d 1 4 s h o w l e s s p o s i t i v e b i a s e v e n a f t e r a d j u s t i n g f o r t h e b a s e l i n e d i f f e r e n c e s b e t w e e n s u r v e y s . 1 8 4 I I I . D . 3 . D i s c u s s i o n o f r e s u l t s T h e r e s u l t s o f t h i s s t u d y i n d i c a t e t h a t t h e L i k e r t f o r m a t i s n o _ t _ m o r e b i a s e d t h a n t h e ' u n b i a s e d ' e v a l u a t i v e . O n l y o n e L i k e r t i t e m d i f f e r s s i g n i f i c a n t l y f r o m i t s e v a l u a t i v e c o u n t e r p a r t a n d t h e L i k e r t i t e m i s l e s s b i a s e d , n o t m o r e . T h e o n l y w o r k w h i c h m i g h t b e d i r e c t l y c o m p a r e d w i t h t h i s i s t h a t d o n e b y S h o w e r s [ 9 4 ] o n S t u d e n t I n s t r u c t i o n a l R a t i n g S y s t e m f o r m s . H e r c o n c l u s i o n w a s t h a t t h e L i k e r t f o r m a t i s m o r e b i a s e d t h a n t h e e v a l u a t i v e f o r m a t . F o u r p o s s i b l e r e s o l u t i o n s o f t h i s a p p a r e n t c o n f l i c t w i l l n o w b e p r e s e n t e d . A n y o r a l l o f t h e s e f o u r s u g g e s t e d e x p l a n a t i o n s m a y c o n t r i b u t e t o t h e o b s e r v e d d i f f e r e n c e s b e t w e e n S h o w e r s ' r e s u l t s a n d t h e s e . F i r s t , t h e c o n t e n t o f t h e s u r v e y s i n t h e t w o s t u d i e s m a y b e d i f f e r e n t e n o u g h t o b a r c o m p a r i s o n o f t h e r e s u l t s . A s E l l i o t [ 8 4 ] d e m o n s t r a t e d , d i f f e r e n t a r e a s o f c o n t e n t c h a n g e t h e b i a s e s i n d i f f e r e n t f o r m a t s . T h e s u r v e y s u s e d b y S h o w e r s a s k t h e s t u d e n t s t o r a t e t h e i r i n s t r u c t o r a n d h i s c o u r s e o n s e v e r a l c h a r a c t e r i s t i c s , m o s t o f w h i c h m a k e s p e c i f i c r e f e r e n c e t o t h e p e r s o n - o f t h e i n s t r u c t o r . T a y l o r [ 1 1 0 ] a n d S t o c k f o r d [ 9 2 ] p o i n t o u t t h a t w h e n p e r s o n s a r e r a t e d , t h e r a t i n g s a r e m o r e l i n i e n t w h e n t h e r a t e d p e r s o n w i l l s e e t h e r e s u l t s , o r w h e n t h e r a t i n g s w i l l b e u s e d t o e v a l u a t e t h e p e r s o n . I n c o n t r a s t t o t h e m a n y ' p e r s o n a l ' S I R S i t e m s , n o n e o f t h e i t e m s o n t h e c o u r s e e v a l u a t i o n s u r v e y u s e d i n t h i s s t u d y a s k t h e s t u d e n t t o d i r e c t l y e v a l u a t e a n i n s t r u c t o r i n a c l a s s r o o m s e t t i n g . T h i s d i f f e r e n c e i n s u r v e y c o n t e n t m a y i n f l u e n c e t h e r e s p o n s e s s i g n i f i c a n t l y . . fl - 7 . 1 8 5 S e c o n d , S h o w e r s a s k e d f o r q u a l i t a t i v e j u d g e m e n t s o f p r i m a r i l y e x t e r n a l t h i n g s a l o n g a s c a l e o f s u p e r i o r t o i n f e r i o r . W h e n a s t u d e n t i s a s k e d t o j u d g e s o m e t h i n g , i t m u s t n o t o n l y b e e a s i l y o b s e r v a b l e b u t a l s o c l e a r l y a n c h o r e d t o a s t a n d a r d o f c o m p a r i s o n . A n i n s t r u c t o r ' s e n t h u s i a s m , c o n c e r n , o r k n o l e d g e a b i l i t y a r e l e s s ' o b s e r v a b l e ' t h a n a s t u d e n t ' s o w n l i k i n g f o r t h e a u d i o t a p e s , g r a d i n g s c a l e , o r t e x t b o o k . S t u d e n t s m a y b e i n c l i n e d t o g i v e t h e i n s t r u c t o r t h e b e n e f i t o f t h e d o u b t c o n c e r n i n g t h a t w h i c h t h e y c a n n o t r e a d i l y o b s e r v e . T h i r d , t h e f o r m a t s c o m p a r e d b y S h o w e r s m a y n o t b e t h e s a m e a s t h e f o r m a t s c o m p a r e d i n t h i s s t u d y . T h e d i f f e r e n c e b e t w e e n S h o w e r s ' L i k e r t a n d e v a l u a t i v e i t e m s i s d e e p e r t h a n s i m p l y a c h a n g e i n f o r m a t . T h e n a t u r e o f t h i s d i f f e r e n c e i s c l a r i f i e d b y t h e e x a m p l e s i n T a b l e 3 . 5 . T a b l e 3 . 5 E x a m p l e s o f d i f f e r e n t f o r m a t s f o r t h e s a m e s u r v e y i t e m E v a l u a t i v e ( a n c h o r e d ) L i k e r t ( u n a n c h o r e d ) L i k e r t ( a n c h o r e d ) I n s t r u c t o r ' s e n t h u s i a s m I n s t r u c t o r w a s I n s t r u c t o r ' s e n t h u s i a s m w a s . . . . , e n t h u s i a s t i c . w a s a b o v e a v e r a g e . S u p e r i o r S t r o n g l y a g r e e S t r o n g l y a g r e e A b o v e a v e r a g e A g r e e A g r e e A v e r a g e N e i t h e r A n o r D N e i t h e r A n o r D B e l o w a v e r a g e D i s a g r e e D i s a g r e e I n f e r i o r S t r o n g l y d i s a g r e e S t r o n g l y d i s a g r e e S h o w e r s c o m p a r e d a n c h o r e d e v a l u a t i v e i t e m s w i t h u n a n c h o r e d L i k e r t i t e m s . T h e r e s p o n s e t o a n u n a n c h o r e d L i k e r t i t e m c a n b e q u i t e d i f f e r e n t f r o m t h e r e s p o n s e t o a n a n c h o r e d i t e m . I f t h e s t u d e n t s 1 8 6 p e r c e i v e a l l i n s t r u c t o r s a s e n t h u s i a s t i c , t h e n a n e n t h u s i a s t i c i n s t r u c t o r i s m e r e l y a v e r a g e . H e r e t h e o b s e r v e d d i f f e r e n c e b e t w e e n t h e m e a n r e s p o n s e s o n t w o d i f f e r e n t s u r v e y f o r m a t s i s c a u s e d n o t j u s t b y r e w o r d i n g t h e s a m e q u e s t i o n b u t b y a s k i n g a d i f f e r e n t q u e s t i o n . T h e a n c h o r e d i t e m a s k s f o r a j u d g e m e n t r e l a t i v e t o a n a s s u m e d n o r m , t h e u n a n c h o r e d i t e m a s k s f o r a n a b s o l u t e j u d g e m e n t . T o t h e e x t e n t t h a t t h i s r e l a t i v e - a b s o l u t e d i c h o t o m y i s p r e s e n t , t h e t w o q u e s t i o n s w i l l h a v e t h e s a m e r e s p o n s e s o n l y b y a c c i d e n t . W h e n t h e u n a n c h o r e d L i k e r t i t e m h a s a h i g h e r m e a n t h a n t h e e v a l u a t i v e i t e m i t m a y o n l y m e a n t h a t t h e o c c u r r e n c e o f t h e q u a l i t y i n q u e s t i o n i s w i d e s p r e a d . A t r u e r d e t e r m i n a t i o n o f t h e e f f e c t o f t h e f o r m a t w o u l d b e g a i n e d b y c o m p a r i n g t h e a n c h o r e d L i k e r t i t e m w i t h t h e a n c h o r e d e v a l u a t i v e i t e m , a s w a s d o n e i n t h i s s t u d y , o r b y c o m p a r i n g t h e u n a n c h o r e d L i k e r t i t e m w i t h a n u n a n c h o r e d e v a l u a t i v e f o r m a t . ( A n u n a n c h o r e d e v a l u a t i v e f o r m a t a v o i d s a n y r e f e r e n c e t o t h e a v e r a g e o r t y p i c a l - - e . g . , f i v e r e s p o n s e c u e s m i g h t b e : e x c e l l e n t , g o o d , p a s s a b l e , p o o r , a n d t e r r i b l e . ) F o u r t h , i t i s p o s s i b l e f o r s u r v e y s t o s h o w a p o s i t i v e b i a s i n o n e s i t u a t i o n a n d a n e g a t i v e b i a s i n a n o t h e r s i t u a t i o n . T h i s r e v e r s a l c a n o n l y h a p p e n w h e n t h e r e s p o n s e i n t e r v a l s o n o n e s u r v e y a r e s m a l l e r t h a n t h o s e o n a n o t h e r s u r v e y . B y a n a l o g y . c o n s i d e r t h e F a h r e n h e i t a n d C e l s i u s s c a l e s . T h e F a h r e n h e i t t e m p e r a t u r e i s a h i g h e r n u m b e r t h a n t h e C e l s i u s t e m p e r a t u r e w h e n e v e r t e m p e r a t u r e s a r e a b o v e - 4 0 0 , B u t t h e C e l s i u s t e m p e r a t u r e i s a h i g h e r n u m b e r t h a n t h e F a h r e n h e i t w h e n t e m p e r a t u r e s a r e b e l o w - 4 0 ° , I n a s e n s e , t h e F a h r e n h e i t s c a l e i s 1 8 7 m o r e l e n i e n t i n t h e f i r s t c a s e a n d t h e C e l s i u s s c a l e i s m o r e l e n i e n t i n t h e s e c o n d c a s e . I n c o n t r a s t , t h e K e l v i n s c a l e i s a l w a y s ' m o r e l e n i e n t ' t h a n t h e C e l s i u s s c a l e a n d g i v e s a m o r e p o s i t i v e n u m b e r a c r o s s a l l r a n g e o f t e m p e r a t u r e s . T h u s i f t h e L i k e r t a n d e v a l u a t i v e s u r v e y s h a v e e q u a l s c a l e i n t e r v a l s , t h e o b s e r v e d r e s p o n s e m e a n o f t h e m o r e l e n i e n t s c a l e w i l l b e c o n s i s t e n t l y b i a s e d i n t h e s a m e d i r e c t i o n . I f t h e L i k e r t s c a l e h a s n a r r o w e r r e s p o n s e i n t e r v a l s , t h e n t h e d i r e c t i o n o f t h e o b s e r v e d b i a s w i l l d e p e n d o n t h e r e s p o n s e m e a n s . I f t h e o b s e r v e d m e a n s a r e h i g h , a L i k e r t s c a l e m a y s h o w p o s i t i v e b i a s r e l a t i v e t o a n e v a l u a t i v e s c a l e , w h e r e a s i f t h e o b s e r v e d m e a n s a r e l o w , t h e o p p o s i t e m a y b e s e e n . T h e r e s p o n s e m e a n s f o r t h e s u r v e y s u s e d h e r e a n d b y S h o w e r s a r e l i s t e d b e l o w i n T a b l e 3 . 7 . T a b l e 3 . 7 D i s t r i b u t i o n o f s u r v e y r e s p o n s e m e a n s R a n g e S h o w e r s ” K a l e s 1 M 4 . 0 0 - 5 . 0 0 2 1 . 6 0 . 0 3 . 5 0 - 3 . 9 9 6 0 . 8 2 1 . 4 3 . 0 0 - 3 . 4 9 1 7 . 6 2 5 . 0 2 . 5 0 - 2 . 9 9 0 . 0 5 0 . 0 2 . 0 0 - 2 . 4 9 0 . 0 3 . 6 1 ” : P e r c e n t o f t h e f i f t y - o n e m e a n s i n e a c h r a n g e " P e r c e n t o f t h e t w e n t y - e i g h t m e a n s i n e a c h r a n g e 1 8 8 T h e d i s t r i b u t i o n s o f i t e m m e a n s a r e q u i t e d i f f e r e n t i n t h e t w o g r o u p s o f d a t a . T h e r e f o r e , i n a t l e a s t o n e o f t h e s e s t u d i e s , i t m a y b e t h a t t h e s c a l e i n t e r v a l s o n o n e o f t h e s u r v e y s a r e n a r r o w e r t h a n t h o s e o n t h e o t h e r . T h e v a r i a n c e o f t h e i t e m s i n t h i s s t u d y d o n o t d i f f e r s i g n i f i c a n t l y , t h u s s u p p o r t i n g t h e e q u a l - i n t e r v a l a s s u m p t i o n f o r t h e L i k e r t a n d e v a l u a t i v e f o r m a t s u s e d h e r e . S h o w e r s d i d n o t e x p l i c i t l y t e s t f o r e q u a l i t y i n h e r s t u d y , h e n c e t h e v a l i d i t y o f t h e e q u a l - i n t e r v a l a s s u m p t i o n f o r h e r d a t a r e m a i n s u n s u b s t a n t i a t e d f A l t h o u g h a n y o f t h e f o u r a b o v e e x p l a n a t i o n s s i n g l y o r i n c o m b i n a t i o n m a y a c c o u n t f o r t h e d i f f e r e n t c o n c l u S i o n o f S h o w e r s , i t s e e m s m o s t l i k e l y t h a t h e r c o m p a r i s o n o f t h e u n a n c h o r e d L i k e r t s c a l e w i t h t h e a n c h o r e d e v a l u a t i v e s c a l e i s t h e p r i n c i p a l d e t e r m i n a n t o f h e r r e s u l t s . I n s u m , o v e r t h e s i x g r o u p s a n d m o r e t h a n f o u r t h o u s a n d s t u d e n t s i n t h i s s t u d y , t h e L i k e r t f o r m a t a s o r i g i n a l l y w r i t t e n i s n o m o r e l e n i e n t a n d s o m e t i m e s s i g n i f i c a n t l y l e s s l e n i e n t t h a n t h e ' n a t u r a l l y u n b i a s e d ' e v a l u a t i v e f o r m a t . T h e s e c o n d s i g n i f i c a n t b i a s o b s e r v e d i n t h e s e r e s u l t s i s t h a t o f t h e i n v e r t e d i t e m s . T h e r e i s a c o n s i s t e n t a n d o f t e n d r a m a t i c d i f f e r e n c e b e t w e e n w h a t a p p e a r t o b e m i r r o r - i m a g e s t a t e m e n t s . T h e o r i g i n a l a n d * T h e m u l t i v a r i a t e a n a l y s i s o f v a r i a n c e t e c h n i q u e w h i c h S h o w e r s u s e d i s n o t s e n s i t i v e t o v i o l a t i o n o f t h e a s s u m p t i o n o f e q u a l v a r i a n c e s a m o n g t h e g r o u p s . H o w e v e r , i f a t r e n d e x i s t s i n t h e d a t a w h e r e b y o n e o f t h e s u r v e y s t e n d s t o h a v e a l a r g e r v a r i a n c e , t h e n t h e d i f f e r e n c e s i n t h e m e a n s m a y b e d u e t o t h e a b o v e e x p l a n a t i o n . T h e c o n c l u s i o n w o u l d h a v e t o b e q u a l i f i e d b y s t a t i n g " I n t h i s r e g i o n o f t h e s c a l e . . . . f o r m a t L i s m o r e l e n i e n t t h a n f o r m a t E . " 1 8 9 i n v e r t e d f o r m s o f I t e m 1 4 a r e p r e s e n t e d i n T a b l e 3 . 8 . M o r e s t u d e n t s t e n d t o d i s a g r e e w i t h t h e i n v e r t e d s t a t e m e n t t h a n a g r e e w i t h t h e o r i g i n a l s t a t e m e n t . T h e r e s p o n s e s t o e i t h e r f o r m o f I t e m 1 4 a l s o t e n d t o b e m o r e p o l a r i z e d t h a n r e s p o n s e s t o o t h e r s u r v e y q u e s t i o n s , a s c a n b e s e e n i n t h e l a r g e r v a r i a n c e s f o r t h i s i t e m . T a b l e 3 . 8 A s u r v e y q u e s t i o n i n v o l v i n g a ' r a t h e r - t h a n ' c o m p a r i s o n F o r m a t S t a t e m e n t O r i g i n a l i t e m 1 4 I f I w e r e g i v e n t h e c h o i c e , I w o u l d c h o o s e t h i s m e t h o d f o r a c o u r s e r a t h e r t h a n t h e l e c t u r e - r e c i t a t i o n - t h r e e - e x a m s - a n d - a - f i n a l m e t h o d . I n v e r t e d i t e m 1 4 H I w e r e g i v e n t h e c h o i c e , I w o u l d c h o o s e t h e l e c t u r e - r e c i t a t i o n - t h r e e - e x a m s - a n d - a - f i n a l m e t h o d f o r a c o u r s e r a t h e r t h a n t h e m e t h o d u s e d i n t h i s c o u r s e . G u i l f o r d [ 1 0 9 ] p o s t u l a t e s t h a t " . . . n a t u r a l a t t i t u d e a t t e m p t s t o d i c h o t o m i z e e x p e r i e n c e , a v o i d i n g t h e i n d i f f e r e n t a n d t h e m e d i o c r e i n a f f e c t i v e r e a c t i o n s . " I t e m 1 4 p r e s e n t s a n e i t h e r - o r c h o i c e t o t h e s t u d e n t a n d t h e r e s p o n s e s a r e p e r h a p s t h e r e f o r e m o r e r e a d i l y p o l a r i z e d t h a n f o r o t h e r q u e s t i o n s . H o v e l a n d a n d o t h e r s [ 1 1 1 , 1 1 2 ] s t a t e t h a t s u b j e c t s s h o w a t e n d e n c y t o e x t r e m e n e s s i n r e j e c t i n g s t a t e m e n t s w i t h w h i c h t h e y d i s a g r e e . G o r d o n [ 1 1 3 ] f o u n d t h a t n e g a t i v e e x t r e m e n e s s w a s m o r e p r o n o u n c e d t h a n p o s i t i v e e x t r e m e n e s s i n s e v e r a l a t t i t u d e s u r v e y s h e i n v e s t i g a t e d . W a r r [ 1 1 4 ] s u g g e s t s t h a t t h e e x t r e m e n e s s t e n d e n c y i s 1 9 0 a f u n c t i o n o f t h e i n v o l v e m e n t a s s o c i a t e d w i t h t h e t a s k . I f s t u d e n t s p e r c e i v e t h e m a t t e r a s i m p o r t a n t a n d i n v o l v i n g , t h e y t e n d t o r e s p o n d m o r e e x t r e m e l y t h a n o t h e r w i s e . S u r v e y q u e s t i o n N o . 1 0 d o e s n o t s h o w s u c h d i f f e r e n c e s b e t w e e n t h e o r i g i n a l a n d i n v e r t e d w o r d i n g a s d o e s N o . 1 4 . T h e c o n t e n t o f N o . 1 0 a s k s f o r a m o r e a m b i g u o u s j u d g e m e n t o f w h e t h e r t h e a u d i o t a p e s a r e b e t t w e t h a n l e c t u r e s w o u l d h a v e b e e n . A s a r e s u l t , t h e g r o u p v a r i a n c e s a n d d i f f e r e n c e s i n m e a n s t e n d t o b e l o w e r t h a n t h o s e f o r q u e s t i o n N o . 1 4 . I I I . D . 4 . C o n c l u s i o n s > O n t h e w h o l e , t h e L i k e r t i t e m s w i t h " I l i k e d s u c h a n d s u c h " s t e m s w e r e s l i g h t l y l e s s b i a s e d t h a n t h e e v a l u a t i v e i t e m s w i t h " H o w d i d y o u f e e l a b o u t s u c h a n d s u c h " s t e m s . O n l y o n e o f t h e s e v e n L i k e r t s u r v e y i t e m s s h o w e d c o n s i s t e n t s i g n i f i c a n t b i a s c o m p a r e d w i t h t h e e v a l u a t i v e f o r m a t , a n d t h e b i a s w a s i n t h e n e g a t i v e d i r e c t i o n - - i . e . , t h e L i k e r t i t e m w a s l e s s l e n i e n t t h a n t h e e v a l u a t i v e i t e m . O f t h e t w o i t e m s w h i c h w e r e i n v e r t e d a n d c o m p a r e d , o n l y o n e d i s p l a y e d a s i g n i f i c a n t l a c k o f m i r r o r - i m a g e r e s p o n s e . I t e m 1 4 c o n c e r n e d t h e c o n c r e t e a c t i o n o f c h o o s i n g i n c o n t r a s t w i t h t h e q u a l i t y j u d g e m e n t r e q u e s t e d i n I t e m 1 0 . T h e e a s i e r i t i s i n t h e s t u d e n t ' s o w n m i n d t o m a k e a d i s t i n c t i o n , t h e m o r e l i k e l y h i s r e s p o n s e w i l l b e e x t r e m e . I t i s a l s o m o r e l i k e l y f o r d i s a g r e e m e n t t o b e e x t r e m e t h a n f o r a g r e e m e n t t o b e s o . T h e s t u d e n t m a y f i n d i t e a s i e r t o a s s e s s w h a t c h o i c e t o m a k e r a t h e r t h a n w h e t h e r o n e t h i n g i s ' b e t t e r ' t h a n a n o t h e r . 1 9 1 I I I . E . C o r r e c t i o n f o r t h e o b s e r v e d b i a s S u r v e y I t e m s 3 a n d 1 4 a r e t h e o n l y t w o q u e s t i o n s w h i c h s h o w e d l a r g e c o n s i s t e n t d i f f e r e n c e s b e t w e e n t h e o r i g i n a l f o r m a t a n d t h e e x p e r i m e n t a l f o r m a t . A f a c t o r a n a l y s i s o f t h e e v a l u a t i o n s u r v e y g r o u p e d I t e m s 1 , 2 , 3 , 1 4 , a n d m o s t o f 1 0 i n t o t h e s a m e f a c t o r . S i n c e I t e m s 1 a n d 2 a r e t h e s a m e o n b o t h f o r m s , t h e d i f f e r e n c e b e t w e e n t h e n e w a n d o l d f o r m s o n t h e s e t w o i t e m s i s a d i f f e r e n c e o f g r o u p a n d n o t o f f o r m a t . T h i s b a s e l i n e d i f f e r e n c e i s s u b t r a c t e d f r o m t h e d i f f e r e n c e s b e t w e e n t h e o l d a n d n e w f o r m s o f I t e m s 3 a n d 1 4 s o t h a t t h e c o r r e c t i o n o f t h e e x p e r i m e n t a l f o r m a t i s b a s e d o n o n l y t h e n e t d i f f e r e n c e b e t w e e n t h e n e w a n d o l d f o r m a t s . T h e d i f f e r e n c e s b e t w e e n t h e r e s p o n s e m e a n s o n t h e o l d a n d n e w s u r v e y f o r m a t s a r e l i s t e d i n T a b l e 3 . 9 o n t h e n e x t p a g e . B a s e d o n t h e a v e r a g e b i a s e s f o r t h e n e w f o r m a t s o f I t e m s 3 a n d 1 4 t w o s i m p l i f i e d c o r r e c t i o n s w e r e m a d e o n t h e d a t a . T h e f i r s t c o r r e c t i o n i s o f c e l l p o p u l a t i o n s i n t h e f r e q u e n c y c o u n t o f r e s p o n s e s t o t h e s e i t e m s . T h e r e s p o n s e m e a n o n t h e e x p e r i m e n t a l f o r m a t i s ' t o o h i g h ' b y a c e r t a i n f r a c t i o n f o r t h e s e t w o i t e m s . T o l o w e r t h e r e s p o n s e m e a n , t h e c e l l p o p u l a t i o n s w e r e e a c h a d j u s t e d b y s h i f t i n g a f r a c t i o n o f t h e n u m b e r o f r e s p o n s e s i n e a c h c a t e g o r y t o t h e n e x t l o w e r c a t e g o r y . T h e f r a c t i o n s h i f t e d d o w n w a r d f o r I t e m 3 i s o n e - f i f t h a n d f o r I t e m 1 4 i t i s o n e - t h i r d . A n e x a m p l e o f t h i s c o r r e c t i o n t o c e l l f r e q u e n c i e s i s p r o v i d e d i n T a b l e 3 . 1 0 . T h e s e c o r r e c t e d r e s p o n s e f r e q u e n c i e s f o r t h e e x p e r i m e n t a l f o r m a t a r e a d d e d t o t h e r e s p o n s e f r e q u e n c i e s f o r t h e o r i g i n a l f o r m a t , I d e n t i f i c a t i o n R e s p o n s e C e l l 1 9 2 T a b l e 3 . 9 P e r c e n t a g e d i f f e r e n c e s b e t w e e n s u r v e y m e a n s f o r t h e o r i g i n a l a n d e x p e r i m e n t a l f o r m a t s " r T e r m I t e m s . 1 a n d 2 I t e m 3 I t e m 1 4 m e a n d i f f e r e n c e r a w n e t r a w n e t 1 3 1 W 7 5 2 . 5 3 0 . 0 2 7 . 5 5 5 . 0 5 2 . 5 1 3 0 W 7 5 2 3 . 5 5 3 . 0 2 9 . 5 7 5 . 0 5 1 . 5 1 3 1 8 7 5 1 0 . 5 3 7 . 0 2 6 . 5 2 6 . 0 1 5 . 5 1 3 0 F 7 5 7 . 5 2 0 . 0 1 2 . 5 3 6 . 0 2 8 . 5 1 3 1 W 7 6 1 4 . 5 2 4 . 0 9 . 5 3 9 . 0 2 4 . 5 1 3 0 W 7 6 8 . 5 1 4 . 0 5 . 5 4 0 . 0 3 1 . 5 m e a n 1 8 . 5 3 4 . 0 m e d i a n 1 9 . 5 8 0 . 0 * A l l d i f f e r e n c e s a r e p o s i t i v e s i n c e t h e e x p e r i m e n t a l m e a n w a s a l w a y s h i g h e r t h a n t h e o r i g i n a l m e a n . T a b l e 3 . 1 0 E x a m p l e o f a c e l l p o p u l a t i o n c o r r e c t i o n - 1 3 0 F 7 5 N o . 3 1 2 3 4 5 E x p e r i m e n t a l c e l l f r e q u e n c i e s 3 6 7 4 9 9 2 0 5 1 9 0 N u m b e r s h i f t e d d o w n w a r d 0 1 4 1 9 4 1 3 8 S a m p l e c a l c u l a t i o n s ( 3 6 - 0 ) + 1 4 ( 2 0 5 - 4 1 ) + 3 8 C o r r e c t e d c e l l f r e q u e n c i e s 5 0 7 9 1 2 1 2 0 2 1 5 2 L i k e r t f o r m a t c e l l f r e q u e n c i e s 8 1 6 7 8 3 1 9 0 1 8 0 C u m u l a t i v e c e l l f r e q u e n c i e s 1 3 1 1 4 6 2 0 4 3 9 2 3 3 2 1 9 3 a n d t h e o v e r a l l m e a n s w e r e c a l c u l a t e d . T h e s e c o r r e c t e d o v e r a l l m e a n s a r e t h e b a s i s f o r s u m m a r y d a t a f o r t h e c o u r s e e v a l u a t i o n s u r v e y s p r e s e n t e d i n C h a p t e r I V a n d t h e a p p e n d i x . T h e s e c o n d c o r r e c t i o n i s t o e a c h e a c h r e s p o n s e t o I t e m s 3 a n d 1 4 i n t h e e x p e r i m e n t a l f o r m a t . T h e n u m e r i c a l v a l u e s a t t a c h e d t o t h e f i v e r e s p o n s e c a t e g o r i e s a r e d e c r e a s e d b y a n a m o u n t r o u g h l y e q u a l t o t h e n e t d i f f e r e n c e b e t w e e n t h e o r i g i n a l a n d e x p e r i m e n t a l f o r m a t s . E v e r y r e s p o n s e t o I t e m 3 w a s d e c r e a s e d b y 0 . 2 s o t h a t a r e s p o n s e o f 4 i s g i v e n t h e v a l u e 3 . 8 , a n d s o o n . R e s p o n s e s t o I t e m 1 4 w e r e e a c h d e c r e a s e d b y 0 . 3 . T h e s e i n d i v i d u a l l y c o r r e c t e d r e s p o n s e s a r e u s e d i n t h e c a l c u l a t i o n o f c o r r e l a t i o n c o e f f i c i e n t s b e t w e e n s u r v e y r e s p o n s e a n d c o u r s e g r a d e r e p o r t e d i n C h a p t e r I V . T h e c o r r e c t i o n f o r m u l a s a r e o n l y a p p r o x i m a t i o n s ; t h e y m i t i g a t e b u t d o n o t e l i m i n a t e t h e b i a s e s b e t w e e n t h e e x p e r i m e n t a l a n d o r i g i n a l i t e m f o r m a t s f o r I t e m s 3 a n d 1 4 . R e s p o n s e s t o a l l o t h e r s u r v e y q u e s t i o n s a r e u n c o r r e c t e d ; t h e g r a n d m e a n s a r e b a s e d o n t h e s i m p l e s u m m i n g o f r e s p o n s e f r e q u e n c i e s . 1 9 4 I I I . F . S u m m a L y f o r a t t i t u d e s u r v e y b i a s T h e L i k e r t i t e m s w h i c h a p p e a r e d o n t h e o r i g i n a l d e s i g n o f t h e c o u r s e e v a l u a t i o n f o r m a r e n o t s i g n i f i c a n t l y b i a s e d c o m p a r e d w i t h t h e ' u n b i a s e d ' e v a l u a t i v e f o r m a t s a v e f o r o n e i t e m . T h e u s e o f t h e L i k e r t f o r m a t a l l o w s t h e s a m e a n s w e r k e y t o b e u s e d f o r I t e m s 3 t h r o u g h 1 4 , a n d f o r t h i s r e a s o n i t w i l l b e r e t a i n e d i n f u t u r e e d i t i o n s o f t h e s u r v e y . T h e c o m p l e x q u e s t i o n s p o s e d i n I t e m s 1 0 a n d 1 4 e l i c i t d i f f e r e n t p a t t e r n s o f r e s p o n s e w h e n t h e s e n s e o f t h e s e n t e n c e i s i n v e r t e d . T h e o r i g i n a l c o n s t r u c t i o n i s l e s s p o s i t i v e l y b i a s e d t h a n t h e i n v e r t e d f o r m a t a n d a s s u c h w i l l b e r e t a i n e d a s t h e p r e f e r r e d f o r m . S o t h a t s u r v e y r e s p o n s e f r o m t h e a l t e r n a t e f o r m a t m a y b e c o m p a r e d d i r e c t l y w i t h t h e o r i g i n a l f o r m a t f r o m t h e s a m e a n d o t h e r t e r m s , t h e m e a n s a n d r e s p o n s e s t o I t e m s 3 a n d 1 4 w e r e c o r r e c t e d f o r p o s i t i v e b i a s o n t h e e x p e r i m e n t a l f o r m a t . R e s p o n s e s t o I t e m s 3 a n d 1 4 w e r e d e c r e a s e d a p p r o x i m a t e l y o n e - f i f t h a n d o n e - t h i r d o f a s c a l e u n i t r e s p e c t i v e l y . N o o t h e r c h a n g e i n r e s p o n s e s t o o t h e r q u e s t i o n s w a s m a d e . T h e r e s u l t s o f t h e e v a l u a t i o n s u r v e y a n d t h e p a t t e r n s o f r e s p o n s e a r e s u m m a r i z e d a n d d i s c u s s e d i n C h a p t e r I V . . 3 6 1 3 b i 2 % 0 ‘ 2 M y } ? ? ? 9 1 1 , 4 3 1 7 ¢ 1 9 9 . / f i " ? ” J 3 ( c ? O C h a p t e r I V S t u d e n t a c h i e v e m e n t a n d a t t i t u d e I V . A . W h a t a r e s t u d e n t s e x p e c t e d t o k n o w ? A n i n v e n t o r y o f c o u r s e m a t e r i a l c a n h a v e s e v e r a l f o r m s , e a c h b e s t s u i t e d t o a d i f f e r e n t p u r p o s e . T h e g e n e r a l g o a l s o f C E M 1 3 0 / 1 3 1 s t a t e d i n a c o u r s e d e s c r i p t i o n a r e t h e n a m e , s i z e , a n d l o c a t i o n o f t h e ' c o u n t r y ' o f t h e s e c o u r s e s i n t h e w o r l d o f a c a d e m i c s u b j e c t s . T h e s y l l a b u s f o r t h e s e c o u r s e s i s a p a r t i t i o n i n g o f t h i s c o g n i t i v e a r e a i n t o d i v i s i o n s a n d s u b d i v i s i o n s w h i c h m a p s t h e i r i n t e r r e l a t i o n s h i p s a n d r e l a t i v e i m p o r t a n c e . S t u d y g u i d e u n i t s a r e a d i v i s i o n o f t h e s y l l a b u s i n t o e q u a l - d e n s i t y p a r c e l s e q u i v a l e n t i n t h e s e c o u r s e s t o o n e d a y ' s w o r k . T h e s m a l l e s t d i v i s i o n o f t h e m a t e r i a l c o v e r e d b y C E M 1 3 0 a n d 1 3 1 i s i n t o t e s t a b l e c o n c e p t s . T h e l a s t t h r e e o f t h e s e c a r t o g r a m s t . . . s y l l a b u s , s t u d y g u i d e s , a n d t e s t a b l e c o n c e p t s - - w i l l b e d i s c u s s e d i n t h e n e x t s e c t i o n s . I V . A . 1 . S y l l a b u s o f t o p i c s . T h e c o u r s e s y l l a b u s f o r C E M 1 3 0 a n d 1 3 1 i s a k e y - w o r d o u t l i n e o f w h a t s t u d e n t s a r e e x p e c t e d t o k n o w w h e n t h e y f i n i s h t h e s e c o u r s e s . T h e t h i r t e e n t o p i c s i n t h e s y l l a b u s c o v e r t w o - t h i r d s o f a o n e - y e a r s e q u e n c e i n c h e m i c a l p r i n c i p l e s . I t w a s c o m p l e t e l y r e w r i t t e n w h e n t h e s e c o u r s e s w e r e r e d e s i g n e d , b u t i s c l o s e l y d e r i v e d f r o m t h e p r e v i o u s s y l l a b u s . T h e s y l l a b u s p r o v i d e s a s e q u e n t i a l m a p o f w h a t i s t o b e t a u g h t a n d l e a r n e d , b u t d o e s n o t i n d i c a t e h o w m u c h t i m e m i g h t b e s p e n t i n 1 9 5 1 9 6 t h e p r e s e n t a t i o n o f a t o p i c . T h e p r i m a r y u s e o f t h e s y l l a b u s i s t o o r g a n i z e t h e s u b j e c t m a t t e r i n t o i t s m a j o r d i v i s i o n s a n d t o d e s c r i b e t h e p r e r e q u i s i t e a n d s u b o r d i n a t e r e l a t i o n s h i p s b e t w e e n t o p i c s a n d s u b t o p i c s . A s e p a r a t e d i v i s i o n o f t h e s y l l a b u s i n t o s e c t i o n s o f e q u a l t i m e a n d e f f o r t i s d e n o t e d b y t h e s u c c e s s i o n o f u n i t s . T h e c o m p l e t e s y l l a b u s f o r t h e s e c o u r s e s i s p r e s e n t e d i n T a b l e A . 1 i n A p p e n d i x A . I V . A . 2 . S t u d y g u i d e u n i t s T h e s e q u e n c e o f 4 8 3 l i n e - e n t r i e s i n t h e c o m b i n e d s y l l a b u s f o r C E M 1 3 0 / 1 3 1 i s d i v i d e d i n t o s i x t y - t h r e e u n i t s o f w o r k - - s o m e u n i t s s p a n a s m a n y a s 2 5 o r 3 0 i t e m s , o t h e r s a s f e w a s t h r e e . T h e s t u d y V g u i d e f o r e a c h u n i t p r o v i d e s a s t a t e m e n t o f t h e g e n e r a l o b j e c t i v e s o f t h e u n i t . T h e s e o b j e c t i v e s a r e a m o r e d e t a i l e d s t a t e m e n t o f w h a t t h e s t u d e n t i s e x p e c t e d t o k n o w a f t e r w o r k i n g t h r o u g h t h e s t u d y g u i d e . A l i s t o f o b j e c t i v e s f o r e a c h u n i t i s g i v e n i n T a b l e A . 2 i n A p p e n d i x A . W h e n u n i t o b j e c t i v e s a r e s t a t e d i n b e h a v i o r a l t e r m s ( f o r e x a m p l e , C E M 1 3 0 U n i t s 3 1 - 3 2 , p . 2 8 4 ) t h r e e i m p o r t a n t u s e s m a y b e m a d e o f t h e m . F i r s t , t h e i n s t r u c t o r c l a r i f i e s f o r h i m s e l f e x a c t l y w h a t h e e x p e c t s o f t h e s t u d e n t a n d t h u s e x a c t l y w h a t t o t e a c h . S e c o n d , t h e s t u d e n t i s t o l d t h e s p e c i f i c s k i l l s o r k n o w l e d g e h e i s e x p e c t e d t o m a s t e r a n d d e m o n s t r a t e o n a n e x a m i n a t i o n . T h i r d , t e s t i t e m s e l e c t i o n a n d w r i t i n g i s g r e a t l y s i m p l i f i e d s i n c e a b e h a v i o r a l o b j e c t i v e i s t h e g e n e r a l i z e d w o r d i n g o f a p o s s i b l e t e s t q u e s t i o n . 1 9 7 I V . E . M e a s u r i g g t k n o w l e d g e o f c h e m i s t r y W h e t h e r a s t u d e n t h a s m a s t e r e d w h a t h e w a s t a u g h t i s e s t i m a t e d b u g i v i n g h i m a t e s t a n d r e c o r d i n g h i s p e r f o r m a n c e o n i t . I n t h e s e c o u r s e s e x a m i n a t i o n s a r e r e q u i r e d a p p r o x i m a t e l y e v e r y f i v e t o s e v e n u n i t s " ; a t t h e e n d o f t h e t e r m a c u m u l a t i v e f i n a l e x a m i n a t i o n i s g i v e n . I f o n l y o n e f o r m o f a n e x a m n e e d b e c o n s t r u c t e d , t h e i n s t r u c t o r m a y g o t h r o u g h t h e s y l l a b u s a n d s t u d y g u i d e s f o r t h e u n i t s t o b e c o v e r e d a n d s e l e c t d i r e c t l y t h e q u e s t i o n i d e a s f o r h i s t e s t . H o w e v e r , s t u d e n t s i n t h e s e c o u r s e s a r e a l l o w e d t o t a k e t e s t s a t d i f f e r e n t t i m e s a n d t o r e p e a t t h e i r t e s t s d u r i n g t h e i n t e r v a l s fl t e s t s a r e o f f e r e d . T h u s m a n y d i f f e r e n t f o r m s o f e a c h e x a m a r e n e e d e d , a n d a m o r e o r g a n i z e d a p p r o a c h t o t e s t c o n s t r u c t i o n i s r e q u i r e d . A t e s t i s n o t a u n i q u e s e t o f q u e s t i o n s b u t o n l y o n e o f m a n y p o s s i b l e s a m p l e s f r o m a u n i v e r s e o f a l l p o s s i b l e q u e s t i o n s . I f t h i s p o o l o f i t e m s a l r e a d y e x i s t s , t e s t c o n s t r u c t i o n i s m e r e l y a s a m p l i n g p r o c e s s . T h e f i r s t s t e p i n c o n s t r u c t i n g a p o o l o f t e s t q u e s t i o n s f r o m w h i c h t h e v a r i o u s e x a m s w i l l b e s a m p l e d i s t o s p e c i f y a l l t h e t e s t a b l e c o n c e p t s i n e a c h o f t h e u n i t s o f m a t e r i a l . * T h e r e a r e s i x e x a m s i n C E M 1 3 0 a n d f i v e i n C E M 1 3 1 . S o m e p r e v i o u s t e r m s r e q u i r e d a s m a n y a s n i n e e x a m s . U n t i l 1 9 7 6 t h e f o u r t h e x a m i n C E M 1 3 0 w a s a c u m u l a t i v e e x a m o v e r . t h e f i r s t t w e n t y u n i t s . M ' O r i g i n a l l y e a c h e x a m i n a t i o n w a s o f f e r e d f o r a b o u t f o u r t e e n c l a s s d a y s ; c u r r e n t l y t h e e x a m ' w i n d o w s ' a r e s e v e n o r e i g h t c l a s s d a y s . 1 9 8 I V . B . 1 . T e s t a b l e c o n c e p t s f r o m e a c h u n i t o f m a t e r i a l F o r e a c h u n i t i n t h e s y l l a b u s , a s m a n y d i f f e r e n t t y p e s o f q u e s t i o n s w e r e w r i t t e n a s c o u l d b e c o n c e i v e d . T h e q u e s t i o n s w e r e g r o u p e d a c c o r d i n g t o s i m i l a r i t y o f u n d e r l y i n g c o n c e p t . S o m e u n i t s c o n t a i n m a n y d i s t i n c t t e s t a b l e c o n c e p t s w h i l e o t h e r s l a n g u i s h w i t h o n e o r t w o i l l - d e f i n e d c a t e g o r i e s . I t w a s p a r t i c u l a r l y d i f f i c u l t t o p r o d u c e m a n y t e s t a b l e c o n c e p t s f o r u n i t s o f a n i n t r o d u c t o r y d e s c r i p t i v e n a t u r e . I n c o n t r a s t , u n i t s i n v o l v i n g p r o b l e m s a n d c a l c u l a t i o n s m a y q u i t e e a s i l y h a v e t e n c l e a r l y d e f i n e d t e s t a b l e c o n c e p t s . T h e l i s t o f t e s t a b l e c o n c e p t s f o r e a c h u n i t i n t h e s y l l a b u s i s p r e s e n t e d i n T a b l e A . 3 i n A p p e n d i x A . . O n c e a c o n c e p t h a s b e e n d e f i n e d , e i t h e r b y e x a m p l e o r b y a b r i e f d e s c r i p t i o n , s e v e r a l q u e s t i o n s a r e w r i t t e n f o r t h a t c o n c e p t . T e s t a b l e c o n c e p t s s h o u l d b e n a r r o w l y e n o u g h d e f i n e d s o t h a t a l l q u e s t i o n s t o b e i n c l u d e d u n d e r t h a t h e a d i n g c a n b e j u d g e d e q u i v a l e n t b y i n s p e c t i o n . A g a i n , n o t o n l y a r e c o n c e p t s i n v o l v i n g c a l c u l a t i o n s e a s i e r t o d e f i n e , i t i s a l s o e a s i e r t o w r i t e n u m e r o u s s i m i l a r p r o b l e m s f o r s u c h a c o n c e p t . I n C E M 1 3 0 , w h i c h c o v e r s m u c h d e s c r i p t i v e c h e m i s t r y , t h e r e a r e a n a v e r a g e o f o n l y n i n e q u e s t i o n s p e r c o n c e p t , w h e r e a s i n C E M 1 3 1 , w h i c h i n c l u d e s c a l c u l a t i o n s i n v o l v i n g g a s l a w s , e q u i l i b r i u m , a n d s o l u t i o n c h e m i s t r y , t h e r e a r e a b o u t f i f t e e n q u e s t i o n s p e r c o n c e p t . T h e i t e m p o o l ( a s o f 1 9 7 6 ) c o n t a i n e d 1 2 4 0 q u e s t i o n s i n C E M 1 3 0 a n d 1 4 5 0 i n C E M 1 3 1 . T h e s i z e o f t h e q u e s t i o n f i l e i s i n a c o n t i n u o u s s t a t e o f f l u x a s q u e s t i o n s a r e d e l e t e d , c h a n g e d , o r a d d e d t o t h e p o o l . 1 9 9 I n c r e a s i n g t h e q u a n t i t y a n d q u a l i t y o f t h e t e s t i t e m s i n t h e e x a m f i l e i s a c o n t i n u o u s p r o c e s s . T h e i n i t i a l s t r u g g l e w a s t o a c h i e v e a n u m b e r o f q u e s t i o n s l a r g e e n o u g h s o t h a t i t i s u n l i k e l y a n y q u e s t i o n w o u l d b e u s e d m o r e t h a n o n c e . F o r s i x e x a m s o f f i f t e e n i t e m s , e a c h g i v e n i n t w e n t y d i f f e r e n t f o r m s , 1 8 0 0 i t e m s a r e n e c e s s a r y ; f o r f i v e e x a m s , 1 5 0 0 i t e m s a r e s u f f i c i e n t . S i n c e t h e f i l e f o r C E M 1 3 0 f e l l s h o r t o f t h i s ' w o r k i n g m i n i m u m ' , t e s t q u e s t i o n s d i d a p p e a r o n m o r e t h a n o n e f o r m o f a n e x a m . * I f m o r e e x a m s a r e p l a n n e d i n t h e c o u r s e , o r i f e a c h e x a m r e q u i r e s m o r e t h a n t w e n t y f o r m s , t h e n e i t h e r t h e s i z e o f t h e f i l e w o u l d n e e d t o b e i n c r e a s e d , o r m o r e q u e s t i o n s w o u l d e n c o r e o n t h e t e s t s . C o n v e r s e l y , i f f e w e r f o r m s o r f e w e r e x a m s w e r e u s e d , t h e n a s m a l l e r p o o l o f t e s t i t e m s w o u l d s u f f i c e . C u r r e n t l y ( 1 9 7 7 ) t h e q u e s t i o n f i l e c o n t a i n s o v e r 2 0 0 0 i t e m s f o r e a c h c o u r s e , a n d n o i t e m a p p e a r s m o r e t h a n o n c e e a c h t e r m . I V . B . 2 . C o m p u t e r - m a n a g e d e x a m f i l e T e s t q u e s t i o n s a r e s t o r e d i n c o m p u t e r m e m o r y w i t h a n i d e n t i f i c a t i o n n u m b e r d e n o t i n g q u e s t i o n s f o r a t e s t a b l e c o n c e p t , c o n c e p t s w i t h i n a u n i t , a n d u n i t s i n t h e p o o l . A c o m p u t e r p r o g r a m r r a n d o m l y s e l e c t s t e s t q u e s t i o n s f r o m t h i s p o o l a c c o r d i n g t o s p e c i f i c a t i o n s d e t e r m i n e d b y t h e i n s t r u c t o r . T h e h i e r a r c h y o f n u m b e r s * T h e a s s u m p t i o n w a s m a d e t h a t t w e n t y d i f f e r e n t f o r m s o f e a c h e x a m a r e p r e p a r e d . I f o n l y f o u r t e e n f o r m s a r e p r e p a r e d , v i r t u a l l y n o i t e m n e e d a p p e a r m o r e t h a n o n c e . 2 0 0 w h i c h i d e n t i f y e a c h q u e s t i o n a l l o w s t h e i n s t r u c t o r t o s p e c i f y a n y l e v e l o f s t r a t i f i c a t i o n f r o m s i m p l e r a n d o m s a m p l i n g o f t h e e n t i r e p o o l t o s e l e c t i o n o f s p e c i f i c i t e m s . T h i s i s a c c o m p l i s h e d a s f o l l o w s . G e n e r a t i o n o f a n e x a m b e g i n s w i t h s p e c i f y i n g t h e e x a m i n a t i o n c o m p o s i t i o n i n d e x ( E C I ) . A r a n g e o f u n i t s a n d c o n c e p t s i s s t a t e d f o r e a c h o f t h e f i f t e e n i t e m s o n t h e t e s t ; w i t h i n t h i s r a n g e t h e c o m p u t e r w i l l s a m p l e r a n d o m l y o n e q u e s t i o n w i t h o u t r e g a r d f o r u n i t - c o n c e p t b o u n d a r i e s . I f a l l f i f t e e n r a n g e s a r e i d e n t i c a l , t h e n t h e s e l e c t i o n p r o c e s s i s s i m p l e r a n d o m s a m p l i n g f r o m a m o n g a l l q u e s t i o n s i n t h e s p e c i f i e d r a n g e . I f e a c h r a n g e i s d i f f e r e n t , t h e n s e l e c t i o n i s r a n d o m w i t h i n t h e f i f t e e n d e f i n e d s t r a t a . W h e n t h e i n i t i a l a n d t e r m i n a l i d e n t i f i e r s a r e i d e n t i c a l , t h e n t h e q u e s t i o n d e n o t e d b y t h o s e n u m b e r s i s g u a r a n t e e d o f s e l e c t i o n . T h e r e a r e n o r e s t r i c t i o n s o n h o w l a r g e o r s m a l l t h e r a n g e o f q u e s t i o n s s p e c i f i e d i n t h e E C I m u s t b e , a n d r a n g e s m a y v a r y i n s i z e f o r a s i n g l e e x a m f r o m o n e i t e m t o t h e e n t i r e p o o l . W i t h i n t h e r a n g e s p e c i f i e d b y t h e E C I , n o q u e s t i o n w i l l b e c h o s e n t w i c e i n o n e t e r m u n t i l a l l q u e s t i o n s h a v e b e e n u s e d o n c e . W h e t h e r q u e s t i o n s a r e r e p e a t e d o n d i f f e r e n t f o r m s o f a n e x a m i s t h u s a f u n c t i o n o f t h e n u m b e r o f f o r m s g e n e r a t e d a n d t h e n u m b e r o f i t e m s w i t h i n t h e g i v e n r a n g e . T h e n u m b e r o f d i f f e r e n t q u e s t i o n r a n g e s i n t h e E C I s p e c i f i c a t i o n i s t h e d e g r e e o f s t r a t i f i c a t i o n i n t h e s a m p l i n g p r o c e s s . T h e p r a c t i c e i n t h e s e c o u r s e s i s t o d e f i n e f i f t e e n s e p a r a t e s t r a t a w i t h i n w h i c h q u e s t i o n s w i l l b e r a n d o m l y s e l e c t e d f o r e a c h e x a m . T h i s m a x i m u m 2 0 1 l e v e l o f s t r a t i f i c a t i o n i s r e q u i r e d b y t h e n a t u r e o f t h e m a t e r i a l . A s d e m o n s t r a t e d i n C h a p t e r I I , t h e r e i s c o n s i d e r a b l y m o r e v a r i a t i o n i n c o n t e n t w i t h i n a s i n g l e e x a m t h a n b e t w e e n t w o p a r a l l e l f o r m s . F o r h e t e r o g e n e o u s s u b j e c t m a t t e r , s t r a t i f i e d r a n d o m s a m p l i n g o f t e s t q u e s t i o n s e n s u r e s a m o r e r e p r e s e n t a t i v e e s t i m a t e o f w h a t s t u d e n t s k n o w t h a n w o u l d s i m p l e r a n d o m s a m p l i n g . T h e p r o c e s s d e s c r i b e d a b o v e p r o d u c e s a s e t o f m e a s u r i n g i n s t r u m e n t s a n y o n e o f w h i c h m a y b e u s e d t o e s t i m a t e a s t u d e n t ‘ s k n o w l e d g e o f c h e m i s t r y . A l t h o u g h e x a m s a r e n o t p e r f e c t l y e q u i v a l e n t ( a s e x p e r i m e n t a l l y d e t e r m i n e d i n C h a p t e r 1 1 ) , t h e y a r e a l l o f e q u a l v a l i d i t y i n m e a s u r i n g k n o w l e d g e o f c h e m i s t r y . 2 0 2 I V . C . W h a t d i d t h e s t u d e n t s l e a r n ? T h e q u e s t i o n ' W h a t d i d t h e s t u d e n t s l e a r n ? ‘ i s n o t a n s w e r e d b y s i m p l y s t a t i n g t h e t o p i c s w h i c h w e r e p r e s e n t e d . O n l y w h e n t h e c o u r s e i s t a u g h t a c c o r d i n g t o a m a s t e r y m o d e l c a n i t b e s a i d t h a t a s t u d e n t w h o f i n i s h e d t h e c o u r s e l e a r n e d a l l o r n e a r l y a l l o f t h e m a t e r i a l . I V . C . 1 . O v e r a l l a c h i e v e m e n t T h e s e t w o c o u r s e s d e n o t e t h e a m o u n t o f c h e m i s t r y l e a r n e d b y a n e i g h t - s t e p g r a d e s c a l e c o l l a p s e d f r o m s c o r e s o n t h e f i v e o r s i x p r o f i c i e n c y e x a m i n a t i o n s a n d a f i n a l e x a m . S t u d e n t s a r e a l l o w e d t o r e t a k e e x a m i n a t i o n s u n t i l t h e y h a v e a c h i e v e d a g r a d e w i t h w h i c h t h e y a r e s a t i s f i e d , o r u n t i l t h e c l o s i n g d a t e f o r t h a t e x a m . T h u s f o r e a c h s t u d e n t t h r e e s c o r e s w i l l e x i s t b y w h i c h t h e i r a c h i e v e m e n t m a y b e m e a s u r e d : m e a n s c o r e o n a l l t r i e s o f a n e x a m , l a s t - t r y s c o r e s f o r t h e e x a m s , a n d f i n a l g r a d e i n t h e c o u r s e . E a c h o f t h e s e t h r e e m e a s u r e s p r o v i d e s s o m e w h a t d i f f e r e n t i n f o r m a t i o n a b o u t t h e ' t r u e ' l e v e l o f a c h i e v e m e n t . C o u r s e m e a n s f o r t h e s e t h r e e q u a n t i t i e s a r e p r e s e n t e d f o r e a c h t e r m i n F i g u r e 4 . 1 C o m p l e t e s u m m a r y s t a t i s t i c s f o r e a c h t e r m a r e p r e s e n t e d i n A p p e n d i x E . L a s t - t r i e s m e a n p e r c e n t . T h e a v e r a g e s c o r e f o r a s t u d e n t o f o n l y t h e l a s t t i m e h e a t t e m p t e d e a c h e x a m i s n o t n e c e s s a r i l y t h e h i g h e s t p o s s i b l e a v e r a g e . F r e q u e n t l y a s t u d e n t w i l l a t t e m p t t o r a i s e h i s g r a d e b y r e t a k i n g a n e x a m o n l y t o s c o r e l o w e r o n t h e r e t a k e . I f t h e c l o s i n g d a t e f o r a n e x a m p r e v e n t s t h a t s t u d e n t f r o m s u b s e q u e n t l y 2 0 3 r a i s i n g h i s s c o r e b a c k t o i t s f o r m e r l e v e l , t h e n h i s l a s t - t r y s c o r e i s n o t h i s h i g h e s t . I f t h e m e a n s c o r e u p o n w h i c h g r a d e s a r e b a s e d w e r e t o b e c a l c u l a t e d f r o m t h e h i g h e s t s c o r e s o f e a c h s t u d e n t o n e a c h e x a m , t h e r e s u l t i n g m e a n s w o u l d l i k e l y b e s i g n i f i c a n t l y h i g h e r . Y e t t h e l a s t - t r i e s m e a n d o e s s e r v e a s a n u p p e r b o u n d t o a n y e s t i m a t e o f o v e r a l l a c h i e v e m e n t . I t i s u n l i k e l y t h a t t h e m e a n o f a n e n t i r e c l a s s i s e v e r u n d e r e s t i m a t e d b y t h e l a s t - t r i e s m e a n p e r c e n t . A l l - t r i e s m e a n p e r c e n t . T h e a v e r a g e s c o r e a s t u d e n t a c h i e v e s o n a l l a t t e m p t s h e m a k e s o f a n e x a m s e r v e s a s a n a p p r o x i m a t e l o w e r b o u n d t o h i s a c t u a l k n o w l e d g e . M o s t s t u d e n t s s t u d y a n d l e a r n m o r e b y t h e t i m e t h e y t a k e t h e i r ' l a s t t r y ' o n a n e x a m , s o t h a t e a r l i e r l o w s c o r e s d o n o t r e f l e c t h o w m u c h t h e y k n o w w h e n t h e y a r e f i n i s h e d s t u d y i n g a p a r t i c u l a r s e c t i o n . S o m e s t u d e n t s ( t h o u g h n o t m a n y ) s i m p l y t a k e a n e x a m b e f o r e s t u d y i n g a n y o f t h e m a t e r i a l i n o r d e r t h a t t h e y m i g h t g e t a n i d e a o f w h a t t h e i n s t r u c t o r w i l l a s k o n t h e e x a m i n a t i o n . F i n a l g r a d e m e a n . T h e l a s t - t r i e s m e a n f o r e a c h s t u d e n t i s c o n v e r t e d i n t o a c o u r s e g r a d e a c c o r d i n g t o a p r e s e t s c a l e . T h e g r a d e i s s o m e t i m e s m o d i f i e d b y t h e t e r m - e n d c u m u l a t i v e e x a m i n a t i o n i n a m a n n e r d e s c r i b e d i n S e c t i o n I . B . 2 . d . A v e r a g e c o u r s e g r a d e s r e f l e c t c h a n g e s w h i c h w e r e m a d e i n t h e g r a d i n g s c a l e ; b e c a u s e o f t h e s e c h a n g e s g r a d e m e a n s d o n o t a l w a y s s h o w t h e s a m e p a t t e r n a s d o t h e m e a n p e r c e n t s c o r e s . I n f a l l o f 1 9 7 4 t h e g r a d i n g s c a l e w a s m a d e s i g n i f i c a n t l y m o r e d i f f i c u l t , a n d i n f a l l o f 1 9 7 5 i t w a s m a d e s l i g h t l y e a s i e r . B o t h o f t h e s e c h a n g e s g r e a t l y a f f e c t e d t h e m e a n f i n a l c o u r s e g r a d e . 4 . . ] A [ n a e m e d a r g l a n i f , ] 0 [ t n e c r e p n a A A " A e ‘ A m s e i r t - l l a , 1 . [ t n e c r e p n a e m s e i r t - t s A a - r 0 5 0 7 . . % 0 5 . 3 2 2 L 1 . 4 e r u g i F ’ ' 0 5 7 8 5 2 0 4 A 2 . 2 5 _ A g 2 0 0 I l L l l l I l L _ L J l L . H O W ” l 3 | $ 7 3 l 3 0 F 7 3 m w u 1 3 0 W “ 1 3 1 5 7 4 1 3 0 F 7 4 m w 7 5 I 3 0 W 7 5 l 3 l $ 7 5 ' 3 0 F 7 5 1 3 1 W 7 6 N O V / 7 6 3 3 1 5 7 5 ; . n s e e e m 6 7 5 r i 1 3 c t 1 s 6 7 W e k r r o a m 0 d 3 I - r o e 6 x 7 i c W n s l 3 l o - : k 5 s c 7 F m a 0 a l 3 1 x b e ; e s 5 e h 7 5 1 ” t m i f t o h e v 5 i 7 f c W a 0 3 I 5 7 W e d n d a e t , p r l m u 3 o e 1 f t 4 7 t , a e e t f r 0 a 3 h 1 t h t - 4 7 t n s 5 e k 1 3 m c l l o l l o b r n e t 4 7 W 0 e 3 i l h e h w t 4 ; 7 n f W 1 3 o e e l t r n c e s 3 c 7 r t F h 0 g e 3 p l i l e g - 3 7 a 5 1 3 1 3 7 W 0 3 I r e c e i v w A t 2 . 4 e r u g i F 2 0 5 2 0 6 I V . C . 2 . P a t t e r n s o f a c h i e v e m e n t T h e r e a r e t w o d i s t i n c t d i m e n s i o n s t o t h e p a t t e r n o f s t u d e n t a c h i e v e m e n t i n C E M 1 3 0 / 1 3 1 . O n e p a t t e r n i s t h e p e r i o d i c i t y o f o v e r a l l a c h i e v e m e n t i n t h e s e c o u r s e s w i t h i n t h e a c a d e m i c y e a r . T h e o t h e r i s t h e v a r i a t i o n i n a c h i e v e m e n t f r o m o n e e x a m t o t h e n e x t w i t h i n t h e s a m e c o u r s e . B o t h p a t t e r n s a p p e a r t o b e r e m a r k a b l y p e r s i s t e n t , t h u s t h e y b e s p e a k s o m e g e n e r i c c h a r a c t e r i s t i c o f e i t h e r t h e c o u r s e m a t e r i a l , t h e s t u d e n t s , o r b o t h . A s c a n b e s e e n i n F i g u r e 4 . 1 , t h e t e r m a v e r a g e s p r o c e e d t h r o u g h a s i m i l a r p a t t e r n e a c h y e a r . T h e m e a n f o r a F a l l T e r m C E M 1 3 0 i s a l w a y s h i g h e s t a n d f o r a S p r i n g T e r m C E M 1 3 1 t h e l o w e s t . M o s t s t u d e n t s w h o e n r o l l i n o n e t e r m o f C E M 1 3 0 a l s o e n r o l l i n C E M 1 3 1 t h e f o l l o w i n g t e r m - - a n d t h e c l a s s a v e r a g e i s a l w a y s s i g n i f i c a n t l y l o w e r i n t h e s e c o n d c o u r s e o f t h i s t w o - t e r m s e q u e n c e . A l s o , t h e ' m a i n s t r e a m ' s e q u e n c e w h i c h b e g i n s i n t h e f a l l a l w a y s h a s a h i g h e r m e a n t h a n t h e ' t r a i l e r ' s e q u e n c e b e g i n n i n g i n t h e w i n t e r . N o t o n l y i s t h e p a t t e r n f r o m y e a r t o y e a r s i m i l a r , b u t a l s o t h e l a s t - t r i e s m e a n s f o r s u c c e s s i v e y e a r s o f e a c h t e r m a r e n e a r l y i d e n t i c a l . E v e n t h o u g h t h e g r a d i n g s c a l e s a n d t h e e x a m f i l e u n d e r w e n t c h a n g e s , e a c h y e a r ' s s t u d e n t s t o o k t e s t s a s o f t e n a s n e c e s s a r y t o a c h i e v e s i m i l a r a v e r a g e s c o r e s . ( T h i s v a r i a t i o n i n t h e f r e q u e n c y w i t h w h i c h e x a m i n a t i o n s w e r e t a k e n i s d i s p l a y e d i n F i g u r e 4 . 2 . ) I t s e e m s r e a s o n a b l e t h a t t h e l a r g e e n r o l l m e n t s i n t h e s e c o u r s e s r e p r e s e n t g r o u p s w i t h r e l a t i v e l y s t a b l e c a p a b i l i t i e s , s o t h a t o n e F a l l T e r m ' s 2 0 7 c l a s s i s m u c h l i k e t h e n e x t . O n e w o u l d t h e n e x p e c t t h a t e a c h y e a r ' s c l a s s w o u l d l e a r n a b o u t a s m u c h c h e m i s t r y a s t h e l a s t , a n d t h a t s c o r e s o n e q u i v a l e n t t e s t s w o u l d b e t h e s a m e . S i n c e t h e t e s t s a r e n o t p e r f e c t l y p a r a l l e l , s o m e d e v i a t i o n s w i l l o c c u r - - w h e n ( a s w a s t h e c a s e ) u n r e a l i s t i c a l l y e a s y i t e m s i n t h e e x a m f i l e a r e r e p l a c e d b y b e t t e r ( a n d m o r e d i f f i c u l t ) q u e s t i o n s , t h e n t h e e x p e c t e d s c o r e s w o u l d b e l o w e r e v e n i f t h e a b s o l u t e a m o u n t w h i c h t h e s t u d e n t s l e a r n e d w e r e t h e s a m e . T h e r e p e a t a b i l i t y o f e x a m s c o u n t e r s t h i s e f f e c t b y p e r m i t t i n g s t u d e n t s t o r e t a k e e x a m s a n d r a i s e t h e i r s c o r e s . L i k e a s e l f - c o r r e c t i n g m e c h a n i s m , i f t h e t e s t s a r e e a s i e r s t u d e n t s r e t a k e t h e m l e s s f r e q u e n t l y ; i f t h e y a r e h a r d e r s t u d e n t s t a k e t h e m a s f r e q u e n t l y a s f i v e o r s i x t i m e s . T h e s e c o n d o v e r a l l r e l a t i o n s h i p i n c o u r s e m e a n s i s t h a t b e t w e e n C E M 1 3 0 a n d C E M 1 3 1 . S t u d e n t s a v e r a g e f o u r p e r c e n t a g e p o i n t s l o w e r i n C E M 1 3 1 e v e n t h o u g h t h e y a t t e m p t e a c h e x a m m o r e o f t e n . C l e a r l y s t u d e n t s f i n d C E M 1 3 1 m o r e d i f f i c u l t t h a n C E M 1 3 0 . C E M 1 3 1 r e q u i r e s g r e a t e r p r o f i c i e n c y i n a l g e b r a a n d l e s s r o t e m e m o r i z a t i o n t h a n d o e s C E M 1 3 0 . T h e s e c o n d c o u r s e a l s o b u i l d s o n w h a t w a s l e a r n e d i n t h e f i r s t c o u r s e , a n d i f a s t u d e n t f o r g o t o r n e v e r l e a r n e d s o m e o f t h e m a t e r i a l i n C E M 1 3 0 l a t e r n e e d e d i n C E M 1 3 1 , h i s p r o g r e s s i s s l o w e d i f n o t h a l t e d a l t o g e t h e r . W i t h i n e a c h c o u r s e t h e r e i s a l s o a r e p e a t i n g p a t t e r n i n e x a m m e a n s . T h i s v a r i a t i o n i n e x a m m e a n s i n d i c a t e s t h e r e l a t i v e d i f f i c u l t y o f t h e d i f f e r e n t t o p i c s c o v e r e d w i t h i n e a c h c o u r s e . T h e m e a n p e r c e n t s f o r a l l t r i e s a n d f o r l a s t t r i e s o f e a c h e x a m i n t h e s e t w o c o u r s e s a r e 2 0 8 d i s p l a y e d i n F i g u r e 4 . 3 . S i n c e t h e n u m b e r o f e x a m s g i v e n i n a c o u r s e h a s c h a n g e d s e v e r a l t i m e s s i n c e t h i s m e t h o d w a s i n t r o d u c e d , i t i s d i f f i c u l t t o c o m p a r e t w o t e r m s w i t h d i f f e r e n t n u m b e r s o f e x a m s , b u t t h e p e r i o d i c i t y o f m e a n s f o r t e r m s w i t h t h e s a m e n u m b e r o f e x a m s i s r e a d i l y a p p a r e n t . I V . C . 3 . A c c u r a c y o f t h e f i n a l g r a d e T h e a c c u r a c y o f t h e g r a d e g i v e n a s t u d e n t i n C E M 1 3 0 / 1 3 1 i s n o t a m a t h e m a t i c a l l y c a l c u l a b l e s t a t i s t i c . U n l i k e t h e p r e c i s i o n o f a t e s t s c o r e , t h e a c c u r a c y c a n n o t b e e x p e r i m e n t a l l y d e t e r m i n e d , b u t i s b a s e d o n s e v e r a l c o n s i d e r a t i o n s o f a r a t i o n a l r a t h e r t h a n m a t h e m a t i c a l n a t u r e . T h e f o u r v a r i a b l e s c o n s i d e r e d i n j u d g i n g t h e a c c u r a c y o f t h e g r a d e s g i v e n i n t h e s e c o u r s e s a r e : t h e r e l i a b i l i t y o r p r e c i s i o n o f t h e t e r m a v e r a g e , t h e r e p r e s e n t a t i v e n e s s o f t h e t e s t s , t h e g r a d i n g s c a l e , a n d t h e e f f e c t o f t h e f i n a l e x a m . E a c h o f t h e s e w i l l b e d i s c u s s e d w i t h r e s p e c t t o t h e l i k e l i h o o d o f a s s i g n i n g t h e w r o n g g r a d e t o a s t u d e n t . R e l i a b i l i t y o f t h e t e r m a v e r a g e . T h e r e l i a b i l i t y o f i n d i v i d u a l f i f t e e n - i t e m t e s t s t y p i c a l l y r a n g e b e t w e e n 0 . 6 9 a n d 0 . 7 5 . T h e r e l i a b i l i t y o f t h e t e r m a v e r a g e b a s e d o n f i v e o r s i x t e s t s i s s i g n i f i c a n t l y h i g h e r t h a n t h e i n d i v i d u a l t e s t r e l i a b i l i t i e s . I f i t i s a s s u m e d t h a t t h e r e l i a b i l i t y o f a s i n g l e t e s t i s w i t h i n t h e a b o v e s t a t e d r a n g e , t h e n t h e c u m u l a t i v e r e l i a b i l i t y o f a s t u d e n t ' s s c o r e s w i l l l i e b e t w e e n 0 . 8 7 a n d 0 . 9 1 . ‘ I r * C a l c u l a t i o n o f t h e c u m u l a t i v e r e l i a b i l i t y o f s e v e r a l t e s t s i s e s t i m a t e d a c c o r d i n g t o t h e v a l u e s d i s p l a y e d i n T a b l e C . 2 i n A p p e n d i x C . 2 0 9 O . . ” - 8 O O 0 . O 0 . P . ' . . o . 7 . . . . . . . . . o . . . . . . . . . . . . . . . o . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . U . . . . o . . . . . . . . . . . . . . . . . . . . . . J o o O o o o 0 0 - _ b . I 3 0 W 7 3 1 3 1 5 7 3 0 C i 8 O O o O O . 0 4 - . I - . O o o 0 o 0 o . 0 ' 7 ° - o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o O o o o o o o o o 0 0 1 o o o o o o o o o o o o o O 0 . . . . . . o . . . . . . . o 0 o o o o o o o o o o o o O D P O 1 3 0 F 7 3 m w u . - 0 O N ' . O O . , . . 3 . 5 . 3 . . . . 9 . . . . 3 . . . . o . . . . . . . § . . . . . . . . . . . < ? . . . . . . . . < 2 . . . . . . . 9 . . . . . . . . e . . . . . . . . . . . . . O O O O n O I - . I a o w u m s n 0 O o O . O . 0 7 0 0 0 0 0 0 0 0 0 0 0 0 0 9 . . . . . . . . . . 9 0 0 0 0 0 o o o o o o o o o 6 0 0 0 0 0 0 9 o o o o o o o 9 0 0 0 0 0 0 0 0 . 0 o o o o o o o o o o o o o o o o o . 0 0 0 4 O O “ D I O 1 3 0 F 7 4 m w 7 5 O 0 . 0 - . Q o . . o . E . . . ‘ 7 0 - 0 0 8 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 O O - o o o o o o a 0 0 0 0 0 0 0 0 0 6 . . . . . . . 9 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ‘ 0 : - O ) - O O . 1 3 0 w 7 5 m m : A 7 ° p 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 9 0 0 0 0 0 0 9 0 0 0 0 0 0 0 0 0 0 0 0 0 . 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 O 0 0 0 0 0 0 0 0 . 0 0 0 0 0 0 0 . 0 0 0 0 0 0 0 0 0 0 0 0 O N O V - ' 7 5 I 3 I W 7 6 y o u . . . u - 0 o O ' . 7 0 ) " . . 0 . . . . . . O . . . . . . Q . . . . . . . . . . . . . O . . . . . . . . . . . “ . 0 . . . . . . O . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 0 - ; I - O O . I 3 O W 7 6 m s u O F i g u r e 4 . 3 E x a m m e a n p e r c e n t s f o r l a s t t r i e s [ . 1 a n d a l l t r i e s [ O ] 2 1 0 T h i s r a n g e o f r e l i a b i l i t i e s h a s a s t a n d a r d e r r o r o f f r o m 3 . 5 t o 4 . 2 p e r c e n t f o r a s t u d e n t ' s t e r m a v e r a g e . E a c h s t e p i n t h e g r a d i n g s c a l e s p a n s a b o u t s e v e n p o i n t s , s o t h a t o n l y i n t h e c a s e o f s t u d e n t s n e a r t h e c u t t i n g p o i n t f o r a n i n t e r v a l i s i t l i k e l y s o m e g r a d e s a r e i n c o r r e c t l y a s s i g n e d . S i n c e s t u d e n t s a r e a l l o w e d t o r e t a k e e x a m s , i t i s p r o b a b l y m o r e l i k e l y t h a t a n y e r r o r s i n t h e t e r m a v e r a g e t e n d t o w a r d l e n i e n c y . H o w e v e r , t h i s l e n i e n c y i n t h e t e r m a v e r a g e i s m i t i g a t e d b y t h e s p e c i a l e f f e c t o f t h e f i n a l e x a m o n t h e t e r m g r a d e . R e p r e s e n t a t i v e n e s s o f t h e t e s t s . T h e p r o c e d u r e s b y w h i c h t e s t s a r e c o n s t r u c t e d i s d e s c r i b e d i n S e c t i o n I V . B . T h e m e t h o d o f s t r a t i f i e d r a n d o m s a m p l i n g e m p l o y e d h e r e d o e s n o t g u a r a n t e e t h a t a l l f o r m s o f a n e x a m i n a t i o n a r e p e r f e c t l y p a r a l l e l b u t o n l y t h a t w h a t i m p e r f e c t i o n s e x i s t a r e r a n d o m a n d w i l l a v e r a g e o u t o v e r t h e c o u r s e o f a t e r m . T h e e f f e c t o f t h e s e r a n d o m f l u c t u a t i o n s s h o u l d i n a l m o s t a l l c a s e s b e n e a r z e r o i n t h e c u m u l a t i v e t e r m a v e r a g e , t h u s h a v i n g v i r t u a l l y n o e f f e c t o n t h e a c c u r a c y o f a s t u d e n t ' s g r a d e . £ t _ 1 _ e _ g r a d i n g s c a l e . T h e s e l e c t i o n o f w h e r e t o p l a c e t h e c u t t i n g p o i n t f o r e a c h g r a d e i n t e r v a l i s i n f l u e n c e d b y t h e d i f f i c u l t y o f t h e t e s t s a n d t h e e x p e c t a t i o n s o f t h e i n s t r u c t o r . T h e s c a l e s u s e d i n t h e s e c o u r s e s a r e b a s e d o n t h e a s s u m p t i o n t h a t t h e a b i l i t i e s o f s t u d e n t s a s a g r o u p c h a n g e l i t t l e f r o m o n e y e a r t o t h e n e x t , a n d a l s o t h a t t e s t s u s e d i n d i f f e r e n t t e r m s w i l l b e o f s i m i l a r d i f f i c u l t y . E r r o r s i n t h e g r a d i n g s c a l e a f f e c t t h e e n t i r e g r o u p a n d m a k e t h e c o u r s e e i t h e r t o o h a r d o r t o o e a s y . W h e n m o r e s t u d e n t s w e r e g e t t i n g A ' s a n d B ' s t h a n t h e 2 1 1 i n s t r u c t o r s c o n s i d e r e d j u s t i f i e d f o r a t y p i c a l c l a s s * , t h e s c a l e w a s a d j u s t e d u p w a r d b y t w o o r t h r e e p o i n t s f o r e a c h i n t e r v a l . T h i s f i n e t u n i n g o f t h e s c a l e i s n e c e s s a r y b e c a u s e o f t h e i m p o s s i b i l i t y o f p r e d i c t i n g b e f o r e h a n d t h e e x a c t d i f f i c u l t i e s o f t e s t q u e s t i o n s . T h e e f f e c t o f t h e f i n a l e x a m . T h e c u m u l a t i v e f i n a l e x a m s g i v e n i n t h e s e c o u r s e s h a v e a u n i q u e e f f e c t o n t h e s t u d e n t ' s g r a d e - - t h e f i n a l e x a m i n a t i o n c a n o n l y r a i s e o r l o w e r t h e g r a d e o n e i n t e r v a l . S t u d e n t s a r e a l l o w e d o n l y a s i n g l e s c h e d u l e d a t t e m p t a t t h e f i n a l e x a m . A l l s t u d e n t s w i l l t a k e t h e f i n a l e x a m i n a t i o n a t t h e s a m e t i m e , a n d s i n c e o n l y o n e f o r m n e e d b e p r e p a r e d , c o n c e r n s a b o u t t h e r e l a t i v e d i f f i c u l t y o r r e p r e s e n t a t i v e n e s s o f m u l t i p l e t e s t f o r m s a r e a b s e n t . B e c a u s e o f t h i s , t h e f i n a l e x a m s e r v e s a s a c o r r e c t i o n m e c h a n i s m w i t h i n t h e t e s t i n g a n d g r a d i n g p r o c e d u r e : S t u d e n t s w h o s e t e r m a v e r a g e s a r e t h e r e s u l t o f l u c k o r p e r s i s t e n c e a r e m o s t l i k e l y t o h a v e t h e i r g r a d e l o w e r e d b y t h e f i n a l e x a m . S t u d e n t s w h o s e p e r f o r m a n c e o n t h e c u m u l a t i v e f i n a l i s s u f f i c i e n t l y h i g h h a v e t h e i r g r a d e r a i s e d b e c a u s e o f d e m o n s t r a t e d t e r m - e n d c o m p e t e n c e . A d d i t i o n a l l y , t h e i n s t r u c t o r c a n i n f l u e n c e t h e d i f f i c u l t y l e v e l o f t h e f i n a l e x a m a n d t h e r e b y l o w e r o r r a i s e t h e a v e r a g e g r a d e w h e n i t a p p e a r s t o b e u n d e s e r v e d l y h i g h o r l o w . T h i s p u r p o s e f u l m a n i p u l a t i o n o f t h e t e s t d i f f i c u l t y h a s n o t b e e n p r a c t i c e d e x p l i c i t l y i n t h e s e c o u r s e s , b u t t h e o p p o r t u n i t y d o e s e x i s t f o r i t s u s e . * B y F a l l 1 9 7 3 t h e c l a s s a v e r a g e w a s , a f u l l s c a l e s t e p h i g h e r t h a n e x p e c t e d - - 3 . 2 i n s t e a d o f 2 . 7 . W h e n t h e n e w s c a l e w a s i m p l e m e n t e d i n F a l l 1 9 7 4 , t h e a v e r a g e g r a d e d r o p p e d t o 2 . 7 . T h i s d e c r e a s e w a s a l s o d u e i n p a r t t o e f f o r t s t o u p g r a d e t h e i t e m p o o l f r o m w h i c h t e s t q u e s t i o n s a r e s e l e c t e d . 2 1 2 I V . D . M e a s u r i n g a t t i t u d e a n d a t t i t u d e c h a n g e T h e m e t h o d u s e d t o m e a s u r e s t u d e n t a t t i t u d e a t M i c h i g a n S t a t e U n i v e r s i t y i s t h e s u r v e y q u e s t i o n n a i r e . M u l t i p l e - c h o i c e q u e s t i o n s w i t h t w o t o f i v e r e s p o n s e c a t e g o r i e s a r e t y p i c a l l y u s e d a n d t h e s t u d e n t r e s p o n d s o n a m a c h i n e - s c o r a b l e a n s w e r f o r m . A s m e n t i o n e d i n t h e p r e v i o u s c h a p t e r , a s a r e s u l t o f t h e u n i q u e n a t u r e o f t h e t e a c h i n g m e t h o d s i n C E M 1 3 0 / 1 3 1 , t h e s t a n d a r d S t u d e n t I n s t r u c t i o n a l R a t i n g S y s t e m ( S I R S ) f o r m s c a n n o t b e u s e d b e c a u s e m o s t o f t h e i t e m s o n t h e S I R S f o r m a r e n o t r e l e v a n t . A t t i t u d e s u r v e y s u s e d i n t h e s e c o u r s e s w e r e d e s i g n e d s p e c i f i c a l l y f o r t h e m o d u l a r s e l f - p a c e d m e t h o d . T h e t w o b a s i c a l l y d i f f e r e n t k i n d s o f s u r v e y s t o w h i c h s t u d e n t s w e r e a s k e d t o r e s p o n d a r e t h e C o u r s e E v a l u a t i o n F o r m a n d t h e S t u d e n t P r e c o u r s e ( P o s t c o u r s e ) A t t i t u d e F o r m . I V . D . 1 . C o u r s e e v a l u a t i o n f o r m T h e c o u r s e e v a l u a t i o n f o r m ( F i g u r e s 4 . 4 a n d 4 . 5 ) s e r v e s b o t h d i a g n o s t i c a n d e v a l u a t i v e f u n c t i o n s . S u r v e y i t e m s o f a p r i m a r i l y e v a l u a t i v e n a t u r e a r e l i m i t e d t o a s k i n g t h e s t u d e n t w h e t h e r h e l i k e d o r d i s l i k e d s o m e p a r t i c u l a r a s p e c t o f t h e c o u r s e , o r w h e t h e r s o m e a s p e c t i s b e t t e r t h a n t h e t y p i c a l l e c t u r e c o u r s e . I n a l e c t u r e c o u r s e i t i s t h e p e r s o n - - n o t t h e m e t h o d - - w h i c h t h e s t u d e n t e n c o u n t e r s f o r t h e f i r s t t i m e . I n c o n t r a s t , m o s t s t u d e n t s w h o t a k e C E M 1 3 0 / 1 3 1 h a v e n e v e r h a d a m o d u l a r s e l f - p a c e d c o u r s e b e f o r e ; t h u s t h e m e t h o d i t s e l f i s n o v e l . B e c a u s e t h e s y s t e m i s n e w t o t h e s t u d e n t , a l l t h a t i s s u r v e y e d a r e h i s 2 1 3 g e n e r a l a t t i t u d e s t o w a r d t h e e l e m e n t s o f t h e s y s t e m a n d n o t h o w t h e i m p l e m e n t a t i o n o f t h e v a r i o u s e l e m e n t s m e e t s e x t e r n a l o r a c c e p t e d c r i t e r i a . A l t h o u g h i t m i g h t s e e m s u p e r f i c i a l t o s e e k m e r e l y a ' h a p p i n e s s q u o t i e n t ' , s u c h p u r p o s e i s s u f f i c i e n t f o r t w o r e a s o n s . F i r s t , s t u d e n t s a r e n o t q u a l i f i e d b y t r a i n i n g o r e x p e r i e n c e t o j u d g e m a n y o f t h e a s p e c t s o f t h e i n s t r u c t i o n a l s y s t e m . I n t h e c a s e o f t h e l e c t u r e - r e c i t a t i o n m e t h o d i t m a y b e a r g u e d t h a t t h e w e i g h t o f t h e s t u d e n t ' s e x p e r i e n c e t h r o u g h t w e l v e y e a r s o f s c h o o l i n g a l l o w s h i m t o e v a l u a t e w i t h r e a s o n a b l e a c c u r a c y t h e c h a r a c t e r i s t i c s o f a c o u r s e a n d i n s t r u c t o r . S i n c e f e w s t u d e n t s h a v e h a d c o u r s e s t a u g h t b y t h e m e t h o d s u s e d i n t h e s e c o u r s e s , t h e i r j u d g e m e n t s m a y b e b a s e d o n u n r e a s o n a b l e o r a t y p i c a l e x p e c t a t i o n s i n s t e a d o f b e i n g m e a s u r e d a g a i n s t t h e y a r d s t i c k o f a n e s t a b l i s h e d n o r m . S e c o n d , i n a v e r y r e a l s e n s e i t i s i r r e l e v a n t w h e t h e r a c e r t a i n a s p e c t o r c h a r a c t e r i s t i c o f t h e c o u r s e i s r i g h t o r g o o d a c c o r d i n g t o s o m e a b s o l u t e s t a n d a r d . W h a t i s r e l e v a n t i s w h e t h e r t h e c o n s u m e r i s p l e a s e d w i t h t h e p r o d u c t . W h e t h e r t h e p r o d u c t d o e s w h a t i t i s m e a n t t o d o i s m e a s u r e d b y a c h i e v e m e n t t e s t s . A s D u b i n a n d T a v e g g i o [ 1 1 5 ] a n d o t h e r s [ 1 1 6 - 1 1 8 ] r e p o r t e d , a c h i e v e m e n t i s n o t m e a s u r a b l y i n f l u e n c e d b y t h e m e t h o d o f i n s t r u c t i o n ? k T h e r e f o r e , t h e a f f e c t i v e g o a l * T h i s c o n c l u s i o n i s b a s e d o n t h e c o l l e c t e d l i t e r a t u r e i n t h e f o r t y y e a r s b e f o r e 1 9 6 5 . T h e m o s t r e c e n t i n n o v a t i o n s b y K e l l e r a n d o t h e r s i n l a b o r - i n t e n s i v e i n d i v i d u a l i z e d i n s t r u c t i o n q u i t e o f t e n s h o w s t a t i s t i c a l l y s i g n i f i c a n t i m p r o v e m e n t s i n s t u d e n t a c h i e v e m e n t c o m p a r e d w i t h t h e l e c t u r e - r e c i t a t i o n m e t h o d . ) ) ) ) ) ) ! ) ) ; h e ) ) ) n U ( ( ( ( ( ( l ( ( ( i ( a m 7 e 2 3 4 2 3 9 0 1 3 2 t d 2 7 : ( t d d m F l m m t o 1 t x y y 5 y o 2 i - y l “ s e r t i d " M m d f d h l e s p o S A 7 C : 7 G a e o s F S u a m s h - u d a l l e e b : o fi s o u i ‘ E : g g a m i h d d t u r t d u ‘ i e O r r e K E Y " . ” 1 ' , . e ! m - 0 m m 1 l t 2 2 2 8 ' 0 ‘ , . 9 . 2 o ! 1 a r c g t o u a t o 5 p o i “ n R ” 0 2 c r ’ i s e e s r l l t a t e g i a t s u u o u e t a p c a n w c p o d o i t e ? s d f e n s e s d e s m c - d d n a d m d u u c f u s s “ y g p p p a l l l o a o i a d “ l c i S e s s a u r e p r r e s n o e i y t s o o o c n fl t t u a a i i d n y i e t t s u r i a a a d l p r e e l t g n u n m e c c a t t f i i p d s d o e p l l t m i d e n n c h a “ o o i r . . t u s t v e r w w a c l c a ? e . i i p c t o . u . r o t h t v r t r h s h s " o c ( i ) s w 4 0 b e ) 0 1 1 m s t ‘ a a i M t m t . - . r 5 6 U h o e 7 t h " y f w ) o x f a ) m " r s o F i r l F t F I M ° i e r l r p 0 t a ' e o s u c i t w " n " d e 7 l f r 0 e a i d r o i s 2 m h r e m o V r l e ( v t h u t i 3 t t R ) t s m r s c ) a p n i o h ( I u l k m m ( s e ‘ m k r a s c " o i t o t i l ) e E a e d n e r o d R 3 ( l d t e e 2 r ) t o t w n s ) - a r e h x h u h b e e e d e m e n B a r n h l d i i " s a 0 i m . d a t i u r . a 7 a a e l t i d a s l 1 e e t n y a a r d ‘ s k l k h s a t a e t n e h m h n fi d t y h y a t T l i b o o o n u o u p o b o o u m n p o n e n t n e x ( n l e l e m e f i r u c y h o a e e - e h . o e “ e c n m t e t c v h i o a o I h t t f e i e u l d m r o t d . f p t a f c c s . f o r r 1 o e i ( l r t ( e . . o n e 3 s . e u m ( o h e t t e s u o o t M a s ) r : ! d i e e h h s ( u r w n e e r a . ( ” o u e e e e " t u e 1 e d m h s ( 4 0 [ a s a s n a s w a e w a " ( ' m h 1 ' ° ) i ) t f p s s t t p 4 ' ) ” p r e e c e c c t i t t h e t s t h e . o " w " u s a e e o o n w t 0 h . . 0 w e u . . e . p . ' t a m e e e e t e 0 . “ . . s ° . . . ’ . m e e ] o . . H " e f . . 0 “ . . . ° ' . " . o “ . ° “ e o . . . ' 3 o r - ' . e e . ' 3 , . 3 * . . ( a C ° I " _ I ' 3 , _ ‘ 4 s [ _ . , T l | . - , ’ E 1 0 0 0 M _ J _ ' ' e . " J " ( 1 i ‘ h ' ' 5 . " J a m 3 r - d O 3 . ~ . " W . . # ' ” 7 ‘ , . ” ~ ' r 5 0 7 ~ g ' ' ' ‘ " 0 W F ~ . ' . , ‘ } « " m 2 1 4 s 3 : ' . . e s ; a ? w r a n - - , 3 : 1 2 1 : . - C O U R S E P l e a s e f i l l i n y o u r s t u d e n t n u m b e r — — . — 2 ' : 3 L § 2 E 5 3 3 . 3 2 2 5 E V A L U A T I O N Y o u r r e s p o n s e s o n t h i s e v a l u a t i o n g 2 3 . 1 : 4 ; Z ; I . . - : 2 w i l l h a v e n o e f f e c t o n y o u r g r a d e . : 7 . 3 : . . 3 3 z 5 3 2 1 ' . 2 F O R M P l e a s e u s e a s o f t l e a d ( # 2 ) p e n c i l . ‘ ‘ " ‘ ' ‘ ‘ U “ t h e K e y t o a n s w e r t h e f o l l o w i n g t w o q u e s t i o n s : 4 . ( 1 ) v e r y m u c h k g . 7 1 . H o w m u c h d i d y o u l i k e t h i s m e t h o d o f t e a c h i n g a c o u r s e - 4 . . K ( 2 ) l e s s “ W W I I - e d t o t h e t r a d i t i o n a l l e c t u r e / r e c i t a t i o n m e t h m l ‘ h o o o o u u ' ' 3 4 0 E ( 3 ) a b o u t t h e s a m e - y ( g ) m o r e 2 . H o w m u c h d i d y o u l e a r n u n d e r t h i s m e t h o d c o m p a r e d t o t h e 1 z 3 4 v , . . . ' ( 5 ) v e r y m u c h m o r e a m o u n t y o u m i g h t h a v e l e a r n e d u n d e r t h e t r a d i t i o n a l m e t h o d ? " ‘ “ 3 . [ l i k e d t h e s I f ' , : ' 1 t A U s e t h e K e y t o a n s w e r t h e f o l l o w i n g e 9 ‘ “ ! ! ! 0 . 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 . . . . J ; I q u e s t i o n s a b o u t s o m e a s p e c t s o f t h e 4 - _ _ I . " t C C C h ‘ n ' m e t h o d . . I l i k e d t h e c ” ‘ " ‘ P r n C Q d U P G O O e e e e e e e e e a e e e e e , i 3 f h — J 5 . I l i k e d h o w t h e f i n a l e x a m . . . , 5 . J g . ( 1 ) s t r o n g l y d i s a l r e e “ W M “ “ fl " ! m y “ m l s r s d ¢ . ' ° " ' ° " " ° " ° ' ' . K ( 2 ) d i s a g r e e ' ° m ° " h “ 6 . i l i k e d t h e g r a d i n g s c a l e . . . . . . . , , , , , , , , , " H a 5 E ( 3 ) n e u t r a l Y ( 4 ) a g r e e . o m W h ‘ t 7 . ! l i k e d t h e C E M R O O M 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ‘ ‘ . - A a . ( 5 ) s t r o n g l y a g r e e 8 . l ‘ i k e d t h e t e t h O O k e s e e e e e e e e e e e e e e e 0 0 0 0 0 0 0 0 ‘ j a ‘ - ‘ e 9 e 1 “ d e t h e T a p e s e e e e e e e e e e e e s e e e e e e e e e e e e e e s ‘ 3 ‘ 1 ‘ i t . n t h . . U d i O 0 . ” . ‘ V C b e n e f 0 " . " 2 . 6 2 3 7 9 . ' O U h ‘ l M " b C C fl e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e 2 l 1 K . A ' - ' " _ . . l . : > ‘ . . ‘ ‘ 1 ' , e ) ‘ . ' “ o A f t e r I d i d w h a t t h e s t u d y g u i d e s a i d . " i f e l t p r e p a r e d t o t a k e a n e x a m . n o o n u u o u o u u o o o o . ‘ ‘ ‘ ' - " . . . ' _ . _ _ , _ ; _ . ‘ . 4 " ‘ 2 1 . " g r a d e l g e t r s f l e c t s t h e . 5 5 0 0 ! ! ! O f ' O f k ‘ p u c " n o ( h e c o u r ' e . e e e s e e e e e e a e e e e e e e e e o o e e e s e ‘ ‘ 4 ‘ ! 1 3 . 1 1 ! “ n o t f e e l n e r v o u s o r a n x i o u s a b o u t t a k i n g a n e x a m . n o u n - n o u n o - o o o o - o o - n u o - o n u 7 ' " ' . L ‘ 4 . “ 1 w e r e g i v e n t h e c h o i c e . l w o u l d c h o o s e t h i s m e t h o d f o r a c o u r s e " " ' " ° " " ° " " " " “ ’ r a t h e r t h a n t h e l e c t u r e / r e e i t a t i o n - t h r e e - e x a m s - a n d — a - f i n a l m e t h o d . F i g u r e 4 . 4 2 1 5 P l e a s e m a k e a n y c o m m e n t s y o u h a v e a b o u t t h e c o u r s e . H o w d o y o u f e e l n o w . a b o u t t h i s m e t h o d c o m p a r e d t o h o w y o u f e l t a t t h e b e g i n n i n g o f t h e t e r m ? A r e t h e r e w a y s i n w h i c h . t h i s c o u r s e c o u l d b e i m p r o v e d ? W h a t a s p e c t s a r e t h e r e w h i c h y o u w o u l d l i k e t o s e e c o n t i n u e d i n t h i s c o u r s e a n d e x p a n d e d t o o t h e r c o u r s e s ? . . , _ C P l e a s e m a k e d e t a i l e d c o m m e n t a b o u t t h e A u d i o T a p e s - t h e i r u s e f u l n e s s . q u a l i t y . p a c i n g . u s e o f e x a m p l e s . e t c . : F i g u r e 4 . 5 S a m p l e c o u r s e e v a l u a t i o n f o r m [ b a c k ] f r o m C E M 1 3 0 F 7 5 2 1 6 b e i n g t e s t e d b y m a n y i t e m s o n t h e s u r v e y i s w h e t h e r t h e s t u d e n t l i k e d t h e m e t h o d a n d t h o u g h t i t a s g o o d a s o r b e t t e r t h a n t h e l e c t u r e - r e c i t a t i o n m e t h o d . T h e l a s t s e c t i o n o f t h e c o u r s e e v a l u a t i o n f o r m c o n t a i n s s e v e r a l d i a g n o s t i c o r i n f o r m a t i v e s u r v e y i t e m s . T h e s e m u l t i p l e - c h o i c e i t e m s h a v e v a r i e d f o r d i f f e r e n t t e r m s , a s ' H o w o f t e n h a v e y o u u s e d a n e l e c t r o n i c c a l c u l a t o r ? ' o r ' H o w m a n y a u d i o t a p e s d i d y o u d u p l i c a t e ? ‘ S u c h i t e m s p o l l s t u d e n t b e h a v i o r a n d a t t i t u d e o n s p e c i f i c i s s u e s , a n d t h e r e s u l t s h a v e i n f l u e n c e d a c t u a l o r p r o j e c t e d c o u r s e o p e r a t i o n . I V . D . 2 . P r e c o u r s e a n d E s t c o u r s e s u r v e y s ’ T h e m e t h o d c h o s e n t o m e a s u r e a t t i t u d e c h a n g e i s t h e b e f o r e - a n d - a f t e r s u r v e y o f s t u d e n t o p i n i o n o n p r e c o u r s e a n d p o s t c o u r s e a t t i t u d e f o r m s . T h e s e f o r m s ( F i g u r e s 4 . 6 a n d 4 . 7 ) a r e d i f f e r e n t o n l y w h e n t h e t e n s e o f a s e n t e n c e h a s t o b e e i t h e r f u t u r e e x p e c t a t i o n o r p a s t e x p e r i e n c e . T h r e e v a r i a b l e s a r e c o m p a r e d a c r o s s t h e t i m e i n t e r v a l o f t h e c o u r s e s : ( 1 ) w h e t h e r c h e m i s t r y i s e n j o y a b l e a n d a c h e m i s t r y c o u r s e i n t e r e s t i n g , ( 2 ) w h e t h e r t h e c o u r s e i s u s e f u l , a n d ( 3 ) h o w d i f f e r e n t l e a r n i n g s i t u a t i o n s c o m p a r e i n e f f e c t i v e n e s s . M a n y o t h e r q u e s t i o n s o f a m b i g u o u s c l a s s i f i c a t i o n w e r e i n c l u d e d o n t h e f o r m s w h e n t h e y w e r e f i r s t d e s i g n e d . T h e s e a n d o t h e r i t e m s r e m a i n o n t h e f o r m s s o t h a t s u c c e s s i v e t e r m s m a y s t i l l b e c o m p a r e d u n d e r t h e s a m e s u r v e y c o n d i t i o n s , a l t h o u g h t h e r e s u l t s o f t h e i t e m s a r e n o t r e p o r t e d . 2 1 7 T h e g e n e r a l f o r m a t f o r s u r v e y i t e m s o n t h e p r e c o u r s e a n d p o s t c o u r s e a t t i t u d e f o r m s i s d e s c r i p t i v e m u l t i p l e - c h o i c e ( c f . C h . 3 ) . T h i s t y p e o f i t e m w a s c h o s e n b e c a u s e o f i t s f l e x i b i l i t y ; t h e c o n t e n t o r w o r d i n g o f a q u e s t i o n n e e d n o t b e u n d u l y m a n i p u l a t e d t o f i t a n i n v a r i a n t a n s w e r k e y . T h e p r i n c i p a l d r a w b a c k t o t h e d e s c r i p t i v e a n s w e r k e y i s t h a t t h e n u m b e r s a s s i g n e d t o t h e r e s p o n s e c a t e g o r i e s m a y n o t a c t u a l l y p o s s e s s t h e n u m e r i c a l p r o p e r t i e s i m p l i e d . I n o r d e r t h a t c a l c u l a t i o n o f m e a n s a n d d e v i a t i o n s m a y b e s i m p l i f i e d , i t i s a s s u m e d t h a t t h e r e s p o n s e c a t e g o r i e s a r e i n t e r v a l a n d n o t m e r e l y o r d i n a l o r n o m i n a l . ( T h i s r o u t i n e l y m a d e a s s u m p t i o n i n a t t i t u d e s u r v e y r e s e a r c h i s s o s e l d o m s t r i c t l y t r u e t h a t s p e c i a l c a v e a t s h o u l d b e m a d e m o r e o f t e n . ) o . t e i t s 0 r o s . f v a i k 0 h r e . e e c h n t e ] e c ) e ) r f o l ) y t r i h t s . ‘ t : , c t f ' n s g o n r y . u I e e o v s ) i 3 . f i t o t 2 ' - . ' h v v ) e v v e S i n e e e e i e e o e e t e e ' e d v v o e v v r e v v u i i e v e e i i - y v i e i o i e e i v i i e v c r ' n z 1 S I a u n a r t n W c c i t d c i c c i c a t i ( c i c t o c c i t u t 1 u 2 t g o u u t L e e n t c e t e f c e t e c ( e t e c - e t e c ! - d t t v i r t t v s b t v t n i t t v i t v t h i s o s l I I ' ' . i c fl - f f e f v f f e v h d f e v i i r f f s f f e v f t f f v e f f n y o t f e s f f c e e o c e f f e f f u y f c e c e e f c f e e n o s a r d ( e e f i f e e f i ( u e f i f e f a e e f i f e e f i f - h m r ) a ? f t e f t e e t f t t l a s I e 3 9 a 0 n 1 s e y c e y c r s l l l 3 t : : , 1 i a e e y c l y l c e c n y e c ( t : l e y l l e l l r p l y l l e e e v u y e l y e y o l l i ‘ 0 f . i H : i 1 x - - n i h e n t l i v e u a y e f l t a y e f e a y e f l l f a y l a y f l ( e l e t i r h o f t f e r t f r t f a t c e f r e e r f e t a e t t r t e e e e t a e a e e t a e m t e e e t e e n i h c v g a g o a r e l v e a v e a v e r a u l i r r d a v r a e k i e a s n t i a e s v d n a e o h r s u t o l r y u u s e e r r o n f e o t e n e y r e y i e r y r y r y r i d s r f r i t t d r t e t t d t r t t d v r t t t r o - e r t r t t t n o f w " I f a o o e a o e o o o o o o l i e x a o e a o o n d e a o g o d n v v e a n v e e o n n v n n I o e v n n s s e i n n m l 0 r a n d t u w l e 3 " “ ' ' l o o r h a f 5 - ' 3 2 3 3 e l 5 5 3 t ~ ” ' J ‘ fl 0 , 2 3 n . 3 : 6 - 7 3 ~ 3 = ’ = M a = : " = - l 3 3 ‘ ” ' ‘ « ” " ‘ “ ' " ‘ " = « : a « = = = « = = e a H 2 Q a ’ - . l l a u t f e y s b u ) ) e y ) . e r f o l c e ) w n v t e i h i f g c ? i e r e o n e s t r i h t e h e e f s v d e S v e d v v e v v e u v v e e ) v v b t e b n e s l i e i v e i e i v i e i v y o i e i v v e i e i r f e e d t v t i r t v t i t v t i b b t v t i n t v t i . i h a l l g o ( s n c i c d t c i c t c i c t a c i c t o c i c t a r u t e t e n c e t e c e t e c i e t e c - c e t e n i h t g i e g u o f c f u e e s r f c f e e y f c f e e s f c f e e o f c f e e i w e n y e o r f e f v f h f e f f d f e f v f v s f e f v f e f v f f t e e e o e e t e e e e e l f t e e f t e e a w s ‘ e r b u n e r i l y r a e f e ( i f e f e f u i e f a i f a e f e i f f e i f e - g e g a n g ( d s a n r r e r o o a f e t e f t e t f t e l f t e f t e e l y y c c c e c e e c s n e r e y c l l y l y l e u p l e l y l l e y e y l l l l e y l y e o o o o w o t e l l l e r i o r c f t t f e r f e r t a t l u r e y e f v a u y t f a l y e f l a y f l a y e e l e l e t f a l y e f l ( f s r f s t c n s a e m e t r e e t i o c s r g S t a e n t e e e t e e o t e e - a i e r e n g e n e c g a v l r e a v a u a s a l k h s t y e a e o fl h r d a r r a y r e y r y r y r e y r r e a v e a v a v a e r i s r r r f e u t i e u i t l t r t t e e t t d r t t t t t r t t r t t d r t i r c a v e h i e g t e f l x o e o e v n p a e m h i o c c h t d n e a s v n o s n n v i w v e n n m e n n m e v n n m v e n e n v e n d g o o e d o n o o e x o o d e a o e x o o t 0 g S ) w ! : : n , e : : n l t e n : 2 . l s l o : : : I U n r d e i t u l , : r l 1 i 2 a 3 r » g : 3 - 3 3 3 3 n , i t h S 2 ‘ s = l r a : i c . 4 c t : a a a c m 3 3 3 = = = = : = : = = = , a U : = s l f i d o w n a e s e O y o v r p r t r u s u s i p n s e e i h l h c o t s 3 3 i 3 t a h w . o r o t u d o y u s u o u y o 0 ? w o s y . e t d e a g o t f y ? e f ? 4 i o l n d o i n d s a r a d y s 5 ? r . a e k e . r g o e s h n u r s h t . s s e a e u a s h l r a o 2 o v a o r o s t o s t a e r f a r w t y u s n r y t u s s f s i g h e s d . o c e t d o i e c e y t a ) h e e r o e e r t o s n w p u d t r l e d f l e i e o l d r s o u s r f e h t t l f l h r t s e e r f u t t g p . h a a w r y d r ; r o r g e e r b o e k e t f o y a o e a h r w a u h g : n i w h i a a g o e t h t s s , t e _ c r s e o n p f o s p a r s r s h l t s h ? h l g i a t h r r o t n r h r f f t r t h n e s l o s g b l y c S h a t u u c o i e c t u o e w i v u a e n e i y l d i e a o u o t u d e a d o k d e a o l c w ( l h a i e y d s h d h e c y r s h o r r r h n y o n ' i y r c t i t r r w o h s a t w a o a t t o a ‘ s ' e r t t r r d g e a h e o s o c o r e r l o s e a g t h i g h w h w h s v h d c r n r n . . a c t r i e a r s e e i p d - t p e i t d a t k t p a 5 0 0 5 0 l 0 5 p 0 5 h i t d n t t e t o o t i e t o r r l i e r e f . . . . . a x 0 . . . h a i o o f d r e t o w e o o f t d o e w e i i 3 3 e 2 2 4 e e 2 L 2 3 3 t s s I n n A d c g w A c s k r s w w k e e a 3 u 3 r r p d R m e r e e r p e t r m u o : p r s m u 1 1 ' o o m - d c Y N 5 ‘ 3 3 3 3 6 : : , r o 9 : : : o - 7 3 : e a n 3 e s 2 g “ = r = y = ' . = . 2 7 f w e 2 w s 2 = “ ( 2 e c a = : : c = a . = = = = = 2 2 t l ) u l I s t t o ? r P a e ” w h ) . g o t n ! ) t . M ( r i 0 i n y e 9 g . e s b s 3 P e 0 r d d u Y L n c e s f t n e m i n c e g n e u e o h e n ‘ n t s c E S 1 i i C f i u O ” . s c c e r S i c t e o L c t h e s e l a e a b t Y ' y y m a e r C A i d s n r f l 1 - r 9 l t h c r e g 0 i n e f i a f 3 O h s i . g e i u o l h o r r o i l : y w d C S l U t s m t l e p ” e r a o h h l i u t o n C I l n o n E ” s i ; r e . ‘ e e - f ' ’ = = : I = = — 7 I ‘ m l b e - r “ ‘ u ‘ = ‘ = p m h i m u s t o e a n w - " s s r a . t a r t y e n e I u e n e r ! 2 0 0 d 0 o v d ‘ I . . . . . . y C M 2 2 J J 0 r u " n I 4 0 - - - - - o u I " t 0 e l 5 d 3 7 a r y r w h o e y o w t t l t t t u a i l t o e e t h s e u t y s i s c l r e t u ( t s n a e c b a e t v i u t c n i f l t n u p o a o c d e s f l o a c ? h t y e e d n i i t e e n t t s j r i e w d i f r u e e a b f h u e e g i u t o o t r t n e o s h n e t s o r l a s a i o y a r t i n a h c p t u y o h a s t e t p t o a o t e n c i y a h a d c o n d t t i e e l c h h y n a n f d b b t u i t t h s r r e i i a s s l c e t i e e e n f e d n h d a u s d r h v s l g o w i n l i o o s o e u t t i s e o d f t a e e t n c n n u r s a e w l f n i o a o e o e f o o s l a s a w h c r n s a l l i N o ' t e u H n u s o 3 o u y 3 a c 2 = 2 e e v k i a f t d e l s l e o t s t i e d e o w r n e t g n i t s s v e S . . . . . . h n e o t t e . t ’ t t t t t e t t i l s s r g e ' ' S r 3 3 4 3 c i a c a . ? t t n t t t a n a a a e o t e a a n t n t t n u t e n a n n n t t a t s n n t t d : a n n a s n a n n t t t a a t t t n n r t n n x n n t t n ' i u = = s r i e a t a a t r l a r a r r a r e t . t a t a a t r n r r r ' n 0 2 t 2 2 J 3 h o n r n t . h o e o T Y b M ‘ ‘ “ ' “ ‘ e c r t r t o a o d r t t a t o i o o o r r t t t r e o t o : r r ; ” w r p o t p w e o r o r p p p n ; r r p p r o p o r r o r o t N S d o o p o o o p f e n e e p o o m o p e d o e e n o e p m . : d r n s l K C m U D ' fi s s . a C h p s p i i i e p i i i f t s t n p s i i i p p o p e i p p y t n i r e - e e i i e e m e - i s e a i m i e d m e . r l y a u e s i i i i l i i i h i i i i i l l y l y t y n y l l l t h b t l o t r t l y y l l l y c r l l i l l l y y u l a s c t y a a y l e t e y t l l a t l a y t e a y y o t s e c e t r h a f r a r e r i a e i o t a a t e r r r r s a e a e e s t i t l s e e h m t s e l o n t t h t h e e e e e a h t e e t h e h t w t a u s n a e e w r a v d s r e w e a v v v v r e s a w w e a w a e r l i a a w - g - e h y e y t u r r e e t e r e a e e r o r e e s r e i s g c r e r i t o n c e s t m t n t t l e d w t t t t t d t t r t d t r t o d e e o u o u r c o o a o o o d d c o o o o o a o o o a e u o o o a o o r i ” ” e n s y v v n q s o o n n s s e e u m e n n n e e e n n s n n s n a ! “ I I i o y t s e t i r s o j c i M , n - 3 3 : = 7 : 3 S = a h = 3 - ’ = : 1 : = = S a e f t _ _ _ 9 " : a - = 3 a 3 l l ) M r C H « = = 1 c = a . = c c : e i = = : “ = 6 = = [ c = = 1 L = = = l F i g u r e 4 . 6 S a m p l e p r e c o u r s e a t t i t u d e f o r m M e = " ’ 0 0 ” c m W = 3 J u n i o r = - S e n i o r c : 5 ' “ e O t h e r M y s i c s e l s e o a t h o r i f l i e d o t h e r c o l i e o e c h e r d s t r y c o u r s e s 7 h a v e h a d c o l l e o e i s c o u r s e r e s i n d e g r e e p r o g r l i e d . o t h e r c o l l e o e s c i e n c e c o u r s e s M s t r v e s a r e r e o ' d d Q N ' m m - z fl u c z a 9 . 0 : : s t 9 . 3 : : ” . 5 m e ” o r : 9 “ g r . ” = 0 0 r z u o g u a n o m o n o g r a m r 3 2 1 “ m u m “ o m i t s ‘ n o 3 : 0 a n a s i n i s g s g . . : o i . . ' n ) . . t a fl 3 s 1 Z i s h i e h s c h o o l i e d p h y s i c s l i e d c h e r i s t r y l i e d s o r e t h a n t w o m . o a t h i n " . 5 . i n M a l i s c h o o l i e d o t h e r s c i e n c e i n h i e h s c h o o l t o h o w p r e p a r e d d o y o u t h i n k . y o u a r e t o t a k e t h i s c o u r s e ? = 1 v e r y w e l l p r e p a r e d D f a i r l y w e l l p r e p a r e d = 1 s o - e w h a t p r e p a r e d " — 3 p o o r l y p r e p a r e d a : n o t a t a l l p r e p a r e d 2 1 l i o w i n t e r e s t i n g d o y o u e x p e c t t h i s c o u r s e t o b e t a n v e r y i n t e r e s t i n g ( : 2 s o l e w h a t i n t e r e s t i n g : 2 . n e i t h e r d u l l n o r i n t e r e s t i n g e : s o m e w h a t ( h i l l : 1 v e r y d u l l Z Z l i o w o u c h d o y o u t h i n k t h a t t h e c o n t e n t o f t h i s c o u r s e w i l l h e l p y o u i n y o u r o t h e r c o u r s e w o r t ? 5 - , n o h e l p a t a l l i s c z a l i t t l e h e l p i n L . . . s o m e h e l p i n s i g n i f i c a n t h e l p i n r e , f u n d a w e n t a l t o C : H U M S T U D E N T P R E C O U R S E A T T I T U D E F O R M M i c h i g a n S t a t e U n i v e r s i t y 2 1 8 . e s y r e u v o r 3 a ? t 0 . . h e k h e r £ t - . . s “ i n g n o f n t s ) e l . e e h c t ) e ) r f o l ) y t r i h t ‘ ' - o ' S h o v v e d v e v e v v e u v ) v e v v e c i e t e e n e e e i e o e e e 3 t f t r t i d t i v v t v t a l ; n . b t i n t t i b t v t v t i 3 e h 3 I s I o u a n d c i c t c i c t i c c ( c i c t t a c i c t o t i e i v i i v e e i v e i e i y i i v n i e i v e c u ‘ t t ( o e c e t e t e u u n c t e e c ( e t e c - e t e c s s ‘ a n i r f f f d e e f f e f v v h f f v f s f e v f f t f e f f v ' i s o a e f f e e e f i i ( f f u e e i f a e f i e f - i e f e f g t o y f e u f e y c f f e c f c f e e e s f c e f e o f c f e e n d ( f f t t e e f e t t e l f t e e e f t i ? r 3 ? ) i ; s n r r e s e y c e y c l s y c e l c e y c n e c y h a t s e 3 I s { i ‘ r e l l l e y l l e y l a v u l e y l l l e y l o e y l t f : ( a y f l 0 h l l l z e i t v a e y f e l y e f l i a a y e e f l a f l y e i n m e i i : ' ' - l f i a c h f r r f e t e t t e m t e e e n t n a a t e e e c g v l o a v a r e a r l a u d r s f e t r t e f r e t f w t a e e i n t a e n e t e e v l a a r v e s a r v v e a e a i r v r e r t k s i h e n y i r e y r e y r e v r e a t a e f v o a h s t t f r i r u t t t d r t t t t t t d r t t d r t t d t e r f w o " n f e o o o e x o o o o e x o o o e x i o o o v d x e e x o o g o n n v n n v e I e n e i n n n v e d n n v e n n n v e I l e d ” r t w l 5 n i n . e ’ " 3 2 3 a . u a o o r h f a 6 " 3 3 m " t 4 = - 2 - : l . l a = ' 3 3 - 3 l 3 3 - C = ‘ = « r = = 8 = ' ‘ = “ 6 7 = c : : ; 9 = = = : = — G . ; 1 3 3 3 3 “ u l ) ’ o u - . k l y a s e r r e t e u t f e y s b u d e ‘ 0 o e ) r f o l n e s r e o n ) y t r i h t e e e e t e o e e e e e f v d v e v e h e v v v e u v v ) e v e v 9 n e b e i y e i e i i e v i e i v v o i e i e v i e v i a t . h s t e i 3 ’ " r t v t i r t v t v t i t v i t i t t i v t n b n b ? l c i c t d c i c t c c i c t i c a t o c i t c i g ( a l a e t e n e t e e c c e t c e t e i c - t e c e T O g i e f c e f u f c f f e e c e f e f c y e f e c e o f e f e s ” D w e y f f e f e h f f f f d e f v v v s f f e v f f e v t f f f e r l ( e e f e e e f f f e u i i f f e f e i i a f f i - e e f s g g g e w d ) f f e t e e t t f e f t t l e f e t e r u n o o c s i e r p 2 d a n r s n l l l l l e e s y c y y c e e y c c c e y c : l l l l e y l e y l e y l l l e y l e y e o u r o l r t e y a y e e l y f l y f a a e f l e a y f l a y e f l u ( l e p w o e “ l l t c r f e r f r e r f e r t f e t t t f e t o c r e g s e a a n a t t n e e t n a a t e e e e e n t a e - e u l a t ) ‘ a n n v l g v r . a v i a e r r e a a v e v c r r e a r d a t o k s a y t r r e y e y e y r e y r e y r s " i i ; s r i r u C t t d e t d t r t r t t t d t r t t d r t t d t r t c a ‘ e h t , v n r i e e e o o e x g o o h o o o o e o o x o o e o x o o e I n p e n 0 o h t d n 0 v s v u v n n v e r n n n n v n n e e n e n n v n n n e n i o 9 l n ' g a l s d n i t , s u . i o a n 4 m 4 : s 4 : n - . l I 3 n a 3 3 3 : n ) : J : a . : M - c c z § 0 i 2 3 § - . . = t : a C : a = = . : a : c r c : : r a = a r o c : . : r 3 — 2 - 2 1 r ‘ 2 : . ‘ 3 3 3 s f s 3 o c 3 d o n ” d ? 0 . n : m e n e g 0 a a e R e h ? s 0 l t e o d k r a e o t s n s r c r s i a n e e u k e e y 9 f o w d d p v o n r s l ? s f r e t e x c a e y u o r p t r s u i p n e e : ) . . o u e o d e . o : l a g t . 1 0 0 n c 0 0 e b r a g o e 9 v 0 i s r t w o h t h t e d s l f c c e e a p f s e h e n e e y s e k s e ? d p a i p t r l t s e r - . e e x h a k o x h t t o r r a s h : 3 l ) v a h i a r c d f o o o f s i e o t a i n s t e t t e n w o u s r h l z e t b e a h x u e y n e n t t e f c e . k : z l o t l a p a t d o e h d t r a f w p u d e o s c y e g r o o r d l c x c r h h a e o r t e ; ; m n . r y r a a o y h d a t t t e e o t k r e g r r f i i v l y e a h s a “ ? r s e p o e r a u g h e e o e h s t t c r e o p f s a r e h e d ? a t r h a g t l s h h r o n x y c p r d d o t n d ; r l c x f o n l s g i e y a N h i t e a e l n w n u i y o r r a a a i d f e u b e d y l t r e h o e n e a a a o k g r e y c h o a l ( l a l e n t y d t u s o r u c d o r h h o y c y r b l d r e t r r e e a o l t o o s d e o t l i i t o a a g t r t s r r g n h a e b f a r p l y h i e w d : a s v f r r n s c o o a a r ! v h t g e t i o y o i e o a t h s r e n t u h h d a t t k e n i d x c e 1 v r r l p S 0 0 5 5 f i t d m u t t i t o r t p r c c r l i . t e o u u o e o a e w ; e l a t e a x . . . . . w h x o o o e b o r ” i I D n g w h r s k a n f s v e e 2 2 t 3 3 e M n n n b a d l s ” a 9 4 h 9 . R l t f u o , , , : . ) : , u w u r d e k r e t 3 : 2 d 5 o ; o : 1 1 = 2 c = o o n m : : n h n l 3 m L 5 1 3 , ' a y 2 r a . a c y i h = : = = a : , a a = = c = a 6 7 f a r u o p s m n o c m 2 2 2 z m g p e i o i s n u d v c u o d l n h h y r a e : n n y i e ? e t t ) w e h f k s t r a f u ) . g o t n e a o h o r n l t i . n ! s i u r h l w o w a e i u h e t t e r ? i o t . y g t t t s e e d y g w e u e s b n e m r c s e d n k s o s t n n o r t i o s a t n u r r d e d i n r e c i r i i e u e e m . i . o d u a e r i t i s u n t e u ( d d o c ! . y n g e o p r a d e g t r o p e o p s h i u e c n n c a e p r d n o u c v g x c ? e t i t h k s t t t s ( i ! o . c ! n h e t i i e u “ i c e o p r e a e g ? i r n o e e n c o l d s p r n e p r e t u l c r n t f u r e i l t L c h r S d c d h p r p t e n i l l u s y h p t y h o s i r e a i s p b o u e a n o e i s t l l o e s n l t e J u l l t C e t p e d i t s r o t l y t i i . e a b y l l e l y a e r . l T 7 p a d t r t h l i a t . a e w t l t l s l l a e r r l d o p o d y e e h o a e t v f h c r r e . . r O o . : l n a l h i e y h y t s e d f h u e h w t i h a y i H r l w l r h w l r c o h t a n o e h s e . g i w f ” S 1 g k p a e r a u r p c d d t e n e n a e t a f f i u 0 l o r i r n s h p r y y t y e c e e r e u e t y u i h ' t - i o g i t r l e - p s n y w n w S C h i i t k o o t a o o w c e e e o o n i a e o o n i e o e u i e s U v p n n : s o v s v n f s l s s ' i . ! M e o a i h o r i n o t o m r i r t n u v s n o t g 0 s r n l e h s . t 1 “ C l o n h i i e e n - W . . 3 r I i h n u . : n a = r r l m u u l l b I i ; . : 0 - . 1 t m w a r : 2 3 2 y c c y w t c n : c ' c c : a r = u c : e c : : a c f u : " 1 s t o o 1 : h : 3 3 e — : 3 o o i p m g “ 2 2 2 2 m u e a n b v 0 c 1 r s ' a I t e X y n h r t s U : e e t 2 6 0 t 0 " ! v d " 2 . . . . . . . 2 2 3 3 4 r u 4 t C fl — - 0 - - - u t a 0 A 3 2 ' 0 l 5 e e v k i a f t s e o t s t i e d s s . . . . . . h n e r ” n . ' ’ s l r e l 0 2 2 2 1 3 t o r i ? c i f 1 — 4 r u v r i e r t l 3 3 v " 3 n e s n h o l c t l fi t f e - r ' c * = = a s . m m n e m a n o w w r r n l o o r a i d e s i m e n n a h r e u r t 1 a ” M , m G 2 = m r . 1 3 : 3 . m ‘ e c r e w e o t d n t s n r i e a u h e t o t r r y h o t e p n s n i r d i u c s d o - a r c e o e l t s fl c i l a h 5 f t 1 f W S i J G O F i g u r e 4 . 7 S a m p l e p o s t c o u r s e a t t i t u d e f o r m 1 ‘ I n g e n e r a l . h o - v r e a c h d o y o u e n j o y c h e r i s t r y ? r r a v e r y n u c h : 3 Q 0 " . 0 b " - — ' J s m i l e : : 4 v e r y l i t t l e a n n o t a t a l l c : n o t a t a l l i n p o r t a n t r : n o t v e r y i n o r s a n t c : s o u - w h a t i n p o r t a n t U s n o d t r e t e l y i n p o r t a n t c : e x t r e n e l y i n p o r t a n t l b l l t w a s r e c o n - e n d e d t o n o « : 3 n o t a t a l l i e p o r t a n t = 2 n o t v e r y i n p o r t a n t i = 3 s a n e - h a t i n p o r t a n t = m d e r t t e l y i a p o r t a n t = a e x t r e m e l y i n o r t a n t 1 7 » c l o s e f r i e n d a l s o e n r o l l e d c = a n o t a t a l l i n p o r t a n t = 3 n o t v e r y i a p o r t a n t = s o n e w h a t i a p o r t a n t « = - n o d e r a t e l y i n p o r t a n t a ; e x t r e n e l y i n p o r t a n t [ a l f r e r e o v i s i t e f o r n e a t t e r n c : n o t a t a l l i n p o r t a n t = n o t v e r y i e p o r t a n t l = l s o n e w h a t i n p o r t a n t = n o d e r a t e l y i n p o r t a n t a : e x t r a n e l y i w t a n t 1 9 l 0 o v r s e s o u n d e d i n t e r e s t i n g = n o t a t a l l i n p o r t a n t . = . n o t v e r y i a p o r t a n t e : M ! l M I t = n o d e r a t e l y i n o r t a n t = = e x t r a - e l y i w t a n t : 2 3 a l a o s t n o t h i n g = " 1 " . = 3 s o n e = . a n o d e r a t e a m u n t = a s i g n i f i c a n t a n u n t a l l o w w e l l w e r e y o u a b l e t o h a n d l e t h i s s u b j e c t n a t t e r ? = 3 a b l e t o n e s t e r i t e a s i l y = r e a s o n a b l y w e l l a b l e t o n a s t e r i t c : w i t h a v e r a g e e a s e c : n o d e r a t e l y d i f f i c u l t t o o u t e r a = = f o u n d i t t o b e I n c h t o o d i f f i c u l t c h e n i s t r y c o u r s e s 7 h a v e h a d c o l l e o e o h y s i c s a l o e B e t h a l i a v i o t h e r c o l l a c e s c i e n c e c o u r s e s i s c o u r s e i t d e o r e e e t h e r c h e r ' i s t r y r s e s a r e n o d l i a d o t h e r c n l l e n e c o u r s e b e f o r e I ' . s l i d ” t a k e n t h i 1 2 m e I n l i e d c h e m i s t r y w a d p h v s i c s i n h i o h s c h o o 3 " “ o t h e r s c i e n c e i n h i o h s c h o o “ l a d r o r e t h a n t w o y r s . m a t h i n l i . S . i n h i o h s c h o o m u m s : . W ( ” D y n a m i t e s I n t h e l e a r n i n g o f S c i e n c e . h o w e f f e c t i v e a r e t h e s e f i v e s i t u a t i o n s f o r y o u r s e l f ? 3 1 9 a ” g r o u p ( a r o u n d e i g h t ) Y o u r r e s p o n s e s t o t h i s s u r v e y w i l l h a v e n o b e a r i n g o n y o u r g r a d e i n t h i s c o u r s e . M i c h i g a n S t a t e U n i v e r s i t y s w a m P O S T C W R S E A T T I I ' U D E i ’ O l t h d 2 2 0 I V . E . W h a t a r e t h e s t u d e n t a t t i t u d e s ? A t t i t u d e s u r v e y s , l i k e a c h i e v e m e n t t e s t s , a r e a c o l l e c t i o n o f q u e s t i o n s g i v e n t o a c o l l e c t i o n o f s t u d e n t s . F o u r d i f f e r e n t k i n d s o f n u m b e r s c a n b e r e p o r t e d : a s i n g l e s t u d e n t ' s r e s p o n s e o n a s i n g l e i t e m , t h e g r o u p m e a n f o r a n i t e m , a s t u d e n t ' s t o t a l s c o r e o n a l l i t e m s , a n d t h e g r o u p m e a n a c r o s s a l l i t e m s . T h e r e s p o n s e o f a s i n g l e s t u d e n t t o a s i n g l e i t e m i s s e l d o m o f s u r p a s s i n g i n t e r e s t . T h e g r o u p m e a n f o r a n i t e m i s t h e r e s p o n s e m e a n o n a n a t t i t u d e s u r v e y o r t h e i t e m d i f f i c u l t y o n a n a c h i e v e m e n t t e s t ; b o t h a r e o f i n t e r e s t . T h e t o t a l s c o r e o n a l l i t e m s f o r a s i n g l e s t u d e n t i s m e a n i n g f u l o n l y w h e n t h e e n t i r e t e s t o r s u r v e y i s o f s u f f i c i e n t l y h o m o g e n e o u s c o n t e n t t h a t s u b t e s t s c o r e s a r e u n n e c e s s a r y . R a r e l y a r e t h e q u e s t i o n s o n a n a t t i t u d e s u r v e y s i m i l a r e n o u g h t o j u s t i f y t h e c a l c u l a t i o n o f a t o t a l s c o r e . E v e n m a n y a c h i e v e m e n t t e s t s a r e d i v i d e d i n t o s u b t e s t s s u c h a s m a t h e m a t i c s a n d v e r b a l , o r n u m e r i c a l , n a t u r a l s c i e n c e , s o c i a l s c i e n c e , v e r b a l , a n d g e n e r a l . T h e s u b t e s t s o n a n a t t i t u d e s u r v e y a r e m o r e o f t e n d i s c u s s e d a s f a c t o r s c o r e s . T h r o u g h s t a t i s t i c a l f a c t o r a n a l y s i s , c e r t a i n s u r v e y q u e s t i o n s a r e g r o u p e d t o g e t h e r a n d a m e a n r e s p o n s e f o r a f a c t o r m a y b e r e p o r t e d . B e c a u s e m o r e t h a n o n e i t e m i s i n c l u d e d i n a f a c t o r s c o r e , t h e m e a n r e s p o n s e i s m o r e s t a b l e t h a n t h a t o f a s i n g l e q u e s t i o n . S t i l l , t h e a t t i t u d e s o f a s i n g l e s t u d e n t m a y v a r y m o r e f r o m d a y t o d a y t h a n h i s l e v e l o f a c h i e v e m e n t a n d t h e r e f o r e t h e r e s p o n s e s o f i n d i v i d u a l s t u d e n t s a r e o f l e s s v a l u e t h a n t h e c o r r e s p o n d i n g g r o u p m e a n o n a n i t e m o r f a c t o r . 2 2 1 T h e m e a n o n a n a c h i e v e m e n t t e s t i s t h e s c o r e f o r t h e e n t i r e g r o u p o n a l l q u e s t i o n s . S i n c e a t t i t u d e s u r v e y s a r e t y p i c a l l y m o r e h e t e r o g e n e o u s i n c o n t e n t , t h e m e a n f a c t o r ( s u b t e s t ) s c o r e i s a m o r e d e s i r e a b l e s t a t i s t i c . T h e r e f o r e i n t h i s s t u d y o n l y t h e f a c t o r m e a n s a n d i t e m m e a n s c o r e s o f t h e c o u r s e e v a l u a t i o n a n d o f t h e p r e c o u r s e a n d p o s t c o u r s e a t t i t u d e s u r v e y s a r e p r e s e n t e d . I n a s m u c h a s t h e s e d a t a a r e r e p o r t e d a t t h e g r o u p l e v e l , a n d b e c a u s e o n e h u n d r e d p e r c e n t o f t h e s t u d e n t s d o n o t r e s p o n d t o e a c h a t t i t u d e s u r v e y o r e v a l u a t i o n , t h e r e s p o n s e r a t e m u s t b e c o n s i d e r e d a n d i t s p o s s i b l e i n f l u e n c e o n t h e o b s e r v e d m e a n s e x a m i n e d . F a v o r a b i l i t y o f r e s p o n s e a n d r a t e o f r e t u r n . W h e n e v e r t h e r e s p o n s e r a t e i s n o t o n e h u n d r e d p e r c e n t , t h e r e s u l t s f r o m t h e a c t u a l s a m p l e o f s t u d e n t s w h o r e s p o n d m a y d i f f e r f r o m w h a t t h e r e s u l t s m i g h t . h a v e b e e n h a d a l l s t u d e n t s r e s p o n d e d . W h e t h e r t h e i n c l u s i o n o f t h e n o n r e s p o n d i n g s t u d e n t s w o u l d r a i s e o r l o w e r t h e o b s e r v e d m e a n d e p e n d s o n w h e t h e r t h e r e s p o n s e s o f t h e s e s t u d e n t s w o u l d b e m o r e o r l e s s f a v o r a b l e t h a n t h o s e o f t h e s a m p l e w h i c h d i d r e s p o n d . S e v e r a l r e a s o n s f o r n o n r e s p o n s e a r e p o s s i b l e . S o m e s t u d e n t s m a y w i t h h o l d t h e c o o p e r a t i o n r e q u e s t e d o n a n e v a l u a t i o n f o r m b e c a u s e o f t h e i r d i s l i k e o f t h e c o u r s e . O t h e r s t u d e n t s m a y f e e l f a v o r a b l y d i s p o s e d , b u t b e t o o a p a t h e t i c t o r e s p o n d . S t i l l o t h e r s m a y s p e n d e v e r y m i n u t e o f t h e f i n a l e x a m p e r i o d o n t h e t e s t a n d h a v e n o t i m e r e m a i n i n g i n w h i c h t o r e s p o n d t o t h e s u r v e y s . I n m o s t c a s e s w h e n t h e r e s p o n s e i s v e r y n e a r l y c o m p l e t e , t h e s e d i f f e r e n t t y p e s o f n o n r e s p o n s e 2 2 2 h a v e a n e g l i g i b l e c u m u l a t i v e e f f e c t o n t h e g r o u p m e a n . Y e t t h i s a s s u m p t i o n c a n n o t b e d i r e c t l y v e r i f i e d s i n c e t h e r e s p o n s e s o f t h e s t u d e n t s w h o d o n o t r e s p o n d a r e u n k n o w n . C o r r e c t i n g f o r i n c o m p l e t e s u r v e y r e t u r n . A n i n d i r e c t t e s t o f t h e e f f e c t s o f n o n r e s p o n s e w a s m a d e b y c a l c u l a t i n g t h e c o r r e l a t i o n b e t w e e n r a t e o f r e t u r n a n d r e s p o n s e m e a n . I f t h e r e i s n o r e l a t i o n s h i p b e t w e e n r a t e s o f r e t u r n ( w h i c h v a r y b e t w e e n f i f t y - f i v e a n d n i n e t y p e r c e n t ) , i t w i l l b e a s s u m e d t h a t t h e o b s e r v e d g r o u p m e a n i s n o d i f f e r e n t f r o m t h e t r u e t o t a l g r o u p m e a n . F a c t o r 1 1 f r o m t h e c o u r s e e v a l u a t i o n f o r m w a s s e l e c t e d f o r t h i s t e s t b e c a u s e i t i s a s t r o n g f a c t o r c o m p o s e d o f f i v e i t e m s w h i c h i n d i c a t e s t h e s t u d e n t s ' g e n e r a l a t t i t u d e t o w a r d C E M 1 3 0 / 1 3 1 . T h e c o r r e l a t i o n c o e f f i c i e n t b e t w e e n p e r c e n t r e t u r n a n d f a v o r a b i l i t y o f r e s p o n s e w a s f o u n d t o b e 0 . 6 9 . T h i s u n e x p e c t e d l y . h i g h c o r r e l a t i o n i n d i c a t e s t h a t s t u d e n t s w h o d o n o t r e s p o n d p r o b a b l y w o u l d h a v e r e s p o n d e d f a v o r a b l y o n t h e s u r v e y s . T h e r e g r e s s i o n l i n e o f m e a n r e s p o n s e o n p e r c e n t r e t u r n a n d t h e o b s e r v e d a n d c o r r e c t e d r e s p o n s e m e a n s f o r F a c t o r 1 1 a r e p r e s e n t e d i n F i g u r e s 4 . 8 a n d 4 . 9 o n t h e n e x t p a g e . O b v i o u s l y t h e p e r c e n t s u r v e y r e t u r n i s n o t t h e w e o f s t u d e n t a t t i t u d e s . Y e t i t i s a l s o c l e a r f r o m t h e s e d a t a t h a t i n c o m p l e t e s u r v e y r e s p o n s e d i s t o r t s t h e m e a n i n a n e g a t i v e d i r e c t i o n ; t h e g r e a t e r t h e s h o r t - f a l l f r o m o n e h u n d r e d p e r c e n t , t h e l e s s f a v o r a b l e t h e o b s e r v e d r e s p o n s e . I n l i g h t o f t h i s , a l l o b s e r v e d g r o u p m e a n s s h o u l d b e c o n s i d e r e d l o w e r b o u n d s t o t h e f a v o r a b i l i t y i n d e x . R e g r e s s i o n s a n d 2 2 3 4 . 5 0 - C 4 . 0 0 - [ ] 3 . 5 0 - c : a : d ) 3 . 0 0 ! - 8 q ; 2 . 5 0 - m s : o 2 . 0 0 r - o . m a ) 1 . 5 0 - 0 : : f 0 2 0 3 ‘ 0 4 0 5 ' 0 6 3 7 0 6 ‘ 0 3 0 F i g u r e 4 . 8 R e g r e s s i o n p l o t o f m e a n r e s p o n s e o n p e r c e n t r e t u r n ; m e a n r e s p o n s e = 1 . 8 7 7 + 0 . 0 1 6 0 6 ( p e r c e n t r e t u r n ) 4 . 5 0 f C 4 . 0 0 r - 0 . . O ' Q C 3 . 5 0 L o . . . . I : O . O . O . . a 3 , 0 0 L . . . . . . . . . . . . . . . . . O . 0 0 O m . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . O . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . O O O E o 2 . 5 0 b I n 5 2 . 0 0 ! - a . m o 1 . 5 0 - C C m i n ” ! m m ” m ‘ W u “ I 3 7 0 1 1 3 0 0 7 4 L ‘ J U W 7 3 1 ” C W 7 , L | 3 1 3 7 5 l 3 ” , ! 1 | 3 M 7 O ‘ W 7 . I ' J I S N F i g u r e 4 . 9 O b s e r v e d [ O ] a n d a d j u s t e d [ . 1 r e s p o n s e m e a n s f o r F a c t o r 1 1 f r o m t h e c o u r s e e v a l u a t i o n f o r m 2 2 4 a d j u s t m e n t s a r e n o t c a l c u l a t e d f o r o t h e r i t e m s a n d f a c t o r s b e c a u s e t h e e q u a t i o n s a r e i m p e r f e c t , a n d t h e t r u e c o r r e l a t i o n f o r a n y s i n g l e g r o u p m a y b e d i f f e r e n t f r o m t h e a v e r a g e c o r r e l a t i o n s u g g e s t e d b y t h e e q u a t i o n s . I t w a s d e e m e d a p p r o p r i a t e n o t t o a d d a n y f u r t h e r i m p r e c i s i o n o r i n a c c u r a c y t o t h e s e d a t a b y a d j u s t i n g t h e m w i t h a n i m p e r f e c t t r a n s f o r m a t i o n . N e v e r t h e l e s s i t m u s t b e e m p h a s i z e d t h a t t h e r e p o r t e d m e a n s a r e l o w e r b o u n d s t o t h e t r u e g r o u p a t t i t u d e s . I V . E . 1 . R e s u l t s o f t h e c o u r s e e v a l u a t i o n A s a m p l e c o u r s e e v a l u a t i o n f o r m d i s t r i b u t e d a t t h e e n d o f e a c h t e r m i s d i s p l a y e d i n F i g u r e s 4 . 4 a n d 4 . 5 . G r a p h s d i s p l a y i n g t h e m e a n s , m e d i a n s , a n d a p p r o x i m a t e f r a c t i o n s o f t h e g r o u p c h o o s i n g e a c h r e s p r e s p o n s e c a t e g o r y a r e c o m p i l e d i n A p p e n d i x F . A g r a p h o f m e a n r e s p o n s e s f o r t h e t w o s t r o n g e s t f a c t o r s g e n e r a t e d b y f a c t o r a n a l y s i s i s p r e s e n t e d i n F i g u r e 4 . 1 0 . F a c t o r 1 1 i s a g e n e r a l ' h a p p i n e s s ' q u o t i e n t ' c o m p o s e d o f I t e m s 1 , 2 , 3 , 1 0 , a n d 1 4 f r o m t h e e v a l u a t i o n f o r m . F a c t o r 1 2 d e n o t e s s p e c i f i c s a t i s f a c t i o n w i t h t h e e x a m i n a t i o n p r o c e d u r e a n d i n c l u d e s I t e m s 4 , 5 , a n d 6 f r o m t h e s u r v e y . T h e m a j o r c h o i c e s a m o n g t e n c o u r s e a s p e c t s i n t h e f o r c e d - c h o i c e p o l l r e q u e s t e d b y I t e m s 1 5 , 1 6 , a n d 1 7 a r e l i s t e d i n T a b l e 4 . 1 . T h e o v e r a l l a t t i t u d e o f t h e s t u d e n t s t o w a r d t h e c o u r s e i s n e u t r a l , b u t t h i s i s a n a v e r a g e o f s o m e a s p e c t s t h a t s t u d e n t s l i k e v e r y m u c h a n d o t h e r s s o m e ‘ s t u d e n t s d i s l i k e i n t e n s e l y . S t u d e n t s c o n s i s t e n t l y l i k e b e s t t h e t e s t i n g p r o c e d u r e s u s e d i n C E M 1 3 0 / 1 3 1 , f o l l o w e d b y t h e s e l f - p a c i n g . 0 6 0 7 A 0 0 0 0 0 I ‘ . 0 0 0 0 0 . 0 0 . 0 0 . 0 0 0 0 0 0 A o 0 0 0 - 0 5 1 3 m r 1 o 6 7 W f n o 0 i 3 t I 1 6 7 a u l a W v 1 e 3 1 e I s 5 r 7 F 0 u o 3 c 1 I 5 m o r f ] A [ 2 1 r o 0 7 ‘ o o o o o o o o o . I 5 1 3 1 5 7 W 0 3 o 1 o o o o o I 5 t 7 W 1 c a o 3 F A ‘ ‘ ' o o o o . . . o c o 0 0 0 0 0 0 0 0 0 0 0 A g 0 . 0 0 0 . 0 I I I 1 4 7 F 0 3 1 4 7 5 1 3 d n a 1 . [ 1 1 r 1 o ” W 0 3 1 t c a F r o I f 4 7 s W n . 1 o . . 3 a 1 e o m I n o o o o 3 7 f 0 3 e s n o o 1 ‘ 0 o o o o o o I p 3 7 s e 5 R 1 3 o 1 r b - 0 0 0 5 0 5 o o o c - a n o o P 0 0 " r - ' I 0 3 1 7 . W 0 3 1 4 e 0 0 5 0 - 0 5 . 1 u g i F . . . . . 0 4 3 4 3 2 2 2 2 5 2 2 6 T a b l e 4 . 1 C o u r s e e v a l u a t i o n r e s p o n s e p e r c e n t s t o I t e m s 1 5 , 1 6 , a n d 1 7 S t u d y A u d i o T a p e C E M L a b E x a m G r a d e S e l f - T e r m I t e m G u i d e s T a p e s N o t e s R o o m U n i t s F r e e . T e x t F i l m s S c a l e p a c i n g 1 5 1 2 3 5 3 1 1 3 0 W 7 3 1 6 3 0 1 9 1 1 1 1 7 1 0 2 8 1 9 1 2 9 1 5 3 7 2 3 1 3 1 8 7 3 1 6 1 5 2 2 1 6 1 7 1 4 2 0 8 1 5 1 3 0 5 7 3 1 6 1 7 1 5 3 4 1 3 2 6 1 3 1 w 7 4 1 6 1 3 4 6 1 7 1 3 2 9 1 3 1 2 1 5 4 3 2 4 1 3 o w 7 4 1 6 1 8 n o 1 7 1 8 2 3 1 1 1 4 6 1 5 4 2 2 2 ' 1 3 1 8 7 4 1 6 1 1 1 6 2 6 1 3 1 7 1 5 1 4 1 3 1 5 1 1 1 5 3 5 2 9 1 3 0 F 7 4 1 6 2 2 1 9 1 5 1 7 1 7 1 0 1 6 1 0 1 5 1 5 3 2 3 o 1 3 1 W 7 5 1 6 1 6 3 2 l l 1 7 1 8 1 9 1 6 1 3 1 5 4 2 2 5 1 3 0 W 7 5 1 6 2 5 2 7 1 2 1 7 2 0 1 7 1 7 1 1 1 5 4 o 2 3 1 3 1 5 7 5 1 6 1 9 1 0 2 6 1 4 1 7 2 3 1 4 1 8 7 1 5 4 2 2 9 1 3 0 5 7 5 1 6 2 3 1 1 1 1 + 1 7 1 0 1 7 2 3 1 9 1 6 1 o 1 5 4 1 2 3 1 3 1 W 7 6 1 6 1 0 2 0 2 8 l l 1 7 2 2 1 5 1 5 6 1 5 4 5 3 0 1 3 0 1 1 7 6 1 6 1 2 1 8 1 2 2 5 l a 1 7 2 0 1 6 1 8 1 o 7 1 5 4 7 1 9 1 3 1 8 7 6 1 6 1 1 2 5 1 2 2 0 1 1 1 7 2 6 1 1 1 5 . 1 3 9 2 2 7 H 7 6 5 7 6 I 3 0 I 3 1 1 3 0 1 3 1 1 3 0 1 3 1 I 3 0 I 3 1 1 3 0 1 3 1 F i g u r e 4 . 1 1 I t e m 1 4 f r o m t h e c o u r s e e v a l u a t i o n : " I f I w e r e g i v e n t h e c h o i c e , I w o u l d c h o o s e t h i s m e t h o d f o r a c o u r s e r a t h e r t h a n t h e l e c t u r e / r e c i t a t i o n - t h r e e - e x a m s - a n d - a - f i n a l m e t h o d . ” H 7 3 5 7 3 F 7 3 H 7 4 H 7 4 S 7 4 F 7 4 H 7 5 H 7 5 5 7 5 F 7 5 H 7 6 I ! ) 1 3 1 1 3 0 1 3 1 H 7 6 H 7 6 5 7 6 1 3 0 1 3 1 1 3 1 1 3 0 1 3 1 F i g u r e 4 . 1 2 I t e m 1 8 f r o m t h e c o u r s e e v a l u a t i o n : " B y w h i c h m e t h o d w o u l d y o u p r e f e r a c o u r s e t o b e t a u g h t ? ” 2 2 8 D i s l i k e i s m o r e e q u a l l y d i v i d e d b e t w e e n a u d i o t a p e s , C E M R o o m , t e x t b o o k , a n d s e l f f p a c i n g . T h u s t h e m o d u l a r s e l f - p a c i n g f e a t u r e o f t h e s e c o u r s e s i s , f o r d i f f e r e n t s t u d e n t s , b o t h t h e m o s t a n d l e a s t l i k e d a s p e c t . T h i s p o l a r i z a t i o n o f a t t i t u d e m e a n s t h a t t h e m o r e t h e i n s t r u c t o r p l e a s e s o n e g r o u p , t h e m o r e h e w i l l d i s p l e a s e t h e o t h e r g r o u p . G i v e n t h e c h o i c e o f i n s t r u c t i o n a l m e t h o d , t h e b a l a n c e o f s t u d e n t a t t i t u d e t i p s i n f a v o r o f m o d u l a r s e l f - p a c i n g b y w h i c h t h e s e c o u r s e s a r e t a u g h t a s o p p o s e d t o a t r a d i t i o n a l l e c t u r e m e t h o d . Y e t t h e t r u e s e c o n d c h o i c e o f t h e g r o u p i s n o t t h e t y p i c a l l e c t u r e c o u r s e b u t a h y b r i d c o m b i n i n g t h e l i v e l e c t u r e a n d t h e s e l f - p a c e d e x a m i n a t i o n p r o c e d u r e . T h e d i s t r i b u t i o n o f s t u d e n t r e s p o n s e s a m o n g t h e s e c h o i c e s i s i l l u s t r a t e d i n F i g u r e s 4 . 1 1 a n d 4 . 1 2 . I t i s u n d e r s t a n d a b l e t h a t g i v e n a c h o i c e b e t w e e n t h e r i g i d l y s t r u c t u r e d l e c t u r e c o u r s e a n d t h i s m o r e f l e x i b l e d e s i g n t h a t l e s s t h a n f o r t y p e r c e n t o f t h e s t u d e n t s c l e a r l y p r e f e r t h e l e c t u r e m e t h o d . W h a t i s s u r p r i s i n g ( a n d g r a t i f y i n g ) i s t h a t w h e n s t u d e n t s a r e g i v e n t h e o p t i o n o f a - m e t h o d w h i c h i n c l u d e s t h e m o s t p o p u l a r a s p e c t o f t h i s s y s t e m - - t h e e x a m p r o c e d u r e - - a n d e l i m i n a t e s t h e l e a s t p o p u l a r a s p e c t b y s u b s t i t u t i n g l i v e l e c t u r e s f o r a u d i o t a p e s , t h a t n e a r l y h a l f o f t h e s t u d e n t s s t i l l p r e f e r t h e m o d u l a r s e l f - p a c e d m e t h o d ' a s i s ' . T h e v e r y s m a l l f r a c t i o n o f s t u d e n t s w h o s e l e c t a s t r a i g h t l e c t u r e m e t h o d g i v e s s o m e i n d i c a t i o n o f t h e u n d e r l y i n g u n p o p u l a r i t y o f l a r g e l e c t u r e s . 2 2 9 I n s t r u c t o r i n t e r a c t i o n w i t h s t u d e n t s a n d e v i d e n c e o f h i s i n t e r e s t i n t h e i r w e l f a r e h a s b e e n r e p o r t e d [ 1 1 9 - 1 2 1 ] m a n y t i m e s a s o n e o f t h e m o s t i m p o r t a n t a n d d e s i r a b l e c h a r a c t e r i s t i c s o f a c o u r s e . P r i n t e d s t u d y g u i d e s , p r e r e c o r d e d a u d i o t a p e s , a n d c o m p u t e r g e n e r a t e d e x a m s a l l l a c k a l i v e p e r s o n w i t h w h o m t o i n t e r a c t . I t i s a l s o d i f f i c u l t t o p r o j e c t t h r o u g h t h e s e m e c h a n i s m s t h e i n t e r e s t a n i n s t r u c t o r h a s i n h i s s t u d e n t s ' w e l f a r e . W r i t t e n a n d v e r b a l c o m m e n t s m a d e b y s t u d e n t s i n d i c a t e t h a t t h e i m p e r s o n a l i t y o f t h e s e c o u r s e a s p e c t s i s w h a t d i s p l e a s e s t h e m m o s t . S o t o o d o e s t h e i m p e r s o n a l i t y o f t h e l a r g e l e c t u r e c o u r s e d u l l i t s c o m p e t i t i v e a p p e a l f o r s t u d e n t s - - i f a s t u d e n t i s g o i n g t o b e m e r e l y a f a c e i n t h e c r o w d , h e w i l l a t l e a s t b e a b l e t o c h o o s e h i s o w n s t u d y a n d t e s t i n g t i m e s i n t h i s m e t h o d . P e r h a p s t h e - a b r u p t c h a n g e f r o m a h i g h s c h o o l c l a s s r o o m i n w h i c h a n i n s t r u c t o r m a y k n o w e a c h o f h i s s t u d e n t s a l m o s t p e r s o n a l l y t o t h e m a s s - e d u c a t i o n s e t t i n g o f a u n i v e r s i t y e n g e n d e r s a s o m e t i m e s v i o l e n t l y n e g a t i v e a t t i t u d e t o w a r d t h e w h o l e s y s t e m . I V . E . 2 . P a t t e r n s i n s t u d e n t a t t i t u d e T h r e e r e l a t i o n s h i p s a m o n g s t u d e n t a t t i t u d e s a n d w i t h o t h e r v a r i a b l e s a r e o f i n t e r e s t . F i r s t , t h e i n t e r c o r r e l a t i o n s o f a t t i t u d e s u r v e y q u e s t i o n s l e a d s t o e l u c i d a t i o n o f u n d e r l y i n g g e n e r a l a t t i t u d e f a c t o r s . S e c o n d , r e s p o n s e s t o s u r v e y s a t b o t h t h e b e g i n n i n g a n d e n d o f a c o u r s e i n d i c a t e c h a n g e s i n s t u d e n t a t t i t u d e . T h i r d , h o w w e l l a s t u d e n t p e r f o r m s i n a c o u r s e i n f l u e n c e s h i s a t t i t u d e s t o w a r d a n d e v a l u a t i o n o f 2 3 0 t h e c o u r s e a n d t h e s u b j e c t . T h e r e s u l t s o f t h e i n v e s t i g a t i o n o f e a c h o f t h e s e r e l a t i o n s h i p s w i l l n o w b e d i s c u s s e d . I V . E . 2 . a . G e n e r a l a t t i t u d e f a c t o r s A s i n g l e q u e s t i o n o n a n a t t i t u d e s u r v e y a l l o w s a s t u d e n t t o r e s p o n d w i t h p e r h a p s o n l y f i v e c h o i c e s . A c h e m i s t r y t e s t w i t h f o u r e q u i v a l e n t q u e s t i o n s p r o v i d e s a s m a n y p o s s i b l e s c o r e s a s a s u r v e y i t e m w i t h f i v e r e s p o n s e c a t e g o r i e s . J u s t a s t h e r e s t r i c t e d r a n g e o f s u c h a c h e m i s t r y t e s t g i v e s a n u n r e l i a b l e e s t i m a t e o f a c h i e v e m e n t , s o t o o d o e s t h e s i n g l e s u r v e y i t e m p r o v i d e a l e s s t h a n p e r f e c t l y r e l i a b l e e s t i m a t e o f a t t i t u d e . Y e t f e w e r a t t i t u d e q u e s t i o n s a r e r e q u i r e d t o o b t a i n a r e a s o n a b l y a c c u r a t e s c o r e f o r a s t u d e n t t h a n w o u l d b e r e q u i r e d f o r a n a c h i e v e m e n t t e s t . T h r e e o r f o u r e q u i v a l e n t s u r v e y q u e s t i o n s p r o v i d e a r e s p o n s e r a n g e a b o u t e q u a l t o t h a t o f a f i f t e e n - q u e s t i o n e x a m i n a t i o n . T h e t w o s u r v e y s u s e d i n t h e s e c o u r s e s c o n t a i n t w e n t y - t w o a n d f o r t y q u e s t i o n s . I t m i g h t b e e x p e c t e d t h a t m o r e t h a n o n e i t e m o n a s u r v e y a c t u a l l y m e a s u r e s a s i n g l e a t t i t u d e b y a s k i n g t h e s a m e q u e s t i o n i n d i f f e r e n t w o r d s . T h e p r o c e d u r e u s e d t o i d e n t i f y t h e s e e q u i v a l e n t i t e m s ( a n d t h e r e b y t o i d e n t i f y t h e u n d e r l y i n g a t t i t u d e m e a s u r e d b y t h e m ) i s f a c t o r a n a l y s i s . F a c t o r a n a l y s i s o f t h e a t t i t u d e s u r v e y s . F a c t o r a n a l y s i s i s a p o s t h o c m e t h o d o f d e t e r m i n i n g t h e c o r r e l a t i o n s a m o n g t e s t o r s u r v e y q u e s t i o n s a n d o f g r o u p i n g t h e m i n t o s e t s o f e q u i v a l e n t i t e m s c a l l e d f a c t o r s . T h e w o r d i n g a n d c o n t e n t o f a l l i t e m s i n a f a c t o r a r e t h e b a s i s 2 3 1 f o r r e c o g n i z i n g t h e u n d e r l y i n g a t t i t u d e w h i c h e a c h o f t h e q u e s t i o n s m e a s u r e s . T h e a r c a n e d e t a i l s o f t h e c o r r e l a t i o n m a t r i c e s a n d i t e m l o a d i n g s a r e n o t p r e s e n t e d h e r e . T h o s e f a c t o r s w i t h t h e g r e a t e s t p r e c i s i o n a n d s t r o n g e s t i d e n t i t i e s a r e l i s t e d i n T a b l e 4 . 2 . T h e m e a n r e s p o n s e s t o e a c h f a c t o r a r e p r e s e n t e d i n A p p e n d i x F , a n d i n T a b l e 4 . 6 o n p . 2 4 0 . F a c t o r s s u c h a s 2 o r 1 2 a r e c o m p o s e d o f q u e s t i o n s w h i c h a r e c l e a r l y s i m i l a r i n c o n t e n t ; s u c h e a s i l y d i s c e r n e d r e l a t i o n s h i p s b e t w e e n i t e m s w i l l n o t b e d i s c u s s e d . T h e m o s t p r o v o c a t i v e a n d e n l i g h t e n i n g f a c t o r s c o n t a i n s u r v e y q u e s t i o n s a b o u t t h e e f f e c t i v e n e s s o f d i f f e r e n t l e a r n i n g s i t u a t i o n s . T h e s t u d e n t i s a s k e d t o r a t e t h e e f f e c t i v e n e s s o f f i v e l e a r n i n g c o n d i t i o n s : i n d i v i d u a l s t u d y , t u t o r i a l , s m a l l g r o u p s o f a r o u n d e i g h t , m e d i u m s i z e d c l a s s e s o f a b o u t t h i r t y , a n d l a r g e l e c t u r e s o f a h u n d r e d o r m o r e . S t u d e n t s a r e a l s o a s k e d t o d i f f e r e n t i a t e b e t w e e n p e r s o n a l e f f e c t i v e n e s s a n d e f f e c t i v e n e s s f o r o t h e r s . I t w a s e x p e c t e d t h a t t h e s e f i v e c h o i c e s a r e d i f f e r e n t e n o u g h t o e l i c i t s e p a r a t e r e s p o n s e s f r o m s t u d e n t s . I t m i g h t a l s o b e e x p e c t e d t h a t s t u d e n t s d i f f e r e n t i a t e b e t w e e n s i t u a t i o n s w h i c h a r e p e r s o n a l l y e f f e c t i v e a n d s i t u a t i o n s w h i c h a r e g e n e r a l l y e f f e c t i v e f o r m o s t o t h e r s t u d e n t s . B o t h e x p e c t a t i o n s w e r e u n r e a l i z e d . S t u d e n t s d i d n o t d i s t i n g u i s h b e t w e e n c o n d i t i o n s w h i c h t h e y f i n d p e r s o n a l l y e f f e c t i v e a n d t h o s e w h i c h m o s t o t h e r s t u d e n t s f i n d e f f e c t i v e . T h i s m a y i n d i c a t e e i t h e r t h a t s t u d e n t s a r e n o t a s i d e o s y n c r a t i c i n t h e i r l e a r n i n g p a t t e r n s a s m i g h t b e t h o u g h t , o r t h a t t h e y a r e u n a b l e t o j u d g e P D G . 1 a r c u 2 w 1 1 r m 5 m c c o i m d p e e . o n H t u H a r p e m m w s t o r a - w e t o r - e i v m l a v d h u n c r s o r r u m o e o e b e m e ( s c o y s u e y c o t m t a h m m t h r e 0 o 4 e e . y . u . t c l h i d T o I t I i f e h t l a h - f d a - n - ( ( a f I i i l a v s s o o k ( s u e w a a r n d e m - m e g a d r m i e b r a t e a e d e o h e h d t s . a s i u e s d a t u u t d h d r e r c r r o i r h c h c i e i e n t e g o e e w e r . e s t a o e e h h d y ? d d a i p p p v r - p t p l t l t o t e o n a o o n u o s m r a u u s l s y m m o o s e e n l e e i h k e e c m a y e a r o t t e o e s e o h o s n n e x n e n s a s s r a h s i a e t r m e f e e c t e ~ c n c b t e n c t l a h a a a a t n u h e e e h r d e t e t r o g h a d u m o i d s i m i t e o d t n h a o l n i r ? d g i e h e r t s h t a h a s i v s e l l ) o e f c t t u e r a e c - h i n g m l e e t a h r o n d e d t g o - g e g t i o a t o x o e c r h - r a r r i e a f i m i e . n i e e s n s t s c h a I t o a a h l a u a n s w e s n s l 3 l u e o m t e 3 3 ) e l t ) e d ) e o e s o - c c d h t u r c u d h r . t o s e t h i s t o w a r d 2 3 2 T a b l e 4 . 2 M a j o r f a c t o r s f r o m t h e a t t i t u d e s u r v e y s F a c t o r * D e s c r i p t i o n E n j o y m e n t a n d i n t e r e s t 1 1 G e n e r a l f a v o r a b l e a t t i t u d e t o w a r d t h e c o u r s e 1 2 L i k e d t e s t i n g p r o c e d u r e s S u r v e y q u e s t i o n s 1 4 . I n g e n e r a l . h o w m u c h d o y o u e n j o y c h e m i s t r y ? - v e r y m u c h q u i t e a b i t s o m e w h a t v e r y l i t t l e n o t a t a l l 1 9 . C o u r s e s o u n d e d i n t e r e s t i n g - n o t a t a l l i m p o r t a n t - n o t v e r y i m p o r t a n t s o m e w h a t i m p o r t a n t m o d e r a t e l y i m p o r t a n t e x t r e m e l y i m p o r t a n t 2 1 . B o w i n t e r e s t i n g d o y o u e x p e c t t h i s c o u r s e t o b e ? - v e r y i n t e r e s t i n g s o m e w h a t i n t e r e s t i n g n e i t h e r d u l l n o r i n t e r e s t i n g s o m e w h a t d u l l v e r y d u l l 3 . I l i k e d t h e s e l f - p a c i n g . s t r o n g l y d i s a g r e e d i s a g r e e s o m e w h a t n e u t r a l a g r e e s o m e w h a t s t r o n g l y a g r e e 4 . I l i k e d t h e e x a m p r o c e d u r e . - ( s a m e r e s p o n s e c a t e g o r i e s a s 3 ) 6 . I l i k e d t h e g r a d i n g s c a l e . - ( s a m e r e s p o n s e c a t e g o r i e s a s 3 ) * F a c t o r s 1 t h r o u g h 1 0 e n c o m p a s s i t e m s f r o m t h e p r e c o u r s e a n d p o s t c o u r s e a t t i t u d e s u r v e y s ; f a c t o r s 1 1 a n d 1 2 p e r t a i n t o t h e c o u r s e e v a l u a t i o n f o r m . T h e f a c t o r s f r o m t h e p r e c o u r s e a n d p o s t c o u r s e s u r v e y s a r e i d e n t i c a l i n c o n t e n t ; f a c t o r s 1 a n d 6 , 2 a n d 7 , a n d s o f o r t h a r e p r e - a n d p o s t - e q u i v a l e n t p a i r s . . " 0 T a b l e 4 . 2 ( c o n t ' d ) 2 3 3 F a c t o r D e s c r i p t i o n S u r v e y q u e s t i o n s 2 I 7 ” h i s ! U I U s e f u l n e s s E f f e c t i v e n e s s o f v e r y s m a l l g r o u p l e a r n i n g s i t u a t i o n s E f f e c t i v e n e s s o f l a r g e g r o u p s i t u a t i o n s E f f e c t i v e n e s s o f s e l f - s t u d y 2 3 . H o w m u c h d o y o u e x p e c t t o g e t o u t o f t h i s c o u r s e t h a t y o u w i l l u s e i n e v e r y d a y l i f e ? ( N o t w h a t y o u ' l l u s e i n o t h e r c o u r s e w o r k ) - a l m o s t n o t h i n g - l i t t l e - s o m e - a m o d e r a t e a m o u n t - a s i g n i f i c a n t a m o u n t 2 2 . H o w m u c h d o y o u t h i n k t h a t t h e c o n t e n t o f t h i s c o u r s e w i l l h e l p y o u i n y o u r o t h e r c o u r s e w o r k ? - n o h e l p a t a l l i n l i t t l e h e l p i n s o m e h e l p i n s i g n i f i c a n t h e l p i n f u n d a m e n t a l t o 3 0 . I ’ T h e k n o w l e d g e g a i n e d b y t a k i n g t h i s c o u r s e w i l l b e u s e f u l . “ - d i s a g r e e n e u t r a l a g r e e s t r o n g l y a g r e e v e r y s t r o n g l y a g r e e I n t h e l e a r n i n g o f S c i e n c e , h o w e f f e c t i v e a r e t h e s e . . . s i t u a t i o n s . . . f o r y o u r s e l f ? 3 1 . S m a l l g r o u p ( a r o u n d e i g h t ) - n o t a t a l l e f f e c t i v e n o t v e r y e f f e c t i v e m o d e r a t e l y e f f e c t i v e v e r y e f f e c t i v e e x t r e m e l y e f f e c t i v e 3 5 . T u t o r i a l ( o n e - t o - o n e ) - ( s a m e r e s p o n s e c a t e g o r i e s a s 3 1 ) . . . s i t u a t i o n s . . . f o r o t h e r s ? 3 6 . S m a l l g r o u p ( a r o u n d e i g h t ) - ( s a m e r e s p o n s e c a t e g o r i e s a s 3 1 ) 4 0 . T u t o r i a l ( o n e - t o - o n e ) - ( s a m e r e s p o n s e c a t e g o r i e s a s 3 1 ) . . . s i t u a t i o n s . . . f o r y o u r s e l f ? 3 2 . L a r g e l e c t u r e ( h u n d r e d o r m o r e ) - ( s a m e r e s p o n s e c a t e g o r i e s a s 3 1 ) 3 4 . M e d i u m s i z e c l a s s ( a b o u t t h i r t y ) - ( s a m e r e s p o n s e c a t e g o r i e s a s 3 1 ) . . . s i t u a t i o n s . . . f o r o t h e r s ? 3 7 . L a r g e l e c t u r e ( h u n d r e d o r m o r e ) - ( s a m e r e s p o n s e c a t e g o r i e s a s 3 1 ) 3 9 . M e d i u m s i z e c l a s s ( a b o u t t h i r t y ) - ( s a m e r e s p o n s e c a t e g o r i e s a s 3 1 ) . . . s i t u a t i o n s . . . f o r y o u r s e l f ? 3 3 . I n d i v i d u a l s t u d y ( b y o n e s e l f ) - ( s a m e r e s p o n s e c a t e g o r i e s a s 3 1 ) . . . s i t u a t i o n s . . . f o r o t h e r s ? 3 8 . I n d i v i d u a l s t u d y ( b y o n e s e l f ) - ( s a m e r e s p o n s e c a t e g o r i e s a s 3 1 ) 2 3 4 t h e g e n e r a l e f f e c t i v e n e s s o f a s i t u a t i o n s e p a r a t e f r o m i t s e f f e c t i v e n e s s f o r t h e m s e l v e s . T h u s i n e v e r y c a s e , t h e p a r a l l e l q u e s t i o n s a b o u t a p a r t i c u l a r l e a r n i n g s i t u a t i o n ' . . . f o r y o u r s e l f ' a n d ' . . . f o r o t h e r s ' a r e b o t h i n t h e s a m e f a c t o r . S t u d e n t s d o n o t c o n s i d e r t h e f i v e l e a r n i n g c o n d i t i o n s t o b e d i s t i n c t l y d i f f e r e n t . T h e c l u s t e r i n g o f s u r v e y q u e s t i o n s b y t h e i r i n t e r c o r r e l a t i o n s l e a d s t o o n l y t h r e e c a t e g o r i e s : s e l f - s t u d y , s m a l l g r o u p , a n d l a r g e g r o u p s i t u a t i o n s . I t a p p e a r s t h a t t h e d e f i n i t i o n o f a l a r g e g r o u p h a s a l o w e r l i m i t o f a s f e w a s t h i r t y ; t h e l o w e r b o u n d m a y b e e v e n s m a l l e r . I t a l s o a p p e a r s t h a t o n e - t o - o n e t u t o r i a l i n s t r u c t i o n i s j u d g e d t o b e a b o u t a s e f f e c t i v e a s a g r o u p o f e i g h t s t u d e n t s w i t h a n i n s t r u c t o r . A g a i n , e i g h t s t u d e n t s i s a l i m i t ( i n t h i s c a s e a n u p p e r l i m i t ) , a n d t h e s i z e o f g r o u p i n s t r u c t i o n e q u a l i n e f f e c t i v e n e s s t o t u t o r i a l i n s t r u c t i o n m a y i n f a c t b e l a r g e r . T h i s e x t r e m e d i c h o t o m i z a t i o n o f c l a s s s i z e s i n t o s m a l l a n d l a r g e , w i t h t h e t r a n s i t i o n s o m e w h e r e b e t w e e n e i g h t a n d t h i r t y , h a s p r a c t i c a l a p p l i c a t i o n . I f t h e i n s t r u c t o r d e s i r e s t o p r o v i d e t h e k i n d o f l e a r n i n g e n v i r o n m e n t d e s c r i b e d a s t u t o r i a l , h e n e e d n o t a c t u a l l y e s t a b l i s h a o n e - t o - o n e s t u d e n t - t e a c h e r r a t i o - - a r a t i o a s h i g h a s e i g h t - t o - o n e i s a p p r o x i m a t e l y a s e f f e c t i v e f r o m t h e s t u d e n t ' s p o i n t o f v i e w . C o n v e r s e l y , u n l e s s t h e c l a s s s i z e c a n b e b r o u g h t c o n s i d e r a b l y u n d e r t h i r t y , i t m i g h t j u s t a s w e l l b e a l a r g e l e c t u r e . P e r h a p s s t u d e n t s p e r c e i v e n o m i d d l e g r o u n d b e t w e e n t h e i n d i v i d u a l i z e d i n s t r u c t i o n a v a i l a b l e i n v e r y s m a l l g r o u p s a n d t h e i m p e r s o n a l i t y o f l a r g e r l e c t u r e c l a s s e s . I n a c t u a l i t y 2 3 5 t h e r e m a y b e s o m e i n t e r m e d i a t e c l a s s s i z e w h i c h h a s c h a r a c t e r i s t i c s d i s t i n c t f r o m t u t o r i a l o r l a r g e l e c t u r e c l a s s e s , b u t t h e s e d a t a i n d i c a t e o n l y t h a t i f s u c h a s i z e e x i s t s i t m u s t l i e b e t w e e n e i g h t a n d t h i r t y s t u d e n t s . H o w e v e r , t h e r e i s n o d i r e c t e v i d e n c e i n t h e s e r e s u l t s w h i c h p o r t e n d s u c h a m i d s i z e c l a s s . I V . E . 2 . b . P r e c o u r s e a n d p o s t c o u r s e r e s p o n s e d i f f e r e n c e s T h e s t u d e n t a t t i t u d e s m e a s u r e d b y t h e a t t i t u d e s u r v e y g i v e n a t t h e b e g i n n i n g o f a c o u r s e m a y d i f f e r f r o m t h o s e m e a s u r e d a t t h e e n d o f a c o u r s e . T o i n v e s t i g a t e s u c h d i f f e r e n c e s , s t u d e n t a t t i t u d e s w e r e s u r v e y e d a t t h e b e g i n n i n g o f C E M 1 3 0 , a t t h e e n d o f C E M 1 3 0 , a n d a t t h e e n d o f C E M 1 3 1 . T h e r e a r e o n l y f i v e s a m p l e s w i t h p e r c e n t s u r v e y r e t u r n s h i g h e n o u g h a n d c l o s e e n o u g h t o g e t h e r t o g i v e a n y i n d i c a t i o n o f p r e - p o s t e f f e c t s n o t u n d u l y c l o u d e d b y r e s p o n s e r a t e e f f e c t s . T h e s e f i v e s a m p l e s a r e d i s p l a y e d i n T a b l e 4 . 3 . S o m e t e n t a t i v e g e n e r a l i z a t i o n s a b o u t a n d p o s s i b l e e x p l a n a t i o n s o f t h e s e r e s u l t s m a y b e m a d e . T h e o v e r a l l t r e n d s e e m s t o b e a d e c r e a s e i n t h e f a v o r a b i l i t y o f s t u d e n t a t t i t u d e s o n a l l f a c t o r s w i t h t h e e x c e p t i o n o f F a c t o r 1 0 . A l m o s t a l l s t u d e n t s w h o r e s p o n d t o t h e s e s u r v e y s a r e f r e s h m e n n e w l y e n r o l l e d i n t h e u n i v e r s i t y . C E M 1 3 0 i s t h e f i r s t c h e m i s t r y c o u r s e t h e s e s t u d e n t s a r e t a k i n g , a n d t h e y m i g h t h a v e b r i g h t v i s i o n s o f t h e e n j o y a b i l i t y , u s e f u l n e s s , a n d e f f e c t i v e n e s s o f t h e c o u r s e w h i c h d o n o t s t a n d t h e t e s t o f t i m e . 2 3 6 T a b l e 4 . 3 D i f f e r e n c e s i n m e a n r e s p o n s e o n p o s t c o u r s e a t t i t u d e f a c t o r s c o m p a r e d w i t h p r e c o u r s e r e s p o n s e s F a c t o r 1 3 O W 7 3 1 3 1 S 7 3 1 3 0 F 7 3 1 3 O W 7 5 1 3 0 F 7 5 m e a n 6 - . 0 1 - . 4 6 ' - . 1 2 - . 0 5 - . 2 6 - . 1 1 7 - . 4 9 - . 8 8 - . 4 8 - . 6 0 - . 5 9 - . 5 4 8 - . 1 2 + . 0 2 - . 1 o - . 0 2 - . 2 4 - . 1 2 9 - . 2 0 - - . 1 4 - . 1 2 - . 0 4 - . 0 6 - . 1 o 1 0 + . 1 5 - . 0 4 + . 0 2 - . 0 3 - . 0 4 + . 0 3 ” 1 9 5 8 1 1 1 1 1 3 8 8 0 8 8 6 8 7 8 t ” 3 6 3 3 1 1 1 5 6 7 1 7 3 7 8 6 5 8 0 F a c t o r 7 p e r t a i n s t o t h e u s e f u l n e s s o f c h e m i s t r y a n d a l w a y s d e c r e a s e s d r a m a t i c a l l y f r o m t h e p r e c o u r s e t o t h e p o s t c o u r s e s u r v e y . O v e r n i n e t y p e r c e n t o f t h e s t u d e n t s i n t h e s e c o u r s e s a r e n o n m a j o r s a n d m a y v i e w m u c h o f w h a t t h e y a r e r e q u i r e d t o l e a r n a s u n r e l a t e d t o t h e i r m a j o r b u t o f u s e o n l y t o p a s s c h e m i s t r y t e s t s . S t u d e n t s m a y n o t r e c o g n i z e t h e u t i l i t y o f t h e s u b j e c t m a t t e r u n t i l l a t e r i n t h e i r a c a d e m i c c a r e e r s . P e r h a p s i n f u t u r e m u l t i p a t h v e r s i o n s o f t h e s e c o u r s e s m o r e c l o s e l y a l l i e d t o n o n - c h e m i s t r y m a j o r s , s t u d e n t s w i l l v i e w t h e s u b j e c t a s m o r e u s e f u l . F a c t o r s 8 , 9 , a n d 1 0 a r e r a t i n g s o f t h e e f f e c t i v e n e s s o f s m a l l c l a s s e s , l a r g e l e c t u r e s , a n d i n d i v i d u a l s t u d y . T h e s t u d e n t r a t i n g s o f i n d i v i d u a l s t u d y d o n o t s h o w t h e d e c r e a s e i n r e s p o n s e m e a n e x h i b i t e d 2 3 7 f o r r a t i n g s o f s m a l l c l a s s e s a n d l a r g e l e c t u r e s . S i n c e t h e s e s u r v e y s a r e g i v e n b e f o r e a n d a f t e r a n i n d i v i d u a l - s t u d y m e t h o d , i t m a y b e c o n c l u d e d t h a t t h e s t u d e n t ' s i m m e d i a t e e x p e r i e n c e w i t h s u c h a m e t h o d h a s c o n v i n c e d h i m o f i t s e f f e c t i v e n e s s . A s e c o n d m o r e t e n t a t i v e a n d i n d i r e c t c o n c l u s i o n m a y b e d r a w n . T h e p o s t c o u r s e r e s p o n s e s t o F a c t o r s 8 a n d 9 m a y b e l o w e r t h a n t h e p r e c o u r s e m e a n s n o t b e c a u s e s t u d e n t s f e e l t h a t s u c h m e t h o d s a r e l e s s e f f e c t i v e t h a n p r e v i o u s l y t h o u g h t b u t b e c a u s e t h e l e s s t h a n c o m p l e t e r a t e s o f r e t u r n a n d g e n e r a l l y l o w e r r e t u r n s o n t h e p o s t c o u r s e s u r v e y s h a v e w e i g h t e d t h e u n f a v o r a b l e v i e w p o i n t . B a s e d o n t h i s a s s u m p t i o n t h a t r e s p o n s e s o n F a c t o r s 8 a n d 9 s h o u l d h a v e b e e n t h e s a m e , c o r r e c t e d a p p r o x i m a t e c h a n g e s i n a t t i t u d e m a y b e e s t i m a t e d ; t h e s e a r e d i s p l a y e d i n T a b l e 4 . 4 T a b l e 4 . 4 C o r r e c t e d a p p r o x i m a t e c h a n g e s i n s t u d e n t a t t i t u d e F a c t o r D e s c r i p t i o n C h a n g e i n r e s p o n s e 6 e n j o y m e n t a n d i n t e r e s t ~ 0 . 0 0 7 u s e f u l n e s s ~ - 0 . 4 3 8 e f f e c t i v e n e s s o f s m a l l g r o u p s ~ 0 . 0 0 9 e f f e c t i v e n e s s o f l a r g e l e c t u r e s ~ 0 . 0 0 1 0 e f f e c t i v e n e s s o f i n d i v i d u a l s t u d y ~ + 0 . 1 3 T h e a b o v e a p p r o x i m a t i o n s , t h o u g h o f d u b i o u s p e d i g r e e , s u p p o r t t h e p r e v i o u s l y o f f e r e d i n t e r p r e t a t i o n s o f t h e a t t i t u d e s u r v e y r e s u l t s . S t u d e n t s f e e l t h a t t h e m a t e r i a l c o v e r e d i n t h e s e c o u r s e s i s c o n s i d e r a b l y 2 3 8 l e s s u s e f u l t h a n t h e y e x p e c t e d w h e n t h e y b e g a n . S t u d e n t s a l s o v i e w t h e e f f e c t i v e n e s s o f i n d i v i d u a l s t u d y a t l e a s t a s f a v o r a b l y a s t h e y d i d b e f o r e t a k i n g C E M 1 3 0 / 1 3 1 . I V . E . 2 . 0 . R e l a t i o n b e t w e e n a t t i t u d e s a n d g r a d e D o s t u d e n t s m a n i f e s t p o s i t i v e a t t i t u d e s t o w a r d a c o u r s e w h e n t h e y p e r f o r m w e l l i n i t a n d n e g a t i v e a t t i t u d e s w h e n t h e y p e r f o r m p o o r l y ? T h i s q u e s t i o n h a s b e e n t h e t o p i c o f m u c h d i s c u s s i o n a n d r e s e a r c h . U n f o r t u n a t e l y , t h e a n s w e r i s e q u i v o c a l . N u m e r o u s s t u d i e s [ 1 2 1 - 1 3 0 ] o f s o m e t i m e s s u b t l y d i f f e r i n g m e t h o d o l o g y h a v e s h o w n c o r r e l a t i o n s b e t w e e n g r a d e s a n d a t t i t u d e s r a n g i n g f r o m e x t r e m e l y n e g a t i v e - - p o o r p e r f o r m a n c e a n d f a v o r a b l e e v a l u a t i o n - - t o m o d e r a t e l y p o s i t i v e . T h e c o n s e n s u s o f r e s u l t s i s t h a t t h e r e l a t i o n s h i p i s w e a k l y p o s i t i v e a n d o f t e n n o n s i g n i f i c a n t . F o r e x a m p l e , R e m m e r s [ 1 2 5 ] f o u n d a c o r r e l a t i o n o f o n l y 0 . 2 4 b e t w e e n c h e m i s t r y g r a d e s a n d s t u d e n t r a t i n g s o f t h e i r c h e m i s t r y c o u r s e s . C o r n w e l l [ 1 2 4 ] f o u n d c o r r e l a t i o n s r a n g i n g f r o m 0 . 2 0 t o 0 . 3 7 t y p i c a l o f u n i v e r s i t y c o u r s e s . B a u s e l l [ 1 2 9 ] i n v e s t i g a t e d n o t o n l y t h e r e l a t i o n s h i p o f a t t i t u d e w i t h g r a d e b u t a l s o w i t h e x p e c t e d g r a d e a n d o v e r a l l c o l l e g e g r a d e p o i n t a v e r a g e . E m b e d d e d i n t h e u s u a l n e a r - z e r o c o r r e l a t i o n o f g r a d e w i t h a t t i t u d e , h e f o u n d t h a t w h e n t h e g r a d e s s t u d e n t s r e c e i v e d w e r e m u c h d i f f e r e n t f r o m t h e i r a l l - u n i v e r s i t y a v e r a g e s , t h e r e l a t i o n s h i p w a s p o s i t i v e - - i . e . , i f a s t u d e n t r e c e i v e d a h i g h e r g r a d e t h a n h i s a v e r a g e c o u r s e g r a d e , b e r a t e d t h a t c o u r s e m o r e f a v o r a b l y , a n d i f h e r e c e i v e d 2 3 9 a l o w e r - t h a n - a v e r a g e g r a d e h e r a t e d t h e c o u r s e l e s s f a v o r a b l y . T h u s t h e a t t i t u d e s o f t h e g r o u p o r s t u d e n t s m u s t b e c o n s i d e r e d n o t o n l y i n r e l a t i o n t o a c h i e v e m e n t i n t h e c o u r s e , b u t a l s o i n r e l a t i o n t o t h e t y p i c a l p e r f o r m a n c e i n o t h e r c o l l e g e c o u r s e s . I f t h e g r a d e s i n a c o u r s e a r e g e n e r a l l y l o w e r t h a n g r a d e s i n o t h e r c o u r s e s , t h e f a v o r a b i l i t y o f r a t i n g s w i l l a l s o b e l o w e r . T h e r e s p o n s e m e a n s f o r f a c t o r s f r o m t h e a t t i t u d e a n d e v a l u a t i o n s u r v e y s a n d t h e i r c o r r e l a t i o n s w i t h c o u r s e g r a d e a t e p r e s e n t e d i n T a b l e 4 . 6 . T h e c o r r e l a t i o n s b e t w e e n p r e c o u r s e a t t i t u d e s a n d f i n a l g r a d e s a r e u n i f o r m l y n e a r z e r o ? I n c o n t r a s t , a l l b u t t w o o f t h e o t h e r f a c t o r s s h o w g e n e r a l l y p o s i t i v e c o r r e l a t i o n s w i t h g r a d e s . C o r r e l a t i o n s o f p o s t c o u r s e a n d e v a l u a t i o n f a c t o r s w i t h g r a d e s a r e l i s t e d b e l o w . T a b l e 4 . 5 M e a n c o r r e l a t i o n o f a t t i t u d e f a c t o r s w i t h c o u r s e g r a d e F a c t o r D e s c r i p t i o n F o r n 1 e n j o y m e n t a n d i n t e r e s t . 3 0 . 0 4 1 2 2 u s e f u l n e s s . 2 8 - . 0 5 1 2 3 e f f e c t i v e n e s s : s m a l l g r o u p s . 0 3 . 0 4 1 2 4 e f f e c t i v e n e s s : l a r g e g r o u p s - . 0 8 . 0 5 1 2 5 e f f e c t i v e n e s s : s e l f s t u d y . 2 4 . 0 5 1 2 1 1 g e n e r a l f a v o r a b l e a t t i t u d e . 3 0 . 0 7 1 2 1 2 l i k e d t e s t i n g p r o c e d u r e s . 2 2 . 0 8 1 2 2 4 0 A t t i t u d e f a c t o r m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e T a b l e 4 . 6 O n e " T w o T h r e e F o u r , F i v e E l e v e n ' n v e l v e C o u r s e p r e p o s t p r e p o s t p r e p o s t p r e p o s t p r e p o s t e v a l e v a l ' 1 3 0 W 7 3 3 . 2 7 3 . 2 7 3 . 6 4 3 . 1 5 4 . 3 0 4 . 1 8 3 . 0 5 2 . 8 4 3 . 2 9 3 . 4 4 3 . 1 8 3 . 8 9 . 0 8 . 2 9 . 0 2 . 2 0 - . 0 3 . 1 2 . 0 7 - . 0 9 . 0 0 . 2 0 . 2 4 . 2 2 1 3 1 8 7 3 2 . 8 1 2 . 7 6 4 . 3 1 2 . 9 0 3 . 2 5 3 . 1 6 3 . 9 6 . 3 3 . 2 8 . 1 0 - . 1 3 . 2 1 . 4 1 . 2 0 1 3 0 F 7 3 3 . 4 2 3 . 3 0 3 . 6 7 3 . 1 9 4 . 3 9 4 . 3 0 3 . 1 0 2 . 9 7 3 . 3 2 3 . 3 4 . 0 2 . 2 1 . 0 3 . 2 5 ' . 0 0 . 0 5 . 0 5 - . 0 3 - . 0 2 . 1 6 1 3 1 W 7 4 2 . 8 5 2 . 7 8 4 . 3 0 3 . 1 0 3 . 1 7 3 . 0 7 3 . 8 2 . 3 4 . 3 2 - . 0 3 - . 0 5 . 2 4 . 2 6 . 1 9 1 3 0 W 7 4 ( 3 . 0 2 ) ( 3 . 5 3 ) ( 4 . 4 7 ) ( 3 . 0 5 ) ( 3 . 3 9 ) 3 . 0 9 4 . 0 1 ( . o o ) ( - . o 4 ) ( . 1 9 ) ( . o s ) ( . 1 8 ) . 1 8 . 1 4 1 3 1 S 7 4 2 . 7 8 2 . 7 2 4 . 2 2 2 . 9 6 3 . 2 6 3 . 0 9 3 . 9 6 . 3 6 . 3 7 . 0 2 - . 0 2 . 2 9 . 3 3 . 1 7 1 3 0 F 7 4 3 . 3 5 ( 2 . 9 5 ) 3 . 7 1 ( 2 . 8 6 ) 4 . 4 5 ( 4 . 3 0 ) 3 . 1 8 ( 3 . 1 6 ) 3 . 2 8 ( 3 . 1 5 ) 2 . 9 9 3 . 6 3 . 1 0 ( . 3 2 ) . 0 2 ( . 3 3 ) . o o ( - . 0 3 ) . 0 5 ( - . 0 6 ) . o o ( . 2 6 ) . 1 9 . 1 1 1 3 1 W 7 5 2 . 8 1 2 . 7 5 4 . 3 0 3 . 1 5 3 . 1 2 3 . 0 0 3 . 5 5 . 2 6 . 2 8 . 0 2 - . 0 6 . 2 1 . 2 9 . 1 4 1 3 0 W 7 5 3 . 0 2 . 2 . 9 6 3 . 4 3 2 . 8 3 4 . 3 3 4 . 3 1 3 . 1 1 3 . 0 7 3 . 2 1 3 . 1 8 3 . 1 2 3 . 8 6 . 0 5 . 2 9 - . 0 1 . 3 0 . 0 2 . 0 2 - . 0 1 - . 1 5 . 0 1 . 2 4 . 3 2 . 2 2 1 3 1 8 7 5 2 . 6 6 2 . 5 6 4 . 3 5 “ 3 . 0 7 3 . 1 7 3 . 0 2 3 . 6 5 . 2 6 . 2 0 . 0 5 . - . 1 7 . 3 6 . 3 7 . 2 5 1 3 0 F 7 S 3 . 3 4 3 . 0 8 3 . 7 0 3 . 1 1 4 . 4 5 4 . 3 0 3 . 1 7 3 . 0 9 3 . 2 8 3 . 2 4 3 . 1 9 3 . 9 6 . 0 4 . 2 8 . 0 2 . 2 4 . 0 6 . 0 4 - . 0 3 - . 0 7 . 0 6 . 2 3 . 3 4 . 2 9 1 3 1 W 7 6 2 . 7 0 2 . 7 2 4 . 3 5 3 . 1 5 3 . 1 9 3 . 0 8 3 . 7 6 . 3 0 . 3 2 . 0 0 - . 1 1 . 2 2 . 3 9 . 3 3 1 3 0 W 7 6 3 . 0 6 2 . 9 4 3 . 4 1 2 . 9 0 4 . 3 9 4 . 3 4 3 . 1 2 3 . 0 1 3 . 2 1 3 . 2 6 3 . 1 7 3 . 9 5 - . 0 2 . 2 9 - . 0 4 . 3 1 . 0 3 - . 0 2 . 0 7 - . 0 6 . 0 2 . 2 1 . 3 6 . 3 8 1 3 1 S 7 6 2 . 6 7 2 . 5 8 4 . 3 2 3 . 0 5 3 . 1 4 3 . 0 5 3 . 6 9 . 3 4 . 3 1 . 0 4 - . 0 4 . 2 5 . 2 8 . 1 8 1 ' " F o r e a c h t e r m t h e m e a n r e s p o n s e o n a s c a l e o f 1 t o 5 f o r e a c h f a c t o r i s g i v e n i n t h e f i r s t r o w , a n d t h e c o r r e l a t i o n o f t h e f a c t o r w i t h t h e c o u r s e g r a d e i s g i v e n i n t h e s e c o n d r w o . T h e c o m p o s i t i o n s o f t h e f a c t o r s a r e : E n j o y m e n t a n d i n t e r e s t U s e f u l n e s s O n e T w o T h r e e F o u r F i v e E l e v e n T w e l v e E f f e c t i v e ? E f f e c t i v e n e s s o f v e r y s m a l l g r o u p l e a r n i n g s i t u a t i o n s e s s o f , , a r g e g r o u p S i t u a t i o n s E f f e c t i v e n e s s o f s e l f - s t u d y G e n e r a l f a v o r a b l e a t t i t u d e L i k e d t e s t i n g p r o c e d u r e s P r e - p o s t N o s . P r e - p o s t N o s . P r e - p o s t N o s . P r e - p o s t N o s . P r e - p o s t N o s . E v a l u a t i o n N o s . 1 , 2 , 3 , 1 0 , 1 4 E v a l u a t i o n N o s . 4 , 5 , 6 1 4 , 1 9 , 2 1 2 2 , 2 3 , 3 0 3 1 , 3 5 , 3 6 , 4 0 3 2 , 3 4 , 3 7 , 3 9 3 3 , 3 8 2 4 1 F a c t o r s 3 a n d 4 p e r t a i n t o d i f f e r e n t m e t h o d s o f i n s t r u c t i o n a n d i t i s n o t s u r p r i s i n g t h a t t h e y a r e u n c o r r e l a t e d w i t h h o w w e l l a s t u d e n t p e r f o r m s i n t h e s e c o u r s e s . T h e o t h e r f a c t o r s a l l s h o w a p o s i t i v e r e l a t i o n s h i p b e t w e e n f a v o r a b i l i t y o f r e s p o n s e a n d c o u r s e g r a d e i n d i c a t i n g t h a t s t u d e n t s w h o d i d w e l l i n t h e c o u r s e r e s p o n d e d m o r e f a v o r a b l y o n t h e a t t i t u d e a n d e v a l u a t i o n s u r v e y s t h a n d i d s t u d e n t s w h o d i d p o o r l y . T h e g r a d e s a s s i g n e d i n C E M 1 3 0 / 1 3 1 t e n d t o b e l o w e r t h a n t h e o v e r a l l u n i v e r s i t y c o u r s e g r a d e ? I n l i g h t o f B a u s e l l ' s w o r k , i t w o u l d t h e n b e p r e d i c t e d t h a t t h e s t u d e n t r e s p o n s e s o n a t t i t u d e q u e s t i o n n a i r e s w o u l d s h o w a p o s i t i v e c o r r e l a t i o n w i t h c o u r s e g r a d e , a n d t h a t t h e m e a n r e s p o n s e w o u l d b e l o w e r t h a n t y p i c a l f o r u n i v e r s i t y c o u r s e s . B o t h o f t h e s e e f f e c t s a r e o b s e r v e d . G r a d i n g t r e n d s i n C E M 1 3 0 / 1 3 1 . T h e m e a n g r a d e s r e c e i v e d i n C E M 1 3 0 / 1 3 1 a r e d i s p l a y e d i n F i g u r e 4 . 1 3 . S q u a r e s i d e n t i f y C E M 1 3 0 ; c i r c l e s C E M 1 3 1 ; t r i a n g l e s a r e t h e a l l - u n i v e r s i t y f r e s h m a n G P A . O p e n s y m b o l s d e s i g n a t e t h e m e a n g r a d e r e c e i v e d i n a l l c o u r s e s t a k e n b y s t u d e n t s e n r o l l e d i n C E M 1 3 0 o r 1 3 1 a n d a r e p r o v i d e d f o r s e l e c t e d a v a i l a b l e t e r m s ; c l o s e d s y m b o l s r e p r e s e n t t h e m e a n c o u r s e g r a d e i n C E M 1 3 0 o r 1 3 1 . C o u r s e e n r o l l m e n t s o f f e w e r t h a n 3 0 0 s t u d e n t s a r e * T h e g r a d e s r e c e i v e d i n C E M 1 3 0 / 1 3 1 a v e r a g e a b o u t 0 . 2 4 u n i t l o w e r t h a n t h e m e a n g r a d e r e c e i v e d i n a l l c o u r s e s t a k e n b y s t u d e n t s i n C E M 1 3 0 / 1 3 1 t h a t t e r m . T h e a v e r a g e c h e m i s t r y g r a d e w a s h i g h e r t h a n t h e t e r m a v e r a g e o n l y s i x t i m e s i n t h i r t y a v a i l a b l e t e r m c o m p a r i s o n s ; a l l t h e s e p o s i t i v e d i f f e r e n c e s o c c u r r e d i n C E M 1 3 0 . N e g a t i v e d i f f e r e n c e 5 o c c u r r e d m o s t f r e q u e n t l y a n d w i t h g r e a t e s t m a g n i t u d e i n C E M 1 3 1 . 2 4 2 c l a s s e d a s s m a l l [ I s ] , a s m e d i u m [ . . . ] w i t h b e t w e e n 3 0 0 a n d 8 5 0 s t u d e n t s , a n d a s l a r g e [ . , . ] w i t h m o r e t h a n 8 5 0 s t u d e n t s . W h e n C E M 1 3 0 a n d 1 3 1 w e r e t a u g h t w i t h t h e t r a d i t i o n a l m e t h o d , t h e c o n v e r s i o n o f t e s t s c o r e s i n t o g r a d e s w a s d o n e a c c o r d i n g t o t h e e x p e c t a t i o n s o f t h e i n s t r u c t o r a n d h i s i n s p e c t i o n o f a s c a t t e r s h e e t . W h e n t h e d i f f i c u l t y a n d e q u i v a l e n c e o f e x a m i n a t i o n s v a r i e d , t h e g r a d i n g s c a l e w a s c o r r e c t e d f o r s u c h v a r i a t i o n b y a p o s t h o c g r a d i n g c u r v e . T h i s m e t h o d m a y i m p o s e a u n i f o r m i t y i n g r a d e m e a n s w h i c h i s u n j u s t i f i e d o r m a y e x a g g e r a t e d i f f e r e n c e s b e t w e e n t e r m s w h e n i n s t r u c t o r s w i t h d i f f e r e n t p e r c e p t i o n s o f g r o u p a b i l i t i e s a n d t h e d i s t r i b u t i o n o f t e s t s c o r e s p r e p a r e t h e g r a d i n g s c a l e . I n c o n t r a s t , t h e t r e n d s i n g r a d e s u n d e r t h e p r e s e t g r a d i n g s c a l e s u s e d i n t h e n e w m e t h o d a r e m o r e t h e r e s u l t o f d i f f e r e n c e s i n s t u d e n t s r a t h e r t h a n o f d i f f e r e n c e s b e t w e e n i n s t r u c t o r s . 8 T w o t r e n d s w o r t h y o f m e n t i o n a p p e a r i n t h e s e t e r m a v e r a g e s b e t w e e n t h e t r a d i t i o n a l a n d t h e m o d u l a r m e t h o d s . T h e f i r s t t r e n d i s t h e g e n e r a l d e c r e a s e i n g r a d e s f o r s u m m e r s e s s i o n c o u r s e s . T h e s e c o n d t r e n d i s a n i n c r e a s e i n m e a n g r a d e i n C E M 1 3 0 c o n t r a s t e d w i t h a d e c r e a s e i n C E M 1 3 1 s o t h a t n o w t h e C E M 1 3 0 m e a n s a r e g e n e r a l l y h i g h e r t h a n t h e C E M 1 3 1 g r a d e m e a n s . S u m m e r t e r m g r a d e s i n t h e n e w m e t h o d a r e b a s e d o n g r a d i n g s c a l e s a n d e x a m i n a t i o n s d i r e c t l y e q u i v a l e n t t o t h o s e u s e d d u r i n g o t h e r t e r m s . D i f f e r e n t g r o u p a b i l i t i e s a n d n o t t h e d i f f e r e n t t e a c h i n g a n d t e s t i n g s t r a t e g i e s o f a s u m m e r i n s t r u c t o r a r e t h e c a u s e o f t h e o b s e r v e d . ° A . d o h t . e m w e n n i g e / B / _ _ - ‘ I “ - “ g ' . ] E I C I ' . t x e t e J e L s ; ] 6 l 7 A F [ I A P I G I 5 I 7 n a m h F s I _ e r _ f I I d n a ] 4 l 7 C F [ I 1 I 3 1 M I E C 3 I 7 F d n L a ] I I I [ 0 3 2 1 I 7 F M I E I I C n i e d 1 L a 7 F r I I I g e s r u o c 0 7 n J F a e J M A I C . " l » - 3 I 1 . 4 e 0 0 0 r 0 5 0 u . . g 3 2 . 2 i F 1 . 5 0 . 2 4 3 2 4 4 g r a d e d i s t r i b u t i o n s . N o a l l o w a n c e s a r e m a d e i n t e s t o r g r a d i n g s c a l e d i f f i c u l t i e s f o r t h o s e s t u d e n t s ( a b o u t h a l f t h e s u m m e r e n r o l l m e n t s ) w h o t a k e b o t h c o u r s e s i n o n e t e r m . B e c a u s e m o r e t e s t s a r e g i v e n i n t h e n e w m e t h o d t h a n b e f o r e , s t u d e n t s t a k i n g b o t h c o u r s e s m u s t s t u d y f o r e l e v e n s e p a r a t e e x a m s w i t h i n t h e t e n w e e k p e r i o d . A v e r a g e g r a d e s i n C E M 1 3 1 a r e v e r y s l i g h t l y l o w e r n o w t h a n i n t h e l e c t u r e c o u r s e , w h i l e g r a d e s i n C E M 1 3 0 a r e s i g n i f i c a n t l y h i g h e r t h a n b e f o r e . T h e s e e n r o l l m e n t - w e i g h t e d m e a n g r a d e s a r e l i s t e d i n T a b l e 4 . 7 . T a b l e 4 . 7 A v e r a g e c o u r s e g r a d e s w e i g h t e d f o r e n r o l l m e n t C o u r s e O l d m e a n N e w m e a n 1 3 0 2 . 3 0 8 2 . 6 6 8 1 3 1 2 . 4 3 1 2 . 3 6 3 T h e c u r r e n t o r d e r o f t h e g r a d e m e a n s - - C E M 1 3 1 l o w e r t h a n C E M 1 3 0 - - i s m o r e r e a l i s t i c s i n c e C E M 1 3 1 i s b e l i e v e d t o b e a m o r e d i f f i c u l t c o u r s e t h a n C E M 1 3 0 . 2 4 5 I V . F . S u m m a r y o f a c h i e v e m e n t a n d a t t i t u d e S t u d e n t a c h i e v e m e n t i n C E M 1 3 0 / 1 3 1 f o l l o w s a r e m a r k a b l y c o n s i s t e n t a n n u a l p a t t e r n r a n g i n g f r o m 7 8 p e r c e n t f o r f a l l t e r m s o f C E M 1 3 0 t o 6 9 p e r c e n t f o r s p r i n g t e r m s o f C E M 1 3 1 . T h e t o t a l t e s t m e a n s , l a s t - t r y m e a n s , a n d m e a n c o u r s e g r a d e s a r e a l w a y s l o w e r i n C E M 1 3 1 t h a n i n C E M 1 3 0 . T h i s d e c r e a s e m a y b e b e c a u s e t h e m a t e r i a l i n C E M 1 3 1 i s m o r e s e q u e n t i a l , a n d s u c c e s s i n l a t e r u n i t s r e q u i r e s a g r a s p o f e a r l i e r c o n c e p t s . I n c o n t r a s t , C E M 1 3 0 c o n t a i n s m u c h d e s c r i p t i v e m a t e r i a l , a n d s u c c e s s i n l a t e r u n i t s o f t e n d e p e n d s o n l y o n t h e m e m o r i z a t i o n o f n e w f a c t s s o m e w h a t u n r e l a t e d t o p r e v i o u s m a t e r i a l . T h e a v e r a g e g r a d e a s s i g n e d i n C E M 1 3 0 i s 2 . 8 0 a n d i n C E M 1 3 1 i t i s 2 . 4 6 . T h e o n l y t e r m i n w h i c h t h e m e a n g r a d e d o e s n o t p a r a l l e l t h e m e a n t e s t s c o r e s i s F a l l 1 9 7 4 w h e n a s i g n i f i c a n t l y t o u g h e r g r a d i n g s c a l e w a s i n s t i t u t e d ( S e e F i g u r e 4 . 1 , p . 2 0 4 a n d T a b l e 1 . 2 , p . 2 8 . ) T h e p r e s e n t g r a d i n g s c a l e a c c u r a t e l y r e f l e c t s t h e s t u d e n t ' s k n o w l e d g e o f c h e m i s t r y . T h e s l i g h t i n f l a t i o n a r y t e n d e n c y o f t h e r e t a k e p r o c e d u r e f o r u n i t e x a m s i s c o u n t e r e d b y t h e d e f l a t i o n a r y e f f e c t o f t h e f i n a l e x a m . T h e g r a d i n g s c a l e h a s b e e n ' f i n e - t u n e d ' s o t h a t a s p e c i f i c g r a d e i n d i c a t e s a l e v e l o f m a s t e r y c o n s o n a n t w i t h f a c u l t y e x p e c t a t i o n s a n d p a s t s t u d e n t p e r f o r m a n c e . T h e r e l i a b i l i t y a n d r e p r e s e n t a t i v e n e s s o f t h e t e s t s u s e d i n t h e s e c o u r s e s a r e s u i t a b l e t o t h e i r p u r p o s e . S t u d e n t a t t i t u d e s t o w a r d t h e s e c o u r s e s v a r y i n a m a n n e r s o m e w h a t s i m i l a r t o s t u d e n t a c h i e v e m e n t . C E M 1 3 0 i s g e n e r a l l y r a t e d 2 4 6 m o r e f a v o r a b l y t h a n i s C E M 1 3 1 a l t h o u g h t h e a v e r a g e r a t i n g s o f b o t h a r e t y p i c a l l y n e a r t h e s c a l e m i d p o i n t . T h e r a t i n g s m a y b e l o w e r t h a n t h o s e g i v e n t o o t h e r u n i v e r s i t y c o u r s e s b e c a u s e b o t h p e r c e n t s u r v e y r e t u r n a n d c o u r s e g r a d e c o r r e l a t e p o s i t i v e l y w i t h f a v o r a b i l i t y o f r e s p o n s e , a n d b o t h a r e l o w e r t h a n f o r m a n y o t h e r c o u r s e s . T h e m o s t p o p u l a r a s p e c t s o f t h e n e w m e t h o d a r e t h e o p p o r t u n i t y t o r e t a k e e x a m i n a t i o n s , t h e w a y t h e f i n a l e x a m i s w e i g h t e d , a n d t h e p r e s e t g r a d i n g s c a l e . T h e o v e r a l l m e a n r e s p o n s e o n e v a l u a t i o n i t e m s f o r t h e s e t h r e e a s p e c t s i s 3 . 8 4 o n a s c a l e f r o m 1 . 0 ( d i s l i k e ) t o 5 . 0 ( l i k e ) . T h e m e a n i s n e g a t i v e l y d i s t o r t e d b y t h e f i v e t o t e n p e r c e n t o f t h e s t u d e n t s w i t h n e g a t i v e a t t i t u d e s t o w a r d t h e w h o l e s y s t e m w h o d o w n g r a d e e v e r y a s p e c t i n a ' n e g a t i v e h a l o ' e f f e c t . C h a p t e r V S u m m a r y V . A . M a g ‘ L o r c o n c l u s i o n s T h i s s u m m a r y i s a b r i e f r e c a p i t u l a t i o n o f o n l y t h e m o s t i m p o r t a n t a n d i n t e r e s t i n g f r u i t s o f t h e r e s e a r c h d i s c u s s e d i n p r e v i o u s c h a p t e r s . T h e c o m p l e t e d i s c u s s i o n o f r e s u l t s a n d c o n c l u s i o n s f o r e a c h t o p i c o c c u r s i n t h e v a r i o u s s e c t i o n s d e n o t e d i n t h e c o n t e n t s . O b s e r v a t i o n s a n d c o n c l u s i o n s a r e p r e s e n t e d i n s i x a r e a s : ( 1 ) t e s t r e l i a b i l i t y f r o m C h a p t e r I I , ( 2 ) t e s t v a l i d i t y f r o m C h a p t e r s I I a n d I V , ( 3 ) s u r v e y c o n s t r u c t i o n f r o m C h a p t e r I I I , ( 4 ) s t u d e n t a c h i e v e m e n t a n d ( 5 ) s t u d e n t a t t i t u d e s , b o t h f r o m C h a p t e r I V , a n d ( 6 ) i n s t r u c t i o n a l c o s t s f r o m C h a p t e r I . T h e s e v e n t h s e c t i o n i s a n o v e r a l l e v a l u a t i o n o f C E M 1 3 0 / 1 3 1 u n d e r t h e n e w i n s t r u c t i o n a l s y s t e m . V . A . 1 . I m p r o v i n g t e s t r e l i a b i l i t y T h e s u r e s t w a y t o i n c r e a s e t e s t r e l i a b i l i t y w i t h o u t i n c r e a s i n g t h e n u m b e r o f q u e s t i o n s i s t o l o w e r g u e s s i n g o p p o r t u n i t y . T h e g u e s s i n g e r r o r o b s e r v e d f r o m f o u r - a n d f i v e - c h o i c e t e s t q u e s t i o n s i s m o r e t h a n h a l v e d b y i n c r e a s i n g t h e n u m b e r o f a n s w e r c h o i c e s t o t e n . C o n s e q u e n t l y , t h e t e s t c o n s t r u c t o r n e e d n o t s a c r i f i c e t h e c o n v e n i e n c e o f t h e m u l t i p l e - c h o i c e f o r m a t i n o r d e r t o w r i t e a n e x a m i n a t i o n o f h i g h r e l i a b i l i t y a n d r e s p e c t a b l y l o w g u e s s i n g e r r o r . T h e r e l i a b i l i t y o r p r e c i s i o n o f a c h e m i s t r y t e s t d e p e n d s o n t h e c o n t e n t o f t h e t e s t q u e s t i o n s . P r o b l e m s a r e s i g n i f i c a n t l y m o r e r e l i a b l e t h a n n o n p r o b l e m s b e c a u s e t e s t w i s e n e s s a n d o t h e r i r r e l e v a n t s k i l l s a r e 2 4 7 2 4 8 l e s s l i k e l y t o p o i n t t o t h e c o r r e c t a n s w e r w h e n a l l c h o i c e s a r e n u m b e r s . H o w e v e r , n o n p r o b l e m s s h o u l d n o t b e o m i t t e d d u e t o t h e i r l e s s r e l i a b l e c h a r a c t e r . O n t h e c o n t r a r y , t h e n u m b e r o f n o n p r o b l e m s s h o u l d b e i n c r e a s e d - - e v e n i f t h e t e s t m u s t b e m a d e l o n g e r - - b e c a u s e s i m p l y i n c r e a s i n g t h e n u m b e r o f a n y t y p e o f i t e m i n c r e a s e s t h e o v e r a l l p r e c i s i o n o f t h e t o t a l s c o r e . T h e q u a n t i t y o f e a c h f o r m a t o f t e s t q u e s t i o n o n a n e x a m i n a t i o n s h o u l d b e i n v e r s e l y p r o p o r t i o n a l t o i t s r e l i a b i l i t y . V . A . 2 . E n s u r i n g t e s t v a l i d i t y T h e a c c u r a c y o f a c h e m i s t r y t e s t s c o r e i s a c o m b i n a t i o n o f b o t h a b s o l u t e a n d r e l a t i v e v a l i d i t y . D i f f e r e n t f o r m s o f t h e s a m e e x a m i n a t i o n s h o u l d b e e q u i v a l e n t i n b o t h c o n t e n t a n d d i f f i c u l t y s o t h a t s c o r e s o n v a r i o u s f o r m s a r e e q u a l l y a c c u r a t e i n e s t i m a t i n g a s t u d e n t ' s k n o w l e d g e . M u l t i p l e - c h o i c e t e s t q u e s t i o n s w i t h e i g h t o r t e n c h o i c e s a p p e a r t o p r o d u c e t e s t s w i t h t h e m o s t p r e d i c t a b l e a n d e q u i v a l e n t d i f f i c u l t i e s w h e r e a s s h o r t - a n s w e r i t e m s s e e m l e a s t a c c u r a t e . W h e n e v e r t h e r a n g e o f m a t e r i a l c o v e r e d o n a n e x a m i s l a r g e r t h a n t h e n u m b e r o f q u e s t i o n s , t h e e q u i v a l e n c e o r p a r a l l e l i s m b e t w e e n d i f f e r e n t f o r m s c a n n o t b e p e r f e c t u n l e s s s o m e m a t e r i a l i s c o n s i s t e n t l y s l i g h t e d . T h u s o n c e t h e o p t i m a l l e v e l o f e q u i v a l e n c e i s r e a c h e d , t h e r e m a y b e n o w a y t o d e c r e a s e s u c h r e l a t i v e i n a c c u r a c y w i t h o u t s i m u l t a n e o u s l y i n c r e a s i n g a b s o l u t e i n a c c u r a c y . A b s o l u t e a c c u r a c y i s a r e s u l t o f t h e p r o c e d u r e s u s e d t o ' c o n s t r u c t e x a m i n a t i o n s . E x a m s w i t h s t a t i s t i c a l e q u i v a l e n c e a n d a b s o l u t e 2 4 9 a c c u r a c y m a y b e c o n s t r u c t e d m o s t e a s i l y b y r a n d o m s e l e c t i o n s f r o m a p o o l o f e v e r y p o s s i b l e q u e s t i o n t h a t c o u l d b e a s k e d . I f t h e m a t e r i a l c o v e r e d b y a n e x a m c o n s i s t s o f h o m o g e n e o u s s e c t i o n s o r s t r a t a , r a n d o m s e l e c t i o n s h o u l d b e s t r a t i f i e d a m o n g t h e s e s u b d i v i s i o n s . V . A . 3 . A t t i t u d e s u r v e y c o n s t r u c t i o n A d i r e c t c o m p a r i s o n o f t w o s u r v e y q u e s t i o n s w i t h t h e s e w o r d i n g s : ' I l i k e s o m e t h i n g . ' [ A g r e e . . . . d i s a g r e e ] a n d ' H o w d o y o u f e e l a b o u t s o m e t h i n g ? ’ ( L i k e . . . . d i s l i k e ] d e m o n s t r a t e d t h a t t h e p o s i t i v e l y s t a t e d i t e m i s n o t m o r e b i a s e d t h a n t h e n e u t r a l l y s t a t e d i t e m . T h e o n l y c o n s i s t e n t s i g n i f i c a n t b i a s o b s e r v e d w a s o n e i t e m f o r w h i c h t h e p o s i t i v e f o r m a t w a s l e s s - - n o t m o r e - - b i a s e d . S t u d e n t s m i g h t c o n s t r u e t h a t t h e y m u s t r e s p o n d n e g a t i v e l y t o i n d i c a t e a n e u t r a l a t t i t u d e - - t h u s a t l e a s t i n o n e i n s t a n c e b i a s i n g t h e r e s u l t s i n t h a t d i r e c t i o n . T h e l o c a t i o n o f t h e n e u t r a l r e s p o n s e a t o t h e r t h a n t h e s c a l e m i d p o i n t i s a l s o d e m o n s t r a t e d b y s u r v e y q u e s t i o n s o f t h e t y p e ' I w o u l d c h o o s e A o v e r B ' . T w e l v e c o m p a r i s o n s o f p a r a l l e l i n v e r s i o n s ( t w o q u e s t i o n s a n d s i x a d m i n i s t r a t i o n s ) p r o d u c e d n i n e n e g a t i v e m i d p o i n t s , t w o n e u t r a l m i d p o i n t s , a n d o n e p o s i t i v e m i d p o i n t . T h e s e r e s u l t s i l l u s t r a t e t h e s u b t l e a n d s o m e t i m e s u n e x p e c t e d d e p e n d e n c e w h i c h s u r v e y r e s u l t s h a v e o n t h e e x a c t w o r d i n g o f q u e s t i o n s . U n l e s s t h e a b s o l u t e g r o u p a t t i t u d e h a s b e e n d e t e r m i n e d t h r o u g h t h e l a b o r i o u s p r o c e d u r e o f i n t e n s i t y a n a l y s i s a n d s c a l i n g , r e s u l t s o f d i f f e r e n t l y w o r d e d s u r v e y s s h o u l d n o t b e d i r e c t l y c o m p a r e d . O n e m u s t 2 5 0 b e l i m i t e d t o r e l a t i v e c o m p a r i s o n s b e t w e e n g r o u p s w h i c h h a v e r e s p o n d e d t o i d e n t i c a l a t t i t u d e s u r v e y s o r e v a l u a t i o n f o r m s . V . A . 4 . S t u d e n t a c h i e v e m e n t i n C E M 1 3 0 / 1 3 1 S t u d e n t a c h i e v e m e n t m e a s u r e d b y t e s t s c o r e s s h o w s a s t a b l e a n n u a l p a t t e r n . F a l l t e r m s o f C E M 1 3 0 h a v e t h e h i g h e s t m e a n s , a n d t h e a c h i e v e m e n t i n C E M 1 3 0 i s a l w a y s h i g h e r t h a n i n t h e s u c c e e d i n g t e r m o f C E M 1 3 1 ( f o r e n r o l l m e n t s g r e a t e r t h a n 3 0 0 ) . C o u r s e g r a d e s . a r e b a s e d o n t h e l a s t - t r i e s m e a n o f f i v e o r s i x t e s t s d u r i n g t h e t e r m , a n d s t u d e n t s t e n d t o r e t a k e t e s t s s u f f i c i e n t l y o f t e n t o m a i n t a i n t h e a n n u a l a c h i e v e m e n t p a t t e r n . U n d e r t h e t r a d i t i o n a l i n s t r u c t i o n a l m e t h o d , g r a d e s i n C E M 1 3 0 t e n d e d t o b e l o w e r t h a n t h o s e i n C E M 1 3 1 . I n t h e s e c o u r s e s , t h e g r a d e s i n C E M 1 3 1 a r e o n l y s l i g h t l y l o w e r t h a n u n d e r t h e l e c t u r e - r e c i t a t i o n m e t h o d , b u t t h e g r a d e s i n C E M 1 3 0 a r e s i g n i f i c a n t l y h i g h e r t h a n p r e v i o u s l y . G r a d e s i n C E M 1 3 0 n o w t e n d t o b e h i g h e r t h a n g r a d e s i n C E M 1 3 1 w h e r e a s b e f o r e , g r a d e s i n C E M 1 3 1 w e r e h i g h e r . T h i s n e w o r d e r o f m e a n g r a d e s b e t t e r r e f l e c t s t h e d i f f i c u l t y o f t h e m a t e r i a l i n t h e t w o c o u r s e s . V . A . 5 . S t u d e n t a t t i t u d e s i n C E M 1 3 0 / 1 3 1 A s u r p r i s i n g r e l a t i o n s h i p b e t w e e n r a t e o f s u r v e y r e t u r n a n d I f a v o r a b i l i t y o f r e s p o n s e w a s d i s c o v e r e d . S u p e r i m p o s e d o n t h e v a r i a t i o n i n g r o u p a t t i t u d e s f r o m t e r m t o t e r m , i t w a s d i s c o v e r e d t h a t t h e m e a n 2 5 1 r e s p o n s e w a s g e n e r a l l y m o r e f a v o r a b l e w h e n t h e p e r c e n t a g e o f t h e g r o u p r e s p o n d i n g t o t h e s u r v e y s w a s h i g h e r . T h e c o r r e l a t i o n b e t w e e n r e s p o n s e a n d r e t u r n i s n o t o v e r w h e l m i n g , b u t i t i s l a r g e e n o u g h t o d e c r e a s e t h e s i g n i f i c a n c e o f s m a l l d i f f e r e n c e s b e t w e e n g r o u p s w i t h d i s p a r a t e r a t e s o f r e t u r n . I t a l s o s u g g e s t s t h a t t h e m e a n r e s p o n s e s o u g h t t o b e c o n s i d e r e d l o w e r b o u n d s t o t h e t o t a l g r o u p a t t i t u d e s . T h e o v e r a l l a t t i t u d e s o f t h e s t u d e n t s t o w a r d v a r i o u s a s p e c t s o f t h e i n s t r u c t i o n a l s y s t e m a r e n e u t r a l t o m o d e r a t e l y p o s i t i v e . T h e m o s t p o p u l a r a s p e c t o f t h e s e c o u r s e s i s t h e t e s t i n g a n d g r a d i n g p r o c e d u r e . O v e r n i n e t y p e r c e n t o f a l l s t u d e n t s w o u l d p r e f e r c o u r s e s t o b e t a u g h t b y m e t h o d s w h i c h i n c l u d e t h e e x a m i n a t i o n s y s t e m u s e d i n C E M 1 3 0 / 1 3 1 . V . A . 6 . R e l a t i v e c o s t s o f t h e s y s t e m T h e c o s t - p e r - s t u d e n t o f a m o d u l a r s e l f - p a c e d i n s t r u c t i o n a l s y s t e m d e p e n d s m o r e o n c o u r s e e n r o l l m e n t t h a n d o e s t h a t o f a l e c t u r e - r e c i t a t i o n c o u r s e . T h e h i g h e r f i x e d c o s t s i n s t a f f a n d e q u i p m e n t a r e s o m e w h a t o f f s e t b y l o w e r f a c u l t y c o s t s , b u t t h e d o l l a r e f f i c i e n c i e s o f t h e n e w m e t h o d a r e e v i d e n t o n l y w i t h l a r g e n u m b e r s o f s t u d e n t s . S i n c e t h e c o m b i n e d e n r o l l m e n t s o f C E M 1 3 0 a n d C E M 1 3 1 a v e r a g e m o r e t h a n f i f t e e n h u n d r e d p e r t e r m e x c l u d i n g s u m m e r , t h e n e w m e t h o d h a s a v e r y s l i g h t l y l o w e r p e r - s t u d e n t c o s t . A n a d d i t i o n a l e f f i c i e n c y u n d e r t h i s s y s t e m i s t h e c o s t p e r c o n t a c t h o u r f o r g r a d u a t e a n d u n d e r g r a d u a t e t e a c h i n g a s s i s t a n t s . T h e t y p i c a l a s s i g n m e n t f o r a t e a c h i n g a s s i s t a n t i s t w e l v e c o n t a c t h o u r s i n t h e s e 2 5 2 c o u r s e s . I n o t h e r c o u r s e s t a u g h t i n t h e D e p a r t m e n t o f C h e m i s t r y , t h e n u m b e r o f a s s i g n e d c o n t a c t h o u r s r a n g e f r o m t h r e e t o f i v e f o r r e c i t a t i o n s e c t i o n s i n l e c t u r e c o u r s e s . T h u s f o r a p p r o x i m a t e l y t h e s a m e o v e r a l l d o l l a r c o s t a n d s t u d e n t - t e a c h e r r a t i o , t h e e f f e c t i v e c o n t a c t b e t w e e n s t u d e n t s a n d t e a c h i n g a s s i s t a n t s i s m o r e t h a n d o u b l e d w i t h i n t h e s e m o d u l a r s e l f - p a c e d c o u r s e s . V . A . 7 . E v a l u a t i o n o f C E M 1 3 0 / 1 3 1 A c o u r s e m a y b e e v a l u a t e d i n c o m p a r i s o n w i t h o t h e r c o u r s e s a n d j u d g e d a s r e l a t i v e l y m o r e o r l e s s s u c c e s s f u l i n s t u d e n t a c h i e v e m e n t , s t u d e n t s a t i s f a c t i o n , a n d s y s t e m c o s t s . A c o u r s e m a y a l s o b e e v a l u a t e d b y i t s o w n i n t e r n a l c r i t e r i a - - w h e t h e r t h e p r o p o s e d g o a l s o f t h e c o u r s e w e r e m e t . R e l a t i v e e v a l u a t i o n s a r e h a z a r d o u s w h e n m a d e b e t w e e n c o u r s e s w i t h d i f f e r e n t t y p e s o f s t u d e n t s , d i f f e r e n t m e a s u r i n g i n s t r u m e n t s , a n d d i f f e r e n t c o u r s e c o n t e n t . Y e t i t d o e s s e e m t r u e t h a t t h e r e a r e n o g l a r i n g m i n u s e s o r d r a m a t i c p l u s e s w i t h t h e n e w s y s t e m . S t u d e n t s l e a r n r o u g h l y t h e s a m e c h e m i s t r y , a r e a p p r o x i m a t e l y a s h a p p y w i t h t h e e x p e r i e n c e , a n d c o s t t h e d e p a r t m e n t a b o u t t h e s a m e a m o u n t o f m o n e y . J u d g i n g t h e s e c o u r s e s a g a i n s t t h e i r o w n g o a l s p r o v i d e s a s l i g h t l y d i f f e r e n t p e r s p e c t i v e . T h e g o a l o f s t u d e n t a c h i e v e m e n t i s n o t e x p l i c i t l y s t a t e d , b u t i t i s i m p l i e d t h a t s t u d e n t s s h o u l d c e r t a i n l y l e a r n a t l e a s t a s m u c h a s u n d e r t h e l e c t u r e - r e c i t a t i o n m e t h o d . T h e y d o . ( I n f a c t , i t i s t h e o p i n i o n o f s o m e f a c u l t y n o t a s s o c i a t e d w i t h t h e s e c o u r s e s t h a t 2 5 3 C E M 1 3 0 a n d 1 3 1 a r e m o r e d i f f i c u l t n o w t h a n i n t h e p a s t . ) T h e g o a l s i n s t u d e n t a t t i t u d e a r e m o r e a m b i t i o u s , a n d p e r h a p s t h e r e f o r e l e s s a t t a i n a b l e . I t i s h o p e d t h a t a l l s t u d e n t s w i l l f i n d t h e i n d i v i d u a l i z a t i o n o f s u b j e c t m a t t e r a n d t e a c h i n g m e t h o d s a m o r e e n r i c h i n g e x p e r i e n c e . A l t h o u g h m o s t s t u d e n t s h a v e f o u n d t h e s e c o u r s e s e n j o y a b l e , a t i n y m i n o r i t y a r e e x t r e m e l y d i s e n c h a n t e d w i t h t h e m e t h o d a n d e x t r e m e l y v o c a l i n t h e i r d i s s e n t . T h e l a s t g o a l i s t h e c o s t o f t h e n e w s y s t e m . O n e o f t h e m a j o r a s s u m p t i o n s u p o n w h i c h t h i s n e w m e t h o d i s b a s e d i s t h a t i n s t r u c t i o n a l p e r s o n n e l m u s t b e u s e d m o r e e f f i c i e n t l y w h i l e t h e t o t a l c o s t s a r e n o g r e a t e r t h a n b e f o r e . N o w t h a t a s e m b l a n c e o f a n o p e r a t i o n a l s t e a d y s t a t e h a s b e e n r e a c h e d , t h e c o s t s a r e a b o u t t h e s a m e a s t h o s e f o r t h e l e c t u r e - r e c i t a t i o n m e t h o d . I n a d d i t i o n , t h e t o t a l n u m b e r o f i n s t r u c t i o n a l c o n t a c t h o u r s h a s i n c r e a s e d w i t h n o i n c r e a s e i n t h e n u m b e r o f f a c u l t y o r g r a d u a t e t e a c h i n g a s s i s t a n t s a s s i g n e d t o t h e s e c o u r s e s . T h u s t h e c o s t g o a l s s e t f o r t h i n t h e i n i t i a l p r o p o s a l f o r t h e n e w m e t h o d h a v e b e e n r e a l i z e d . T h e n e w m o d u l a r s e l f - p a c e d m e t h o d h a s b e e n a n o t u n q u a l i f i e d b u t n e v e r t h e l e s s d e f i n i t e s u c c e s s . T h e r e i s r o o m f o r m i n o r i m p r o v e m e n t i n s y s t e m c o s t s , i m p o r t a n t i m p r o v e m e n t i n t e s t q u a l i t y a n d m e a s u r e m e n t p r e c i s i o n , a n d s u b s t a n t i a l i m p r o v e m e n t i n s t u d e n t a t t i t u d e s . T h e s e i m p r o v e m e n t s w i l l c o m e w i t h t h e c o n t i n u i n g d e v e l o p m e n t a l w o r k o f f a c u l t y i n t h e s e c o u r s e s b e y o n d t h e r o u t i n e o f c o u r s e o p e r a t i o n . 2 5 4 V . B . S u g g e s t i o n s f o r f u t u r e r e s e a r c h , A s i s t h e c a s e w i t h a n y p r o j e c t , t h e q u e s t i o n s w h i c h h a v e b e e n a n s w e r e d b y t h i s r e s e a r c h a r e e x c e e d e d b y t h e n u m b e r o f n e w a n d d i f f e r e n t q u e s t i o n s w h i c h h a v e a r i s e n . T h e f o l l o w i n g s e c t i o n s a r e b r i e f a b s t r a c t s o f p r o p o s e d r e s e a r c h i n t h r e e a r e a s : a c h i e v e m e n t , a t t i t u d e , a n d p r e d i c t i o n o f c o u r s e p e r f o r m a n c e . V . B . 1 . I n m e a s u r i n g a c h i e v e m e n t T h e t y p i c a l m e t h o d o f d e v i s i n g w r o n g a n s w e r c h o i c e s f o r p r o b l e m s o n a m u l t i p l e - c h o i c e t e s t i s t h e ' p r o b a b l e e r r o r s ' a p p r o a c h . E a c h w r o n g c h o i c e i s t h e r e s u l t o f s o m e c o m m o n o r e a s i l y m a d e m i s t a k e i n s e t t i n g u p o r s o l v i n g a m a t h e m a t i c a l e x p r e s s i o n . I t w o u l d b e m u c h e a s i e r t o g e n e r a t e e i g h t o r t e n r e s p o n s e s t o e a c h q u e s t i o n i f o n e d i d n o t h a v e t o s o l v e a p r o b l e m t h r o u g h v a r i o u s i n c o r r e c t r o u t e s . P e r h a p s s i m p l y i n c l u d i n g a p p a r e n t l y r e a s o n a b l e ' r a n d o m ' n u m b e r s w o u l d p r o v i d e s u f f i c i e n t d i s t r a c t i o n f r o m t h e r i g h t a n s w e r s o t h a t s t u d e n t s c o u l d n o t a n s w e r t h e q u e s t i o n w i t h o u t w o r k i n g t h e p r o b l e m . A p a r a l l e l s i t u a t i o n e x i s t s f o r n o n p r o b l e m s . S o m e n o n n u m e r i c a l q u e s t i o n s s i m p l y d o n o t h a v e m o r e t h a n t h r e e o r f o u r o b v i o u s l y p o s s i b l e w r o n g a n s w e r s . T h e e f f e c t o n i t e m r e l i a b i l i t y a n d d i f f i c u l t y o f i n c l u d i n g t o t a l l y i r r e l e v a n t c h o i c e s - - a k i n d o f r a n d o m n o i s e - - m a y n o t b e d e t r i m e n t a l . S t u d e n t s w h o k n o w t h e a n s w e r s h o u l d n o t b e d i s t r a c t e d b y t h e e x t r a n e o u s c h o i c e s . C o n v e r s e l y , s t u d e n t s w h o d o n o t k n o w t h e a n s w e r t o t h e q u e s t i o n o r a r e u n s u r e o f t h e c o r r e c t 2 5 5 r e s p o n s e m a y b e c o m e m o r e c o n f u s e d a n d l e s s a b l e t o g u e s s t h e c o r r e c t a n s w e r . T h e d i v i s i o n o f t e s t q u e s t i o n s i n t h i s s t u d y w a s i n t o o n l y t w o c l a s s e s - - p r o b l e m s a n d n o n p r o b l e m s . T h e t a x o n o m i e s o f B l o o m a n d P i a g e t p r e s e n t s e v e r a l s t a g e s o f m e n t a l d e v e l o p m e n t o r k i n d s o f t h i n k i n g . I t m a y b e p o s s i b l e t o d i v i d e t e s t q u e s t i o n s i n t o m o r e t h a n t w o c a t e g o r i e s b a s e d o n t h e t h o u g h t p r o c e s s e s t h e i r s o l u t i o n s e n t a i l . V a n K e m p e n [ 1 3 1 ] d e v i s e d a c l a s s i f i c a t i o n s c h e m e f o r e x a m i n a t i o n q u e s t i o n s f r o m r a t i o n a l a n a l y s i s o f t h e k i n d s o f t h i n k i n g r e q u i r e d t o a n s w e r t h e m . T h e o b s e r v e d c o r r e l a t i o n c o e f f i c i e n t s b e t w e e n i t e m s i n t h e s a m e c a t e g o r y w e r e o n l y m o d e r a t e l y h i g h e r t h a n t h e c o r r e l a t i o n s b e t w e e n i t e m s i n d i f f e r e n t c a t e g o r i e s . I n s t e a d o f d e f i n i n g c a t e g o r i e s a n d t e s t i n g t h e i r g o o d n e s s b y c o n t r a s t i n g i n t r a c l a s s c o r r e l a t i o n s w i t h i n t e r c l a s s c o r r e l a t i o n s , a m o r e f r u i t f u l a p p r o a c h m i g h t b e f a c t o r a n a l y s i s . T h e r e l a t i o n s h i p s w h i c h e x i s t b e t w e e n q u e s t i o n s a r e d e s c r i b e d b y t h e f a c t o r s t r u c t u r e o f t h e s a m p l e . O n c e t h e i t e m s w h i c h c l u s t e r a r e i d e n t i f i e d , t h e f a c t o r s n e e d o n l y b e d e s c r i b e d a n d l a b e l e d - - t h e y a l r e a d y m e e t t h e c o r r e l a t i o n q u a l i f i c a t i o n s f o r ' g o o d ' c a t e g o r i e s . ( I t m i g h t b e f o u n d t h a t w h a t s o m e t e s t q u e s t i o n s h a v e i n c o m m o n a r e i r r e l e v a n t c h a r a c t e r i s t i c s s u c h a s p o s i t i o n o n t h e t e s t , a r r a n g e m e n t o f a n s w e r c h o i c e s o r s h e e r l e n g t h . ) A s e c o n d d i m e n s i o n a l o n g w h i c h t e s t q u e s t i o n s m i g h t b e f a c t o r e d i s t o p i c o r c o n t e n t . Q u e s t i o n s m i g h t i n t e r r e l a t e m o r e s t r o n g l y w h e n t h e y a r e f r o m t h e s a m e t o p i c o r u n i t o f m a t e r i a l t h a n w h e n t h e y a r e 2 5 6 f r o m d i f f e r e n t a r e a s . T h u s q u e s t i o n s m a y s h o w t y p e - o f - c o n t e n t s i m i l a r i t i e s i n a d d i t i o n t o t y p e - o f - t h i n k i n g s i m i l a r i t i e s . I t w o u l d b e e x p e c t e d t h a t w h e n b o t h c o n t e n t a n d t h i n k i n g a r e s i m i l a r , i t e m i n t e r c o r r e l a t i o n s w o u l d b e h i g h e s t , a n d w h e n b o t h a r e d i f f e r e n t , i t e m i n t e r c o r r e l a t i o n s b e l o w e s t . T h e d i f f e r e n t c l a s s i f i c a t i o n s c h e m e s - - c o n t e n t a n d t h i n k i n g - - h a v e d i f f e r e n t p u r p o s e s . A c l a s s i f i c a t i o n o f t e s t q u e s t i o n s a c c o r d i n g t o k i n d s o f t h i n k i n g s e r v e s a t e a c h i n g r a t h e r t h a n t e s t i n g f u n c t i o n . A s t u d e n t m a y r e p e a t e d l y f a i l t e s t q u e s t i o n s w h i c h h a v e a s p e c i f i c k i n d o f ' t h i n k i n g i n c o m m o n . I n t h i s c a s e w h a t i s n e e d e d i s n o t r e m e d i a t i o n i n a p a r t i c u l a r u n i t o r a r e a o f c o n t e n t , b u t a s s i s t a n c e i n l e a r n i n g a c o g n i t i v e s t r a t e g y w h i c h w o u l d a p p l y t o a n y a r e a o f c o n t e n t . T h e c l a s s i f i c a t i o n a c c o r d i n g t o q u e s t i o n c o n t e n t w o u l d b e u s e d t o i m p r o v e t h e p a r a l l e l i s m b e t w e e n d i f f e r e n t f o r m s o f t h e s a m e e x a m . T h e s u c c e s s o f s t r a t i f i e d r a n d o m s a m p l i n g d e p e n d s o n t h e i n t e r n a l c o n s i s t e n c y o f t h e d i v i s i o n s m a d e i n t h e s u b j e c t m a t t e r . W h e n t h e i n t e r c o r r e l a t i o n s o f i t e m s w i t h i n e a c h d i v i s i o n a r e s i g n i f i c a n t l y h i g h e r t h a n t h e c o r r e l a t i o n s b e t w e e n i t e m s i n d i f f e r e n t s t r a t a , t h e n t h e r e l i a b i l i t y a n d e q u i v a l e n c e o f p a r a l l e l t e s t f o r m s c a n b e v e r y h i g h . A n o t h e r a s p e c t t o b e c o n s i d e r e d w h e n m u l t i p l e f o r m s o f t h e s a m e t e s t a r e u s e d i s t h e o v e r a l l t e s t d i f f i c u l t y . A l t h o u g h i t i s u n r e a l i s t i c t o e x p e c t t h a t t h e r e b e i t e m - b y - i t e m c o r r e s p o n d e n c e i n d i f f i c u l t y b e t w e e n t w o p a r a l l e l t e s t s , b o t h t e s t s s h o u l d b e e q u a l l y d i f f i c u l t a s a w h o l e . I f t e s t s v a r y c o n s i d e r a b l y i n d i f f i c u l t y , t h e n t h e u s e o f t h e s a m e g r a d i n g 2 5 7 s c a l e f o r a l l o f t h e m i s u n j u s t i f i e d . P r e l i m i n a r y i n d i c a t i o n s f r o m t h i s r e s e a r c h a r e t h a t m u l t i p l e - c h o i c e q u e s t i o n s w i t h e i g h t a n d t e n a n s w e r c h o i c e s p r o d u c e t h e m o s t s i m i l a r e x a m d i f f i c u l t i e s , a n d t h a t s h o r t - a n s w e r q u e s t i o n s a r e l e a s t s i m i l a r i n d i f f i c u l t y . C o n s i d e r a b l y m o r e r e s e a r c h n e e d s t o b e d o n e t o v e r i f y t h e s e t e n t a t i v e c o n c l u s i o n s a n d e l u c i d a t e a p o s s i b l e e x p l a n a t i o n o f t h e d i f f e r e n c e i n p r e d i c t a b i l i t y a n d s t a b i l i t y o f i t e m d i f f i c u l t y . V . b . 2 . I n m e a s u r i g g a t t i t u d e s T h e e x a c t w o r d i n g o f a s u r v e y q u e s t i o n h a s s u c h a n i m p o r t a n t e f f e c t o n t h e r e s p o n s e s t o i t t h a t o n l y i d e n t i c a l l y w o r d e d s u r v e y s c a n b e c o m p a r e d d i r e c t l y . T h e i m p o r t a n c e o f w o r d i n g a l s o e x t e n d s t o t h e a n s w e r c h o i c e s . S l i g h t c h a n g e s i n a r e s p o n s e k e y m a y g r e a t l y a f f e c t t h e m e a n o r s p r e a d o f r e s p o n s e s . T h e s p a c i n g o f r e s p o n s e c a t e g o r i e s i s s t a t i s t i c a l l y i m p o r t a n t ; i f c a t e g o r i e s a r e u n e q u a l l y s p a c e d , t h e n m o s t s t a t i s t i c a l m a n i p u l a t i o n s o f t h e r a w n u m e r i c a l d a t a m a y b e u n j u s t i f i e d - - e v e n c a l c u l a t i o n o f t h e m e a n . T h e s p a c i n g b e t w e e n v a r i o u s c a t e g o r i e s a l s o d e p e n d s s o m e w h a t o n t h e c o n t e n t o f t h e i t e m s . A n s w e r k e y s u s e d t o d a y a r e b a s e d m o r e o n t h e l o g i c o f w h a t s e e m s r e a s o n a b l e r a t h e r t h a n o n t h e r e s u l t s o f s c i e n t i f i c s t u d y . S c a l e s w i t h u n a m b i g u o u s a n d e q u a l l y s p a c e d i n t e r v a l s n e e d t o b e e s t a b l i s h e d f o r t h e k i n d s o f q u e s t i o n s a s k e d o n a t t i t u d e a n d e v a l u a t i o n s u r v e y s . S c a l e s w i t h s p a c i n g s w h i c h a r e t o o n a r r o w m a k e i t d i f f i c u l t f o r a s t u d e n t t o c h o o s e a r e s p o n s e c a t e g o r y ; s c a l e s w i t h u n e q u a l s p a c i n g s 2 5 8 m a k e i t d i f f i c u l t t o s i m p l i f y g r o u p r e s p o n s e s b y m a t h e m a t i c a l c a l c u l a t i o n s b a s e d o n t h e n u m e r i c a l q u a l i t i e s o f n o n - n u m b e r s . A s e c o n d m a j o r i n f l u e n c e o n ' s u r v e y r e s p o n s e i s t h e p e r c e n t r e t u r n . T h e c a l c u l a t i o n s p e r f o r m e d i n C h a p t e r I V f o r o n e o f t h e a t t i t u d e f a c t o r s s h o w e d t h a t r a t e o f r e t u r n h a s a s i g n i f i c a n t e f f e c t o n r e s p o n s e m e a n . M u c h w o r k n e e d t o b e d o n e t o d e t e r m i n e i f t h i s e f f e c t i s g e n e r a l f o r a l l t y p e s o f s u r v e y q u e s t i o n s . I f s p e c i f i c e q u a t i o n s c o u l d b e d e v i s e d t o c o r r e c t f o r t h e v a r i a t i o n s i n r a t e o f r e s p o n s e t o d i v e r s e q u e s t i o n s o r t y p e s o f q u e s t i o n s , t h e n s u r v e y s w i t h d i f f e r e n t r a t e s o f r e t u r n c o u l d b e c o m p a r e d w i t h m o r e c o n f i d e n c e . T h i s w o u l d a l l o w a b e t t e r r e c o r d t o b e k e p t o f t h e c h a n g e s i n s t u d e n t a t t i t u d e s f r o m o n e t e r m t o t h e n e x t . V . B . 3 . I n p r e d i c t i o n o f c o u r s e p e r f o r m a n c e S t u d e n t a c h i e v e m e n t i n C E M 1 3 0 / 1 3 1 i s t h e r e s u l t o f a c o m p l e x i n t e r a c t i o n o f a b i l i t i e s , a t t i t u d e s , p a s t a c h i e v e m e n t s , e x p e c t a t i o n s , a n d c u r r e n t a c t i v i t i e s o f t h e s t u d e n t i n t h e c o u r s e . I t s e e m s r e a s o n a b l e t o e x p e c t t h a t s o m e o f t h e s e v a r i a b l e s m i g h t b e u s e d t o p r e d i c t t o a c e r t a i n e x t e n t h o w l i k e l y a s t u d e n t i s t o d o p o o r l y o r w e l l i n a c o u r s e . I f t h e r e w e r e s o m e m e t h o d o f i d e n t i f y i n g a t t h e s t a r t o f t h e t e r m t h o s e s t u d e n t s w h o w i l l d o p o o r l y , p e r h a p s t h e y c o u l d b e g i v e n r e m e d i a t i o n , s p e c i a l a s s i s t a n c e , o r a c a d e m i c a d v i s i n g b e f o r e t h e i r p o o r p e r f o r m a n c e i s a m a t t e r o f p e r m a n e n t r e c o r d . T h e p e r c e n t a g e o f s t u d e n t s w h o e n r o l l i n C E M 1 3 0 / 1 3 1 a n d u l t i m a t e l y 2 5 9 r e c e i v e a g r a d e o f 0 . 0 r a n g e s f r o m t h r e e t o t h i r t e e n p e r c e n t e a c h t e r m ; t h u s s u c h s t u d e n t s a r e n o t a n i n c o n s e q u e n t i a l l y s m a l l f r a c t i o n o f t h e e n t i r e g r o u p . S o m e p r e l i m i n a r y w o r k i n p r e d i c t i o n o f c o u r s e p e r f o r m a n c e w a s a t t e m p t e d . T h e p r e c o u r s e a t t i t u d e s u r v e y i t e m s a n d s e v e r a l a p t i t u d e a n d a c h i e v e m e n t s c o r e s w e r e v a r i o u s l y c o m b i n e d i n a n a t t e m p t t o d i s c r i m i n a t e t h e p o o r p e r f o r m e r f r o m t h e r e s t o f t h e g r o u p . T h e e f f o r t w a s n o t s u c c e s s f u l , b u t i t w a s i n s t r u c t i v e . A l t h o u g h i n d i v i d u a l i t e m s f r o m t h e p r e c o u r s e a t t i t u d e s u r v e y d o n o t c o r r e l a t e s i g n i f i c a n t l y w i t h c o u r s e g r a d e , d i s c r i m i n a t e f u n c t i o n a n a l y s i s o f c o m b i n a t i o n s o f v a r i a b l e s d i d s u g g e s t t h a t d i f f e r e n c e s e x i s t b e t w e e n s t u d e n t s r a n k e d a c c o r d i n g t o t h e i r c o u r s e g r a d e . T h e p r e c o u r s e a t t i t u d e s u r v e y w a s n o t d e s i g n e d f o r t h e p r e d i c t i o n o f c o u r s e g r a d e s . V e r y f e w o f t h e q u e s t i o n s s p e c i f i c a l l y m e a s u r e m o t i v a t i o n s a n d o t h e r a t t i t u d e s w h i c h m i g h t a f f e c t a c h i e v e m e n t . T h e p r o p e r e x p e r i m e n t a l a p p r o a c h t o c r e a t i n g a c o u r s e p r e d i c t i o n s u r v e y i s a n i t e r a t i v e p r o c e s s o f c o m p i l i n g a t t i t u d e q u e s t i o n s a n d t e s t i n g t h e i r p r e d i c t i v e c a p a b i l i t i e s s i n g l y a n d i n c o m b i n a t i o n . A l o n g w i t h s u c h a n a t t i t u d e s u r v e y , t w o o t h e r m e a s u r e s p r o v i d e c o m p l e m e n t a r y i n f o r m a t i o n . T h e e n t r a n c e e x a m i n a t i o n s c o r e s o f a s t u d e n t , e s p e c i a l l y o n t h e m a t h e m a t i c s t e s t s , i n d i c a t e a b i l i t i e s , a n d t h e s c o r e o n t h e f i r s t o f t h e s i x t e s t s i n d i c a t e s c o u r s e p e r f o r m a n c e . T h e s e m e a s u r e s m a y b e c o m b i n e d i n a t h r e e s t a g e p r o c e s s o f ' f l u n k - r i s k ' i d e n t i f i c a t i o n . 2 6 0 T h e f i r s t s t a g e i d e n t i f i e s s t u d e n t s l i k e l y t o d o p o o r l y b a s e d s o l e l y o n t h e i r h i g h s c h o o l b a c k g r o u n d , s t a n d a r d i z e d t e s t s c o r e s , a n d e n t r a n c e e x a m i n a t i o n p e r f o r m a n c e . N o t m a n y s t u d e n t s w o u l d b e i d e n t i f i e d a t t h i s s t a g e s i n c e s u c h s c o r e s t y p i c a l l y c o r r e l a t e w i t h c o u r s e g r a d e s i n C E M 1 3 0 o n l y 0 . 1 5 t o 0 . 2 5 . Y e t t h e r e a r e s t u d e n t s w h o s e m a t h s k i l l s o r r e a d i n g a b i l i t y a r e s o d e f i c i e n t t h a t a n y c o l l e g e c o u r s e w i l l b e d i f f i c u l t . T h e s e c o n d s t a g e c o m b i n e s t h e r e s u l t s o f a p r e c o u r s e a t t i t u d e s u r v e y w i t h t h e e n t r a n c e v a r i a b l e s . S t u d e n t s w i t h n e g a t i v e a t t i t u d e s a n d e x p e c t a t i o n s a s w e l l a s l o w e n t r a n c e s c o r e s a r e m o r e l i k e l y t o f a i l t h a n s t u d e n t s n o t a b l y b e l o w a v e r a g e i n o n l y o n e o f t h e s e a r e a s . T h e v e r y r o u g h r e s u l t s o f t h e p r e d i c t i o n a n a l y s i s d o n e t h u s f a r d o s u g g e s t a d i f f e r e n c e i n a t t i t u d e b e t w e e n s t u d e n t s a t t h e l o w e n d o f t h e g r a d e s c a l e . S t u d e n t s w i t h s i m i l a r a b i l i t i e s d i v i d e i n t o t h o s e w h o s c r a p e b y a n d t h o s e w h o f a i l c o m p l e t e l y . T h e t h i r d a n d f i n a l s t a g e o f s e l e c t i o n i s m a d e a f t e r t h e r e s u l t s o f t h e f i r s t e x a m g i v e n i n t h e c o u r s e h a s b e e n p r o c e s s e d . T h e i n t e r a c t i o n o f a t t i t u d e a n d a b i l i t y w i l l n o t p r o d u c e i d e n t i c a l r e s u l t s i n a l l s t u d e n t s . S o m e s t u d e n t s m a y o v e r c o m e t h e i r d i s l i k e o r f e a r o r u n d e r p r e p a r e d n e s s t o p e r f o r m a d e q u a t e l y . O t h e r s t u d e n t s o n t h e e d g e o f p r e d i c t e d f a i l u r e m a y n e e d s p e c i a l a s s i s t a n c e . T h i s f i n a l s t a g e o f i d e n t i f i c a t i o n u s e s t h e s t u d e n t ' s a c t u a l p e r f o r m a n c e o n t h e f i r s t s e c t i o n o f c o u r s e m a t e r i a l a s a p r e d i c t o r o f h i s a c h i e v e m e n t o n l a t e r m a t e r i a l . 2 6 1 I t m i g h t b e p o s s i b l e w i t h t h i s s t e p w i s e p r o c e d u r e t o s a y a f t e r t h e s e c o n d w e e k o f t h e t e r m , " W i t h i n t h e t o t a l e n r o l l m e n t o f 1 6 0 0 s t u d e n t s , t h i s s u b g r o u p o f 1 8 0 c o n t a i n s n i n e t y p e r c e n t o f t h e 1 0 0 s t u d e n t s e x p e c t e d t o f l u n k C E M 1 3 0 . " T h u s t h e t a s k o f i d e n t i f y i n g s t u d e n t s w h o m i g h t e x p e r i e n c e d i f f i c u l t y h a s b e e n s h r u n k f r o m t r y i n g t o f i n d t h e s i x p e r c e n t o f 1 6 0 0 t o t h e f i f t y p e r c e n t o f 1 8 0 . T h e s e l e c t i o n o f s t u d e n t s f o r s u c h p r o g r a m s a s T u t o r i a l A s s i s t a n c e i n C h e m i s t r y m i g h t b e e x t e n d e d t o s u c h h i g h r i s k s t u d e n t s i f t h e y c o u l d b e i d e n t i f i e d . R E F E R E N C E S 1 0 . 1 1 . 1 2 . 1 3 . 2 6 2 R E F E R E N C E S R o b e r t J . H a v i g h u r s t a n d R u f u s D . R e e d , J o u r n a l . o _ f C h e m i c a l E d u c a t i o n , v . 1 8 , p . 4 7 5 ( 1 9 4 1 ) L y m a n C . N e w a l l , J o u r n a l g f C h e m i c a l E d u c a t i o n , v . 9 , p . 6 7 7 ( 1 9 3 2 ) C . A . B r o w n e , J o u r n a l n g h e m i c a l E d u c a t i o n , v . 9 , p . 6 9 6 ( 1 9 3 2 ) H a r r i s o n H a l e , J o u r n a l g f C h e m i c a l E d u c a t i o n , v . 9 , p . 7 2 9 ( 1 9 3 2 ) F . B . D a v i s , J o u r n a l o _ f C h e m i c a l E d u c a t i o n , v . 9 , p . 7 4 5 ( 1 9 3 2 ) B . C l i f f o r d H e n d r i c k s , J o u r n a l o _ f C h e m i c a l E d u c a t i o n , v . 2 , p . 1 1 8 7 ( 1 9 2 5 ) W i l l i a m F . E h r e t , J o u r n a l n g h e m i c a l E d u c a t i o n , v . 7 , p . 3 2 1 ( 1 9 3 0 ) S . N . P o s t l e t h w a i t e , J . N o v a k , a n d H . T . M u r r a y , J r . , T h e . A u d i o - T u t o r i a l A p p r o a c h t 2 L e a r n i n g , M i n n e a p o l i s , B u r g e s s , 1 9 6 9 S . N . P o s t l e t h w a i t e , T h e A m e r i c a n B i o l o g y T e a c h e r , v . 3 2 , p . 3 2 ( 1 9 7 0 ) ' " " ' S v . N . P o s t l e t h w a i t e a n d R o b e r t N . H u r s t , E d u c a t i o n a l T e c h n o l o g y , . 1 2 ( N o . 9 ) , p . 3 5 ( 1 9 7 2 ) W . R o b e r t B a r n a r d , E . F . B e r t a u t , a n d R o d O ' C o n n o r , J o u r n a l o f C h e m i c a l E d u c a t i o n , v . 4 5 , p . 6 1 7 ( 1 9 6 8 ) W . R o b e r t B a r n a r d , J o u r n a l o _ f C h e m i c a l E d u c a t i o n , v . 4 5 , p . 6 8 1 ( 1 9 6 8 ) W . R o b e r t B a r n a r d a n d R o d O ' C o n n o r , J o u r n a l 9 _ f _ C h e m i c a l E d u c a t i o n , v . 4 5 , p . 7 4 5 ( 1 9 6 8 ) 1 4 . 1 5 . 1 6 . 1 7 . 1 8 . 1 9 . 2 0 . 2 1 . 2 2 . 2 3 . 2 4 . 2 5 . 2 6 . 2 7 . 2 8 . 2 9 . 3 0 . 2 6 3 J e s s e H . D a y , J o u r n a l 2 1 ; C h e m i c a l E d u c a t i o n , v . 3 9 , p . 5 0 ( 1 9 6 2 ) J a y A . Y o u n g , J o u r n a l o _ f C h e m i c a l E d u c a t i o n , v . 4 0 , p . 1 1 ( 1 9 6 3 ) J e s s e H . D a y , J o u r n a l o _ f C h e m i c a l E d u c a t i o n , v . 4 0 , p . 1 4 ( 1 9 6 3 ) J e s s e H . D a y , J o u r n a l o _ f C h e m i c a l E d u c a t i o n , v . 3 6 , p . 5 9 1 ( 1 9 5 9 ) B . F . S k i n n e r , S c i e n c e , v . 1 2 8 , p . 9 6 9 ( 1 9 5 8 ) S . L . P r e s s e y , S c h o o l a n d S o c i e t y , v . 2 3 , p . 3 7 3 ( 1 9 2 6 ) S . L . P r e s s e y , S c h o o l a n d S o c i e t y , v . 3 6 , p . 6 6 8 ( 1 9 3 2 ) B . F . S k i n n e r , A m e r i c a n S c i e n t i s t , v . 4 5 , p . 3 4 3 ( 1 9 5 7 ) S . C a s t l e b e r r y a n d J . J . L a g o w s k i , J o u r n a l o _ f C h e m i c a l E d u c a t i o n , v . 4 7 , p . 9 1 ( 1 9 7 0 ) C a r l S . E w i g , J . T h o m a s G e r i g , a n d D a v i d 0 . H a r r i s , J o u r n a l o _ f C h e m i c a l E d u c a t i o n , v . 4 7 , p . 9 7 ( 1 9 7 0 ) S t e p h e n K . L o w e r , J o u r n a l g f C h e m i c a l E d u c a t i o n , v . 4 7 , p . 1 4 3 ( 1 9 7 0 ) R o b e r t C . G r a n d e y , J o u r n a l o _ f C h e m i c a l E d u c a t i o n , v . 4 8 , p . 7 9 1 ( 1 9 7 1 ) F r e d S . K e l l e r , J o u r n a l o _ f A p p l i e d B e h a v i o r A n a l y s i s , v . 1 , p . 7 9 ( 1 9 6 8 ) B e n A . G r e e n , J r . , J o u r n a l o _ f C o l l e g e S c i e n c e T e a c h i n g , v . 1 , p . 5 0 ( 1 9 7 1 ) H . H . W h e t z e l , T h e J o u r n a l n g i g h e r E d u c a t i o n , v . 1 , p . 1 2 5 ( 1 9 3 0 ) R . H . S c h w e n d e m a n , J o u r n a l o _ f C h e m i c a l E d u c a t i o n , v . 4 5 , p . 1 2 9 ( 1 9 6 8 ) R o b e r t N . H a m m e r , A P r o p o s a l t _ q t h e G e n e r a l C h e m i s t r y C o m m i t t e e a n d t 2 t h e E d u c a t i o n a l P o l i c i e s C o m m i t t e e f o r A M o d u l a r M u l t i L a t h G e n e r a l C h e m i s t r y P r o g r a m , U n p u b l i s h e d r e p o r t , M i c h i g a n S t a t e U n i v e r s i t y , A p r i l , 1 9 7 2 3 1 . 3 2 . 3 3 . 3 4 . 3 5 . 3 6 . 3 7 . 3 8 . 3 9 . 4 0 . 4 1 . 4 2 . 4 3 . 4 4 . 4 5 . 4 6 . 2 6 4 H e r b e r t A . L a i t i n e n , C h e m i c a l A n a l y s i s , N e w Y o r k , M c G r a w - H i l l , 1 9 6 0 F r e d e r i c M . L o r d , E d u c a t i o n a l a n d n g c h o l o g i c a l M e a s u r e m e n t , v . 1 7 , p . 5 1 0 ( 1 9 5 7 ) F r e d e r i c M . L o r d , E d u c a t i o n a l a n d P s y c h o l q g i c a l M e a s u r e m e n t , v . 1 5 , p . 3 2 5 ( 1 9 5 5 ) F r e d e r i c M . L c r d , E d u c a t i o n a l a n d P s y c h o l o g i c a l M e a s u r e m e n t , v . 1 9 , p . 2 3 3 ( 1 9 5 9 ) C . S p e a r m a n , B r i t i s h J o u r n a l o _ f P s y c h o l o g y , v . 3 , p . 2 7 1 ( 1 9 1 0 ) D a v i d M a g n u s s o n , T e s t T h e o r y , R e a d i n g , M a s s . , A d d i s o n - W e s l e y , 1 9 6 7 J u l i a n C . S t a n l e y , R e l i a b i l i t y , C h . 1 3 , E d u c a t i o n a l M e a s u r e m e n t , R o b e r t L . T h o r n d i k e , E d . , W a s h i n g t o n , D . C . , A m e r i c a n C o u n c i l o n E d u c a t i o n , 1 9 7 1 G . F . K u d e r a n d M . W . R i c h a r d s o n , P s y c h o m e t r i k a , v . 2 , p . 1 5 1 ( 1 9 3 7 ) W a l t e r K r i s t o f , P s y c h o m e t r i k a , v . 3 4 , p . 4 8 9 ( 1 9 6 9 ) E d w a r d E . C u r e t o n , E d u c a t i o n a l a n d P s y c h o l o g i c a l M e a s u r e m e n t , v . 1 8 , p . 7 1 5 ( 1 9 5 8 ) F r e d e r i c M . L o r d a n d M e l v i n R . N o v i c k , S t a t i s t i c a l T h e o r i e s 2 f M e n t a l T e s t S c o r e s , R e a d i n g , M a s s . , A d d i s o n - W e s l e y , 1 9 6 8 F r e d e r i c M . L o r d , E d u c a t i o n a l a n d P s y c h o l o g i c a l M e a s u r e m e n t , v . 1 3 , p . 5 1 7 ( 1 9 5 3 ) L e e J . C r o n b a c h , P s y c h o m e t r i k a , v . 1 6 , p . 2 9 7 ( 1 9 5 1 ) E d w a r d E . C u r e t o n , E d u c a t i o n a l a n d P s y c h o l o g i c a l M e a s u r e m e n t , v . 2 5 , p . 3 2 7 ( 1 9 6 5 ) K . T . N g , E d u c a t i o n a l a n d P s y c h o l o g i c a l M e a s u r e m e n t , v . 3 4 , p . 4 8 7 ( 1 9 7 4 ) R o b e r t L . E b e l , E d u c a t i o n a l a n d P s y c h o l o g i c a l M e a s u r e m e n t , v . 3 2 , p . 2 4 9 ( 1 9 7 2 ) 4 7 . 4 8 . 4 9 . 5 0 . 5 1 . 5 2 . 5 3 . 5 4 . 5 5 . 5 6 . 5 7 . 5 8 . 5 9 . 6 0 . 6 1 . 6 2 . 2 6 5 H . H . R e m m e r s , R u t h K a r s l a k e , a n d N . L . G a g e , T h e J o u r n a l g f E d u c a t i o n a l P s y c h o l o g y , v . 3 1 , p . 5 8 3 ( 1 9 4 0 ) H . R . D e n n e y a n d H . H . R e m m e r s , T h e J o u r n a l g f E d u c a t i o n a l P s y c h o l o g y , v . 3 1 , p . 6 9 9 ( 1 9 4 0 ) ' H . H . R e m m e r s a n d E d w i n E w a r t , T h e J o u r n a l _ o _ f _ E d u c a t i o n a l P s y c h o l o g y , v . 3 2 , p . 6 1 ( 1 9 4 1 ) H . H . R e m m e r s a n d J . M i l t o n H o u s e , T h e J o u r n a l 2 f E d u c a t i o n a l P s y c h o l o g y , v . 3 2 , p . 3 7 2 ( 1 9 4 1 ) H . H . R e m m e r s a n d H . W . S a g e s e r , T h e J o u r n a l n g d u c a t i o n a l P s y c h o l o g y , v . 3 2 , p . 4 4 5 ( 1 9 4 1 ) H . H . R e m m e r s a n d R . M . A d k i n s , T h e J o u r n a l n g d u c a t i o n a l P s y c h o l o g y , v . 3 3 , p . 3 8 5 ( 1 9 4 2 ) D a l e M a t t s o n , E d u c a t i o n a l a n d P s y c h o l o g i c a l M e a s u r e m e n t , v . 2 5 , p . 7 2 7 ( 1 9 6 5 ) A m o s T v e r s k y , J o u r n a l o _ f M a t h e m a t i c a l P s y c h o l o g y , v . 1 , p . 3 8 6 ( 1 9 6 4 ) J . B r o w n G r i e r , J o u r n a l n g d u c a t i o n a l M e a s u r e m e n t , v . 1 2 , p . 1 0 9 ( 1 9 7 5 ) R o b e r t L . E b e l , E d u c a t i o n a l a n d P s y c h o l o g i c a l M e a s u r e m e n t , v . 2 9 , p . 5 6 5 ( 1 9 6 9 ) F r e d e r i c M . L o r d , P r i v a t e c o m m u n i c a t i o n w i t h R o b e r t L . E b e l , J u n e , 1 9 7 5 F r e d e r i c M . L o r d , P s y c h o m e t r i k a , v . 1 7 , p . 1 8 1 ( 1 9 5 2 ) F r a n k C o s t i n , E d u c a t i o n a l a n d P s y c h o l o g i c a l M e a s u r e m e n t , v . 3 0 , p . 3 5 3 ( 1 9 7 0 ) R o b e r t A . R a m o s a n d J u n e S t e r n , J o u r n a l 9 3 E d u c a t i o n a l M e a s u r e m e n t , v . 1 0 , p . 3 0 5 ( 1 9 7 3 ) D o n a l d W . Z i m m e r m a n a n d R i c h a r d H . W i l l i a m s , P s y c h o l o g i c a l R e p o r t s , v . 1 6 , p . 1 1 9 3 ( 1 9 6 5 ) M . A . C o u l t e r , n g c h o l o g i a A f r i c a n a , v . 1 5 , p . 5 3 ( 1 9 7 3 ) 6 3 . 6 4 . 6 5 . 6 6 . 6 7 . 6 8 . 6 9 . 7 0 . 7 1 . 7 2 . 7 3 . 7 4 . 7 5 . 7 6 . 7 7 . 7 8 . 7 9 . 2 6 6 F r e d e r i c M . L o r d , n g c h o m e t r i k a , v . 2 0 , p . 1 ( 1 9 5 5 ) H a r o l d G u l l i k s e n , P s y c h o m e t r i k a , v . 1 0 , p . 7 9 ( 1 9 4 5 ) H u b e r t E . B r o g d e n , P s y c h o m e t r i k a , v . 1 1 , p . 1 9 7 ( 1 9 4 6 ) L e e J . C r o n b a c h a n d W i l l a r d G . W a r r i n g t o n , P s y c h o m e t r i k a , v . 1 7 , p . 1 2 7 ( 1 9 5 2 ) J o h n B . C a r r o l l , P s y c h o m e t r i k a , v . 1 0 , p . 1 ( 1 9 4 5 ) J u m C . N u n n a l l y , P s y c h o m e t r i c T h e o r y , N e w Y o r k , M c G r a w - H i l l , 1 9 6 7 W i l l i a m E . S c o t t , E d u c a t i o n a l a n d P s y c h o l o g i c a l M e a s u r e m e n t , v . 3 2 , p . 7 2 5 ( 1 9 7 2 ) J o h n L . H o r n , E d u c a t i o n a l a n d P s y c h o l o g i c a l M e a s u r e m e n t , v . 3 1 , p . 5 7 ( 1 9 7 1 ) D a v i d M . S h o e m a k e r , E d u c a t i o n a l a n d P s y c h o l o g i c a l M e a s u r e m e n t , v . 3 2 , p . 7 0 5 ( 1 9 7 2 ) L y n n e t t e B . P l u m l e e , P s y c h o m e t r i k a , v . 1 7 , p . 6 9 ( 1 9 5 2 ) E d w a r d E . C u r e t o n , E d u c a t i o n a l a n d P s y c h o l o g i c a l M e a s u r e m e n t , v . 3 1 , p . 4 5 ( 1 9 7 1 ) L o u i s G u t t m a n , A m e r i c a n S o c i o l o g i c a l R e v i e w , v . 1 2 , p . 5 7 ( 1 9 4 7 ) A l l e n L . E d w a r d s a n d F r a n k l i n P . K i l p a t r i c k , P s y c h o m e t r i k a , ' v . 1 3 , p . 9 9 ( 1 9 4 8 ) L . L . T h u r s t o n e a n d E . J . C h a v e , A m e r i c a n J o u r n a l g f S o c i o l o g y , . v . 3 3 , p . 5 2 9 ( 1 9 2 8 ) R e n s i s L i k e r t , A r c h i v e s n g s y c h o l g g y , v . 2 2 ( N o . 1 4 0 ) , p . 1 ( 1 9 3 2 ) L a u r e n H . S e i l e r a n d R i c h a r d L . H o u g h , E m p i r i c a l C o m p a r i s o n s o _ f t h e T h u r s t o n e a n d L i k e r t T e c h n i q u e s , C h . 8 , A t t i t u d e M e a s u r e m e n t , G e n e . F . S u m m e r s , E d . , C h i c a g o , R a n d M c N a l l y , 1 9 7 0 M a r v i n E . S h a w a n d J a c k M . W r i g h t , S c a l e s f o r t h e M e a s u r e m e n t o _ f A t t i t u d e , N e w Y o r k , M c G r a w - H i l l , 1 9 6 7 8 0 . 8 1 . 8 2 . 8 3 . 8 4 . 8 5 . 8 6 . 8 7 . 8 8 . 8 9 . 9 0 . 9 1 . 9 2 . 9 3 . 9 4 . 9 5 . 2 6 7 L e e J . C r o n b a c h , E d u c a t i o n a l a n d P s y c h o l o g i c a l M e a s u r e m e n t , v . 6 , p . 4 7 5 ( 1 9 4 6 ) J . P . G u i l f o r d , P s y c h o m e t r i c M e t h o d s , N e w Y o r k , M c G r a w - H i l l , 1 9 5 4 L e o n a r d G . R o r e r a n d L e w i s R . G o l d b e r g , J o u r n a l o _ f A p p l i e d P s y c h o l o g y , v . 4 9 , p . 4 2 2 ( 1 9 6 5 ) L e o n a r d G . R o r e r , P s y c h o l o g i c a l B u l l e t i n , v . 6 3 , p . 1 2 9 ( 1 9 6 5 ) L o i s L . E l l i o t , E d u c a t i o n a l a n d P s y c h o l o g i c a l M e a s u r e m e n t , v . 2 1 , p . 4 0 5 ( 1 9 6 1 ) B e r n a r d D u B o i s a n d J o h n A . B u r n s , E d u c a t i o n a l a n d P s y c h o l o g i c a l M e a s u r e m e n t , v . 3 5 , p . 8 6 9 ( 1 9 7 5 ) H a d l e y C a n t r i l , G a u g i n g P u b l i c O p i n i o n , P r i n c e t o n , P r i n c e t o n U n i v e r s i t y P r e s s , 1 9 4 7 H e r b e r t H . B l u m b e r g , C l i n t o n B . D e S o t o , a n d J a m e s L . K u e t h e , P e r s o n n e l ‘ P s y c h o l o g y , v . 1 9 , p . 2 4 3 ( 1 9 6 6 ) C . O . M a t h e w s , T h e J o u r n a l g f E d u c a t i o n a l P s y c h o l o g y , v . 2 0 , p . 1 2 8 ( 1 9 2 9 ) ' L e e J . C r o n b a c h , E d u c a t i o n a l a n d P s y c h o l o g i c a l M e a s u r e m e n t , v . 1 0 , p . 3 ( 1 9 5 0 ) A m i e l T . S h a r o n , J o u r n a l n g p p l i e d P s y c h o l o g y , v . 5 4 , p . 2 7 8 ( 1 9 7 0 ) D a v i d H . S m i t h , P u b l i c O p i n i o n Q u a r t e r _ l y , v . 3 1 , p . 8 7 ( 1 9 6 7 ) L e e S t o c k f o r d a n d H . W . B i s s e l l , P e r s o n n e l , v . 2 6 ( N o . 2 ) , p . 9 4 ( 1 9 4 9 ) R o y C . B r y a n , T h e S c h o o l R e v i e w , v . 5 2 , p . 2 8 5 ( 1 9 4 4 ) ' B a r b a r a H . S h o w e r s , A l t e r n a t i v e R e s p o n s e D e f i n i t i o n s i n I n s t r u c t i o n a l R a t i n g S c a l e s , U n p u b l i s h e d P h . D . d i s s e r t a t i o n , M i c h i g a n S t a t e U n i v e r s i t y , E a s t L a n s i n g , 1 9 7 3 M i c h a e l S . M a t e l l a n d J a c o b J a c o b y , E d u c a t i o n a l a n d P s y c h o l o g i c a l M e a s u r e m e n t , v . 3 1 , p . 6 5 7 ( 1 9 7 1 ) 9 6 . 9 7 . 9 8 . 9 9 . 1 0 0 . 1 0 1 . 1 0 2 . 1 0 3 . 1 0 4 . 1 0 5 . 1 0 6 . 1 0 7 . 1 0 8 . 1 0 9 . 1 1 0 . 1 1 1 . 2 6 8 J a c o b J a c o b y a n d M i c h a e l S . M a t e l l , J o u r n a l 9 1 M a r k e t i n g R e s e a r c h , v . 8 , p . 4 9 5 ( 1 9 7 1 ) B e r n a r d M . B a s s , W a y n e F . C a s c i o , a n d E d w a r d J . O ' C o n n o r , J o u r n a l o _ p r p l i e d P s y c h o l o g y , v . 5 9 , p . 3 1 3 ( 1 9 7 4 ) K a r l C . P r a t t , J o u r n a l o _ f G e n e t i c P s y c h o l o g y , v . 7 2 , p . 2 0 1 ( 1 9 4 8 ) D . A . B r o t h e r t o n , J . M . R e e d , a n d K . C . P r a t t , J o u r n a l g f G e n e t i c P s y c h o l o g y , v . 7 3 , p . 2 0 9 ( 1 9 4 8 ) S u s a n P e p p e r a n d L u m b o m i r S . P r y t u l a k , J o u r n a l 2 1 ; R e s e a r c h _ i _ 5 1 _ P e r s o n a l i t y , v . 8 , p . 9 5 ( 1 9 7 4 ) M i l t o n D . H a k e l , A m e r i c a n P s y c h o l o g i s t , v . 2 3 , p . 5 3 3 ( 1 9 6 8 ) R a y H . S i m p s o n , Q u a r t e r l y J o u r n a l _ o _ f _ S p e e c h , v . 3 0 , p . 3 2 8 ( 1 9 4 4 ) R o b e r t S t r a h a n a n d K a t h l e e n C . G e r b a s i , J o u r n a l 2 f P s y c h o l o g y , v . 8 5 , p . 1 0 9 ( 1 9 7 3 ) C h e s t e r S c h r i e s h e i m a n d J a n e t S c h r i e s h e i m , E d u c a t i o n a l a n d P s y c h o l o g i c a l M e a s u r e m e n t , v . 3 4 , p . 8 7 7 ( 1 9 7 4 ) P a u l E . S p e c t o r , J o u r n a l o _ p r p l i e d P s y c h o l o g y , v . 6 1 , p . 3 7 4 ( 1 9 7 6 ) R o b y n M . D a w e s , F u n d a m e n t a l s o _ f A t t i t u d e M e a s u r e m e n t , N e w Y o r k , J o h n W i l e y & S o n s , 1 9 7 2 E d w a r d A . H o l d a w a y , T h e J o u r n a l 2 3 : E x p e r i m e n t a l E d u c a t i o n , v . 4 0 , p . 5 7 ( 1 9 7 1 ) A l l e n L . E d w a r d s , T e c h n i q u e s 2 f A t t i t u d e S c a l e C o n s t r u c t i o n , N e w Y o r k , A p p l e t o n - C e n t u r y - C r o f t s , 1 9 5 7 J . P . G u i l f o r d a n d A d a P . J o r g e n s e n , J o u r n a l 2 1 ; E x p e r i m e n t a l P s y c h o l o g y , v . 2 2 , p . 4 3 ( 1 9 3 8 ) E r w i n K . T a y l o r a n d R o b e r t J . W h e r r y , P e r s o n n e l P s y c h o l o g y , v . 4 , p . 3 9 ( 1 9 5 1 ) C . I . H o v e l a n d a n d M . S h e r i f , J o u r n a l o _ f S o c i a l a n d A b n o r m a l P s y c h o l o g y , v . 4 7 , p . 8 2 2 ( 1 9 5 2 ) 1 1 2 . 1 1 3 . 1 1 4 . 1 1 5 . 1 1 6 . 1 1 7 . 1 1 8 . 1 1 9 . 1 2 0 . 1 2 1 . 1 2 2 . 1 2 3 . 1 2 4 . 1 2 5 . 2 6 9 H . H . K e l l e y , C . I . H o v e l a n d , M . S c h w a r t z , a n d R . P . A b e l s o n , J o u r n a l o _ f S o c i a l P s y c h o l o g y , v . 4 2 , p . 1 4 7 ( 1 9 5 5 ) L e o n a r d V . G o r d o n , E d u c a t i o n a l a n d P s y c h o l o g i c a l M e a s u r e m e n t , v . 3 1 , p . 8 6 7 ( 1 9 7 1 ) P e t e r B . W a r r a n d T h o m a s L . C o f f m a n , B r i t i s h J o u r n a l 2 1 : S o c i a l a n d C l i n i c a l n g c h o l o g y , v . 9 , p . 1 0 8 ( 1 9 7 0 ) R . D u b i n a n d T . C . T a v e g g i o , T h e T e a c h i n g L e a r n i n g P a r a d o x , E u g e n e , U n i v e r s i t y o f O r e g o n P r e s s , 1 9 6 8 G . C . C h u a n d W . S c h r a m m , L e a r n i n g f r o m T e l e v i s i o n , W h a t t _ h _ § _ R e s e a r c h S a y s , S t a n f o r d , S t a n f o r d U n i v e r s i t y P r e s s , 1 9 6 8 P . S u p p e s a n d M . M o r n i n g s t a r , S c i e n c e , v . 1 6 6 , p . 3 4 3 ( 1 9 6 9 ) H . W . M o r r i s o n a n d E . N . A d a m s , M o d e r n L a n g u a g e J o u r n a l , v . 5 2 , p . 2 7 9 ( 1 9 6 8 ) L . D . M u l l e r , J o u r n a l n g a i r y S c i e n c e , v . 5 4 , p . 1 4 6 ( 1 9 7 2 ) W . J . M c K e a c h i e , Y . L i n , a n d W . M a n n , A m e r i c a n E d u c a t i o n a l R e s e a r c h J o u r n a l , v . 8 , p . 4 3 5 ( 1 9 7 1 ) F r a n k C o s t i n , W i l l i a m T . G r e e n o u g h , a n d R o b e r t J . M e n g e s , R e v i e w n g d u c a t i o n a l R e s e a r c h , v . 4 1 , p . 5 1 1 ( 1 9 7 1 ) R o b e r t C . B r a s t e d a n d K e n n e t h O . D o y l e , S t r e n g t h s a n d W e a k n e s s e s i n F o r m a l S t u d e n t E v a l u a t i o n s o _ f T e a c h i n g a n d t h e T e a c h e r , P r e s e n t e d a t E d u c a t i o n i n C h e m i s t r y ' 7 2 , M t . H o l y o k e , M a s s . , A u g u s t , 1 9 7 2 B . R . S i e b r i n g a n d M . E . S c h a f f , J o u r n a l n g h e m i c a l E d u c a t i o n , v . 5 1 , p . 1 5 0 ( 1 9 7 4 ) C . D . C o r n w e l l , J o u r n a l n g h e m i c g l E d u c a t i o n , v . 5 1 , p . 1 5 5 ( 1 9 7 4 ) H . H . R e m m e r s , A . D . T a y l o r , a n d K . E . K i n t e r , S t u d e n t A t t i t u d e s T o w a r d B a s i c F r e s h m a n C o l l e g e S u b l e c t s a n d T _ _ h _ _ _ e i r R e l a t i o n t o O t h e r V a r i a b l e s , S t u d i e s i n _ H i g h e r E d u c a t i o n 3 1 , F u r t h e r S t u d i e s _ i _ n A t t i t u d e s , S e r i e s 2 , L a f a y e t t e , P u r d u e — U n i v e r s i t y P r e s s , 1 9 7 4 1 2 6 . D o n a l d N . E l l i o t , 2 7 0 C h a r a c t e r i s t i c s a n d R e l a t i o n s h i p s g _ f V a r i _ _ _ 9 _ _ u s C r i t e r i a g _ f C o l l e g e _ _ a n d U n i v e r s i t y T e a c h i n g , S t u d i e s i _ r _ 1 _ H i g h e r E d u c a t i o n _ 7 _ _ ( _ ) , F u r t h e r _ S t u d i e s i _ n A t t i t u d e s , S e r i e s 1 5 , L a f a y e t t e , P u r d u e U n i v e r s i t y P r e s s , 1 9 5 0 1 2 7 , W i l l i a m M . B a s s i n , T h e J o u r n a l g E x p e r i m e n t a l E d u c a t i o n , v . 4 3 , p . 1 6 ( 1 9 7 4 ) 1 2 8 . M i r i a m R o d i n a n d B u r t o n R o d i n , S c i e n c e , v . 1 7 7 , p . 1 1 6 4 ( 1 9 7 2 ) 1 2 9 . R . B a r k e r B a u s e l l a n d J o n M a g o o n , E d u c a t i o n a l a n _ _ _ c l P J c h o l o g i c a l M e a s u r e m e n t , v . 3 2 , p . 1 0 1 3 ( 1 9 7 2 ) 1 3 0 . M a r i a n R . M e i n k o t h , T h e J o u r n a l o f E x p e r i m e n t a l E d u c a t i o n , v . 4 0 , p 6 6 ( 1 9 7 1 ) 1 3 1 . G a r y W . V a n K e m p e n , T h e D e v e l o p m e n t a n d E v a l u a t i o n o _ _ f a , D i a g n o s t i c S y s t e m o _ f R e m e d i a t i o n f o r a n A u t o - T u t o r i a l C o u r s e i _ n G e n e r a l C o l l e g e C h e m i s t r y , U n p u b l i s h e d P h . D . d i s s e r t a t i o n , M i c h i g a n S t a t e U n i v e r s i t y , E a s t L a n s i n g , 1 9 7 7 C R O S S R E F E R E N C E S A u t h o r , Y e a r ( R e f . N o . ) p . c i t a t i o n A b e l s o n , 1 9 5 5 ( 1 1 2 ) p . 1 8 9 A d a m s , 1 9 6 8 ( 1 1 8 ) p . 2 1 3 A d k i n s , 1 9 4 2 ( 5 2 ) p . 5 5 B a r n a r d , 1 9 6 8 ( 1 1 ) p . 5 B a r n a r d , 1 9 6 8 ( 1 2 ) p . 5 B a r n a r d , 1 9 6 8 ( 1 3 ) p . 5 B a s s , 1 9 7 4 ( 9 7 ) p . 1 6 9 B a s s i n , 1 9 7 4 ( 1 2 7 ) p . 2 3 8 B a u s e l l , 1 9 7 2 ( 1 2 9 ) p . 2 3 8 B e r t a u t , 1 9 6 8 ( 1 1 ) p . 5 B i s s e l l , 1 9 4 9 ( 9 2 ) p . 1 6 5 , 1 8 4 B l u m b e r g , 1 9 6 6 ( 8 7 ) p . 1 6 2 B r a s t e d , 1 9 7 3 ( 1 2 2 ) p . 2 3 8 B r o t h e r t o n , 1 9 4 8 ( 9 9 ) p . 1 6 9 B r o w n e , 1 9 3 2 ( 3 ) p . 2 B r o g d e n , 1 9 4 6 ( 6 5 ) p . 6 4 B r y a n , 1 9 4 4 ( 9 3 ) p . 1 6 5 B u r n s , 1 9 7 5 ( 8 5 ) p . 1 6 1 C a n t r i l , 1 9 4 7 ( 8 6 ) p . 1 6 2 C a r r o l l , 1 9 4 5 ( 6 7 ) p . 6 5 C a s c i o , 1 9 7 4 ( 9 7 ) p . 1 6 9 C a s t l e b e r r y , 1 9 7 0 ( 2 2 ) p . 8 C h a v e , 1 9 2 8 ( 7 6 ) p . 1 5 5 C h u , 1 9 6 8 ( 1 1 6 ) p . 2 1 3 C o f f m a n , 1 9 7 0 ( 1 1 4 ) p . 1 8 9 C o r n w e l l , 1 9 7 4 ( 1 2 4 ) p . 2 3 8 C o s t i n , 1 9 7 0 ( 5 9 ) p . 5 8 C o s t i n , 1 9 7 1 ( 1 2 1 ) p . 2 2 9 , 2 3 8 C o u l t e r , 1 9 7 3 ( 6 1 ) p . 5 9 , 6 9 C r o n b a c h , 1 9 4 6 ( 8 0 ) p . 1 6 0 C r o n b a c h , 1 9 5 0 ( 8 9 ) p . 1 6 3 , 1 6 8 C r o n b a c h , 1 9 5 1 ( 4 3 ) p . 5 1 , 6 1 2 7 1 C r o n b a c h , 1 9 5 2 ( 6 6 ) p . 6 4 C u r e t o n , 1 9 5 8 ( 4 0 ) p . 5 1 , 5 2 , 5 4 C u r e t o n , 1 9 6 5 ( 4 4 ) p . 5 1 C u r e t o n , 1 9 7 1 ( 7 3 ) p . 1 0 0 D a v i s , 1 9 3 2 ( 5 ) p . 2 D a w e s , 1 9 7 2 ( 1 0 6 ) p . 1 7 1 D a y , 1 9 5 9 ( 1 7 ) p . 7 D a y , 1 9 6 2 ( 1 4 ) p . 7 D a y , 1 9 6 3 ( 1 6 ) p . 7 D e n n e y , 1 9 4 0 ( 4 8 ) p . 5 5 D e S o t o , 1 9 6 6 ( 8 7 ) p . 1 6 2 D o y l e , 1 9 7 2 ( 1 2 2 ) p . 2 3 8 D u b i n , 1 9 6 8 ( 1 1 5 ) p . 2 1 3 D u B o i s , 1 9 7 5 ( 8 5 ) p . 1 6 1 E b e l , 1 9 6 9 ( 5 6 ) p . 5 7 E b e l , 1 9 7 2 ( 4 6 ) p . 5 4 E d w a r d s , 1 9 4 8 ( 7 5 ) p . 1 5 5 , 1 5 7 E d w a r d s , 1 9 5 7 ( 1 0 8 ) p . 1 7 3 E h r e t , 1 9 3 0 ( 7 ) p . 3 E l l i o t , D , 1 9 5 0 ( 1 2 6 ) p . 2 3 8 E l l i o t , L , 1 9 6 1 ( 8 4 ) p . 1 6 1 , 1 6 7 , 1 8 4 E w a r t , 1 9 4 1 ( 4 9 ) p . 5 5 , 1 6 8 E w i g , 1 9 7 0 ( 2 3 ) p . 8 G a g e , 1 9 4 0 ( 4 7 ) p . 5 5 G e r b a s i , 1 9 7 3 ( 1 0 3 ) p . 1 7 1 G e r i g , 1 9 7 0 ( 2 3 ) p . 8 G o l d b e r g , 1 9 6 5 ( 8 2 ) p . 1 6 0 G o r d o n , 1 9 7 1 ( 1 1 3 ) p . 1 8 9 G r a n d e y , 1 9 7 1 ( 2 5 ) p . 8 G r e e n , 1 9 7 1 ( 2 7 ) p . 9 G r e e n o u g h , 1 9 7 1 ( 1 2 1 ) p . 2 2 9 , 2 3 8 G r i e r , 1 9 7 5 ( 5 5 ) p . 5 7 G u i l f o r d , 1 9 3 8 ( 1 0 9 ) p . 1 7 3 , 1 8 9 G u i l f o r d , 1 9 5 4 ( 8 1 ) p . 1 6 0 , 1 6 4 G u l l i k s e n , 1 9 4 5 ( 6 4 ) p . 6 3 G u t t m a n , 1 9 4 7 ( 7 4 ) p . 1 5 5 H a k e l , 1 9 6 8 ( 1 0 1 ) p . 1 7 1 H a l e , 1 9 3 2 ( 4 ) p . 2 H a m m e r , 1 9 7 2 ( 3 0 ) p . 1 6 H a r r i s , 1 9 7 0 ( 2 3 ) p . 8 H a v i g h u r s t , 1 9 4 1 ( 1 ) p . 1 , 2 9 H e n d r i c k s , 1 9 2 5 ( 6 ) p . 3 H o l d a w a y , 1 9 7 1 ( 1 0 7 ) p . 1 7 3 H o r n , 1 9 7 1 ( 7 0 ) p . 7 0 H o u g h , 1 9 7 0 ( 7 8 ) p . 1 5 7 H o u s e , 1 9 4 1 ( 5 0 ) p . 5 5 H o v e l a n d , 1 9 5 2 ( 1 1 1 ) p . 1 8 9 H o v e l a n d , 1 9 5 5 ( 1 1 2 ) p . 1 8 9 H u r s t , 1 9 7 2 ( 1 0 ) p . 5 J o r g e n s e n , 1 9 3 8 ( 1 0 9 ) p . 1 7 3 , 1 8 9 J a c o b y , 1 9 7 1 ( 9 5 ) p . 1 6 8 J a c o b y , 1 9 7 1 ( 9 6 ) p . 1 6 8 K a r s l a k e , 1 9 4 0 ( 4 7 ) p . 5 5 K e l l e r , 1 9 6 8 ( 2 6 ) p . 9 K e l l e y , 1 9 5 5 ( 1 1 2 ) p . 1 8 9 K i l p a t r i c k , 1 9 4 8 ( 7 5 ) p . 1 5 5 , 1 5 7 K i n t e r , 1 9 7 4 ( 1 2 5 ) p . 2 3 8 K r i s t o f , 1 9 6 9 ( 3 9 ) p . 5 1 K u d e r , 1 9 3 7 ( 3 8 ) p . 5 1 , 5 2 K u e t h e , 1 9 6 6 ( 8 7 ) p . 1 6 2 L a g o w s k i , 1 9 7 0 ( 2 2 ) p . 8 L a i t i n e n , 1 9 6 0 ( 3 1 ) p . 4 4 L i k e r t , 1 9 3 2 ( 7 7 ) p . 1 5 5 L i n , 1 9 7 1 ( 1 2 0 ) p . 2 2 9 L o r d , 1 9 5 2 ( 5 8 ) p . 5 8 , 6 5 L o r d , 1 9 5 3 ( 4 2 ) p . 5 1 , 6 8 L o r d , 1 9 5 5 ( 3 3 ) p . 4 6 L o r d , 1 9 5 5 ( 6 3 ) p . 6 2 L o r d , 1 9 5 7 ( 3 2 ) p . 4 6 L o r d , 1 9 5 9 ( 3 4 ) p . 9 7 , 1 3 7 , 1 3 9 L o r d , 1 9 6 8 ( 4 1 ) p . 5 1 L o r d , 1 9 7 5 ( 5 7 ) p . 5 7 , 7 5 L o w e r , 1 9 7 0 ( 2 4 ) p . 8 M a g n u s s o n , 1 9 6 7 ( 3 6 ) p . 5 0 M a g o o n , 1 9 7 2 ( 1 2 9 ) p . 2 3 8 M a n n , 1 9 7 1 ( 1 2 0 ) p . 2 2 9 M a t e l l , 1 9 7 1 ( 9 5 ) p . 1 6 8 M a t e l l , 1 9 7 1 ( 9 6 ) p . 1 6 8 M a t h e w s , 1 9 2 9 ( 8 8 ) p . 1 6 3 M a t t s o n , 1 9 6 5 ( 5 3 ) p . 5 6 , 7 0 M c K e a c h i e , 1 9 7 1 ( 1 2 0 ) p . 2 2 9 M e i n k o t h , 1 9 7 1 ( 1 3 0 ) p . 2 3 8 M e n g e s , 1 9 7 1 ( 1 2 1 ) p . 2 2 9 , 2 3 8 M o r n i n g s t a r , 1 9 6 9 ( 1 1 7 ) p . 2 1 3 M u r r a y , 1 9 6 9 ( 8 ) p . 4 M o r r i s o n , 1 9 6 8 ( 1 1 8 ) p . 2 1 3 M u l l e r , 1 9 7 2 ( 1 1 9 ) p . 2 2 9 N e w a l l , 1 9 3 2 ( 2 ) p . 2 N g , 1 9 7 4 ( 4 5 ) p . 5 4 N o v a k , 1 9 6 9 ( 8 ) p . 4 N o v i c k , 1 9 6 8 ( 4 1 ) p . 5 1 N u n n a l l y , 1 9 6 7 ( 6 8 ) p . 6 6 , 1 2 3 O ' C o n n o r , E , 1 9 7 4 ( 9 7 ) p . 1 6 9 O ' C o n n o r , R , 1 9 6 8 ( 1 1 ) p . 5 O ' C o n n o r , R , 1 9 6 8 ( 1 3 ) p . 5 P e p p e r , 1 9 7 4 ( 1 0 0 ) p . 1 6 9 P l u m l e e , 1 9 5 2 ( 7 2 ) p . 7 2 , 7 4 , 7 6 P o s t l e t h w a i t e , 1 9 6 9 ( 8 ) p . 4 P o s t l e t h w a i t e , 1 9 7 0 ( 9 ) p . 4 P o s t l e t h w a i t e , 1 9 7 2 ( 1 0 ) p . 5 P r a t t , 1 9 4 8 ( 9 8 ) p . 1 6 9 P r a t t , 1 9 4 8 ( 9 9 ) p . 1 6 9 P r e s s e y , 1 9 2 6 ( 1 9 ) p . 7 P r e s s e y , 1 9 3 2 ( 2 0 ) p . 7 P r y t u l a k , 1 9 7 4 ( 1 0 0 ) p . 1 6 9 R a m o s , 1 9 7 3 ( 6 0 ) p . 5 9 R e e d , J , 1 9 4 8 ( 9 9 ) p . 1 6 9 R e e d , R , 1 9 4 1 ( 1 ) p . 1 , 2 9 R e m m e r s , 1 9 4 0 ( 4 7 ) p . 5 5 R e m m e r s , 1 9 4 0 ( 4 8 ) p . 5 5 R e m m e r s , 1 9 4 1 ( 4 9 ) p . 5 5 , 1 6 8 R e m m e r s , 1 9 4 1 ( 5 0 ) p . 5 5 R e m m e r s , 1 9 4 1 ( 5 1 ) p . 5 5 , 1 6 8 R e m m e r s , 1 9 4 2 ( 5 2 ) p . 5 5 R e m m e r s , 1 9 7 4 ( 1 2 5 ) p . 2 3 8 R i c h a r d s o n , 1 9 3 7 ( 3 8 ) p . 5 1 , 5 2 R o d i n , B , 1 9 7 2 ( 1 2 8 ) p . 2 3 8 R o d i n , M , 1 9 7 2 ( 1 2 8 ) p . 2 3 8 R o r e r , 1 9 6 5 ( 8 2 ) p . 1 6 0 R o r e r , 1 9 6 5 ( 8 3 ) p . 1 6 0 2 7 2 S a g e s e r , 1 9 4 1 ( 5 1 ) p . 5 5 , 1 6 8 S c h a f f , 1 9 7 4 ( 1 2 3 ) p . 2 3 8 S c h r a m m , 1 9 6 8 ( 1 1 6 ) p . 2 1 3 S c h r i e s h e i m , 1 9 7 4 ( 1 0 4 ) p . 1 7 1 S c h w a r t z , 1 9 5 5 ( 1 1 2 ) p . 1 8 9 S c h w e n d e m a n , 1 9 6 8 ( 2 9 ) p . 1 5 S c o t t , 1 9 7 2 ( 6 9 ) p . 6 7 S e i l e r , 1 9 7 0 ( 7 8 ) p . 1 5 7 S h a r o n , 1 9 7 0 ( 9 0 ) p . 1 6 4 S h a w , 1 9 6 7 ( 7 9 ) p . 1 5 8 S h e r i f , 1 9 5 2 ( 1 1 1 ) p . 1 8 9 S h o e m a k e r , 1 9 7 2 ( 7 1 ) p . 7 1 S h o w e r s , 1 9 7 3 ( 9 4 ) p . 1 6 6 , 1 8 4 S i e b r i n g , 1 9 7 4 ( 1 2 3 ) p . 2 3 8 S i m p s o n , 1 9 4 4 ( 1 0 2 ) p . 1 7 1 S k i n n e r , 1 9 5 7 ( 2 1 ) p . 8 S k i n n e r , 1 9 5 8 ( 1 8 ) p . 7 S m i t h , 1 9 6 7 ( 9 1 ) p . 1 6 5 S p e a r m a n , 1 9 1 0 ( 3 5 ) p . 4 7 , 5 2 , 5 4 S p e c t o r , 1 9 7 6 ( 1 0 5 ) p . 1 7 1 , 1 7 2 S t r a h a n , 1 9 7 3 ( 1 0 3 ) p . 1 7 1 S t a n l e y , 1 9 7 1 ( 3 7 ) p . 5 0 S t e r n , 1 9 7 3 ( 6 0 ) p . 5 9 S t o c k f o r d , 1 9 4 9 ( 9 2 ) p . 1 6 5 , 1 8 4 S u p p e s , 1 9 6 9 ( 1 1 7 ) p . 2 1 3 T a v e g g i o , 1 9 6 8 ( 1 1 5 ) p . 2 1 3 T a y l o r , A , 1 9 7 4 ( 1 2 5 ) p . 2 3 8 T a y l o r , E , 1 9 5 1 ( 1 1 0 ) p . 1 8 4 T h u r s t o n e , 1 9 2 8 ( 7 6 ) p . 1 5 5 T v e r s k y , 1 9 6 4 ( 5 4 ) p . 5 7 V a n K e m p e n , 1 9 7 7 ( 1 3 1 ) p . 2 5 5 W a r r , 1 9 7 0 ( 1 1 4 ) p . 1 8 9 W a r r i n g t o n , 1 9 5 2 ( 6 6 ) p . 6 4 W h e r r y , 1 9 5 1 ( 1 1 0 ) p . 1 8 4 W h e t z e l , 1 9 3 0 ( 2 8 ) p . 9 W i l l i a m s , 1 9 6 5 ( 6 1 ) p . 5 9 , 6 9 W r i g h t , 1 9 6 7 ( 7 9 ) p . 1 5 8 Y o u n g , 1 9 6 3 ( 1 5 ) p . 7 Z i m m e r m a n , 1 9 6 5 ( 6 1 ) p . 5 9 , 6 9 A P P E N D I C E S A p p e n d i x A S y l l a b u s , u n i t o b j e c t i v e s , a n d t e s t a b l e c o n c e p t s I n t h i s a p p e n d i x a r e p r e s e n t e d t h r e e t a b l e s , e a c h o f w h i c h i s a n i n v e n t o r y o f c o u r s e m a t e r i a l o r g a n i z e d f o r t h e d i f f e r e n t p u r p o s e s s e t f o r t h i n S e c t i o n I V . A . T h e t h r e e t a b l e s a r e b r i e f l y d e s c r i b e d b e l o w . A . 1 . S y l l a b u s w i t h U n i t d i v i s i o n s f o r C E M 1 3 0 / 1 3 1 T h e s y l l a b u s o f t o p i c s i s d i v i d e d i n t o u n i t s o f w o r k a p p r o x i m a t e l y e q u i v a l e n t t o o n e l e c t u r e p e r i o d p l u s a s s o c i a t e d o u t - o f - c l a s s a s s i g n m e n t . T h e s e u n i t d i v i s i o n s a r e d e s i g n a t e d i n t h e s y l l a b u s b y l i n e s s c o r e d b e t w e e n a p p r o p r i a t e s u b t o p i c e n t r i e s . T h e s y l l a b u s p r e s e n t e d h e r e i s t h a t w h i c h w a s u s e d f o r t h e p e r i o d o f t h i s s t u d y ; i t u n d e r w e n t s u b s t a n t i a l r e a r r a n g e m e n t i n t h e s u m m e r o f 1 9 7 6 . A . 2 . O b j e c t i v e s f o r s y l l a b u s u n i t s o f C E M 1 3 0 a n d 1 3 1 E a c h s t u d y g u i d e c o n t a i n s a s t a t e m e n t o f t h e e d u c a t i o n a l g o a l s w h i c h t h e s t u d e n t i s e x p e c t e d t o r e a c h o n c o m p l e t i o n o f p a r t i c u l a r u n i t s . T h e s e o b j e c t i v e s a r e s t a t e d i n t h e t a b l e a s t h e y a p p e a r i n t h e v a r i o u s s t u d y g u i d e s . A . 3 . T e s t a b l e c o n c e p t s f o r s y l l a b u s u n i t s o f C E M 1 3 0 a n d 1 3 1 T e s t a b l e c o n c e p t s a r e c a t e g o r i e s o f t e s t i t e m c o n t e n t . A l t h o u g h s o m e o f t h e o r i g i n a l l y d e f i n e d c a t e g o r i e s w e r e l a t e r c o n s o l i d a t e d a n d o t h e r s w e n t u n u s e d , t h e o r i g i n a l n u m b e r i n g s y s t e m a p p e a r s i n t h e t a b l e . A l s o i n c l u d e d i n t h e t a b l e a r e t h e n u m b e r o f t e s t i t e m s p e r c o n c e p t . 2 7 3 n a 2 7 4 T a b l e A . 1 S y l l a b u s w i t h U n i t d i v i s i o n s f o r C E M 1 3 0 / 1 3 1 ( 1 9 7 5 ) T o p i c 1 . I N T R O D U C T I O N 1 . C o n c e r n s o f t h e c h e m i s t a . R e l a t i o n s h i p o f c h e m i s t r y t o o t h e r f i e l d s o f l e a r n i n g b . W h a t d o c h e m i s t s t h i n k a b o u t ? 2 . W o r k i n g m e t h o d s o f t h e c h e m i s t a . E x p e r i m e n t a t o n b . T h e o r e t i c a l s t u d i e s c . B a s i c r e s e a r c h o r a p p l i e d c h e m i s t r y ? 3 . T o o l s o f t h e c h e m 1 s t a . T h e c h e m i c a l l a b o r a t o r y b . C h e m i c a l i n s t r u m e n t a t i o n c . M a t h e m a t i c a l t o o l s 4 . M a t t e r a . D e f i n i t i o n o f a s u b s t a n c e ; e l e m e n t s a n d c o m p o u n d s b . S o l i d s a n d f l u i d s c . M i x t u r e s a n d s o l u t i o n s d . T h e c o n s e r v a t i o n o f m a t t e r a n d e n e r g y e . l n t e r c o n v e r s i o n o f m a s s a n d e n e r g y 5 . T h e m e a s u r e m e n t o f m a t t e r a n d e n e r g y a . q u a l i t a t i v e d e s c r i p t i o n a n d q u a n t i t a t i v e m e a s u r e m e n t b . M a s s a n d w e c . n t a n d a r d s o f m a s s ; t h e m e t r i c s y s t e m d . D o u b l e a n d s i n g l e p a n b a l a n c e s e . " h e m e a s u r e m e n t o f e n e r ( 1 ) H e a t a n d i t s m e a s u r e m e n t ( 2 ) T e m p e r a t u r e a n d i t s m e a s u r e m e n t 6 . P h y s i c a l p r o p e r t t i e s a . D e f i n t i o n o f p h y s i c a l p r o p e r t i e s b . E x t e n s i v e a n d i n t e n s i v e p r o p e r t i e s c . I n t e r c o n v e r s i o n o f m a s s a n d e n e r g y d . L i n e a r m e a s u r e m e n t e . V o l u m e a n d d e n s i t y f . C o m p a r i s o n s o f u n i t s , p r e c i s i o n i n m e a s u r e m e n t , a n d p r o b a b i l i t y 7 . A t o m s a n d t h e c h e m i c a l e l e m e n t s a . C o m p o s i t i o n o f a t o m E l e c t r o n s , p r o t o n s , n e u t r o n s ) T h e f o r m a t i o n s o f i o n ) A t o m i c n u m b e ) ) 1 2 3 R e l a t i v e w e i g h t s o f a t o m s ; a t o m i c w e i g h t s I s o t o p e s b . N a m e s a n d s y m b o l s f o r t h e e l e m e n t s c . T h e p e r i o d i c t a b l e ( 1 ) G r o u p s a n d p e r i o d s ( 2 ) M e t a l s a n d n o n m e t a l s o f t h e p e r i o d i c t a b l e ( 3 ) R e g u l a r a n d t r a n s i t i o n e l e m e n t s ( ( ( 4 ( 5 M e a s u r e m e n t w i t h t h e s a n a l y t i c a l b a l a n c e a . T y p e s o f b a l a n b . " H a n d s o n " b a l a n c e i n C E M R o o m T o p i c 2 . C H E M I C A L P R O P E R T I E S 1 . C h e m i c a l c o m p o u n d s I . T h e c o n c e p t s o f o x i d a t i o n s t a t e a n d o x i d a t i o n n u m b e r b . M o l e c u l e ( 1 ) N e u t r a l ( 2 ) C h a r g e d H o w t o w r i t e f o r m u l a s ; s o m e r u l e s f o r t h e u s e o f o x i d a t i o n n u m b e r s H o w t o n a m e c o m p o u n d s ( 1 ) B i n a r y c o m p o u n d s ( 2 ) C o m p l e x n o n m e t a l i o n s e . A c i d s , b a s e s , a n d s a l t s 2 . C h e m i c a l r e a c t i o n s a n d c h e m i c a l i e q u a t i o n s a . H o w t o r e a d a n d w r i t e e q u a t b . A w o r d a b o u t b a l a n c i n g e q u a t i o n s 3 . P r e d i c t i o n o f r e a c t i o n n p r o d u c t s ; r e a c t i o n c l a s s i f i c a t i o n s a . M e t a t h e s i s r e a c t i o b . D i s p l a c e m e n t r e a c t i o n s c . C o m b i n a t i o n a n d d e c o m p o s i t i o n r e a c t i o n s d . O x i d a t i o n a n d r e d u c t i o n ; c h a n g e s i n o x i d a t i o n n u m b e r 4 . T h e m o l e a n d A v o g a d r o ' s n u m b e r 5 . C o m p u t a t i o n o f m o l a r q u a n t i t i e s a . M e a s u r e m e n t s i n g r r a m s a n d i n m o l e a s b . T h e n u m b e r o f p a r t i c l e s i n a k n o w n m a s s ( 1 ) M o l e c u l e s ( 2 ) F o r m u l a u n i t s o f i o n i c s u b s t a n c e s : . T h e u s e o f u n i t s i n c h e m i c a l c o m p u t a t i o n s 2 7 5 T a b l e A . 1 ( c o n t ' d ) 6 . C o m p u t a t i o n s i n v o l v i n g f o r m u l a s a . C a l c u l a t i o n o f p e r c e n t a g e c o m p o s i t i o n f r o m a f o r m u l a b . C a l c u l a t i o n o f e m p i r i c a l f o r m u l a s f r o m a n a l y t i c a l d a t a c . T h e e x t a b l i s h m e n t o f m o l e c u l a r f o r m u l a s 7 . C a l c u l a t i o n s i n v o l v i n g c h e m i c a l e q u a t i o n s a . I n f o r m a t i o n g i v e n b y a c h e m i c a l e q u a t i o n b . U s e o f t h e m o l e c o n c e p t i n s t o i c h i o m e t r i c c a l c u l a t i o n s ( 1 ) M o l a r c h a n g e s d e s c r i b e d b y e q u a t i o n s ( 2 ) C o n v e r s i o n o f m o l a r q u a n t i t i e s t o o t h e r u n i t s o f m e a s u r e m e n t ( 3 ) L i m i t i n g a m o u n t s o f r e a g e n t s H o w b i g i s a m o l e ? a . C a l c u l a t i o n o f t h e v o l u m e a n d m a s s o f o n e - m o l e s a m p l e s o f f i v e c o m m o n s u b s t a n c e s o r c o n s t a n t - c o m p o s i t i o n m i x t u r e s w h i c h h a v e e v e r y d a y o c c u r r e n c e . T o p i c 3 . C R Y S T A L L I N E S T R U C T U R E A N D H A V E P H E N O M E N A 1 . P r o p e r t i e s o f s o l i d s a . A m o r p h o u s s u b s t a n c e s b . C r y s t a l l i n e m a t t e r E l ) D e f i n i t i o n o f a c r y s t a l 2 ) C r y s t a l f a c e s a n d t h e c o n s t a n c y o f i n t e r f a c i a l a n g l e s ( 3 ) I s o m o r p h i s m a n d p o l y m o r p h i s m 2 . S y m m e t r y ; s y m m e t r y e l e m e n t s a n d o p e r a t i o n s a . P l a n e s , a x e s , a n d t h e c e n t e r o f s y m m e t r y b . T a b u l a t i o n o f s y m m e t r y e l e m e n t s i n a c u b e a n d o t h e r r e g u l a r s o l i d s c . C r y s t a l s y s t e m s ; c r y s t a l l o g r a p h i c a x e s d . C r y s t a l l a t t i c e s ( l ) T h e s p a c e l a t t i c e ( 2 ) T h e u n i t c e l l e . I m p l i c a t i o n s o f s y m m e t r y 3 . T h e p a c k i n g o f s p h e r e s a . E q u i v a l e n t s p h e r e s ; s t r u c t u r e i n m e t a l s ( 1 ) H e x a g o n a l c l o s e s t p a c k i n g ( 2 ) C u b i c c l o s e s t p a c k i n g b . N o n e q u i v a l e n t s p h e r e s ; i o n i c c r y s t a l s ( 1 ) T h e r a d i u s r a t i o ( 2 ) C r y s t a l l o g r a p h i c c o o r d i n a t i o n n u m b e r s f o r d i f f e r e n t t y p e s o f p a c k i n g 4 . H a v e m o t i o n a . S i m p l e h a r m o n i c o s c i l l a t o r s b . U n i t s o f w a v e l e n g t h m e a s u r e m e n t c . S t a t i o n a t y a n d t r a v e l l i n g w a v e s ; n o d e s d . T h e s u p e r p o s i t i o n o f t r a v e l l i n g w a v e s ( 1 ) I n t e r f e r e n c e ( 2 ) R e i n f o r c e m e n t e . D i f f r a c t i o n o f w a v e s 5 . E l e c t r o m a g n e t i c r a d i a t i o n a . T h e e l e c t r o m a g n e t i c s p e c t r u m a n d i t s i m p o r t a n c e i n c h e m i s t r y ( 1 ) V i s i b l e r a d i a t i o n ( 2 ) O t h e r p a r t s o f t h e s p e c t r u m b . C r e a t i o n o f e l e c t r o m a g n e t i c w a v e s ( 1 ) R a d i o f r e q u e n c y r a d i a t i o n ( 2 ) I n f r a r e d r a d i a t i o n ( 3 ) V i s i b l e a n d u l t r a v i o l e t r a d i a t i o n ( 4 ) X - r a y s ( S ) G a m m a r a d i a t i o n c . D e t e c t i o n o f e l e c t r o m a g n e t i c r a d i a t i o n 6 . T h e i n t e r a c t i o n o f x - r a y s w i t h c r y s t a l s a . D i f f r a c t i o n o f x - r a y s b . C a l c u l a t i o n s i n v o l v i n g t h e B r a g g e q u a t i o n 7 . T h e D e b y e - S c h e r r e r p o w d e r t e c h n i q u e a . F u n d a m e n t a l p r i n c i p l e s b . C o m p u t a t i o n o f d - s p a c i n g s f r o m p o w d e r p a t t e r n s c . U s e o f t a b l e s o f g - s p a c i n g s f o r i d e n t i f i c a t i o n s 8 . S t r u c t u r e d e t e r m i n a t i o n ; s i n g l e c r y s t a l s t u d i e s 9 . E l e c t r o n a n d n e u t r o n d i f f r a c t i o n 1 0 . C r y s t a l g r o w t h a n d c r y s t a l d e f e c t s 1 1 . L i q u i d c r y s t a l s C r y s t a l s a n d s t r u c t u r e d e t e r m i n a t i o n a . F i l m o n d i f f r a c t i o n o f w a v e s a n d x - r a y t e c h n i q u e b . M o d e l s a n d c r y s t a l s a m p l e s 2 7 6 T a b l e A . 1 ( c o n t ' d ) T o p i c 4 . T H E E L E C T R O N I C S T R U C T U R E O F A T O M S l . T h e q u a n t i z a t i o n o f e n e r g y a . F a i l u r e o f t h e w a v e t h e o r y ; b l a c k b o d y r a d i a t o r s b . P l a n c k ' s t h e o r y ( 1 ) T h e q u a n t u m ( 2 ) P l a n c k ' s c o n s t a n t ; c o m p a r i s o n w i t h A v o g a d r o ' s n u m b e r 2 . S p e c t r o s c o p y a . D e s c r i p t i o n b . E m i s s i o n s p e c t r a c . A b s o r p t i o n s p e c t r a 3 . T h e B o h r t h e o r y 4 . P a r t i c l e s a n d w a v e s a . T h e v i b r a t i o n o f a s t r i n g ( a l i n e a r v i b r a t i o n ) ( 1 ) B o u n d a r y c o n d i t i o n s ( 2 ) Q u n a t i z a t i o n o f v i b r a t i o n o f a s t r i n g ( 3 ) T h e " l i n e s p e c t r u m " o f a s t r i n g b . T h e v i b r a t i o n o f a d r u m ( a v i b r a t i n g s u r f a c e ) ( 1 ) B o u n d a r y c o n d i t i o n s ( 2 ) Q u a n t i z a t i o n o f v i b r a t i o n i n a s u r f a c e ; c i r c u l a r s y m m e t r y ( 3 ) T h e “ l i n e s p e c t r u m " o f a d r u m s u r f a c e c . H a v e e q u a t i o n s t o d e s c r i b e m e c h a n i c a l v i b r a t i o n s S . A w a v e p i c t u r e o f e l e c t r o n s i n a t o m s a . T h e l i n e s p e c t r u m o f h y d r o g e n 5 . D o e l e c t r o n s h a v e w a v e p r o p e r t i e s ? ( 1 ) L i g h t - - p h o t o n s o r w a v e s ? ( 2 ) A p p l i c a t i o n o f P l a n c k ' s a n d E i n s t e i n ' s e q u a t i o n s t o p h o t o n s ( 3 ) d e B r o g l i e ' s w a v e t r e a t m e n t o f t h e e l e c t r o n c . A w a v e e q u a t i o n f o r e l e c t r o n s i n a t o m s ( 1 ) S p h e r i c a l v i b r a t i o n s ( 2 ) B o u n d a r y c o n d i t i o n s ( 3 ) Q u a n t i z a t i o n o f e l e c t r o n v i b r a t i o n s t o f i t t h e l i n e s p e c t r u m ; d i s c r e t e e n e r g y s t a t e s ( 4 ) T h e s c h r o d i n g e r e q u a t i o n d . L o c a t i o n s o f e l e c t r o n s i n a t o m s ; H e i s e n b e r g ' s u n c e r t a i n t y p r i n c i p l e ( I ) T h e o r d i n a r y w o r l d v e r s u s t h e a t o m i c w o r l d ( 2 ) M o m e n t u m o p o s i t i o n a n d e n e r g y - t i m e s t a t e m e n t s e . E l e c t r o n p r o b a b i l i t y d e n s i t i e s a n d w a v e p r o p e r t i e s 6 . T h e h y d r o g e n a t o m a . E n e r g y l e v e l s o f e l e c t r o n s ; g r o u n d a n d e x c i t e d s t a t e s b . S o l u t i o n s t o t h e w a v e e q u a t i o n ; q u a n t u m n u m b e r s ( 1 ) O r b i t a l s ( 2 ) S y m b o l s , n a m e s , a n d s i g n i f i c a n c e o f q u a n t u m n u m b e r s c . T h e f i r s t o r b i t a l o f h y d r o g e n ( 1 ) C l o u d p i c t u r e ( 2 ) P o i n t p r o b a b i l i t y - - d e f i n e a n d p l o t ( 3 ) R a d i a l p r o b a b i l i t y - - d e f i n e a n d p l o t d . T h e s e c o n d o r b i t a l o f h y d r o g e n ( 1 ) C l o u d p i c t u r e ( 2 ) R a d i a l p r o b a b i l i t y p l o t E m i s s i o n s p e c t r o s c o p y a . F i l m o n e m i s s i o n s p e c t r o s c o p y b . " H a n d s o n " u s e o f a B u n s e n s p e c t r o s c o p e w i t h G e i s s l e r t u b e s o u r c e s c . " H a n d s o n " e x p e r i m e n t s w i t h N i c h r o m e w i r e f l a m e t e s t s 7 . T h e q u a n t u m n u m b e r s a . P r o b a b i l i t y s u r f a c e s b . T h e p r i n c i p a l q u a n t u m n u m b e r ( 1 ) R e p r e s e n t s m a i n e n e r g y l e v e l s ( 2 ) P o s s i b l e v a l u e s c . T h e a z i m u t h a l q u a n t u m n u m b e r ( 1 ) P o s s i b l e v a l u e s ( 2 ) D e s c r i b e s o r b i t a l s h a p e s a n d s y m m e t r i e s ( a ) g o r b i t a l s ; s p h e r i c a l s y m m e t r y ( b ) p o r b i t a l s ; d u m b b e l l s ( c ) H i g h e r q u a n t u m n u m b e r o r b i t a l s d . T h e m a g n e t i c q u a n t u m n u m b e r ( 1 ) P o s s i b l e v a l u e s ( 2 ) O r i e n t a t i o n s o f p o r b i t a l s e . T h e s p i n q u a n t u m n u m b e r ( 1 ) E x p e r i m e n t a l e v i d e n c e ( 2 ) P o s s i b l e v a l u e s ( 3 ) D i a m a g n e t i s m a n d p a r a m a g n e t i s m f . E l e c t r o n c o n f i g u r a t i o n s T o p i c 5 . P E R I O D I C P R O P E R T I E S O F T H E E L E M E N T S l . T h e a u f b a u p r i n c i p l e 2 . C o n s t r u c t i o n o f a p e r i o d i c t a b l e b a s e d o n e l e c t r o n c o n f i g u r a t i o n s 3 . T h e p h e n o m e n o n o f p e r i o d i c i t y a . H i s t o r y b . S i g n i f i c a n c e T a b l e A . 1 ( c o n t ' d ) 2 7 7 4 . P e r i o d i c p r e p e r t i e s o f t h e e l e m e n t s a . M e l t i n g p o i n t a n d h e a t o f f u s i o n b . B o i l i n g p o i n t a n d h e a t o f v a p o r i z a t i o n c . D e n s i t y ~ d . A t o m i c o r m o l e c u l a r v o l u m e e . E l e c t r i c a l c o n d u c t i v i t y f . T h e r m a l c o n d u c t i v i t y 5 . T h e m e a s u r e m e n t o f e l e c t r o n a t t r a c t i o n a . I o n i z a t i o n p o t e n t i a l b . E l e c t r o n a f f i n i t y c . E l e c t r o n e g a t i v i t y 6 . P e r i o d i c i t y i n e l e c t r o n a t t r a c t i o n a . T r e n d s i n t h e p e r i o d i c t a b l e b . C o r r e l a t i o n s w i t h e l e c t r o n i c s t r u c t u r e s o f t h e e l e m e n t s 7 . A s u r v e y o f t h e e l e m e n t s a . T h e i n e r t g a s e s ( 1 ) E l e c t r o n i c c h a r a c t e r i s t i c s ( 2 ) C o m p o u n d s o f t h e i n e r t g a s e s b . T h e r e g u l a r n o n m e t a l : c . T h e r e g u l a r m e t a l s d . T r a n s i t i o n m e t a l s e . L a n t h a n i d e s a n d a c t i n i d e s T o p i c 6 . C H E M I C A L B O N D I N G l . T h e c o n c e p t o f a b o n d . T y p e s o f f o r c e s b e t w e e n a t o m s a . E l e c t r o s t a t i c f o r c e s ; s i m p l e i o n i c b o n d s b . C o v a l e n t o r e l e c t r o n - p a i r b o n d s 3 . A p p l i c a t i o g o f w a v e m e c h a n i c s t o m o l e c u l a r s t r u c t u r e a . T h e H 2 a n d H 2 m o l e c u l e s b . C o m b i n a t i o n s o f a t o m i c o r b i t a l s c . B o n d i n g a n d a n t i b o n d i n g o r b i t a l s 4 . M o l e c u l a r o r b i t a l s i n n o n p o l a r d i a t o m i c m o l e c u l e s a . S i g m a b o n d s : f o r m a t i o n a n d s y m m e t r y b . P i b o n d s : f o r m a t i o n a n d s y m m e t r y c . O r d e r o f e n e r g y l e v e l s d . M o l e c u l a r o r b i t a l p i c t u r e s o f H 2 , H e z , a n d L i 2 5 . E l e c t r o n p r o b a b i l i t y d e n s i t y p a t t e r n s i n c o v a l e n t b o n d s a . E f f e c t o f e l e c t r o n a t t r a c t i o n d i f f e r e n c e s o n c h a r g e d e n d i t y p a t t e r n s b . P o l a r i z i b i l i t i e s o f e l e c t r o n c l o u d s c . B o n d s t r e n g t h a n d c l o u d d e n s i t y d . T h e t r a n s i t i o n f r o m n o n p o l a r b o n d s t o i o n i z a t i o n 6 . C o r r e l a t i o n s b e t w e e n b o n d t y p e s a n d t h e p r o p e r t i e s o f c o m p o u n d s 7 . P o l y a t o m i c m o l e c u l e s a n d d i r e c t e d b o n d s ; h y b r i d i z a t i o n B . L e w i s f o r m u l a s a . H o w t o w r i t e e l e c t r o n - d o t s t r u c t u r e s b . R e s o n a n c e M o l e c u l a r s p e c t r o s c o p y a . F i l m o n i n f r a r e d s p e c t r o s c o p y T o p i c 7 . M O L E C U L A R S T R U C T U R E A N D S T E R E O C H E M I S T R Y l . T h e s i g n i f i c a n c e o f d i r e c t e d b o n d s ; s t e r e o c h e m i s t r y 2 . F a c t o r s i n f l u e n c i n g m o l e c u l a r s t e r e o c h e m i s t r y a . A t o m i c a n d i o n i c r a d i i ( 1 ) B o n d l e n g t h s ( 2 ) B o n d a n g l e s ( 3 ) C o o r d i n a t i o n n u m b e r b . B o n d c h a r a c t e r ; r e s t r i c t i o n s i n r o t a t i o n c . I n t r a m o l e c u l a r a n d i n t e r m o l e c u l a r i n t e r a c t i o n s ( 1 ) T h e e f f e c t o f e l e c t r o n r e p u l s i o n o n m o l e c u l a r g e o m e t r y ( 2 ) T h e r o l e o f u n s h a r e d ( l o n e ) p a i r s ( 3 ) T h e e f f e c t o f m u l t i p l e b o n d i n g o n m o l e c u l a r g e o m e t r y 3 . B e n d i n g o r b i t a l s . l o n e p a i r s , a n d h y b r i d i z a t i o n 4 . K i n d s o f m o l e c u l a r g e o m e t r y a . L i n e a r b . T r i a n g u l a r c . T e t r a h e d r a l d . O c t a h e d r a l 2 7 8 T a b l e A . 1 ( c o n t ' d ) S y m m e t r y i n c r y s t a l s a n d m o l e c u l e s a . I d e n t i f y s y m m e t r y e l e m e n t s i n a s e l e c t e d g r o u p o f c r y s t a l m o d e l s b . I d e n t i f y s y m m e t r y e l e m e n t s i n v a r i o u s k i n d s o f h y b r i d o r b i t a l s e t s c . I d e n t i f y s y m m e t r y e l e m e n t s i n a s e l e c t e d g r o u p o f s t i c k - a n d - b a l l m o l e c u l a r m o d e l s a n d i d e n t i f y r e a l s u b s t a n c e s w h o s e m o l e c u l e s c o r r e s p o n d t o t h e m o d e l s T o p i c 8 . H Y D R O G E N , O X Y G E N . A N D T H E I R C O M P O U N D S 1 . O c c u r r e n c e a n d g e n e r a l c h a r a c t e r i s t i c s o f t h e e l e m e n t s 2 . P r o d u c t i o n o f t h e e l e m e n t s a . I n d u s t r i a l p r o c e s s e s b . S o m e l a b o r a t o r y r e a c t i o n s t h a t p r o d u c e h y d r o g e n a n d o x y g e n 3 . E l e c t r o n i c s t r u c t u r e s o f t h e 5 1 a n d O 2 m o l e c u l e s 4 . T h e f o r m a t i o n a n d r e a c t i o n s o f h y d r o g e n a n d o x y g e n c o m p o u n d s o f r e g u l a r e l e m e n t s a . E m p h a s i s o n h y d r o g e n a n d o x y g e n c o m p o u n d s o f p e r i o d s 2 a n d 3 b . M e t a l h y d r i d e s a n d o x i d e s ( 1 ) F o r m a t i o n ( 2 ) B o n d i n g ( 3 ) R e a c t i o n s w i t h w a t e r ( a ) G a s e v o l u t i o n ( b ) F o r m a t i o n o f a c i d i c o r b a s i c s o l u t i o n s c . C o m p o u n d s c o n t a i n i n g d i s c r e t e m o l e c u l e s ; n o n m e t a l c o m p o u n d s ( 1 ) F o r m a t i o n ( 2 ) B o n d i n g ( 3 ) T r e n d s i n t h e r e a c t i o n w i t h w a t e r 5 . S u m m a r y o f t r e n d s : r e l a t i o n s h i p b e t w e e n e l e c t r o n i c s t r u c t u r e . b o n d t y p e , a n d p r o p e r t i e s T o p i c 9 . S T A T E S O F M A T T E R A N D T H E I R T R A N S F O R M A T I O N S 1 . S o m e p r o p e r t i e s o f s o l i d s . l i q u i d s . a n d g a s e s . S y s t e m s o f m a t t e r a . D e f i n i t i o n o f a s y s t e m b . S i m p l e p h a s e d i a g r a m s . ( 1 ) D e f i n i t i o n o f a p h a s e ( 2 ) P h a s e d i a g r a m o f w a t e r ; a r e a s , l i n e s , a n d t h e t r i p l e p o i n t 3 . S o m e p r o p e r t i e s o f g a s e s a . M o l e c u l a r m o t i o n ( 1 ) T h e v e l o c i t i e s o f g a s m o l e c u l e s ( 2 ) D i f f u s i o n o f g a s e s ; G r a h a m ' s l a w ( 3 ) P r e s s u r e a n d i t s m e a s u r e m e n t b . T e m p e r a t u r e a n d t h e m o t i o n s o f g a s m o l e c u l e s 4 . T h e c o n c e p t o f a n i d e a l g a s 5 . T h e i d e a l g a s e q u a t i o n ; t h e g a s c o n s t a n t , R 6 . C a l c u l a t i o n s i n v o l v i n g t h e i d e a l g a s e q u a t i o n 7 . P r e s s u r e - v o l u m e , t e m p e r a t u r e - v o l u m e a n d p r e s s u r e - t e m p e r a t u r e c a l c u l a t i o n s 8 . S i m u l t a n e o u s t e m p e r a t u r e - p r e s s u r e c h a n g e s 9 . Q u a n t i t y c a l c u l a t i o n s ; m o l e c u l a r w e i g h t ; d e n s i t y 1 0 . M i x t u r e s o f g a s e s ; p a r t i a l p r e s s u r e s 1 1 . D e v i a t i o n s f r o m i d e a l g a s b e h a v i o r ; a c c u r a c y o f t h e g a s l a w s 1 2 . T h e c o n d e n s a t i o n o f g a s e s ; c r i t i c a l t e m p e r a t u r e a n d c r i t i c a l p r e s s u r e 1 3 . S t r u c t u r e i n l i q u i d s l 4 . S o l i d - l i q u i d t r a n s f o r m a t i o n s a . F r e e z i n g a n d m e l t i n g b . T h e p h e n o m e n o n o f e q u i l i b r i u m ; t h e s y m b o l c . S o l i d o h e a t o f f u s i o n ‘ » l i q u i d d . E x o t h e r m i c a n d e n d o t h e r m i c p r o c e s s e s a . L e C h a t e l i e r ' s p r i n c i p l e ; a p p l i c a t i o n t o p h a s e t r a n s f o r m a t i o n s l s . C o o l i n g c u r v e s a n d u n d e r c o o l i n g l 6 . L i q u i d - g a s t r a n s f o r m a t i o n s a . V a p o r p r e s s u r e s o f l i q u i d s ; e q u i l i b r i u m ; e v a p o r a t i o n b . F a c t o r s i n f l u e n c i n g v a p o r p r e s s u r e v a l u e s c . L i q u i d 9 h e a t o f v a p o r i z a t i o n - . g a s d . B o i l i n g p o i n t a n d i t s v a r i a t i o n w i t h p r e s s u r e 2 7 9 T a b l e A . 1 ( c o n t ' d ) l 7 . S o l i d ~ g a s t r a n s f o r m a t i o n s a . V a p o r p r e s s u r e s o f s o l i d s ; t h e e s c a p i n g t e n d e n c y ; e q u i l i b r i u m b . F a c t o r s i n f l u e n c i n g v a p o r p r e s s u r e v a l u e s ( 1 ) I n t e r m o l e c u l a r f o r c e s ( 2 ) T e m p e r a t u r e c . S u b l i m a t i o n : s o l i d + h e a t o f s u b l i m a t i o n . . g a s d . T h e n o r m a l s u b l i m a t i o n t e m p e r a t u r e e . T h e p h a s e d i a g r a m o f c a r b o n d i o x i d e T o p i c 1 0 . C H E M I C A L E Q U I L I B R I A l . T h e e x t e n t o f c h e m i c a l r e a c t i o n s 2 . R e a c t i o n s w h i c h g o t o c o m p l e t i o n a . A p r e c i p i t a t e i s f o r m e d b . A g a s i s l i b e r a t e d c . A w e a k e l e c t r o l y t e i s p r o d u c e d d . O x i d a t i o n - r e d u c t i o n o c c u r s 3 . T h e n a t u r e o f c h e m i c a l e q u i l i b r i u m ; r a t e s o f r e a c t i o n s 4 . T h e e f f e c t o f p r e s s u r e o n e q u i l i b r i a a . S o l i d s a n d l i q u i d s b . g a s e s 5 . T h e e q u i l i b r i u m c o n s t a n t a . T h e e q u i l i b r i u m l a w a n d t h e e q u i l i b r i u m c o n s t a n t b . C o r r e l a t i o n s w i t h L e C h a t e l i e r ' s p r i n c i p l e 6 . E f f e c t s o f e x p e r i m e n t a l c o n d i t i o n s o n t h e e q u i l i b r i u m y i e l d o f a r e a c t i o n a . E f f e c t o f c o n c e n t r a t i o n i n s o l u t i o n b . E f f e c t o f p r e s s u r e c . E f f e c t o f t e m p e r a t u r e 7 . C a l c u l a t i o n s b a s e d o n t h e e u i l i b r i u m l a w ( o t h e r t h a n s o l u t i o n e q u i l i b r i a ) ' a . H o m o g e n e o u s e q u i l i b r i a % g a s e o u s s y s t e m s ) b . H e t e r o g e n e o u s e q u i l i b r i a T o p i c 1 1 . S O L U T I O N S l . T h e n a t u r e o f s o l u t i o n s ; d e f i n i t i o n s ; g a s e o u s . l i q u i d , a n d s o l i d s o l u t i o n s 2 . T h e s o l u t i o n p r o c e s s a . I o n i c s o l u t e s b . C o v a l e n t s o l u t e s c . S o l u t e s w h i c h e x h i b i t b o t h i o n i c a n d c o v a l e n t p r o p e r t i e s ( I ) S o a p s a n d d e t e r g e n t s ; m i c e l l e s ( 2 ) B i o l o g i c a l l y i m p o r t a n t m o l e c u l e s 3 . F a c t o r s w h i c h a f f e c t t h e s o l u b i l i t y o f a s o l u t e i n a s o l v e n t a . M o l e c u l a r a s p e c t s o f t h e s o l u t i o n p r o c e s s ; c h a r a c t e r o f t h e s o l u t e a n d s o l v e n t ( 1 ) N o n p o l a r a n d p o l a r m o l e c u l e s ; h y d r o g e n b o n d i n g ( 2 ) I o n s o l v a t i o n ( 3 ) S i z e a n d c h a r g e o f i o n s ( 4 ) D i e l e c t r i c c o n s t a n t o f t h e s o l v e n t . . b . E n e r g e t i c s o f s o l u t i o n ; t e m p e r a t u r e a n d p r e s s u r e e f f e c t s o n s o l u b i l i t i e s 4 . S o m e s o l u b i l i t y g e n e r a l i z a t i o n s ' 5 . M e t h o d s o f e x p r e s s i n g t h e c o m p o s i t i o n o f s o l u t i o n s a . P e r c e n t a g e c o m p o s i t i o n ( b y w e i g h t ) b . M o l a l i t y c . M o l a r i t y d . N o r m a l i t y 6 . C o l l i g a t i v e p r o p e r t i e s o f s o l u t i o n s a . E x p l a n a t i o n a n d d e f i n i t i o n s b . T h e v a p o r p r e s s u r e - t e m p e r a t u r e p l o t f o r w a t e r a n d s o l u t i o n s ( 1 ) N o n e l e c t r o l y t e s ( 2 ) E l e c t r o l y t e s c . F r e e z i n g p o i n t d e p r e s s i o n d . B o i l i n g p o i n t e l e v a t i o n e . D i f f u s i o n t h r o u g h s e m i p e r m e a b l e m e m b r a n e s ( 1 ) T h e p r o c e s s ; e x p e r i m e n t a l m e t h o d s ( 2 ) D i a l y s i s ( 3 ) O s m o s i s 7 . T r a n s p o r t o f b i o l o g i c a l m a t e r i a l T o p i c 1 2 . I O N I C E Q U I L I B R I A l . T h e e l e c t r i c a l c o n d u c t i v i t i e s o f s o l u t i o n s ; s p e c i f i c a n d e q u i v a l e n t c o n d u c t a n c e a . N o n e l e c t r o l y t e s b . E l e c t r o l y t e s ; t h e f o r m a t i o n o f i o n s ( 1 ) S t r o n g e l e c t r o l y t e s ; s a l t s , c e r t a i n a c i d s a n d b a s e s ( 2 ) W e a k e l e c t r o l y t e s ; r e a c t i o n s o f s o l u t e s w i t h s o l v e n t 2 . C l a s s i f i c a t i o n o f i o n s a . A n i o n s a n d c a t i o n s b . S i m p l e a n d c o m p l e x i o n s 3 . H o w t o w r i t e i o n i c e q u a t i o n s 2 8 0 T a b l e A . 1 ( c o n t ' d ) 4 . D e g r e e o f i o n i z a t i o n a . P e r c e n t i o n i z a t i o n o f a w e a k e l e c t r o l y t e b . B e h a v i o r o f s t r o n g e l e c t r o l y t e s 5 . T h e i n t e r i o n i c a t t r a c t i o n t h e o r y ( D e b y e - H u c k e l ) a . T h e i o n i c a t m o s p h e r e ; i o n s o l v a t i o n b . V e l o c i t i e s o f i o n m i g r a t i o n ( 1 ) T h e d r a g e f f e c t ( 2 ) T h e r e l a x a t i o n e f f e c t c . A p p a r e n t d e g r e e o f i o n i z a t i o n o f w e a k a n d s t r o n g e l e c t r o l y t e s 6 . D e f i n i t i o n s o f a c i d s a n d b a s e s a . A r r h e n i u s d e f i n i t i o n s o f a c i d , b a s e , n e u t r a l i z a t i o n b . E x t e n s i o n t o n o n a q u e o u s s o l v e n t s ; s o l v e n t s y s t e m d e f i n i t i o n s c . L e w i s d e f i n i t i o n s o f a c i d . b a s e , n e u t r a l i z a t i o n d . A d v a n t a g e s a n d d i s a d v a n t a g e s o f t h e v a r i o u s a p p r o a c h e s 7 . E q u i v a l e n t w e i g h t s a n d n o r m a l i t i e s o f a c i d s a n d b a s e s a . T h e m e a n i n g o f e q u i v a l e n c e b . C a l c u l a t i o n o f t h e e q u i v a l e n t w e i g h t ( 1 ) A c i d s a n d b a s e s ( 2 ) O x i d i z i n g a n d r e d u c i n g a g e n t s 8 . A p p l i c a t i o n s o f t h e c o n c e p t o f e q u i v a l e n c e ; t i t r a t i o n a . T h e n o r m a l i t y o f a s o l u t i o n b . H e i g h t s a n d e q u i v a l e n t w e i g h t s f r o m n o r m a l i t y a n d v o l u m e ; c a l c u l a t i o n o f t h e n u m b e r o f e q u i v a l e n t s i n a s a m p l e c . T i t r a t i o n ( l ) C a l c u l a t i o n s ( 2 ) T e c h n i q u e s T o p i c 1 3 . s q u m n n u I N A Q U E O U S S O L U T I O N S ‘ l . T h e i o n i z a t i o n O f w a t e r a . T h e i o n p r o d u c t c o n s t a n t _ f o r w a t e r , K w b . C a l c u l a t i o n o f H a n d O H c o n c e n t r a t i o n s i n w a t e r 2 . T h e p H s c a l e a . D e f i n i t i o n o f p H b . T h e p H o f s o l u t i o n s a n d t h e i r a c i d i t y o r b a s i c i t y 3 . E q u i l i b r i a i n s o l u t i o n s o f w e a k a c i d s o r b a s e s a . E x a m p l e s ( 1 ) M o l e c u l a r a c i d s a n d b a s e s ( 2 ) I o n s t h a t b e h a v e a s a c i d s o r b a s e s ( 3 ) H y d r a t e d m e t a l i o n s w i t h a c i d i c o r b a s i c p r o p e r t i e s b . A m p h o t e r i s m c . T h e d e g r e e o f i o n i z a t i o n _ d . C a l c u l a t i o n o f [ H ] a n d [ O H ] i n s o l u t i o n s o f w e a k a c i d s o r b a s e s 4 . T h e c o m m o n i o n e f f e c t 5 . S u c c e s s i v e i o n i z a t i o n s o f p o l y p r o t i c a c i d s a . E s t i m a t i o n o f i o n i z a t i o n c o n s t a n t s ( P a u l i n g ' s r u l e s ) b . C a l c u l a t i o n s 6 . H y d r o l y s i s 7 . H y d r o l y s i s r e a c t i o n s o f i o n s ; b o n d s t r e n g t h s a . A n i o n h y d r o l y s i s b . C a t i o n h y d r o l y s i s c . S a l t s w h i c h d o n o t h y d r o l y z e 8 . H y d r o l y s i s o f c o v a l e n t c o m p o u n d s 9 . E q u i l i b r i u m c a l c u l a t i o n s i n h y d r o l y s i s r e a c t i o n s a . T h e h y d r o l y s i s c o n s t a n t b . C a l c u l a t i o n o f s o l u t i o n p H c . C a l c u l a t i o n o f p e r c e n t h y d r o l y s i s l o . B u f f e r s o l u t i o n s a . D e f i n i t i o n s a n d s i g n i f i c a n c e b . S u b s t a n c e s w h i c h a c t a s b u f f e r s ( l ) A w e a k a c i d a n d a s a l t o f t h e a c i d ( 2 ) A w e a k b a s e a n d a s a l t o f t h e b a s e c . C a l c u l a t i o n o f t h e p H o f b u f f e r e d s o l u t i o n s 1 1 . T i t r a t i o n c u r v e s f o r a c i d - b a s e r e a c t i o n s 1 2 . E q u i l i b r i a i n v o l v i n g i n d i c a t o r s a . T h e i n d i c a t o r e u i l i b r i u m c o n s t a n t , K b . T h e p K o f a n i n i c a t o r a n d i t s s i g n i f i e a n c e c . C o l o r c h a n g e s o f s o m e i m p o r t a n t i n d i c a t o r s 1 3 . H e t e r o g e n e o u s e q u i l i b r i a a . T h e s o l u b i l i t y p r o d u c t b . C a l c u l a t i o n o f s o l u b i l i t y f r o m t h e s o l u b i l i t y p r o d u c t c . P r e c i p i t a t i o n r e a c t i o n s d . P r o b l e m s i n t h e d i s s o l v i n g o f a p r e c i p i t a t e T a b l e A . 2 2 8 1 O b j e c t i v e s f o r s y l l a b u s u n i t s o f C E M 1 3 0 a n d 1 3 1 U n i t O b j e c t i v e s 1 T h i s u n i t i s i n t e n d e d t o s u g g e s t h o w c h e m i s t s g o a b o u t t h e i r w o r k a n d t o d e f i n e w h a t c h e m i s t r y i s c o n c e r n e d w i t h . . . . Y o u s h o u l d g e t a c l e a r c o n c e p t i o n o f t h e g e n e r a l n a t u r e o f m a t t e r a n d e n e r g y . . . Y o u s h o u l d l e a r n s e v e r a l p r i n c i p l e s o f m e a s u r e m e n t . . . Y o u s h o u l d l e a r n t o i d e n t i f y p h y s i c a l p r o p e r t i e s . Y o u s h o u l d b e c o m e a c q u a i n t e d w i t h [ t h e a n a l y t i c a l ] b a l a n c e - e s p e c i a l l y t h e s i n g l e p a n f o r m u s e d i n l a b o r a t o r i e s e v e r y w h e r e - a n d w i t h t h e l e s s p r e c i s e c e n t i g r a m b a l a n c e s c o m m o n l y u s e d w h e n l e s s a c c u r a c y i s n e e d e d . I n U n i t 3 y o u s h o u l d l e a r n h o w t o d e t e r m i n e t h e n u m b e r O f e l e c t r o n s , p r o t o n s , a n d n e u t r o n s i n a n a t o m f r o m t h e m a s s n u m b e r a n d a t o m i c n u m b e r . A t t h e s a m e t i m e y o u s h o u l d b e c o m e a c q u a i n t e d w i t h s o m e c h a r a c t e r i s t i c s O f e l e c t r o n s , p r o t o n s , a n d n e u t r o n s a n d y o u s h o u l d c o m e t o u n d e r s t a n d t h e t e r m s [ i n t h e s y l l a b u s ] . F i n a l l y , y o u s h o u l d l e a r n t h e n a m e s a n d c h e m i c a l s y m b o l s O f t h e c o m m o n e l e - m e n t s l i s t e d i n t h e s t u d y g u i d e . Y o u w i l l f i r s t l e a r n a b o u t t h e u s e f u l c o n c e p t o f o x i d a t i o n s t a t e . Y o u s h o u l d b e a b l e t o f i n d t h e o x i d a t i o n n u m b e r O f a n e l e m e n t w h e n i t i s i n a n e l e c t r i c a l l y n e u t r a l c o m p o u n d o r a c h a r g e d c o m p o u n d ( a n i o n ) . Y o u w i l l t h e n l e a r n a f e w s i m p l e r u l e s f o r n a m i n g c o m p o u n d s . Y o u m u s t l e a r n e x a c t l y w h a t i n f o r m a t i o n a c h e m i c a l e q u a t i o n t e l l s y o u . a n d y o u s h o u l d b e a b l e t o b a l a n c e e q u a t i o n s w h e n y o u a r e fi n i s h e d w i t h t h i s u n i t . Y o u n e e d t o b e f a m i l i a r w i t h t e r m s r e l a t e d t o t h e m o l e c o n c e p t a n d b e a b l e t o u s e t h e m t o s o l v e p r o b l e m s . Y o u s h o u l d b e a b l e t o c o m - p u t e a m o l e c u l a r w e i g h t f r o m a g i v e n f o r m u l a . . . . y o u w i l l l e a r n t o m e a s u r e m a s s i n g r a m s o r m o l e s , i n t e r c o n v e r t t h e s e t w o , a n d c a l c u l a t e t h e n u m b e r o f p a r t i c l e s i n a s a m p l e . Y o u s h o u l d b e a b l e t o c a l c u l a t e p e r c e n t a g e c o m p o s i t i o n g i v e n a f o r - m u l a a n d a r r i v e a t a f o r m u l a g i v e n p e r c e n t c o m p o s i t i o n d a t a . Y o u s h o u l d b e a b l e t o t e l l w h a t h a p p e n s i n a r e a c t i o n o n b o t h a m o l e c - u l a r a n d m o l a r l e v e l b y i n s p e c t i o n O f t h e b a l a n c e d e q u a t i o n . Y o u s h o u l d a l s o b e a b l e t o d o c a l c u l a t i o n s i n v o l v i n g c o n v e r s i o n o f m o l e s t o g r a m s a n d v i c e v e r s a . Y o u s h o u l d l e a r n t o f i n d t h e l i m i t i n g r e a - g e n t i n a c h e m i c a l r e a c t i o n . Y o u s h o u l d d e v e l o p a f e e l i n g f o r t h e s i z e o f a m o l e . 2 8 2 T a b l e A . 2 ( c o n t ' d ) U n i t O b j e c t i v e s 9 , Y o u s h o u l d b e c o m e m o r e f a m i l i a r w i t h t h e p r o p e r t i e s o f s o l i d s , l l 1 2 1 3 1 4 , 1 5 1 6 1 7 p a r t i c u l a r l y o n a m o l e c u l a r s c a l e . Y o u s h o u l d s e e t h a t a f o r m u l a u n i t i s a r e p r e s e n t a t i o n o f a c o n t i n u o u s t h r e e - d i m e n s i o n a l h i g h l y o r d e r e d a g g r e g a t e . Y o u s h o u l d l e a r n t h e v a r i o u s t y p e s o f s p a t i a l a r r a n g e m e n t s . . . a n d s h o u l d b e c o m e f a m i l i a r w i t h . . . s y m m e t r y o p e r a t i o n s w h i c h a l l o w t h e s e m o l e c u l a r p a t t e r n s t o e x i s t . Y o u s h o u l d l e a r n t h e m e a n i n g o f t e r m s u s e d i n m e a s u r i n g w a v e s . Y o u s h o u l d a l s o l e a r n t o d e s c r i b e s o m e d i f f e r e n t t y p e s o f w a v e s a n d h o w t h e s e d i f f e r e n t t y p e s o f w a v e s i n t e r a c t w i t h e a c h o t h e r a n d w i t h m a t e r i a l o b j e c t s . Y o u s h o u l d l e a r n s o m e o f t h e p r o p e r t i e s o f e l e c t r o m a g n e t i c r a d i a - t i o n a n d h o w t h e s e p r o p e r t i e s c h a n g e w i t h v a r i a t i o n s i n w a v e l e n g t h o f t h e r a d i a t i o n . Y o u s h o u l d a l s o l e a r n s o m e o f t h e s o u r c e s o f d i f - f e r e n t t y p e s o f r a d i a t i o n a n d s o m e m e a n s o f d e t e c t i n g r a d i a t i o n i n d i f f e r e n t r e g i o n s o f t h e e l e c t r o m a g n e t i c s p e c t r u m . Y o u w i l l s e e t h a t t h e w a v e p r o p e r t i e s o f . . . x - r a y s l e a d t o i n t e r a c - t i o n s w i t h c r y s t a l l i n e c o m p o u n d s w h i c h g i v e d a t a t h a t a l l o w [ o n e ] t o d e t e r m i n e t h e p o s i t i o n s o f a t o m s o r i o n s i n a c r y s t a l , a n d h e n c e t h e i r i n t e r a t o m i c d i s t a n c e s . Y o u w i l l s e e h o w c a l c u l a t i o n s w i t h t h e B r a g g e q u a t i o n c a n b e a d a p t e d f o r u s e w i t h a p o w d e r e d s a m p l e . Y o u w i l l l e a r n t h a t o t h e r f o r m s o f m a t t e r . . . a s w e l l a s e l e c t r o m a g - n e t i c r a d i a t i o n c a n u n d e r g o d i f f r a c t i o n . Y o u w i l l a l s o l e a r n m o r e a b o u t c r y s t a l g r o v v t h a n d n o t e t h a t f e w , i f a n y , c r y s t a l s a r e t r u l y p e r f e c t , a n d w i l l h a v e a n o p p o r t u n i t y t o e x a m i n e s o m e c r y s t a l m o d - e l s s o t h a t y o u c a n v i s u a l i z e b e t t e r t h r e e - d i m e n s i o n a l s t r u c t u r e s . Y o u s h o u l d k n o w h o w o b s e r v a t i o n s o f t h e c h a r a c t e r i s t i c s o f b l a c k b o d y r a d i a t o r s l e a d t o t h e q u a n t u m t h e o r y o f e n e r g y , w h a t t h e q u a n - t u m t h e o r y i s a b o u t , h o w a s p e c t r o s c o p e w o r k s , h o w e m i s s i o n a n d a b s o r p t i o n s p e c t r o s c o p y d i f f e r , h o w e m i s s i o n s p e c t r o s c o p y p r o v i d e s i n f o r m a t i o n a b o u t a t o m i c s t r u c t u r e , a n d h o w v i b r a t i o n o f s t r i n g s a n d d r u m s r e p r e s e n t u s e f u l a n a l o g i e s t o t h e e l e c t r o n i c b e h a v i o r o f a t o m s , e s p e c i a l l y w i t h r e s p e C t t o l i n e s p e c t r a . Y o u s h o u l d l e a r n t h a t o n l y d i s c r e t e e n e r g y v a l u e s a r e a l l o w a b l e i n a t o m s . Y o u s h o u l d b e c o m e a c q u a n i t e d w i t h t h e l i n e s p e c t r u m o f h y d r o g e n a n d i t s i m p l i c a t i o n s , a n d y o u s h o u l d d e v e l o p a n u n d e r s t a n d - i n g o f t h e H e i s e n b e r g u n c e r t a i n t y p r i n c i p l e . F i n a l l y , y o u s h o u l d d e - v e l o p s o m e a p p r e c i a t i o n f o r t h e m e a n i n g o f e l e c t r o n p r o b a b i l i t y d e n s i t y . 2 8 3 T a b l e A . 2 ( c o n t ' d ) U n i t O b j e c t i v e s 1 8 Y o u w i l l l e a r n t h a t t h e w a v e n a t u r e o f e l e c t r o n s i s d e s c r i b e d b y t h e 1 9 2 0 2 1 2 2 2 3 2 4 2 5 S c h r o e d i n g e r e q u a t i o n a n d h o w t h i s e q u a t i o n d e s c r i b e s t h e e l e c t r o n a n d t h e o r b i t a l s i t m a y o c c u p y i n t h e h y d r o g e n a t o m . Y o u w i l l o b s e r v e t h e e m i s s i o n s o f s e v e r a l a t o m s w h i c h y o u w i l l e x c i t e b y a fl a m e o r a n e l e c t r i c a l s p a r k . Y o u w i l l l e a r n t h e d e f i n i - t i o n s o f e m i s s i o n a n d a b s o r p t i o n s p e c t r a a n d t h e s t r u c t u r e a n d u s e s o f a s p e c t r o s c o p e . Y o u s h o u l d b e c o m e f a m i l i a r w i t h t h e q u a n t u m n u m b e r s - h o w t h e y a r i s e , w h a t v a l u e s t h e y h a v e , a n d w h a t t h e y d e s c r i b e a b o u t t h e o r b i - t a l s w i t h w h i c h t h e y a r e a s s o c i a t e d . [ Y o u w i l l ] l e a r n t o w r i t e t h e e l e c t r o n c o n f i g u r a t i o n o f a n y e l e m e n t a c c o r d i n g t o a s e t o f r u l e s . . . . u n d e r s t a n d h o w t h e p e r i o d i c t a b l e c a n b e c o n s t r u c t e d b y a r r a n g i n g t h e e l e m e n t s s o t h a t t h o s e w i t h s i m i l a r e l e c t r o n c o n f i g u r a t i o n s a r e g r o u p e d t o g e t h e r . . . . k n o w w h a t i s m e a n t b y t h e p h e n o m e n o n o f p e r i o d i c i t y , a n d y o u s h o u l d k n o w s o m e t h i n g o f t h e h i s t o r y a n d s i g n i f i c a n c e o f t h e p e r i o d i c t a b l e . Y o u s h o u l d m e m o r i z e t r e n d s [ i n p h y s i c a l a n d c h e m i c a l p r o p e r t i e s o f t h e e l e m e n t s ] a n d s h o u l d t r y t o r a t i o n a l i z e t h e m o n t h e b a s i s o f a n a t o m ’ s s t r u c t u r e a n d i t s p o s i t i o n i n t h e p e r i o d i c t a b l e . T a k e s p e c i a l ‘ n o t e o f t h e c o n c e p t o f e l e c t r o n e g a t i v i t y . Y o u s h o u l d t a k e a c l o s e r l o o k a t . . . e l e c t r o n a t t r a c t i o n - a n d s e e h o w i t c o r r e l a t e s w i t h e l e c t r o n c o n f i g u r a t i o n . Y o u s h o u l d l e a r n t h e n a m e s o f i m p o r t a n t s e c t i o n s o f t h e p e r i o d i c t a b l e a n d o f i m p o r t a n t g r o u p s o f e l e m e n t s , a n d y o u s h o u l d l e a r n t h e g e n e r a l c h a r a c t e r i s t i c s o f t h e e l e c t r o n c o n f i g u r a t i o n s o f t h e e l e m e n t s w h i c h c o m p r i s e t h o s e p a r t s o f t h e t a b l e . Y o u s h o u l d l e a r n t o c l a s s i f y c h e m i c a l b o n d s a s e i t h e r p r i m a r i l y e l e c t r o s t a t i c ( i o n i c ) o r c o v a l e n t , a n d y o u s h o u l d r e c o g n i z e t h e c h a r - a c t e r i s t i c d i f f e r e n c e s b e t w e e n t h e s e c l a s s i f i c a t i o n s . Y o u s h o u l d . l e a r n h o w c o v a l e n t b o n d i n g r e s u l t s f r o m a n e x t e n s i o n o f o u r w a v e p i c t u r e o f t h e e l e c t r o n a s s o c i a t e d w i t h o n e a t o m i c n u c l e u s t o a r e p - r e s e n t a t i o n o f m o l e c u l a r s t r u c t u r e i n w h i c h e l e c t r o n d e n s i t y w a v e s a r e a s s o c i a t e d w i t h m o r e t h a n o n e a t o m i c n u c l e u s . F i n a l l y , y o u s h o u l d d e v e l o p s o m e u n d e r s t a n d i n g o f b o n d i n g a n d a n t i b o n d i n g o r b i - t a l . Y o u w i l l l e a r n t o d i s t i n g u i s h b e t w e e n s i g m a a n d p i b o n d s , a n d w i l l l e a r n t o w r i t e m o l e c u l a r o r b i t a l d e s c r i p t i o n s o f d i a t o m i c m o l e c u l e s . T a b l e A . 2 2 8 4 ( c o n t ' d ) U n i t O b j e c t i v e s 2 6 2 7 2 8 2 9 , 3 0 3 1 g 3 2 3 3 t o 3 6 Y o u s h o u l d l e a r n t h a t c o v a l e n t b o n d s n e e d n o t s h a r e t h e i r e l e c t r o n s e q u a l l y a n d t h a t a s t h i s d i s p a r i t y i n s h a r i n g i n c r e a s e s , s o d o e s t h e i o n i c c h a r a c t e r o f t h e b o n d . Y o u s h o u l d a l s o l e a r n t h a t i o n i c c h a r - a c t e r i n a b o n d i n fl u e n c e s i t s s t r e n g t h a s w e l l a s t h e p r o p e r t i e s o f t h e m o l e c u l e w h i c h c o n t a i n s t h e b o n d . F i n a l l y , y o u s h o u l d l e a r n t h a t a t o m i c o r b i t a l s a r e u s u a l l y n o t i d e a l f o r b o n d i n g , b u t h y b r i d i z e t o f o r m n e w o r b i t a l s w i t h i m p r o v e d b o n d i n g c a p a b i l i t i e s . Y o u s h o u l d l e a r n h o w t o r e p r e s e n t m o l e c u l e s a n d t h e b o n d s i n t h e m b y e l e c t r o n d o t ( L e w i s ) f o r m u l a s . Y o u s h o u l d a l s o d e v e l o p a n u n d e r - s t a n d i n g o f t h e p h e n o m e n o n o f r e s o n a n c e . [ Y o u w i l l l e a r n ] t h e m e c h a n i s m o f i n f r a r e d a b s o r p t i o n b y m o l e c u l e s a n d t h e k i n d o f i n f o r m a t i o n w h i c h c a n b e o b t a i n e d f r o m a n i n f r a r e d s p e c t r u m o f a m o l e c u l e . Y o u s h o u l d l e a r n a s i m p l e y e t p o w e r f u l m e t h o d w h i c h w i l l e n a b l e y o u t o p r e d i c t m o l e c u l a r g e o m e t r i e s a n d w h i c h s h o u l d i n c r e a s e y o u r u n d e r s t a n d i n g o f t h e h y b r i d i z a t i o n c o n c e p t . Y o u s h o u l d a l s o l e a r n t o p r e d i c t t h e g e o m e t r i e s o f v a r i o u s m u l t i p l y - b o n d e d m o l e c u l e s . Y o u s h o u l d l e a r n t o p r e d i c t s o m e o f t h e s i m p l e r t y p e s o f m o l e c u l a r g e o m e t r i e s . I f y o u a r e g i v e n a c o m p o u n d i n w h i c h y o u k n o w t h e c e n - t r a l a t o m , t h e . n u m b e r o f s i g m a b o n d s , a n d t h e n u m b e r o f l o n e p a i r s o f e l e c t r o n s , y o u s h o u l d b e a b l e t o p r e d i c t t h e g e o m e t r y ( s h a p e ) a n d s y m m e t r y o f t h e c o m p o u n d , t h e h y b r i d i z a t i o n o f t h e c e n t r a l a t o m , a n d t h e g e o m e t r y a n d s y m m e t r y o f t h e h y b r i d o r b i t a l s . I f y o u a r e g i v e n a s e t o f h y b r i d o r b i t a l s , y o u s h o u l d b e a b l e t o i d e n t i f y t h e s p a - t i a l a r r a n g e m e n t o f t h e s e o r b i t a l s a n d s o m e o f t h e e l e m e n t s o f s y m - m e t r y p r e s e n t i n t h e m . T h e s y m m e t r y e l e m e n t s w h i c h y o u s h o u l d b e a b l e t o i d e n t i f y a r e a m i r r o r p l a n e , a c e n t e r o f s y m m e t r y , a n d a n a x i s o f r o t a t i o n . [ Y o u w i l l l e a r n a b o u t ] t h e e l e m e n t s h y d r o g e n a n d o x y g e n a n d t h e c o m - p o u n d s t h e y f o r m w i t h r e p r e s e n t a t i v e e l e m e n t s . . . [ a l s o ] t h e p e r i o d i c t r e n d s i n p h y s i c a l p r o p e r t i e s o f t h e s e o x i d e s a n d h y d r i d e s . . . [ a n t h o r e l a t e t y p e s o f c h e m i c a l b o n d s t o c h e m i c a l a n d p h y s i c a l p r o p e r t i e s . 2 8 5 T a b l e A . 2 ( c o n t ' d ) U n i t O b j e c t i v e s 1 I n t h e s e U n i t s y o u w i l l l e a r n s o m e p r o p e r t i e s o f s o l i d s , l i q u i d s , a n d t 0 3 i ” 1 0 1 1 l 2 1 3 1 4 g a s e s . Y o u w i l l l e a r n t o d e f i n e a s y s t e m . Y o u s h o u l d d e v e l o p a n a p p r e c i a t i o n f o r t h e s t r u c t u r e , o r l a c k o f i t , i n a g a s a n d y o u s h o u l d b e a b l e t o u s e t h e i d e a l g a s e q u a t i o n t o c a l c u l a t e v a r i o u s p r o p e r t i e s o f g a s e s . Y o u s h o u l d d e v e l o p a n u n d e r s t a n d i n g o f h o w t h e p r e s s u r e , v o l u m e , a n d t e m p e r a t u r e o f g a s e s i n t e r a c t . T o d o t h i s , y o u w i l l l e a r n t o s o l v e a n u m b e r o f p r o b l e m s i n v o l v i n g g a s e s . F i n a l l y , y o u w i l l l e a r n h o w r e a l g a s e s d i f f e r f r o m i d e a l g a s e s . Y o u w i l l s t u d y [ i n t e r p h a s e ] t r a n s f o r m a t i o n s , t h e e n e r g y a s s o c i a t e d w i t h t h e m , a n d t h e f a c t o r s a f f e c t i n g t h e s e c h a n g e s . Y o u s h o u l d b e - c o m e m o r e f a m i l i a r w i t h t h e c o n c e p t o f e q u i l i b r i u m a n d i t s a p p l i c a - t i o n . F i n a l l y , y o u w i l l l e a r n a b o u t m e l t i n g p o i n t s , b o i l i n g p o i n t s , s u b l i m a t i o n , a n d p h a s e d i a g r a m s . Y o u s h o u l d l e a r n t o d i s t i n g u i s h r e v e r s i b l e f r o m i r r e v e r s i b l e r e a c - t i o n s a n d s h o u l d k n o w v a r i o u s w a y s r e v e r s i b l e r e a c t i o n s c a n b e d r i - v e n t o c o m p l e t i o n . Q u a l i t a t i v e l y , y o u s h o u l d b e a b l e t o u s e L e C h a t e l i e r ' s p r i n c i p l e t o p r e d i c t t h e e f f e c t o n t h e c o m p o s i t i o n o f a n e q u i l i b r i u m s y s t e m w h i c h w o u l d r e s u l t f r o m c h a n g e s i n c o n c e n t r a t i o n , p r e s s u r e , a n d t e m p e r a t u r e . Q u a n t i t a t i v e l y , y o u s h o u l d b e a b l e t o w r i t e e q u i l i b r i u m l a w e x p r e s s i o n s f o r r e v e r s i b l e r e a c t i o n s i n v o l v i n g g a s e s , l i q u i d s , a n d s o l i d s . Y o u w i l l l e a r n t o d e a l w i t h [ c h e m i c a l e q u i l i b r i a a n d c e r t a i n f a c t o r s a f f e c t i n g t h e m ] q u a n t i t a t i v e l y b y s o l v i n g v a r i o u s e q u i l i b r i u m p r o b l e m s . [ Y o u w i l l l e a r n ] s o m e o f t h e l a n g u a g e o f s o l u t i o n s , a n d d e f i n i t i o n s o f t e r m s w h i c h y o u s h a l l e n c o u n t e r r e p e a t e d l y i n t h i s a n d s u b s e q u e n t u n i t s . Y o u w i l l l o o k m o r e c l o s e l y a t f a c t o r s w h i c h a f f e c t t h e s o l u t i o n p r o - c e s s a n d t h e s o l u b i l i t y o f s u b s t a n c e s . [ Y o u w i l l l e a r n ] t h e d i f f e r e n t w a y s i n w h i c h t h e c o m p o s i t i o n o f a s o l u t i o n m a y b e e x p r e s s e d . . . [ a n d ] t h e a b i l i t y t o d o p r o b l e m s i n v o l - v i n g t h e s e u n i t s . [ Y o u w i l l l e a r n t o d o ] p r o b l e m s d e n o t i n g t h e e f f e c t o n c o l l i g a t i v e p r o p e r t i e s o f s o l u t i o n . . . i n p a r t i c u l a r t h e e l e v a t i o n o f t h e b o i l i n g p o i n t o r d e p r e s s i o n o f t h e f r e e z i n g p o i n t o f a s o l v e n t b y t h e s o l u t e . 2 8 6 T a b l e A . 2 ( c o n t ' d ) U n i t O b j e c t i v e s 1 5 Y o u w i l l l e a r n t o d i s t i n g u i s h s t r o n g a n d w e a k e l e c t r o l y t e s a n d t h e i r 1 6 1 7 1 8 1 9 2 0 , 2 1 2 2 f o r m a t i o n f r o m b o t h i o n i c a n d c o v a l e n t c o m p o u n d s . Y o u s h o u l d u n d e r s t a n d h o w e l e c t r o l y t e s o l u t i o n s c o n d u c t e l e c t r i c i t y a n d h o w e l e c t r o l y t e c o n d u c t i o n d i f f e r s f r o m m e t a l l i c c o n d u c t i o n . Y o u s h o u l d a l s o l e a r n a n d p r a c t i c e w r i t i n g i o n i c e q u a t i o n s w h i c h m o r e f u l l y d e - s c r i b e a s o l u t i o n t h a n d o s i m p l e c h e m i c a l e q u a t i o n s . [ Y o u s h o u l d l e a r n a b o u t ] t h e e x t e n t o f i o n i z a t i o n o f s t r o n g a n d w e a k e l e c t r o l y t e s a n d o f t h e i n t e r - i o n i c a t t r a c t i o n t h e o r y w h i c h e x p l a i n s s o m e o f t h e e l e c t r i c a l p r o p e r t i e s o f s o l u t i o n s o f e l e c t r o l y t e s . Y o u s h o u l d b e a b l e t o u s e t h i s t h e o r y t o e x p l a i n t y p i c a l i o n i c s o l u t i o n b e h a v i o r . Y o u w i l l l e a r n o f s e v e r a l d i f f e r e n t d e f i n i t i o n s o f a c i d s a n d b a s e s . Y o u s h o u l d a p p r e c i a t e t h e d i f f e r e n c e s i n t h e s e c o n c e p t s a n d b e a w a r e o f t h e a d v a n t a g e s a n d d i s a d v a n t a g e s o f e a c h . [ Y o u w i l l l e a r n a b o u t ] e q u i v a l e n c e a n d i t s a p p l i c a t i o n t o a c i d - b a s e r e a c t i o n s . Y o u w i l l r e v i e w t h e c a l c u l a t i o n o f e q u i v a l e n t w e i g h t a n d n o r m a l i t y . Y o u w i l l l e a r n h o w t o c a l c u l a t e t h e n u m b e r o f e q u i v a l e n t s a n d t h e n o r m a l i t y f o r a n u n k n o w n s a m p l e w h i c h i s t i t r a t e d t o a n e n d p o i n t w i t h s t a n d a r d s o l u t i o n . Y o u w i l l a l s o l e a r n t o c a l c u l a t e t h e e q u i v a l e n t w e i g h t o f a n u n k n o w n a c i d i f a w e i g h e d s a m p l e i s t i t r a t e d . Y o u s h o u l d l e a r n h o w w a t e r i o n i z e s a n d h o w t o c a l c u l a t e a c i d i t y ( H T c o n c e n t r a t i o n ) o r b a s i c i t y ( O H ’ c o n c e n t r a t i o n ) o f a w a t e r s o l u t i o n f r o m t h e i o n p r o d u c t , K w , f o r w a t e r . Y o u n e e d t o l e a r n t h e m e a n - i n g o f p H a n d h o w t o c a l c u l a t e t h e p H o f a c i d i c a n d b a s i c w a t e r s o l u - t i o n s . Y o u s h o u l d b e a b l e t o w r i t e e q u a t i o n s f o r t h e p r o d u c t i o n o f a c i d i c o r b a s i c s o l u t i o n s f r o m c o v a l e n t m o l e c u l a r s p e c i e s , f r o m i o n s w h i c h c o n t a i n l o n i z a b l e h y d r o g e n o r f r o m h y d r a t e d m e t a l i o n s w h i c h c a n r e a c t w i t h w a t e r t o p r o d u c e a c i d i c s o l u t i o n s . F i n a l l y , y o u s h o u l d b e a b l e t o c a l c u l a t e t h e d e g r e e o f i o n i z a t i o n o f a w e a k a c i d o r b a s e i n w a t e r s o l u t i o n o f k n o w n c o n c e n t r a t i o n a s w e l l a s t h e H + i o n a n d O H “ i o n c e n t r a t i o n s i n a q u e o u s s o l u t i o n s o f w e a k a c i d s a n d b a s e s . Y o u s h o u l d b e a b l e t o c a l c u l a t e t h e c h a n g e i n p H o f a w e a k a c i d o r b a s e s o l u t i o n w h i c h i s c a u s e d b y a d d i t i o n o f a s a l t w h i c h p r o d u c e s o n e o f t h e i o n s o f t h e a c i d o r b a s e . Y o u s h o u l d b e a b l e t o e s t i m a t e v a l u e s f o r K 2 a n d K 3 o f a t r i p r o t i c a c i d i f y o u k n o w t h e f i r s t i o n i z a t i o n c o n s t a n t . K 1 . 2 8 7 T a b l e A . 2 ( c o n t ' d ) U n i t O b j e c t i v e s 2 3 , I n U n i t 2 4 t h e c o n c e p t o f h y d r o l y s i s , d i s c u s s e d q u a l i t a t i v e l y i n U n i t 2 4 2 5 2 6 2 7 2 3 , w i l l b e s t u d i e d f r o m a q u a n t i t a t i v e v i e w p o i n t . Y o u s h o u l d l e a r n h o w t o c a l c u l a t e t h e h y d r o l y s i s c o n s t a n t o f a n i o n w h i c h h y d r o l y z e s , a n d f r o m c o m p a r i s o n o f t h e h y d r o l y s i s c o n s t a n t s o f v a r i o u s i o n s e s t i m a t e t h e r e l a t i v e d e g r e e o f h y d r o l y s i s w h i c h o c c u r s a n d i t s e f f e c t o n s u c h q u a n t i fi e s a s t h e h y d r o x i d e i o n c o n c e n t r a t i o n o r t h e p H . Y o u s h o u l d b e a b l e t o c a l c u l a t e t h e p H o r h y d r o g e n i o n c o n c e n t r a t i o n o f a s a l t s o l u t i o n w h i c h h a s h y d r o l y z e d . Y o u s h o u l d l e a r n w h a t a b u f f e r i s , h o w o n e i s m a d e , a n d w h a t i t s p r o p e r t i e s a r e . Y o u s h o u l d a l s o b e a b l e t o c a l c u l a t e t h e p H o f a b u f f e r o f p a r t i c u l a r c o m p o s i t i o n , o r d e t e r m i n e w h a t c o m p o s i t i o n i s n e c e s s a r y t o m a k e a b u f f e r w i t h a s p e c i f i c p H . Y o u s h o u l d l e a r n h o w t h e p H o f a n a c i d i c o r b a s i c s o l u t i o n c h a n g e s a s i t i s t i t r a t e d . Y o u s h o u l d b e a b l e t o s k e t c h a t i t r a t i o n c u r v e f o r a s t r o n g a c i d - - s t r o n g b a s e t i t r a t i o n a n d y o u s h o u l d l e a r n h o w t h e s h a p e o f t h e c u r v e c h a n g e s i f t h e a c i d o r b a s e i s a w e a k e l e C t r o l y t e a s w e l l a s i f a p o l y p r o t i c a c i d o r a p o l y h y d r o x y b a s e i s u s e d . Y o u s h o u l d b e a b l e t o e s t i m a t e t h e p H o f t h e t i t r a t e d s o l u t i o n a t t h e e q u i v a l e n c e p o i n t . Y o u m u s t k n o w w h a t a n i n d i c a t o r i s , w h a t r o l e i t p l a y s i n a t i t r a t i o n a n d h o w t o c h o o s e a s u i t a b l e i n d i c a t o r a f t e r y o u h a v e e s t i m a - t e d t h e p I - l a t t h e e q u i v a l e n c e p o i n t . Y o u [ w i l l ] 1 e a r n a b o u t e q u i l i b r i a i n v o l v i n g i o n i c s u b s t a n c e s s o s l i g h t - 1 y s o l u b l e t h a t t h e y p r e c i p i t a t e f r o m s o l u t i o n . Y o u m u s t l e a r n w h a t a s o l u b i l i t y p r o d u c t i s , h o w t o c a l c u l a t e i t s v a l u e f r o m s o l u b i l i t y d a t a , a n d h o w t o c a l c u l a t e s o l u b i l i t y i n m o l e s p e r l i t e r f r o m a s o l u b i l i t y p r o d u c t . F o r s l i g h t l y s o l u b l e i o n i c s u b s t a n c e s , y o u s h o u l d b e a b l e t o d e t e r m i n e i f p r e c i p i t a t i o n o c c u r s a n d h o w t o d i s s o l v e a p r e c i p i t a t e o n c e i t i s f o r m e d . w m w fi u b O ‘ U N D C ‘ U N " i h - W O N S ( ? N O G A W H J O h u ‘ O N W N D C " ' N D O h u l U 2 8 8 T a b l e A . 3 T e s t a b l e c o n c e p t s f o r s y l l a b u s u n i t s o f C E M 1 3 0 a n d 1 3 1 U n i t C o n c e p t D e s c r i p t i o n I t e m s 1 l a w o f c o n s e r v a t i o n o f m a t t e r a n d e n e r g y s p e c i f i c h e a t o f a s u b s t a n c e c h a r a c t e r i s t i c s o f m i x t u r e s a n d s o l u t i o n s c o m p a r i n g c o m p o u n d s , e l e m e n t s , m i x t u r e s c a l c u l a t i o n s i n v o l v i n g d e n s i t y , m a s s , v o l u m e h e a t t r a n s f e r N l e — ‘ O O U I O J N g _ n 0 ‘ m e a s u r e m e n t w i t h b a l a n c e s g e n e r a l l o c a t i o n o f e l e m e n t s i n t a b l e c o m p o s i t i o n o f a t o m s i s o t o p e s i o n s s u b a t o m i c p a r t i c l e s c a l c u l a t i o n o f o x i d a t i o n n u m b e r 1 r u l e s f o r o x i d a t i o n n u m b e r s d e f i n i t i o n o f b i n a r y c o m p o u n d n o m e n c l a t u r e e x o t h e r m i c a n d e n d o t h e r m i c r e a c t i o n s t r a n s l a t i o n o f e q u a t i o n s i n t o w o r d s A v a g a d r o ' s n u m b e r c a l c u l a t i o n o f m o l e s , g r a m s f r o m p a r t i c l e s d e f i n i t i o n o f m o l e c a l c u l a t e m a s s o r n u m b e r f r o m m o l e s c a l c u l a t e m a s s f r o m n u m b e r o f p a r t i c l e s c a l c u l a t e m a s s f r o m m o l e s m a s s o r m o l e c a l c u l a t i o n f o r d i a t o m i c g a s e s c o m p a r i s o n o f S T P v o l u m e s o f g a s e s c a l c u l a t i o n o f S T P v o l u m e f r o m m a s s o f g a s I - d p . . . t h U ' I N O G J O ‘ N O O N O O W V O ‘ U ‘ Q N H g _ - . . . . 6 l c a l c u l a t i o n o f w e i g h t p e r c e n t 1 2 e m p i r i c a l f o r m u l a d e t e r m i n a t i o n 1 2 m o l e c u l a r f o r m u l a d e t e r m i n a t i o n 7 m o l e r a t i o s f r o m c h e m i c a l e q u a t i o n s 7 c a l c u l a t i o n o f m o l e s o r m a s s o f r e a g e n t s 6 c a l c u l a t i o n s w i t h a n e x c e s s r e a g e n t 1 2 c a l c u l a t i o n s w i t h a l i m i t i n g r e a g e n t 9 i d e n t i f i c a t i o n o f t h e l i m i t i n g r e a g e n t 9 8 1 h o w b i g i s a m o l e 1 3 " ? N O O S “ H N H N J O B J I U N O J \ N ) » O F U ‘ - l O O § u | ' U \ O I \ O O — F N 0 0 1 0 1 0 3 0 1 0 0 0 ‘ U ‘ J U O N F I " . N S U ” . M 0 0 8 4 ‘ F h 1 1 ( a w 1 0 T a b l e A . 3 2 8 9 ( c o n t ' d ) U n i t C o n c e p t D e s c r i p t i o n I t e m s 9 1 0 l l 1 2 1 3 1 4 1 5 l 6 1 7 d e f i n e i s o m o r p h i s m , p o l y m o r p h i s m u n i t c e l l s y m m e t r y e l e m e n t s p r o p e r t i e s o f c r y s t a l l i n e , a m o r p h o u s h e x a g o n a l a n d c u b i c c l o s e s t p a c k i n g c r y s t a l c o o r d i n a t i o n n u m b e r d e f i n i t i o n o f w a v e l e n g t h d e fi n i t i o n a n d u n i t s o f f r e q u e n c y d e f i n i t i o n a n d c a l c u l a t i o n o f w a v e n u m b e r u n i t s o f l e n g t h c a l c u l a t i o n o f w a v e l e n g t h , f r e q u e n c y , v e l o c i t y d e f i n i t i o n o f n o d e d e f i n i t i o n s o f i n t e r f e r e n c e s , p a t t e r n s e l e c t r o m a g n e t i c w a v e c h a r a c t e r i s t i c s w a v e e n e r g y a n d o t h e r c h a r a c t e r i s t i c s t r e n d s i n t h e e l e c t r o m a g n e t i c s p e c t r u m x - r a y d i f f r a c t i o n , B r a g g e q u a t i o n c a l c u l a t i o n o f d - s p a c i n g c a l c u l a t i o n o f w a v e l e n g t h c a l c u l a t i o n o f B r a g g a n g l e s x - r a y p o w d e r d i f f r a c t i o n u s e s o f t h e p o w d e r m e t h o d c l e a v a g e o f c r y s t a l l i n e , a m o r p h o u s e l e c t r o n d i f f r a c t i o n n e u t r o n d i f f r a c t i o n l i q u i d c r y s t a l s i m p u r i t i e s a n d c r y s t a l g r o w t h r e d u n d a n t w i t h U n i t s 1 1 - l 4 d e f i n i t i o n o f q u a n t u m , p h o t o n P l a n c k q u a n t u m t h e o r y d e f i n i t i o n o f e m i s s i o n , a b s o r p t i o n s p e c t r a h y d r o g e n l i n e s p e c t r u m w a v e , p a r t i c l e n a t u r e o f l i g h t p h o t o e l e c t r i c e f f e c t c a l c u l a t i o n o f d e B r o g l i e w a v e l e n g t h 2 9 0 T a b l e A . 3 ( c o n t ' d ) U n i t C o n c e p t D e s c r i p t i o n I t e m s 5 c a l c u l a t i o n o f p h o t o n e n e r g y 5 6 c a l c u l a t i o n o f e m i s s i o n f r e q u e n c y 5 7 e l e c t r o n a s s t a n d i n g w a v e 3 1 8 1 m e a n i n g o f S c h r o e d i n g e r e q u a t i o n 5 2 d e fi n i t i o n o f a n o r b i t a l l 3 r e p r e s e n t a t i o n s o f o r b i t a l s 2 4 g r o u n d a n d e x c i t e d s t a t e s o f h y d r o g e n 3 5 s y m b o l s f o r q u a n t u m n u m b e r s 4 l 9 2 d e s c r i p t i o n o f e m i s s i o n , a b s o r p t i o n s p e c t r a 1 7 4 q u a l i t a t i v e fl a m e t e s t s 8 5 s t r u c t u r e a n d u s e o f s p e c t r o s c o p e 6 2 0 I a l l o w e d v a l u e s o f q u a n t u m n u m b e r s 1 8 2 q u a n t u m n u m b e r d e s i g n a t i o n s 1 2 3 o r b i t a l c h a r a c t e r i s t i c s f r o m q u a n t u m n u m b e r s 2 6 4 f o r b i d d e n v a l u e s o f q u a n t u m n u m b e r s 1 4 5 n u m b e r o f e l e c t r o n s i n ( s u b ) l e v e l l 4 6 n u m b e r o f o r b i t a l s i n a n e n e r g y l e v e l 1 7 2 1 1 g r o u n d s t a t e e l e c t r o n c o n f i g u r a t i o n s 1 8 2 f i l l i n g o r b i t a l s , A u f b a u p r i n c i p l e 1 5 3 H u n d ' s r u l e . 1 5 4 e l e c t r o n c o n f i g u r a t i o n a n d c h e m i c a l s i m i l a r i t y 1 4 2 2 1 d e f i n i t i o n o f e l e c t r o n e g a t i v i t y . e l e c t r o n a f f i n i t y 6 2 i o n i c s i z e s 1 3 i o n i z a t i o n p o t e n t i a l 6 2 3 l i d e n t i f i c a t i o n o f c l a s s e s o f e l e m e n t s 1 4 2 r e l a t i v e e l e c t r o n e g a t i v i t i e s 2 0 3 r e l a t i v e ( n o n ) m e t a l l i c c h a r a c t e r 1 7 5 p e r i o d i c t r e n d s 5 6 t r e n d s i n i o n i z a t i o n p O t e n t i a l 6 7 g r o u p e l e c t r o n c o n f i g u r a t i o n s 1 3 2 4 1 b o n d d e f i n i t i o n s , c h a r a c t e r i s t i c s 1 4 3 M O d e s c r i p t i o n o f d i a t o m i c m o l e c u l e s 1 0 4 c h a r a c t e r i s t i c s o f m o l e c u l a r o r b i t a l s 6 2 5 1 m o l e c u l a r o r b i t a l c o n f i g u r a t i o n s 1 4 2 d e s c r i p t i o n o f s i n g l e / d o u b l e / t r i p l e b o n d s 8 3 f o r m a t i o n o f s i g m a , p i b o n d s 5 2 9 1 T a b l e A . 3 ( c o n t ' d ) U n i t C o n c e p t D e s c r i p t i o n I t e m s 4 d e s c r i p t i o n o f s i g m a , p i b o n d s 6 5 b o n d o r d e r f r o m M O c o n s i d e r a t i o n s l 3 6 u n p a i r e d e l e c t r o n s f r o m M O c o n s i d e r a t i o n s 9 2 6 1 r e l a t i v e p o l a r i t y o f c o v a l e n t b o n d s 9 2 m o l e c u l a r p o l a r i t y p r e d i c t i o n s l 4 3 c o m p a r i s o n s o f i o n i c a n d c o v a l e n t c o m p o u n d s 1 5 4 d e s c r i p t i o n s o f h y b r i d i z a t i o n 1 5 2 7 l e l e c t r o n d o t c o n f i g u r a t i o n s 7 2 u n s h a r e d f r o m e l e c t r o n d o t 7 3 v a l e n c e s h e l l c o n f i g u r a t i o n s o f a t o m s 9 4 r e s o n a n c e s t r u c t u r e s 7 5 p r o p e r t i e s o f i o n i c , c o v a l e n t c o m p a r e d 5 6 n u m b e r o f d o u b l e b o n d s i n m o l e c u l e s 4 2 8 1 r a d i a t i o n f o r d i f f e r e n t s p e c t r o s c o p i e s 7 2 d e s c r i p t i o n o f I R s p e c t r o s c o p y 6 2 9 l p r e d i c t i n g m o l e c u l a r p o l a r i t y 1 3 2 i d e n t i f i c a t i o n o f b o n d i n g o r b i t a l s l O 3 h y b r i d i z e d o r b i t a l s i n a c o m p o u n d 1 0 4 m o l e c u l a r g e o m e t r y a n d u n s h a r e d p a i r s 2 2 5 h y b r i d i z a t i o n f r o m s h a r e d , u n s h a r e d p a i r s 9 3 0 l e x a m p l e s o f h y b r i d i z a t i o n , g e o m e t r y 9 2 s y m m e t r y e l e m e n t s i n h y b r i d o r b i t a l s 1 3 4 l o n e p a i r s o n c e n t r a l a t o m 1 0 3 1 r e d u n d a n t w i t h U n i t s 2 9 , 3 0 3 2 1 i d e n t i f i c a t i o n f r o m a m o l e c u l a r m o d e l 2 0 3 3 1 p r o p e r t i e s o f h y d r o g e n a n d o x y g e n 1 0 2 p r e p a r a t i o n o f h y d r o g e n a n d o x y g e n 1 8 3 t y p e s o f r e a c t i o n s 1 5 4 i d e n t i f i c a t i o n o f o x i d a t i o n a n d r e d u c t i o n 1 4 3 4 1 p r e p a r a t i o n , d e s c r i p t i o n o f h y d r i d e s l 4 2 p r e p a r a t i o n , d e s c r i p t i o n o f o x i d e s 2 2 3 5 1 r e a c t i o n s o f h y d r i d e s 8 2 r e a c t i o n s o f o x i d e s 2 7 2 9 2 T a b l e A . 3 ( c o n t ' d ) U n i t C o n c e p t D e s c r i p t i o n I t e m s 3 6 2 h y d r o g e n b o n d i n g 1 0 3 p o l a r i t y t r e n d s i n E - O a n d E - H b o n d i n g 9 4 t r e n d s i n b o n d i n g a n d p r o p e r t i e s 1 0 l 1 c h a r a c t e r i s t i c s o f s t a t e s o f m a t t e r 9 2 d e fi n i t i o n , i d e n t i f i c a t i o n o f p h a s e s 4 3 p h a s e d i a g r a m s 8 2 1 d e f i n i t i o n , m e a s u r e m e n t o f p r e s s u r e 8 3 l c a l c u l a t i o n o f p r e s s u r e , i d e a l g a s l a w 1 0 2 c a l c u l a t i o n o f t e m p e r a t u r e , i d e a l g a s l a w 1 0 3 c a l c u l a t i o n o f m o l e s , i d e a l g a s l a w 1 0 4 c a l c u l a t i o n o f v o l u m e , i d e a l g a s l a w 9 4 l c a l c u l a t i o n P V c o n s t a n t T 1 0 2 c a l c u l a t i o n V T c o n s t a n t P 7 3 c a l c u l a t i o n I ’ I ‘ c o n s t a n t V 8 4 c a l c u l a t i o n P V T 9 5 c a l c u l a t i o n p a r t i a l p r e s s u r e s 7 6 c a l c u l a t i o n o f g a s e s m i x i n g 8 7 i d e a l i t y o f g a s e s 1 3 8 c a l c u l a t i o n o f g a s d e n s i t y 1 8 9 c a l c u l a t i o n o f a m o u n t o f g a s 9 1 0 c a l c u l a t i o n o f m o l e c u l a r w e i g h t o f g a s 7 5 1 c r i t i c a l T a n d P p r e d i c t i o n s 8 2 c h a r a c t e r i s t i c s o f l i q u i d s 6 3 m i s c e l l a n e o u s p r o p e r t i e s o f l i q u i d s 1 0 4 m e l t i n g p o i n t , h e a t i n g / c o o l i n g c u r v e s 5 5 c a l c u l a t i o n o f h e a t o f m e l t i n g / f r e e z i n g 1 5 6 t w o p h a s e L e C h a t e l i e r ' s p r i n c i p l e 1 2 6 1 v a p o r p r e s s u r e , d e s c r i p t i v e l 3 2 c a l c u l a t i o n o f h e a t , o n e p h a s e c h a n g e 1 4 3 c a l c u l a t i o n o f h e a r , a n y p h a s e c h a n g e s 7 7 l s o l i d - g a s t r a n s f o r m a t i o n s 2 8 l r e v e r s i b l e / i r r e v e r s i b l e r e a c t i o n s 1 1 2 r e a c t i o n s g o i n g t o c o m p l e t i o n 7 2 9 3 T a b l e A . 3 ( c o n t ' d ) U n i t C o n c e p t D e s c r i p t i o n I t e m s 4 c h a r a c t e r i s t i c s o f e q u i l i b r i u m c o n s t a n t s l l 5 u n i t s o f e q u i l i b r i u m c o n s t a n t s l 4 9 1 g a s e q u i l i b r i u m c h a n g i n g P , n 1 2 2 g a s e q u i l i b r i u m c h a n g i n g T 1 2 3 g a s e q u i l i b r i u m c h a n g i n g P . T . 1 1 , s o l i d p r e s e n t 1 3 4 w r i t i n g g a s e q u i l i b r i u m e x p r e s s i o n s 2 2 6 m i x e d p h a s e e q u i l i b r i u m e x p r e s s i o n s 1 8 7 r e l a t i v e a m o u n t s a n d e q u i l i b r i u m c o n s t a n t 1 2 1 0 1 c a l c u l a t i o n o f K f r o m e q u i l i b r i u m 1 2 2 c a l c u l a t i o n o f e q u i l i b r i u m f r o m K 1 2 3 c a l c u l a t i o n o f e q u i l i b r i u m f r o m i n i t i a l a n d K 1 6 5 c a l c u l a t i o n o f e m i l i b r i u m f r o m n o n e q u i l i b r i u m l 3 7 c a l c u l a t i o n o f n e w e q u i l i b r i u m f r o m o l d 1 5 9 c a l c u l a t i o n o f K f r o m s e l e c t e d d a t a 1 4 l l 1 s o l u t i o n s d e f i n i t i o n s 1 7 1 2 1 f a c t o r s a f f e c t i n g s o l u b i l i t y 1 5 2 t r e n d s , e x a m p l e s o f s o l u b i l i t i e s 1 9 3 c o m p a r a t i v e s o l v a t i o n o f i o n s 1 5 1 3 1 s o l u t i o n c o m p o s i t i o n f r o m r e l a t e d d a t a 2 0 2 c a l c u l a t i o n o f m o l a r i t y 1 8 3 c a l c u l a t i o n o f m o l a r i t y l 8 4 c a l c u l a t i o n o f a m o u n t s f r o m m o l a r i t y , V 2 1 5 c a l c u l a t i o n o f e q u i v a l e n t w e i g h t 2 1 6 c a l c u l a t i o n o f n o r m a l i t y l 4 7 c a l c u l a t i o n o f a m o u n t s f r o m n o r m a l i t y , V 8 1 4 l c a l c u l a t i o n o f f r e e z i n g p o i n t d e p r e s s i o n 1 9 2 c a l c u l a t i o n o f b o i l i n g p o i n t e l e v a t i o n l 8 3 c a l c u l a t i o n o f a m o u n t s f r o m c o l l i g a t i v e d a t a 1 8 4 c o l l i g a t i v e c o m p a r i s o n s 1 5 1 5 l e l e c t r o c h e m i c a l d e f i n i t i o n s 1 7 2 r e c o g n i t i o n o f e l e c t r o l y t e s t r e n g t h s 2 0 3 w r i t i n g d e t a i l e d i o n i c e q u a t i o n s 2 3 4 w r i t i n g n e t i o n i c e q u a t i o n s 1 6 1 6 l c a l c u l a t i o n o f K f r o m p e r c e n t i o n i z a t i o n l 7 2 n o n i d e a l e l e c t r o l y t e b e h a v i o r 1 3 2 9 4 T a b l e A . 3 ( c o n t ' d ) U n i t C o n c e p t D e s c r i p t i o n I t e m s 1 7 1 i d e n t i f i c a t i o n o f t y p e s o f a c i d / b a s e 1 9 2 i d e n t i f i c a t i o n o f c o n j u g a t e a c i d / b a s e 1 9 1 8 1 c a l c u l a t i o n o f a c i d / b a s e e q u i v a l e n t w e i g h t 1 8 1 9 l c a l c u l a t i o n o f n o r m a l i t y 9 2 c a l c u l a t i o n o f a m o u n t t o p r e p a r e 3 5 3 c a l c u l a t i o n s r e t i t r a t i o n s 2 2 4 c a l c u l a t i o n s o f v a r i o u s p a r a m e t e r s 1 9 2 0 l c a l c u l a t i o n s w i t h K w 2 0 2 c a l c u l a t i o n o f p H f r o m H 2 0 3 c a l c u l a t i o n o f p H f r o m O H 2 0 4 c a l c u l a t i o n o f H f r o m p H 2 9 5 c a l c u l a t i o n o f H o r O H f r o m a m o u n t 1 8 6 q u a l i t a t i v e p o i n t s o n t h e p H s c a l e 1 8 2 1 1 c a l c u l a t i o n s o f H , O H f r o m K , a m o u n t s l 9 2 c a l c u l a t i o n s o f d e g r e e i o n i z a t i o n f r o m d a t a 1 7 3 c a l c u l a t i o n s w i t h c o m m o n i o n p r e s e n t 1 8 2 2 2 r e l a t i o n s h i p s a m o n g K w , p H , H , e t a 1 . 1 4 3 s u c c e s s i v e i o n i z a t i o n e q u a t i o n s 1 4 2 3 l p r e d i c t i o n o f s a l t h y d r o l y s i s r e s u l t 2 8 2 p r e d i c t i o n o f s a l t h y d r o l y s i s r e s u l t 1 5 2 4 2 c a l c u l a t i o n o f K h f o r s a l t 1 4 3 c a l c u l a t i o n o f p H o f s a l t s o l u t i o n 1 5 4 c o m p a r a t i v e h y d r o l y s i s p r e d i c t i o n s 1 6 2 5 l c a l c u l a t i o n o f p H f o r b u f f e r 2 0 2 c a l c u l a t i o n o f c o n c e n t r a t i o n i n b u f f e r o f p H 2 0 3 i d e n t i f i c a t i o n o f a b u f f e r m i x t u r e 1 5 2 6 1 i d e n t i f i c a t i o n o f t i t r a t i o n c u r v e s l 8 2 s e l e c t i o n o f t i t r a t i o n i n d i c a t o r 1 3 2 7 l s o l u b i l i t y p r o d u c t e x p r e s s i o n s 1 9 2 c a l c u l a t i o n o f K s p f r o m s o l u b i l i t y l 9 3 c a l c u l a t i o n o f s o l u b i l i t y f r o m K s p 1 9 4 c a l c u l a t i o n o f s o l u b i l i t y w i t h c o m m o n i o n 1 9 5 p r e d i c t i o n o f p r e c i p i t a t i o n 1 9 2 9 5 A p p e n d i x B S t a t i s t i c s a n d s i g n i f i c a n c e t e s t s f o r f i f t e e n - i t e m t e s t s f r o m v a r i o u s c o m p a r i s o n s c h e m e s E i g h t e e n t a b l e s a r e p r e s e n t e d i n t h i s a p p e n d i x . S u m m a r y s t a t i s t i c s w h i c h a p p e a r i n T a b l e B . 3 a r e f r o m c o m p u t e r p r o g r a m Z e u s , w r i t t e n s p e c i f i c a l l y f o r t h e s e d a t a . S u m m a r y s t a t i s t i c s i n T a b l e B . 1 2 w e r e c a l c u l a t e d b y h a n d f o r t h r e e s u b g r o u p s o f a d m i n i s t r a t i o n c o d e A . I n t a b l e s w h i c h i n c l u d e s i g n i f i c a n c e t e s t s , a l l t e s t s t a t i s t i c v a l u e s a r e a d j u s t e d s o t h a t t h e c r i t i c a l v a l u e o f s t a t i s t i c a l s i g n i f i c a n c e f o r a l l t e s t s i s a p p r o x i m a t e l y 1 . 9 9 . S i g n i f i c a n t v a l u e s a r e n o t m a r k e d i n a s m u c h a s m a n y o f t h e s i g n i f i c a n c e t e s t s p e r f o r m e d o n t h e s e d a t a a r e ' l i b e r a l ' a n d p r o d u c e r a n d o m s i g n i f i c a n t r e s u l t s w h i c h m a y n o t i n d i c a t e t r u e d i f f e r e n c e s . O n l y w h e n i m p o r t a n t t r e n d s i n g r o u p s o f d a t a e x i s t a r e s e v e r a l s t a t i s t i c a l l y s i g n i f i c a n t r e s u l t s a c c o r d e d r e c o g n i t i o n . T h e s e t r e n d s h a v e b e e n d i s c u s s e d i n C h a p t e r I I . 2 9 6 T a b l e B . 1 G l o s s a r y o f s y m b o l s S y m b o l D e s c r i p t i o n o r d e f i n i t i o n 0 . a l p h a l e v e l o f s t a t i s t i c a l s i g n i f i c a n c e ; p r o p o r t i o n o f s t u d i e s f o r w h i c h a s t a t i s t i c a l p r o c e d u r e w i l l l e a d t o f a l s e r e j e c t i o n o f t h e n u l l h y p o t h e s i s d d i f f e r e n c e i n t e s t m e a n s d f d e g r e e s o f f r e e d o m f o r a s t a t i s t i c a l t e s t o f s i g n i f i c a n c e E e r r o r s c o r e ; n u m b e r o r p r o p o r t i o n i n c o r r e c t F F v a l u e f o r a n F - r a t i o t e s t o f e q u a l i t y F P f r a c t i o n o f a t e s t ' s q u e s t i o n s w h i c h a r e p r o b l e m s I C S i t e m c h a n c e s c o r e ; r e c i p r o c a l o f t h e h a r m o n i c m e a n n u m b e r o f a n s w e r c h o i c e s J n u m b e r o f a n s w e r c h o i c e s p e r i t e m k t e s t l e n g t h ; n u m b e r o f t e s t q u e s t i o n s A K R 3 K u d e r - R i c h a r d s o n F o r m u l a 3 f o r t e s t r e l i a b i l i t y : A _ _ S i ‘ 2 1 3 0 1 + Z r i l p q r _ t t s t 2 w h e r e 8 1 1 i s e s t i m a t e d b y t h e m e a n t e t r a c h o r i c a n d p h i c o r r e l a t i o n s o f o n e i t e m w i t h a l l o t h e r i t e m s K R 8 K u d e r - R i c h a r d s o n F o r m u l a 8 f o r t e s t r e l i a b i l i t y : 2 2 ‘ r t t = S g ' 2 2 m « L / Z i f t fi ‘ l + ( S t ' 1 : 1 3 9 ) S t S : 2 8 t w h e r e r i t i s t h e b i s e r i a l i t e m - t e s t c o r r e l a t i o n K R 2 0 K u d e r - R i c h a r d s o n F o r m u l a 2 0 f o r t e s t r e l i a b i l i t y : ' 2 I " = k ) s t - q u t t k - I s ? K R 2 1 K u d e r - R i c h a r d s o n F o r m u l a 2 1 f o r t e s t r e l i a b i l i t y : r = ( k ) s i - k p q t t k - l s t ’ 2 9 7 T a b l e B . 1 ( c o n t ' d ) S y m b o l D e s c r i p t i o n o r d e f i n i t i o n M C E m u l t i p l e c h o i c e e q u i v a l e n t n u m b e r o f a n s w e r c h o i c e s ; t h e h a r m o n i c m e a n o f t h e n u m b e r o f c h o i c e s p e r i t e m w i t h t h e a s s u m p t i o n t h a t a s h o r t - a n s w e r i t e m h a s a n i n f i n i t e n u m b e r o f a n s w e r c h o i c e s M S W m e a n s q u a r e w i t h i n ; s y n o n y m o u s w i t h m e a n t e s t v a r i a n c e M S b m e a n s q u a r e b e t w e e n ; r e l a t e d t o c o v a r i a n c e n , n u m b e r o f s t u d e n t s i n a g r o u p o r m e a s u r e m e n t s i n a c o l l e c t i o n o f d a t a p p r o p o r t i o n o f a g r o u p w h i c h a n s w e r s a n i t e m c o r r e c t l y 5 m e a n p r o p o r t i o n c o r r e c t f o r a t e s t A p d i f f e r e n c e i n m e a n p r o p o r t i o n s c o r r e c t b e t w e e n t e s t s P l e s s t h a n q v a l u e a l t e r n a t e n o t a t i o n f o r a l e v e l o f s i g n i f i c a n c e s i m i l a r t o t h e a l p h a l e v e l p r o p o r t i o n o f a g r o u p w h i c h a n s w e r s a n i t e m i n c o r r e c t l y q v a l u e a d j u s t e d s o t h a t t h e c r i t i c a l q i s e q u a l t o 1 . 9 9 ( w h i c h i s a p p r o x i m a t e l y t h e s a m e a s t h e c r i t i c a l t v a l u e ) p o s t h o c c o m p a r i s o n o f m e a n s w i t h t h e f o r m : ( : 1 q = - - - S E D w h e r e t h e r e s u l t i n g q v a l u e i s c o m p a r e d a g a i n s t t h e c r i t i c a l q v a l u e q v a l u e f o r c o r r e l a t e d s a m p l e s a d j u s t e d s o t h a t t h e c r i t i c a l q i s e q u a l t o 1 . 9 9 ; d i f f e r s f r o m t h e j u s t m e n t i o n e d q v a l u e o n l y i n t h e c a l c u l a t i o n o f a s t a n d a r d e r r o r o f t h e d i f f e r e n c e ( S E D ) w h i c h i s p u t i n t o t h e e q u a t i o n g e n e r a l s y m b o l f o r r e l i a b i l i t y o r c o r r e l a t i o n ; s e v e r a l o f t h e c o m m o n s u b s c r i p t e d o r m o d i f i e d t y p e s o f r v a l u e s a r e d e s c r i b e d o n t h e n e x t p a g e 2 9 8 T a b l e B . 1 ( c o n t ' d ) S y m b o l D e s c r i p t i o n o r d e f i n i t i o n r i i i t e m r e l i a b i l i t y ; o p e r a t i o n a l l y u n d e f i n e d b u t m a y b e e s t i m a t e d f r o m t h e t e t r a c h o r i c a n d p h i c o r r e l a t i o n s o f a n i t e m w i t h a l l o t h e r i t e m s r . l t c o r r e l a t i o n b e t w e e n a n i t e m a n d t h e t e s t ; h e r e t h e b i s e r i a l i t e m - t e s t c o r r e l a t i o n c o e f f i c i e n t i s u s e d : r b i s = X 4 " ' X . o ( n 1 n o > 2 8 x u n , / n ’ - n ' w h e r e X 4 i s t h e m e a n o f t h o s e s c o r i n g c o r r e c t o n t h e i t e m , X . o i s t h e m e a n o f t h o s e s c o r i n g i n c o r r e c t o n t h e i t e m , n , i s t h e n u m b e r s c o r i n g c o r r e c t , n o i s t h e n u m b e r s c o r i n g i n c o r r e c t , a n d u i s t h e o r d i n a t e ( h e i g h t ) o f t h e u n i t n o r m a l d i s t r i b u t i o n a t t h e p o i n t a b o v e w h i c h l i e s 1 0 0 ( n 1 / n ) p e r c e n t o f t h e a r e a u n d e r t h e c u r v e r i j c o r r e l a t i o n b e t w e e n o n e i t e m a n d a n o t h e r i t e m r t t c o r r e l a t i o n b e t w e e n o n e t e s t a n d a n o t h e r t e s t o r t h e r e l i a b i l i t y o f a t e s t k r t e s t r e l i a b i l i t y a d j u s t e d b y t h e S p e a r m a n - B r o w n p r o p h e c y f o r m u l a t o a s t a n d a r d l e n g t h o f k i t e m s ; i n t h e s e p a g e s 1 5 1 ‘ a n d , o r a r e m o s t o f t e n u s e d r ' r e l i a b i l i t y c o e f f i c i e n t a d j u s t e d f o r g u e s s i n g e r r o r a c c o r d i n g t o t h e e q u a t i o n : r ' = 2 J - 1 + ( ( J - 1 ) 2 ) s § r J 5 J 2 s : - ( k q u ) a p o p u l a t i o n s t a n d a r d d e v i a t i o n 0 2 p o p u l a t i o n v a r i a n c e 3 s a m p l e s t a n d a r d d e v i a t i o n 3 2 s a m p l e v a r i a n c e ( 8 8 ' 2 d i f f e r e n c e i n v a r i a n c e s b e t w e e n t e s t s 2 9 9 T a b l e B . 1 ( c o n t ' d ) S y m b o l D e s c r i p t i o n o r d e f i n i t i o n 5 ' S v a l u e a d j u s t e d s o t h a t t h e c r i t i c a l S i s e q u a l t o 1 . 9 9 ( w h i c h i s a p p r o x i m a t e l y t h e s a m e a s t h e c r i t i c a l t v a l u e ) S v a l u e p o s t h o c c o m p a r i s o n o f m e a n s w i t h t h e f o r m : = _ d _ S E D S E D s t a n d a r d e r r o r o f t h e d i f f e r e n c e ; s i m i l a r i n c o n c e p t i o n t o t h e s t a n d a r d d e v i a t i o n - d i f f e r e n c e s a r e s i g n i f i c a n t w h e n t h e y a r e g r e a t e r t h a n o r e q u a l t o a c e r t a i n n u m b e r o f s t a n d a r d e r r o r s o f t h e d i f f e r e n c e t - t e s t , i n d e p e n d e n t s a m p l e s , e q u a l n ' s S E D = , — — 1 5 3 + 5 2 n t - t e s t , i n d e p e n d e n t s a m p l e s , u n e q u a l n ' s S E D . = \ / l ‘ l x - 1 ) S x 2 + ( n , - 1 ) s 3 ( l + l ) ( n . - 1 ) + ( n , - 1 ) n , n , I t w a s f o u n d t h a t n e v e r w e r e v a r i a n c e s a n d s a m p l e s i z e s d i f f e r e n t e n o u g h i n p r a c t i c e t o y i e l d a d i f f e r e n t S E D t h a n w h e n i t i s a s s u m e d s a m p l e s i z e s a r e e q u a l . t - t e s t , d e p e n d e n t o r c o r r e l a t e d s a m p l e s S E D = \ / s } + s } _ 2 r , x s , s : n 1 ’ 1 q - t e s t , i n d e p e n d e n t s a m p l e s S E D = / M S * 1 1 q - t e s t , d e p e n d e n t s a m p l e s S E D = \ / V I S w I - 1 r M s w T a b l e B . 1 3 0 0 ( c o n t ' d ) S y m b o l D e s c r i p t i o n o r d e f i n i t i o n S E M S E M S - t e s t , i n d e p e n d e n t s a m p l e s , o n e m e a n w i t h o n e m e a n S E D = / _ . . . . . 2 M S W n S - t e s t , i n d e p e n d e n t s a m p l e s , c o m p l e x c o m p a r i s o n o f t h e a v e r a g e o f t h r e e m e a n s w i t h t h e a v e r a g e o f t h r e e m e a n s S E D = Z M S w 3 n v a r i a n c e s t - t e s t , d e p e n d e n t s a m p l e s ; i n s t e a d o f F - r a t i o 2 2 fl S E D = / é — — — L : ' 3 2 ( 1 - r , , ) s t a n d a r d e r r o r o f t h e m e a s u r e m e n t S E M = s , V 1 - r w h e r e r i s t h e r e l i a b i l i t y o f t e s t x s t a b i l i t y e s t i m a t e o f t h e m e a n ; s i m i l a r i n c o n c e p t i o n t o t h e s t a n d a r d d e v i a t i o n d 2 S E M = Z ' z ' n - 1 t v a l u e f o r a t - t e s t o f t h e s i g n i f i c a n c e o f a d i f f e r e n c e = L S E D t e s t o r n u m b e r o f t e s t s v a r i a n c e f r a c t i o n ; p r o p o r t i o n o f o b s e r v e d v a r i a n c e l a b e l e d b y a s u b s c r i p t s c o r e s o r v a r i a b l e s 1 1 " ) C 1 1 { T a b l e B . 2 3 0 1 D a t e , s o u r c e , a n d n u m b e r o f f o r m s f o r e a c h c o d e C o d e D a t e S o u r c e F o r m s C o m p a r i s o n s U n i q u e T o t a l A 2 1 F e b r u a r y 1 8 7 4 B 3 0 A p r i l 1 9 7 4 C 2 M a y 1 9 7 4 D 1 4 M a y 1 9 7 4 H 1 6 M a y 1 9 7 4 2 8 M a y 1 9 7 4 3 0 M a y 1 9 7 4 9 A p r i l 1 9 7 5 H 1 7 A p r i l 1 9 7 5 L . 1 7 A p r i l 1 9 7 5 8 M a y 1 9 7 5 2 5 N o v e m b e r 1 9 7 5 2 6 N o v e m b e r 1 9 7 5 z g r m 1 4 J a n u a r y 1 9 7 6 C E M 1 3 1 W 7 4 E 4 C E M 1 3 1 S 7 4 E 3 C E M 1 3 1 S 7 4 E 3 C E M 1 3 1 S 7 4 E 4 C E M 1 3 1 S 7 4 E 4 C E M 1 3 1 S 7 4 E 5 C E M 1 3 1 S 7 4 E 5 C E M 1 3 0 S 7 5 E 1 C E M 1 3 0 S 7 5 E 2 C E M 1 3 1 S 7 5 E 2 C E M 1 3 1 S 7 5 E 4 C E M 1 3 0 F 7 5 E 6 C E M 1 3 0 F 7 5 E 6 C E M 1 3 1 W 7 6 E 1 2 4 3 1 1 2 9 1 * O n e o f t h e c o m p a r i s o n s w a s f o r a g r o u p t o o s m a l l t o b e s t a t i s t i c a l l y r e l i a b l e . I n t h i s c o l l e c t i o n o f d a t a , t h r e e g r o u p s - - J 3 , M , a n d N 3 - - w e r e f o u n d t o b e t o o s m a l l a n d t h e s e d a t a s h o u l d b e l i g h t l y r e g a r d e d . 7 7 . . 4 4 0 0 6 6 . . 8 6 9 5 1 1 . . 7 7 1 3 8 1 5 5 . . 0 5 6 0 8 9 6 5 . . n o i t a m i t s e y t 4 7 i l i b a i l 1 4 1 1 7 6 . . e , r s 7 6 5 8 m r o f l e l l a r a p r o f s c i 0 3 8 7 . . 6 5 7 5 4 2 . . 7 6 1 5 9 1 4 8 6 6 t . . s i t a t s 0 y r a m m u S 3 . B e l 4 0 6 . 6 6 9 9 2 2 2 3 - - b l 1 a T A A . . 0 6 0 6 * N r * * 5 6 2 K R 3 1 8 4 3 K R 2 0 K 1 1 2 1 1 - i i F P M C E A 2 - 1 2 8 4 . 6 7 8 4 6 . 8 8 1 . 7 6 3 6 . 6 6 0 1 . 6 2 8 8 . 5 6 0 4 . 1 6 8 . 6 0 4 . 8 . 5 5 6 6 A 2 - 3 2 8 4 . 6 8 4 7 6 . 1 8 4 . 7 3 2 4 . 6 1 1 4 . 5 8 7 0 . 5 1 0 4 . 1 5 5 . 6 0 4 . 7 A 3 - 1 2 7 7 . 6 7 7 7 6 . 9 6 5 . 7 7 5 1 . 6 6 5 8 . 6 4 4 8 . 5 6 7 5 . 1 6 9 . 6 0 4 . 8 . 6 5 5 6 A 3 - 2 2 7 7 . 6 3 6 6 7 . 5 5 3 . 8 1 0 8 . 7 1 7 8 . 6 9 1 5 . 5 8 6 5 . 2 0 4 . 6 0 4 . 7 * T h e t e s t a d m i n i s t r a t i o n c o d e i s d e s i g n a t e d b y t h e l e t t e r t o t h e l e f t o f t h e h y p h e n . W h e n m o r e t h a n o n e c o m p a r i s o n o c c u r r e d o n t h e s a m e d a t e , t h i s l e t t e r i s p a i r e d w i t h a n u m b e r . T h e f o r m n u m b e r o f t h e e x a m i n a t i o n i s i n d i c a t e d b y t h e n u m b e r t o t h e r i g h t o f t h e h y p h e n . “ T h e i n t e r c o r r e l a t i o n b e t w e e n t w o e x a m i n a t i o n s i s t h e g e o m e t r i c m e a n o f t h e i r r e l i a b i l i t y c o e f f i c i e n t s [ 4 4 ] . F r o m t h e t h r e e p o s s i b l e i n t e r c o r r e l a t i o n c o e f f i c i e n t s a n d t h i s r e l a t i o n s h i p , a s e t o f s i m u l t a n e o u s e q u a t i o n s c a n b e s o l v e d f o r t h e t h r e e i n d i v i d u a l r e l i a b i l i t y c o e f f i c i e n t s . W h e n o n l y t w o t e s t s a r e c o m p a r e d t h e r e a r e t w o u n k n o w n r e l i a b i l i t y c o e f f i c i e n t s a n d t h e y c a n n o t b e d e t e r m i n e d f r o m o n l y o n e k n o w n i n t e r c o r r e l a t i o n . F o r t h i s a d m i n i s t r a t i o n t h e f o l l o w i n g r e l i a b i l i t i e s w e r e c a l c u l a t e d : r ‘ = . 6 0 4 1 , r 2 = . 7 1 1 4 , r 3 = . 5 1 2 8 . 3 0 2 E C M 1 2 7 7 6 3 3 3 7 3 3 3 . . . . . . . . . . 5 5 5 5 5 5 5 5 5 5 3 3 3 7 7 7 . . . 5 2 8 2 0 2 2 2 2 . . . 9 0 0 8 6 7 2 5 3 R 6 6 7 K . . . 0 2 7 0 9 2 5 5 2 1 8 R 7 7 7 K . . . 1 6 8 9 4 5 4 9 3 7 7 7 . . . 7 0 4 6 6 7 3 5 1 8 8 8 . . . 7 7 9 5 2 3 6 9 9 6 0 6 3 3 6 8 8 0 5 0 9 5 2 5 9 1 8 3 5 3 4 8 4 3 . . . . . . . . . . . 7 2 . 7 7 9 0 0 8 8 7 8 7 8 9 1 1 6 6 6 8 1 5 0 6 0 0 2 5 9 8 4 0 2 4 2 0 9 0 5 5 4 3 5 0 0 9 5 6 6 5 6 6 6 6 6 6 . . . . . . . . . . 0 2 5 7 8 6 5 0 5 2 2 5 8 8 1 7 7 5 5 6 . . . . . 2 2 6 6 6 2 2 3 3 8 8 7 7 7 6 6 7 7 5 5 8 8 e d o C 3 2 4 S 2 1 3 2 7 4 4 l - - - - - - - - - - - - 1 1 2 2 l 1 2 2 3 4 4 3 D D D D E E E E E E E E ) d fl n o c ( 3 . B e l b a T K R m m ( M 7 6 . 5 7 9 1 . 5 6 0 2 . 6 7 0 5 . 7 8 5 6 . 6 8 0 1 . 6 5 7 8 . 5 5 6 6 . 1 8 0 . 8 0 . 8 0 6 0 . 7 0 2 2 . 6 7 9 9 . 5 8 7 8 . 1 9 0 . 8 0 . 8 2 3 8 . 7 4 1 4 . 7 1 5 7 . 6 4 5 4 . 2 1 9 . 8 0 . 7 8 6 5 . 6 9 1 2 . 6 6 9 9 . 5 6 9 4 . 1 7 7 . 8 0 . 8 0 0 7 . 7 1 7 6 . 6 9 3 8 . 6 0 8 1 . 2 0 8 . 8 7 . 8 7 7 4 . 8 0 1 3 . 7 7 2 2 . 6 8 4 8 . 2 7 6 . 8 7 . 8 9 6 5 . 8 3 2 2 . 8 0 2 5 . 7 3 3 4 . 3 3 8 . 7 3 . 8 0 0 3 . 6 9 4 3 . 6 6 7 7 . 5 7 6 9 . 1 9 6 . 7 3 . 7 8 8 3 . 7 0 9 4 . 6 8 4 2 . 6 0 4 5 . 2 0 2 . 7 3 5 . 7 5 . 7 3 0 3 8 7 0 0 0 0 E . . . . . . C 6 7 6 0 0 6 M 2 2 3 4 4 3 P 3 3 0 0 0 0 F 7 7 8 8 8 8 . . . . . . i i I 1 2 R 3 4 5 9 1 5 3 7 7 6 8 1 2 2 1 2 2 3 . . . . . . 8 5 6 1 9 7 0 8 5 6 9 8 7 1 6 9 1 4 6 7 6 7 7 7 K . . . . . . 0 7 6 1 7 3 8 2 8 3 7 7 2 5 R 7 7 7 7 8 7 2 7 0 9 1 5 K . . . . . . 2 4 9 5 2 8 4 9 5 6 2 8 5 9 1 2 8 2 7 7 8 7 8 7 . . . . . . g R K 9 3 3 4 2 7 3 3 6 8 7 4 2 8 6 1 9 5 8 8 8 8 8 8 . . . . . . 7 5 9 4 1 3 0 6 3 7 4 4 0 1 9 6 6 8 2 8 . . . . . . 0 1 9 9 2 1 1 1 1 1 2 7 7 7 4 3 3 3 6 6 6 7 2 7 7 6 8 2 5 5 5 6 6 6 . . . . . . t t r 9 2 8 0 0 1 6 4 6 7 8 8 . . . N 4 6 6 4 4 4 6 6 0 0 4 4 e 2 3 2 . 4 3 l d - - - - - - o l 1 1 1 2 2 C K K H H H H ) d ' t n o c ( 3 . B e l b a T C O ( E I O . K 2 - l 6 5 . 5 4 5 6 1 1 . 0 5 9 . 8 6 0 5 . 7 9 7 8 . 7 6 7 3 . 7 1 1 1 . 2 8 6 . 7 3 2 7 . 7 . 8 6 6 6 K 2 - 3 6 5 . 5 1 0 8 1 4 . 5 7 1 . 9 0 0 8 . 8 4 5 9 . 8 2 5 5 . 7 9 5 8 . 3 3 0 . 7 3 2 6 . 8 3 0 4 E Z fl N P F 2 4 3 1 1 3 7 1 1 . . . . . . . . . 6 6 7 7 7 7 9 8 9 0 0 0 0 0 0 0 0 3 0 0 0 0 0 2 2 2 2 6 5 6 6 . . . . . . . . . . . 1 9 0 5 7 3 0 9 2 6 1 4 9 7 8 2 5 1 3 2 1 4 4 5 6 3 3 5 0 1 3 6 6 . . . . . . . . . . . 8 8 6 7 7 4 5 9 7 5 7 4 4 7 7 0 9 0 5 5 9 1 9 7 2 6 6 4 1 9 2 7 2 8 4 6 1 2 8 0 1 6 6 3 0 1 3 5 6 6 5 7 7 6 6 6 6 7 6 . . . . . . . . . . . . 4 0 6 7 7 1 1 6 3 8 7 0 7 5 7 6 . . . . 3 . B e l b a T e d o C l 3 2 4 3 2 4 l - - - - - - - - - - - - l 3 2 4 l l 2 2 1 1 Z 2 l l 2 2 L L L L J J 1 1 N N N N ( § . 5 5 4 0 . 6 2 8 0 6 . 2 4 2 . 0 0 6 . 4 6 . 2 8 . 9 3 0 5 E C 8 8 7 4 7 6 . . . . . . 5 5 6 4 4 4 M 1 1 1 P 0 0 7 7 0 0 P 4 4 4 4 4 4 . . . . . . , a 1 2 1 5 5 5 2 1 3 6 3 5 4 1 6 1 2 1 1 2 1 . . . . . . 5 6 7 7 0 6 4 1 6 6 2 6 5 0 9 7 4 5 1 5 5 5 6 4 5 K . . . . . . O Z R K 0 3 0 9 9 8 7 3 0 4 6 6 5 4 7 6 7 2 6 7 5 6 5 6 . . . . . . 3 8 6 3 0 9 9 2 5 1 7 4 7 6 8 0 0 6 6 7 6 7 6 5 . . . . . . 8 R 7 3 7 3 0 4 7 8 8 4 3 9 7 2 9 9 4 9 7 7 7 6 8 7 K . . . . . . 0 3 2 7 6 3 6 8 7 5 1 5 2 7 5 4 2 9 9 5 . . . . . . 7 6 5 9 7 4 8 3 2 3 7 1 0 4 3 7 3 7 2 3 8 6 5 4 5 7 6 5 5 6 . . . . . . 7 8 6 3 4 3 2 5 7 r 7 6 6 . . . ) d ' t n o c 3 3 4 6 6 4 ( N 3 3 4 4 1 1 1 1 1 1 1 1 3 . B e - - - d - 2 1 e 2 l 1 2 o C - ' 1 l 2 2 B C 0 B C C l b a T C O ( 3 ' 2 I n . I t F - 2 7 4 . 3 7 2 1 9 . 3 9 7 - . 8 3 0 4 . 7 2 2 9 . 7 0 9 8 . 6 7 1 9 . 1 6 4 . 4 0 1 9 . 6 . 7 9 6 9 F - l 7 4 . 4 5 5 9 1 1 . 2 0 6 . 8 4 5 1 . 7 7 2 8 . 7 5 3 7 . 7 1 5 7 . 2 2 5 . 4 0 9 . 2 3 0 6 0 8 8 0 6 7 6 3 0 9 . . . . . . . . . . 5 5 1 1 9 9 6 6 8 8 1 1 1 1 7 7 7 7 3 3 3 0 0 0 4 4 5 1 1 4 4 0 0 6 . . . . . . . . . . 1 1 2 9 0 4 2 7 7 1 4 1 7 6 5 6 6 9 5 7 2 2 1 3 1 2 1 1 1 0 . . . . . . . . . . 1 1 1 7 5 5 9 6 3 4 2 2 5 9 9 9 1 7 7 8 3 9 R K 1 3 7 8 9 7 6 7 1 9 7 6 6 6 1 4 7 7 6 5 . . . . . . . . . . 0 1 3 9 7 6 1 9 5 4 6 2 7 2 3 6 6 0 8 6 6 7 R K 7 2 9 7 1 2 9 3 3 3 7 7 6 3 7 6 7 6 8 7 . . . . . . . . . . 4 5 2 4 5 0 1 5 7 3 0 5 3 9 1 9 4 1 9 8 9 4 8 5 4 2 1 5 5 4 7 7 6 7 6 6 7 4 8 8 . . . . . . . . . . 7 3 5 0 7 9 8 7 4 3 8 5 8 6 6 8 2 6 2 5 6 2 9 7 2 2 8 3 5 8 8 7 7 8 6 9 7 8 8 8 . . . . . . . . . . 0 0 9 9 1 1 7 0 0 8 8 2 3 8 0 4 2 0 2 7 9 9 2 1 5 6 5 1 8 4 . . . . . . . . . . 0 0 9 9 4 4 2 2 6 9 1 1 1 1 6 6 6 3 7 7 8 3 9 9 0 4 9 3 5 9 6 9 6 3 9 2 2 1 5 8 0 6 6 2 3 6 7 4 4 4 6 6 6 6 . . . . . . . . . . 6 4 5 7 3 5 9 5 6 7 8 7 8 7 3 r 6 5 7 8 5 . . . . . 2 5 2 5 9 1 9 1 0 0 N 9 9 1 1 5 5 2 2 2 2 1 1 e d o C 2 l l 2 2 l - - - - - - 2 1 5 6 l l Z 2 3 3 - - - - G G I N G N G I M M ) d ' t n o c ( 3 . B e l b a T t t F P M C E C O ( 5 2 S K R B I Q . 0 1 — - " - 0 J 3 - 3 2 6 . 6 2 0 5 5 . 1 0 2 . 7 3 5 1 . 5 6 2 0 . 5 5 2 6 . 3 2 9 6 . 0 2 2 . 2 0 7 . 1 . 4 4 5 8 J 3 - 1 2 6 . 6 0 5 1 5 . 7 5 4 . 7 0 5 5 . 5 4 6 1 . 5 3 3 1 . 4 0 4 1 . 0 9 2 . 2 0 7 . 3 3 0 7 3 0 8 T a b l e B . 4 C o m p a r i s o n o f f o r m s b y g r o u p f o r d e p e n d e n t s a m p l e s C o d e N d S E D t q ’ Q ’ A 1 - 2 , A 1 - 3 2 9 6 . 4 8 6 . 1 3 5 3 . 5 7 0 . 6 7 1 . 1 9 A 2 - 1 , A 2 - 3 2 8 4 . 0 9 5 . 1 4 3 0 . 6 6 0 . 1 3 0 . 2 3 A 3 - l , A 3 - 2 2 7 7 . 6 1 7 . 1 3 6 4 . 5 7 0 . 8 5 1 . 5 1 D 1 - 3 , D 1 - 2 7 2 . 1 9 5 . 2 4 2 0 . 8 0 0 . 2 7 0 . 4 8 D 2 - 1 , 1 3 2 - 4 7 6 1 . 5 1 2 . 2 3 0 6 . 5 8 2 . 0 9 3 . 7 1 E l - 5 , E l - 2 8 6 1 . 3 7 1 . 3 0 0 4 . 5 6 1 . 9 0 3 . 3 6 5 2 3 1 3 2 - 2 6 2 . 0 9 6 . 3 6 2 0 . 2 6 0 . 1 3 o . 2 4 E 3 - 7 , E 3 - 4 7 3 . 4 8 0 . 3 0 0 1 . 6 0 o . 6 7 1 . 1 8 E 4 - 1 , E 4 - 4 5 8 1 . 3 1 1 . 3 6 7 3 . 5 8 1 . 8 2 3 . 2 2 3 - 2 , 3 - 1 1 3 3 1 . 9 8 5 . 1 9 1 1 0 . 3 8 2 . 7 5 4 . 8 7 C 1 - 2 , C 1 - 1 1 4 4 2 . 2 6 5 . 1 6 8 1 3 . 5 2 3 . 1 4 5 . 5 6 c 2 - 2 , c 2 - 1 1 1 6 1 . 2 0 8 . 1 9 6 6 . 1 6 1 . 6 7 2 . 9 6 F - 2 . F - 1 7 4 1 . 2 5 7 . 2 4 0 5 . 2 5 1 . 7 4 3 . 0 8 3 0 9 T a b l e B . 4 ( c o n t ' d ) C o d e N d S E D t q ’ Q ’ K 1 - 3 , K 1 - 2 6 6 . 7 5 8 . 2 7 7 2 . 7 3 . 0 5 1 . 8 6 K 2 - 1 , K 2 - 3 6 5 . 5 2 2 . 2 3 6 2 . 2 1 . 7 2 1 . 2 8 H 1 - 2 , H 1 - 4 4 0 1 . 3 5 0 . 3 0 9 4 . 3 7 . 8 7 3 . 3 1 H 2 - 1 , 1 1 2 - 3 4 4 . 8 8 7 . 2 6 2 3 . 3 6 . 3 6 2 . 1 8 L l - l , L 1 - 3 8 6 . 6 7 5 . 2 2 8 2 . 9 7 . 3 2 1 . 6 6 L 2 - 2 , L 2 - 4 8 0 . 6 0 0 . 2 7 8 2 . 1 6 . 3 9 1 . 4 7 J l - 1 , J l - 3 1 0 9 . 1 1 9 . 2 1 7 0 . 5 5 . 3 0 0 . 2 9 J Z - 2 , j 2 - 4 1 1 2 . 0 9 8 . 1 8 6 0 . 5 3 . 1 4 o . 2 4 N 1 - 3 , N 1 - 2 1 7 0 . 3 8 1 . 1 7 5 2 . 1 7 . 5 3 0 . 9 4 N 2 - 1 , N 2 - 4 1 5 3 . 2 4 8 . 1 8 1 6 . 8 8 . 7 3 3 . 0 6 G 1 - 2 , G l - 1 9 2 . 5 1 0 . 2 7 0 1 . 8 9 . 7 1 1 . 2 5 G Z - 1 , G Z - 2 1 1 5 . 2 3 6 . 1 9 1 1 . 2 3 . 3 3 0 . 5 8 1 - 1 , 1 - 2 5 9 . 8 8 1 . 2 4 7 7 . 6 3 . 6 1 4 . 6 2 1 3 3 1 3 - 1 2 6 . 2 3 1 . 4 8 1 0 . 4 8 M - 5 , M - 6 2 0 . 2 4 9 . 3 9 6 0 . 6 3 N 3 - 2 , N 3 - 1 2 1 . 0 4 7 . 6 0 0 0 . 0 8 3 1 0 T a b l e B . 5 C o m p a r i s o n o f f o r m s b y t e s t d a t e f o r d e p e n d e n t s a m p l e s C o d e N d S E D t q ’ Q ' A - 1 , A - 2 2 8 3 . 5 . 5 2 8 . 1 3 6 3 . 8 8 1 . 3 0 A - 1 , A - 3 2 8 5 . 3 . 0 7 5 . 1 4 3 0 . 5 2 0 . 1 8 A - 2 , A - 3 2 8 2 . 3 . 6 0 3 . 1 3 5 4 . 4 7 1 . 4 8 D - 3 4 , D - 1 2 1 4 8 . 8 5 4 . 1 6 7 5 . 1 1 1 . 1 8 2 . 1 0 E 1 - 5 , E 1 - 2 8 6 1 . 3 7 1 . 3 0 0 4 . 5 7 1 . 9 0 3 . 3 6 E - 3 4 , E - 1 2 1 2 0 . 7 0 4 . 2 5 8 2 . 7 3 1 . 7 3 E 3 - 7 , E 3 - 4 7 3 . 4 8 0 . 3 0 0 1 . 6 0 1 . 1 8 B - 2 , B - l 5 8 l . 3 1 1 . 3 6 7 3 . 5 8 1 . 8 2 3 . 2 2 C 1 , C Z 1 3 0 . 7 7 0 . 3 0 8 2 . 5 0 1 . 8 9 F - 2 , F - 1 7 4 1 . 2 5 7 . 2 4 0 5 . 2 5 1 . 7 4 3 . 0 8 K - 3 , I < - 1 2 1 3 1 . 6 4 0 . 1 8 3 3 . 5 0 1 . 5 7 H - 2 3 , H - 1 4 8 4 1 . 1 1 8 . 1 9 8 5 . 6 4 1 . 5 5 2 . 7 4 L - 1 4 , L - 2 3 1 6 6 . 6 3 8 . 1 8 1 3 . 5 1 1 . 5 7 J - 1 4 , J - 2 3 2 2 1 . 0 1 1 . 1 4 5 0 . 0 8 0 . 0 3 N 1 - 3 , N 1 - 2 1 7 0 . 3 8 1 . 1 7 5 2 . 1 7 0 . 9 4 N 2 - 1 , N 2 - 4 1 5 3 1 . 2 4 8 . 1 8 1 6 . 8 8 1 . 7 3 3 . 0 6 G - 2 , G - l 2 0 7 . 3 7 3 . 1 6 2 2 . 3 1 0 . 9 2 1 - 1 , I - 2 5 9 1 . 8 8 1 . 2 4 7 7 . 6 3 2 . 6 1 4 . 6 2 T a b l e B . 6 C o m p a r i s o n o f g r o u p s b y t e s t d a t e f o r i n d e p e n d e n t s a m p l e s C o d e N d S E D t q ' S ' D 1 , D 2 7 4 . 1 5 2 . 4 6 4 0 . 3 3 0 . 1 8 E 2 , E 4 6 0 . 0 1 5 . 5 6 1 0 . 0 3 0 . 0 2 C 1 . C 2 1 3 0 . 7 7 0 . 3 0 8 2 . 5 0 0 . 9 0 K 1 . K 2 6 0 . 3 0 5 . 6 2 4 0 . 4 9 0 . 3 6 H 1 . H 2 4 2 . 5 2 8 . 7 2 5 0 . 8 5 0 . 6 2 L 1 , L 2 8 3 . 2 5 2 . 4 4 3 0 . 5 7 0 . 3 0 1 1 . 1 2 1 1 0 . 5 . 6 3 3 . 3 4 7 1 . 8 3 0 . 7 4 N 1 . N 2 * 1 6 1 . 5 . 8 4 5 . 2 8 7 2 . 9 5 0 . 9 9 6 1 . 6 2 1 0 3 . 5 . 2 9 3 . 4 4 1 0 . 6 6 0 . 3 4 * O n l y o n e o f t h e t w o t e s t s t a k e n b y t h e s e g r o u p s w a s t h e s a m e f o r m . T a b l e B . 7 C o m p a r i s o n o f p o s i t i o n s b y t e s t d a t e f o r d e p e n d e n t s a m p l e s C o d e * N d S E D 1 q s ’ D . 1 . D . 2 1 4 8 . 6 5 9 . 3 2 8 2 . 0 1 1 . 3 9 1 . 0 1 E . 1 , E . 2 1 2 0 . 6 0 8 . 3 9 7 1 . 5 3 0 . 9 3 K . 1 , K . 2 1 3 1 . 1 1 8 . 4 2 3 0 . 2 8 H . 1 . H . 2 8 4 . 2 3 2 . 5 1 3 0 . 4 5 L . 1 , L . 2 1 6 6 . 0 3 8 . 3 0 5 0 . 1 2 J . l . J . 2 2 2 1 . 1 0 8 . 2 4 5 0 . 4 4 6 . 1 . 6 . 2 2 0 7 . 1 3 7 . 3 1 2 0 . 4 4 1 ' ' T h e n u m b e r a f t e r t h e d e c i m a l i s t h e p o s i t i o n i n w h i c h t h e e x a m w a s t a k e n . p o s i t i o n s b y g r o u p f o r i n d e p e n d e n t s a m p e s l s ’ 0 1 . l . 8 3 3 6 . 0 6 T a J 1 D D E E L L K K H H N N 6 C b 2 1 1 2 4 1 1 2 2 1 1 l 1 2 l 2 C - - l - - - - - - - - - - - - - e 4 3 3 4 1 3 3 , 2 o 4 l - 4 4 3 2 2 2 d e , , , , , , ] J , , , , , , . , , B K D E D E I < 1 H L L 2 l N N G C . 2 4 1 2 2 2 1 - - 2 1 2 2 Z l 1 2 - - - 8 - - - 2 3 - - , - - - - - 1 1 1 1 l 2 2 1 3 2 2 3 4 1 C o m p a N 7 7 6 6 6 6 4 8 4 8 1 1 6 6 0 0 1 1 1 1 1 1 r i s o n 4 4 0 0 0 0 2 2 3 3 0 0 1 1 3 3 . . . . . . 5 5 5 5 5 5 o 1 f . . . . . . . . . . . . . . . . d 0 7 7 6 3 9 6 3 8 6 6 5 2 4 5 1 0 0 1 8 3 4 4 9 8 4 9 1 6 2 7 8 2 5 9 9 6 4 6 0 6 4 1 3 8 5 1 1 . . . . S . . . . . . . . . . . . E 4 4 5 5 6 5 6 7 4 4 3 3 2 2 4 4 D 5 2 8 4 3 5 2 6 7 5 0 4 3 0 2 1 6 6 5 6 9 5 8 6 2 3 4 5 8 4 9 4 t 5 1 4 7 2 2 5 4 0 8 8 7 5 4 3 2 6 1 9 2 1 8 7 4 7 9 7 9 6 0 3 6 2 1 1 1 0 1 2 2 0 0 1 1 4 l 1 0 . . . . . . . . . . . . . . . . q ’ 9 4 8 3 0 9 2 8 5 8 8 5 2 3 2 7 9 7 0 7 2 5 8 3 9 6 1 3 7 7 1 2 0 1 1 0 0 2 1 O 1 0 0 0 1 0 0 0 . . . . . . . . . . . . . . . . 3 1 2 3 1 3 T a b l e B . 9 C o m p a r i s o n o f g r o u p s b y f o r m f o r i n d e p e n d e n t s a m p l e s C o d e N d S E D t q ’ S ’ D 1 - 3 , D 2 - 4 7 4 . 5 0 7 . 4 5 7 1 . 1 1 0 . 7 0 D 2 - 1 , D 1 - 2 7 4 . 8 1 0 . 4 7 1 1 . 7 2 1 . 1 2 E 2 - 3 , E 4 - 4 6 0 . 5 9 3 . 4 1 4 1 . 4 3 0 . 8 2 E 4 - 1 , E 2 - 2 6 0 . 6 2 3 . 5 9 4 1 . 0 5 O . 8 6 K 1 - 3 , K 2 - 3 6 0 . 1 8 6 . 6 4 0 0 . 2 9 0 . 2 6 K 2 - 1 , K 1 - 2 6 0 . 4 2 2 . 6 0 8 0 . 6 9 0 . 5 8 H 1 - 2 , H 2 - 3 4 2 . 7 5 9 . 7 1 2 1 . 0 7 1 . 0 5 H 2 - 1 , H 1 - 4 4 2 . 2 9 6 . 7 3 7 0 . 4 0 0 . 4 1 L 1 - 1 . L 2 - 4 8 3 . 2 9 0 . 4 3 4 0 . 6 7 0 . 4 0 L 2 - 2 , L 1 - 3 8 3 . 2 6 0 . 4 2 8 0 . 5 0 0 . 3 6 J i - 1 , J Z - 4 1 1 0 . 5 . 7 4 1 . 3 9 1 1 . 8 9 1 . 0 3 1 2 - 2 , J 1 - 3 1 1 0 . 5 . 5 2 5 . 2 9 6 1 . 7 7 0 . 7 3 N 1 - 3 , N 2 - 4 1 6 1 . 5 . 0 3 0 . 3 0 1 0 . 0 1 0 . 0 4 C I - 2 , 6 2 - 2 . 1 0 3 . 5 . 3 5 0 . 4 5 0 0 . 7 8 0 . 4 8 6 2 - 1 , C l - 1 1 0 3 . 5 . 0 7 5 . 4 3 3 0 . 1 7 0 . 1 0 3 1 4 ' T a b l e B . 1 0 C o m p a r i s o n o f v a r i a n c e s b y f o r m f o r d e p e n d e n t s a m p l e s C o d e d f r A 3 2 t P l e s s t h a n A 1 - 2 , 1 - 3 2 9 4 . 6 0 4 0 1 . 2 2 2 . 4 3 . 0 2 A 2 - 1 , 2 - 3 2 8 2 . 5 5 6 6 0 . 7 0 1 . 3 5 A 3 - 1 , 3 - 2 2 7 5 . 6 5 5 6 0 . 5 9 1 . 1 5 E 2 - 3 , 2 - 2 6 0 . 5 8 0 5 2 . 4 8 1 . 5 7 E 4 - 1 , 4 - 4 5 6 . 5 8 5 8 2 . 1 0 1 . 3 2 B - 1 . B - 2 1 3 1 . 7 2 3 7 1 . 8 3 2 . 3 1 . 0 3 C 1 - 2 , 1 - 1 - 1 4 2 . 6 7 4 6 1 . 6 4 2 . 8 4 . 0 1 C 2 - 2 , 2 - 1 1 1 4 . 6 5 3 8 2 . 5 0 3 . 7 3 . 0 1 F - 2 , F - 1 7 4 . 7 9 6 9 1 . 8 1 1 . 6 6 K 2 - 1 , 2 - 3 6 3 . 8 6 6 6 3 . 5 1 3 . 0 1 . 0 1 H 1 - 2 , 1 - 4 3 8 . 8 4 0 2 3 . 3 1 2 . 2 8 . 0 3 H 2 - 1 , 2 - 3 4 2 . 8 6 1 8 1 . 8 0 1 . 4 7 J l - 1 , 1 - 3 1 0 7 . 5 8 1 0 3 . 0 6 4 . 3 3 . 0 1 1 2 - 2 , 2 - 4 1 1 0 . 7 7 1 7 4 . 1 7 3 . 2 1 . 0 1 N 2 - 1 , 2 - 4 1 5 1 . 6 2 8 0 2 . 0 3 3 . 6 6 . 0 1 3 1 5 T a b l e B . 1 1 C o m p a r i s o n o f v a r i a n c e s b y g r o u p f o r i n d e p e n d e n t s a m p l e s C o d e O f 8 2 8 2 F P l e s s t h a n D 1 , D 2 7 0 , 7 4 2 6 . 7 0 2 8 . 7 1 1 . 0 8 E 1 , E 2 8 4 , 6 0 2 7 . 5 1 3 0 . 1 5 1 . 1 0 E 1 . E 3 8 4 . 7 1 2 7 . 5 1 2 7 . 1 4 1 . 0 1 E 1 , E 4 8 4 , 5 6 2 7 . 5 1 2 9 . 5 2 1 . 0 7 E 2 , E 3 6 0 , 7 1 3 0 . 1 5 2 7 . 1 4 1 . 1 1 E 2 , E 4 6 0 , 5 6 3 0 . 1 5 2 9 . 5 2 1 . 0 2 E 3 , E 4 7 1 , 5 6 2 7 . 1 4 2 9 . 5 2 1 . 0 9 C 1 . C 2 1 4 2 , 1 1 4 2 0 . 3 4 2 0 . 3 5 1 . 0 0 K 1 , K 2 6 4 , 6 3 3 7 . 2 1 4 7 . 6 3 1 . 2 8 . 1 7 H 1 , H 2 3 8 , 4 2 4 1 . 4 6 3 9 . 9 3 1 . 0 4 L 1 , L 2 8 4 , 7 8 2 9 . 4 9 2 1 . 5 6 1 . 3 7 . 0 9 1 1 , 1 2 1 0 7 , 1 1 0 1 8 . 2 8 2 5 . 8 8 1 . 4 1 . 0 4 N 1 , N 2 1 6 8 , 1 5 1 2 1 . 2 9 2 1 . 4 9 1 . 0 1 3 1 6 T a b l e B . 1 2 S u m m a r y d a t a f o r t h e n i n e s u b g r o u p s w i t h i n C o d e A C o d e * N a s 2 r i t K R 2 0 K R 2 1 W 1 . 1 1 0 2 . 6 8 1 3 5 . 9 1 . 4 3 . 5 3 7 4 . 5 7 3 5 . 4 8 0 9 W 2 . 2 1 0 2 . 6 7 2 0 6 . 9 3 . 6 3 . 6 0 1 5 . 6 7 2 6 , 5 6 0 3 W 3 . 3 1 0 2 . 7 0 0 0 6 . 3 5 . 5 2 . 5 7 8 0 . 6 0 5 1 . 5 3 9 9 X 2 . 1 1 0 5 . 6 2 7 3 8 . 0 0 . 8 2 . 5 9 4 3 . 7 0 2 8 . 6 0 1 8 X 3 . 2 1 0 5 . 6 6 2 0 7 . 6 6 . 7 7 . 5 7 2 8 . 6 6 7 1 . 6 0 2 0 X 1 . 3 1 0 5 . 6 6 4 0 7 . 0 7 . 6 6 . 5 7 2 3 . 6 4 2 5 . 5 6 4 3 9 Y 3 . 1 1 0 0 . 6 8 2 0 4 . 8 1 . 1 9 . 5 0 7 2 . 4 6 1 4 . 3 4 6 8 Y 1 . 2 1 0 0 . 6 8 7 3 6 . 2 0 . 4 3 . 5 5 1 9 . 6 2 4 8 . 5 1 4 3 Y 2 . 3 1 0 0 . 6 5 4 0 6 . 2 9 . 5 0 . 5 6 9 9 . 6 2 7 4 - 4 9 3 2 Z 1 3 0 7 . 6 7 8 6 . 3 4 . 5 2 . 5 5 4 . 6 1 7 . 5 1 8 Z 2 3 0 7 . 6 5 1 6 . 8 4 . 6 2 . 5 8 8 . 6 7 3 . 5 1 8 Z 3 3 0 7 . 6 8 1 6 . 2 4 . 5 0 . 5 5 3 . 5 9 1 . 5 1 1 * T h e c o d e l e t t e r i n d i c a t e s t h e g r o u p ; t h e c o d e n u m b e r i s o f t h e f o r m x . y w h e r e x i s t h e f o r m a n d y i s t h e p o s i t i o n . C o d e Z i s t h e s u m m a t i o n a c r o s s t h r e e g r o u p s f o r t h e s a m e t e s t f o r m r e g a r d l e s s o f p o s i t i o n . 3 1 7 T a b l e B . 1 2 ( c o n t ' d ) C o d e N r t t 7 6 1 1 2 0 0 1 5 A s 2 5 2 I C S W 1 . 1 . 2 . 2 1 0 2 . 6 3 6 4 . 6 2 3 1 . 0 0 9 3 1 . 0 2 6 . 4 2 . 2 1 2 X 2 . 1 . 1 . 3 1 0 5 . 6 5 1 0 . 6 7 2 7 . 0 3 6 7 O . 9 3 7 . 5 4 . 2 1 2 Y 1 . 2 , 2 . 3 1 0 0 . 5 8 9 0 . 6 2 6 1 . 0 2 8 0 0 . 0 9 6 . 2 5 . 2 1 2 2 1 , 2 3 0 7 . 6 2 7 3 . 6 4 5 . 0 2 7 0 . 5 0 6 . 5 9 . 2 1 2 W 1 . 1 , 3 . 3 1 1 0 2 . 5 8 7 1 . 5 8 9 3 . 0 1 8 7 0 . 4 4 6 . 1 3 . 2 1 2 X 3 . 2 , 1 . 3 1 0 5 . 6 1 8 6 . 6 5 4 8 . 0 0 2 0 0 . 5 9 7 . 3 7 . 2 1 2 Y 3 . 1 , 1 . 2 1 0 0 . 5 0 3 3 . 5 4 3 1 . 0 0 5 3 1 . 3 9 5 . 5 1 . 2 1 2 2 1 , 3 3 0 7 . 5 7 3 1 . 6 0 4 . 0 0 3 0 . 1 0 6 . 2 9 . 2 1 2 W 2 . 2 , 3 . 3 1 0 2 . 6 1 3 3 . 6 3 8 9 . 0 2 8 0 0 . 5 8 6 . 6 4 . 2 1 3 X 2 . 1 , 3 . 2 1 0 5 . 7 1 4 5 . 6 8 5 0 ‘ . 0 3 4 7 0 . 3 4 7 . 8 3 . 2 1 3 Y 3 , 1 , 2 . 3 1 0 0 . 5 2 7 8 . 5 4 4 4 . 0 3 3 3 1 . 4 8 5 . 5 5 . 2 1 3 2 2 , 3 3 0 7 . 6 2 9 9 . 6 3 2 . 0 3 0 0 . 6 0 6 . 5 4 . 2 1 3 3 1 8 T a b l e B . 1 3 . 1 F o r m a n d g r o u p A N O V A f o r C o d e s W , X , a n d Y S o u r c e d f M S F P l e s s t h a n W i t h i n 9 1 2 6 . 6 0 F o r m 2 1 8 . 3 3 2 . 7 8 . 0 6 G r o u p 2 2 0 . 1 6 3 . 0 6 . 0 5 I n t e r a C t i o n 4 1 0 . 5 8 1 . 6 0 . 1 7 T a b l e B . 1 3 . 2 G r o u p a n d p o s i t i o n A N O V A f o r C o d e s W , X , a n d Y S o u r c e d f M S F P l e s s t h a n W i t h i n 9 1 2 6 . 6 0 G r o u p 2 2 0 . 1 6 3 . 0 6 . 0 5 P o s i t i o n 2 2 . 3 3 0 . 3 5 > . 2 5 I n t e r a c t i o n 4 1 0 . 5 8 1 . 6 0 . 1 7 T a b l e B . 1 3 . 3 F o r m a n d p o s i t i o n A N O V A f o r C o d e s W , X , a n d Y S o u r c e d f M S F P l e s s t h a n W i t h i n 9 1 2 6 . 6 0 F o r m 2 1 8 . 3 3 2 . 7 8 . 0 6 P o s i t i o n 2 2 . 3 3 0 . 3 5 > . 2 5 I n t e r a c t i o n 4 1 0 . 5 8 1 . 6 0 . 1 7 ~ 3 1 9 T a b l e B . 1 4 . 1 C o m p a r i s o n o f p o s i t i o n s f o r d e p e n d e n t s a m p l e s C o d e N d S E D t q ’ s ’ W X Y l , W X Y . 2 1 0 2 . 3 . 1 5 5 . 3 5 9 0 . 4 3 0 . 3 7 W X Y J . W X Y . 3 1 0 2 . 3 . 1 3 8 . 3 5 4 0 . 3 9 0 . 3 3 W X Y . 2 , W X Y . 3 1 0 2 . 3 . 0 1 7 . 3 6 3 0 . 0 5 0 . 0 4 T a b l e B . 1 4 . 2 C o m p a r i s o n o f p o s i t i o n - g r o u p i n t e r a c t i o n s C o d e N d S E D 1 : q ' S ' W l . 1 . X l . 3 1 0 3 . 5 . 2 6 0 . 3 5 4 0 . 7 3 0 . 4 5 W 1 . 1 , Y 1 . 2 1 0 1 . 0 9 0 . 3 4 6 0 . 2 6 0 . 1 6 X 1 . 3 , Y 1 . 2 1 0 2 . 5 . 3 5 0 . 3 6 0 0 . 9 7 0 . 6 1 0 . 4 9 W 2 . 2 , X 2 . 1 1 0 3 . 5 . 6 7 1 . 3 8 0 1 . 7 6 1 . 1 7 0 . 9 3 W 2 . 2 , Y 2 . 3 1 0 1 . 2 7 0 . 3 6 2 0 . 7 5 0 . 4 7 X 2 . 1 , Y 2 . 3 1 0 2 . 5 . 4 0 1 . 3 7 3 1 . 0 7 0 . 7 0 0 . 5 6 W 3 . 3 , X 3 . 2 1 0 3 . 5 . 5 7 0 . 3 6 8 1 . 5 5 1 . 0 0 0 . 7 9 W 3 . 3 , Y 3 . 1 1 0 1 . 2 7 0 . 3 3 2 0 . 8 1 0 . 4 7 0 . 3 7 X 3 . 2 , Y 3 . l 1 0 2 . 5 . 3 0 0 . 3 4 9 0 . 8 6 0 . 5 2 0 . 4 2 3 2 0 T a b l e B . 1 5 . 1 C o m p a r i s o n o f f o r m s f o r d e p e n d e n t s a m p l e s C o d e N d S E D t q ’ s ’ 2 1 , 2 3 0 7 . 4 0 5 . 1 2 7 3 . 2 0 0 . 9 6 2 1 , 3 3 0 7 . 0 4 5 . 1 3 2 0 . 3 4 0 . 1 4 2 2 , 3 3 0 7 . 4 5 0 . 1 2 6 3 . 5 8 1 . 1 0 T a b l e B . 1 5 . 2 C o m p a r i s o n o f f o r m - p o s i t i o n i n t e r a c t i o n s C o d e N d S E D t q ’ Q ’ W 1 . 1 , 2 . 2 1 0 2 . 1 4 0 . 2 1 4 0 . 6 5 0 . 3 9 X 2 . 1 , 1 . 3 1 0 5 . 5 5 1 . 2 2 4 2 . 4 6 0 . 9 6 1 . 5 3 Y 1 . 2 , 2 . 3 1 0 0 . 4 2 0 . 2 2 7 2 . 2 0 0 . 8 7 1 . 1 7 W 1 . 1 , 3 . 3 1 0 2 . 2 8 1 . 2 2 3 1 . 2 6 0 . 7 8 X 3 . 2 , 1 . 3 1 0 5 . O 3 0 . 2 3 1 0 . 1 3 0 . 0 8 Y 3 . l , 1 . 2 1 0 0 . 0 8 0 . 2 3 5 0 . 3 4 0 . 2 2 W 2 . 2 , 3 . 3 1 0 2 . 4 2 0 . 2 2 5 1 . 8 7 1 . 1 7 X 2 . 1 , 3 . 2 1 0 5 . 5 2 1 . 2 0 6 2 . 5 2 1 . 0 4 1 . 4 5 Y 3 . 1 , 2 . 3 1 0 0 . 5 0 0 . 2 3 0 1 . 8 3 l . 3 9 3 2 1 T a b l e B . 1 6 . 1 C o m p a r i s o n o f g r o u p s f o r i n d e p e n d e n t s a m p l e s C o d e N d S E D t q ’ 5 ’ W 1 2 3 , X 1 2 3 1 0 3 . 5 1 . 5 0 0 . 9 6 1 1 . 5 6 1 . 2 0 W 1 2 3 , 1 7 1 2 3 1 0 1 . 4 5 0 . 8 8 3 0 . 5 1 0 . 3 6 X 1 2 3 , Y 1 2 3 1 0 2 . 5 1 . 0 4 9 . 9 3 1 1 . 1 3 0 . 8 4 T a b l e B . 1 6 . 2 C o m p a r i s o n o f g r o u p - f o r m i n t e r a c t i o n s C o d e N d S E D t q ’ 5 ’ W 3 . 3 , X 1 . 3 1 0 3 . 5 . 5 4 0 . 3 6 0 1 . 5 0 W 3 . 3 , Y 2 . 3 1 0 1 . 6 9 0 . 3 5 4 1 . 9 5 X 1 . 3 , Y 2 . 3 1 0 2 . 5 . 1 5 0 . 3 6 1 0 . 4 2 ' W 2 . 2 , x 3 . 2 1 0 3 . 5 . 1 5 0 . 3 7 5 0 . 4 0 W 2 . 2 , Y 1 . 2 1 0 1 . 2 3 0 . 3 6 1 0 . 6 4 X 3 . 2 , Y 1 . 2 1 0 2 . 5 . 3 8 0 . 3 6 8 1 . 0 3 W 1 . 1 , X 2 . 1 1 0 3 . 5 . 8 1 0 . 3 6 7 2 . 2 1 1 . 4 1 1 . 1 2 W 1 . 1 , Y 3 . 1 1 0 1 . 0 1 1 . 3 2 6 0 . 0 3 0 . 0 2 0 . 0 2 X 2 . 1 , Y 3 . 1 1 0 2 . 5 . 8 2 1 . 3 5 4 2 . 3 2 1 . 4 3 l . 1 4 T a b l e B . 1 7 . 1 C o m p a r i s o n o f v a r i a n c e s b y g r o u p f o r i n d e p e n d e n t s a m p l e s 3 2 2 C o d e d f 3 2 3 2 F P l e s s t h a n W 1 2 3 , X 1 2 3 1 0 0 . 1 0 3 4 2 . 7 5 2 . 8 1 . 2 4 . 1 5 W 1 2 3 , Y 1 2 3 1 0 0 , 9 8 4 2 . 7 3 6 . 0 1 . 1 9 . 2 0 X 1 2 3 , Y 1 2 3 1 0 3 . 9 8 5 2 . 8 3 6 . 0 l . 4 7 . 0 3 T a b l e B . 1 7 . 2 C o m p a r i s o n o f v a r i a n c e s f o r d e p e n d e n t s a m p l e s C o d e ( i f r A 3 2 t P l e s s t h a n W 1 . 1 , 2 . 2 1 0 0 . 6 3 6 4 1 . 0 2 1 . 3 1 X 2 . 1 , 1 . 3 1 0 3 . 6 5 1 0 0 . 9 3 1 . 0 6 Y 1 . 2 , 2 . 3 9 8 . 5 8 9 0 ' 0 . 0 9 0 . 1 1 2 1 , 2 2 3 0 5 . 6 2 7 3 0 . 5 0 1 . 0 9 W 1 . 1 , 3 . 3 ' 1 0 0 . 5 8 7 1 0 . 4 4 0 . 5 5 X 3 . 2 , 1 . 3 1 0 3 . 6 1 8 6 . 0 . 5 9 0 . 6 6 Y 3 . 1 , 1 . 2 9 8 . 5 0 3 3 1 . 3 9 1 . 8 1 . 0 8 2 1 , Z 3 3 0 5 . 5 7 3 1 0 . 1 0 0 . 2 1 W 2 . 2 , 3 . 3 1 0 0 . 6 1 3 3 0 . 5 8 0 . 7 0 X 2 . 1 , 3 . 2 1 0 3 . 7 1 4 5 0 . 3 4 0 . 4 1 Y 3 . 1 , 2 . 3 9 8 . 5 2 7 8 1 . 4 8 1 . 9 6 . 0 6 2 2 . Z 3 3 0 5 . 6 2 9 9 0 . 6 0 1 . 3 2 3 2 3 T a b l e B . 1 8 S t a n d a r d e r r o r s a n d c r i t i c a l v a l u e s f o r s t a t i s t i c a l t e s t s o f t h e s i g n i f i c a n c e o f d i f f e r e n c e s i n m e a n s T a b l e 1 * S E D - C r i t i c a l 5 S E D - C r i t i c a l q S E D - C r i t i c a l Q B . 4 D . 2 7 1 5 . 3 0 . 1 5 3 5 . 3 0 8 . 5 D . 2 7 1 5 . 3 0 . 1 5 3 5 . 3 0 B . 6 I . 2 7 1 6 . 2 7 B . 7 D . 3 4 6 3 . 7 5 . 2 4 5 3 . 8 5 B . 8 I . 3 8 3 6 . 2 7 . 2 7 1 5 . 3 0 B . 9 I . 3 8 3 6 . 2 7 . 2 7 1 5 . 3 0 8 . 1 4 . 1 D . 2 0 7 4 . 0 0 8 . 1 4 . 2 I . 3 5 9 4 . 0 0 . 2 5 4 4 . 4 9 8 . 1 5 . 1 D . 2 0 7 4 . 0 0 8 . 1 5 . 2 D . 2 5 4 4 . 4 9 . 1 6 0 4 . 4 9 8 . 1 6 . 1 I . 2 0 7 4 . 0 0 8 . 1 6 . 2 I . 3 5 9 4 . 0 0 . 2 5 4 4 . 4 9 * I n d e p e n d e n t u n c o r r e l a t e d s a m p l e s a r e i n d i c a t e d ' 1 ' a n d d e p e n d e n t o r c o r r e l a t e d s a m p l e s a r e i n d i c a t e d ' D ' 3 2 4 A p p e n d i x C M i s c e l l a n e o u s t a b l e s C . 1 . S u m m a r y d a t a f o r t h e c a l c u l a t i o n o f t h e S t a b i l i g y E s t i m a t e o f t h e M e a n T h e d a t a p r e s e n t e d i n t h i s t a b l e a r e t h e b a s i s f o r t h e r e s u l t s l i s t e d i n T a b l e 2 . 9 o n p . 1 3 6 o f S e c t i o n I I . D . 4 . T h e s e s t a t i s t i c s a r e d e r i v e d f r o m T a b l e B . 3 i n t h e p r e v i o u s a p p e n d i x . T h e s p l i t d i f f e r e n c e s i n t h e m e a n s , d / 2 , a r e g i v e n i n u n i t s o f p e r c e n t . C . 2 . C o m p o s i t e r e l i a b i l i t y o f a s e r i e s o f t e s t s T h e r e l i a b i l i t y o f a c o m p o s i t e o f s e v e r a l t e s t s i s c a l c u l a t e d f r o m t h e i n t e r c o r r e l a t i o n s a m o n g t h e t e s t s a n d t h e i r a v e r a g e r e l i a b i l i t y b y t h e e q u a t i o n r F + ( n - 1 ) ? j n 1 + ( n - l ) ? , i w h e r e n i s t h e n u m b e r o f t e s t s c o m b i n e d t o g i v e t h e o v e r a l l s c o r e , F i s t h e m e a n r e l i a b i l i t y o f t h e s e t e s t s , a n d ' 1 7 , ; i s t h e m e a n t e s t i n t e r c o r r e l a t i o n . I t i s a s s u m e d t h a t t h e t e s t r e l i a b i l i t i e s a n d i n t e r c o r r e l a t i o n s a r e n o t w i d e l y s c a t t e r e d b u t a r e c l o s e l y c l u s t e r e d . W h e n t e s t s a r e u n c o r r e l a t e d , t h e c u m u l a t i v e r e l i a b i l i t y i s n o t h i g h e r t h a n t h e m e a n t e s t r e l i a b i l i t y . W h e n t e s t i n t e r c o r r e l a t i o n s e q u a l t h e r e l i a b i l i t i e s ( t h e y c a n n o t l o g i c a l l y b e l a r g e r ) , t h i s f o r m u l a s i m p l i f i e s t o t h e S p e a r m a n - B r o w n p r o p h e c y f o r m u l a . T h i s f o r m u l a m a y a l s o b e u s e d t o c a l c u l a t e t h e r e l i a b i l i t y o f a t e s t o f n i t e m s b a s e d o n t h e i t e m r e l i a b i l i t i e s a n d i t e m i n t e r c o r r e l a t i o n s w h e n s o m e m e t h o d o t h e r t h a n i t e m i n t e r c o r r e l a t i o n i s u s e d t o d e r i v e i t e m r e l i a b i l i t y . 3 2 5 C . 3 . I n t e r c o r r e l a t i o n s o f d i f f e r e n t u n i t e x a m s a n d s t a n d a r d d e v i a t i o n o f t e r m a v e r a g e T h e v a l u e s i n t h i s t a b l e i n c l u d e t h e i n t e r c o r r e l a t i o n s o f u n i t t e s t s a n d t h e s t a n d a r d d e v i a t i o n o f t h e l a s t - t r i e s m e a n i n u n i t s o f p e r c e n t . T h e i n t e r c o r r e l a t i o n s f o r a l l t r i e s i s p r o v i d e d b e c a u s e t h e l a s t - t r i e s i n t e r c o r r e l a t i o n s a r e a r t i f i c i a l l y h i g h e r s i n c e s t u d e n t s r e t a k e e x a m s t o r a i s e t h e i r t e s t s c o r e s t o s i m i l a r l e v e l s . Y e t t h e a l l - t r i e s i n t e r c o r r e l a t i o n i s a n u n d e r e s t i m a t e b e c a u s e m a n y s t u d e n t s t a k e a n e x a m b e f o r e t h e y h a v e r e a c h e d t h e i r f i n a l l e v e l o f c o m p e t e n c e . T h e ' t r u e ' i n t e r c o r r e l a t i o n s o f t h e u n i t t e s t s l i e s b e t w e e n t h e s e t w o e x t r e m e s . T h e v a l u e s p r e s e n t e d i n t h i s t a b l e m a y b e u s e d i n c o n j u n c t i o n w i t h T a b l e C . 2 t o c a l c u l a t e t h e c u m u l a t i v e r e l i a b i l i t y o f v a r i o u s t e r m a v e r a g e s f o r C E M 1 3 0 a n d 1 3 1 . 3 2 6 T a b l e C . 1 S u m m a r y d a t a f o r t h e c a l c u l a t i o n o f t h e S t a b i l i t y E s t i m a t e o f t h e M e a n C o d e N I C S E Z O d / 2 A 1 2 9 6 . 2 1 3 . 6 3 8 3 2 . 1 2 0 A 2 2 8 4 . 2 1 2 . 6 0 7 9 0 . 3 1 5 A 3 2 7 7 . 2 1 2 . 6 6 8 2 1 . 4 5 5 D 1 7 2 . 1 7 5 . 6 6 8 9 0 . 6 5 0 D 2 7 6 . 1 7 5 . 6 9 2 8 5 . 0 4 0 E 1 8 6 . 1 8 5 . 7 3 3 0 4 . 5 7 0 E 2 6 2 . 1 9 0 . 7 6 2 6 0 . 2 7 0 E 3 7 3 . 1 8 2 . 6 9 1 4 1 . 6 0 0 E 4 5 8 . 1 9 0 . 7 3 5 1 4 . 3 7 0 1 1 1 0 9 . 1 4 7 . 6 2 4 8 0 . 3 9 5 1 2 1 1 2 . 1 4 7 . 6 7 9 5 0 . 3 2 5 L 1 8 6 . 1 5 8 . 6 8 5 3 2 . 2 5 0 L 2 8 0 . 1 5 8 . 6 2 7 6 2 . 0 0 0 N 1 1 7 0 . 1 1 2 . 6 0 8 0 1 . 2 7 0 N 3 1 5 3 . 1 1 1 . 6 1 7 8 4 . 1 6 0 K 1 6 6 . 0 3 7 . 7 5 1 2 2 . 5 2 5 K 2 6 5 . 0 3 7 . 7 9 6 4 1 . 7 4 0 H i 4 0 . 0 2 6 . 7 5 9 9 4 . 5 0 0 H 2 4 4 . 0 2 6 . 7 7 6 6 2 . 9 5 5 3 2 7 T a b l e C . 2 C o m p o s i t e r e l i a b i l i t y o f a s e r i e s o f t e s t s I ? ' t 1 7 ' J . 1 5 0 0 . 2 0 0 0 . 2 5 0 0 . 3 0 0 0 . 3 5 0 0 . 4 0 0 0 . 6 0 0 0 2 . 6 5 2 2 . 6 6 6 7 . 6 8 0 0 . 6 9 2 3 . 7 0 3 7 . 7 1 4 3 . 6 0 0 0 3 . 6 9 2 3 . 7 1 4 3 . 7 3 3 3 . 7 5 0 0 . 7 6 4 7 . 7 7 7 8 . 6 0 0 0 4 . 7 2 4 1 . 7 5 0 0 . 7 7 1 4 . 7 8 9 5 . 8 0 4 9 . 8 1 8 2 . 6 0 0 0 5 . 7 5 0 0 . 7 7 7 8 . 8 0 0 0 . 8 1 8 2 . 8 3 3 3 . 8 4 6 2 . 6 0 0 0 6 . 7 7 1 4 . 8 0 0 0 . 8 2 2 2 . 8 4 0 0 . 8 5 4 5 . 8 6 6 7 . 6 0 0 0 7 . 7 3 9 5 . 8 1 8 2 . 8 4 0 0 . 8 5 7 1 . 8 7 1 0 . 8 8 2 4 . 6 0 0 0 8 . 8 0 4 9 . 8 3 3 3 . 8 5 4 5 . 8 7 1 0 . 8 8 4 1 . 8 9 4 7 . 6 0 0 0 9 . 8 1 8 2 . 8 4 6 2 . 8 6 6 7 . 8 8 2 4 . 8 9 4 7 . 9 0 4 8 . 6 0 0 0 1 0 . 8 2 9 8 . 8 5 7 1 . 8 7 6 9 . 8 9 1 9 . 9 0 3 6 . 9 1 3 0 . 6 0 0 0 1 1 . 8 4 0 0 . 3 6 6 7 . 8 8 5 7 . 9 0 0 0 . 9 1 1 1 . 9 2 0 0 . 6 9 0 0 2 . 7 3 0 4 . 7 4 1 7 . 7 5 2 0 . 7 6 1 5 . 7 7 0 4 . 7 7 8 6 . 6 9 0 0 3 . 7 6 1 5 . 7 7 8 6 . 7 9 3 3 . 8 0 6 3 . 8 1 7 6 . 8 2 7 8 . 6 9 0 0 4 . 7 8 6 2 . 3 0 6 3 . 8 2 2 9 . 8 3 6 8 . 8 4 8 8 . 8 5 9 1 . 6 9 0 0 5 . 8 0 6 3 . 8 2 7 8 . 8 4 5 0 . 8 5 9 1 . 8 7 0 8 . 8 8 0 8 . 6 9 0 0 6 . 8 2 2 9 . 3 4 5 0 . 8 6 2 2 . 8 7 6 0 . 8 8 7 3 . 8 9 6 7 . 6 9 0 0 7 . 8 3 6 8 . 8 5 9 1 . 8 7 6 0 . 8 8 9 3 . 9 0 0 0 . 9 0 8 8 . 6 9 0 0 8 . 3 4 8 8 . 8 7 0 8 . 8 8 7 3 . 9 0 0 0 . 9 1 0 1 . 9 1 8 4 . 6 9 0 0 9 . 8 5 9 1 . 8 8 0 3 . 8 9 6 7 . 9 0 8 8 . 9 1 8 4 . 9 2 6 2 . 6 9 0 0 1 0 . 8 6 8 1 . 8 3 9 3 . 9 0 4 6 . 9 1 6 2 . 9 2 5 3 . 9 3 2 6 . 6 9 0 0 1 1 . 3 7 6 0 . 8 9 6 7 . 9 1 1 4 . 9 2 2 5 . 9 3 1 1 . 9 3 8 0 . 7 5 0 0 2 . 7 8 2 6 . 7 9 1 7 . 8 0 0 0 . 8 0 7 7 . 8 1 4 8 ' . 8 2 1 4 . 7 5 0 0 3 . 8 0 7 7 . 8 2 1 4 . 8 3 3 3 . 8 4 3 8 . 8 5 2 9 . 8 6 1 1 . 7 5 0 0 4 . 8 2 7 6 . 8 4 3 8 . 8 5 7 1 . 8 6 8 4 . 3 7 8 0 . 8 8 6 4 . 7 5 0 0 5 . 8 4 3 8 . 8 6 1 1 . 8 7 5 0 . 8 8 6 4 . 8 9 5 8 . 9 0 3 8 . 7 5 0 0 6 . 8 5 7 1 . 8 7 5 0 . 8 8 8 9 . 9 0 0 0 . 9 0 9 1 . 9 1 6 7 . 7 5 0 0 7 . 8 6 8 4 . 3 8 6 4 . 9 0 0 0 . 9 1 0 7 . 9 1 9 4 . 9 2 6 5 . 7 5 0 0 8 . 3 7 8 0 . 8 9 5 3 . 9 0 9 1 . 9 1 9 4 . 9 2 7 5 . 9 3 4 2 . 7 5 0 0 9 . 3 8 6 4 . 9 0 3 8 . 9 1 6 7 . 9 2 6 5 ~ . 9 3 4 2 . 9 4 0 5 . 7 5 0 0 1 0 . 8 9 3 6 . 9 1 0 7 . 9 2 3 1 . 9 3 2 4 . 9 3 9 8 . 9 4 5 7 . 7 5 0 0 1 1 . 9 0 0 0 . 9 1 6 7 . 9 2 8 6 . 9 3 7 5 . 9 4 4 4 . 9 5 0 0 . 7 9 0 0 2 . 8 1 7 4 . 8 2 5 0 . 3 3 2 0 . 3 3 8 5 . 8 4 4 4 . 8 5 0 0 . 7 9 0 0 3 . 3 3 8 5 . 8 5 0 0 . 8 6 0 0 . 8 6 3 3 . 8 7 6 5 . 8 8 3 3 . 7 9 0 0 4 . 3 5 5 2 . 8 6 8 8 . 8 8 0 0 . 3 8 9 5 . 8 9 7 6 . 9 0 4 5 . 7 9 0 0 5 . 8 6 8 8 . 3 8 3 3 . 8 9 5 0 . 9 0 4 5 . 9 1 2 5 . 9 1 9 2 . 7 9 0 0 6 . 3 8 0 0 . 8 9 5 0 . 9 0 6 7 . 9 1 6 0 . 9 2 3 6 . 9 3 0 0 . 7 9 0 0 7 . 8 8 9 5 . 9 0 4 5 . 9 1 6 0 . 9 2 5 0 . 9 3 2 3 . 9 3 8 2 . 7 9 0 0 8 . 8 9 7 6 . 9 1 2 5 . 9 2 3 6 . 9 3 2 3 . 9 3 9 1 . 9 4 4 7 . 7 9 0 0 9 . 9 0 4 5 . 9 1 9 2 . 9 3 0 0 . 9 3 3 2 . 9 4 4 7 . 9 5 0 0 . 7 9 0 0 1 0 . 9 1 0 6 . 9 2 5 0 . 9 3 5 4 . 9 4 3 2 . 9 4 9 4 . 9 5 4 3 . 7 9 0 0 1 1 . 9 1 6 0 . 9 3 0 0 . 9 4 0 0 . 9 4 7 5 . 9 5 3 3 . 9 5 8 0 . 8 1 0 0 2 . 8 3 4 8 . 8 4 1 7 . 3 4 8 0 . 8 5 3 3 . 8 5 9 3 . 8 6 4 3 . 8 1 0 0 3 . 8 5 3 8 . 8 6 4 3 . 8 7 3 3 . 8 8 1 3 . 8 8 8 2 . 8 9 4 4 . 8 1 0 0 4 . 8 6 9 0 . 8 8 1 3 . 3 9 1 4 . 9 0 0 0 . 9 0 7 3 . 9 1 3 6 . 8 1 0 0 5 . 8 8 1 3 . 8 9 4 4 . 9 0 5 0 . 9 1 3 6 . 9 2 0 8 . 9 2 6 9 . 8 1 0 0 6 . 8 9 1 4 . 9 0 5 0 . 9 1 5 6 . 9 2 4 0 . 9 3 0 9 . 9 3 6 7 . 8 1 0 0 7 . 9 0 0 0 . 9 1 3 6 . 9 2 4 0 . 9 3 2 1 . 9 3 8 7 . 9 4 4 1 . 8 1 0 0 8 . 9 0 7 3 . 9 2 0 3 . 9 3 0 9 . 9 3 8 7 . 9 4 4 9 . 9 5 0 0 . 8 1 0 0 9 . 9 1 3 6 . 9 2 6 9 . 9 3 6 7 . 9 4 4 1 . 9 5 0 0 . 9 5 4 8 . 8 1 0 0 1 0 . 9 1 9 1 . 9 3 2 1 . 9 4 1 5 . 9 4 8 6 . 9 5 4 2 . 9 5 8 7 . 8 1 0 0 1 1 . 9 2 4 0 . 9 3 6 7 . 9 4 5 7 . 9 5 2 5 . 9 5 7 8 . 9 6 2 0 3 I d n e t v e i N E o i r a o c t . o r o r n f x a m s 8 7 9 5 8 8 5 6 6 5 5 5 6 5 T a b l T 3 3 3 3 3 3 3 3 3 3 3 3 3 3 1 1 1 1 1 1 1 1 1 1 1 1 1 1 e e 1 0 0 1 0 1 l 0 0 1 1 0 1 0 m e . 3 4 5 4 3 5 6 3 4 4 5 5 6 6 m C 7 7 7 n 7 7 7 7 7 7 7 7 7 7 7 W W W W W W W r 8 F F F 5 S S a o n s l e o a f t t i e r . . . . . . . . . . . . . . m e i x 0 7 5 9 9 7 7 2 1 2 1 6 0 0 s a 4 7 8 9 9 8 7 0 3 4 0 9 1 9 4 6 0 3 5 4 5 2 3 2 4 9 7 1 T r E 1 1 2 1 1 1 1 2 2 2 2 2 2 2 f v e p e d r o a m r e n i r f a f g e e I n T A t r l . . . . . . . . . . . . . . . 3 2 3 3 3 3 3 3 3 3 t 2 2 3 3 3 n o i r t r e l e u c s e i l r e x a a t i L T 7 0 8 7 2 7 3 4 5 2 5 9 6 5 3 m o a r . . . . . . . . . . . . . . . i 4 4 4 5 5 5 5 5 5 4 5 5 5 5 4 s a n d s t s n s s t e 6 6 3 0 3 5 0 2 5 5 4 2 7 0 1 a a n T v 1 1 1 1 1 1 1 1 1 1 1 1 1 9 9 3 0 1 2 1 1 1 2 0 3 2 2 1 d e e . . . . . . . . . . . . . . . a r 0 6 ’ 7 7 5 r 1 8 2 8 8 1 8 6 5 4 7 r a d m g e 1 2 2 5 9 0 2 6 7 3 5 5 7 8 3 8 9 3 0 4 2 8 1 9 1 0 6 2 4 4 3 2 8 3 2 9 A p p e n d i x D S t a t i s t i c s f o r s u b s e t s o f i t e m s f r o m t h e f i f t e e n - i t e m t e s t s o f v a r i o u s c o m p a r i s o n s c h e m e s F o r n o n e o f t h e c o m p a r i s o n s c h e m e s w e r e a l l f i f t e e n t e s t q u e s t i o n s o f i d e n t i c a l f o r m a t . T o i n v e s t i g a t e t h e v a r i o u s e f f e c t s o f i t e m f o r m a t a n d c o n t e n t o n t e s t r e l i a b i l i t y , s t a t i s t i c s a r e g i v e n f o r s u b t e s t s o f i t e m s m o r e n e a r l y a l i k e i n t h e n u m b e r o f a n s w e r c h o i c e s o r t h e t y p e s o f q u e s t i o n s . O n l y t w o c a t e g o r i e s o f ' c o n t e n t ' a r e u s e d t o c l a s s i f y q u e s t i o n s - - p r o b l e m s a n d n o n p r o b l e m s . T h e r a t i o n a l e f o r t h i s d i s t i n c t i o n i s e x p l a i n e d i n S e c t i o n I I . D . 3 3 0 T a b l e D . 1 T e s t s t a t i s t i c s * a d j u s t e d t o a s t a n d a r d t e n - i t e m l e n g t h C o d e 9 9 I C S m s ? w : I o r ’ A 1 . 6 0 . 2 1 3 3 . 6 0 3 . 5 0 4 2 . 7 5 5 5 A 2 . 6 O . 2 1 2 3 . 4 7 3 . 4 5 5 6 . 7 1 2 6 A 3 . 6 0 . 2 1 2 3 . 7 6 2 . 5 5 9 3 . 7 9 9 3 D 1 . 8 0 . 1 7 5 4 . 0 0 8 . 6 3 8 5 . 8 4 5 4 D 2 . 8 0 . 1 7 5 4 . 1 9 5 . 6 7 2 8 . 8 6 6 8 E l . 8 7 . 1 8 5 4 . 4 4 3 . 5 5 3 4 . 6 7 5 8 E 2 . 7 3 . 1 9 0 4 . 7 5 7 . 4 7 9 9 . 6 9 0 0 E 3 . 7 3 . 1 8 2 4 . 3 2 6 . 4 8 2 6 . 6 9 8 4 E 4 . 7 3 . 1 9 0 4 . 6 9 5 . 4 8 5 3 . 6 9 6 0 L 1 . 0 0 . 1 5 8 4 . 3 6 5 . 6 5 1 8 . 8 3 2 1 L 2 . 0 0 . 1 5 8 3 . 6 5 7 . 4 5 3 0 . 6 6 0 5 1 1 . 2 0 . 1 4 7 3 . 0 9 0 . 4 8 0 4 . 6 6 3 6 1 2 . 2 0 . 1 4 7 3 . 8 3 4 . 6 9 2 6 . 8 5 1 3 N 1 . 5 7 . 1 1 2 3 . 5 2 5 . 5 0 6 9 . 6 5 5 7 N 2 . 6 0 . 1 1 1 3 . 5 0 9 . 5 2 9 5 . 6 6 6 5 6 1 . 4 7 . 0 8 4 5 . 3 1 6 . 5 9 2 5 . 7 0 2 2 6 2 . 4 7 . 0 8 4 4 . 8 6 7 . 7 0 2 0 . 8 1 5 7 K 1 . 7 3 . 0 3 7 5 . 2 8 3 . 6 7 9 6 . 7 2 1 6 K 2 . 7 3 . 0 3 7 6 . 2 7 5 . 8 1 2 4 . 8 4 7 8 H 1 . 8 0 . 0 2 6 5 . 6 3 6 . 7 7 8 0 . 8 0 2 3 H 2 . 8 0 . 0 2 6 5 . 3 0 8 . 8 0 6 1 . 8 2 9 1 * T a k e n f r o m T a b l e B . 3 3 3 1 T a b l e D . 2 S t a t i s t i c s f o r s u b t e s t s o f p r o b l e m s C o d e 1 : I C S m s 2 , 0 : , o r ’ A l 7 . 2 0 0 4 . 0 3 4 . 6 6 8 6 . 8 5 9 8 A 2 7 . 2 0 0 4 . 1 0 5 . 6 5 5 1 . 8 3 8 2 A 3 7 . 2 0 0 4 . 3 9 5 . 6 9 2 0 . 8 7 1 3 D 1 1 0 . 2 0 0 4 . 0 2 5 . 6 2 7 7 . 8 4 5 1 D 2 1 0 . 2 0 0 3 . 9 0 0 . 7 3 0 1 . 9 2 3 1 E 1 9 . 2 0 0 4 . 3 4 0 . 5 4 5 3 . 7 6 9 6 E 2 9 . 2 0 0 3 . 5 5 5 . 4 9 2 0 . 7 3 7 8 E 3 9 . 2 0 0 4 . 6 4 8 . 5 3 7 3 . 7 6 0 8 E 4 9 . 2 0 0 4 . 9 1 6 . 5 4 9 7 . 7 6 7 5 N 1 8 . 1 0 0 4 . 2 5 1 . 6 7 9 2 . 7 8 9 7 N 2 8 . 1 0 0 . 4 . 3 0 1 . 6 8 3 0 . 7 8 3 4 C l 5 . 0 5 0 5 . 0 1 1 . 8 0 7 1 . 8 5 7 5 G 2 5 . 0 5 0 5 . 3 1 1 . 7 8 5 2 . 8 3 9 7 K 1 1 1 . 0 0 0 6 . 1 6 7 . 7 5 6 9 . 7 5 6 9 K 2 1 1 . 0 0 0 7 . 3 5 5 . 8 4 1 8 . 8 4 1 8 H 1 1 2 . 0 0 0 6 . 9 2 4 . 8 1 4 6 . 8 1 4 6 H 2 1 2 . 0 0 0 5 . 6 0 0 . 8 1 0 0 . 8 1 0 0 3 3 2 T a b l e D . 3 S t a t i s t i c s f o r s u b t e s t s o f n o n n u m e r i c a l q u e s t i o n s C o d e 1 : I C S 1 0 3 2 m r w r ’ A 1 6 . 2 3 3 2 . 5 9 7 . 4 0 5 5 . 7 5 3 5 A 2 6 . 2 2 2 2 . 5 6 1 . 4 6 3 2 . 7 8 0 2 A 3 6 . 2 2 2 2 . 2 6 9 . 4 4 0 7 . 7 9 4 2 B 4 . 2 3 3 4 . 0 3 1 . 6 2 0 4 . 3 6 9 5 C 1 4 . 2 4 4 1 . 9 7 1 . 5 4 6 1 . 8 7 1 6 C 2 4 . 2 2 7 2 . 9 4 5 . 5 0 0 0 . 8 4 3 1 E 1 4 . 2 0 0 3 . 3 5 2 . 5 0 6 8 . 7 8 7 4 E 2 4 . 2 0 0 4 . 3 7 3 . 4 7 2 3 . 7 3 4 4 E 3 4 . 2 0 0 3 . 1 1 6 . 5 3 5 0 . 8 3 4 2 E 4 4 . 2 0 0 2 . 9 8 6 . 6 3 0 2 . 8 9 5 8 L 1 7 . 1 7 5 3 . 7 3 6 . 6 0 7 5 . 8 1 8 0 L 2 7 . 1 7 5 2 . 6 1 7 . 2 3 7 7 . 5 2 3 6 J l 9 . 1 6 7 2 . 6 3 7 . 5 5 8 8 . 7 6 7 1 1 2 9 . 1 6 7 2 . 8 7 4 . 5 9 6 5 . 8 0 1 1 L 1 ' 8 . 1 4 1 4 . 4 1 2 . 7 8 7 8 . 9 4 3 2 L 2 ' 8 . 1 4 1 5 . 1 2 7 . 6 8 7 8 . 8 4 4 6 K 1 4 . 1 3 7 ' 3 . 1 2 6 . 7 2 8 2 . 8 8 8 6 K 2 4 . 1 3 7 4 . 0 7 4 . 7 4 0 9 . 8 7 6 1 3 3 3 T a b l e D . 3 ( c o n t ' d ) C o d e 1 : I C S 1 0 3 2 , 0 I m r ’ H 1 3 . 1 3 2 3 . 6 6 8 . 7 4 3 3 . 9 2 5 1 H 2 3 . 1 3 2 3 . 7 8 7 . 8 4 8 6 . 9 9 6 4 I 1 0 . 1 3 0 1 . 6 3 9 . 5 1 2 5 . 7 8 2 2 N 1 7 . 1 2 5 2 . 7 9 8 . 4 1 9 0 . 6 2 8 0 N 2 7 . . 1 2 5 2 . 8 4 2 . 4 7 4 5 . 6 6 6 0 F 6 . 1 0 3 3 . 0 2 8 . 4 5 4 0 . 6 5 9 3 I ' 5 . 0 0 0 4 . 5 5 1 . 6 7 7 2 . 6 7 7 2 T a b l e D . 4 S t a t i s t i c s f o r s u b t e s t s w i t h i d e n t i c a l c o n t e n t C o d e k I C S m s 2 , o r ' o r ' B 6 . 1 0 0 5 . 5 2 1 . 7 9 1 4 . 8 6 4 9 C 1 6 . 1 0 0 3 . 4 5 0 . 6 5 4 3 . 7 7 7 4 C 2 7 . 1 0 0 4 . 2 5 0 . 7 3 5 4 . 8 7 4 2 F 6 . 0 5 0 6 . 5 5 3 . 8 8 4 7 . 9 2 1 9 B ' 5 . 1 0 0 2 . 9 6 0 . 6 3 7 2 . 7 8 2 6 C 1 ' 5 . 1 1 9 3 . 5 8 3 . 7 2 5 5 . 8 6 2 3 C 2 ' 4 . 1 1 9 2 . 8 3 0 . 6 2 3 8 . 7 7 2 2 3 3 4 T a b l e D . 5 . 1 V a r i a n c e f r a c t i o n s f o r f i f t e e n - i t e m t e s t s C o d e I C S V F T V F e V F g V F R A . D . E . 1 9 3 . 6 2 3 0 . 3 7 7 0 . 1 9 3 0 . 1 8 4 0 L . J . N . 1 3 9 . 6 4 6 5 . 3 5 3 5 . 1 4 6 9 . 2 0 6 7 G . 0 8 4 . 7 3 2 5 . 2 6 7 5 . 0 9 1 9 . 1 7 5 7 K . H . 0 3 2 . 8 3 2 4 . 1 6 7 6 . 0 2 4 3 . 1 4 3 3 T a b l e D . 5 . 2 P a r t i a l v a r i a n c e s f o r f i f t e e n - i t e m t e s t s C o d e 5 : 5 % s : s ; s f ; A , D . E 8 . 0 8 0 5 . 0 2 4 3 . 0 5 7 1 . 5 4 8 1 . 5 0 9 L . J , N - 6 . 9 9 6 4 . 5 7 1 2 . 4 2 5 l . 0 2 3 1 . 4 0 2 G 1 0 . 0 7 7 7 . 3 5 6 2 . 7 2 2 0 . 9 2 7 1 . 7 9 5 K . H 1 1 . 3 6 3 9 . 4 8 0 1 . 8 8 3 0 . 2 7 6 1 . 6 0 7 T a b l e D . 5 . 3 S e l e c t e d s t a t i s t i c s * w i t h g u e s s i n g p a r t i a l l e d o u t C o d e V F T v V F R v s f . 5 } s fi . A . D . E . 8 1 0 1 . 1 8 9 9 1 2 . 0 2 5 9 . 7 4 2 2 . 2 8 3 L . J . N . 8 0 9 7 . 1 9 0 3 1 0 . 0 5 4 8 . 1 4 1 1 . 9 1 4 G . 8 3 6 0 . 1 6 4 0 1 3 . 7 7 1 1 1 . 5 1 3 2 . 2 5 9 K . H . 8 7 2 2 . 1 2 7 8 1 3 . 6 5 1 1 1 . 9 0 6 1 . 7 4 5 * F r o m T a b l e s D . 5 . 1 a n d D . 5 . 2 3 3 5 T a b l e D . 6 . 1 V a r i a n c e f r a c t i o n s f o r s u b t e s t s o f p r o b l e m s C o d e I C S V F T V F e V F g V F R A . D . E . 2 0 0 . 6 1 0 9 . 3 8 9 1 . 2 1 0 4 . 1 7 8 7 N . 1 0 0 . 6 8 1 1 . 3 1 8 9 . 1 0 5 5 . 2 1 3 4 G . 0 5 0 . 7 9 6 1 . 2 0 3 9 . 0 5 2 5 . 1 5 1 4 H . K . 0 0 0 . 8 0 5 8 . 1 9 4 2 . 0 0 0 0 . 1 9 4 2 T a b l e D . 6 . 2 P a r t i a l v a r i a n c e s f o r s u b t e s t s o f p r o b l e m s C o d e 3 % 5 % - s ; s ; s ; A . D . E 4 . 2 1 3 2 . 5 6 8 1 . 6 4 5 0 . 8 8 6 0 . 7 5 9 N 4 . 2 7 6 2 . 9 1 2 l . 3 6 4 0 . 4 5 1 0 . 9 1 3 G 5 . 1 6 1 4 . 1 0 7 1 . 0 5 4 0 . 2 7 1 0 . 7 8 3 H . K 6 . 5 1 2 5 . 2 5 9 1 . 2 5 3 0 . 0 0 0 1 . 2 5 3 T a b l e D . 6 . 3 S e l e c t e d s t a t i s t i c s " w i t h g u e s s i n g p a r t i a l l e d o u t 2 2 2 C o d e V F T ' V F R ' S t ' 3 4 1 0 S R ' A . D . E . 8 1 0 6 . 1 8 9 4 6 . 3 4 6 5 . 1 4 4 1 . 2 0 2 N . 8 0 6 9 . 1 9 3 1 5 . 8 9 7 4 . 7 5 8 1 . 1 3 9 G . 8 6 1 9 . 1 3 8 1 6 . 6 5 3 5 . 7 3 4 0 . 9 1 9 H . K . 8 0 5 8 . 1 9 4 2 6 . 5 1 2 5 . 5 2 9 1 . 2 5 3 * F r o m T a b l e s D . 6 . 1 a n d D . 6 . 2 D . D . D 7 . 1 7 . 2 . . F F . 7 . 3 b C l e o d e T T T a a a A I L L L L A I ' ' A I L L ' . ' J . . ' b C C b . ' J . l o l o J . I I . e . e d d N N e e I . N . F e v V F 4 5 5 6 r . . . . a d s t I C . . . . 1 2 1 0 2 2 3 4 7 2 2 0 V P S . . . . V . . . . a r i a n c S 6 8 0 1 a e s 4 9 3 5 : 7 6 0 5 r l t e 6 6 7 1 i c a t l e F T 4 4 8 7 6 6 7 4 7 7 7 6 . 1 4 2 2 F i 0 3 5 7 l l 1 a 3 0 6 5 7 . . . . t V . . . . 2 2 2 3 s f o r T 1 5 9 2 a n c e s 5 5 0 9 0 i F % 8 2 5 8 1 0 6 2 s t i c s ” w R 3 3 5 2 5 5 1 2 . 6 8 9 8 5 0 3 0 f o r V F . . . . i 5 4 4 3 t s 1 1 1 1 6 9 4 2 . . . . h u . . . . 3 4 4 4 3 9 2 4 u t ; 9 5 5 6 2 s e b s 3 4 3 4 S 5 9 8 1 g t 8 8 3 5 t s e t s s t s o . . . . o f b e 6 0 2 9 u e s s i n g ' 3 5 9 5 0 7 2 1 3 2 1 0 V n O 0 0 0 f p . . . . 2 3 3 3 . . . . F g 3 2 9 0 o a n r 9 7 8 0 3 2 8 0 s 6 0 8 6 S r a c t i o n n o n p r o b l e . . . . m V 2 2 2 3 2 7 4 2 5 7 7 4 S t s F R 4 2 6 2 3 1 3 4 4 8 6 0 6 1 8 7 3 2 9 2 R . 9 0 1 4 7 1 4 6 2 6 8 9 p r o b l e m s ; 6 4 0 0 9 9 8 0 t i a l l e d o 2 T . 5 0 8 8 1 9 4 2 0 0 0 1 . . . . u 0 1 1 l . . . . 3 3 6 * F r o m T a b l e s D . 7 . 1 a n d D . 7 . 2 3 3 7 T a b l e D . 8 . 1 S e l e c t e d s t a t i s t i c s f o r s u b t e s t s w i t h i d e n t i c a l c o n t e n t 2 C o d e I C S s V F T V F g V F R F . 0 5 0 6 . 5 5 3 . 8 8 4 7 . 0 3 7 2 . 0 7 8 1 B ' . C 1 ' . C 2 ' . 1 1 3 3 . 1 2 4 . 6 6 2 2 . 1 4 3 5 . 1 9 4 3 T a b l e D . 8 . 2 S e l e c t e d s t a t i s t i c s ” w i t h g u e s s i n g p a r t i a l l e d o u t C o d e 3 2 9 2 $ 2 V F T . V F R . B . C 1 . C 2 0 . 6 8 3 0 . 9 1 4 6 . 1 3 0 . 8 5 0 9 . 1 4 9 1 F 0 . 4 7 2 0 . 6 1 4 8 . 3 6 8 . 9 2 6 6 . 0 7 3 4 B ' . C l ' . C 2 ' 0 . 5 9 4 0 . 8 1 8 4 . 4 9 0 . 8 1 7 8 . 1 8 2 2 * F r o m T a b l e D . 8 . 1 T a b l e D . 9 . 1 L i n e a r e q u a t i o n s f o r s u b t e s t s w i t h i d e n t i c a l c o n t e n t 3 3 3 . ? 3 . 2 2 [ 3 . 2 3 1 2 3 5 3 E q u a t i o n 3 2 . 2 3 3 . 1 3 3 . 8 5 7 s : 8 . 9 4 8 1 — 4 8 . 6 7 7 ( I C S ) . 6 5 7 s 3 1 . 8 . 3 2 6 7 — 5 2 . 9 2 5 ( I C S ) . 6 8 7 s ; 0 . 6 2 1 4 + 4 . 2 4 7 3 ( I C S ) . 4 8 7 3 ; 0 . 1 0 7 5 + 3 . 1 6 2 2 ( I C S ) . 7 1 7 3 % . u n c o r r e l a t e d . 0 2 7 v a e - 0 . 0 2 8 5 + 3 . 0 9 4 4 ( I C S ) . 5 7 7 V F - o . 0 3 8 4 + 1 . 5 3 2 1 ( I C S ) . 7 3 3 3 8 T a b l e D . 9 . 2 L i n e a r e q u a t i o n s f o r f i f t e e n - i t e m t e s t s 8 3 3 3 6 3 . 2 3 3 3 5 9 . 3 1 ? 1 . . . . . 1 . . . 8 8 5 9 3 1 3 3 8 5 2 1 ( e x c l . 1 ) s : 1 1 . 2 8 5 - 1 9 . 8 1 4 ( I C S ) . 4 7 2 1 5 1 ; . 9 . 5 2 0 1 — 2 6 . 0 9 2 ( I C S ) . 6 3 2 1 s ; 1 . 7 6 5 2 + 6 . 2 7 8 6 ( I C S ) . 2 8 2 1 s ; 0 . 0 8 5 1 + 7 . 4 2 4 6 ( I C S ) . 8 8 2 1 s f . u n c o r r e l a t e d . 0 2 2 1 ( e x c l . 1 ) s 3 6 . 3 2 2 2 + 3 . 7 5 3 ( F P ) . 2 5 2 1 5 2 1 - 4 . 0 2 6 3 + 3 . 1 7 9 ( 1 7 9 ) . 1 6 2 1 5 1 > 0 . 6 4 2 — 0 . 5 0 6 ( I C S ) . 0 2 2 2 V F e 0 . 1 7 1 7 + 1 . 1 3 9 0 ( 1 0 5 ) . 4 7 2 1 ( e x c l . 1 ) v r e 0 . 1 5 2 8 + 1 . 2 2 7 2 ( I C S ) . 5 5 4 m e a n s * V F e 0 . 1 4 4 5 + 1 . 3 2 0 5 ( I C S ) . 9 2 2 1 ( e x c l . I ) V F g - 0 . 0 0 2 5 + 1 . 0 3 1 3 ( I C S ) . 9 5 * T h e f o u r g r o u p s a r e : 1 ) A , D . E ; 2 ) L . J . N ; 3 ) G ; 4 ) K . H 3 3 9 T a b l e D . 9 . 3 L i n e a r e q u a t i o n s f o r s u b t e s t s o f p r o b l e m s 8 3 3 3 6 5 . 2 3 3 8 . 4 . 9 . 1 ? ? ? E q u a t i o n 3 8 2 3 5 2 2 3 3 5 1 7 3 : 6 . 1 3 0 2 — 1 0 . 1 7 6 ( I C S ) . 6 9 1 7 e n } 4 . 9 6 8 8 — 1 2 . 5 1 5 ( 1 0 5 ) . 8 0 1 7 s ; 1 . 1 6 1 3 + 2 . 3 3 9 7 ( I C S ) . 3 0 1 7 s ; 0 . 0 1 4 2 + 4 . 3 7 0 4 ( I C S ) . 9 5 1 7 o f . 1 . 1 3 9 4 — 1 . 7 6 1 8 ( I C S ) . 2 0 1 7 v p e 0 . 1 8 8 4 + 1 . 0 1 0 3 ( I C S ) . 6 7 1 7 v p g 0 . 0 0 0 0 + 1 . 0 5 2 0 ( I C S ) . 9 8 T a b l e D . 9 . 4 L i n e a r e q u a t i o n s f o r s u b t e s t s o f n o n p r o b l e m s $ 3 3 3 3 . 2 3 3 : 5 9 . 3 1 ? E q u a t i o n 3 8 5 3 1 3 3 2 3 8 5 4 m e a n s V F g - 0 . 0 0 0 3 + 1 . 4 5 9 2 ( I C S ) . 9 9 2 4 ( e x c l . 1 ' ) V F g 0 . 0 1 2 2 + 1 . 3 1 3 2 ( I C S ) . 6 7 2 4 ( e x c l . I ' ) V F e 0 . 2 4 4 6 + l . 1 0 6 7 ( I C S ) . 1 1 2 5 V F e 0 . 2 7 8 2 + 0 . 9 2 3 7 ( I C S ) . 1 3 2 4 ( e x c l . 1 ' ) s ; 0 . 1 9 3 9 + 3 . 1 0 5 4 ( 1 C 5 ) . 5 1 2 4 ( e x c l . I ' ) s : u n c o r r e l a t e d . 0 5 2 e 2 5 s u n c o r r e l a t e d . 0 2 3 4 0 A p p e n d i x E T e s t i g g a n d g r a d i n g s t a t i s t i c s f o r C E M 1 3 0 a n d 1 3 1 S t a t i s t i c s o n t h e t e s t m e a n s , t e s t t a k i n g f r e q u e n c i e s , a n d m e a n g r a d e s b e f o r e a n d a f t e r t h e f i n a l e x a m f o r e n r o l l m e n t s o f 3 0 0 o r m o r e s t u d e n t s a r e p r e s e n t e d i n t h i s a p p e n d i x . A l l d a t a a r e g i v e n a s p e r c e n t u n l e s s s p e c i f i e d . C e r t a i n s t u d e n t s a r e e x c l u d e d f r o m c o n s i d e r a t i o n i n t h e s e t a b l e s , b a s e d o n t h e n u m b e r o f e x a m s t h e y m i s s e d . S o m e s t u d e n t s u n o f f i c i a l l y d r o p a c o u r s e b y n o l o n g e r a t t e n d i n g c l a s s o r t a k i n g t e s t s . T h e s c o r e s o f z e r o e n t e r e d i n t h e s e s t u d e n t s ' r e c o r d s d o n o t r e p r e s e n t a f a i l u r e t o l e a r n a f t e r a n a t t e m p t w a s m a d e b u t s i m p l y a f a i l u r e t o a t t e m p t t o l e a r n . T h i s a u t h o r d e c i d e d t h a t t o i n c l u d e s u c h s c o r e s i n c a l c u l a t e d e x a m m e a n s a n d g r a d e a v e r a g e s w o u l d d i s t o r t t h e r e s u l t s , a n d s o s u c h s t u d e n t s w e r e d e l e t e d b y t h e c o m p u t e r p r o g r a m s w h i c h p r o c e s s e d t h e s e d a t a . T h e f a c t t h a t t h e s e s t u d e n t s a l m o s t u n i f o r m l y r e c e i v e a g r a d e o f 0 . 0 f r o m t h e r e g i s t r a r m e a n s t h a t t h e a v e r a g e g r a d e b a s e d o n t h e t o t a l n u m b e r o f g r a d e s a s s i g n e d b y t h e u n i v e r s i t y w i l l b e l o w e r t h a n t h e a v e r a g e g r a d e g i v e n h e r e . T h i s d i f f e r e n c e i s t y p i c a l l y a b o u t 0 . 0 4 ; a l m o s t h a l f t h e d i f f e r e n c e s a r e 0 . 0 1 o r l e s s . 3 4 1 T a b l e E . 1 T e s t i n g a n d g r a d i n g s t a t i s t i c s f o r C E M l 3 0 W 7 3 T o t a l N e t N o . o f D i s t r i b u t i o n o f e x a m - t a k i n g f r e q u e n c y E x a m m e a n m e a n t r i e s 1 2 3 4 5 6 1 7 4 . 5 6 7 9 . 5 7 1 . 5 2 6 1 3 0 7 1 0 0 2 6 7 . 0 8 7 6 . 3 0 1 . 7 1 5 0 3 4 1 3 3 0 0 3 7 5 . 4 8 8 1 . 7 0 1 . 5 8 5 9 2 7 1 1 2 0 0 4 7 6 . 2 7 8 4 . 7 4 1 . 5 7 6 1 2 6 8 4 1 0 5 7 2 . 3 9 7 9 . 6 3 1 . 7 9 4 6 3 6 1 2 4 1 0 6 7 7 . 1 8 8 4 . 5 6 1 . 7 2 5 1 3 2 1 1 4 1 0 7 6 3 . 5 9 7 4 . 6 4 2 . 2 7 3 2 2 9 2 2 1 0 4 1 8 6 4 . 3 1 7 3 . 7 6 1 . 8 1 4 8 3 0 1 4 3 2 1 a l l 7 1 . 8 1 7 9 . 2 8 1 . 7 4 5 1 3 1 1 2 4 1 0 N F i n a l e x a m m e a n G . P . A . b e f o r e f i n a l G . P . A . a f t e r f i n a l 5 5 6 6 6 . 8 2 3 . 0 8 2 . 8 5 7 N u m b e r P e r c e n t G r a d e s l o w e r e d b y f i n a l e x a m : 2 5 9 4 6 . 5 8 G r a d e s u n c h a n g e d b y f i n a l e x a m : 2 9 1 5 2 . 3 4 G r a d e s r a i s e d b y f i n a l e x a m : 6 l . 0 8 3 4 2 T a b l e E . 2 T e s t i n g a n d g r a d i n g s t a t i s t i c s f o r 1 3 1 8 7 3 T o t a l N e t N o . o f D i s t r i b u t i o n o f e x a m - t a k i n g f r e q u e n c y E x a m m e a n m e a n t r i e s 1 2 3 4 5 6 1 6 7 . 5 8 7 7 . 0 8 2 . 3 3 2 7 3 3 2 4 1 1 4 1 2 6 6 . 6 9 7 6 . 2 8 2 . 2 8 3 4 2 6 2 1 1 1 5 2 . 3 6 8 . 3 8 7 6 . 8 7 2 . 2 0 3 5 3 0 2 1 9 3 2 4 7 2 . 3 1 7 9 . 7 5 1 . 7 7 5 0 3 1 1 2 5 1 0 5 6 6 . 3 7 7 5 . 0 3 2 . 0 3 4 2 2 8 1 9 7 4 0 6 6 4 . 6 6 7 3 . 9 1 1 . 9 7 4 2 3 1 1 7 6 3 1 7 5 2 . 4 4 6 1 . 2 0 1 . 9 5 4 3 2 9 1 7 7 1 1 a l l 6 5 . 9 3 7 4 . 3 7 2 . 0 8 3 9 3 0 1 9 8 3 1 4 9 8 F i n a l e x a m m e a n _ A . 4 0 . 6 5 G . P . A . b e f o r e f i n a l G . P . A . a f t e r f i n a l G r a d e s l o w e r e d b y f i n a l e x a m : G r a d e s u n c h a n g e d b y f i n a l e x a m : G r a d e s r a i s e d b y f i n a l e x a m : 2 . 7 2 2 . 5 3 N u m b e r P e r c e n t . # 1 7 8 3 5 . 7 4 3 1 9 6 4 . 0 6 1 0 . 2 0 3 4 3 T a b l e E . 3 T e s t i n g a n d g r a d i n g s t a t i s t i c s f o r C E M 1 3 0 F 7 3 T o t a l N e t N o . o f D i s t r i b u t i o n o f e x a m - t a k i n g f r e q u e n c y E x a m m e a n m e a n t r i e s 1 2 3 4 5 1 7 8 . 0 2 8 3 . 5 4 1 . 5 5 5 8 3 1 9 2 0 2 7 5 . 7 4 8 2 . 3 8 1 . 5 6 5 6 3 2 1 0 1 0 3 8 0 . 8 0 8 5 . 9 0 1 . 4 8 6 1 3 0 7 1 0 4 8 1 . 6 8 8 8 . 0 9 1 . 5 0 6 3 2 7 7 2 0 5 7 6 . 3 2 8 0 . 9 2 1 . 5 9 5 8 2 8 1 0 3 0 6 7 9 . 8 2 8 4 . 6 8 1 . 5 0 6 0 3 2 6 2 0 7 6 8 . 3 6 7 4 . 6 5 1 . 8 3 4 7 3 1 1 5 5 1 8 7 4 . 3 9 8 2 . 0 9 1 . 6 2 5 3 3 3 1 0 2 0 9 6 8 . 9 0 7 5 . 8 6 1 . 6 1 5 8 2 7 1 0 3 1 a l l 7 6 . 3 6 8 2 . 0 4 1 . 5 8 5 7 3 0 9 2 0 F i n a l e x a m m e a n G . P . A . b e f o r e f i n a l G . P . A . a f t e r fi n a l 7 4 . 6 6 G r a d e s l o w e r e d b y f i n a l e x a m : G r a d e s u n c h a n g e d b y f i n a l e x a m : G r a d e s r a i s e d b y f i n a l e x a m : 3 . 2 7 3 . 1 7 N u m b e r P e r c e n t 3 0 7 2 5 . 1 4 8 5 5 7 0 . 0 2 6 0 4 . 9 1 3 4 4 T a b l e B . 4 T e s t i n g a n d g r a d i n g s t a t i s t i c s f o r C E M 1 3 1 W 7 4 T o t a l N e t N o . o f D i s t r i b u t i o n o f e x a m - t a k i n g f r e q u e n c y 7 E x a m m e a n m e a n t r i e s 1 2 3 4 5 6 1 7 4 . 0 4 8 0 . 1 6 1 . 8 4 4 4 3 5 1 6 5 l 0 2 7 1 . 8 9 8 0 . 2 4 2 . 0 2 3 8 3 1 2 2 6 2 0 3 7 1 . 1 6 7 7 . 1 1 1 . 8 9 4 4 3 1 1 8 5 1 0 4 6 8 . 5 1 7 7 . 0 2 1 . 9 9 3 6 3 5 2 2 5 1 0 5 5 7 . 9 8 6 6 . 1 0 2 . 2 4 2 8 3 4 2 6 9 3 0 a l l 6 8 . 7 2 7 6 . 3 1 1 . 9 9 3 8 3 3 2 1 6 1 0 N F i n a l e x a m m e a n G . P . A . b e f o r e f i n a l G . P . A . a f t e r f i n a l 1 1 1 0 6 3 . 4 6 2 . 8 5 2 . 6 4 N u m b e r P e r c e n t G r a d e s l o w e r e d b y f i n a l e x a m : 5 0 3 4 5 . 3 2 G r a d e s u n c h a n g e d b y f i n a l e x a m : 5 7 1 5 1 . 4 4 G r a d e s r a i s e d b y f i n a l e x a m : 3 6 3 . 2 4 3 4 5 T a b l e E . 5 T e s t i n g a n d g r a d i n g s t a t i s t i c s f o r C E M 1 3 0 W 7 4 T o t a l N e t N o . o f D i s t r i b u t i o n o f e x a m - t a k i n g f r e q u e n c y E x a m m e a n m e a n t r i e s 1 2 3 4 5 6 1 7 1 . 1 2 7 8 . 3 3 1 . 7 2 4 8 3 6 1 1 3 1 O 2 7 3 . 7 9 7 8 . 5 2 1 . 5 2 6 1 2 8 9 2 0 0 3 7 3 . 8 0 7 9 . 8 4 1 . 6 5 5 5 2 8 1 3 3 1 0 4 6 9 . 9 2 7 4 . 8 2 1 . 9 8 4 2 3 1 1 5 9 2 1 5 7 1 . 9 8 7 6 . 5 2 1 . 5 5 6 2 2 5 1 0 3 1 0 6 6 3 . 7 4 7 0 . 6 3 2 . 0 2 3 8 3 3 1 8 7 2 1 7 7 5 . 1 3 7 9 . 4 9 1 . 8 2 5 0 2 7 1 4 6 2 0 8 5 9 . 4 9 6 4 . 1 3 2 . 1 2 3 8 2 8 2 0 8 3 1 a l l 6 9 . 6 1 7 5 . 4 2 1 . 8 0 4 9 3 0 1 4 5 1 0 N F i n a l e x a m m e a n G . P . A . b e f o r e f i n a l G . P . A . a f t e r f i n a l 7 8 0 7 3 . 3 7 2 . 7 9 2 . 8 0 N u m b e r P e r c e n t G r a d e s l o w e r e d b y f i n a l e x a m : 8 2 1 0 . 5 1 G r a d e s u n c h a n g e d b y f i n a l e x a m : 5 9 5 7 6 . 2 8 G r a d e s r a i s e d b y f i n a l e x a m : 1 0 3 1 3 . 2 1 3 4 6 T a b l e E . 6 T e s t i n g a n d g r a d i n g s t a t i s t i c s f o r C E M l 3 1 8 7 4 T o t a l N e t N o . o f D i s t r i b u t i o n o f e x a m - t a k i n g f r e q u e n c y E x a m m e a n m e a n t r i e s 1 2 3 4 5 6 1 7 4 . 0 1 8 1 . 1 8 1 . 9 9 4 0 3 2 1 8 7 2 0 2 7 3 . 1 9 8 0 . 6 7 1 . 8 3 4 4 3 4 1 6 4 1 0 3 6 5 . 3 0 7 2 . 5 3 1 . 9 8 4 2 2 9 2 0 7 2 0 4 6 4 . 9 5 7 3 . 6 7 1 . 9 4 3 8 3 8 1 6 7 1 0 5 5 5 . 3 0 6 3 . 8 5 2 . 1 3 3 2 3 . 5 2 1 9 2 0 a l l 6 6 . 7 9 7 4 . 4 5 1 . 9 7 3 9 3 4 1 9 7 2 0 F i n a l e x a m m e a n G . P . A . b e f o r e f i n a l G . P . A . a f t e r f i n a l 6 6 0 6 1 . 8 1 G r a d e s l o w e r e d b y f i n a l e x a m : G r a d e s u n c h a n g e d b y f i n a l e x a m : G r a d e s r a i s e d b y fi n a l e x a m : 2 . 7 2 2 . 5 1 N u m b e r P e r c e n t 2 3 9 4 3 . 7 9 3 5 0 5 3 . 0 3 2 1 3 . 1 8 3 4 7 T a b l e E . 7 T e s t i n g a n d g r a d i n g s t a t i s t i c s f o r C E M I 3 0 F 7 4 T o t a l N e t N o . o f D i s t r i b u t i o n o f e x a m - t a k i n g f r e q u e n c y E x a m m e a n m e a n t r i e s 1 2 3 4 5 6 1 7 1 . 1 1 7 6 . 6 0 1 . 7 3 4 8 3 4 1 3 4 1 0 7 ' 2 7 5 . 5 1 8 1 . 5 5 1 . 5 7 5 7 3 0 1 0 2 0 0 3 7 4 . 7 7 8 1 . 2 5 1 . 6 7 5 0 3 5 1 2 3 0 0 4 7 5 . 9 1 8 1 . 7 3 1 . 7 4 5 1 2 9 1 4 5 1 0 5 7 3 . 8 0 8 0 . 7 3 1 . 7 2 4 9 3 4 1 3 4 1 0 6 7 2 . 4 0 7 9 . 7 1 1 . 7 4 4 7 3 5 1 4 3 0 0 7 7 6 . 2 4 8 2 . 8 0 2 . 0 0 3 7 3 7 1 6 7 3 0 8 7 0 . 3 0 7 8 . 1 8 2 . 1 0 4 0 3 0 1 7 7 3 2 a l l 7 4 . 1 8 8 0 . 4 5 1 . 7 9 4 8 3 3 1 4 4 1 0 F i n a l e x a m m e a n G . P . A . b e f o r e f i n a l G . P . A . a f t e r fi n a l 1 2 4 2 5 8 . 6 3 G r a d e s l o w e r e d b y fi n a l e x a m : G r a d e s u n c h a n g e d b y fi n a l e x a m : G r a d e s r a i s e d b y fi n a l e x a m : 2 . 8 7 2 . 6 5 N u m b e r P e r c e n t 5 5 7 4 4 . 8 5 6 5 6 5 2 . 8 2 2 9 2 . 3 3 3 4 8 T a b l e E . 8 T e s t i n g a n d g r a d i n g s t a t i s t i c s f o r C E M 1 3 1 W 7 5 T o t a l N e t N o . o f D i s t r i b u t i o n o f e x a m - t a k i n g f r e q u e n c y E x a m m e a n m e a n t r i e s 1 2 3 4 5 6 1 7 2 . 7 3 7 9 . 7 0 1 . 8 7 4 3 3 3 1 8 5 l 0 2 7 3 . O 9 8 2 . 8 2 2 . 1 6 3 5 3 4 1 6 9 4 1 3 6 5 . 0 0 7 3 . 7 6 2 . 3 7 2 7 3 3 2 3 1 2 4 2 4 6 6 . 3 1 7 5 . 6 3 2 . 2 7 2 7 3 4 2 6 9 3 1 5 6 0 . 4 3 6 9 . 5 9 2 . 3 4 2 7 3 2 2 5 1 1 3 1 a l l 6 7 . 8 7 7 6 . 6 4 2 . 2 0 3 2 3 3 2 2 9 3 1 N F i n a l e x a m m e a n G . P . A . b e f o r e f i n a l G . P . A . a f t e r fi n a l ‘ 1 1 1 2 6 6 . 4 5 2 . 6 4 2 . 5 0 N u m b e r P e r c e n t G r a d e s l o w e r e d b y f i n a l e x a m : 3 4 6 3 1 . 1 2 ' G r a d e s u n c h a n g e d b y fi n a l e x a m : 7 0 3 6 3 . 2 2 G r a d e s r a i s e d b y f i n a l e x a m : 6 3 5 . 6 7 3 4 9 T a b l e E . 9 T e s t i n g a n d g r a d i n g s t a t i s t i c s f o r C E M 1 3 0 W 7 5 T o t a l N e t N o . o f D i s t r i b u t i o n o f e x a m - t a k i n g f r e q u e n c y E x a m m e a n m e a n t r i e s 1 2 3 4 5 6 1 6 4 . 6 9 7 3 . 2 3 2 . 0 6 3 3 3 5 2 2 7 2 0 2 7 2 . 4 9 8 2 . 7 4 1 . 8 9 4 3 3 5 1 4 6 1 1 3 7 1 . 3 3 8 1 . 5 3 2 . 0 0 3 7 3 6 1 8 7 1 0 4 6 7 . 7 5 7 6 . 3 9 2 . 2 6 3 2 2 7 2 5 1 3 3 0 5 6 6 . 2 5 7 5 . 0 1 2 . 2 0 3 3 3 2 2 1 9 4 1 6 6 0 . 1 1 7 0 . 7 1 2 . 3 8 2 7 3 0 2 7 1 1 4 1 a l l 6 7 . 8 1 7 6 . 7 0 2 . 1 3 3 4 3 3 2 1 9 3 1 N F i n a l e x a m m e a n G . P . A . b e f o r e fi n a l G . P . A . a f t e r fi n a l 6 3 4 7 1 . 4 2 . 2 . 6 6 2 . 6 2 N u m b e r P e r c e n t G r a d e s l o w e r e d b y f i n a l e x a m : 1 0 7 1 6 . 8 8 G r a d e s u n c h a n g e d b y f i n a l e x a m : 4 6 3 7 3 . 0 3 G r a d e s r a i s e d b y f i n a l e x a m : 6 4 1 0 . 0 9 3 5 0 T a b l e E . 1 0 T e s t i n g a n d g r a d i n g s t a t i s t i c s f o r C E M 1 3 1 $ 7 5 T o t a l N e t N o . o f D i s t r i b u t i o n o f e x a m - t a k i n g f r e q u e n c y E x a m m e a n m e a n t r i e s 1 2 3 4 5 6 1 6 7 . i 7 7 8 . 8 8 2 . 3 3 2 8 3 0 2 4 1 3 3 1 2 6 9 . 9 8 8 0 . 2 1 2 . 0 9 3 5 3 0 2 4 9 1 0 3 6 1 . 9 7 7 4 . 2 2 2 . 2 7 3 1 2 8 2 7 1 0 3 1 4 5 9 . 9 9 7 0 . 9 0 2 . 1 9 3 5 2 9 2 1 1 0 3 1 5 5 0 . 9 4 6 0 . 0 2 2 . 3 3 3 1 3 0 2 1 1 0 5 2 a l l 6 3 . 4 5 7 3 . 3 2 2 . 2 4 3 2 2 9 2 3 1 0 3 1 N F i n a l e x a m m e a n G . P . A . b e f o r e fi n a l G . P . A . a f t e r fi n a l 5 4 5 5 9 . 5 0 2 . 3 7 2 . 1 8 N u m b e r P e r c e n t G r a d e s l o w e r e d b y fi n a l e x a m : 2 3 2 4 2 . 5 7 G r a d e s u n c h a n g e d b y f i n a l e x a m : 2 8 3 5 1 . 9 3 G r a d e s r a i s e d b y fi n a l e x a m : 3 0 5 . 5 0 3 5 1 T a b l e E . 1 1 T e s t i n g a n d g r a d i n g s t a t i s t i c s f o r C E M 1 3 0 F 7 5 T o t a l N e t N o . o f D i s t r i b u t i o n o f e x a m - t a k i n g f r e q u e n c y E x a m m e a n m e a n t r i e s 1 2 3 4 6 1 6 8 . 4 9 7 9 . 0 6 2 . 0 8 3 4 3 4 2 3 8 0 2 7 5 . 8 8 8 4 . 6 2 1 . 8 4 4 4 3 6 1 3 5 0 3 7 3 . 5 9 8 2 . 5 8 2 . 0 1 3 9 3 2 2 0 8 1 4 7 4 . 0 4 8 2 . 2 2 2 . 1 5 3 1 3 5 2 2 1 0 0 5 7 1 . 4 2 8 1 . 8 9 2 . 0 7 3 8 3 1 1 9 9 1 6 6 4 . 4 0 7 4 . 9 8 2 . 4 7 2 5 3 0 2 4 1 3 2 a l l 7 1 . 9 9 8 0 . 9 1 3 5 3 3 2 0 9 1 2 . 1 0 F i n a l e x a m m e a n G . P . A . b e f o r e f i n a l G . P . A . a f t e r f i n a l 1 3 8 1 7 0 . 3 4 G r a d e s l o w e r e d b y f i n a l e x a m : G r a d e s u n c h a n g e d b y fi n a l e x a m : G r a d e s r a i s e d b y fi n a l e x a m : 2 . 9 9 2 . 8 3 N u m b e r P e r c e n t 4 7 6 3 4 . 4 7 8 5 5 6 1 . 9 1 5 0 3 . 6 2 3 5 2 T a b l e E . 1 2 T e s t i n g a n d g r a d i n g s t a t i s t i c s f o r C E M 1 3 1 W 7 6 T o t a l N e t N o . o f D i s t r i b u t i o n o f e x a m - t a k i n g f r e q u e n c y E x a m m e a n m e a n t r i e s 1 2 3 4 5 6 1 7 1 . 7 9 8 2 . 8 3 2 . 3 1 2 9 3 1 2 4 1 1 4 1 2 7 2 . 5 7 8 1 . 6 0 2 . 1 2 3 6 3 1 2 2 9 2 0 3 6 2 . 4 9 7 2 . 4 3 2 . 4 6 2 5 3 0 2 5 1 4 5 1 4 6 1 . 2 5 7 2 . 2 9 2 . 4 8 2 3 3 2 2 5 1 3 5 1 5 5 7 . 1 2 7 5 . 3 4 4 . 1 0 2 7 2 4 2 6 2 3 1 8 a l l 6 4 . 0 4 7 7 . 1 1 2 . 6 9 2 3 2 6 2 4 1 5 8 4 F i n a l e x a m m e a n G . P . A . b e f o r e f i n a l G . P . A . a f t e r fi n a l 1 2 6 7 6 6 . 4 2 G r a d e s l o w e r e d b y f i n a l e x a m : G r a d e s u n c h a n g e d b y f i n a l e x a m : G r a d e s r a i s e d b y f i n a l e x a m : 2 . 7 0 2 . 5 4 N u m b e r P e r c e n t 4 5 3 3 5 . 7 5 7 7 0 6 0 . 7 7 4 4 3 . 4 7 3 5 3 T a b l e E . 1 3 T e s t i n g a n d g r a d i n g s t a t i s t i c s f o r C E M 1 3 0 W 7 6 T a t a l N e t N o . o f D i s t r i b u t i o n o f e x a m - t a k i n g f r e q u e n c y E x a m m e a n m e a n t r i e s 1 2 3 4 5 6 l 6 6 . 9 8 7 4 . 5 4 2 . 0 9 3 4 3 4 2 1 9 2 0 2 7 2 . 4 9 8 0 . 0 9 1 . 8 3 4 6 3 3 1 4 5 1 0 3 7 2 . 0 0 8 1 . 3 1 1 . 9 7 4 1 3 3 1 7 6 2 1 4 7 4 . 2 5 8 0 . 4 2 1 . 8 1 4 9 2 8 1 5 7 1 0 5 6 8 . 4 6 7 5 . 6 4 1 . 9 6 3 9 3 6 1 6 6 2 0 6 5 7 . 6 0 6 5 . 3 3 2 . 4 6 2 5 3 2 2 3 1 2 5 2 a l l 6 9 . 1 8 7 6 . 7 9 2 . 0 2 3 9 3 3 1 8 8 2 1 F i n a l e x a m m e a n G . P . A . b e f o r e f i n a l G . P . A . a f t e r fi n a l 6 7 1 7 5 . O 4 G r a d e s l o w e r e d b y f i n a l e x a m : G r a d e s u n c h a n g e d b y fi n a l e x a m : G r a d e s r a i s e d b y fi n a l e x a m : 2 . 6 5 2 . 6 9 N u m b e r P e r c e n t 6 7 9 . 9 9 4 7 6 7 0 . 9 4 1 2 8 1 9 . 0 8 3 5 4 T a b l e E . 1 4 T e s t i n g a n d g r a d i n g s t a t i s t i c s f o r C E M 1 3 1 S 7 6 T o t a l N e t N o . o f D i s t r i b u t i o n o f e x a m - t a k i n g f r e q u e n c y E x a m m e a n m e a n t r i e s 1 2 3 4 5 6 1 6 9 . 0 5 7 8 . 6 0 2 . 1 1 3 3 3 4 2 2 8 2 0 2 7 1 . 3 9 7 9 . 5 4 1 . 9 4 4 1 3 2 1 9 7 1 0 3 6 0 . 5 4 7 0 . 5 1 2 . 3 1 2 7 3 5 2 2 1 0 4 2 4 6 0 . 9 2 7 2 . 6 4 2 . 0 5 3 7 3 3 1 9 8 2 O 5 5 1 . 9 3 6 0 . 6 5 2 . 0 7 4 2 2 8 1 8 6 3 2 a l l 6 4 . 2 4 7 2 . 9 8 2 . 1 0 3 6 3 2 2 0 8 3 1 N F i n a l e x a m m e a n G . P . A . b e f o r e f i n a l G . P . A . a f t e r fi n a l 5 7 5 6 7 . 1 4 2 . 3 9 2 . 3 5 N u m b e r P e r c e n t G r a d e s l o w e r e d b y f i n a l e x a m : 1 0 8 1 8 . 7 8 G r a d e s u n c h a n g e d b y fi n a l e x a m : 4 0 0 6 9 . 5 7 G r a d e s r a i s e d b y f i n a l e x a m : 6 7 l l . 6 5 3 5 5 A p p e n d i x F A t t i t u d e s u r v e y a n d c o u r s e e v a l u a t i o n r e s u l t s F o u r t a b l e s a r e p r e s e n t e d i n t h i s a p p e n d i x . T h e f i r s t t w o t a b l e s a r e b a s e d o n t h e t o t a l r e s p o n s e t o c o u r s e e v a l u a t i o n s u r v e y s ; t h e s t a t i s t i c s w e r e c a l c u l a t e d b y h a n d . T h e l a s t t w o t a b l e s a r e b a s e d . o n l y o n t h o s e s u r v e y s m a t c h e d t o r e c o r d s i n t h e c o u r s e f i l e s b y s t u d e n t n u m b e r . E a c h t a b l e i s b r i e f l y d e s c r i b e d b e l o w . F . 1 . F o u r t e e n g r a p h s o f a v e r a g e r e s p o n s e t o I t e m s 1 t h r o u g h 1 4 f r o m t h e c o u r s e e v a l u a t i o n f o r m i n d i c a t i n g m e a n a n d i n t e r p o l a t e d m e d i a n r e s p o n s e s f o r e a c h o f f o u r t e e n t e r m s w i t h m a j o r e n r o l l m e n t s I n t h i s t a b l e a r e l i s t e d g r a p h i c a l l y f o r e a c h i t e m t h e m e a n a n d i n t e r p o l a t e d m e d i a n r e s p o n s e s f o r t e r m s w i t h e n r o l l m e n t s o f 3 0 0 o r m o r e s t u d e n t s . T h e i n t e r p o l a t e d m e d i a n i s b a s e d o n t h e a s s u m p t i o n t h a t r e s p o n s e s w i t h i n e a c h i n t e r v a l w o u l d b e e v e n l y d i s t r i b u t e d a m o n g s u b i n t e r v a l s i f t h e y w e r e a v a i l a b l e . W h e n t h e m e a n a n d m e d i a n a r e d i f f e r e n t , t h e n t h e d i s t r i b u t i o n o f t h e r e s p o n s e s i s s k e w e d a n d t h e r e s p o n s e m e a n m a y n o t b e t h e b e s t e s t i m a t e o f t h e ' a v e r a g e ' r e s p o n s e . F . 2 . T w e n t y - f o u r b a r g r a p h s o f p e r c e n t r e s p o n s e i n e a c h r e s p o n s e c a t e g o r y f o r I t e m s 1 t h r o u g h 1 4 a n d 1 8 t h r o u g h 2 2 f o r t e r m s w i t h m a j o r e n r o l l m e n t s I n t h i s t a b l e a r e l i s t e d t h e p e r c e n t r e s p o n s e i n e a c h r e s p o n s e c a t e g o r y t o i t e m s f r o m t h e c o u r s e e v a l u a t i o n s u r v e y f o r t e r m s w i t h e n r o l l m e n t s o f 3 0 0 o r m o r e s t u d e n t s . T h e b a r g r a p h s f o r a l l b u t t h e l a s t i t e m a r e p r e s e n t e d i n t h e f o l l o w i n g f o r m a t . 3 5 6 T h e i d e n t i f y i n g n u m b e r s a n d o r d e r i n g o f t h e r e s p o n s e p e r c e n t b l o c k s a r e l i s t e d t o t h e l e f t o f e a c h b a r g r a p h . B a r w i d t h s a r e p r o p o r t i o n a l t o t h e n u m b e r o f r e s p o n s e s t o e a c h s u r v e y q u e s t i o n . I n t e r v a l s o f t e n p e r c e n t a r e m a r k e d o n t h e e d g e s o f t h e g r a p h s a n d t h e m i d p o i n t i n t h e d i s t r i b u t i o n i s i n d i c a t e d b y a n u n d e r l y i n g d o t t e d l i n e . E a c h s u r v e y q u e s t i o n i s p r o v i d e d u n d e r n e a t h t h e a p p r o p r i a t e g r a p h ; a d d i t i o n a l r e f e r e n c e m a y b e m a d e t o F i g u r e 4 . 4 o n p . 2 1 4 f o r a s a m p l e o f a t y p i c a l s u r v e y . S i n c e I t e m s 1 8 t o 2 2 a r e n o t a l w a y s t h e s a m e f o r d i f f e r e n t t e r m s , t h o s e q u e s t i o n s w h i c h a r e d i f f e r e n t f r o m t h e o n e s w h i c h a p p e a r o n t h e s a m p l e s u r v e y a r e d e s c r i b e d h e r e . Q u e s t i o n 1 9 o n p . 3 7 2 a s k s t h e s t u d e n t w h i c h t e x t b o o k w a s o f s i g n i f i c a n t v a l u e . F o u r d i f f e r e n t t e x t s h a v e b e e n u s e d o v e r t h e p a s t f i v e y e a r s , ' a n d f o r t h e t e r m s t h i s q u e s t i o n w a s a s k e d , t h e s e b o o k s h a v e t h e f o l l o w i n g a p p e a r a n c e s : M o r t i m e r - C h e m i s t r y P e t r u c c i - G e n e r a l A C o n c e p t u a l A p p r o a c h C h e m i s t r y O ' C o n n o r - F u n d a m e n t a l s g ’ B r a d y , H u m i s t o n - g o f C h e m i s t r y . G e n e r a l C h e m i s t r y & P r i n c i p l e s a n d S t r u c t u r e . Q u e s t i o n 1 8 o n p . 3 7 4 p e r t a i n s t o t h e p a c i n g o f p r e s e n t a t i o n : T h e p a c i n g i n t h e c o u r s e s h o u l d b e : ( 1 ) f a s t e r ( 2 ) a b o u t t h e s a m e o r ( 3 ) s l o w e r . Q u e s t i o n 1 9 o n p . 3 7 4 a s k s a b o u t e x a m i n a t i o n l e n g t h : T h e e x a m s s h o u l d b e : ( 1 ) s h o r t e r ( 2 ) a b o u t a s t h e y a r e n o w o r ( 3 ) l o n g e r a n d l e s s o f t e n . 3 5 7 Q u e s t i o n 2 0 o n p . 3 7 4 a s k s t h e s t u d e n t w h e t h e r : T h e n u m b e r o f S t u d y Q u e s t i o n s s h o u l d b e : ( 1 ) i n c r e a s e d ( 2 ) u n c h a n g e d o r ( 3 ) d e c r e a s e d . Q u e s t i o n 2 1 o n p . 3 7 4 p e r t a i n s t o t h e n u m b e r o f c o u r s e c r e d i t s : T h i s c o u r s e s h o u l d b e : ( 1 ) l o w e r e d t o 3 c r e d i t s ( 2 ) r e m a i n 4 c r e d i t s o r ( 3 ) b e i n c r e a s e d t o 5 c r e d i t s . ( W h e n a s k e d o f C E M 1 3 1 , w h i c h i s a t h r e e c r e d i t c o u r s e , t h e r e s p o n s e s t o ( 1 ) a n d ( 2 ) a r e a p p r o p r i a t e l y a d j u s t e d . ) Q u e s t i o n 2 2 o n p . 3 7 4 a s k s t h e s t u d e n t i f : T h e S t u d y G u i d e s s h o u l d b e : ( 1 ) m o r e s p e c i f i c ( 2 ) a b o u t t h e s a m e o r ( 3 ) m o r e g e n e r a l . T h e l a s t i t e m d i s p l a y e d i n t h e s e b a r g r a p h s i s N o . 2 2 w h i c h a s k s w h a t p e r c e n t o f a s t u d e n t ' s t i m e i s s p e n t s t u d y i n g f r o m ' o l d ' e x a m s . T h e h e i g h t o f e a c h c a t e g o r y o f p e r c e n t - t i m e - s p e n t i s t h e p e r c e n t a g e o f s t u d e n t s r e s p o n d i n g i n t h a t c a t e g o r y . T h e q u a r t i l e s o f t h e d i s t r i b u t i o n a r e i n d i c a t e d b y t r i a n g l e s a l o n g t h e b o t t o m e d g e o f e a c h g r a p h . B a r s a r e o f a l t e r n a t i n g d e s i g n m e r e l y t o f a c i l i t a t e i n t e r p r e t a t i o n . F . 3 . I t e m m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e S e l e c t e d i t e m s o f i n t e r e s t f r o m t h e p r e c o u r s e a n d p o s t c o u r s e a t t i t u d e s u r v e y s a n d t h e c o u r s e e v a l u a t i o n f o r m a r e l i s t e d i n T a b l e F . 3 . E a c h e n t r y i n c l u d e s t h e i t e m m e a n o n a s c a l e o f 1 . 0 t o 5 . 0 , t h e s t a n d a r d d e v i a t i o n o f t h e r e s p o n s e s , t h e c o r r e l a t i o n b e t w e e n t h e s t u d e n t ' s r e s p o n s e a n d h i s g r a d e , a n d t h e m e a n g r a d e f o r a l l s t u d e n t s w h o 3 5 8 r e s p o n d e d t o t h e i t e m . T h e g r a d e m e a n s a r e d i f f e r e n t f o r d i f f e r e n t i t e m s b e c a u s e t h e s a m e s t u d e n t s d i d n o t r e s p o n d t o a l l t h e s a m e i t e m s ; i n c o m p l e t e s u r v e y r e t u r n l e a d s t o a d i f f e r e n c e b e t w e e n t h e g r a d e m e a n f o r a n i t e m a n d t h e g r a d e m e a n f o r t h e t o t a l e n r o l l m e n t i n t h e c o u r s e . T h e f i r s t f o u r t e e n v a r i a b l e s a r e f r o m t h e p r e c o u r s e a t t i t u d e s u r v e y a n d a r e l a b e l e d ' 1 4 - P R E ' t h r o u g h ' 3 8 ' w i t h t h e s e l a b e l s c o r r e s p o n d i n g t o t h e n u m b e r s o f t h e s u r v e y q u e s t i o n s o n t h e s a m p l e f o r m s h o w n i n F i g u r e 4 . 6 , p . 2 1 8 . T h e s e c o n d f o u r t e e n v a r i a b l e s a r e f r o m t h e p o s t c o u r s e s u r v e y a n d a r e l a b e l e d ' 1 4 - P O S T ' t h r o u g h ' 3 8 ' t o c o r r e s p o n d t o t h e q u e s t i o n n u m b e r s i n F i g u r e 4 . 7 o n p . 2 1 9 . T h e l a s t e i g h t v a r i a b l e s a r e q u e s t i o n s f r o m t h e c o u r s e e v a l u a t i o n f o r m a n d a r e l a b e l e d ' 1 ' t h r o u g h ' 1 4 ' i n a g r e e m e n t w i t h F i g u r e 4 . 4 o n p . 2 1 4 . T h e s e d a t a a r e t h e o u t p u t o f c o m p u t e r p r o g r a m M i n e r v a . T h e m e a n s f r o m t h e s e t a b l e s a r e s l i g h t l y d i f f e r e n t f r o m s o m e m e a n s q u o t e d i n C h a p t e r I V o r g i v e n i n T a b l e F . 1 b e c a u s e t h e n u m b e r s o f s t u d e n t s o n w h i c h t h e s e m e a n s a r e b a s e d a r e d i f f e r e n t . I n o r d e r t o c a l c u l a t e c o r r e l a t i o n s w i t h c o u r s e g r a d e , o n l y t h o s e s u r v e y s w h i c h i n c l u d e d a s t u d e n t n u m b e r c o u l d b e u s e d , a n d s e v e r a l p e r c e n t o f e a c h t e r m ' s s u r v e y s a r e r e t u r n e d w i t h o u t s t u d e n t n u m b e r i d e n t i f i c a t i o n . T h e s e ' a n o n o m o u s ' r e s p o n s e s a r e c o u n t e d i n t h e o v e r a l l m e a n s a n d r e s p o n s e f r e q u e n c y r e s u l t s b u t n o t i n T a b l e s F . 3 o r P A . 3 5 9 F . 4 . F a c t o r m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e T h e s u r v e y q u e s t i o n s f r o m T a b l e F . 3 a r e g r o u p e d i n t o f a c t o r s a n d t h e f a c t o r m e a n a n d f a c t o r c o r r e l a t i o n w i t h c o u r s e g r a d e c a l c u l a t e d f o r t h i s t a b l e . T h e s u r v e y i t e m s w h i c h m a k e u p t h e s e t w e l v e f a c t o r s a r e l i s t e d h e r e , t a k e n f r o m T a b l e 4 . 2 , p . 2 3 2 . F a c t o r 1 F a c t o r 2 F a c t o r 3 F a c t o r 4 F a c t o r 5 F a c t o r 6 F a c t o r 7 F a c t o r 8 F a c t o r 9 F a c t o r 1 F a c t o r 1 1 F a c t o r 1 2 N o s . N o s . N o s . N o s . N o s . N o s . N o s . N o s . N o s . N o s . N o s . N o s . 1 4 , 1 9 , 2 1 - p r e c o u r s e a t t i t u d e s u r v e y 2 2 , 2 3 , 3 0 - p r e c o u r s e a t t i t u d e s u r v e y 3 1 , 3 5 , 3 6 , 4 O - p r e c o u r s e a t t i t u d e s u r v e y 3 2 , 3 4 , 3 7 , 3 9 - p r e c o u r s e a t t i t u d e s u r v e y 3 3 , 3 8 - p r e c o u r s e a t t i t u d e s u r v e y 1 4 , 1 9 , 2 1 - p o s t c o u r s e a t t i t u d e s u r v e y 2 2 , 2 3 , 3 0 - p o s t c o u r s e a t t i t u d e s u r v e y 3 1 , 3 5 , 3 6 , 4 O - p o s t c o u r s e a t t i t u d e s u r v e y 3 2 , 3 4 , 3 7 , 3 9 - p o s t c o u r s e a t t i t u d e s u r v e y 3 3 , 3 8 - p o s t c o u r s e a t t i t u d e s u r v e y 1 0 , 1 4 - c o u r s e e v a l u a t i o n f o r m - c o u r s e e v a l u a t i o n f o r m T h e m e a n s l i s t e d i n t h i s t a b l e m a y d i f f e r f r o m m e a n s b a s e d o n a l l s u r v e y r e s p o n s e s b e c a u s e a n y s u r v e y s s u b m i t t e d w i t h o u t s t u d e n t n u m b e r i d e n t i f i c a t i o n c o u l d n o t b e u s e d t o c a l c u l a t e a c o r r e l a t i o n w i t h c o u r s e g r a d e a n d w e r e n o t i n c l u d e d i n t h e c a l c u l a t i o n o f t h e m e a n . P L E A S E N O T E : D i s s e r t a t i o n c o n t a i n s c o m p u t e r p r i n t - o u t s w i t h b r o k e n a n d i n d i s t i n c t p r i n t . F i l m e d a s r e c e i v e d . U N I V E R S I T Y M l C R O F i L M S 3 6 0 T a b l e F . 1 F o u r t e e n g r a p h s o f a v e r a g e r e s p o n s e t o I t e m s 1 t h r o u g h 1 4 f r o m t h e c o u r s e e v a l u a t i o n f o r m i n d i c a t i n g m e a n [ O ] a n d i n t e r p o l a t e d m e d i a n [ 0 1 r e s p o n s e s f o r e a c h o f f o u r t e e n t e r m s w i t h m a j o r e n r o l l m e n t s 2 . H o w m u c h d i d y o u l i k e t h ' s m e t h o d o f t e a c h i n g a c o u r s e c o m p a r e d t o t h e t r a d i t i o n a l l e c t u r e r e c i t a t i o n m e t h o d ? 5 [ ” 7 3 1 3 1 5 7 3 1 3 0 1 7 7 3 1 3 1 W 7 4 1 3 0 W 7 4 1 3 1 5 7 4 1 3 0 F 7 4 1 3 1 W 7 5 1 3 0 W 7 5 1 3 1 8 7 5 1 3 0 F 7 5 1 3 1 9 1 7 6 1 3 0 9 1 7 6 1 3 1 5 7 6 H o w m u c h d i d y o u l e a r n u n d e r t h i s m e t h o d c o m p a r e d t o t h e a m o u n t y o u m i g h t h a v e l e a r n e d u n d e r t h e t r a d i t i o n a l m e t h o d ? 5 1 3 0 W 7 3 1 3 1 8 7 3 1 3 0 1 7 7 3 1 3 1 W 7 4 1 3 0 W 7 4 1 3 1 3 7 4 1 3 0 1 7 7 4 1 3 1 W 7 5 1 3 0 W 7 5 1 3 1 8 7 5 1 3 0 1 7 7 5 1 3 1 1 7 1 7 6 1 3 3 9 1 7 6 1 3 1 5 7 6 3 6 1 T a b l e F . 1 ( c o n t ' d ) 3 . I l i k e d t h e s e l f p a c i n g . s 1 3 0 W 7 3 1 3 1 8 7 3 1 3 0 F 7 3 1 3 1 9 1 7 4 1 3 0 W 7 4 1 3 1 8 7 4 1 3 0 F 7 4 1 3 1 7 1 7 5 1 3 0 W 7 5 1 3 1 8 7 5 1 3 0 F 7 5 1 3 1 W 7 6 1 3 0 W 7 6 1 3 1 8 7 6 4 , I l i k e d t h e e x a m p r o c e d u r e . 5 1 3 0 W 7 3 1 3 1 8 7 3 1 3 0 1 7 7 3 1 3 1 1 3 7 4 1 3 0 W 7 4 1 3 1 8 7 4 1 3 0 F 7 4 1 3 1 W 7 5 1 3 0 9 1 7 5 1 3 1 8 7 5 1 3 0 F 7 5 1 3 1 W 7 6 1 3 0 W 7 6 1 3 1 8 7 6 5 . I l i k e d h o w t h e f i n a l e x a m c o u n t e d t o w a r d m y f i n a l g r a d e . 5 1 W 3 1 3 1 8 7 3 1 : ” ? 7 3 1 3 1 W 7 4 1 3 0 W 7 4 1 3 1 8 7 4 1 3 0 F 7 4 1 3 1 W 7 5 1 3 0 W 7 5 1 3 1 $ 7 5 1 3 0 F 7 5 1 3 1 W 7 6 1 3 0 W 7 6 1 3 1 8 7 6 I 3 6 2 T a b l e F . 1 ( c o n t ' d ) 6 , I l i k e d t h e g r a d i n g s c a l e . 5 1 3 0 w 7 3 1 3 1 3 7 3 1 3 0 F 7 3 1 3 1 W 7 4 1 3 0 W 7 4 1 3 1 8 7 4 1 3 0 F 7 4 1 3 1 W 7 5 1 3 0 W 7 5 1 3 1 8 7 5 1 3 0 1 7 7 5 1 3 1 W 7 6 1 3 0 W 7 6 1 3 1 8 7 6 7 . I l i k e d t h e C E M R o o m . 5 1 3 0 W 7 3 1 3 1 8 7 3 1 3 0 F 7 3 1 3 1 W 7 4 1 3 0 9 1 7 4 1 3 1 8 7 4 1 3 0 1 7 7 4 1 3 1 W 7 5 1 3 0 W 7 5 1 3 1 8 7 5 1 3 0 F 7 5 1 3 1 W 6 1 3 0 W 7 6 1 3 1 8 7 6 8 _ I l i k e d t h e t e x t b o o k . 5 m o m s 1 3 1 8 7 3 W W 3 1 3 1 W 7 4 1 3 0 W 7 4 1 3 1 8 7 4 1 3 0 1 7 7 4 1 3 1 W 7 5 1 3 0 W 7 5 1 3 1 8 7 5 1 3 0 1 7 7 5 1 3 1 W 7 6 1 3 1 W 7 6 1 3 1 8 7 6 3 6 3 T a b l e F . 1 ( c o n t ' d ) 9 , I l i k e d t h e T a p e s . 5 1 W 3 1 3 1 8 7 3 1 3 0 F 7 3 1 3 1 W 7 4 1 3 0 W 7 4 1 3 1 8 7 4 1 3 0 1 7 7 4 1 3 1 W 7 5 1 3 O W 7 5 1 3 1 8 7 5 1 3 0 1 7 7 5 1 3 1 W 7 6 1 3 0 W 7 6 1 3 1 8 7 6 1 0 , , T h e a u d i o t a p e s a r e b e t t e r t h a n l e c t u r e s w o u l d h a v e b e e n . 5 1 1 3 O W 7 3 1 3 1 8 7 3 1 3 0 F 7 3 1 3 1 W 7 4 1 3 0 W 7 4 1 3 1 8 7 4 1 3 0 F 7 4 1 3 1 W 7 5 1 3 0 W 7 5 1 3 1 $ 7 5 1 3 0 F 7 5 1 3 1 W 7 6 1 3 0 W 7 6 1 3 1 8 7 6 ' I ‘ I , A f t e r I d i d w h a t t h e s t u d y g u i d e s a i d , I f e l t p r e p a r e d t o t a k e a n e x a m . 5 1 W 3 1 3 1 8 7 3 1 3 0 F 7 3 1 3 1 W 7 4 1 3 0 W 7 4 1 3 1 8 7 4 1 3 0 F 7 4 1 3 1 W 7 5 1 3 0 W 7 5 1 3 1 8 7 5 1 3 0 F 7 5 1 3 1 W 7 6 1 3 0 W 7 6 1 3 1 8 7 6 1 2 . T h e g r a d e I g e t r e f l e c t s t h e a m o u n t o f w o r k I p u t i n t o t h e c o u r s e . 5 T a b l e F . 1 ( c o n t ' d ) 3 6 4 1 W 3 1 3 1 8 7 3 1 3 3 1 7 7 3 1 3 1 W 7 4 1 3 0 W 7 4 1 3 1 8 7 4 1 3 0 1 7 7 4 1 3 1 W 7 5 1 3 0 W 7 5 1 3 1 8 7 5 1 3 0 F 7 5 1 3 1 W 7 6 1 m w 7 6 1 3 1 8 7 6 1 3 . I d i d n o t f e e l n e r v o u s o r a n x i o u s a b o u t t a k i n g a n e x a m . 5 1 W 3 1 3 1 8 7 3 1 3 0 F 7 3 1 3 1 W 7 4 1 3 0 W 7 4 1 3 1 8 7 4 1 3 0 F 7 4 1 3 1 W 7 5 1 3 0 W 7 5 1 3 1 8 7 5 1 3 0 1 7 7 5 1 3 1 W 7 6 1 3 0 W 7 6 1 3 1 8 7 6 I f I w e r e g i v e n t h e c h o i e , I w o u l d c h o o s e t h i s m e t h o d f o r a c o u r s e 1 4 . r a t h e r t h a n t h e l e c t u r e r e c i t a t i o n - t h r e e - e x a m s - a n d - a - f i n a l m e t h o d . 5 1 W 3 1 3 1 8 7 3 1 3 0 F 7 3 1 3 1 W 7 4 1 3 0 W 7 4 1 3 1 8 7 4 1 3 0 F 7 4 1 3 1 W 7 5 1 3 0 W 7 5 1 3 1 8 7 5 1 3 0 1 7 7 5 1 3 1 9 1 7 6 1 3 0 9 1 7 6 1 3 1 8 7 6 3 6 5 T a b l e F . 2 T w e n t y - f o u r b a r g r a p h s o f p e r c e n t r e s p o n s e i n e a c h r e s p o n s e c a t e g o r y f o r I t e m s 1 t h r o u g h 1 4 a n d 1 8 t h r o u g h 2 2 f o r t e r m s w i t h m a j o r e n r o l l m e n t s H 7 3 5 7 3 F 7 3 H 7 4 H 7 4 8 7 4 F 7 4 H 7 5 H 7 5 5 7 5 F 7 5 H 7 6 H 7 6 $ 7 6 1 3 0 1 3 1 1 3 0 1 3 1 1 1 ) 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 1 3 1 1 3 1 n o 1 3 1 1 . H o w m u c h d i d y o u l i k e t h i s m e t h o d o f t e a c h i n g a c o u r s e c o m p a r e d t o t h e t r a d i t i o n a l l e c t u r e / r e c i t a t i o n m e t h o d ? > H 7 3 S 7 3 F 7 3 H 7 4 H 7 4 5 7 4 F 7 4 H 7 5 H 7 5 5 7 5 F 7 5 H 7 6 H 7 6 5 7 6 1 3 0 1 3 0 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 1 3 1 1 1 1 1 3 1 1 3 0 1 3 1 2 . H o w m u c h d i d y o u l e a r n u n d e r t h i s m e t h o d c o m p a r e d t o t h e a m o u n t y o u m i g h t h a v e l e a r n e d u n d e r t h e t r a d i t i o n a l m e t h o d ? 3 6 6 T a b l e F . 2 ( c o n t ' d ) 5 4 3 2 1 H 7 3 5 7 3 F 7 3 H 7 4 H 7 4 S 7 4 F 7 4 H 7 5 H 7 5 5 7 5 F 7 5 H 7 6 H 7 6 5 7 6 1 3 0 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 3 . I l i k e d t h e s e l f p a c i n g . 5 4 3 2 1 H 7 3 5 7 3 F 7 3 \ m a n $ 7 4 m H 7 5 H 7 5 5 7 5 F 7 5 H 7 6 H 7 6 5 7 6 1 3 0 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 n o 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 4 . I l i k e d t h e e x a m p r o c e d u r e 3 6 7 T a b l e F . 2 ( c o n t ' d ) 5 4 3 2 1 S 7 3 F 7 3 H 7 4 H 7 4 5 7 4 F 7 4 H 7 5 H 7 5 S 7 5 F 7 5 H 7 6 H 7 6 $ 7 6 1 3 1 1 3 0 1 3 1 1 ! ) 1 3 1 1 ” 1 3 1 1 ” 1 3 1 1 1 1 1 3 1 I ” 1 3 1 5 . I l i k e d h o w t h e f i n a l e x a m c o u n t e d t o w a r d m y f i n a l g r a d e . 1 1 4 7 ; ; S 7 3 F 7 3 H 7 4 1 1 7 , 4 S 7 4 F 7 4 H 7 5 H 7 5 5 7 5 F 7 5 H 7 6 H 7 6 5 7 6 1 1 3 1 1 3 0 1 3 1 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 1 ! ) 1 3 1 1 3 0 1 3 1 6 . I l i k e d t h e g r a d i n g s c a l e . 3 6 8 T a b l e F . 2 ( c o n t ' d ) 5 4 3 2 1 m 5 7 3 F 7 3 H 7 4 m s 7 4 m H 7 5 H 7 5 5 7 5 n s m m 5 7 6 n o 1 3 1 n o 1 3 1 n o 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 7 . I l i k e d t h e C E M R o o m . 5 4 3 2 1 H 7 3 S 7 3 F 7 3 H 7 4 H 7 4 S 7 4 F 7 4 H 7 5 H 7 5 S 7 5 F 7 5 H 7 6 5 7 6 1 3 1 3 1 I ” 1 3 1 n o 1 3 1 I ” 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 3 0 1 3 1 8 . I l i k e d t h e t e x t b o o k . 3 6 9 T a b l e F . 2 ( c o n t ' d ) 5 4 3 2 1 5 7 3 F 7 3 H 7 4 H 7 4 5 7 4 F 7 4 H 7 5 H 7 5 5 7 5 F 7 5 H 7 6 H 7 6 $ 7 6 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 I ” 1 3 1 1 3 0 1 3 1 9 . I l i k e d t h e T a p e s . H 7 3 5 7 3 F 7 3 H 7 4 H 7 4 5 7 4 F 7 4 H 7 5 H 7 5 5 7 5 F 7 5 H 7 6 H 7 6 S 7 6 1 ! ) 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 1 3 ) 1 3 1 1 3 ) 1 3 1 1 0 . T h e a u d i o t a p e s a r e b e t t e r t h a n l e c t u r e s w o u l d h a v e b e e n . 3 7 0 T a b l e F . 2 ( c o n t ' d ) 5 4 3 2 1 H 7 3 s 7 3 m H 7 4 H 7 4 5 7 1 r 7 4 H 7 5 H 7 5 5 7 5 F 7 5 m 5 7 6 1 3 0 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 1 3 1 1 1 . A f t e r I d i d w h a t t h e s t u d y g u i d e s a i d , I f e l t p r e p a r e d t o t a k e a n e x a m . 5 4 3 2 1 H 7 3 S 7 3 F 7 3 H 7 4 H 7 4 S 7 4 F 7 4 H 7 5 H 7 5 S 7 5 F 7 5 H 7 6 H 7 6 5 7 6 1 1 ) 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 1 3 ) 1 3 1 1 2 . T h e g r a d e I g e t r e f l e c t s t h e a m o u n t o f w o r k I p u t i n t o t h e c o u r s e . 3 7 1 T a b l e F . 2 ( c o n t ' d ) H 7 3 5 7 3 F 7 3 H 7 4 H 7 4 5 7 4 F 7 4 H 7 5 H 7 5 5 7 5 F 7 5 H 7 6 H 7 6 S 7 6 1 3 ) 1 3 1 1 3 0 1 3 1 1 ” 1 3 1 I 3 0 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 I N 1 3 1 1 3 . I d i d n o t f e e l n e r v o u s o r a n x i o u s a b o u t t a k i n g a n e x a m . H 7 3 S 7 3 F 7 3 H 7 4 H 7 4 5 7 4 F 7 4 H 7 5 H 7 5 5 7 5 F 7 5 H 7 6 H 7 6 5 7 6 1 1 1 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 1 4 . I f I w e r e g i v e n t h e c h o i c e , I w o u l d c h o o s e t h i s m e t h o d f o r a c o u r s e r a t h e r t h a n t h e l e c t u r e / r e c i t a t i o n - t h r e e — e x a m s - a n d - a - f i n a l m e t h o d . 3 7 2 T a b l e F . 2 ( c o n t ' d ) . . . . . 1 3 1 I I I ? H 7 6 1 1 6 7 1 8 . B y w h i c h m e t h o d w o u l d y o u p r e f e r a c o u r s e t o b e t a u g h t ? 4 3 2 1 F 7 4 H 7 5 H 7 5 5 7 5 F 7 5 H 7 6 m 5 7 6 1 3 1 1 3 0 1 3 1 1 3 0 i n 1 3 0 1 3 1 1 3 0 1 3 1 1 9 . W h i c h t e x t s d i d y o u f i n d o f s i g n i f i c a n t v a l u e . 3 7 3 T a b l e F . 2 ( c o n t ' d ) 4 3 _ . 2 1 H 7 5 H 7 5 7 F 7 5 H 7 6 H 7 6 5 7 6 1 3 1 1 ” 1 ” 1 3 1 I ” 1 3 1 2 0 . H o w d i d y o u m o s t o f t e n l i s t e n t o a u d i o t a p e s ? 4 3 2 1 H 7 5 H 7 5 s 7 5 F 7 5 H 7 6 H 7 6 5 7 6 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 1 3 0 1 3 1 2 1 . H o w m a n y a u d i o t a p e s d i d y o u d u p l i c a t e ? 3 7 4 T a b l e F . 2 ( c o n t ' d ) 3 [ s l o w e r ] 1 [ s h o r t e r ] . 2 [ s a m e ] - 2 [ s a m e ] . 3 [ l o n g e r 1 [ f a s t e r ] f e w e r ] — H 7 3 5 7 3 F 7 3 H 7 3 5 7 3 F 7 3 1 1 1 1 3 1 1 3 0 1 3 ) 1 3 1 1 3 0 1 8 . T h e p a c i n g i n t h e c o u r s e 1 9 . T h e e x a m s s h o u l d b e . . . s h o u d b e . . . 1 1 [ 3 c r ] 1 [ m o r e 3 e c i f i c [ i n c r ] p l 2 4 2 [ o r ] [ s a m e ] _ 2 [ s a m e ] 3 [ 5 c r ] 3 l 3 [ m o r e [ d e c r ] - g e n e r a l ] H 7 3 5 7 3 F 7 3 H 7 3 5 7 3 H 7 3 5 7 3 1 3 0 1 3 1 1 3 0 1 3 0 1 3 1 1 3 0 1 3 1 2 0 . T h e n u m b e r o f 2 1 . T h i s c o u r s e 2 2 . T h e S t u d y G u i d e s S t u d y Q u e s t i o n s s h o u l d b e . . . s h o u l d b e . . . s h o u l d b e . . . — - — — - — — - — - — — — — — — - — - — — — — — — — — — — - . . — — — — - — — - — — - 3 7 5 T a b l e F . 2 ( c o n t ' d ) 3 0 1 0 2 0 3 0 4 0 5 O 6 O 7 0 8 0 9 0 1 0 0 — — - — — - V 2 0 1 0 C E M 1 3 1 S 7 4 0 3 0 C E M 1 3 0 F 7 4 C E M 1 3 1 W 7 5 C E M 1 3 0 W 7 5 2 2 . W h a t p e r c e n t a g e o f y o u r e f f o r t d i d y o u e x p e n d s t u d y i n g f r o m " o l d " e x a m s ? 3 7 6 ( c o n t ' d ) T a b l e F . 2 5 7 S 1 3 1 M E C C E M 1 3 0 F 7 5 C E M 1 3 1 W 7 6 3 0 2 O 6 7 W 0 3 1 M E C 3 0 2 O 6 7 S 1 3 1 M E C 3 7 7 T a b l e F . 3 . 1 I t e m m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e W I N T E R 1 9 7 3 C H E M 1 3 0 N = 5 5 6 V A R I A B L E N U M B E R O F M E A N S T A N D A R D C O R R E L A T I O N G R A D E - R § C O R D S o g v 1 4 7 1 0 ~ 8 1 7 8 - G R A D E ' M E A N 1 4 2 6 9 : 4 6 6 . 2 . 8 6 2 7 . 8 4 3 1 — . 1 1 7 0 2 . 7 6 7 2 1 9 4 6 8 . 2 . 5 8 5 5 1 . 2 6 3 9 . 0 1 5 1 2 . 7 6 7 1 2 1 4 7 1 . 1 . 9 1 7 2 . 7 9 2 4 - . 0 9 2 2 2 . 7 6 7 5 2 2 4 6 8 . 3 . 8 6 3 2 . 8 8 5 8 . 0 3 1 7 2 . 7 6 9 2 2 3 4 6 9 . 3 . 5 6 9 3 1 . 0 8 7 8 - . 0 0 8 1 2 . 7 6 5 5 3 6 4 6 8 . 3 . 5 0 0 0 . 9 8 6 0 . 0 2 8 4 2 . 7 6 8 2 3 1 . 3 5 4 5 9 . 4 . 2 5 8 0 . 7 7 1 2 « . 0 2 6 3 2 . 7 7 6 7 3 2 . 3 4 4 6 1 . 3 . 0 7 0 0 . 6 6 2 9 . 0 7 2 5 2 . 7 7 5 5 3 3 4 6 2 . 3 . 3 8 7 4 . 8 9 9 3 . 0 2 2 8 2 . 7 6 6 2 3 6 . 4 0 4 4 7 . 4 . 3 3 7 8 . 7 0 2 6 - . 0 1 7 1 2 . 7 7 0 7 3 7 . 3 9 4 4 8 . 3 . 0 2 4 2 . 6 2 3 4 . 0 7 2 5 ‘ 2 . 7 6 5 6 3 8 4 4 9 . 3 . 1 9 3 8 . 9 0 0 6 - . 0 2 4 6 2 . 7 6 7 3 1 4 2 8 0 5 7 4 8 2 . 2 . 6 2 0 3 . 9 7 6 4 - . 3 1 6 2 2 . 8 2 7 8 1 9 4 7 4 . 2 . 3 9 6 6 1 . 2 0 2 5 . 0 9 9 2 2 . 8 2 5 9 2 1 4 7 7 . 1 . 9 6 4 4 . 8 4 9 7 - . 2 8 5 9 2 . 8 2 7 0 2 2 4 7 2 . 3 . 4 8 7 3 1 . 0 5 7 6 . 1 6 9 7 2 . 8 2 3 1 2 3 4 7 3 . 2 . 9 8 5 2 1 . 1 4 5 7 . 1 5 2 8 2 . 8 2 5 6 3 0 4 5 7 . 3 . 0 0 8 8 . 9 9 8 9 . 1 8 0 2 2 . 8 3 5 9 3 1 . 3 5 4 0 8 . 4 . 1 1 2 0 . 8 6 2 2 . 1 2 3 8 2 . 8 4 1 9 3 2 . 3 4 4 2 8 . 2 . 8 1 8 4 . 7 4 3 1 - . 0 0 9 9 2 . 8 3 1 8 3 3 4 5 5 . 3 . 5 7 3 6 . 8 9 8 5 . 2 5 6 8 2 . 8 2 3 1 3 6 . 4 0 3 4 4 . 4 . 2 9 2 4 . 7 5 8 7 ‘ . 1 3 8 4 2 . 8 6 4 8 3 7 . 3 9 3 6 5 . 2 . 8 5 2 1 . 6 3 3 6 - . 1 4 4 6 2 . 8 4 9 3 3 8 4 0 6 . 3 . 3 2 0 2 . 8 7 4 3 . 0 3 6 5 2 . 7 9 6 8 1 4 4 2 . 4 . 1 4 0 3 1 . 1 1 4 8 . 3 4 8 2 2 . 8 4 1 6 2 4 3 5 . 3 . 7 9 0 8 1 . 0 1 7 1 . 3 0 5 8 2 . 8 4 2 5 3 4 5 7 . 4 . 2 4 5 1 1 . 0 3 6 1 . 3 3 1 6 2 . 8 3 5 9 1 4 5 6 . 4 . 4 5 8 3 . 9 7 2 4 . 1 9 1 9 2 . 8 3 5 5 5 4 5 2 . 2 . 9 8 4 5 1 . 2 0 0 0 . 0 7 7 5 2 . 8 3 4 1 6 4 5 5 . 4 . 2 0 6 6 . 9 4 0 6 . 2 0 9 0 2 . 8 3 5 2 1 6 4 5 8 . 2 . 0 9 6 1 1 . 2 5 7 1 - . 1 5 2 2 2 . 8 3 7 3 1 4 4 5 8 . 1 . 6 8 7 8 1 . 2 1 3 4 - . 3 1 2 2 2 . 8 3 7 3 3 7 8 T a b l e F . 3 . 2 I t e m m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e S P R I N G 1 9 7 3 C H E M 1 3 1 N = 4 9 8 V A R I A B L E N U M B E R o r . M E A N S T A N D A R D C O R R E Q A T I O N G R A D E - - R E C O R D S o g v 1 4 7 1 0 ~ H I T fi ‘ b R A D E M E A N i 4 - D R E 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 i 9 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 2 1 o . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 2 2 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 2 3 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 6 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 1 . 3 5 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 2 . 3 4 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 3 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 6 . 4 6 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 7 . 3 9 a . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 8 0 . . 5 0 0 0 ‘ . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 i 4 — P o s T 3 8 6 . 3 . 0 0 2 6 1 . 0 3 6 9 - . 3 2 8 9 2 . 4 7 6 7 1 9 3 8 5 . 2 . 0 6 2 3 1 . 1 4 4 7 . 1 6 1 8 2 . 4 7 4 0 2 1 3 8 5 . 2 . 6 2 8 6 1 . 1 2 5 7 - . 3 1 7 1 2 . 4 7 5 3 2 2 3 8 6 . 3 . 0 4 4 0 1 . 1 1 7 7 . 2 2 2 5 2 . 4 7 6 7 2 3 3 8 5 . 2 . 5 7 1 4 1 . 0 5 9 6 . 2 0 7 0 2 . 4 7 6 6 3 6 3 8 0 . 2 . 6 7 6 3 . 9 8 5 7 . 2 9 4 6 2 . 4 6 4 5 3 1 . 3 5 3 7 2 . 4 . 2 5 1 9 . 8 1 5 4 . 1 0 0 0 2 . 4 6 6 4 3 2 . 3 4 3 7 5 . 2 . 9 2 3 0 . 7 4 1 2 - . 0 9 1 3 2 . 4 5 8 7 3 3 3 7 6 . 3 . 3 4 5 7 ' 1 . 0 2 7 6 . 2 4 4 4 2 . 4 6 1 4 3 6 . 4 6 3 5 0 . 4 . 3 9 5 9 . 6 4 2 8 . 1 0 3 5 2 . 4 7 2 9 3 7 . 3 9 3 5 5 . 2 . 8 8 4 9 . 6 5 6 3 - . 1 1 7 3 2 . 4 5 9 2 3 8 3 6 1 . 3 . 1 4 9 6 . 8 8 6 8 . 0 9 8 3 2 . 4 6 6 8 1 4 0 8 . 3 . 6 6 9 1 1 . 2 8 5 6 . 3 3 7 7 2 . 4 8 6 5 2 ‘ 4 0 3 . 3 . 4 0 2 0 1 . 1 2 1 5 . 4 0 5 2 ' 2 . 4 8 1 4 3 4 2 2 . 3 . 7 4 1 7 1 . 2 8 1 3 . 3 8 3 2 2 . 4 7 1 6 4 4 2 3 . 3 . 9 8 1 1 1 . 2 1 6 4 . 2 1 3 5 2 . 4 7 5 2 5 4 2 4 . 3 . 9 9 5 3 1 . 2 9 2 2 . 0 9 9 0 2 . 4 7 4 1 6 4 2 1 . 3 . 9 0 2 6 1 . 1 0 6 0 . 1 4 7 6 2 . 4 8 2 2 1 6 4 2 6 . 2 . 7 3 4 7 1 . 3 5 2 3 - . 1 2 0 4 2 . 4 7 5 4 1 4 4 2 6 . 2 . 2 7 4 6 1 . 4 1 9 9 - . 2 7 0 5 2 . 4 7 5 4 3 7 9 T a b l e F . 3 . 3 I t e m m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e F A L L 1 9 7 3 g h E N 1 3 0 N = 1 2 2 1 V A R I A B L E N U M B E R o r M E A N S T A N D A R D C O R R E L A T I O N G R A D E ~ - R E C O R D S D E V I A T I O N H I T H ‘ G R A D E M E A N 1 4 A P R E 1 1 0 0 . 2 . 7 5 0 9 . 8 9 2 3 - . 0 9 4 7 3 . 1 2 0 0 1 9 1 1 0 3 . 2 . 9 6 4 6 1 . 2 6 8 8 - . 0 3 7 8 3 . 1 1 9 2 5 1 1 1 0 5 . 1 . 9 6 2 9 . 7 7 6 0 - . 0 1 9 7 3 . 1 1 7 2 2 2 1 1 0 5 . 3 . 9 3 5 7 . 9 4 2 0 . 0 5 2 4 3 . 1 1 6 7 5 3 1 0 9 6 . 3 . 5 7 4 8 1 . 0 4 7 2 - . 0 2 1 2 3 . 1 1 7 7 3 6 1 1 0 4 . 3 . 5 0 6 3 . 9 4 6 9 . 0 3 4 9 3 . 1 1 5 0 3 1 . 3 5 1 0 9 5 . - 4 . 3 6 7 0 . 7 1 1 0 . 0 2 1 0 3 . 1 1 4 6 3 2 1 3 4 1 0 9 4 . 3 . 1 1 1 8 . 9 5 0 5 . 0 7 2 5 3 . 1 1 2 4 1 3 1 1 0 0 . 3 . 4 2 5 5 . 9 2 4 9 . 0 1 9 0 3 . 1 1 5 9 1 6 6 4 6 1 0 6 4 . 4 . 4 0 9 2 . 6 7 6 8 - . 0 0 0 3 3 . 1 1 5 1 3 7 . 3 9 1 0 6 7 . 3 . 0 9 0 8 . 5 9 1 6 . 0 0 7 0 3 . 1 1 6 7 3 3 1 0 7 5 . 3 . 2 2 1 4 . 8 8 3 6 - . 0 4 5 1 3 . 1 1 9 1 7 1 3 p o s + 9 9 4 . 2 . 5 6 7 4 . 9 3 4 5 - . 2 6 0 5 3 . 1 7 6 6 1 9 9 8 8 . 2 . 5 8 6 0 1 . 2 1 4 7 . 0 3 7 7 3 . 1 7 8 1 2 1 9 9 4 . 2 . 1 1 7 7 . 9 0 8 9 - . 2 2 7 9 3 . 1 7 6 6 5 2 9 9 2 . 3 . 5 4 7 4 1 . 0 6 7 2 . 2 3 6 7 3 . 1 7 4 9 2 3 9 9 2 . 2 . 9 2 4 4 1 . 0 8 3 8 . 1 8 3 7 3 . 1 7 6 9 3 6 9 9 2 . 3 . 0 8 8 7 . 9 6 6 3 . 2 1 5 2 3 . 1 7 5 9 3 1 3 3 5 9 7 4 . 4 . 2 2 9 7 . 8 1 9 5 . 0 1 9 9 3 . 1 7 3 5 3 2 . 3 4 9 8 5 . 2 . 9 9 9 1 . 7 1 3 6 . 0 2 2 6 3 . 1 7 6 6 3 3 9 8 7 . 3 . 4 6 7 1 . 9 7 8 8 . 2 5 1 2 3 . 1 7 5 8 3 6 . 4 6 9 2 0 . 4 . 3 5 7 1 . 6 9 5 4 . 0 9 3 8 3 . 1 7 7 7 3 7 6 3 9 9 4 3 . 2 . 9 5 5 5 . 6 2 1 6 - . 0 6 8 5 3 . 1 7 0 2 3 3 9 4 3 . 3 . 2 2 0 6 . 8 7 6 3 . 0 1 0 6 3 . 1 7 0 2 1 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 5 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 1 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 5 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 6 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 1 6 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 1 4 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 4 I N F . 3 . N I E 7 M L E 5 7 l I . . , . ; 2 . . . . e A 3 3 4 3 D 2 3 3 3 4 B R 5 4 6 9 0 5 4 9 6 V T a A 1 1 1 1 2 2 3 3 2 3 3 3 3 3 2 2 2 3 3 3 3 3 3 3 3 2 4 5 6 1 1 1 ' b 4 4 1 R 9 1 2 6 7 2 3 6 3 9 8 1 2 6 7 1 2 3 6 3 8 6 4 I t e E U R R M E B C E O 4 4 4 4 4 4 4 4 3 4 3 3 7 7 7 7 7 7 7 7 7 6 6 7 7 7 0 1 5 1 7 9 1 1 1 2 2 2 3 3 1 R R 0 0 0 0 0 0 0 0 0 0 0 0 5 7 2 0 0 3 3 8 1 0 1 6 3 4 5 5 4 5 0 0 D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . e a n s m 4 r m 9 7 o S 2 2 2 3 2 2 4 3 3 4 3 3 4 2 3 3 2 3 3 3 a H E 5 5 5 5 5 5 5 5 5 5 5 5 9 7 0 1 5 6 2 1 1 0 1 3 1 3 9 5 8 0 7 0 n E A 0 0 0 0 0 0 0 0 0 0 0 0 0 2 7 5 8 9 7 2 1 9 7 2 1 9 4 7 6 9 6 9 C M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . e l a t d M c o 1 r 3 r 1 0 0 0 0 N 0 0 0 0 0 0 0 0 1 4 4 0 0 9 4 7 3 9 1 6 4 9 1 8 3 1 4 1 0 0 0 0 0 0 0 0 0 0 2 2 9 8 0 0 6 0 2 5 6 6 3 8 7 6 3 8 0 5 1 1 S E T V A I D 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 i . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . o N A 5 5 5 5 5 5 5 5 5 5 5 5 0 0 1 1 1 0 8 7 0 7 6 9 3 2 3 5 3 1 3 1 n s w N i t h = c 1 o 1 D N C e O r D I 0 0 0 0 0 0 0 0 0 0 0 0 2 5 1 7 1 2 4 5 4 9 6 3 0 3 2 2 7 9 3 1 A I 0 0 0 0 0 0 0 0 0 0 0 0 0 4 8 0 1 1 7 6 6 1 8 9 7 8 1 4 3 0 2 5 R D 0 0 0 0 0 0 0 0 0 2 0 0 0 9 2 6 3 7 0 6 2 2 5 8 2 9 5 8 8 0 7 1 1 u n r 0 R - . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . R - - - - - - - - G s E 0 0 0 0 0 0 0 0 0 0 0 0 3 3 1 2 2 2 3 3 2 1 1 3 0 1 0 0 0 0 2 2 e 3 1 4 4 7 0 0 0 0 L 0 0 0 0 0 0 0 0 3 6 6 6 6 3 8 6 4 3 1 0 8 1 8 R A 0 0 0 0 0 0 0 0 0 0 0 0 5 3 0 5 5 8 4 2 0 8 0 2 0 5 1 2 0 3 5 2 g A T 0 0 0 0 0 0 0 0 0 0 0 0 5 0 5 3 8 0 1 5 5 8 9 7 4 7 6 9 6 1 0 2 r a d e N I D Q E G 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 R M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . A E 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 6 5 5 6 6 6 6 6 6 6 6 0 D A 0 0 0 0 0 0 0 0 0 0 0 8 7 7 6 7 7 6 7 2 1 2 2 7 7 1 9 2 2 2 2 0 E N 0 0 0 0 0 0 0 0 0 0 0 8 6 1 6 4 3 8 4 0 3 4 8 4 2 8 7 5 9 9 9 0 0 0 0 0 0 0 0 0 0 0 9 0 4 5 4 0 0 6 2 5 5 7 5 0 5 5 2 6 1 1 1 3 8 0 3 8 1 T a b l e F . 3 . 5 I t e m m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e M I N T E R 1 9 7 4 C H E M 1 3 0 N = 7 8 0 V A R I A B L E N U M B E R o r M E A N S T A N D A R D C D R R E L A T I D N G R A D E ~ R E C O R D S D E V I A T I D N N I T B - G R A D E M E A N 1 4 4 R R E 1 0 6 . 3 . 2 0 7 5 1 . 0 0 6 7 - . 0 3 8 6 2 . 8 1 6 0 1 9 6 6 . 2 . 4 2 4 2 1 . 3 6 0 3 - . 0 7 6 9 2 . 7 3 4 8 2 1 1 0 8 . 2 . 2 1 3 0 . 9 2 3 5 - . 0 7 6 3 2 . 8 0 0 9 2 2 1 0 3 . 3 . 8 8 3 5 1 . 0 1 7 3 - . 0 6 2 7 2 . 7 8 6 4 2 3 9 2 . 3 . 3 3 7 0 1 . 0 9 6 2 - . 0 8 2 7 2 . 7 8 2 6 3 6 1 1 4 . 3 . 3 5 0 9 . 9 7 3 2 - . 0 5 0 4 2 . 8 1 5 8 3 1 . 3 5 8 3 . 4 . 4 1 4 8 . 6 4 5 6 . 0 8 9 6 2 . 7 5 3 0 3 2 . 3 4 9 9 . 3 . 0 4 3 3 . 6 5 0 2 . 1 3 7 1 2 . 8 1 3 1 3 3 1 0 6 . 3 . 3 5 8 5 . 8 8 1 6 . 1 1 7 6 2 . 7 9 7 2 3 6 . 4 0 9 1 . 4 . 5 2 2 8 . 5 6 9 9 . 2 4 8 ? 2 . 7 5 8 2 3 7 . 3 9 1 0 4 . 3 . 0 5 4 9 . 6 1 1 3 - . 0 2 4 7 2 . 7 7 8 8 3 8 1 0 9 . 3 . 4 1 2 8 . 7 6 8 8 . 1 9 9 0 2 . 8 1 1 9 1 4 ; p 0 5 1 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 1 9 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 2 1 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 2 2 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 2 3 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 6 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 1 . 3 5 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 2 . 3 4 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 3 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 6 : 4 0 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 7 . 3 9 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 8 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 1 5 6 0 . 3 . 0 0 0 0 1 . 3 8 2 3 . 2 5 3 4 2 . 8 1 6 1 2 5 4 4 . 2 . 9 6 1 4 1 . 1 6 3 3 . 2 6 3 8 2 . 8 1 2 5 3 5 7 1 . 3 . 5 3 0 6 1 . 3 1 2 9 . 2 3 0 4 2 . 8 1 5 2 4 5 7 3 . 3 . 9 9 1 3 1 . 1 9 7 0 . 0 5 1 6 2 . 8 1 4 1 5 5 7 0 . 4 . 0 7 0 2 1 . 1 5 7 1 . 1 9 0 2 2 . 8 1 8 4 6 5 7 3 . 3 . 9 4 9 4 1 . 0 5 3 2 . 0 8 6 0 2 . 8 1 5 0 1 6 5 7 6 . 3 . 2 0 3 1 1 . 3 7 7 7 - . 1 5 3 1 2 . 8 1 3 4 1 4 5 7 6 . 2 . 7 7 4 3 1 . 5 9 9 0 - . 1 9 7 9 2 . 8 1 3 4 T a b l e F . 3 . 6 I t e m m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e 3 8 2 S P R I N G 1 9 7 4 C H E M 1 3 1 N = 6 6 0 V A R I A B L E N U M B E R O F M E A N S T A N D A R D C O R R E L A T I O N G R A D E - ‘ R E C O R D S D E V I A T I O N R I T B - G R A D E M E A N 1 4 Z R R E 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 9 9 . 5 0 0 0 1 9 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 2 1 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 2 2 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 2 3 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 0 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 1 . 3 5 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 2 . 3 4 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 3 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 6 . 4 0 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 7 . 3 9 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 8 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 1 4 1 9 0 5 7 4 0 1 . 3 . 0 4 9 9 1 . 0 1 7 3 - . 3 8 3 7 2 . 5 2 0 0 1 9 3 9 8 . 2 . 0 4 0 2 1 . 0 7 4 3 . 1 1 0 1 2 . 5 2 3 9 2 1 3 9 8 . 2 . 6 5 0 8 1 . 1 3 6 9 - . 3 7 9 7 2 . 5 2 3 9 2 2 3 9 8 . 3 . 0 3 5 2 1 . 0 7 4 5 . 3 2 3 8 2 . 5 2 3 9 2 3 3 9 8 . 2 . 5 3 2 7 1 . 0 8 7 9 . 2 7 2 6 2 . 5 2 3 9 3 0 3 9 5 . 2 . 6 0 0 0 . 9 0 9 6 . 3 3 2 5 2 . 5 2 1 5 3 1 . 3 5 3 9 2 . 4 . 1 3 8 5 . 8 4 1 4 - . 0 1 1 2 2 . 5 2 5 5 3 2 . 3 4 3 9 0 . 2 . 9 6 7 8 . 7 4 3 5 - . 0 2 1 0 2 . 5 2 3 1 3 3 3 9 3 . 3 . 3 3 8 4 1 . 0 9 8 2 . 3 3 3 3 2 . 5 2 6 7 3 6 . 4 0 3 7 2 . 4 . 2 9 1 9 . 7 7 9 2 . 0 4 8 0 2 . 5 2 0 2 3 7 . 3 9 3 7 2 . 2 . 9 6 6 2 . 9 3 3 8 - . 0 4 2 6 2 . 5 1 4 8 3 8 3 7 5 . 3 . 1 9 2 0 . 8 9 7 7 . 1 3 1 7 2 . 5 3 3 3 1 4 3 3 . 3 . 2 0 3 2 1 . 4 3 2 2 . 3 3 8 5 2 . 5 1 8 5 2 4 2 8 . 3 . 0 4 4 4 1 . 1 6 2 3 . 3 6 5 9 2 . 5 1 9 9 3 4 4 3 . 3 . 5 6 2 1 1 . 3 7 6 2 . 3 1 8 8 2 . 5 2 9 3 0 4 4 2 . 4 . 0 4 0 7 1 . 1 7 6 0 . 1 1 2 8 2 . 5 3 3 9 5 4 4 1 . 3 . 9 6 3 7 1 . 2 3 7 6 . 2 0 2 8 2 . 5 3 1 7 6 4 4 3 . 3 . 8 6 6 8 1 . 0 6 7 8 . 0 9 7 8 2 . 5 2 9 3 1 0 4 4 3 . 3 . 0 0 4 5 1 . 3 8 8 4 - . 1 6 7 7 2 . 5 2 9 3 1 4 4 4 3 . 2 . 6 5 2 4 1 . 5 0 5 8 - . 2 9 3 3 2 . 5 2 9 3 3 8 3 T a b l e F . 3 . 7 I t e m m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e F A L L 1 9 7 4 C B E M 1 3 0 N = 1 2 4 2 V A R I A B L E N U M B E R O F M E A N S T A N D A R D C O R R E L A T I O N G R A D E - ' R E C O R D S D E V I A T I O N V I T n - G R A D E M E A N 1 4 2 6 R E 1 0 8 8 . 2 . 7 3 2 5 . 8 8 5 5 - . 0 8 3 6 2 . 6 3 2 4 1 9 1 1 2 9 . 2 . 7 8 8 3 1 . 2 5 7 9 . 0 9 7 0 2 . 6 2 6 2 2 1 1 1 2 1 . 2 . 0 2 4 1 . 8 0 9 4 - . 0 4 5 6 2 . 6 2 3 1 2 2 1 1 2 1 . 4 . 0 1 3 4 . 9 4 6 8 . 0 5 8 6 2 . 6 2 8 5 2 3 1 1 2 5 . 3 . 5 4 2 2 1 . 0 7 9 6 - . 0 4 3 7 2 . 6 2 8 9 3 6 1 1 1 9 . 3 . 6 0 7 7 . 9 7 0 0 . 0 2 3 9 2 . 6 2 0 6 3 1 . 3 5 1 1 2 1 . 4 . 4 1 7 9 . 6 9 9 3 - . 0 0 5 7 2 . 6 2 0 4 3 2 . 3 4 1 1 2 8 . 3 . 2 1 4 3 . 6 5 5 3 . 0 9 2 9 2 . 6 2 1 5 3 3 1 1 2 8 . 3 . 3 9 6 3 . 9 3 6 8 . 0 4 4 0 2 . 6 2 1 0 3 6 , 5 . 1 1 0 4 . 4 . 4 7 9 8 . 9 0 4 7 . 0 0 4 5 2 . 6 2 3 2 3 7 . 3 9 1 1 1 1 . 3 . 1 4 5 8 . 5 7 6 7 - . 0 1 2 7 2 . 6 2 2 4 3 8 1 1 1 1 . 3 . 1 6 6 5 . 8 9 7 1 - . 0 4 3 2 2 . 6 2 1 1 i 4 z é a s i 3 7 9 . 2 . 8 8 6 5 1 . 0 6 7 8 - . 2 8 3 3 2 . 5 3 0 4 1 9 3 6 8 . 2 . 3 9 4 0 1 . 1 8 8 6 . 1 0 6 7 2 . 5 8 0 2 2 1 3 7 1 . 2 . 6 5 5 0 1 . 1 5 6 1 - . 3 0 2 9 2 . 5 7 8 2 2 2 3 7 2 . 3 . 2 0 4 3 1 . 0 9 8 0 . 3 1 8 3 2 . 5 7 9 3 2 3 3 6 8 . 2 . 6 0 6 0 1 . 2 1 1 2 . 2 3 4 3 2 . 5 7 4 7 3 6 3 6 6 . 2 . 7 4 3 2 1 . 0 4 2 6 . 2 8 1 3 2 . 5 8 2 0 3 1 . 3 5 3 5 6 . 4 . 2 6 6 5 . 8 4 9 3 - . 0 6 8 2 2 . 5 7 5 8 3 2 . 3 4 3 5 7 . 3 . 1 6 7 3 . 7 7 1 4 - . 0 1 8 3 2 . 5 7 7 0 3 3 3 6 2 . 3 . 2 2 1 0 1 . 1 3 2 5 . 3 4 4 6 2 . 5 7 6 0 3 6 . 4 0 3 4 7 . 4 . 3 3 8 0 . 7 4 5 3 . 0 2 4 0 2 . 5 8 0 7 3 7 . 3 9 3 4 9 . 3 . 1 4 6 5 . 6 1 6 6 - . 1 0 8 5 2 . 5 7 8 8 3 3 3 4 9 . 3 . 0 7 7 4 . 9 4 0 8 . 1 0 9 0 2 . 5 7 8 8 1 5 5 6 . 2 . 7 8 9 6 1 . 4 0 8 1 . 2 9 9 6 2 . 5 9 4 4 2 5 5 0 . 2 . 7 9 0 9 1 . 1 6 2 3 . 2 9 8 6 2 . 6 0 1 8 3 5 8 2 . 3 . 3 2 9 9 1 . 3 5 7 6 . 2 9 3 0 2 . 6 0 4 0 A 5 8 2 . 3 . 9 5 0 2 1 . 1 9 2 4 . 1 2 0 9 2 . 6 0 5 7 5 5 8 3 . 3 . 5 9 0 1 1 . 3 0 5 1 . 1 0 5 5 2 . 6 0 5 5 6 5 8 1 . 3 . 3 4 6 0 1 . 1 9 7 7 . 0 0 7 7 2 . 6 0 4 1 1 0 5 8 4 . 3 . 1 3 8 7 1 . 4 1 6 5 - . 1 9 8 2 2 . 6 0 1 9 1 4 5 8 4 . 2 . 9 2 6 4 1 . 5 2 7 1 - - 2 6 3 3 2 . 6 0 1 9 . N 8 T N E U R R M E 3 7 E I T l e F . M s A p B R L E 3 3 4 3 R 3 3 4 3 5 4 6 9 O 5 4 6 9 I - . . . . - . . . . T V a A b R 1 7 4 9 2 3 6 3 8 2 6 1 7 4 9 1 3 6 2 3 8 1 2 6 7 6 4 2 2 2 3 3 3 3 3 3 3 i i 1 1 2 2 2 3 3 3 3 3 3 3 3 2 5 6 4 1 1 1 m 5 F 7 O S I t e 1 m 9 B C E O R R 0 0 0 0 0 0 0 0 0 0 0 0 7 0 2 3 3 5 7 0 7 6 5 6 7 5 0 3 9 9 2 2 4 4 4 4 4 4 4 4 4 4 4 4 5 5 5 5 5 5 5 5 3 3 3 3 3 2 1 2 1 0 0 0 2 2 5 5 4 4 6 6 D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . e a n s a n d c C M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . H E 5 5 5 5 5 5 5 5 5 5 5 5 9 1 7 0 5 6 2 1 1 1 3 8 8 0 7 1 5 2 2 0 E A 0 0 0 0 0 0 0 0 0 0 0 0 3 7 1 3 7 6 8 3 6 1 5 3 7 4 6 2 6 7 7 0 M 0 0 0 0 N 0 0 0 0 0 0 0 0 9 6 1 3 8 1 2 1 6 4 0 3 8 6 6 5 3 1 8 7 0 0 0 0 0 0 0 0 0 0 0 0 4 3 5 9 1 1 2 6 6 7 0 8 8 4 7 0 2 2 2 5 2 2 2 3 2 2 4 4 3 3 3 3 2 3 3 3 3 3 2 3 e l a o 1 r 3 r 1 S E D t T V 1 1 1 1 1 1 1 1 1 1 1 1 1 1 i o n s A I . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . N A 5 5 5 5 5 5 5 5 5 5 5 5 0 0 1 1 0 9 7 1 7 7 6 9 3 0 3 3 1 1 3 4 D T 0 0 0 0 0 0 0 0 0 0 5 0 0 3 5 6 9 9 1 3 3 6 3 7 1 0 3 6 8 1 8 9 A I 0 0 0 0 0 0 0 0 0 0 1 0 0 9 9 8 1 0 8 1 7 6 8 1 8 7 9 3 8 7 1 0 R O 0 0 0 0 0 0 0 0 0 0 6 4 0 0 2 4 8 4 9 2 3 4 9 0 9 9 2 4 3 6 1 1 t h = w N i D N c 1 C H 1 o O I u R T - - - - - - - r s e g r a d e 1 2 R H . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . E 7 0 0 0 0 0 0 0 0 0 0 2 2 0 0 0 2 0 0 0 1 2 1 2 0 3 3 3 0 1 0 L G 0 0 0 0 0 0 0 0 0 0 6 4 4 7 0 0 1 4 8 9 7 8 8 6 5 8 3 8 7 5 A R 0 0 0 0 0 0 0 0 0 0 0 0 2 3 2 9 4 1 3 3 9 7 5 3 3 2 7 4 6 1 0 0 7 7 2 3 T A 0 0 0 0 0 0 0 0 0 0 0 3 9 0 9 6 5 1 9 2 7 8 4 4 6 6 4 4 0 7 0 1 N I D O E G 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 . . . . . R M . . . . . . . . . . . . . . . . . . . . . . . . . . . A E 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 D A 0 0 0 0 0 0 0 0 0 0 0 0 5 5 5 5 4 5 5 5 5 5 6 6 6 7 6 5 7 7 5 5 0 E N 0 0 0 0 0 0 0 0 0 0 0 8 7 4 8 4 0 8 6 2 8 9 9 2 5 8 0 6 9 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 4 9 3 3 6 8 8 4 0 6 7 2 0 2 3 3 1 1 1 3 8 4 3 8 5 T a b l e F . 3 . 9 I t e m m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e w I N T E R 1 9 7 5 C H E M 1 3 0 N = 6 3 4 V A R I A B L E N U M B E R O F M E A N S T A N D A R D C O R R E L A T I O N G R A D E - 7 R E C O R D S D E V I A T I O N w I T q 7 G R A O E M E A N 1 4 A R R E 4 4 9 . 3 . 0 1 5 6 . 8 6 1 0 - . 0 9 3 1 2 . 5 6 2 4 — 1 9 4 5 0 . 2 . 4 1 7 8 1 . 1 8 4 6 . 0 3 8 8 2 . 5 6 4 4 2 1 4 5 2 . 2 . 3 6 5 0 . 9 5 3 3 - . 0 2 0 7 2 . 5 5 9 7 2 2 4 4 8 . 3 . 6 6 2 9 1 . 0 1 7 8 . 0 2 2 0 2 . 5 6 2 5 2 3 4 4 6 . 3 . 2 7 1 3 1 . 1 1 0 7 - . 0 2 2 5 2 . 5 5 2 7 3 6 4 4 7 . 3 . 3 3 1 1 . 9 8 6 5 - . 0 1 1 9 2 . 5 5 7 0 3 1 . 3 5 4 4 2 . 4 . 2 7 0 8 . 7 9 7 2 . 0 1 4 8 2 . 5 6 5 6 3 2 . 3 4 4 4 2 . 3 . 1 0 7 3 . 6 3 4 5 - . 0 4 4 1 2 . 5 5 6 6 3 3 4 4 3 . 3 . 2 4 3 8 . 9 8 2 5 . 0 8 9 0 2 . 5 5 0 7 3 6 , 4 5 4 2 6 . 4 . 3 7 0 9 . 3 7 2 9 . 0 3 5 8 2 . 5 6 6 9 3 7 . 3 9 4 2 4 . 3 . 1 1 3 2 . 5 9 2 2 . 0 2 9 9 2 . 5 6 1 3 3 8 4 2 6 . 3 . 1 7 1 4 . 9 0 9 6 - . 0 6 2 2 2 . 5 6 3 4 1 4 4 9 0 5 T 4 2 4 . 2 . 8 5 8 5 . 9 8 5 2 - . 2 6 2 0 2 . 6 5 0 9 1 9 4 2 0 . 2 . 2 7 3 8 1 . 1 4 8 0 . 0 8 7 4 2 . 6 5 8 3 2 1 4 2 2 . 2 . 5 3 7 9 1 . 0 6 0 8 - . 3 3 5 4 2 . 6 5 5 2 2 2 4 2 2 . 3 . 2 0 1 4 1 . 1 3 7 3 . 3 1 5 5 2 . 6 5 5 2 2 3 4 2 1 . 2 . 5 4 1 6 1 . 0 8 1 6 . 1 9 6 6 2 . 6 5 3 2 3 6 4 2 0 . 2 . 7 5 2 4 . 9 0 0 1 . 2 3 7 9 2 . 6 5 8 3 3 1 3 3 5 4 1 6 . 4 . 2 3 6 3 . 8 1 9 2 - . 0 0 9 3 2 . 6 6 2 3 3 2 3 3 4 4 1 7 . 3 . 0 6 6 5 . 7 5 0 1 - . 1 2 6 8 2 . 6 6 3 1 3 3 4 1 9 . 3 . 2 1 2 4 1 . 0 1 7 9 . 3 3 4 0 2 . 6 5 9 9 3 6 . 4 6 4 0 4 . 4 . 3 6 4 9 . 7 1 5 8 . 0 4 5 2 2 . 6 5 2 2 3 7 3 3 9 4 0 1 . 3 . 0 8 7 6 . 6 2 0 5 - . 1 3 3 4 2 . 6 5 0 9 3 8 4 0 6 . 3 . 1 3 7 9 . 8 6 2 9 . 0 5 9 1 2 . 6 5 2 7 1 4 5 4 . 2 . 9 5 1 5 1 . 3 1 9 9 . 2 7 5 5 2 . 6 7 1 8 5 4 4 9 . 2 . 9 7 3 3 1 . 0 9 0 2 . 3 1 9 7 2 . 6 6 9 3 3 4 7 6 . 3 . 4 3 9 1 1 . 2 7 3 9 . 3 4 1 2 2 . 6 7 0 2 1 4 7 4 . 4 . 0 3 3 8 1 . 1 8 3 1 . 0 6 5 1 2 . 6 7 4 1 5 4 7 2 . 3 . 9 9 1 5 1 . 1 6 2 6 . 2 8 5 4 2 . 6 7 4 8 5 4 7 5 . 3 . 5 6 0 0 1 . 1 0 4 1 . 1 6 5 5 2 . 6 7 0 5 1 6 4 8 0 . 3 . 0 0 2 1 1 . 3 9 4 2 . 0 7 6 1 2 . 6 7 6 0 1 4 4 8 0 . 3 . 2 3 5 2 1 . 4 5 4 4 . 0 8 0 6 2 . 6 7 6 0 3 8 6 T a b l e F . 3 . 1 0 I t e m m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e S P R I N G 1 9 7 5 C H E M 1 3 1 N = 5 4 5 V A R I A B L E N U M B E R O F M E A N S T A N D A R D . C O R R E L A T I O N G R A D E 7 R E C O R D S D E n g T I O N w I T n 7 G R A D E M E A N 1 4 L R R E 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 9 0 . 5 0 0 0 1 9 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 2 1 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 2 2 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 2 3 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 6 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 1 . 3 5 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 2 . 3 4 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 3 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 6 . 4 6 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 7 . 3 9 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 8 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 1 4 4 9 0 5 7 2 2 6 . 3 . 0 3 1 0 1 . 0 4 9 2 . 3 0 1 7 2 . 3 3 1 9 1 9 2 2 3 . 1 . 9 2 8 3 1 . 0 5 6 4 . 0 0 1 5 2 . 3 3 1 8 2 1 . 2 2 3 . 2 . 9 0 5 8 1 . 2 0 3 5 . 2 9 6 5 2 . 3 2 7 4 2 2 2 2 3 . 2 . 8 5 6 5 1 . 0 2 7 4 . 1 9 2 2 2 . 3 2 7 4 2 3 2 2 3 . 2 . 3 8 5 7 1 . 0 6 4 8 . 1 4 9 4 2 . 3 2 7 4 3 6 2 2 1 . 2 . 4 4 3 4 . 9 3 8 2 . 2 3 7 3 2 . 3 2 8 1 3 1 . 3 5 2 1 9 . 4 . 3 5 0 3 . 8 1 5 4 . 0 3 1 3 2 . 3 2 6 5 3 2 . 3 4 2 2 0 . 3 . 0 8 5 7 . 7 6 2 8 . 1 7 5 5 2 . 3 3 1 8 3 3 2 2 0 . 3 . 2 3 1 8 1 . 0 4 2 7 . 3 8 6 8 2 . 3 3 1 8 3 6 . 4 6 2 1 5 . 4 . 3 4 6 2 . 8 2 9 0 . 1 1 8 5 2 . 3 2 0 9 3 7 . 3 9 2 1 6 . 3 . 0 5 5 6 . 6 9 5 5 . 1 2 5 2 2 . 3 2 4 1 3 8 2 1 6 . 3 . 1 1 1 1 . 9 7 9 7 . 2 6 9 1 2 . 3 2 4 1 1 2 6 3 . 2 . 8 0 2 3 1 . 3 5 0 6 . 3 2 7 2 2 . 3 1 5 6 2 2 6 0 . 2 . 8 3 8 5 1 . 1 3 8 9 . 3 9 7 3 2 . 3 1 1 5 3 2 7 9 . 3 . 2 7 4 6 1 . 3 1 5 0 . 2 9 5 4 2 . 3 1 7 2 4 2 7 7 . 3 . 7 9 4 2 1 . 2 5 9 3 . 1 4 8 7 2 . 3 1 5 9 5 2 7 8 . 3 . 6 9 7 8 1 . 3 0 9 4 . 2 4 8 1 2 . 3 1 6 5 6 2 7 9 . 3 . 4 4 8 0 1 . 1 4 3 8 . 2 0 5 6 2 . 3 1 7 2 1 6 2 8 0 . 3 . 2 0 3 6 1 . 4 0 8 4 . 1 0 6 2 2 . 3 1 2 5 1 4 2 8 0 . 3 . 0 2 8 2 1 . 4 6 9 9 . 0 8 5 6 2 . 3 1 2 5 3 8 7 T a b l e F . 3 . 1 1 I t e m m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e F A L L 1 9 7 5 C H E M 1 3 0 N = 1 3 8 1 V A R I A B L E N U M B E R O F M E A N S T A N D A R D C O R R E L A T I O N G R A D E 7 7 R E C O R D S D E V I A T I O N M I T 3 7 0 R A D E M E A N 1 4 4 R R E 1 0 9 5 . 2 . 7 5 3 4 . 8 9 7 2 - . 0 7 0 6 2 . 8 1 8 7 1 9 1 0 9 9 . 2 . 8 5 6 2 1 . 1 9 8 0 . 0 0 5 3 2 . 8 2 3 9 2 1 1 1 0 3 . 2 . 0 8 1 6 . 8 3 8 0 — . 0 3 8 2 2 . 8 2 2 8 2 2 1 1 0 2 . 4 . 0 0 6 4 . 8 8 3 9 . 0 1 9 0 2 . 8 2 3 0 2 3 1 0 9 1 . 3 . 5 0 4 1 1 . 0 7 5 0 . 0 3 5 0 2 . 8 2 3 6 3 6 1 0 9 8 . 3 . 6 1 3 8 . 9 3 7 1 . 0 0 3 0 2 . 8 2 0 1 3 1 . 3 5 1 0 8 7 . 4 . 4 3 2 3 . 6 9 3 5 . 0 3 5 0 2 . 8 2 0 6 3 2 . 3 4 1 0 8 5 . 3 . 1 8 3 0 . 6 4 3 5 - . 0 1 6 2 2 . 8 1 8 0 3 3 1 0 9 5 . 3 . 3 9 3 6 . 9 1 4 3 . 0 5 8 1 2 . 8 2 1 9 3 6 . 4 0 1 0 7 1 . 4 . 4 6 4 3 . 9 3 7 5 . o a o o 2 . 8 2 3 1 3 7 . 3 9 1 0 6 9 . 3 . 1 5 5 8 . 5 6 7 3 - . 0 2 9 2 2 . 8 2 0 4 3 8 1 0 7 5 . 3 . 1 7 1 2 . 8 8 9 5 . 0 4 1 5 2 . 8 2 4 7 1 4 4 R O S T 1 1 3 8 . 2 . 7 2 5 0 . 9 7 1 0 - . 2 9 9 7 2 . 8 8 0 1 1 9 1 1 2 8 . 2 . 4 2 7 3 1 . 1 9 1 0 . 1 1 1 6 2 . 8 8 4 8 2 1 1 1 3 0 . 2 . 4 4 6 0 1 . 0 6 9 8 - . 3 1 2 4 2 . 8 8 4 1 2 2 1 1 2 7 . 3 . 5 0 1 3 1 . 0 7 7 2 . 2 3 7 1 2 . 8 8 3 8 2 3 1 1 2 7 . 2 . 8 2 3 4 1 . 1 4 6 7 . 1 6 1 4 2 . 8 8 3 8 3 6 1 1 2 1 . 2 . 9 9 5 5 . 9 7 1 9 . 2 1 0 8 2 . 8 8 4 0 3 1 . 3 5 1 1 1 4 . 4 . 2 3 6 2 . 8 1 1 9 - . 0 0 0 6 2 . 8 8 3 3 3 2 . 3 4 1 1 1 4 . 3 . 1 0 1 1 . 6 9 7 5 - . 0 5 5 6 2 . 8 8 3 3 3 3 1 1 1 8 . 3 . 3 4 1 7 1 . 0 1 1 3 . 3 1 9 7 2 . 8 8 2 8 3 6 : 4 0 1 0 9 6 . 4 . 3 7 0 2 . 7 0 2 5 . 0 7 1 8 2 . 8 8 5 0 3 7 . 3 9 1 0 9 8 . 3 . 0 8 2 7 . 6 2 8 8 - . 0 7 0 9 2 . 8 8 5 7 3 8 1 1 0 0 . 3 . 1 3 0 9 . 9 2 9 9 . 0 7 3 3 2 . 8 8 5 9 1 1 1 3 9 . 3 . 1 4 8 8 1 . 3 4 0 4 . 3 1 2 3 2 . 8 7 4 2 2 1 0 9 6 . 3 . 1 5 5 1 1 . 1 0 4 7 . 3 7 2 0 2 . 8 7 5 0 3 1 1 3 2 . 3 . 5 6 1 8 1 . 2 7 7 7 . 3 8 0 1 2 . 8 7 9 4 4 1 1 3 2 . 4 . 1 0 8 7 1 . 1 3 2 4 . 1 6 6 3 2 . 8 7 9 9 5 1 1 2 9 . 4 . 3 3 2 8 1 . 1 1 0 3 . 2 5 6 7 2 . 8 8 2 2 6 1 1 3 1 . 3 . 7 3 7 4 1 . 0 6 1 8 . 2 4 1 6 2 . 8 8 0 2 1 6 1 1 3 5 . 3 . 0 5 2 9 1 . 3 6 2 4 . 0 1 6 2 2 . 8 8 1 1 1 4 1 1 3 5 . 3 . 0 5 3 4 1 . 4 8 8 5 . 0 2 3 6 2 . 8 8 1 1 m e a m 7 O S 6 F . N 1 T N 2 E U R R M E l I e A L . . , . ; . . . . F . 3 i E 7 H E S T B L R 3 3 4 3 R 3 3 4 3 R 5 4 0 9 O 5 4 0 9 T a V A R 1 1 2 2 2 3 3 3 3 3 3 3 2 2 3 3 2 3 1 1 3 3 3 3 1 2 3 4 5 6 1 1 - b 1 - 4 9 2 3 0 1 2 9 3 6 8 2 1 2 6 3 8 7 4 7 0 4 1 3 0 I t 1 e 9 B C E O R R 0 0 0 0 0 0 0 0 0 0 0 0 1 5 4 6 4 1 8 4 3 6 8 3 3 0 6 4 6 9 5 5 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 6 6 6 6 6 4 5 3 3 3 7 5 6 9 8 8 8 9 9 D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . n ' 3 2 2 3 4 4 2 2 3 3 3 3 2 2 3 3 3 3 3 3 s C M - . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . a n d 5 . H E 5 5 5 5 5 5 5 5 5 5 5 0 8 0 5 2 0 5 3 1 4 1 1 9 9 3 7 9 5 1 0 0 E A 0 0 0 0 0 0 0 0 0 0 0 6 5 9 0 0 3 1 7 2 5 3 2 5 0 7 4 4 4 2 8 0 M N 0 0 0 0 0 0 0 0 0 0 0 9 0 4 1 3 4 8 7 7 8 8 4 5 3 3 3 1 8 1 6 0 0 0 0 0 0 0 0 0 7 0 8 3 5 0 0 0 8 0 5 5 6 4 2 0 9 7 3 3 1 1 1 r e l a c 1 o 3 r 1 S E T V A I D 1 1 1 1 1 1 1 1 1 1 1 1 1 1 . . . . . . t . . . . . . . . . . . . . . . . . . . . . . . . . . i N A 5 5 5 5 5 5 5 5 5 5 5 5 0 0 1 0 0 9 7 7 0 7 6 9 3 1 2 2 2 0 3 4 o n s w i t h N = 1 c 2 o 6 D N C M O I R T - " - - - D T 0 0 0 0 0 0 1 0 0 0 0 0 0 8 7 8 4 3 9 1 1 1 3 6 5 1 9 6 0 8 5 5 3 A I 0 0 0 0 0 0 0 0 0 0 0 0 7 5 7 2 5 5 1 3 4 9 0 8 6 5 2 1 5 7 0 1 R O 0 0 0 0 0 0 0 0 0 0 0 0 9 7 2 0 6 3 8 2 5 8 9 2 8 5 4 4 5 0 7 u 7 R H . . . . . . . . . . . . . . . . . . . . . . . . . . . . - . . . r t 7 0 0 0 0 0 0 0 0 0 0 0 0 0 2 1 3 2 0 0 3 2 0 2 0 4 4 2 2 3 0 0 1 s L G 9 0 0 0 0 0 0 0 0 0 0 0 B 1 9 1 7 9 9 8 1 9 3 1 1 2 9 9 9 6 5 3 e g r a d e A H 9 0 0 0 0 0 0 0 0 0 0 0 7 6 5 5 1 9 5 0 1 4 0 0 6 4 1 1 4 4 7 8 T A 0 0 0 0 0 0 0 0 0 0 0 0 0 1 5 2 6 6 3 8 4 7 2 9 4 6 4 6 4 4 4 1 N I D O E G R M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 A E 5 5 5 5 5 5 5 5 5 5 5 5 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 D A 0 0 0 0 0 0 0 0 0 0 0 0 4 6 5 4 4 4 4 4 4 5 5 5 4 3 4 5 4 4 4 4 0 0 0 0 0 0 t N 0 0 0 0 0 0 9 2 5 8 9 8 8 4 2 5 9 3 8 9 0 6 7 7 8 8 0 0 0 0 0 0 0 0 0 0 0 0 9 2 0 6 6 1 1 0 4 5 3 9 5 2 0 0 4 4 9 2 3 8 8 3 8 9 T a b l e F . 3 . 1 3 I t e m m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e H I N T E R 1 9 7 6 C H E M 1 3 0 N = 6 7 1 V A R I A B L E N U M B E R 0 7 M E A N S T A N D A R D C D R R E L A I I D N G R A D E - - R E C O R D S D E V I A I I D N W I T Q ’ G H A D E , M E A N ' " Y R S é R E 4 6 7 . 3 . 0 0 0 0 . 9 2 0 9 - . 0 2 1 4 2 . 6 1 6 7 i 9 4 7 1 . 2 . 5 6 4 8 1 . 2 1 0 2 - . 0 0 1 2 2 . 6 0 6 2 2 1 4 7 3 . 2 . 3 6 5 8 . 9 5 9 8 . 0 7 3 0 2 . 6 0 6 8 2 2 4 7 0 . 3 . 7 3 1 9 1 . 0 1 7 1 - . 0 1 8 7 2 . 6 0 5 3 2 3 4 6 7 . 3 . 2 0 7 7 1 . 1 2 1 0 - . 0 9 5 8 2 . 6 1 2 4 3 0 4 7 3 . 3 . 3 1 9 2 1 . 0 1 4 5 . 0 0 3 0 2 . 6 0 8 9 3 1 . 3 5 4 6 8 . 4 . 3 9 4 4 . 7 6 3 9 - . 0 1 4 2 2 . 6 0 1 5 3 2 . 3 4 4 7 0 . 3 . 1 1 5 5 . 6 3 0 6 . 0 6 5 1 2 . 6 0 4 3 3 3 4 7 0 . 3 . 2 6 3 8 . 9 2 4 0 . 0 1 6 8 2 . 6 0 5 3 3 6 . 4 0 4 6 2 . 4 . 3 8 7 8 . 7 0 6 7 . 0 7 0 0 2 . 6 0 3 9 3 7 . 3 9 4 6 4 . 3 . 1 2 3 2 . 5 8 1 5 . 0 5 2 5 2 . 6 0 5 6 3 8 4 6 4 . 3 . 1 6 5 9 . 8 5 8 8 . 0 2 6 2 2 . 6 0 5 6 1 4 2 0 0 5 7 5 5 1 . 2 . 9 0 7 4 1 . 0 2 6 2 - . 2 6 0 1 2 . 7 4 5 9 1 9 5 4 5 . 2 . 3 0 4 6 1 . 1 8 5 1 . 1 4 2 1 2 . 7 5 3 2 2 1 5 5 0 . 2 . 5 7 8 2 1 . 1 0 7 1 - . 3 1 4 1 2 . 7 4 8 2 2 2 5 4 8 . 3 . 2 7 5 5 1 . 0 2 8 2 . 2 7 1 9 2 . 7 4 8 2 2 3 5 5 0 . 2 . 6 0 5 5 1 . 1 5 1 6 . 2 1 0 0 2 . 7 4 8 2 3 0 5 4 9 . 2 . 8 1 0 6 . 9 1 9 6 . 3 1 2 3 2 . 7 4 9 5 3 1 . 3 5 5 4 5 . 4 . 3 2 7 9 . 7 8 0 6 - . 0 4 3 1 2 . 7 4 7 7 3 2 . 3 4 5 4 5 . 2 . 9 9 3 2 . 6 9 2 4 - . 0 3 1 1 2 . 7 5 1 4 3 3 5 4 8 . 3 . 3 1 2 0 1 . 0 1 0 6 . 2 7 1 2 2 . 7 4 9 1 3 6 . 4 0 5 3 5 . 4 . 3 6 9 8 . 6 7 5 4 . 0 0 7 6 2 . 7 5 0 5 3 7 . 3 9 5 3 6 . 3 . 0 3 5 2 . 6 2 7 3 - . 0 8 4 6 2 . 7 5 0 9 3 8 5 3 7 . 3 . 1 9 7 4 . 9 1 0 4 . 0 9 4 7 2 . 7 5 0 5 1 5 3 9 . 3 . 1 1 6 9 1 . 3 6 1 8 . 3 3 0 2 2 . 7 4 2 1 2 5 3 1 . 3 . 1 0 1 7 1 . 1 2 0 4 . 3 9 4 5 2 . 7 4 9 5 3 5 5 7 . 3 . 5 0 6 3 1 . 2 3 2 4 . 3 4 3 5 2 . 7 3 5 2 4 5 5 7 . 4 . 1 9 0 3 1 . 0 4 4 6 . 2 1 1 5 2 . 7 3 6 1 5 5 5 5 . 4 . 0 1 4 4 1 . 1 2 9 4 . 3 3 5 6 2 . 7 4 2 3 6 5 5 4 . 3 . 6 3 5 4 1 . 0 5 6 5 . 2 9 0 5 2 . 7 3 8 3 1 0 5 5 8 . 3 . 0 3 0 5 1 . 3 5 3 7 . 0 2 8 1 2 . 7 3 6 6 1 4 5 5 8 . 3 . 0 8 9 6 1 . 4 7 6 9 . 0 6 3 6 2 . 7 3 6 6 3 9 0 T a b l e F . 3 . 1 4 I t e m m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e S P R I N G 1 9 7 6 C M E M 1 3 1 N 5 7 5 V A R I A B L E N U M B E R O F M E A N S T A N D A R D C O R R E L A T I O G R A D E - * R E C O R D S D E V I A I I D N w I I n - G R A D E M E A N _ 7 4 - R R E 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 1 9 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 2 1 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 2 2 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 2 3 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 6 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 1 . 3 5 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 2 . 3 4 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 3 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 6 . 4 6 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 7 . 3 9 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 3 8 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 . 5 0 0 0 1 4 - 0 0 5 7 2 9 8 . 3 . 1 3 0 9 1 . 0 5 5 3 - . 3 3 8 3 2 . 4 1 2 8 1 9 2 9 6 . 2 . 0 5 0 7 1 . 1 3 3 4 . 1 4 3 4 2 . 4 1 7 2 z i 2 9 5 . 2 . 9 3 2 2 1 . 1 9 1 3 - . 3 7 6 6 2 . 4 1 8 6 2 2 2 9 5 . 2 . 8 6 7 8 1 . 1 3 4 7 . 2 8 2 4 2 . 4 2 0 3 2 3 2 9 5 . 2 . 3 9 3 2 1 . 1 0 2 2 . 2 3 9 9 2 . 4 1 8 6 3 6 2 9 4 . 2 . 4 6 6 0 . 9 9 1 7 . 2 5 7 5 2 . 4 2 3 5 3 1 . 3 5 2 8 4 . 4 . 2 7 7 7 . 8 2 5 8 - . 0 0 0 7 2 . 4 2 9 6 3 2 . 3 4 2 8 7 . 3 . 0 7 8 6 . 6 9 9 7 - . 0 0 1 3 2 . 4 2 8 6 3 3 2 8 9 . 3 . 2 1 1 1 1 . 0 7 2 0 . 3 1 7 1 2 . 4 2 9 1 3 6 . 4 6 2 7 8 . 4 . 3 5 8 7 . 7 6 1 6 . 0 6 5 3 2 . 4 2 6 3 3 7 . 3 9 2 7 6 . 3 . 0 2 2 8 . 6 0 8 1 - . 0 6 9 5 2 . 4 4 7 5 3 8 2 8 2 . 3 . 0 8 8 7 . 9 1 6 3 . 0 8 9 0 2 . 4 2 7 3 1 3 6 8 . 2 . 8 1 5 2 1 . 2 7 8 4 . 3 6 1 3 2 . 4 6 0 6 2 3 6 6 . 2 . 7 7 3 2 1 . 0 4 3 0 . 3 9 9 0 2 . 4 5 4 9 3 3 7 4 . 3 . 1 2 8 3 1 . 3 4 4 3 . 3 9 2 6 2 . 4 4 9 2 4 3 7 3 . 3 . 8 2 8 4 1 . 2 2 4 2 . 1 6 9 5 2 . 4 5 1 7 5 3 7 3 . 3 . 8 6 6 0 1 . 2 0 9 1 . 1 4 0 4 2 . 4 4 7 7 6 3 6 9 . 3 . 3 7 4 0 1 . 1 4 8 1 . 0 7 5 5 2 . 4 4 7 2 1 6 3 7 7 . 3 . 5 5 1 7 1 . 2 7 7 5 - . 2 5 6 7 2 . 4 5 6 2 1 4 3 7 7 . 3 . 0 8 7 5 1 . 4 3 4 8 - . 3 2 1 4 2 . 4 5 6 2 3 9 1 P O S I C O U R S E A T T I T U D E 3 1 . 3 5 3 2 9 3 ‘ 3 3 3 6 9 4 0 3 7 9 3 9 3 8 T a b l e F . 4 . 1 F a c t o r m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e W I N T E R 1 9 7 3 C H E M 1 3 0 N = 5 5 6 F A C T O R N U M B E R O F M E A N S T A N D A R D C O R R t L A T I O N R E C O R D S D E V I A I I O N N I I E ‘ G R A D E 1 4 6 4 . 3 . 2 7 2 3 . 7 5 0 1 . 0 8 4 8 2 4 6 4 . 3 . 6 4 3 0 . 7 9 7 0 . 0 1 7 7 3 4 4 0 . 4 . 3 0 1 3 . 0 5 3 0 - . 0 2 9 0 4 4 4 2 . 3 . 0 4 8 5 . 5 7 3 1 . 0 6 9 3 5 4 4 5 . 3 . 2 9 2 1 ’ . 7 6 3 7 . 0 0 1 5 6 4 7 4 . 3 . 2 6 7 9 . 7 8 4 4 . 2 8 8 6 7 4 5 0 . 3 . 1 5 5 6 . 9 1 9 7 . 2 0 1 5 8 3 2 0 . 4 . 1 8 0 4 . 7 4 1 7 . 1 2 4 9 9 3 4 7 . 2 . 8 4 4 4 . 6 2 1 9 - . 0 9 0 3 1 0 3 9 7 . 3 . 4 4 2 1 . 7 8 0 2 . 1 9 5 6 1 1 4 3 4 . 3 . 1 7 9 7 . 3 9 9 3 . 2 4 4 0 1 2 4 5 0 . 3 . 8 8 5 9 . 7 6 5 5 . 2 1 5 0 I I E M S A D J U S I E D F O R C H A N G E E S T R R E 2 . 8 2 1 6 2 . 5 5 7 0 1 . 9 2 2 4 3 . 7 6 0 6 3 . 4 8 8 4 3 . 3 8 5 1 4 . 2 2 4 1 2 . 9 8 6 6 3 . 3 9 1 2 4 . 3 4 2 2 2 . 9 9 4 5 3 . 2 1 1 8 . 3 8 2 . 6 2 0 3 2 . 3 9 6 6 1 . 9 6 4 4 3 . 4 8 7 3 2 . 9 8 5 2 3 . 0 0 8 8 4 . 1 1 2 0 2 . 8 1 8 4 3 . 5 7 3 6 4 . 2 9 2 4 2 . 8 5 2 1 3 . 3 2 0 2 A D J 9 0 5 1 2 . 9 0 6 4 2 . 4 2 2 2 2 ° “ ? 9 3 3 . 3 3 3 3 2 . 8 1 0 8 2 . 8 8 9 4 3 . 9 0 0 4 2 . 6 8 4 7 3 . 5 9 5 4 4 . 0 8 5 3 2 . 7 3 2 0 3 . 3 1 4 8 3 9 2 P O S T C O U R S E A T T I T U D E E Y N H E R O F M 8 E C D R D S 3 8 6 . 3 8 5 . 3 8 5 . 3 8 6 . 3 8 5 . 3 8 0 . 3 7 2 . 3 7 5 . 3 7 6 . 3 5 0 . 3 5 5 . 3 6 1 . T a b l e F . 4 . 2 F a c t o r m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e S P R I N G 1 9 7 3 C H E M 1 3 1 N = 4 9 8 F A C T O R N U M B E R O F M E A N S T A N D A R D C O R R E L A T I O - R E C O R D S D E V I A I I O N 0 1 7 0 7 6 9 4 0 5 1 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 Z O . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 3 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 4 O . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 ~ S 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 6 3 8 4 . 2 . 8 0 9 9 . 8 8 5 9 . 3 3 3 8 7 3 8 0 . 2 . 7 6 2 3 . 9 1 6 3 . 2 7 9 1 8 3 4 7 . 4 . 3 1 9 9 . Q 4 6 7 . 1 0 1 3 9 3 5 4 . 2 . 9 0 4 0 . 6 4 5 9 - . 1 2 5 4 1 0 3 6 0 . 3 . 2 5 4 2 . 8 3 9 1 . 2 0 8 3 1 1 4 0 0 . 3 . 1 5 5 0 . 4 3 3 3 . 4 0 9 4 1 2 4 1 8 . 3 . 9 5 6 9 . 9 5 1 4 . 1 9 8 0 I T E M S A D J U S T E D F O R C H A N G E E S T p R E 3 . 0 0 2 6 2 . 0 6 2 3 2 . 6 2 8 6 3 . 0 4 4 0 2 . 5 7 1 4 2 . 6 7 6 3 4 . 2 5 1 9 2 . 9 2 3 0 3 . 3 4 5 7 4 . 3 9 5 9 2 . 8 8 4 9 3 . 1 4 9 6 R A H P O S T 3 . 0 0 2 6 2 . 0 6 2 3 2 . 6 2 8 6 3 . 0 4 4 0 2 . 5 7 1 4 2 . 6 7 6 3 4 . 2 5 1 9 2 . 9 2 3 0 3 . 3 4 5 7 4 . 3 9 5 9 2 . 8 8 4 9 3 . 1 4 9 6 A D J 9 0 5 7 3 . 0 0 2 6 2 . 0 6 2 3 2 . 9 2 8 6 3 . 0 4 4 0 2 . 5 7 1 4 2 . 6 7 6 3 4 . 2 5 1 9 2 . 9 2 3 0 3 . 3 4 5 7 4 . 3 9 5 9 2 . 8 8 4 9 3 . 1 4 9 6 T a b l e m e a n s C F 0 F O S 7 O S 0 5 F P S F A O U 1 1 2 2 3 3 9 I 3 3 3 3 3 . 4 . 3 T 1 4 2 3 5 6 7 8 9 0 2 1 T E V . : . $ O C E M 3 3 3 4 1 1 1 C S R 4 9 2 T 1 3 6 1 2 6 7 3 8 F R O Y 5 4 9 6 F L A L a c t o 1 r 9 7 N N U R E U R U R S B C M E 1 1 1 1 1 M E B C 0 0 0 0 0 9 9 9 9 9 A 9 9 9 9 9 9 9 9 9 9 9 9 E O 9 9 5 5 8 9 0 3 4 7 T E O 9 8 9 9 9 9 7 8 8 2 4 4 0 0 T R R 2 1 2 9 9 7 0 9 9 0 R 4 8 R 2 4 4 2 2 5 7 0 3 3 3 D . . . . . . . . . . . . D 1 . . . . . . . . . . . . H 4 a 3 3 3 4 3 3 3 2 3 2 2 4 4 3 3 3 3 3 3 3 I 1 n E . . . . . M . . . . . . . T . . . . . . . . . . . . e l a t i d M c o 1 r 3 r 0 S E D A D J U S T 5 5 E 4 6 0 3 2 E 3 2 1 9 3 E P 9 7 9 9 5 4 3 1 4 3 0 2 A 1 7 9 9 9 2 8 7 4 9 0 0 M 5 1 S R 4 1 1 8 6 5 7 1 2 1 N 9 0 1 8 2 8 6 5 4 2 0 0 S T E 1 0 7 5 4 3 6 6 7 7 4 2 5 9 6 5 3 5 2 6 4 6 0 0 4 7 3 3 7 9 5 5 6 4 1 1 o T V 2 2 2 3 2 3 4 2 3 2 3 4 . . . . . . . . . . . . n A I E P . . . . . . . . . . . . s N A 7 7 6 5 7 7 8 6 6 8 5 5 R D O 5 5 1 5 0 2 9 9 4 3 9 2 h D N R w N i t = D T 9 8 2 5 8 8 8 8 0 0 0 0 S 6 8 1 4 8 2 9 6 5 A 2 5 2 A I 6 4 5 0 5 8 2 0 3 4 0 0 F T w 7 6 7 7 4 8 9 9 7 7 5 0 R O 2 6 9 3 2 0 2 4 O 7 7 0 0 4 7 4 4 7 0 7 5 6 1 1 1 u r s c 1 o 2 2 C M 1 O I e R E . . . . . . . . . . . . G . . . P . . . . . . . . . g r a d e I D O E 0 0 0 0 2 0 2 1 0 0 0 0 E - A E O 5 5 0 3 7 2 9 8 4 1 8 1 L G 2 2 0 4 1 4 5 9 0 0 2 2 D S 7 5 0 8 6 1 3 9 2 7 9 2 A H 1 3 6 1 7 6 2 0 0 3 2 8 J 5 5 8 1 8 5 0 5 2 0 T 4 0 A 5 T 2 5 3 3 2 9 4 0 0 0 5 5 2 6 3 2 9 1 6 0 0 1 5 " R T - - 2 2 2 4 4 2 2 3 2 3 2 3 C H A N 3 9 3 a u q 3 9 4 P O S T C O U R S E A T T I T U D E S U R V E Y N U M B E R O F I T E M R E C O R D S 1 4 4 7 5 . 1 9 4 6 7 . 2 1 4 7 2 . 2 2 4 7 0 . 2 3 4 7 0 . 3 5 4 6 3 . 3 1 . 3 5 4 0 3 . 3 2 9 3 4 “ 1 8 . 3 3 4 5 1 . 3 6 . 4 6 3 1 0 . 3 7 . 3 9 3 7 1 . 3 8 3 9 6 . T a b l e F . 4 . 4 F a c t o r m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e H I N T E R 1 9 7 4 C H E M 1 3 1 N = 1 1 1 0 F A C T ° R “ 8 2 3 3 3 6 2 ‘ ” 5 “ “ 6 2 5 1 1 9 1 3 3 S 9 1 8 9 3 1 0 8 ” 1 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 2 O . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 3 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 4 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 S 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 6 4 6 7 . 2 . 8 4 5 1 . 8 4 1 8 . 3 3 6 8 7 4 5 8 . 2 . 7 7 8 0 . 9 0 6 9 . 3 2 4 4 8 2 8 5 . 4 . 3 0 5 3 . 7 3 1 1 - . 0 2 8 2 9 3 4 2 . 3 . 0 9 8 6 . 6 3 9 1 - . 0 5 2 4 1 0 3 8 3 . 3 . 1 6 5 8 . 8 5 9 2 . 2 3 5 4 I I 6 9 4 . 3 . 0 6 6 0 . 4 2 5 8 . 2 5 8 8 1 2 7 1 7 . 3 . 8 2 2 4 . 9 9 8 6 . 1 8 8 1 I T E M S A D J U S T E D F O R C H A N g E E S P R 2 . 9 0 1 1 2 . 1 5 4 2 2 . 7 2 4 6 3 . 0 7 0 2 2 . 5 8 0 9 2 . 6 9 9 8 4 . 2 7 4 0 3 . 1 1 3 5 3 . 1 9 9 6 4 . 3 2 7 2 3 . 0 7 1 6 3 . 1 2 6 3 R A H P O S T 2 . 9 0 1 1 2 . 1 5 4 2 2 . 7 2 4 6 3 . 0 7 0 2 2 . 5 8 0 9 2 . 6 9 9 8 4 . 2 7 4 0 3 . 1 1 3 5 3 . 1 9 9 6 4 . 3 2 7 2 3 . 0 7 1 6 3 . 1 2 6 3 9 3 3 % 2 . 9 0 1 1 2 . 1 5 4 2 2 . 7 2 4 6 3 . 0 7 0 2 2 . 5 8 0 9 2 - 9 2 2 8 4 . 2 7 4 0 3 . 1 1 3 5 3 . 1 9 9 6 4 . 3 2 7 2 3 . 0 7 1 6 3 . 1 2 6 3 3 9 5 T a b l e F . 4 . 5 F a c t o r m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e H I N T E R 1 9 7 4 C H E M 1 3 0 N = 7 8 0 F A C T O R N U M B E R O F M E A N S T A N D A R D C O R R E E A T I O N R E C O R D S D E V I A I I O N N I T Q ‘ G H A U E 1 6 2 . 3 . 0 2 1 5 . 8 4 0 0 . 0 0 0 0 2 . 8 9 . 3 . 5 2 8 1 . 8 4 9 2 - . 0 4 1 ? 3 7 7 . 4 . 4 6 9 4 . 5 5 7 7 . 1 0 3 3 4 9 5 . 3 . 0 5 4 1 . 5 5 5 1 . 0 4 9 2 S 1 0 5 . 3 . 3 8 5 ? . 1 0 1 2 . 1 8 1 9 6 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 7 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 8 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 9 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 1 0 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 1 1 5 4 1 . 3 . 0 8 7 6 . 4 4 6 2 . 1 8 4 4 1 2 5 6 8 . 4 . 0 0 ? 6 . 8 6 1 1 . 1 3 5 ? R O S T C O U R S E A T T I T U D E I T E M S A O J U S T E O F O R C H A N G E S U R V E Y 1 1 : 8 1 4 1 9 2 1 2 2 2 3 3 6 3 1 . 3 5 3 2 9 3 4 3 3 3 6 9 4 0 3 7 . 3 9 3 8 N U M B E R O F R E C O R D S 0 . 0 . 0 . 0 . 0 . 0 . 0 . O . O . 0 . 0 . 0 . E S T R R E . 5 0 0 0 . 5 0 0 0 . 5 0 0 0 . 5 0 0 0 . 5 0 0 0 . 5 0 0 0 . 5 0 0 0 . 5 0 0 0 . 5 0 0 0 . 5 0 0 0 . 5 0 0 0 . 5 0 0 0 R A H P O S T . 5 0 0 0 , . 5 0 0 0 . 5 0 0 0 . 5 0 0 0 . 5 0 0 0 . 5 0 0 0 . 5 0 0 0 . 5 0 0 0 . 5 0 0 0 . 5 0 0 0 . 5 0 0 0 . 5 0 0 0 A D J P 0 5 1 . 5 0 0 0 . 5 0 0 0 . 5 0 0 0 . 5 0 0 0 . 5 0 0 0 . 5 0 0 0 . 5 0 0 0 . 5 0 0 0 . 5 0 0 0 . 5 0 0 0 . 5 0 0 0 . 5 0 0 0 T a b l e F A F . 4 . 6 F a c t o r P R S R I N N U R G M E B C E O R R 3 3 3 3 3 4 4 9 7 7 2 9 7 4 7 2 5 1 5 8 0 C O T 1 2 3 4 5 6 7 8 9 2 0 1 1 1 1 e 7 O S 4 F 1 0 0 0 0 0 m 9 D . . . . . . . . . . . . a n s a n d c o r . . . . . C M . . . . . . . 5 5 5 5 5 H E 7 7 2 9 2 0 9 0 0 0 0 0 E A 7 2 6 9 1 6 5 0 0 0 0 0 M N 6 1 9 0 0 3 6 0 0 0 0 5 0 7 ? 0 0 5 1 2 2 4 2 3 3 3 a t r 1 e 3 l 1 D i S E o T V n s A I N A . . . . . . . . . . . . 5 5 5 5 5 8 8 7 6 8 4 9 h D N c 6 o 6 u 0 W C r O I w N i t = D T 0 0 0 0 0 6 6 1 1 3 7 4 A I 0 0 0 0 0 2 7 5 7 4 3 5 R O 0 0 0 0 0 5 8 7 8 9 7 5 s R T - e R D . . . . . . . . . . . . g r a d e N I D O E E ‘ 0 0 0 0 0 0 3 3 0 2 3 1 L G 2 0 0 0 0 0 6 2 5 8 2 7 0 0 0 0 0 5 A R 1 9 5 2 9 0 T A 0 0 0 0 0 6 0 2 0 5 4 1 3 9 6 P O S T C O U R S E A T T I T U D E S U R V E Y I T E M 1 4 1 9 2 1 2 2 2 3 3 0 3 1 . 3 5 3 2 9 3 ‘ 3 3 3 6 . 4 0 3 7 . 3 9 3 8 N B E R O F C O R D S 4 0 1 . 3 9 8 . 3 9 8 . 3 9 8 . 3 9 8 . 3 9 5 . 3 9 2 . 3 9 0 . 3 9 3 . 3 7 2 . 3 7 2 . 3 7 5 . I T E M S A D J U S T E D F O R C H A N O E E S T R R E 3 . 0 4 9 9 2 . 0 4 0 2 2 . 6 5 0 8 3 . 0 3 5 2 2 . 5 3 2 7 2 . 6 0 0 0 4 . 1 3 8 5 2 . 9 6 7 8 3 . 3 3 8 4 4 . 2 9 1 9 2 . 9 6 6 2 3 . 1 9 2 0 R A H P O S T 3 . 0 4 9 9 2 . 0 4 0 2 2 . 6 5 0 8 3 . 0 3 5 2 2 . 5 3 2 7 2 . 6 0 0 0 4 . 1 3 8 5 2 . 9 6 7 8 3 . 3 3 8 4 4 . 2 9 1 9 2 . ? 6 6 2 3 . 1 9 2 0 A D J 8 0 5 7 3 . 0 4 9 9 2 . 0 4 0 2 2 . 9 5 0 8 3 . 0 3 5 2 2 . 5 3 2 7 2 . 6 0 0 0 4 . 1 3 8 5 2 . 9 6 2 3 3 . 3 3 8 4 4 . 2 9 1 9 2 . 9 6 6 2 3 . 1 9 2 0 3 9 7 P O S T C O U R S E A T T I T U D E 3 i 9 3 5 3 2 9 3 4 3 3 3 6 9 4 0 3 7 9 3 9 3 8 T a b l e F . 4 . 7 F a c t o r m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e F A L L 1 9 7 4 C H E M 1 3 0 N = 1 2 4 2 F A C T O R N U M B E R O F M E A N S T A N D A R D C O R R E L A T I O N R E C O R O S D E V I A T I O N V I I H - G H A U E 1 1 0 7 6 . 3 . 3 4 5 7 . 7 9 6 7 . 0 9 8 8 2 1 1 0 0 . 3 . 7 1 8 8 . 8 0 1 7 . 0 1 8 0 3 1 0 9 4 . 4 . 4 5 1 6 . 5 7 5 4 . 0 0 0 5 4 ‘ 1 1 9 8 . 3 . 1 8 1 0 . 5 5 3 2 . 0 4 5 5 5 1 1 6 8 . 3 . 2 7 9 8 . 7 8 5 3 - . 0 0 2 1 6 3 6 8 . 2 . 9 4 8 4 . 9 0 8 9 . 3 1 5 4 7 3 6 3 . 2 . 8 6 1 3 . 9 4 6 7 . 3 2 9 4 8 3 4 4 . 4 . 2 9 8 2 . 7 2 7 3 - . 0 3 2 1 9 3 4 6 . 3 . 1 5 8 5 . 6 2 5 0 - . 0 § 1 9 1 0 3 4 9 . 3 . 1 4 6 1 . 9 1 8 7 . 2 5 9 3 1 1 5 4 6 . 2 . 9 8 7 5 . 4 5 8 0 . 1 9 1 2 1 2 5 8 0 . 3 . 6 2 6 4 . 8 8 5 1 . 1 0 9 8 I T E M S A D J U S T E D F O R C H A N G E E S T R R E 2 . 7 0 9 8 2 . 7 9 6 2 2 . 0 4 0 4 3 . 9 6 7 7 3 . 4 7 2 8 3 . 5 3 5 5 4 . 4 4 1 4 3 . 1 5 7 7 3 . 3 9 2 3 4 . 4 6 8 1 3 . 1 2 8 5 3 . 1 5 4 7 R A H P O S T 2 . 8 8 6 5 2 . 3 9 4 0 2 . 6 5 5 0 3 . 2 0 4 3 2 . 6 0 6 0 2 . 7 4 3 2 4 . 2 6 6 5 3 . 1 6 7 3 3 . 2 2 1 0 4 . 3 3 8 0 3 . 1 4 6 5 3 . 0 7 7 4 A D J P O S T 2 - 2 3 7 6 2 . 3 7 9 0 2 . 9 0 2 4 2 . 9 3 2 0 2 . 3 6 0 2 2 . 5 3 3 3 4 . 0 2 7 6 3 . 0 7 6 5 3 . 1 4 6 4 4 . 1 2 0 5 3 . 0 7 9 2 3 . 0 5 1 4 c m q n « f - l 0 u l o b i m N u “ N ! 1 N 0 ' U 0 3 9 8 P O S T C O U R S E A I T I I U U E 3 1 9 3 5 3 2 9 3 4 3 3 3 6 9 4 6 3 7 9 3 9 3 8 3 m . ( 2 3 C T a b l e F . 4 . 8 F a c t o r m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e W I N T E R 1 9 7 5 C H E M 1 3 1 N = 1 1 1 2 F A C T O R N U M B E R O F M E A N S T A N D A R D C O R R E L A T I O N R E C O R D S D E V I A T I O N W I T N ‘ G R A D E 1 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 2 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 3 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 4 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 5 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 6 4 2 9 . 2 . 8 0 5 0 . 9 2 2 3 . 2 5 8 2 7 4 2 5 . 2 . 7 5 4 5 . 8 8 2 4 . 2 7 5 7 8 4 3 5 . 4 . 3 0 0 2 . 6 8 8 0 . 0 1 9 4 9 4 0 4 . 3 . 1 4 5 0 . 9 0 4 6 - . 0 5 5 9 1 0 4 0 6 . 3 . 1 2 3 2 . 9 0 0 7 . 2 0 9 7 1 1 5 1 3 . 2 . 9 9 7 3 . 7 8 3 3 . 2 8 8 1 1 2 5 3 7 . 3 . 5 5 2 5 . 8 8 6 4 . 1 4 0 3 I T E M S A D J U S T E D F O R C H A N G § E S I R R ; 2 . 9 7 9 4 2 . 1 1 6 3 2 . 7 3 1 5 3 . 0 7 3 9 2 . 5 3 8 1 2 . 6 6 1 2 4 . 2 3 2 6 3 . 1 8 1 6 3 . 1 6 6 7 4 . 3 5 4 0 3 . 1 1 0 8 3 . 0 7 6 4 p 3 5 ¥ 2 . 9 7 9 4 2 . 1 1 6 3 2 . 7 3 1 5 3 . 0 7 3 9 2 . 5 3 8 1 2 . 6 6 1 2 4 . 2 3 2 6 3 . 1 8 1 6 3 . 1 6 6 7 4 . 3 5 4 0 3 . 1 1 0 8 3 . 0 7 6 4 A D J P O S T 2 - 9 7 9 4 2 . 1 1 6 3 2 . 7 3 1 5 3 . 0 7 3 9 2 . 5 3 8 1 2 . 6 6 1 2 4 . 2 3 2 6 3 . 1 8 1 6 3 . 1 6 6 7 4 . 3 5 4 0 3 . 1 1 0 8 3 . 0 7 6 4 3 9 9 P O S T C O U R S E A T T I T U D E I T E M S A D J U S T E D F O R C H A N g g E S T R R E 2 . 9 3 6 3 2 . 3 8 1 0 2 . 3 7 4 4 3 . 5 4 0 3 3 . 0 8 0 8 3 . 1 7 8 6 4 . 2 6 1 0 3 . 0 9 2 5 3 . 2 6 4 9 4 . 3 6 2 1 3 . 0 8 6 2 3 . 1 6 2 6 p 8 5 ¥ 2 . 8 5 8 5 2 . 2 7 3 8 2 . 5 3 7 9 3 . 2 0 1 4 2 . 5 4 1 6 2 . 7 5 2 4 4 . 2 3 6 3 3 . 0 6 6 5 3 . 2 1 2 4 4 . 3 6 4 9 3 . 0 8 7 6 3 . 1 3 7 9 4 0 3 9 0 5 1 2 . 8 4 7 5 2 . 3 2 6 1 2 . 6 2 1 3 3 . 0 5 4 4 2 . 3 9 0 5 2 . 6 1 1 1 4 . 0 6 4 3 3 . 0 0 4 2 3 . 1 8 5 2 4 . 1 8 5 0 3 . 0 0 7 9 3 . 1 0 7 8 T a b l e F . 4 . 9 F a c t o r m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e H i N T E R 1 9 7 5 C H E M 1 3 0 N = 6 3 4 F A C T O R N U M B E R O F M E A N S T A N D A R D C O R R E L A T I O N R E C O R D S D E V I A T I O N . W I T O ‘ G R A D E 1 4 4 7 . , 3 . 0 1 5 7 . 8 0 1 8 . 0 4 8 6 2 4 3 8 . 3 . 4 2 5 4 . 8 6 3 2 - . 0 0 9 1 3 4 2 2 . 4 . 3 2 5 7 . 9 4 4 5 . 0 2 4 5 4 4 2 0 . 3 . 1 1 4 3 . 5 4 5 1 - . 0 1 4 1 5 4 2 4 . 3 . 2 0 9 9 . 8 3 2 4 . 0 1 0 3 6 4 1 9 . 2 . 9 5 9 4 . 8 3 4 6 . 2 8 5 5 7 4 1 9 . 2 . 8 2 9 8 . 8 8 0 4 . 2 9 5 7 8 4 0 2 . 4 . 3 0 5 6 . 6 8 3 5 . 0 1 9 1 9 4 0 0 . 3 . 0 7 2 1 . 9 2 0 6 - . 1 5 0 6 1 0 4 0 6 . 3 . 1 7 8 6 . 8 0 9 1 . 2 3 7 7 1 1 4 4 9 . 3 . 1 2 0 7 . 8 5 3 3 . 3 1 5 6 1 2 4 6 9 . 3 . 8 6 2 1 . 8 7 2 3 . 2 2 4 0 4 0 0 P O S T C O U R S E A T T I T U D E 3 1 . 3 5 3 2 9 3 4 3 3 3 6 9 5 6 . 3 7 0 3 9 3 8 T a b l e F . 4 . 1 0 F a c t o r m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e S P R I N G 1 9 7 5 C H E M 1 3 1 N = 5 4 5 “ m " " 3 2 2 8 5 6 2 “ " 5 " " 0 2 5 1 0 1 3 8 8 9 0 5 6 2 1 0 8 1 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 2 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 3 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 4 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 5 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 6 2 2 2 . 2 . 6 6 2 2 . 8 6 8 5 . 2 6 1 0 7 2 2 1 . 2 . 5 5 9 6 . 8 9 5 8 . 2 0 3 7 8 2 1 5 . 4 . 3 5 1 5 . 7 3 8 0 . 0 4 9 7 9 2 1 6 . 3 . 0 7 1 4 . 6 6 0 5 - . 1 6 9 8 1 0 2 1 6 . 3 . 1 7 1 3 . ? 3 0 9 . 3 6 3 1 1 1 2 6 0 . 3 . 0 2 7 3 . 8 5 7 3 . 3 6 6 8 1 2 2 7 7 . 3 . 6 4 8 6 1 . 0 0 1 0 . 2 4 9 8 I T E M S A D J U S T E D F O R C H A N G E E S I p a ; 3 . 0 3 1 0 1 . 9 2 8 3 2 . 9 0 5 8 2 . 8 5 6 5 2 . 3 8 5 7 2 . 4 4 3 4 4 . 3 5 0 3 3 . 0 8 5 7 3 . 2 3 1 8 4 . 3 4 6 2 3 . 0 5 5 6 3 . 1 1 1 1 R A H P O S T 3 . 0 3 1 0 1 . ? 2 8 3 2 . 9 0 5 8 2 . 8 5 6 5 2 . 3 8 5 7 2 . 4 4 3 4 4 . 3 5 0 3 3 . 0 8 5 7 3 . 2 3 1 8 4 . 3 4 6 2 3 . 0 5 5 6 3 . 1 1 1 1 0 0 3 2 0 5 7 3 . 0 3 1 0 1 . 9 2 8 3 2 . 9 0 5 8 2 . 8 5 6 5 2 . 3 8 5 7 2 . 4 4 3 4 4 . 3 5 0 3 3 . 0 8 5 7 3 . 2 3 1 8 4 . 3 4 6 2 3 . 0 5 5 6 3 . 1 1 1 1 4 0 1 T a b l e F . 4 . 1 1 F a c t o r m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e F A L L 1 9 7 5 9 8 2 8 1 3 0 N = 1 3 8 1 F A C T O R N U M B E R O F M E A N S T A N D A R D C O R R E L A T I O N R § C O R D S D § V I A T I O N N I T H ‘ G R A D E 1 1 0 8 5 . 3 . 3 4 2 9 . 8 0 5 3 . 0 4 3 9 2 1 0 8 4 . 3 . 7 0 4 8 . 7 6 9 2 . 0 2 4 9 3 1 0 6 2 . 4 . 4 4 9 8 . 5 9 1 7 . 0 6 3 9 4 1 0 6 0 . 3 . 1 6 9 0 . 5 2 5 4 - . 0 2 8 2 5 1 0 7 3 . 3 . 2 8 2 9 . 7 8 8 7 . 0 6 0 2 6 1 1 2 8 . 3 . 0 8 4 5 . 8 8 5 9 . 2 7 5 2 7 1 1 2 0 . 3 . 1 1 1 0 . 8 7 8 6 . 2 4 4 7 8 1 0 9 0 . 4 . 3 0 7 2 . 6 7 8 6 . 0 3 8 0 9 1 0 9 3 . 3 . 0 9 2 0 . 5 9 4 3 - . 0 6 5 6 1 0 1 0 9 7 . 3 . 2 3 9 7 . 8 3 5 9 . 2 3 3 1 1 1 1 0 9 3 . 3 . 1 9 3 1 . 8 1 1 8 . 3 3 7 0 1 2 1 1 2 6 . 3 . 9 6 0 9 . 8 3 8 8 . 2 9 0 6 P O S T C O U R S E A T T I I U U E I T E M S A D J U S T § D F O R C H A N G ; S U R V E Y N U M B E R E S T R A H A D J 1 7 2 8 R § C O R D F a g 9 0 5 7 9 0 5 7 1 4 1 1 3 8 . 2 . 7 5 6 6 2 . 7 2 5 0 2 . 7 3 9 9 1 9 1 1 2 8 . 2 . 7 4 4 7 2 . 4 2 7 3 2 . 4 1 5 9 2 1 1 1 3 0 . 2 . 1 7 8 8 2 . 4 4 6 0 2 . 6 0 1 9 2 2 . 1 1 2 7 . 3 . 9 1 0 4 3 . 5 0 1 3 3 . 2 8 8 4 2 3 1 1 2 7 . 3 . 3 8 6 0 2 . 8 2 3 4 2 . 6 2 9 6 3 0 1 1 2 1 . 3 . 4 8 4 4 2 . 9 9 5 5 2 . 8 1 7 0 3 1 . 3 5 1 1 1 4 . 4 . 3 8 2 9 4 . 2 3 6 2 4 . 0 4 8 6 3 2 . 3 4 1 1 1 4 . 3 . 1 4 9 8 3 . 1 0 1 1 3 . 0 3 4 0 3 3 1 1 1 8 . 3 . 3 6 4 9 3 . 3 4 1 7 3 . 3 0 1 0 3 6 . 4 0 1 0 9 6 . 4 . 4 5 0 5 4 . 3 7 0 2 4 . 1 7 3 0 3 7 9 3 9 1 0 9 8 . 3 . 1 2 8 0 3 . 0 8 2 7 3 . 0 2 4 9 3 8 1 1 0 0 . 3 . 1 5 0 0 3 . 1 3 0 9 3 . 0 8 4 8 4 0 2 P O S T C O U R S E A T T I T U D E 3 i 9 3 5 3 2 9 3 ‘ - 3 3 3 6 9 4 0 3 7 9 3 9 3 8 T a b l e F . 4 . 1 2 F a c t o r m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e W I N T E R 1 9 7 6 C H E M N = 1 2 6 7 F A C T O R N U M B E R O F M g A N T A N D A R D C O R R E L A T I O R E C O R D S V I A T I O N W I T H ‘ G R A D E 1 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 2 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 3 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 4 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 5 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 6 7 6 3 . 2 . 7 0 3 8 . 8 7 6 5 . 3 0 4 0 7 7 6 1 . 2 . 7 1 7 9 . 8 5 4 7 . 3 1 6 8 8 7 3 0 . 4 . 3 5 0 3 . 6 7 9 0 . 0 0 2 1 9 7 3 6 . 3 . 1 5 0 2 . 6 0 2 7 - . 1 1 0 7 1 0 7 3 7 . 3 . 1 9 2 7 . 8 6 4 8 . 2 1 5 6 1 1 7 6 0 . 3 . 0 7 8 3 . 8 4 5 1 . 3 9 3 4 1 2 7 7 9 . 3 . 7 5 7 0 . 9 1 1 3 . 3 3 0 2 I T E M S A D J U S T E D F O R c H A ~ 0 § E S T R R E 3 . 0 5 9 7 2 . 0 2 4 8 2 . 8 5 7 5 3 . 0 3 8 0 2 . 5 2 7 5 2 . 5 9 0 0 4 . 3 0 4 8 3 . 1 6 8 1 3 . 2 5 8 6 4 . 4 0 1 3 3 . 1 3 3 5 3 . 1 0 8 4 R A W P O S T 3 . 0 5 9 7 2 . 0 2 4 8 2 . 8 5 7 5 3 . 0 3 8 0 2 . 5 2 7 5 2 . 5 9 0 0 4 . 3 0 4 8 3 . 1 6 8 1 3 . 2 5 8 6 4 . 4 0 1 3 3 . 1 3 3 5 3 . 1 0 8 4 0 8 3 7 ’ 3 . 0 5 9 7 2 . 0 2 4 8 2 . 8 5 7 5 3 . 0 3 8 0 2 . 5 2 7 5 2 . 5 9 0 0 4 . 3 0 4 8 3 . 1 6 8 1 3 . 2 5 8 6 4 . 4 0 1 3 3 . 1 3 3 5 3 . 1 0 8 4 4 0 3 T a b l e F . 4 . 1 3 F a c t o r m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e H I N T E R 1 9 7 6 C H E M 1 3 0 N = 6 7 1 " 3 2 2 5 2 . 2 ? 0 2 7 1 1 9 1 8 3 3 1 9 5 : 1 1 5 8 1 4 6 2 . 3 . 0 6 2 0 . 8 4 5 2 - . 0 1 8 4 2 4 6 4 . 3 . 4 1 0 2 . 8 5 7 2 - . 0 4 0 8 3 4 6 0 . 4 . 3 8 8 2 . 6 7 1 6 . 0 2 6 8 4 4 6 3 . 3 . 1 1 6 6 . 5 3 2 8 . 0 6 6 2 5 4 6 3 . 3 . 2 1 2 7 ‘ . 7 7 2 5 . 0 2 4 5 6 5 4 2 . 2 . 9 4 1 0 . 9 0 8 6 . 2 8 8 3 7 5 4 7 . 2 . 8 9 5 8 . 8 7 2 0 . 3 0 9 5 8 5 3 3 . 4 . 3 4 9 2 . 6 6 5 2 - . 0 2 2 9 9 5 3 4 . 3 . 0 1 1 8 . 5 8 8 4 - . 0 6 3 5 1 0 5 3 7 . 3 . 2 5 6 1 . 8 4 5 1 . 2 1 3 7 1 1 5 2 8 . 3 . 1 7 4 2 . 8 1 1 3 . 3 6 0 2 1 2 5 5 2 . 3 . 9 4 8 1 . 8 1 2 9 . 3 7 5 0 P O S T C O U R S E 4 7 7 1 7 0 0 5 1 7 E M 5 4 0 3 0 5 7 9 0 F O R a n u g g S U R V E Y N U M B E R O F 2 5 7 R 4 0 4 0 3 1 7 a m R E C O R D S R R E 9 0 5 7 9 0 5 7 i 4 5 5 1 . 3 . 0 2 0 0 2 . 9 0 7 4 2 . 8 8 8 3 1 9 5 4 5 . 2 . 4 8 2 6 2 . 3 0 4 6 2 . 3 3 1 5 2 1 5 5 0 . 2 . 4 7 4 5 2 . 5 7 8 2 2 . 6 3 3 0 2 2 5 4 8 . 3 . 5 4 9 3 3 . 2 7 5 5 3 . 1 5 1 1 2 3 5 5 0 . 2 . 9 4 7 3 2 . 6 0 5 5 2 . 5 2 2 5 3 9 5 4 9 . 3 . 1 4 3 9 2 . 8 1 0 6 2 . 6 9 8 9 3 1 . 3 5 5 4 5 . 4 . 3 7 3 0 4 . 3 2 7 9 4 . 1 8 1 6 3 2 . 3 4 5 4 5 . 3 . 0 9 3 8 2 . 9 9 3 2 2 . 9 1 9 3 3 3 5 4 8 . 3 . 2 8 2 8 3 . 3 1 2 0 3 . 3 0 1 2 3 6 . 4 0 5 3 5 . 4 . 3 8 1 6 4 . 3 6 9 8 4 . 2 4 0 9 3 7 . 3 9 5 3 6 . 3 . 1 0 4 5 3 . 0 3 5 2 2 . 9 4 7 8 3 8 5 3 7 . 3 . 1 6 9 5 3 . 1 9 7 4 3 . 1 8 0 0 4 0 4 F a c t o r m e a n s a n d c o r r e l a t i o n s w i t h c o u r s e g r a d e N = 5 7 5 T a b l e F . 4 . 1 4 S P R I N G 1 9 7 6 C H E M 1 3 1 F A C T O R N U M B E R O F M E A N S T A N D A R D C O R R E E A T I O N R E C O R D S D E V I A T I O N R I T Q T O R A D E 1 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 2 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 3 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 4 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 5 0 . . 5 0 0 0 . 5 0 0 0 . 0 0 0 0 6 2 9 5 . 2 . 6 6 5 5 . 9 3 7 0 . 3 4 1 2 7 2 9 1 . 2 . 5 7 7 3 . 9 2 4 2 . 3 0 5 6 8 2 7 3 . 4 . 3 2 0 8 . 7 3 2 5 . 0 3 7 9 9 2 7 5 . 3 . 0 5 3 0 . 5 7 5 5 - . 0 3 5 3 1 0 2 7 8 . 3 . 1 4 3 9 . 8 6 9 6 . 2 4 5 0 1 1 3 6 4 . 3 . 0 5 4 9 . 4 0 8 0 . 2 7 8 4 1 2 3 6 7 . 3 . 6 9 3 9 . 9 3 4 7 . 1 7 6 7 P O S T C O U R S E 4 7 7 1 7 0 0 5 I T E M S 4 0 3 0 5 7 9 0 F O R C H A N § § A D J S U R V E Y N U M B E R O F E S T R A H 1 T E M R § C O R O S P R 6 9 0 5 7 9 0 5 7 i 4 2 9 8 . 3 . 1 3 0 9 3 . 1 3 0 9 3 . 1 3 0 9 1 9 2 9 6 . 2 . 0 5 0 7 2 . 0 5 0 7 2 . 0 5 0 7 2 1 2 9 5 . 2 . 9 3 2 2 2 . 9 3 2 2 2 . 9 3 2 2 2 2 2 9 5 . 2 . 8 6 7 8 2 . 8 6 7 8 2 . 8 6 7 8 2 3 2 9 5 . 2 . 3 9 3 2 2 . 3 9 3 2 2 . 3 9 3 2 3 6 2 9 4 . 2 . 4 6 6 0 2 . 4 6 6 0 2 . 4 6 6 0 3 1 . 3 5 2 8 4 . 4 . 2 7 7 7 4 . 2 7 7 7 4 . 2 7 7 7 3 2 9 3 4 2 8 7 . 3 . 0 7 8 6 3 . 0 7 8 6 3 . 0 7 8 6 3 3 2 8 9 . 3 . 2 1 1 1 3 . 2 1 1 1 3 . 2 1 1 1 3 6 . 4 6 2 7 8 . 4 . 3 5 8 7 4 . 3 5 8 7 _ 4 . 3 5 8 7 3 7 . 3 9 2 7 6 . 3 . 0 2 2 8 3 . 0 2 2 8 3 . 0 2 2 8 3 8 2 8 2 . 3 . 3 8 8 7 3 . 0 8 8 7 3 . 0 8 8 7 4 0 5 A p p e n d i x G C o m p u t e m r o g r a m s I n t h i s a p p e n d i x a r e p r e s e n t e d l i s t i n g s o f c o m p u t e r p r o g r a m s w r i t t e n f o r t h e p r e p a r a t i o n a n d a n a l y s i s o f t e s t a n d s u r v e y d a t a i n t h e s e s t u d i e s . T h e p u r p o s e s f o r w h i c h t h e s e p r o g r a m s w e r e w r i t t e n a r e b r i e f l y d e s c r i b e d b e l o w ; a l s o g i v e n a r e t h e p r i n c i p a l t a b l e s i n w h i c h a p p e a r t h e o u t p u t f r o m t h e s e p r o g r a m s . Q U E P r o g r a m Z E U S c a l c u l a t e s t h e s u m m a r y s t a t i s t i c s f o r t e s t s a n d s u b t e s t s w h i c h a p p e a r i n T a b l e s B . 3 , B . 2 , D . 3 , a n d D A . S i x s e p a r a t e p r o g r a m s c o m p r i s e a p a c k a g e w h i c h c o m p i l e s a n d a n a l y z e s c o u r s e p e r f o r m a n c e a n d s u r v e y d a t a f o r e a c h t e r m . T h e s e p r o g r a m s a r e : P R O C E S S T h i s p r o g r a m r e a r r a n g e s s t u d e n t t e s t d a t a i n t o a n a c c e p t a b l e f o r m a t f o r s u b s e q u e n t p r o g r a m s a n d c a l c u l a t e s t e s t m e a n s w h i c h a p p e a r i n A p p e n d i x E . P R E P A R E T h e s t u d e n t n u m b e r s a r e r e a d b a c k w a r d s f r o m t h e s u r v e y r e s u l t s a n d t h e o r d e r t r a n s p o s e d f o r t h e n e x t p r o g r a m . C O M P O Z P r o g r a m C O M P O Z m a t c h e s t h e d i f f e r e n t s u r v e y f o r m s t o t h e s t u d e n t r e c o r d s f r o m P R O C E S S . F I N A L T h i s p r o g r a m c a l c u l a t e s s u m m a r y d a t a f o r t e s t i n g a n d g r a d i n g , s o m e o f w h i c h a p p e a r i n A p p e n d i x E a n d i n T a b l e C . 3 . A V E R A G E U n i t e x a m i n t e r c o r r e l a t i o n s a r e c a l c u l a t e d b y P r o g r a m A V E R A G E ; t h e y a p p e a r i n T a b l e C . 3 . M I N E R V A T h e s u r v e y q u e s t i o n a n d f a c t o r m e a n s w h i c h a p p e a r i n T a b l e s F . 3 a n d R 4 a r e p r e p a r e d b y P r o g r a m M I N E R V A . a ( N 3 R O A = 3 n 2 s 9 ‘ N T 2 4 S H E t 0 6 " 8 ( E E I n 9 H T R N ! S X N , N F A z C z T E ) U L t u « N c M t M l ( s T U M T ) M ‘ x M X x I ( X T T . " C D E R F N C N N C E R O I o 5 O T A U u A N l E 1 G N 0 ~ 1 2 L L n ” N M 3 ° 0 M u L L P N D H T ’ O H T P U T ' T A D E P = I N D U T o T A P E 3 = O U T P U T . T A D E l ) 1 N I . . M u M 1 T u T . n i X 1 T ) ) ) . N l u M a , ~ n u , 4 0 6 S U P R O U T I N E H E R A ! " T X . N U % ! . M H M 2 . N H H ) c o u ~ o ~ “ X T ( ! ) _ ' o x u e n s y n w M T X ( N H M 1 9 N W ” ? . N H H ) o H N I T ( l 0 | ) D I M E N S I O N K E Y ( ? . A J ) 4 1 N ( 6 “ i o L G T i fl l 9 N Z ( 6 ? l o I N P T ( 6 l e S ( Z o S O O i 1 N T E G E D D ! X ( 6 l . 5 c i . s H 9 ( 6 . 7 5 ) . n n n ( 2 . 4 u ) . n w , o n . E S T ( 9 9 R E A L N S Q N I Q I T E V ( 2 Q “ C , ' R I T ! ? 9 4 § ) 0 0 1 F ( 2 9 6 0 | D A T A I N / 6 o o : / U N I T l l 0 1 l = U N I T t i l z . g o w a U v a l l o o I = U N X T t 2 ) = . a ’ o 5 U N I T l 9 ° l a u a n ( 3 ‘ = . 0 4 5 3 U N I Y ( 9 9 ) = U N I T ( h l = . C 6 7 9 U N I T ( 9 7 $ = U V I T ( S \ = . G A H I U N I T ( ¢ 6 ‘ 8 0 N I T ( 6 ) = . I . ‘ O U N ! 1 ( 9 5 l 8 U N I T ( 7 ) = . l | 9 1 u ~ I T ¢ 9 4 l s u n t t t n i = . 1 3 9 3 U N I Y ( 9 3 ! = U N I T ( ° ‘ = . 1 6 9 0 U N 1 1 ( 9 2 ! = U ~ I T ( ! ' ) : . | 6 2 4 U N I T ( 9 I ! = u n l 1 ( I I I : . l 7 9 3 U N I T ( 0 0 ) = U N 1 T ( 1 9 l = . 1 5 9 . U N I T ( 8 9 1 = U N I T ( 1 1 ! = . 2 0 0 4 U N I T l B B ’ 8 U N I T ( l b ) = . Z X J Q U N I I ( 8 7 l = U N I T ( 1 5 $ = . 7 2 2 6 U N ! 1 ( 8 6 l = U N I T ( t A ) = . 2 3 3 1 U ~ ! 7 ( 8 5 ) = u ~ 1 7 ( v 7 ) = . 2 4 1 3 U N I T ( 8 4 : = U N I T ( v 8 ) = . 2 5 1 1 U N ! T ( 8 3 l = U N I T ( I ° l = . 2 6 6 5 U N I ? ( R 7 I = U N I T ( 2 0 ‘ = . 2 ’ . 5 U N ! T ( 8 1 I = U N I T ( " ) = . 2 ~ C I U N I T ( 8 0 l = U N I T ( 9 9 ) = . 2 4 5 3 ” N l T i 7 9 i a q u T ( 9 1 I = . 7 Q o ? U N I T ( 7 5 ) = U N I T ( 2 4 \ : . 3 0 3 7 U N I T ( 7 7 ) = U N I T ( ? 5 ! = . 3 I O ° U N ! 1 ( 7 6 ) I U N I T ( ? 6 ) = . 3 1 7 5 U ~ 1 7 t 7 5 r s U N I T l 2 7 i = . 3 * ~ 4 U N I T ( 7 4 ) 8 U N I T ( 2 A } = . 1 3 0 6 U N I T t 7 3 i = U N I T ( 2 ° ) = . 3 ‘ 9 6 U N I T ( 7 2 l = U N I T ( 1 4 \ = . 3 8 4 ? U N I T ! 7 I ) = U N I T ( 3 ‘ ) = . 3 4 7 7 U N I T ( 7 0 ! = U N I T ( 1 3 l = . 3 4 ’ 5 U N 1 7 t 6 q l = U ~ I T ( 3 3 ) = . 3 ~ 7 6 U N I T i b R ) : U N I T ( 1 b l = . 3 6 c l U N I T ( 6 7 l = U H I T ( 1 < ) : . 3 6 9 4 U N I T ( 6 6 ! = U N I T ( 1 6 i = . 3 7 0 4 U N I T ( 6 5 ! = U N I T ( 1 7 ) = . 3 7 . ‘ u ~ 1 7 ( 6 4 v = u ~ I T < 3 9 \ = . 3 7 7 6 U N I T ( 6 1 ! : U H I T ( 1 9 i = . 3 * c 7 1 0 0 1 0 l l l 7 1 3 1 3 ! 1 7 1 1 0 5 1 0 % 1 0 6 1 0 7 1 4 4 ( Y 7 ” ~ 1 1 ( 6 2 ) = U N 1 7 ( 4 ' ) = . 3 ~ 3 7 U N I T ( 6 ! ‘ = U N I T ( 6 1 ) = . 3 “ ” 4 U N I T ( 6 0 ) = U N I T ¢ 4 2 ) = . 3 9 H 7 U N T T ! S ° ’ 8 U N I T ( A 1 ) = . 3 9 R U N ! 1 ( 5 8 ! = U ~ I T ( 4 4 ) : . 3 ° < 5 U N I T ( S 7 ‘ = U N I T ( 4 € ) = . 3 ° * 4 U N I T t 5 6 T I U M I T ( A A ) = . 3 3 9 A u ~ 1 1 t 5 5 3 2 0 ~ 1 7 ( 4 7 ) = . 3 4 ' a U N I T l S h ‘ S U N I T ( a fl ) = . 3 4 7 8 U N I T ( 5 3 ! : H N I T ( 4 ° T = . 3 9 ‘ 8 U N I T ( S ’ l = U N I T ( < ‘ l = . 3 9 ” 3 U N I T ( 5 1 ! I . 3 9 8 ° N T n T I 9 fi O N U “ D o I L L L 8 ! . N T O T M X T ( L L L ) = 0 R E A D ( ? . I ¢ 0 ! N P R o N G Z o ” b S T ~ M K R 3 . M K E Y F O R H A T l 6 I S ) H R I T E l u ° R c i r i F O D “ A T ( l H l / l / l / S x 1 C O N T R O L C A R D S E X A C T L Y A S R E A D ’ l / l F 0 ° “ A T ( ‘ X 9 6 1 5 ) H R I T E ( M D D . I 1 ) N H M H Q I T E ( M 8 8 . \ 1 ) M D R . N G 7 9 H D S T 9 M K R 3 . M K E Y R E A D ( ? . ‘ 0 0 ) L G T H o N A o N " o M T F T 9 M ° I X 9 M S U B o ( L G T ( I l e = l o b ) W R I T E ( " p R Q , l ‘ L G T H C N A ’ N E Q ‘ T E T O M P I X Q M S U R O ( L G T ( I , 9 1 = l 9 6 ’ M o o = u s u n R E A D ( ? . 1 0 2 3 K 0 A . K O R . K U C W R I T E ( N R R . ! ? ) K n A . K O F o K O C F O D N A T t l 3 x 9 6 5 1 “ - R E A D ( 2 . 1 3 1 ) ( K E V ( } o I I v I = I . L G T H ) . ( K E Y ! 2 . J ) . J = 1 9 L G T H ) 0 8 1 1 E ( M D Q . I 3 ) ¢ ( x ; Y ( I o J I . J = I . L G T H ) . I = I . 2 ) F O ° “ A T ( ‘ X 9 ¢ S I ? l F O O ~ A T ¢ 4 ¢ I 2 ) _ R E A D ( 2 9 ' 0 | I ( O p fi l l o l l v I = l . L G T H ) . ( O R D ( 2 . J ) . J = 1 4 L G T H ) H R I T E i M ° R 9 l 3 l ( ( O ° D ( I O J ) . J = 1 . L G T H ) o I = l o ? ) D O 1 7 1 J s l o M S U R ’ J 2 8 L G T ( J $ 5 £ A D ¢ 2 . ' D I ) ( 5 U 9 ( J o l l v l = l . J 2 l H R ! T E ( M P P . 1 3 ) ( 5 U 8 ( J . l ) . l = l o J 2 ) K K S L G T H O I ' K L = L G T H ¢ 2 R E A D ( ? . I O l l ( N 7 ( 1 1 9 I = 1 . K L ) H R I T E ( N P R . l 3 ) « ~ z ( I ) - £ = 1 . « L ) Q E A D ( 2 9 ‘ 0 2 , ( I N ° T ( I } 0 1 = I O S ) H R ! T E ( M P D . I ? T ( T N D T ( I ) o I = l . 6 ) F O P V A T ( ‘ ? X 4 6 0 l * l N T T I N O P O = O N h s h A - N G Z M a s h a - N 6 2 N o p a c N O P O O T R E A O ( ? 9 ‘ N P T ) ( I N ( N Z ( I ’ ) Q I = l 9 K L ) I F c h r ( 2 v ) 1 0 6 . 1 0 0 I F l I N t ? l - N A ) 1 ' 3 . I C S N T T S N T T 8 I J S t l c u f t i s l u t l l G o T o 1 0 3 C A L L S O Q T ( J 5 0 N T T ) D O 1 0 7 1 8 ? . N O P G B A C K S D A C E 2 H P I Y E ( 3 Q I Q I F O P U A T l ‘ H l l N A S K A o n fi z N Q S K B O N G Z I N ( S O ) = T I N t S l ) : N T T / 6 I N ( § 2 ) = V T T / 2 I N ( 5 3 ) = 1 O H T T / 4 ‘ 1 0 8 I N T S A T 8 N T T 1 0 8 R E A D ( 2 o I N P T 1 ( T N ( N Z ( I ) ) . I = 1 9 K L ) I F ‘ E O F ( 2 ‘ ) ‘ S G O ‘ O Q 1 0 9 I F l k G ? ) 1 3 1 9 1 3 3 1 3 1 C O N T I N U E D O 1 3 ? I = 2 . K L 1 3 2 I N i I T s N E G Z ( I N ( T 1 ) _ 1 3 1 I F ( 1 N ( 2 3 - N 8 ) ' 1 ‘ o 1 1 2 1 1 0 I F ( I N ( ? 1 - N A 1 1 2 5 . 1 1 1 1 1 ) c h l 6 0 T O 1 1 3 1 1 ? N 0 2 ? 1 1 3 C O N T I N U E _ D O 1 1 7 [ 8 5 : 9 6 ? K 1 8 1 N ( I T 1 1 S I F ( I N ( 1 1 - J S ( 1 0 K 1 1 1 1 9 3 4 1 1 3 9 1 1 6 1 1 6 K 1 = K 1 8 1 I F ( K 1 - T N ( I ¢ 1 ) ) 1 1 5 . 1 1 5 . 1 1 7 1 1 7 C O N T I N U E 1 1 5 C O N T I N U E I F ( N K E Y 1 1 2 4 0 1 ? 1 1 2 3 C O N T I N U E D O 1 2 2 I t c h G T H . I F I K E Y ( N V 9 1 " I N I I 0 ? 1 ‘ 1 2 9 . 1 1 0 1 1 9 H T X ( N H O O P D ( N H 9 1 1 9 K I ) = 3 G O T O 1 2 1 1 2 0 M T X ( N U 0 0 9 0 ( N H Q I , 9 K I 1 = 1 2 1 H T X ¢ N U 9 K L O K 1 ‘ 3 " T X ( N N ° K L 9 K ‘ “ “ T X ¢ V H Q O R D ( N H O I ‘ 9 K 1 ) 1 2 2 C O N T I N U E G O T O 1 0 8 1 2 4 C O N T I N U E D O 1 2 5 1 3 1 0 L G T H N T ! ( N H 0 0 9 0 ( N H 9 1 1 0 K l 1 = I N i l 0 2 1 1 2 % H T X i N V o K L 9 K 1 1 3 u 7 X ( N H ¢ O L 9 K 1 1 ‘ " T X ( N H 9 0 Q D ( N W 0 I ) 9 K 1 ) G O T O 1 0 3 1 2 3 H P T T E ( N 9 Q C I ? 9 1 I N ‘ 2 1 0 1 N ( 1 1 1 2 ° F 0 9 3 ‘ T ( 5 X 9 ‘ U N H A T C H E D R E C O P D F O R M * 9 I ? 9 ¢ N 0 6 ¢ 0 1 1 0 1 G O T O 1 5 “ - 1 5 0 I E t h T T T 9 5 2 . 9 5 8 . 1 5 1 1 5 1 C O N T I N U E 6 9 0 " R I T E i 1 9 6 O I ) N A . N 8 6 3 ] F O P “ A T ( 1 H 1 / / t h O ‘ F O R “ ‘ O 1 3 0 3 7 X 9 $ C O Q M 3 9 1 3 1 D O 6 0 ? ‘ 3 1 9 L G T H K E V ( I Q O R O ( 1 9 1 1 1 = I 6 0 ? K E V ( 2 0 a n ( 2 9 1 1 1 3 I H Q ! T E ( 1 0 6 0 3 ) ( I O K E Y ( “ I ‘ O I O K E Y ( ’ O I ) 9 1 = l Q L G T H ) 6 0 3 F O O V A T ( / / / § X 9 * I T E “ ¢ Q I 3 9 $ O R I G I N A L L Y W A S N o . 3 9 1 3 9 1 5 x 9 ‘ I T E H 8 9 1 3 9 1 3 Q I I G I K A L L Y H A S N n g ‘ o l 3 / ’ 6 5 0 C O N T I N U E 2 0 0 S X : S Y = S K Y = S X 2 ¢ S Y ? = N X V = 0 0 0 2 0 6 1 : 1 . N 7 1 ‘ I F t h x t l . K L . I ) ) 2 3 2 0 5 . 2 0 ” ? ! 2 0 ) M T X ( 1 . K K 9 1 1 = 1 2 9 2 I F ( N T X ( ? . K L . I ) \ 2 5 4 , 2 , 4 . 2 6 3 2 0 1 H T X ( 2 9 K K O I " 1 2 0 ¢ I E ( # T X T T . K K o I T O M T x i 2 - K K . I l — l i 2 0 6 . 2 0 5 2 0 5 S X = 5 X ¢ H T X ( 1 0 K L . Y T s x 2 = s x 2 o n r x c l . x L . 1 ) o o z S Y = S Y . u T X ( 2 . K L . 7 1 S Y ? ¢ S Y ? ¢ N T X ( 2 . V L . 1 ) 0 8 2 . 4 0 9 S X Y = S X Y ¢ M T X ( I . N L . I ) 8 ~ T 1 ( 9 . 5 L . I ) n x s z x Y o I 2 0 6 C O N T I N U E L T H a L G T H H N A S A N E A N 8 $ X I N X V H M R s B M E A N S S Y / N X Y T A : Z Z : ( S X ? - S X . . 7 / N X Y 1 / ( N X Y - l . 1 ¢ l . E - I O H S A = S I G A = S O R T T 7 7 T T E a Z Z : ( S Y Z - S Y O 8 2 / N X Y T I ( N x v - l . ) o l . E - 1 0 H S P = S I G R = S D R T t 7 7 T C O V A 8 = ( S X Y - S X ' S Y / N X Y 1 / ( N X Y - l l v a a c o V A B / S I G A / S I G n P C T A t A M E A N / L G T H ’ I C O . P C T E S B M E A N I L G T H ’ T C O . H R I T E ( 3 . 2 D 7 ) K o a . x o e . n n c 2 0 7 F O P ” A T ( ‘ H : 9 9 ( / 1 0 2 3 X 9 3 “ T O / / / / / 1 H R I T E ( 3 . 2 0 8 ) N A . A n g A u o P C T A . S I G A . T A . N B . R M E A N . P C T B . S I G B . T B . I C O v A e o N X Y ’ R X Y 2 0 8 F 0 8 » A 7 ( 2 ( S X . ¢ F D O M ¢ . I ? ~ ¢ “ F A N 0 F 3 9 F 6 . 2 . ¢ ( t . F 5 . Z o ¢ I S T D D E V O F ‘ O F T 1 . 3 . 1 A N D V A R I A N C E 0 F * 9 F 7 . 3 / / T . l o x o t T H E C O V A R I A N C E . B E T U E E N T H E F 0 I R M S I S ‘ o F 7 . 3 / / T ' x . ‘ S T A T I S T I C S A R E B A S E D O N i o I k o t P A I R E D R E C O R D S l t / I / S x . ¢ T H E C D D D E L A T I D N C n E F F I C I E N T 1 5 8 . 8 8 . 4 / l i C A L L I N T D V L ( N X Y . D X Y ) 3 0 0 I F ( M P I X 1 3 5 1 . 3 5 . 3 0 ] M p l l s u D I X - T L t h L G T H 9 1 D U = 6 9 I L G T H D O 3 0 4 I s l o K L 3 0 4 K E V ( 1 . I ) : K E Y ( 2 . t ) = c D O 3 0 6 I 3 1 0 N T T I F l fl T X ( 1 o K K c I T O U T g ( ? o K K . I T - l ) 3 0 6 9 3 0 5 3 0 5 M Z Y X S N T X ( 1 9 K L 0 1 1 0 1 M X Y Z = M T X ( Z . K L 9 1 1 4 1 K E Y ( 1 0 “ Z Y X ) = K E Y T I . H Z Y A T O I K E Y ( ? 9 M X Y Z T = K E Y T P . M X Y Z T 4 1 3 0 6 C O N T I N U E K 1 3 K E Y C T Q I U 0 0 3 0 3 1 3 1 9 2 0 0 3 0 3 J 8 1 9 L 2 T I F ( K l - K E Y ( I O J ) 1 3 3 2 0 1 . 3 9 1 ’ 3 3 0 7 K I I K E Y ( I 9 J ) 3 : 3 C O N T I N U E F T R = 6 0 . / ( K 1 ° 8 . T n o 3 0 7 1 8 1 . 5 0 P I X ( 6 1 . I T = ? R . D O 3 0 7 J 8 1 c 6 0 3 0 7 9 1 7 ( J 9 1 1 = ? R D O 3 0 3 1 8 1 9 5 9 1 0 : 6 0 - T 3 0 3 I N ( I Q ) = I / F T R D O 3 1 7 I ‘ l o L G T H K I S K E Y ( ‘ Q I 1 K 2 : K E Y ( 1 . I ¢ T ) K 3 8 K E Y T ’ 0 1 1 K 4 3 “ E Y ( ’ . 9 1 0 " I D = C N 0 1 D O 3 1 1 J 8 1 . I O I P = J - T K x : 6 0 - P T R O K l - F T D O I P O ( R a - K i ) / n w K v s e o - F T R 8 K 3 - F f o o y p o ( h a - K 1 ) / D w K Z = D N ¢ T O I P - D H O I I F T K X — K Y T 3 2 9 , 1 ' 0 3 0 9 D I x ( K x . K Z ) = 2 9 I 9 1 1 ( K Y 0 K 2 1 3 9 9 2 4 1 0 G O T O 3 1 1 3 1 0 D I X T K X . K Z ) = 2 8 r 3 1 1 C O N T I N U E 3 1 7 C O N T I N U E - U R T A B U P T B = S K H A = 5 K H B = ' E D A = u 5 0 5 = c K 1 3 0 5 ¢ N X Y / ? o K 2 2 K 3 a c D O 3 2 ’ I g i o L G T H I F ( K 2 - K T T 3 1 9 , 1 1 5 . 3 1 ? 3 1 8 K 2 = K 2 ¢ K E Y ( I o I ) M E D A s t - T 3 1 ° I E ( K 3 - K 1 1 3 2 3 , 3 9 3 . 3 2 ? 3 2 0 K 3 8 K 3 0 K E Y ( 2 6 I 1 " E n e s t - T 3 2 2 C O N T I N U E D O 3 2 3 1 8 1 . L 2 7 K 4 = I ' O H I o z k b - D H O I P I X ( 6 1 . ! O ) = I o 2 6 . 1 / 1 | 8 1 7 8 2 U R T A S U O T A O K E Y ( I . I I ' T ( I - l - A M E A N 1 / S I G A I O O A U R T E s u p T B O K E v t 2 . I T ' ( ( l - l - D M E A N I I S I G O I O G A s K u n a s K q u K E v t l . I i 9 ¢ ( I - l - A N E A N I I S I G A 1 8 8 3 3 2 3 S K H E = S K H R ¢ K E Y ( ? . I I ' ( ( 1 - 1 - R N E A N 1 / S I G B D O * 3 U R T A B U D T A / N X Y U R T E = U P T B I N X Y S K H A = S K H A I N X Y S K U E = S K U 9 / N X Y D H S E O I E T P ‘ N R T T E ( 3 9 3 2 4 1 N A . M E O A . 5 K N A . U R T A . N R . M E D B . S K H B . U R T B 3 2 4 F O P N A T ( / / / . 2 ( S x . $ r O R i ‘ o I ’ t H A S A M E D I A N 0 F 1 9 1 3 . t S K E H N E S S O F ¢ . F 7 . 1 3 . 1 A N D K U D T O S T S O F ¢ . F 7 . 3 / / 1 1 H R I T E t 3 6 3 2 5 1 ( P I X ( 6 1 0 K 1 . K = I Q S O ) o o w o n w v ( I N I J 1 9 ( P I K ( J Q I ) 9 I = 1 4 5 0 ) 9 I I N I J ’ 9 J 3 1 9 6 3 1 9 C D I X ( 6 1 9 L 1 0 L 8 1 0 § 0 1 3 2 9 F O R V A T ( 1 H 1 / / / / A X . S O R 7 / I a 9 T C C X 9 1 3 0 6 0 ( [ 1 4 9 5 0 9 2 9 1 3 1 / 4 x 6 5 0 R 2 1 H R I T E ( 3 9 3 2 6 1 N A . N R 3 ? 6 F O D V A T ( / / / S x . t r n p u ¢ . 1 r . ¢ T S R E P O S S E N T E D O N T H E G R A P H B Y / / / / / : 1 / / S X 9 ¢ F O R M a o I ? . * I S R E P R E S E N T E D O N T H E G R A D H B Y 3 8 = 8 : 1 1 3 5 0 C O N T I N U E I F T U O S T T 7 5 9 . 7 5 9 7 0 0 M D S T s u n S T - I L 2 7 3 L G T H O | D H = 4 9 I L G T H D O 7 0 1 I 8 1 9 9 0 D I X I S ' Q I ) = 7 R o 0 0 7 0 1 J 3 1 9 5 3 7 0 1 P I X ( I . J T = O D O T O ? I ’ q u Z T 1 0 : 1 ’ D H - O N 6 1 7 0 ? ” I X ( S l e O ) = I * 2 $ ¢ I / 1 1 ” 1 7 8 ’ D O 7 0 6 I 8 1 4 N T T I F ( “ T X ( ‘ Q K K Q I T ' “ T X ( 7 9 6 K Q I T - 1 1 7 0 4 9 7 0 3 7 0 3 I P s T N T x ( I . K L . I I O I T O D » - D w ’ 1 I O S I M T X ( ? 9 K L o I T ¢ 1 T ' D N ' D U O T P I V T I O . I P ) = P I X ( I O . I D ) ° 1 7 0 ¢ C O N T I N U E N R ! T E ( 3 . 7 0 5 ) N A . N P 7 0 S F O R F A T ( T H l l / I I I ‘ X - S F O H H i o T 7 v i D I S T R I B U T E D A L O N G H O R I Z O N T A L A X I S 1 / 1 / S ! o * F O ° “ ¢ 9 I ? . t D I S T R I B U T E D A L O N G V E R T I C A L A X I S - 3 ‘ I l l l ’ D O 7 0 ¢ I s l - S C 0 0 7 0 9 J t l o 5 3 I F ( = I X T T . J 1 1 7 A 7 0 7 L R 7 0 7 K : D I X ( I ¢ J ' ° I X ( I . J 1 = K 8 2 7 0 V / 1 1 ‘ 1 7 5 ’ G O T O 7 3 ° 4 1 1 T O R p I X I I o J I S Z P 7 9 9 C O N T I N U E W R I T E I 3 9 7 9 6 I ( D T X I S I ‘ I I O I g I O S O I Q ( D I X I S I Q J I Q ( p I X ( J 9 K ) O K = q u 0 1 9 I P I X I S I O J I O J = I O S ‘ I Q I P I K I S I o L I Q L g I Q S O I 7 U 5 F O D N A T ( ‘ X ' S G 9 2 0 § O I / 2 x ’ 5 2 9 9 1 / “ X 0 5 3 9 2 1 7 5 0 C O N T I N U E I F T U S U R T k i l o b fi ' ~ 0 1 S X = S Y = S X 2 = S Y 2 = S X Y = N X Y = 0 H S U E ‘ N S U B - T I = M O O - “ S U B K M = K L O I L G T F ‘ L G T I I ) D O 5 0 4 J = 1 . N T T I F T ~ T x ( T . K K . J 1 ¢ ~ T x ( 2 . u K . J i 1 4 0 2 . 4 0 4 4 0 2 C O N T I N U E L 2 T 8 L G T ( I ) D O 5 0 3 L = I . L Z T “ T X I I Q K M Q J ' g fl T X I I O K H O J I O M T X ( I O S H E I I O L ) 0 J 1 “ U 3 H T X I Z Q K H O J ‘ 3 N T X I ? . K M 0 J 1 ¢ M T X ( ? 8 S H R ( I Q L I v J ) S X = S X ¢ N T X ( 1 9 K W . J T S X ? = S X ? 9 H T X I 1 0 K N . J 1 9 9 2 S Y = S Y 9 N T X ( 2 9 K H . J T S Y ? S S Y 2 * H T X ( 2 . K M . J ) O 9 3 S X Y ’ S X Y § “ T X I I 9 K u g J ) . ” T X ( , O K M 9 J I N X Y S N X Y O I “ U s C O N T I N U E K L 3 K M A H F A N I S X / N X Y P C T A S A U E A N / L G T H 0 I S O . B M E A N : S Y / N X Y P C T E = H N E A N I L G T H ' 1 & 0 . T A : Z Z = ( S X 2 - S X 8 8 2 / N X Y ! / ( N x v - l 1 S I G A = S O P T ( ? Z T T B S Z Z = ( S Y 2 - S Y O O ’ / N X Y I I ( N x v - | 1 S I G B = S O R T ( Z Z T C O V A B : ( S X Y - S X O S Y I N X Y \ I ( N X Y - I ) R X Y 8 C O V A P / S I G A / S I G B H D I T E ( 3 . 1 4 1 W R I T E I 3 9 6 0 5 1 I o I S H B I I T J I Q J B I o L Z T I 9 0 5 F O P I A T ( 9 ( / T S X o ¢ S U R T E s T ¢ . 1 2 . 8 C O M P A R E S I T E M S : . 2 5 ( 1 3 . ¢ . 2 1 1 H R I T E ( 3 9 b 0 6 ) N A . A M E A N o P C T A o S I G A . T A V N B o n M E A N . P C T 8 9 S I G B . T B . I C O V A B . N X Y . v a 6 0 6 F O Q N A T ( / / / ? ( S X . ¢ F O R M = ~ I ? o 2 M E A N 0 F ¢ . F 6 . 2 . ¢ ( ¢ , F 5 . 2 . ¢ 1 S T D D E V O F : T o F T . 3 . t A N D V A D I A N N E 0 9 1 9 F 7 . 3 / / 1 . 1 6 x . t T H E C O V A R I A N C E R E T N E E N T T H E F O R M S 1 5 ¢ . F 7 . 3 / / l X . t S T A T I S T I C S A Q E R A S E D O t h l a o s P A I R E D R E I C O D C 5 1 / I I S X . ¢ T H F C D R Q C L A T T O N C O E F F I C I E N T I S t . F 8 . 4 / / T I F I ‘ 6 3 ( Q X Y , - O , ) “ I 0 9 “ 8 0 9 5 9 7 6 0 7 F T 8 = I S . / L G T ( I ) R I S S F T R ' R X Y / ( I O T F T R - I I O Q X V T R P D S R X Y ' ( N X Y - 1 1 / ( N X Y - & T R X Y - F T O ' R D P / ( I o l F T R - ! 1 8 8 9 9 1 W R I T E T 3 o A O fl ) R 1 < . Q P P - H X Y 4 0 R P O D I A T I S X 9 ¢ A D J U < T E D F O R T E S T L E N G T H 0 ¢ I I 7 X 9 1 T H E C O E F F I C I E N T I S ‘ o F S . ) 4 / [ 5 x . t A D J H S T E D F n R G R O U P S I Z E o ¢ I I 7 X o ¢ T H E C O E F F I C I E N T 1 5 ¢ . F 8 . 4 / / S x I o ’ A O J U S T E D F O R R O T H F M C T 0 9 3 9 1 / 1 7 x o t T H E C O E F F I C I E N T I S ¢ 4 F 8 . b / / / / I S X o ‘ C O N F I O E N C E I N T E R V A L S C A L C U L A T E D * / S X Q ‘ F O R L E N G T H - A D J U S T E D C O E F F I I C I E N T t l l ) _ C A L L I N T R V L I N X Y . P I S I G O T O 3 0 0 « 1 0 W R I T E 1 1 . 4 1 1 1 4 1 1 F O P H A T ( / / S x . t 5 F C A H S E n H A 5 N O T G R E A T E R T H A N 0 . 2 0 . = / S x . t T H E C O E F F I C I I E N T 0 0 5 N O T S T A N D A R U I Z E n t / / ) C A L L I N T D V L ( N X Y . R X Y 1 G O T O 3 0 0 S J ] 5 0 2 5 0 3 5 0 5 5 0 5 5 0 6 5 0 7 5 0 R 5 0 9 5 1 1 . 4 1 2 C O N T I N U E L G T F = L T H A N E B N s H N A B M E A N s H M B S I G I S H S A S I G B = H S B K L = L T H 0 2 I E T N T E T I 5 5 1 . 8 5 - C O N T I N U E D O 5 0 ? I s I o L T H K E V I I Q I ‘ 3 K E Y ( 2 0 T 1 = O R 0 ‘ 1 . I ) = O ° D ( 2 . I T = J S ( 1 . I T = J S ( 2 9 I T = 0 . S X V ' I . E - 1 0 D O 5 0 9 I = I . N T T I F t h x t T . K K . I T O M T x ( 2 . 8 K . 1 1 - 1 1 5 6 9 . 5 0 3 C O N T I N U E S X Y ' S X Y ’ T 0 D O 5 0 8 J S I O L T H I P S V T X I T Q J l e I Q S N T X I ’ v J o l ) I F ( I P - I ) 5 : 5 . 5 0 4 . J S I I Q J I S J S S I Q J I O M T X I I O K L Q T T I F T I O - l ) 5 5 7 . 5 8 6 J S ( 2 0 J 1 3 J S ( 2 . J 1 0 H T X ( 2 9 K L . T I K E Y I I c J 1 8 K E Y I I . J T + I P ‘ ( l - I O I K E V I Z O J 1 = K E Y I Z o J 1 ¢ I P ' I Q - O R n ( 1 . J T = O D D ( I . J 1 0 ( 1 - 1 9 1 8 1 1 - 1 0 1 O R D I 2 . J 1 8 O R D ( ? . 1 1 0 ( 1 - 1 P 1 5 T o c a n T I N U E S R D O A 8 5 9 9 0 8 8 S P O A = S P O H = A V D A : A V D R = O U P I T E T 3 . S I I ) K D A . K O B . K Q C F O R N A T T l H l / I l h x . ¢ s E L E C T E D I T E M A N A L Y S I S D A T A F O R 3 9 3 A 1 0 / / / ) D O 5 1 2 I t c h T H T A : K E Y ( T Q I 1 * I . E - I 3 T 8 = K E Y ( ? . I ) 8 1 . E - 1 3 J T C = C R O ( I . I T O I . E - 1 3 T D t C R D ( 7 . I T ¢ l . E - 1 3 T X Y S T A o T B o T C o T n N I z T A o T B O I . E - I 1 N 0 = T X Y o N 1 D F A 8 N 1 / T X Y 0 1 . E - l 3 D I : ( I Q I “ D F A ¢ D F ‘ . . 2 . T o E - I . ‘ A V D I S A V P A O D F A D u s t S T T . I ) / N I ¢ T . E - 1 3 P D = I D F A ¢ . 0 1 5 ) ¢ l - o . - Z Z : T X Y 9 0 ? - T x v o l . E - 1 0 R I T I I . I ‘ S I D M A - A V E A N ) I S I G A / S O R T I Z Z I G M I / U N I T ( P D T I F I R I T T T . I I . G T . 1 . 1 R I T ( I . 1 1 = . 9 9 9 9 9 S R D O A = S R D Q A 8 R I T T T . I ) ° ° ? ¢ D T P ¢ 1 . I T 5 9 n ‘ 8 5 9 O A O D I F I 1 6 1 1 l e T B O T D O I . E - 1 3 N o a T X Y - N I O F P l e / T X Y O I . E - 1 3 D I F I Z . I I I D F B - D F R 0 9 2 . T . E - l A A V P E S A V D R 0 D F 8 0 N 9 8 J 5 ( 2 9 I 1 / N I O T . E - | 3 P O = ¢ D F R O . O I S ) O I ‘ 3 . R I T ( 2 . T i t t n u s - F M E A N T I D I G R I S O R T ( Z Z ) * ~ 1 / U N I T ( P D ) I F T R I T ( ? . I T . G T . T . 1 R I T ( ? . T ) = . 9 9 9 9 9 S R D O B = S R ° O B O R I T ( ? . I T " " O T F ( 2 . I 1 S p o e a s P O G o O I F T 2 . 1 1 Z Z = C I F ( 1 . I T ° D I F T 2 . I T ¢ ! . E - ° v a t T B / T X Y R o u x : ( p X Y - 0 F A O D F R 1 / S O N T ( 7 ’ ) Z Z : T B ' T C / T A / T D ¢ I . F - t . 4 1 3 D E G 3 I B O o / ( I ‘ S Q D T I T Z D I D E G 3 D E G / 5 7 . 2 9 9 7 7 9 5 1 R T E T ’ C O S I D E G ) . H P I T E I 3 9 5 I C ’ I Q N A O D F A 0 K I T I I c I ) 9 R ° H 1 0 N B Q D F 8 9 R I T ( Z Q I ) Q P T E T 5 1 0 C O R V A T I S X 9 ¢ I T E fl i o I 3 . ‘ F D D H ¢ 9 I 2 . * D I F F I C U L T Y ¢ 9 F fi o 3 9 3 I T E N - T E S T C I O R R ¢ 9 F 7 6 3 9 ¢ ” H I C U E F F I C I E N T * . 7 7 . 3 / / I A X 9 $ F O R M ¢ . I 2 9 3 D I F F I C U L T Y 1 I . F 6 . 3 . : I T E M - T E S T C G ~ 9 1 . 5 7 . 3 . ¢ T E T R A C H O R I C C O E F * . F 6 . 3 / / / / 1 S 1 2 C O N T I N U E s A a s S I G A o O 2 5 9 7 3 5 1 5 3 . . 2 A V p A a A v a / L T H A V ° 8 8 A V P R I L T H A v n A s n - A V D A A V D E I I - A V P B 8 8 A : ( S A ? - S P O A 1 / S A 2 8 . 5 * S O D T ( S P D O A / S A 2 o ( ( S A 2 - S P O A 1 / 5 A 2 8 . 5 1 8 8 2 1 8 8 8 : 1 5 8 2 - 5 2 0 8 1 / S R 2 8 . 5 ¢ $ O P T ( S R D O B / S a z o T ( $ 8 2 - $ 2 0 8 1 / 5 8 2 8 . 5 1 8 8 2 1 8 2 0 8 = S X Y / ( s x v - 1 1 8 ( 5 A 2 - 5 8 0 A 1 / 5 A 2 R a c e t s t / ( S X Y - I 1 8 1 5 8 2 - 5 9 0 5 1 / 5 8 2 R Z T A S S X Y / ( S X Y - l . 1 8 I S A 2 - L T H ' A V D A O A V D A ) I S A ? R Z T E = S X Y / ( s x v - I . 1 . ( S P E - L T N o A V D B o A v 0 8 1 / 5 5 2 H R T T E ( 3 9 5 1 3 1 N A . N 8 . R R A . 8 8 8 . 8 2 0 A . 8 2 0 8 . 9 2 1 A . R 2 1 8 5 1 3 F 0 9 “ A T ( ‘ H l l / Z S X . ¢ F O R “ ‘ 9 I ? . 1 5 X 9 ¢ E O R M * 9 1 2 / / / S X 9 * K R ' 5 ‘ 9 F 2 2 . Q . F Z I . Q I I / I S X Q ‘ K ° - ? O ¢ 0 F 2 I . 5 9 7 2 1 o “ / / / § X 9 ¢ K P - 2 I ‘ O F Z I . 5 9 F 2 I . “ / 1 H R I T E I H D D Q S I b ) S I G A . 5 1 6 8 o 5 A 2 . $ 8 2 9 S P C A . S P O B . S R P Q A Q S R D O B Q A V P A o A v p fl v I S X Y V S X Y 5 1 4 F O P N A T I I I I S X 9 * S T D D E V ‘ O F T Q . A Q F Z I . A I I I S X . ¢ V A R I A N C E 3 9 ? | 8 . B Q F ? I . A I / l 1 5 X 9 1 5 U N ( ° 1 ( 0 1 $ . C I T . A . F 2 1 . A / l / S X 9 2 5 U M I R R I S ) ( P ) ( 0 1 * 9 7 1 1 . “ 9 F 2 1 . 4 / / / 1 5 X . ‘ A V E R A G E ° ¢ 0 E 1 7 . 4 8 F ? 1 . A / / / S X . * N D . O F R E C O R D S * 9 F 1 2 . 5 9 F Z I . 4 ) 5 5 0 C O N T I N U E I F T V K R J T 8 6 1 . 8 : - 8 0 1 C O N T I N U E S R I I P D A S S R I I P Q R = I . E - ‘ 3 D O 8 0 6 L = I 9 2 D O 8 0 5 1 : 1 . L T H I T E V I L Q I I ‘ C O D O D O A J ' I o L T H T A 8 T 8 = T C = T D = I . E - 1 3 D O 8 0 3 K = 1 . N T T I F ( “ T X I L 9 K K 9 K 1 - 1 1 8 0 3 8 8 0 7 8 0 7 I P 8 N T X I L V I . K 1 I O B V T X I L Q J Q K I T A = T A ¢ I P * I I - I D T T a s T a o l p ' I D T C = T C . ( T - I D ) ¢ ( T - I D T T D : T D + ( I - I P 1 ' I O 8 0 3 C O N T I N U E T X Y I T A O T B O T c o T D Z Z S T B / T A ‘ T C / T D Z Z S I B O . / ( I O S D R T T 7 ? ) 1 / 9 7 . ’ ° S 7 7 9 5 1 Z Z S C O S t Z Z ) N N = C I F I L o I T ' D I F l L . J ) ° i . E - ° 2 2 8 2 2 0 ( T B - ( T A * T R I O ( T R ' T D T I T X Y 1 / T X Y / S O R T ( W U ) 8 0 b I T E “ ( L . I I 8 I T E H ( L o I ) ¢ 7 2 / ? . 8 0 5 I T E N T L . I T = ( I T E N ( L . 1 1 - i . I / T L T H - I . T 8 0 6 C O N T I N U E A C C ' I O ‘ I O I L T H D O 8 0 8 I ' l o L T H S R I I P D A ’ S R I I P Q A O I T E M I I o I I G D I E ( 1 . I ) 8 0 8 S P I I P O B I S R I I P O R ¢ I T E M ( ? 0 1 1 ¢ D I F ( 2 . I I R 3 A 8 ( S A ? - S D O A O S ° I I P O A ) / S A ’ R 3 8 8 ( S B Z - S P O Q 0 S P I I P D R ’ I S S ’ H R I T E I 3 O B I S I 9 1 0 . 0 3 8 9 “ C C O < P I I ° O A O S Q I I p fl q 8 1 0 F O D P A T I I I I S X 9 1 F S T I M A T C O K G - 3 = . S X . F T . 6 . F ? 1 . b / l / S X . 1 * G D C D N E S S 0 F F T T ¢ . F 1 ! . 4 / / / S x . ¢ s t ( Q I I T ( 0 1 ( 0 1 : . F 1 2 . 4 . F ? l . 4 / / 1 4 1 4 W R I T E I V D P O C I Z ) N A o N H O ( I Q I T E H I I Q I I Q Q I T I I O I I Q D I F I I O I I O I T E M I Z Q I I O I R I T I Z O I I O D I F I Z O I , 0 1 : 1 . L T H ‘ 8 1 2 F O P » A T ( I H I . I c T / 1 . S X . * I T E N R E L I A B I L I T Y S T A T I S T I C S ’ l / Z o x o t F O R M 8 . I I Z Q I T X O ‘ F O R H * Q T Z I / I S ‘ o i p T I Q I T 9 0 0 $ . 7 x g t R I I Q I T b o o t . I S I I I H O Q I 4 X 9 ‘ P * 9 6 K 0 ‘ Q ‘ 0 I E ! . ¢ R ¢ . 6 X 0 * R * 1 / ( / / 5 X 9 $ I T E M ¢ 0 I I 3 0 3 F T . 3 9 3 X 9 3 C T . 3 1 1 0 0 C I “ I = Z O L T H R I T I I v I I = R I T I I . I I o R I T I T o l i R I T ( Z . I T : R I T ( 2 . 1 1 . 8 1 T ( 2 . 1 . I T F “ ¢ 1 . 1 1 = I T E M T I . ) ) o I T E N T T . I ) 8 1 4 I T E ~ ( ? . I T : I T E M T 2 . 1 1 o I T E N T 2 . I T P I T I I . 1 1 8 R I T ( I . 1 1 / L T “ R I T I Z . 1 1 8 R I T ( ? . T T ( L T H I T F M I I . I ) : I T E H T 1 . ) ) / L T H I T E H ( 2 . I I = I T E N T 2 . 1 ) / L T H H R I T E ( “ P R . 8 1 5 1 I T E M I T ' I I . 9 I T I 1 9 1 ) o I T E N ( 2 9 1 1 . R I T ( 2 . I ) 8 1 5 F O D U A T ( / / S X V ¢ N E A N S 1 9 2 F 7 . 3 . ) o x . 2 F 7 . 3 ) 8 5 0 C O N T I N U E 9 5 0 C O N T I N U E R E T U R N E N D S U R R O U T I N E S O R T ( J S . v ) D I N E N S I O N J S ( 2 . 5 c a l M = 3 M H z ] K 2 8 1 1 0 0 " = 3 - N M M = 3 O M H L 6 8 0 . _ I F T K Z - N T 2 ? 6 . 8 5 ’ . R S O 2 0 0 L I s L b O I L 3 = L 1 ¢ K ? ‘ I E I L 3 - N ‘ 4 0 ¢ . 4 r 5 . 7 5 0 ~ 0 0 L 2 = L 3 ~ 1 L A = L Z O K 2 I F ( L 6 - N 1 6 5 0 . 6 5 ‘ . A h o 6 4 0 L b s k . « 5 0 L L s L I 9 0 0 I F ( J s ( u . L I I - J S ¢ N . L J T T 9 5 5 . 9 5 0 . 6 0 0 9 5 0 J S T N H . L L T 8 J S ( N . L I T L L a L L o l L 1 = L 1 0 1 I F ( L 1 - L 2 1 9 0 0 . 0 ' 0 . 9 6 ~ 9 6 0 C O N T I N U E D O 5 0 0 L L L = L 3 . L 4 J S ( ” 4 . L L 1 = J S ( H . L L L ) 5 0 0 L L = L L ¢ I G O T O 2 0 0 ' 6 0 0 J S ( “ M . L L l - J S ( M . L 3 1 L L = L L ¢ 1 , L 3 8 L 3 ¢ l I F ( L 3 - L 6 1 9 0 0 9 ° “ 0 - 6 5 6 5 0 C O N T I N U E D O 7 0 0 L L L = L I . L ’ J S T N M . L L 1 8 J S ( N . L L L ) 7 0 0 L L a L L O I G O T O 2 0 0 7 5 0 C O N T I N U E D O ‘ 0 0 L L L S L l o N 8 0 0 J S T “ M . L L L 1 : J S ( N . L L L 1 K 2 = K 2 0 K 2 G O T O 1 : 0 _ 8 5 0 I E I N - T l 8 7 ( 9 8 6 r 4 1 5 8 0 0 R E T U R N 8 7 0 C O N T I N U E D O 9 7 $ L L L 3 I O N 8 7 5 J S I I o L L L I S J S ( ? . L L L ’ R E T U R N E N n S U D R O U T I N E I N T R V L T N X Y o R X Y T S E Z ' N X Y - a o S E 7 3 1 / S O R T I S E Z I A 8 1 . O R X Y 8 8 ' . - v a Z s A / B 2 8 . 5 8 A L D G ( 2 1 ‘ 3 7 ’ S E Z . 7 0 B ‘ Z ’ S E Z . ? 0 A 8 A G Z . R a R C P . A S E X P I A T 8 = E X P I R I A S I A - 1 . 1 / ( A 0 1 . 1 8 8 ( 8 - 1 . 1 / ( 8 0 1 . I H R I T E ( 3 Q I O I A 0 9 . I O F O P N A T I I S X . * T H E P S I G H A I N T E R V A L ( 9 5 . “ 4 ‘ 1 : ¢ . F 6 . 3 . * T O * . F 6 . 3 / / ) A 3 7 0 5 E Z ' 3 . 8 3 2 ‘ S E Z . 3 0 ‘ 3 ‘ . ? . 8 3 3 . 2 . A : E ! P ( A ) 3 8 E X P ( P I A 8 t l - 1 . 1 / ( A O I . 1 B S I E - I . 1 / ( B ' l . 1 N R I T E I 3 9 1 1 1 A . ‘ 2 I I F O R M A T ( 5 x . ¢ T H E T S I G M A I N T ‘ R V A L ( 9 9 . 7 4 1 = ¢ . F 6 . 3 . * T o t . F 6 . 3 / / ) R E T U R N E N D I D E N T N E G Z E N T R Y N E G ? A O K 5 1 6 X 1 0 1 N E G Z P S S A I X I P L X T . A O K N ? X ‘ o N E G Z 5 X 6 0 E D N E G ? E N n 4 1 6 H A L O R A N N E R Q C O “ 9 0 2 N A P Q O F F . A T T A C H O P P E P A P E O P R E P A P E . A T T A C H Q C O “ P O Z Q C O H P O Z o A T T A C H I P Q O C E S S Q P R O C E S S D A T T A C H Q C H E C K Q F I N A L o A T T A C H v A V E R A G E Q A V E R A G E o A T T A C H Q N I N E P V A Q H I N E R V A . A T T A C H Q T A F E I O O I D A A T A o C O P T Q T A P E I O O T A P E I o R E H I N o v T A F E I o R E H I N O O T A p E k o P R O C E S S . R E T U P N Q T A D E I O R E H I N D O T A F E “ . C O P Y C P V T A P E h o T A P E I o R E T U R N Q T ‘ F E “ . F I L E O T A P E ‘ 9 9 T 3 2 9 8 T = C 9 F L = R O O F I L E O T A P E S 0 9 T 3 2 9 9 7 3 C 0 F L = 8 ° ° C O P Y v a I N p U T c T A D E B o R E H I N D Q T A P E b o P E U I N D Q T A P E B . P R E P A R E . R E H I N D v T A F E Q o R E H I N D Q T A F E S O S O R T N R G o o = J U N K . R E H I N D ’ T ‘ F E ‘ . R E H I N D Q T A p E k o R E H I N D O T D P E S o R E U I N D O T A P E O O C O M P O Z . R E H I N D Q T A p E b o R E H I N D Q T A P E I . C O P Y C R O T A 9 5 4 0 T ‘ P E I O R E H I N D Q T A F E B Q ~ C O P Y C R O I N P U T 9 T A P E 8 0 R E H I N D Q T A P E é o R E H I N D Q T A P E B o P E U I N U O P P E P A P E O P R E P A P E o R E N I N D . T A 9 E 4 . R E H I N D Q T A F E S O S O R T M P G o fl t J U N K . R E H I N D O T I F E I O P E U I N D Q T A ‘ E “ . R E H I N D Q T A D E S o P E U I N D O C O “ P O Z O C O M P O Z . R E T U R N v T A B E T o R E H I N D I T A F E G . R E H I N n o T A p E I o C O P Y C P O T A E E Q Q T A P E I o R E H I N D O T A P E P O C O P Y C P O I N P U T O T ‘ P E R o R E H I N O . T A 2 E 4 . R E H I N D ’ T ‘ c E g o R E H I N D Q P D E P Q R E o P R E D A R E . R E V I N D O T A F E Q O Q E H I N D O T A F E E o 4 1 7 S O R T q u v n t J U N K . R E H I N D O T D P E I . R E H I N O O T A p E k . R E H I N o v T A P E S . P E U I N D . C 0 “ P O Z . C O M P O Z . R E T U R N . T 5 9 E I . R E V I N O Q T A F E 5 0 . . . - o b C o c o o o o o o o o o o o o o . . 0 0 0 ° 0 . . . . . . . . . . o . C C C C C C C C C C N E X T S E V E N T E E N C O N T R O L C A R D S I N C L U D E D O N L Y F O R C C C C C C C C C C T H E S I X T E R M S H D I N G N E H - F O R M E V A L U A T I O N S U R V E Y C O P Y C P Q T A P E é o T A P E I . P E N I N D Q T A P E P . C O P Y C 9 0 I N P U T . T A R E 9 . R E N I N D Q T A P E O . R E H I N D . T A 9 E 8 . R E H I N D . P R E P A R E . P R E P A R E . R E H I N n o T A t h . R E H I N D O T A P E S O S O R T N R G . D 8 J U N K . R E W I N D Q T A F E I . R E H I N O Q T A P E “ O R E H I N D o T A F E S . R E H I N D O C O N P O Z . C O M P O Z . 9 E T U R N . T A 9 E I . P E N I N D Q T A P E A . c . 0 0 0 3 . . . 0 0 0 0 0 0 0 0 0 0 0 0 0 0 . 0 9 0 ' . . . . o o o o o o o o . C H E C K . P E H I N D O T A P E I O A V E R A G E . R E H I N O Q T A P E T . M I N E R V A . A P L I R . T T 3 0 9 3 . U . . C C C C C C C C C C C C C C C C C C C C E N D o r s c o p e C O N T R O L C A R D S c c c c c c c c c c . 0 0 0 9 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3 9 ” C C C C C C C C C C C C C C C C C C C C B E G I N N I N G O F I N P U T D E C K S C C C C C C C C C C C C C C C C C C C C F O U R C O N T R O L C A R 0 5 F D R D R O C E S S 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 f ) : ‘ 1 C C C C C C C C C C P R E C D U R S E A T T I T U D E S U R V E Y O O O Q U O O O O O O O O O O Q S f O C G ‘ C C C C C C C C C C C O N T R O L C A R D F O R p R E D A R E 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 9 0 - S O R T F I L E . T N R U T = T A D E 4 ( C R ) . n u T P U T = T A R E S T C R 1 F I E L D . N 8 8 < 1 . 6 . D I S P L A Y 1 K E Y Q N B R I A O C O B O L 6 1 E N D - 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 5 0 0 0 ! ‘ c c c c c c c c c c C O N T R O L C A R D F O R c o n o o z 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ' C C C C C C C C C C P O S T C O U R S E A T T I T U O E S U R V E Y 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 5 0 0 0 ‘ C C C C C C C C C C C O N T R O L C A R D F O R o R E D A R E 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ‘ 0 ‘ 4 1 8 S O R T F I L E . I N P U T 8 T A P E 6 ( C R I . n U T P U T = T q u s ( c a ) F I E L D Q N B P I I Q 6 Q D I S P L A Y 1 K E Y O N B R I A Q C O H O L O T E N D - 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3 0 9 9 ‘ c c c c c c c c c c C O N T R O L C A R D F O R C O M P O Z o o o o o o o o o o o o o o o c c t — o c M c c c c c c c c c c C O U R s E E V A L U A T I O N S U R V E Y 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 r 9 C C C C C C C C C C C O N T R O L C A R D F O R D R E D A R E 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 9 0 0 3 ‘ S O R T F I L E . I N P U T 8 T A P E 6 ( C R ) . O U T P U T 3 T A P E S ( C R I F I E L D . N R R ( I . 6 . D I S P L A Y 1 K E Y . N 8 R ( A . C O B O L 6 1 E N D _ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3 3 0 0 9 ' C C C C C C C C C C C O N T R O L C A R D F O R C O M P O Z 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 6 0 0 0 0 8 0 0 . 0 . . 0 0 . 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 . 0 0 0 0 0 0 0 0 0 0 0 C C C C C C C C C C N E X T F O U R L E V - Z E R O F I L E S I N C L U D E D O N L Y F O R C C C C C C C C C C s t T E R M S u s I N G M E N - F O R M E V A L U A T I O N S U R V E Y C C C C C C C C C C N E H F 0 9 u E V A L U A T I O N S U R V E Y I F A P P L I C A B L E 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 6 0 0 " C C C C C C C C C C C O N T R O L C A R D F O R R R E R A R E 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 8 S O R T F I L E . I N P U T 3 T A P E 6 ( C R 1 . O H T P U T = T A ° E S ( C D T F I E L D . N B R ( 1 . 6 . 0 I S P L A Y 1 K E Y o N R R t A . C 0 8 0 L 6 1 E N D . 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3 0 0 8 5 C C C C C C C C C C C O N T R O L C A R D a n C O M P O Z 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 6 9 0 3 0 ‘ C C C C C C C C C C $ 1 3 C O N T R O L C A R D S F D R F I N A L C H E C K 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3 0 0 5 0 ‘ C C C C C C C C C C A R L I B A n n F I L E C A R D 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 8 2 0 3 r ~ 4 1 E ? P R O G R A “ D R O C E S S I I N P U T - C U T O U T g T A D E ? = I H D H T . T A D E J = O U T D U T . T A P E } . T A D E O I D I “ E N S I O N M I X I O . 7 . 2 T . G S C I 1 . 7 3 , 1 u ( R . A T . E x t 6 ) . A v E ( 9 ) . a v e x ( q ) I N T E G E P 0 U T ( 7 1 I . F N L D A T A M T X / 3 6 ' C / . O U T / 7 1 ° u / R E A O I 2 . I O T N E X . C O N V . F C D L V . N A M E I . N A M E R . I ( G S c ( 1 . J ) o J = I . 7 ) . 1 = 1 . 3 \ 1 0 F O ° ~ A T ¢ I 5 9 2 F 5 . I o b ! 9 2 4 i u / 7 ' 5 o l / 7 F 5 c l / 7 F 5 . l I g 8 C O N T I N u E D D 9 9 1 8 1 9 1 8 9 R O U T ( I ) = O O U T I T 3 I 8 0 R E A D ( I o ' 0 0 ) O U T l I I o F M L I o o F O R ~ A T I I 5 9 1 6 T _ I F I E O F ( I ) ) e t a . v 0 1 1 0 ) x A L L = X L S T s S U M = S U N L = 1 . i - R - T N E ‘ I L E ‘ l o E ' l ? D D 1 0 2 I = I . N E X R E A D ‘ I Q I O 3 ) ( I N I I o J ) ~ J = I . A > I F I E O F I I I ) 4 c o . v o p I O ? C O N T I N U E 1 3 3 F O D F A T ¢ 6 I S I D O 1 1 1 I = l . N E x 0 0 1 0 5 J = I . 6 Q 3 N E G Z ( ! N ( I O J , ’ I F I R ! 1 0 6 . 1 9 6 1 0 8 I N I I o J I S I Q - l ) ' C D N v o . 8 c c c c c c c c c c c c c c c c c c c c V A L U E R I N I N ( I . J T A R E S T O R E D A S R E R C E N T A G E S C C C C C C C C C C O N E M U S T B E S U H T R A C T E D F R O M 0 B E C A U S E O F N E R z C C C C C C C C C C T H E V A L U E O F C O N V H I L R e 1 . 0 U N T I L F A L L 1 9 7 5 c c c c c c c c c c H T X ( I O I O I ) = M T X ( T c ! o l " l N ( Y 9 J I M T X ( I . ‘ Q ? ) : M 1 X ( I ¢ ) 9 ? " I X ‘ L L ’ X ‘ L L ‘ I N ( I ¢ J I O U T I I ‘ 5 ’ 8 0 U 1 ( I ° ‘ I * X T N E ’ T N E ” . C C C C C C C C C C “ T Y ( I o l o I ) I S S U M O F A L L S C O R E S F O R E x a m ( I ! C C C C C C C C C C ” T X ( 1 9 1 9 ? ) I S T H E N U M B E R O F S C O R E S I N M T X ( I . I . I ) C C C C C C C C C C N U u R E D O E T R I E S F O R E X A M I o S 1 N O U T T 1 . § ) C C C C C C C C C C T N F I S T H E T O T A L N U M R E R O F T R I E S O N A L L n g u S C C C C C C C C C C X A L L I S T H E T O T A L S U M O F A L L E X A M S T A K E N 1 0 S C O H I I N H E 1 0 6 I F I J - I D 1 0 7 9 1 $ 7 . l t 9 I o ? O U T I I o S ‘ s fl T L E ' T L E ’ I . G O T O I I I C C C C C C C C C C G K Y D D I N G A N E X A M P U T S A Z E R O I N 0 U T ( I * 9 3 B U T C C C C C C C C C C A D D S O N E T O T L E S O A V E D A G E R E F L E C T S M I S S E D E X A ” C C C C C C C C C C “ 7 1 ( I v 2 9 ? ) I S T H E N U M B E R O F S C O Q E S I N M T X I X 9 2 - l fi C C C C C C C C C C N T X I I o z o I ) 1 % S U M O F L A S T T R I E G F 0 9 E X A M ( I ) C C C C C C C C C C 1 0 9 H T X ( I . R . T I = M T X I I . 9 . | i ° I N I T . J - I I I F I I . E O . I ) D U T I 1 3 T = 1 H ( I , J - 1 ) H T ! ( I Q ? Q ? ’ 3 M T X ( I V ? Q ? , “ X L S I = X L S T 0 I N ( I . J - ) ) T L F ' T L E ” . I I I C O N T I N U E c c c c c c c c c c A T T H I S D O I H T A L L T H E S C O Q L S ‘ 0 ? O N E S T U D E N T H A V E C C C C C C C C C C D a r n D E A D a n C q u E D A N D E N T E Q E H I N T H E V A T P I X . C C C C C C C C C C T H : N E Y T S E C T I O N C A L C U L A T E S " E A V A N D S T D D E V X A L L 3 X A L L / T ‘ l E ’ . ' q 4 2 C ) X L S T s t S T / T L E + . ° S D o 7 0 3 I = I 9 N E X I F I O U T I I + S I I ? P 1 . 7 L 3 . ’ u 1 2 6 1 C O N T I N U E J J = C U T I I V S I D D 2 0 ? J = I . J J S U N ‘ S U “ 9 ( I N ( I o J l - X A L L ’ O O ? 2 0 ? N C S J S U H L = S U H L O ( I N I I . N c I - A L S T T n o : 2 J 3 C O N Y I N U E ~ O U T I Z ) : X A L L 0 1 5 . O U T I 3 I = X L S T ' 1 ’ . O U T I a v a F N L / F a n U O U T ( 5 ) 8 N E X S U M s s n D T I S U M / T M F ) S U V L S S O P T ( S U M L / T L E I O U T ( 1 7 ) = S U H * I O T . O U T ( 1 8 ) = S U H L " “ ‘ . C C C C C C C C C C T H E L A S T - T R I E S - A V E R A G E R I L L B E C D H R A R E D T o T H E C C C C C C C C C C G R A D I N G S C A L E I N G S C I I ) A S . G T . S C A L E C O T O F F C C C C C C C C C C T H c E F F E C T O F T H E F I N A L E X A M N I L L R E D E T E R M I N E D C C C C C C C C C C U S T N G . G T . T E N R O I N T D I F F E R E N C E F R O M S C A L E C U T n F F D O 3 0 5 1 3 , 0 7 I F ( O U T ( 3 ) - G S C ( 7 O I I . I O O I 1 5 5 9 3 5 1 1 3 0 ] 3 0 1 0 U T ( 1 5 ) = O U T ( 1 6 I = 9 9 I ’ I F ‘ C U T ( “ ‘ - G S C ( I O I I ) 3 O ? 0 1 5 5 9 3 O “ 3 0 ? I F I C U T ( b I - G S C ( 3 o I I ) 1 0 3 . 3 fi 7 9 3 0 7 3 0 3 O U T I I é i t n U T I I S I - l G O T O 3 3 7 3 0 $ I F ( I O E O O ‘ ) G O T O 3 0 7 0 U T ( 1 6 ) = O U T ( I Q \ O I G O T O 3 0 ? S O S C O N T I N U E O U Y I I S ' 8 0 U T ( I 6 I : 1 3 0 7 H R I T E ( A . 3 9 R I ( O H T ( I ) . I = | o 7 3 ) 3 9 9 F O P V A T I I X o I b o 2 I b o I 3 o I O I I o ’ I ? o ? I h o l x o h O I I o l h I Z o I a ) G o T o 9 9 « : o C O N T I N U E c c c c c c c c c c T H E L A S T S T E R A R O V E w a s 1 0 N R I T E T H E S T U D E N T O A T A c c c c c c c c c c O N T A P E h A C C O R D I N G T O S T A N U A Q D I Z E D r n R M A T c c c c c c c c c c T H E M A T R I x o r E X A M S U H S A V O F R E Q U E N C I E S H A S S E E N C C C C C C C C C C F ” L L Y L O A D E D A N D w I L L N E X T 8 E A V E R A G E D n n o D p l N T E D D O S O ! I S I o N E X A V E ! ( I T I A V E ( 1 ) = M T X ( I - l o ? ‘ ¢ I . E - 1 3 5 0 1 A V E I I T = M T X I I o I . T ) g A V E I I ) “ 9 1 7 5 ( 3 0 5 0 ? ’ N A V E I O N 3 ” E ? - ( “ T X I I o I v l ) o V T X ( I o l v ? ’ o A V E ( I ) O I = I O N E X ) 5 0 7 F O P U A T I I H I o S ( / I o I h X . ’ b l t / / / I G X 9 1 M A T R I ! ‘ 0 9 A L L T ? K E S ¢ / / 1 0 X o * T n T A L I N “ E A N 1 o ° ( / / / “ X o I I l o * / ¢ 9 1 5 ¢ F ° . 1 / 3 ) n o 5 0 3 I ’ l o N E X A V E ( I ) 8 N T X ( I o ’ o ? I ¢ l . i - l 3 A V E X ( I I = A V E X ( I I I A V E ( I ) 5 0 3 A V E I I T : H T X ( I . 2 . T ) / A v E I I I “ 9 1 7 6 ( 3 9 5 9 h ) ( M T X I I O 7 9 ‘ I Q H T X I I Q 9 0 2 ’ 0 A V E l I ) o A V E X ( l ’ 9 1 3 ) 0 N E X ‘ 5 0 ¢ F O P V A T I I O I I I ~ I C X o i H A T H I X E O R L A S T T R I E S ¢ / / q u . t T O T A L N « E A I N A V E N n T A K E H ‘ O q ( / / / 4 X v 1 1 1 9 * / ¢ 9 1 5 9 F 9 0 3 O F I q o 3 / ) 3 . E N D I D E N T N E G Z E N T R Y M F G ? A O K S X 6 x 1 0 ) N E G Z P S S A T x 1 P L x v . A n K N Z X ‘ o N E G Z S x a 3 E O H F “ ? E N D I D ? 1 0 3 1 3 “ 1 0 b 3 0 0 3 0 ? 1 3 0 1 0 1 I Q ? 1 0 3 1 9 8 1 9 9 2 0 0 2 J 1 2 a ? 2 0 1 2 6 a 2 ; § 4 2 1 P R O G R A » D R E P A R F l I N P U T o n h T D H T o T A 9 5 3 = I N 9 H T o T A ° E 3 3 0 U 1 P U T . T A P E R . T A P E Q I D I ” E N S I O N I N ( Q I o N A N E ( ‘ T P E A D ( ? v 1 6 2 ) ( N A V E I I ) - I = l o ‘ 3 F O R M A T I R A I ' ) N = 0 R E A D ‘ B Q I O Q I N ‘ o N ? n N 3 ° d “ 9 N = 9 N 5 9 ( I N ( I ) V I = I 9 8 3 F O D ~ A T ( 6 A I . A a - 7 A I : I I F I E O F I B T ) J a fi o l c s W R I T E ( 4 9 1 0 4 ) N fi o N S R N J ' V 3 9 M 7 9 N I Q I I N ( I ) 9 1 3 ' 9 8 ) N t N ¢ l G O T O 1 5 3 H P I T E ( 3 9 3 0 ? ) I N A M E I I i v I = I . 3 ) . N F O D U A T I I H I o l O ( / ! - S X 9 3 ‘ * ¢ 0 * 0 * H A T C H * 9 3 A l O / l / S X O F ” ” * " N U M B E R D Q E ) P A P E D ‘ V I ° ) E N D P R O G R A N C O H P O Z I I N D U T - J H T D H T o T A 0 5 2 = I N R U T . T A R E 3 z o u T R U T o T A P E 1 . T n p fi a . I T A D E S Q T fl P E b o T A D E 7 ) I N T E G E R O U T I T T T . R R O G o n D I N E N S I O N n T x ¢ 7 1 ) . I N < 2 7 3 . N A M E ( 4 ) R E A D ( ? 9 3 0 9 ) ( N A “ E ( I ) O I = I 9 8 ) O P R O G 9 P V F O Q “ A T ( ¢ A \ C ~ 2 1 | ‘ I I F I P R O G . L T . I I G O T O ° ~ ° N R D = N F 0 8 N N F = N S H ° = O . R E A D I I . | 0 2 T ( N T ! ( I ) . I = I . 7 1 T F O D N A T I T X , I h . 7 T a . I 3 . I c I I . R I ? . 2 1 4 . 1 X 9 ~ ; I I . I a l q u u i I F I E O F ( I T ) A : Q . I c 3 N R n = N R D ¢ I I F I ‘ R O G - z ) ) Q Q . T O Q . ? 6 0 R E A D ( § - ’ Q Q I N 9 9 0 L 7 9 L 9 ‘ I R C 7 P I o L Q o L l U l e B o L I h o I N ‘ Z ‘ 9 L 1 5 9 1 N ( 1 6 ) O L 1 6 0 I L I 7 O I N I I Q ' Q L I Q O L I Q O L ’ O O L 7 I Q I N ‘ 4 ) 0 L 2 2 9 L 2 3 9 1 N I I 3 ’ T I N ( 1 6 ) 9 1 N ( 1 5 ) 9 1 ( I N I L L ‘ Q L L 3 3 9 ‘ 7 ) O T N ( C ’ 0 1 N l 7 ) F O P ” A T ( I G Q S I I O § X O I I O 3 * ! 1 ‘ O I X O Q I I Q I X Q B I I Q 3 X Q S I I 9 2 9 X V I I Q Q X Q I I 3 I F I E O E I F T I 7 C 3 . ’ O T C O N T I N U E D O 2 0 7 J z ‘ o Z Z I N I J ) 2 N E G Z ( I N ( J T T L 7 = N E G Z I L 7 T L 1 0 = N E G Z I L I C I I F ( L 7 1 7 0 3 . 2 c 7 I F ( L 1 0 ) 2 9 4 . 2 3 7 I N ( 2 0 T = L 7 ’ L 1 3 I F ( I N ¢ ’ C I - l f ) D O R . 2 L ” - ? u 7 I N ( ? 0 ) = ° 4 2 2 G O T O 2 c n 2 0 7 I N I 2 0 ) 3 0 2 0 8 L a s h E G Z I L B I L 9 = N E G Z ¢ L 9 T I F I L e p 2 1 0 . 2 1 6 2 1 0 I F ( L 9 ) 7 1 1 . 2 1 6 2 1 ! I N ¢ ? I ) = L P ‘ L 9 I F ( I N I ? I ) - T i ) 7 T 5 . 2 | ? ~ ? T u 2 1 ? I N I 7 1 1 = ° G O T O ? 1 4 2 1 6 I N I 2 I T = D 2 1 E L l ‘ S N E G Z ( L ) 3 ) L l h a N E G Z I L 1 4 ) L I S S N E G Z I L I S ) I F I L I T I 2 1 6 . 2 2 % 2 1 6 I F I L 1 6 ) 2 1 7 9 2 ? ' 2 1 7 I F I L I S I ? I a , 2 2 ' _ 2 1 8 I N I I ) : 7 - L 1 3 - L I h - L I S ‘ G O T O 2 ? ) 2 2 0 I n r l i a a 2 2 1 L l fi t N E G Z I L I 6 ) L I ° 8 N E G Z I L 1 9 T I F I L I b T ? 2 3 9 2 2 7 2 2 3 I F I L I R T 2 2 4 . 2 ’ 7 2 2 a I N I I 7 I S L I 6 O L I 9 \ I F ( I N ( I 7 I - 1 5 ) ? ? R . 2 ? ‘ 0 7 ? 7 2 2 $ I N I I T T = 9 G O T O 2 ’ 8 2 2 7 I N I I 7 I = 0 2 2 R L 1 7 = N E G Z I L I T I . L I R = N E G Z ( L T O T I F ( L 1 7 ) 2 3 0 9 2 3 “ 2 3 0 I F I L I S ) 2 3 1 . ? 3 a 2 3 1 I N I I B ) = L I T ¢ L I B I F I I N I I R I - I T D ? 1 5 . 2 3 3 9 ? 3 h 2 3 3 I N T I B I = ° G O T O _ 2 3 5 2 3 ¢ I N ( 1 8 ) : O 2 3 5 L 2 0 = N E G Z ( L ? ! I L 2 I = N E G Z ( L ? I ) I F T L Z O ) 2 3 7 9 2 6 7 2 3 7 I F I L Z I ) 2 3 g 9 2 a r 2 3 R I N ( 3 ’ = 5 - L Z O ’ L ? I G O T O P b ! 2 “ 0 I N ( 3 ) = O Z h l L 2 9 = N E G Z I L 7 2 ) L 2 1 = N E G Z I L 3 3 I I F I L Z P T 2 4 3 9 2 4 H 2 . 3 I F I L Z 3 T ? 4 4 9 2 6 F 2 9 6 I N I fi i c g - L Z ? - L ? 3 G O T o 7 6 7 Z h h I N I S ) = O C C C C C C C C C C C C C C C C C C C C I F D R O G = I ( R R E C O U R S E ) O R I F D R O G = 2 ( P O S T C O U R S E ) C C C C C C C C C C T H R N I N I I Z I w I L L H A V E R E S P O N S E A D J U S T E D C C C C C C C C C C 2 % ? I F I P R O G - P ) 2 4 9 9 7 : ? o ? ? 0 2 4 9 I F ( ! N ( I 2 ) - I ) R S A . P S 6 . : S ; 2 5 0 I N I I Z I = I N ( I Z T - I G O 1 0 7 ‘ 6 2 5 ? I F ( ! N ( T ? ) - ? ) ? < 6 q 7 5 6 - ’ 5 6 2 5 6 G O T O 3 0 6 2 5 0 R E A C ( S . 9 6 1 9 N 8 R . ( T N ( I ) . I = T . I a ) 2 6 1 F O D V A T ( I 6 9 3 X o I ¢ T I T 2 6 ? 2 5 3 3 0 0 3 0 ) 3 V 3 3 0 5 B U S 3 0 6 3 0 9 3 1 0 3 1 1 3 1 ? 3 1 3 3 1 k 3 1 5 3 2 0 3 2 % 3 2 6 3 ? ? 3 2 A 3 2 0 3 3 0 3 3 ? 3 3 1 3 3 ¢ 3 3 % 3 3 6 3 3 7 3 3 9 3 & 0 4 4 2 3 I F I E O F I S ) ! 7 2 3 . 9 6 9 C O N T I N U E 0 0 x 2 6 ] [ : ‘ , ' 4 I N I I i z N E G Z I I N I I I T I F I I N I I T . G T . S I I N ( 1 ) = 0 I N I I I l e ' I N I I ) I F I L B R . L T . T ) G O T O 3 ’ 5 I F I K B R - H T X I I I ) 1 7 S . 3 0 1 9 3 S a N F O s N r O o I I F I P R O G - 2 ) 3 3 3 . T e = . 3 0 9 C O N T I N U E D O 3 0 4 1 3 ' 0 2 2 N T Y I I R O I I I I N ( I I G O T O 3 ? n M T X ( 1 9 ) 3 I N ( I ) M T X ( Z O ) 3 I N ( Z ) H T X ( Z I ) 3 I N ( 3 ) M T X I Z P T ' I N I 6 ) H T X I Z B I t h I S I D o 3 0 6 1 2 6 . 2 2 N T X I 3 S + I I = I N I I T G O T O 3 2 0 I N I I 4 I 8 6 O - I N I I a I I N < I O T = 6 O - I N ¢ I n T I F 4 P V - I , 9 9 0 9 3 3 5 9 3 1 ; I F I I N I I b i ) 3 1 1 . 1 1 7 I N I I a T : I N ( T A I - 3 I F I I N I 3 ! ) 3 1 3 . 1 T a I N I 3 ) : I N I 3 I - ? M T X I S R T = ° V D O 3 1 6 1 3 1 ' ! “ N T X I S e o I I s I N I I T H R I T E I h o I O ? ) ( M T X I I I - I = T . 7 3 ) G O T o 1 0 1 M s u n s t U P o l D O 3 2 6 1 3 1 , 7 7 O U T I I I S O I F I F R O G - 7 ) 3 2 7 . 1 2 0 . 3 3 3 C O N T I N U E D O 3 2 8 1 8 1 - 2 2 O U T I I B O I I B I H I I ) G O T O 3 6 0 O U T I I 9 I = I N I I I O U T I Z O ‘ 3 I N I ? ) O l l T ( ? I ) 3 I N ( 3 I O U T I Z ? ) = I N I B I O U T I ? 3 ) = I N ( S ) O D 3 3 0 1 8 6 . 2 2 O U T ( 4 0 ¢ I ) = I N ( I I G O T O 3 ‘ 6 I N I I b I I 6 o - I N I I A T I N I I O I S 6 0 - I N ( I T I I F I p V - I , 9 ° 9 9 3 3 7 0 3 3 1 I F ( I N ( I Q I ) 3 3 5 . 1 3 9 I N I I 6 I = I N ( I 4 ) - 3 I F I I N I S I ‘ 3 3 6 . 1 1 7 I N ( 3 ‘ = I N ( 3 ) - 2 O U T ( 5 8 ) 8 9 V 0 0 2 3 ° I t l o l a O U T I S B O I I = I N I I I H R I T E I 6 . I O 2 ) ( n H T I I I o l = 1 . 7 1 ) S A C K S D A C E S A ° I R 7 W G E 0 R O S T ( C “ T T ( A E O . I 7 1 R 9 6 A 3 I ° 8 | I 4 I ? 1 ) 3 I D ( U O T H I T T ( ) I . ) ; - = l | : . ‘ A . , q , 3 4 ) 3 5 0 3 5 ) 7 0 0 7 S ) 7 0 ? 7 0 3 8 0 0 8 5 0 8 5 1 9 0 9 I 0 3 0 A O K N E G Z 4 2 4 N N F = N N F ¢ I H P Y T E ( “ Q I O ? , ( “ T X I I I o 1 = I . 7 1 ) P E A D I I o l O Z I ( M T I I I I 9 7 3 ‘ 9 7 1 ) I F I E O F I I I T 8 : 3 . 1 S 1 N a n N R D o ) G O T o 3 3 0 I F ( " T X I I I - R 9 9 9 0 ° I 7 § I o 7 3 ? . R S O N N F s N N F " N R ! T E ( ¢ . I O ? I ( N T X ( I ) o I = I . 7 3 T Q E ‘ D ( ‘ O ' O Z , ( “ T X ( I , ¢ I : I Q 7 1 3 I F I E O F I I ! ) 8 5 9 . 7 6 3 N R D S N R D O I G O T O T O T N T x ( 1 ) : 9 9 9 9 0 9 G O T O D O B W R I T E ( 3 9 R S I T ( N A M E I I I v I = I . a I o N R D o N F D a N N F v N S U R F O D V A T ( / / / / / / / / / / S x o “ 5 l S l / I S X c t N U H R E R R E A D F R O M T A P E ¢ o I S / / S x . 2 U A T C I H E D W I T H S U R V E Y § ¢ v I 6 / / 5 X o ¢ M O S U R V E Y F O U N D F O R 3 o 1 7 / / 5 x . ¢ S U R v E Y S U N N I A T C * E 0 1 9 1 9 T P C T = N R D * . D I O I . E - 1 3 P C T S N F D / P C T H R I T E I 3 9 8 5 ? ) D C T F O P U A T I / I S X 9 $ ° E D C E N T H G E D F T U R N 1 . F 1 2 . 2 ) I F I F T X I I I . L T . O O Q R Q 9 3 a T o D B A C K S R A C E 6 E N D F I L E a S T O R - U R I I E I 3 o 1 0 n i ) F o p u g 1 ( / g o o o o o g / g o o o o o z / g o o o o o t / t o o o o o g / t 9 0 6 9 0 3 / 6 x 9 ¢ P D O G D A u I I N P U T R A R A H E T E R I S T A B S E N T - J O R A B O R T E D t I E N n I D E N T N E G ? E N T P Y H E G Z 5 X 6 X 1 6 1 P S 5 “ X 1 P L X I o A O K N 2 X I O N F G Z 5 x 6 0 E O N E G ? E N n 1 0 1 1 0 4 1 0 6 1 0 6 1 0 7 l d fl 1 0 9 1 1 0 1 1 1 1 1 ? 1 1 3 I I R 1 2 0 4 2 5 P R O G R A M F I N A L I I N P U T o O U T R H T q T A P E P = I N P U T . T A ° E 3 = O U T P W T o T A D E I . T A D E a T D I U E N S I O N I N ( 7 1 T ¢ N A H E ( R T ¢ E P E O ( 9 9 6 ) o G S C l 1 9 7 ) I N T E G E R G R A D E I u . ° T . E G S I R . A 7 ) . G D O A T ! F R E D / S h i fl / . G D A O E / 3 6 0 ‘ l o E G S / 6 0 3 ° O l R E A C I ? . S D I g ( N A U E ( I T o I = I o 1 ) , N E x F O R F A T I J A I U Q I I T I N T O T S N P E A L = N F N L = F N L = 9 T O T = ° L S T = R R E = R A F = L o R E A D I A o S O Z T ( I N I I T o I = l o 7 3 ) F O D U A T ( ‘ X O I 6 9 2 1 5 0 1 3 9 1 I ) 9 ’ ! 2 9 ? I “ 9 1 X 9 4 5 1 1 9 1 4 I 2 9 1 4 3 I F I E O F ( A T T 2 6 0 . 1 0 ? N T D T ' N T O T O I N U H S O D O ' 0 4 I ' q u E X I F I I N I S O I ) I l o b - 1 0 3 N U U S N U M O I C O N T I N U E I F I I N I h T I 1 0 6 9 1 * S N U H ' N U H O N E X G O T O 1 0 7 F N L ' F N L ’ I N I 6 ) N F N L = N F N L O I I F ( N U u - 2 ' N E X ) 1 ‘ 8 . 2 1 9 o 1 1 ° N R E ‘ L a N R E A L O I F G : I N ( I 9 ) I F ' F G . L T . 1 . 9 ) F G = : . R E P S R B F O F G / P . F G = I N ( 1 6 T I F I E 6 . L T . I . 9 T F G = c o R A F = R A F 6 F G / 2 . R T O T S R T O T O I N I P T R L S T = R L S T ¢ I N I T I D O ‘ 1 0 1 3 ‘ 9 N E X N O ' I N I ‘ O I ) I F I B O ) 1 0 9 9 1 1 0 F R E C ( I O N O ) 8 F R E O ¢ I ¢ N 0 I T I C O N T I N U E 1 0 8 G - I N I I S I _ I F I I N I I S T - I N I I G I J l l l v l l ? . 1 1 3 G Q A C E I 6 Q I O I S G Q A D E I Q . I D I O T G R A D E ( 4 9 ° , = G R A D E ( Q Q Q T ’ T G O T O 1 2 0 G Q A O E ( 3 Q I Q T = G Q A O E ( 3 . I Q T o l G R A O E ( 3 9 ° ) S G R A O F ( 3 . 9 ) * I G O T O I ? O G R A C E ( ? 9 I O I = G R A D E I 2 . I O I o 1 G R A D E ( ? 9 ° ) S G P A D E ( P 9 Q I ° I G O T O _ I 2 O I N I I S ) 8 I N ( 1 6 ) 8 ‘ 1 0 : 9 I F I I N ( ? T I I Z D o I ‘ I G R A C E I T o I o t h R A O E I I o I : T o I N R I T E I I o S O ? ) ( I N I I I . I = I . 7 1 ) G D = I I N I ? ) O S ) / I C G D = | 0 I - G O I F I G D . G T . O 6 ) 6 0 : 6 6 1 0 : 9 - I N I I O T I F I I O . G T . 8 T G O T O l u ‘ E G S ( I O . G O ) = E G S I I O . G D " I E G G I I O o G T T = E G S I I D . 6 T I 9 I E G S I 9 . G D T = E G S ( ° . G D ) 0 3 E G G I 9 9 6 7 T = E G S ( 9 . 6 7 ) 9 3 4 2 6 G o T O 1 6 1 2 0 0 F N L S F N L / N F N L R O F s R B F / N R E A L R A F a R A E / N R E A L R T D T = R T O T I N R E A L I I C . R L S T s n L S T / N P E A L / I C . P 2 = G R A D E ( 2 9 9 I ’ T ‘ C . / N R E A L P 3 = G R A D E ( 3 . R T O T ~ a . / N ° E A L R b : G R A O E ( « . 9 ) O T ~ o . / N : é A L D O 2 0 ? I i ‘ o u E ‘ D o 2 0 2 J a l o b ‘ I 2 0 ? F R E C ( I o J T z F R E Q I Y o J I I N K C A L 0 I O C . H R I T E I J o G O J T ( N A M E ( I ) v I = I o 3 ’ o N T O T c N R E A L q R T O T . R B v a L S T o R A F o N F N L o F V L 5 0 3 F O R H A T I I H I / I I I / G x o 3 n l I l l / S l o a N U M G E P O F S T U D E N T S 0 N I N P U T t o I O I I l S X - ‘ N U V B E R O F C O U R S E C O M P L E T I O N s t o I R / I / S x o t N E T M E A N O N A L L T R l e s r . I F I R . 3 . ? O X . ¢ R R E - F G : t o F 7 . A / / S X 9 3 H E T M E A N O N L A S T T R I E S : . F I T . 3 . 2 0 1 o I ‘ P O S T - F G : # 9 F 7 . é / / / / S X 9 ¢ N U M B E R N H O T O O K F I N A L E X A M t o l I l O / I S X o t M E A N F I N A L E A A N S C O R E t . F 1 8 . 3 ) R E A D I P o ‘ O b ) ( N A N E ( I ) - l = l o n ) o ( ( G S C ( J 9 K ) 9 K = I o 7 ) o J * I o 3 ‘ 5 0 6 F O P “ A T ( G A I N / T E E . I I 7 F 9 - l / 7 F S . I I U Q I T E I 3 9 5 0 5 ) ( ( fi D A D E ‘ I ' J ‘ O I = I 9 4 I Q G S C C Z Q J T O G S C I I T J ) T G S C ( 3 9 J ‘ 9 J = I Q 7 ) 9 I I I G G A D E I K o L ) c K = T Q A T o L = % . Q I . 9 2 . 9 3 . P h S U a F O P V A T ( I / l / l S X - t n I S T P I H U T I O N i o B X q i N U M B E R O F G R A D E $ = * ¢ 6 X 0 * S C A L E 8 9 1 6 x . ¢ R A I S E K E fi p i l s o n E E F n o E F I N A L L O M E P D U N C H G D R A I S E D C U I T O ‘ F P O I N T p Q I N T E / l 7 ' 9 ‘ h o o i o 1 6 9 3 I Q Q F ] 0 . 1 9 3 X 9 2 F 7 . 0 / / 1 1 x . i 3 . 5 ¢ . I 6 9 3 I 9 . F I O . I 9 3 x o 9 F 7 . o / / 7 X o ¢ 3 . 0 ¢ o 1 6 . 3 1 9 0 F l o o l o 3 X 9 2 F 7 . 0 / / 1 7 X 9 ‘ z . 5 ‘ v t 6 ! 3 1 ° 9 7 ! ° o " 3 X T , F 7 o O / / 7 ‘ 9 ‘ 2 0 0 ¢ 9 1 6 ' 3 1 9 9 F ' 0 0 1 0 3 x v 7 F 7 o O / I l 7 X Q ‘ l o s * 9 1 6 9 3 1 9 0 F 1 0 . ‘ 9 3 X Q ’ F 7 o a / / 7 ‘ Q ‘ l 0 0 ‘ . 1 6 9 3 1 9 9 F 1 0 0 4 0 3 X Q 2 F 7 0 0 / / l 7 X - ‘ 0 0 0 ‘ o I 6 Q J I q l / 5 X 9 ‘ O T H E o t v 1 6 9 3 1 9 / I I Q X 1 3 7 9 0 2 ) H R I T E ( 3 o S O S ) ( K o K = I o fi ) o ( I . ( F ° E O t I o J l o J = I ¢ 6 I o l s l o N E X ) S u s F O R ~ A T ( I / l / I I O X . ¢ D I S I H I R U T I D N O F E X A M T A K I N G F R E D U E N C I E S t / l 1 5 X . i T A K E s t o O I Q I T X . t E X M M ¢ / / 9 ( 6 x . I I 9 6 X o 6 F ° . 3 / / ) I H R I T E I B o S O T T ( N A N E ( 1 ) . x a I . R T . ( G S C I 2 s J I . J : | . 7 ) . I O S u T F O D U A T I I H l / l / l / 1 X o R A l I I I ! 3 x . t a . o ¢ . S X . : 3 . S ¢ . S x . ¢ 3 . o t o s x o t 2 . s z . I S X . ‘ Z . O ‘ ¢ S X 9 $ | . E ¢ . S x o ¢ I . 5 i o S X o t o . 0 8 / / H X . 7 F 8 . I / l I l U X c I Z O ‘ D o 2 1 0 M 8 ! . 6 6 J s T O I - M 2 1 0 H R I T E I 3 9 5 0 8 , J Q I E G S I L T H T O L B I Q Q I 5 0 8 F O R V A T I B X o I S . ° I R ) R R I T E ( 3 . 5 0 9 ) ( F G S ( I . 6 7 ) . I = I o 9 ) 5 0 9 F O D U A T I T H O Q T X o R I R I R E U I N D I D O 2 1 ? 1 8 1 9 9 D o 2 1 2 J = I 9 6 7 2 1 7 E G S ( I Q . H 8 ° R E A D I 7 . § 0 6 I ( N A V E I I I o t a l o n ) 2 1 $ R E A D ( I 9 5 | O T ( I N I I I V I = : Q T I S I o F O R M A T ( A 7 , ? I a . I T . A I . - > I P T I F I E O F I I I ) 2 2 3 . ? 1 6 2 1 6 I F I I N I 6 T ) 2 1 7 . ? 1 5 2 1 7 G D I ( I N ( 3 T * 5 ) / l f G D s I O I - G D I F I G O . G T . 6 6 ) 6 0 : 6 6 1 0 8 9 - I N I T T I F I I Q . G T . 8 T G O T O 2 1 g E G S I I a n n i s E G S I I O . G D ) ‘ I E G S I I O . 6 7 ) = E G S ( I O . 6 7 ‘ * I E G S ( 9 o G D ) 8 E G S ( ° . G n ) O l E G S ¢ 9 o 6 7 I = E G S ( ° . 6 7 ) + ! G O T O 2 1 5 2 2 0 H R I T E ( 3 9 5 6 7 ) ( N A M E I I ) ' I = ) . 8 ) o ( G S C ( ? ¢ J $ o J = I o 7 ) o I Q D O 2 2 ‘ “ 3 ' 9 6 6 J B I C ‘ - " 2 2 ) H R I T E I 3 g fi c R ) J o I E G S I L O M I o L = l v ° ) H P I T E ( 3 0 5 0 ° T ( E G S I I Q O 7 I O I = I O O I E N D 4 4 2 7 P R O G R A M A V E R A G E I I N p U T R O U T O U T o T A 9 5 2 = I N D U T o T A P E 3 = O U T P U T 9 T A P E I T R E ‘ L N U N ( 6 ' 9 2 } Q L S T Q V 3 L ( 6 8 . ? I D A T Q V A L / 3 2 : 0 : / . N U M / t ? u ° l , E - I c / A T n T z e T n T z T O T S S U M A = s W ” = : A V E A = A V E Q = I . E - I C 1 0 1 P E A D I I o S O I ) A L L . L s T . N u n . S T G A . g I G R 5 0 X F O ° * A T ( 7 X 9 ’ r 5 . I Q I S X O I ? 9 7 F h . ? T I F I E O F I I T ) _ I I $ . T O P I O ? I F I K G D . E O . 3 ) G O T O 1 0 1 T O T t T O T R I . A T O T ‘ A T O T O A L L I F ( ‘ L L - ‘ l o ) ' l 5 3 0 1 3 “ o ‘ 0 4 I d a A L L a a l . _ I d a A L L S A L L - 3 9 . S N A S I L L s u u l a s U M A O S I G A ¢ * 2 V A L I N A N I T = V A L I N 5 o i T ¢ S i G A N U N ( N A Q “ = N U M ( N § ¢ I ) 6 1 0 B T O T = B T O T ¢ L S T I F I L S T . L E . 6 I . ) L S T = a l o L S T 8 L S T - 3 9 . S N B = L S T S U M 8 = S U M G ¢ S I G B O R R V A L I N 9 0 2 ) = V A L I N R . ? ) o S L G R N O M I N E o 2 I = N U M I N P o ? I o I . G O T O T C ] 1 1 0 N R I T E t 3 . S o z ) _ _ S U P F O ° ~ A T I I H I ¢ 2 C I I I . 1 8 X ~ * A L L T R I E S ’ o G X o ’ L A S T T Q I E s t ‘ D O 1 1 2 I 8 1 . 6 6 J I A l - I V A L ( J . I ) s V A L ( J . t \ / N U ~ \ J . T s V A L ( J 0 7 ) 8 V § L ( J o 7 T / N U V ( J Q 7 T K z a O O J . I I ? H R I T E I 3 ¢ S O 3 I K . V A L ( J o I T . N U N ( J . I I . V A L ( J . ? ) . N U M ( J o 2 I $ 0 3 F O P V A T ( / 7 X O I Q Q F T 3 . 2 ! ? ! 9 ‘ 5 . 3 9 7 1 0 . ? 9 2 X 9 7 6 . C ) R E U I N D T A V E b s A T O T / T O T A V E E = 8 T O T I T O T A T o T s a T n T c I . E - l o 1 1 9 R E A D I I o S O I I A L L o L s T c n h D I F I E O F I I T I N I J O . I P J 1 2 0 I F I N G D . E 0 . 0 I G O T O I ! “ A T O T = A T O T O ( A L L - A V E A ) ° “ ? G T D T = B T O T O I L S T - A V E B I ° ° ? G O T O 1 1 0 1 3 0 R A S I - S H N A / ( S U M A ¢ A T O T I 9 8 = I - S U H B / I S U N Q O Q T O T I S U N A : $ U M A / T O T S U N E S S U M G / T O T A T O T = A T O T I T O T B T D T = R T O T I T O T H R I T E ( 3 9 S O A ) T O T o T O T o A V E fl o n V E R o S H U A o S U q u A T O T S B T O T o R A o R B S u a F O D N A T I I I T X o t T O T A L N ‘ ° ‘ I ’ . C o F 1 5 3 b / / b x . ¢ M E A N S C O R E ‘ O q u h o F I S . 4 I / l 9 ! 9 1 U I T H I N ¢ q F Q . a o F 3 3 . £ / / 7 X . ¢ R E T H E E H t . E 9 . h . F I S . “ 1 / 1 q x , x I N T E R c o R R ¢ . r 9 , S . F ) s , 4 ) S u m n e s o R T I S U U A I S U M G S S D R T ( S U M M ) A T O T = S O R T ( A T O T T B T D T = S O P T I H T O T I W R I T E I 3 o S O S ) S U M A . S U » ~ . A T n T . R T O T S u fi F O D H A T ( / / / 6 X o ¢ < E M N T “ N t o F G . 4 9 F I S . 4 / / S X Q ¢ S E M B E T N N * 9 7 9 . a o F I S . é I E N O a 4 2 8 P R O G R A M M I N E R V A I I N P U T o O U T D U T g T A D E P = I u D u T . T A D E 1 = D U T D U T 9 T A D E I I D I M E N s l o N N A M E ¢ 1 3 . C O R I A . I R T . C O R R ( 6 9 1 2 T . C H O ( 1 2 o 3 ) . F A K I I Z I R E A L I N I B ? » C C C C C C C C C C C C C C C C C C C C T I T L E O N I N P U T I N C O L U M N S I T O 3 C C C C C C C C C C C R E A D I Z o S O O ! ( N A M E I I T O L S I - 1 ) 5 0 0 F O R M A T I 3 A I P T ' I O O R E A D I I . S O Z ) G O D . ( I N ( I ) . I = 1 9 3 ? ) 5 0 ? P O D I A T I J O o n Z . ‘ . I A x . ? F I ; S . I x o 3 F I . c o h o n F l . o o I X o 3 F 1 . O . 4 X 9 7 F 1 . o . 1 1 X 9 6 F 2 . 1 9 6 X 9 F 2 . ' 9 6 X 9 F 3 . ) I I F I E O F I I ) ’ 2 0 0 . 1 3 ) 1 0 1 G R D = G R D / 2 . C C C C C C C C C C C O M P I L A T I O N O F F A C T O R S F R O M S U R V E Y S C C C C C C C C C C C C C C C C C C C C F A K I I T 8 I 9 . - I N ( I I ¢ I N ( 3 ’ - I N ( 3 ) ) / 3 . ¢ I . I F I I N I I T ’ I N ( 2 ) 0 I N ( 3 ) . 5 0 . I I F A K I I I = O . F A K I Z T B I I N I 6 T O I N ( S I O I N I E I - J . ) / 3 . ‘ l o I F ( I N ( 6 ) ' I N ( S T ° I N I 6 ) . L O . * \ F A K I ? ) = 5 . F A K ( 3 ) : ( I N ( 7 ) O T N I I O I - “ . ) ° ’ . / 7 . * I o I F I I N I 7 3 . N E . O T T N ( 7 ) = < I N « 7 ) - P . T A A . / T . o 1 . I F I I N I I O ) . N E . O ) I N T I ’ = ( I N ( I C I — ? . ) * a . / 7 . ¢ l . I F ( I N ( 7 T ' I N ( I O T . E Q . Q I F A K ( 3 ) = Q . F A K I O ) = ( I N ( 8 ) * I N ( I I ) ' “ . ) * 9 . / 7 . * I . I F ( I N ( P I . N E . O T I N ( 8 ) = ‘ I N ( ° ) - 2 . ) ° 4 o / 7 o ° l o I F I I N I I I I . N E . O I I N ( I I ) = I I “ ( I I ) - ? . ) O a . / 7 . * l I F I I N I R T ' I N ( I I T . E Q . C ’ F A K I a ) = O . F A R I S I s I I N I R T o I N I I P I — 2 . | / R . o l . I F I I N I O I O I N I I ? I . E D . O D E A K I S I = O . F A R ( 6 T : ( ° . - I N I T T T o I N I I a v — T N I I S ) I / 3 . ¢ I . I F I I N ( 1 3 I O I N ( T 6 \ O I N I T S I . E O . 0 ) R A x t b n g . F A K I 7 T = I I N I I G I O I N I I T I ° I K I T 8 ) - 3 . ‘ / 3 o * l o I F ( 1 N ( I 6 T ' I N ( I T I O I N ( I A I . E O . O ) F A K I 7 3 = c . F A N ( 8 , 3 ( I N ( ‘ 9 , ‘ I N ( 2 ? , - “ o ‘ 6 ? o / 7 o ‘ l O I F I I N I I 9 I . N E . O I I N I I Q I : ( I N ( I 9 I - ? . ) O b . / 7 . o l . I F ( I N ( 7 7 ) . N E . O I I N ( 7 7 ) = ( I U I 2 2 I - 2 . ) ' 4 . / 7 . o l . I F I I N I T O I O I N ( ’ ? ‘ . € 0 . " F A K I R I = 0 . F A K I 9 I : ( I N ( 2 5 I o T N I Z J I ' h . ) ° ? . / T . + l . I F I I N ( ? O I . N E . O I I N I ? ) S I I U I P L I - Z . ) * h . / T . * I . I F I I N I P 3 I . N E . O I I n ( 2 ? ) = ( I ~ ( 2 3 ) - 2 . ) ¢ A . / 7 . o l . I F ( I N ¢ ? O I O I N ( 9 1 \ . E O . I F A V ( 9 ) = O . F A K ( I O ‘ = ( I N ( Z I I ¢ I N ( ? B ’ - 9 . I / 2 o * l o I F I I N I P I I O I N I P A I . E O . I F A K ( I C T = 0 , F A R I I I I S I I N ( 2 G I o I N I E O ’ O I N I P T I O I N I 3 I I O I N l 3 2 ) - S . ) / 5 . 0 | . I F I I N ( 2 5 T 0 I N ( 2 6 T P I N I ’ 7 T 9 1 N I 3 1 T ‘ I N I J ? ) . E O . O ) F A K ( I | ) = 0 . F A R I I P I I I I N I Z R T o I N I P G I o t h J O ) - 3 . I / 3 . + I . I E I I N ( ? G I O I N I 2 ° I O I N I T . T . E O . D ) F A K ( 1 2 ) = g . C C C C C C C C C C C C C C C C C C C C C C C C C C C C C C C O R R E L A T I O N O F F A C T O R S N I T H G R A D E D O 1 2 0 1 8 1 . 1 2 I F I F A K I I I . E O . O I G O T O 1 2 c C O P I I . I I s C O R ( I . T T . G p O C O P I P o I T S C O R ( ? . I I + G R O " P c o R ( 3 . I T = c O R ( 3 . T ) . r A v ( 1 ) C O R I A . I ) = C O R ( A . T ) . F A ~ t 1 \ o » 9 C O R t s o I I = C O R ( G - T T o G R U ' F A K ( I ) C C P I 6 . I ) = C O P ( 6 o I ‘ ¢ l . 1 2 0 C O N T I N U E 4 2 9 C C C C C C C C C C C C C C C C C C C C C O R R E L A T I O N O F S U R V E Y I T E M S N I T H G P O C C C C C C C C C C D O 1 4 0 1 8 1 . 3 2 I F ( I N ( I , O E O O G , G O T O ’ 4 3 C O R G I I o I T = C O R R I T . T ) o G R D C O R R I 2 . I T = C O R R ( ’ . T l o fi H o o v a C O D G ( 3 . I T = C O R R I T . I I o I N I I I C O D E ( « o I i 3 C O D P I h . I ) 0 I E I I ) o o ? C O R R ( S . I ) 8 C D R R ¢ S . I ) o I N ( 1 ) o O R O C O D F I G A I T 3 C O R Q I A , I ) + I . I R O C O N T I N U E C C C C C C C C C C C C C C C C C C C C C S L C H L A T I O N O F P O E / P O S T C H A N G E B O N U S E S 0 0 I 7 0 J 8 1 3 9 2 4 I = J - l ? A x I K I I ) B = I A I J T - I F I P . E 0 . 0 ) G O 7 ” : 7 0 I F I A . E 0 . 0 I A z q I F I G - J . ‘ I S B . I < € . I S I 1 5 1 I F c A - 3 . T I S Z . I S R . I S A I S ? C H G I I o I T = C H G ( I c I I O S + ( b - A - I . I / A . G O T O I 6 5 1 5 3 C H G I I . I T - C H G I I . T I ¢ 3 . S ° ( P - A ) 9 A / B G O T O 1 6 % I S A C H G ( I Q " 3 C H G ( I O T ) 6 8 - I D - A ° I o E - I O T 9 9 2 / 2 . G O T O I 6 5 ‘ 1 5 G I F I A - J . ) I S O . I G A . | S T I S O C H G ( I o l ‘ 8 C H G ( I o T T 0 1 . ? 5 ‘ 9 - 6 / 2 . G O T O I 6 5 I S ? C H G I I o ) $ 8 C H G I I . T I A I . 7 U * F - A / ? . G O T O 1 6 % , ’ 5 9 1 7 ( 5 ’ 3 . ‘ I S q o ‘ O ‘ o l b l I S O C H 6 ( I . I T = C H G ( I - I I 0 8 ¢ ( h - A O I . E - I u ) ° ' 2 / 2 . G O T o 1 6 5 1 6 0 C H G I I o ‘ ) 8 C H G ( I o I I o 1 . S ¢ R / ? . - A / a . G O T O 1 6 5 i s ! C H 5 ‘ I Q I ’ 3 C H G ( I R " 0 1 . " 9 - A o l . ) / u . 1 6 S C H n ( 1 . 7 ) s c H G I I . P ) . 1 . C H G ( I . 3 ) = C H G I I ~ 1 I . A 1 7 0 C O N T I N U E G O T O I c e C C C C C C C C C C C C C C C C C C C C C C C C C C C C C C 2 2 0 C O N T I N U E W R I T E I B o S O S ) ( N A M E ( I ‘ ~ I = I . 1 ) 5 0 5 F O D U A T I T H I I I I I T ’ X A 3 A I / / / / / 9 X o ¢ V A Q I A 9 L E N U M Q E P 0 F “ E A N I D A D C C O P R E L A T I O N 6 3 4 0 5 3 / l 1 9 X o $ P E C O Q D S ¢ 9 T 1 fl c ¢ D E V I A T T O N W I T P G R A D E M E A N t ‘ D O 2 0 0 1 8 ‘ 9 3 ? C O R E ( 6 . ! ) s c O R R I A . I ) o T . E - T ~ R i C C R R I ? O I " C O D D ( I o ! " * 9 / P O R ° ( 6 Q I ) 9 : 9 . ( C O P D I h Q I ) - C O R P ¢ ? ! I T ‘ 0 ? / C O P Q ( 6 9 I ) ) R S P O ‘ . E " 0 P S I C O R P I S o I l - C O D D ( I . I " C O O R ( 3 9 1 3 / C O ° Q ( 6 . I ) T / S O R T ( R ) C O R G I ! o I T S C O Q P I T . I ) / C U P R ( & . I ) C O R R I 3 . I I = C O R R « 1 . I T / C O R p t s q l r S I G : C O R ° ( a o I I / C O R R ( S o l i - c O R P I 3 o I I O R P S I G = S O R T I S I G I 2 A o N R I T E I 3 . S O S ) I . C O 9 R ( « . I T . P O R R ¢ 3 . I I . S I G . R . C O R R ( I . I I 5 0 6 F O D U A T I I T O X o I h . F I I . c - F I I . A . F I I . A . F I I . A . F ) l . a ) C C C C C C C C C C C C C C C C C C C C H P I T E l 3 9 : 3 ‘ I I P A M € ( I " I = I . 1 ) S T A N 4 3 0 5 0 1 F O R U A T I I H l / l l i ' l o fi h l / / / / I l o x o a r A C T O R N U v R E R O F M E A N S T A N D A R D C O R R E L A T I o m t / l l 9 X o $ R E C O R D S O E V I A T I O N N I T H G P A D E ’ ) D O 2 2 3 I s l o l ? C 0 9 ( 6 9 1 ‘ t C O P ( 6 o I I o l . i - l c A V E 8 C O D I 3 o I ) / C O P ( 6 O I ‘ S I G = C O P I A . I I / C O R ( A . 1 ) - A V E A A P S I G = S O D T I S I G T R = I C O P ( ’ Q I ) - C O D I I . I ) ' ° 7 / C 0 9 ( 6 . I I ) ° ( C 0 R ( h o I I - C O R ( 3 - I ) * * 2 / C fl p ( h . l \ I 9 : 9 . l o E - ‘ n R = I C O R I S c I T - C O ° I I . I ) ° 7 O R ( 1 , I I / C O R ( 6 . I ) ) / S O R T ( R ) 2 2 0 N R I T E I 3 o S O A ) I o C O E I fi c I I o A V E o S I G g Q 5 0 5 F O R M A T I I I O o n h . F 1 2 . c . F I T . A . F I I . A . F 1 1 . A ) C C C C C C C C C C C C C C C C C C C C H P I T E ( 3 9 5 0 3 T 5 0 3 F O R M A T ( l / l / c h o t P O S T C U U R S E A T T I T U D E I T E " S A D J U S T E D F O R C H A N G E t / I l l I l O X o ‘ S H P V E Y N U M R E P 7 ‘ E S T R A N A D J z / I I I X o i l T E M R E C O R D S D R E P O S T P O S T z ) D O 2 3 0 1 3 1 9 1 2 J = I Z + I C H G ( I O ? ’ = C H G ( I O ’ ) ¢ l o E ' l 6 C H G ( I O ) ) a C H G ‘ I I ‘ , / C H G ‘ I Q , ) C H G I I o 3 I = C H G I I o 1 I / C H G ( I . ? T 2 3 0 W R I T E ( 3 o S O a ) I . C H G ( I o 2 ) o C M G ( I c 3 \ o C O P R I B o J ) . C H G I I o I I E N O