* M S U R E T U R N I N G M A T E R I A L S : P l a c e i n b o o k d r o p t o r e m o v e t h i s c h e c k o u t f r o m L I B R A R I E S . “ y o u r r e c o r d . F I N E S W 1 1 1 I - b e c h a r g e d i f b o o k i s r e t u r n e d a f t e r t h e d a t e s t a m p e d b e I o w . r : § , , x ¢ : . 1 Q L J u f ‘ fi i } : W / A M U L T I V A R I A T E A P P R O A C H T O T H E A S S E S S M E N T O F Q U A L I T Y I N A M E R I C A N D O C T O R A L I N S T I T U T I O N S : I M P L I C A T I O N S F O R P U B L I C P O L I C Y B Y J e a n e C r o u s e V i n s o n h a l e r A D I S S E R T A T I O N S u b m i t t e d t o M i c h i g a n S t a t e U n i v e r s i t y i n p a r t i a l f u l f i l l m e n t o f t h e r e q u i r e m e n t s f o r t h e d e g r e e o f D O C T O R O F P H I L O S O P H Y D e p a r t m e n t o f E d u c a t i o n a l A d m i n i s t r a t i o n 1 9 8 6 C o p y r i g h t b y J E A N E C R O U S E V I N S O N H A L E R 1 9 8 6 A B S T R A C T A M U L T I V A R I A T E A P P R O A C H T O T H E A S S E S S M E N T O F Q U A L I T Y I N A M E R I C A N D O C T O R A L I N S T I T U T I O N S : I M P L I C A T I O N S F O R P U B L I C P O L I C Y B y J e a n e C r o u s e V i n s o n h a l e r A s s e s s m e n t o f a c a d e m i c q u a l i t y i n i n s t i t u t i o n s o f h i g h e r e d u c a t i o n i s t h e n u m b e r o n e i s s u e c o n f r o n t i n g p o l i c y a n d d e c i s i o n - m a k e r s i n t h e U n i t e d S t a t e s t o d a y . T h i s s t u d y u s e d a p e r s o n a l c o m p u t e r , a s s o c i a t e d s o f t w a r e , m e t a - a n a l y t i c a l a n d i n d i c a t o r m e t h o d o l o g i e s , a n d p u b l i c e x t a n t d a t a b a s e s t o c r e a t e a n i n e x p e n s i v e H i g h e r E d u c a t i o n C o m p u t e r - B a s e d I n f o r m a t i o n S y s t e m ( H E C B I S ) f o r r e s e a r c h a n d d e c i s i o n - m a k i n g o n t h e p o p u l a t i o n o f o n e h u n d r e d a n d s e v e n t y - o n e A m e r i c a n d o c t o r a l i n s t i t u t i o n s . T h e H E C B I S c o n s i s t s o f a P e r s o n a l C o m p u t e r S y s t e m ( P C S ) a n d a D o c t o r a l I n s t i t u t i o n D a t a B a s e ( D I D B ) . T h e P C S w a s b a s e d o n A p p l e I I / I I c p e r s o n a l c o m p u t e r s a n d r e a d i l y a v a i l a b l e s o f t w a r e . D a t a u s e d w e r e t h e m o s t c o m p r e h e n s i v e , r e l e v a n t , a n d a c c u r a t e a v a i l a b l e f r o m g o v e r n m e n t d a t a c e n t e r s a n d m a j o r s t u d i e s o f a c a d e m i c q u a l i t y . I n c l u d e d w e r e t h i r t y - e i g h t q u a n t i t a t i v e m e a s u r e s o r g a n i z e d i n t o e i g h t c a t e g o r i e s o r d o m a i n s : S t u d e n t s , D e g r e e s , F a c u l t y , C o m p e n s a t i o n , A s s e t s , R e v e n u e , E x p e n d i t u r e s , a n d Q u a l i t y . J e a n e C r o u s e V i n s o n h a l e r F i v e a n a l y s e s w e r e p e r f o r m e d o n t h e d a t a b a s e u s i n g p e r s o n a l c o m p u t e r s o f t w a r e . 1 ) D e s c r i p t i v e A n a l y s i s . C o m m o n l y u s e d d e s c r i p t i v e s t a t i s t i c s a n d r a n k i n g m e t h o d s y i e l d e d m u c h t h e s a m e r e s u l t s a s i n o t h e r s t u d i e s . 2 ) C l u s t e r A n a l y s i s . I n t e r - c o r r e l a t i o n s a m o n g t h e t h i r t y - e i g h t q u a n t i t a t i v e v a r i a b l e s w e r e v e r y h i g h , m a n y r a n g i n g a b o v e 0 . 8 0 , s u g g e s t i n g t h a t e a c h d o m a i n c o u l d b e r e p r e s e n t e d b y a s i n g l e v a r i a b l e . A c l u s t e r a n a l y s i s o f v a r i a b l e s b y d o m a i n i n d i c a t e d t h a t o n l y e i g h t “ k e y v a r i a b l e s “ w e r e n e c e s s a r y - - o n e v a r i a b l e f o r e a c h d o m a i n . . 3 ) R e g r e s s i o n A n a l y s i s . M u l t i p l e c o r r e l a t i o n s f o r p r e d i c t i n g t h e k e y q u a l i t y v a r i a b l e f r o m t h e o t h e r s e v e n k e y v a r i a b l e s r a n g e d f r o m 0 . 8 9 t o 0 . 9 1 , i n d i c a t i n g t h a t a b o u t 8 0 2 o f t h e v a r i a n c e w a s p r e d i c t a b l e . 4 ) P r o f i l e A n a l y s i s . G r a p h i c d i s p l a y s o f i n s t i t u t i o n s a n d g r o u p s o f i n s t i t u t i o n s w e r e u s e d t o s h o w i n s t i t u t i o n a l s t a t u s o n t h e e i g h t k e y v a r i a b l e s r e l a t i v e t o t h e n a t i o n a l a v e r a g e . P r o f i l e s y i e l d e d v e r y p r o m i s i n g r e s u l t s . S i n g l e u n i v e r s i t y p r o f i l e s i s o l a t e d d i f f e r e n t d e c i s i o n - m a k i n g a p p r o a c h e s . M u l t i p l e i n s t i t u t i o n a l p r o f i l e s u n c o v e r e d p r e v i o u s l y u n r e p o r t e d r e l a t i o n s h i p s , i n c l u d i n g m a r k e d l y d i f f e r e n t p r o f i l e s f o r d i f f e r e n t t y p e s o f i n s t i t u t i o n s , f o r e x a m p l e , M i d w e s t e r n v e r s u s F a r W e s t e r n i n s t i t u t i o n s . 5 ) S t r u c t u r e A n a l y s i s . F a c t o r a n a l y s i s i n d i c a t e d f o u r l a t e n t d i m e n s i o n s o f J e a n e C r o u s e V i n s o n h a l e r d o c t o r a l i n s t i t u t i o n s : i n s t i t u t i o n s i z e , a c a d e m i c q u a l i t y , f a c u l t y c o m p e n s a t i o n , a n d g r a d u a t e e d u c a t i o n . A r e t r o s p e c t i v e a n a l y s i s o f c h a n g e s i n a c a d e m i c q u a l i t y r a n k i n g s s u g g e s t s t h a t t h e q u a l i t y o f a d o c t o r a l i n s t i t u t i o n i s n o t f i x e d , b u t i s a l t e r a b l e b y i n s t i t u t i o n a l d e c i s i o n s . T o A m e r i c a n P u b l i c H i g h e r E d u c a t i o n T h i s s t u d y i s d e d i c a t e d t o A m e r i c a n p u b l i c h i g h e r e d u c a t i o n w h i c h a f f o r d e d t o m e t h e o p p o r t u n i t y t o a t t a i n i t s h i g h e s t d e g r e e o f f e r i n g e n t i r e l y o n a p a r t - t i m e b a s i s o v e r a p e r i o d o f y e a r s , w h i l e m a i n t a i n i n g o t h e r r e s p o n s i b i l i t i e s . I t i s h o p e d t h a t t h i s r e s e a r c h s t u d y o n a c a d e m i c q u a l i t y w i l l , i n s o m e s m a l l w a y , h e l p t o e x t e n d t h e f r o n t i e r s o f k n o w l e d g e a b o u t t h e a c a d e m y a n d , t h u s , b e n e f i t a l l t h o s e w h o c o m e a f t e r . A C K N O W L E D G E M E N T S T h e w r i t e r w i s h e s t o e x p r e s s h e r s i n c e r e a p p r e c i a t i o n , i m m e m o r i a m , t o D r . R i c h a r d F e a t h e r s t o n e , m y m a j o r g r a d u a t e a d v i s o r a n d f i r s t s t u d y c h a i r p e r s o n , f o r h i s c o n f i d e n c e i n m y a b i l i t i e s a n d h i s g u i d a n c e t o m e d u r i n g m y d o c t o r a l p r o g r a m a n d i n t h e e a r l y s t a g e s o f t h i s s t u d y . E q u a l a p p r e c i a t i o n b e l o n g s t o m y s e c o n d c h a i r p e r s o n , D r . M a r y l e e D a v i s , a n o u t s t a n d i n g s c h o l a r , r e s e a r c h e r , a n d a d m i n i s t r a t o r w h o h a s b e e n a m e n t o r a n d f r i e n d o v e r t h e y e a r s a n d w h o p r o v i d e d w i s e c o u n s e l a n d g u i d a n c e t o m e d u r i n g t h e f i n a l s t a g e s o f t h i s d i s s e r t a t i o n . . T h a n k s a l s o b e l o n g s t o t h e r e m a i n i n g m e m b e r s o f m y c o m m i t t e e , D r . D a n i e l K r u g e r , D r . E l d o n N o n n a m a k e r , a n d D r . G o r d o n T h o m a s w h o p r o v i d e d i n t e r e s t , e n c o u r a g e m e n t , a n d s u p p o r t t h r o u g h o u t m y d o c t o r a l p r o g r a m . L a s t , a n d m o s t i m p o r t a n t l y , m y c o n t i n u i n g g r a t i t u d e b e l o n g s t o D r . J o h n V i n s o n h a l e r , m y m o s t f a i t h f u l a n d r e s p e c t e d c o l l e a g u e a n d h u s b a n d , w h o s e s t r o n g i n t e l l e c t , s u p e r i o r r e s e a r c h s k i l l s , a n d u n e q u i v o c a l s u p p o r t o f m y e f f o r t s a n d g o a l s , n o t o n l y s t r o n g l y c o n t r i b u t e d t o t h i s d i s s e r t a t i o n , b u t a l s o h e l p e d t o m a k e t h i s e f f o r t a m o s t e x c i t i n g i n t e l l e c t u a l a d v e n t u r e . i i i T A B L E O F C O N T E N T S C h a p t e r P a g e A C K N D N L E D B E M E N T S . I . . . . . . . . . . . . . . . . . I . I . . . - i i i L I S T O F T A B L E S I I . . . I O I I O I O I O I I O I I C I O I I I I O O X i L I S T D F F I G U R E S . I I I I I O O I O I O I O O O C I C C I D I D . . . x v I . T H E P R O B L E " I I . . . - C C C I O U O C O O O O O U O C I C I U I O I I . 1 I N T R O D U C T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 P U R P O S E O F T H E S T U D Y . . . . . . . . . . . . . . . . . . . . . . 1 0 R E S E A R C H Q U E S T I O N S A N D T H E H Y P O T H E S I S . . . . . 1 3 D E F I N I T I O N O F T E R M S . . . . . . . . . . . . . . . . . . . . . . . 1 6 S I G N I F I C A N C E O F T H E S T U D Y . . . . . . . . . . . . . . . . . 2 8 A S S U M P T I O N S O F T H E S T U D Y . . . . . . . . . . . . . . . . . . 3 0 L I M I T A T I O N S O F T H E S T U D Y . . . . . . . . . . . . . . . . . . 3 1 O V E R V I E W O F T H E D I S S E R T A T I O N . . . . . . . . . . . . . . 3 3 I I . R E L A T E D L I T E R A T U R E . I . . . . I . . . . . . . . . . . . I . . . . 3 5 I N T R O D U C T I O N C I D . . . I C C - O I C I I I I I I I I U U I I O I I I I 3 5 R E S E A R C H M E T H O D S U S E D I N T H E S T U D Y O F L A R G E C O M P L E X O R G A N I Z A T I O N S . . . . . . . . . . . . . 3 7 I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 7 C o m p u t e r - B a s e d I n f o r m a t i o n S y s t e m s . . . . . . 3 8 M e t a - A n a l y s i s o f E x t a n t D a t a . . . . . . . . . . . . 3 9 I n d i c a t o r s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 4 S u m m a r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 6 Q U A L I T Y A S S E S S M E N T M E T H O D S . . . . . . . . . . . . . . . . 4 7 I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 7 R e p u t a t i o n a l . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 9 C i t a t i o n s i n C i t a t i o n I n d e x e s . . . . . . . . . . . 5 1 F a c u l t y A w a r d s , H o n o r s , a n d P r i z e s a n d M e m b e r s h i p i n H o n o r i f i c O r g a n i z a t i o n s . . 5 2 S c o r e s o f E n t e r i n g S t u d e n t s o n S t a n d a r d i z e d T e s t s . . . . . . . . . . . . . . . . . . . . 5 3 I n s t i t u t i o n a l A f f l u e n c e . . . . . . . . . . . . . . . . . 5 4 S t u d e n t A c h i e v e m e n t s i n L a t e r L i f e . . . . . . 5 4 V a l u e - A d d e d . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 5 M u l t i d i m e n s i o n a l . . . . . . . . . . . . . . . . . . . . . . . . 5 6 S u m m a r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . S 7 E M P I R I C A L Q U A L I T Y A S S E S S M E N T S T U D I E S . . . . . . 5 8 I n t r a d u c t i o n C O C O - I I I C I I O I I I I I O . I O O O C I I I I 5 8 i v T A B L E O F C O N T E N T S - - C o n t i n u e d C h a p t e r P a g e E a r l y E m p i r i c a l S t u d i e s . . . . . . . . . . . . . . . . . 6 1 I n t r o d u c t i o n I I I I I I I I I I I I I I I I I I I I I I I I I I 6 1 F i r s t H u g h e s S t u d y ( 1 9 2 5 ) . . . . . . . . . . . . . 6 2 S e c o n d H u g h e s S t u d y ( 1 9 3 4 ) . . . . . . . . . . . . 6 3 K e n i S t D n S t U d y ( 1 9 5 9 ) I I I I I I I I I I I I I I I I I 6 5 M a j o r E m p i r i c a l S t u d i e s . . . . . . . . . . . . . . . . . 6 7 I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . 6 7 C a r t t e r S t u d y ( 1 9 6 6 ) . . . . . . . . . . . . . . . . . . 6 8 I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . 6 8 M e t h o d o l o g i c a l C o n c e r n s . . . . . . . . . . . . . 6 8 O b j e c t i v e s . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1 S a m p l i n g M e t h o d s a n d P r o c e d u r e s . . . . . 7 1 R e s u l t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 5 R o o s e - A n d e r s e n S t u d y ( 1 9 7 0 ) . . . . . . . . . . . 8 4 I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . 8 4 M e t h o d o l o g i c a l C o n c e r n s . . . . . . . . . . . . . 8 5 O b j e c t i v e s . . . . . . . . . . . . . . . . . . . . . . . . . . 8 6 S a m p l i n g M e t h o d s a n d P r o c e d u r e s . . . . . 8 6 R e s u l t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 0 C o n c l u s i o n s a n d R e c o m m e n d a t i o n s . . . . . 9 3 A s s o c i a t e d R e s e a r c h C o u n c i l s S t U d y ( 1 9 8 2 ) I I I I I I I I I I I I I I I I I I I I I I I I I 9 4 I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . 9 4 M e t h o d o l o g i c a l C o n c e r n s . . . . . . . . . . . . . 9 5 . O b j e c t i v e s . . . . . . . . . . . . . . . . . . . . . . . . . . 9 6 S a m p l i n g M e t h o d s a n d P r o c e d u r e s . . . . . 9 7 R e s u l t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 0 5 S u m m a r y a n d C o n c l u s i o n s . . . . . . . . . . . . . 1 1 8 O t h e r E m p i r i c a l S t u d i e s . . . . . . . . . . . . . . . . . 1 1 9 I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 9 C G S - E T S S t u d y ( 1 9 7 8 ) . . . . . . . . . . . . . . . . . . 1 2 0 H i g h e r E d u c a t i o n R e s e a r c h I n s t i t u t e S t u d y ( 1 9 7 9 ) . . . . . . . . . . . . . . . . . . . . . . . . 1 2 1 I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . 1 2 1 M e t h o d o l o g i c a l C o n c e r n s . . . . . . . . . . . . . 1 2 2 O b j e c t i v e s . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 2 S a m p l i n g M e t h o d s a n d P r o c e d u r e s . . . . . 1 2 3 R e s u l t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 5 S u m m a r y a n d C o n c l u s i o n s . . . . . . . . . . . . . 1 3 3 B o u r m a n G r a d u a t e a n d U n d e r g r a d u a t e S t u d i e s ( 1 9 8 3 ) . . . . . . . . . . . . . . . . . . . . . . 1 3 3 S u m m a r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 7 T A B L E O F C O N T E N T S - - C o n t i n u e d C h a p t e r P a g e T H E Q U E S T I O N O F A C A D E M I C Q U A L I T Y : S O M E C O N C L U S I O N S A N D I M P L I C A T I O N S . . . . . . . . . . . . 1 4 0 I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 4 0 E m p i r i c a l F i n d i n g s F r o m Q u a l i t y S t u d i e s . 1 4 1 M e t h o d s U s e d i n Q u a l i t y S t u d i e s . . . . . . . . . 1 4 4 T h e o r i e s o f A c a d e m i c Q u a l i t y . . . . . . . . . . . . 1 4 5 I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . 1 4 5 T h e F o l k l o r e T h e o r y . . . . . . . . . . . . . . . . . . . 1 4 6 T h e M u l t i v a r i a t e T h e o r y . . . . . . . . . . . . . . . 1 4 8 A R e p r i s e o n t h e M e a n i n g o f A c a d e m i c Q u a l i t y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 4 9 I I I . R E S E A R C H D E S I G N A N D M E T H O D S O F A N A L Y S I S . . . 1 5 2 I N T R O D U C T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 2 R E S E A R C H D E S I G N . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 4 R E S E A R C H M E T H O D S A N D P R O C E D U R E S . . . . . . . . . . . 1 5 8 T h e H i g h e r E d u c a t i o n C o m p u t e r - B a s e d I n f o r m a t i o n S y s t e m . . . . . . . . . . . . . . . . . . . . 1 5 8 I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 8 T h e P e r s o n a l C o m p u t e r S y s t e m . . . . . . . . . . 1 5 8 T h e D o c t o r a l I n s t i t u t i o n D a t a B a s e . . . . 1 6 0 T h e P o p u l a t i o n . . . . . . . . . . . . . . . . . . . . . . 1 6 1 T h e D a t a . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 6 2 F i l e O r g a n i z a t i o n a n d C o n t e n t s . . . . . . 1 6 5 T h e D e s c r i p t i v e A n a l y s e s . . . . . . . . . . . . . . . . 1 7 1 I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . 1 7 1 C a t e g o r i c a l V a r i a b l e s . . . . . . . . . . . . . . . . . . 1 7 2 Q u a n t i t a t i v e V a r i a b l e s . . . . . . . . . . . . . . . . 1 7 3 I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . 1 7 3 S u m m a r y S t a t i s t i c s . . . . . . . . . . . . . . . . . . 1 7 3 R a n k i n g s . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 7 8 R e d u c t i o n o f t h e D a t a B a s e . . . . . . . . . . . . . . 1 7 9 I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . 1 7 9 T h e C l u s t e r A n a l y s i s . . . . . . . . . . . . . . . . . . 1 8 1 T h e C o r r e l a t i o n A n a l y s e s . . . . . . . . . . . . . . 1 8 3 T h e F a c t o r A n a l y s e s . . . . . . . . . . . . . . . . . . . 1 8 7 S e l e c t i o n o f t h e K e y V a r i a b l e s . . . . . . . . 1 9 6 P r e d i c t i n g Q u a l i t y w i t h K e y V a r i a b l e s . . . 1 9 6 I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . 1 9 6 T h e R e g r e s s i o n A n a l y s e s . . . . . . . . . . . . . . . 1 9 7 G r a p h i c A n a l y s i s o f t h e D a t a B a s e . . . . . . . 2 0 1 I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0 1 T h e P r o f i l e A n a l y s e s . . . . . . . . . . . . . . . . . . 2 0 3 v i T A B L E O F C O N T E N T S - - C o n t i n u e d C h a p t e r . P a g e T h e U n d e r l y i n g S t r u c t u r e o f t h e D a t a B a s e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0 6 I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0 6 T h e F a c t o r S t r u c t u r e A n a l y s i s . . . . . . . . . 2 0 7 S U M M A R Y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0 9 I V I R E S U L T S O F T H E S T U D Y I I I - I I I I I I I I I I I I I I I I I I 2 1 3 I N T R O D U C T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1 3 T H E D E S C R I P T I V E A N A L Y S E S . . . . . . . . . . . . . . . . . . 2 1 5 I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1 5 C a t e g o r i c a l V a r i a b l e s . . . . . . . . . . . . . . . . . . . 2 1 6 I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1 6 S T A T E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1 7 R E G I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 0 C O N T R O L . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 2 S T A T U S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 3 C A L N D R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 4 L N D G R N T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 5 A A U Y R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 6 S E X . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 6 R A C E / E T H . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 7 S u m m a r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 8 Q u a n t i t a t i v e V a r i a b l e s . . . . . . . . . . . . . . . . . . 2 2 8 I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 8 S u m m a r y S t a t i s t i c s . . . . . . . . . . . . . . . . . . . . 2 2 8 R a n k i n g s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3 6 S t u d e n t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3 7 D e g r e e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3 7 F a c u l t y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3 8 C o m p e n s a t i o n . . . . . . . . . . . . . . . . . . . . . . . . 2 3 9 A s s e t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3 9 R e v e n u e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4 1 E x p e n d i t u r e . . . . . . . . . . . . . . . . . . . . . . . . . 2 4 2 Q u a l i t y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4 3 S u m m a r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4 4 R E D U C T I O N O F T H E D A T A B A S E . . . . . . . . . . . . . . . . 2 4 5 I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4 5 D o m a i n C o r r e l a t i o n A n a l y s e s . . . . . . . . . . . . . 2 4 6 S t u d e n t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4 8 D e g r e e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4 9 F a c u l t y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4 9 C o m p e n s a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5 0 A s s e t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5 0 v i i T A B L E O F C O N T E N T S - - C o n t i n u e d C h a p t e r P a g e R e v e n u e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5 0 E x p e n d i t u r e . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5 1 Q u a l i t y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5 1 D o m a i n F a c t o r A n a l y s e s . . . . . . . . . . . . . . . . . . 2 5 2 S e l e c t i o n o f t h e K e y V a r i a b l e s . . . . . . . . . . 2 5 4 P R E D I C T I N G Q U A L I T Y N I T H K E Y V A R I A B L E S . . . . . . 2 5 7 I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5 7 T h e R e g r e s s i o n A n a l y s e s . . . . . . . . . . . . . . . . . 2 5 8 T h e F i r s t S e t o f E i g h t K e y V a r i a b l e s . . . 2 5 8 T h e S e c o n d S e t o f E i g h t K e y V a r i a b l e s . 2 5 9 S u m m a r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 6 1 G R A P H I C D I S P L A Y S O F T H E D A T A B A S E . . . . . . . . . 2 6 2 I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 6 2 T h e P r o f i l e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 6 4 S u m m a r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 7 8 T H E U N D E R L Y I N G S T R U C T U R E O F T H E D A T A B A S E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 7 9 I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 7 9 T h e F a c t o r S t r u c t u r e A n a l y s i s . . . . . . . . . . . 2 7 9 T h e F o u r K e y V a r i a b l e s . . . . . . . . . . . . . . . . 2 8 8 S u m m a r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 9 1 A S U B S E Q U E N T A N A L Y S I S . . . . . . . . . . . . . . . . . . . . . 2 9 4 I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 9 4 T h e M e t a - A n a l y s i s . . . . . . . . . . . . . . . . . . . . . . . 2 9 7 R e s u l t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 0 0 T h e T o p - T e n D o c t o r a l I n s t i t u t i o n s . . . . . 3 0 0 T h e T o p - T w e n t y D o c t o r a l I n s t i t u t i o n s . . 3 0 1 W i n n e r s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 0 2 L o s e r s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 0 3 C o m e r s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 0 5 O t h e r T o p - R a t e d D o c t o r a l I n s t i t u t i o n s . 3 0 5 P u b l i c v e r s u s P r i v a t e C o n t r o l . . . . . . . . . 3 0 5 M i c h i g a n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 0 8 D i s c r e p a n c i e s B e t w e e n t h e N e b s t e r a n d V i n s o n h a l e r F a c u l t y Q u a l i t y R a t i n g s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 0 9 S u m m a r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 1 v i i i T A B L E O F C O N T E N T S - - C o n t i n u e d C h a p t e r P a g e V . S U M M A R Y , C O N C L U S I O N S , A N D R E C O M M E N D A T I O N S . F O R F U R T H E R R E S E A R C H I I I - I I I I I I I I I I I I I I I I 3 1 2 I N T R O D U C T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 2 S U M M A R Y A N D C O N C L U S I O N S . . . . . . . . . . . . . . . . . . . 3 1 2 I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 2 M e t h o d o l o g y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 3 S t u d y R e s u l t s - T h e D e s c r i p t i v e A n a l y s e s . 3 1 5 C a t e g o r i c a l V a r i a b l e s . . . . . . . . . . . . . . . . . 3 1 5 Q u a n t i t a t i v e V a r i a b l e s . . . . . . . . . . . . . . . . 3 1 6 S u m m a r y S t a t i s t i c s . . . . . . . . . . . . . . . . . . 3 1 6 R a n k i n g s . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 7 S t u d y R e s u l t s - - R e d u c t i o n o f t h e D a t a B a s e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2 0 S t u d y R e s u l t s - P r e d i c t i n g A c a d e m i c Q u a l i t y w i t h K e y V a r i a b l e s . . . ; . . . . . . . . 3 2 1 S t u d y R e s u l t s - - G r a p h i c D i s p l a y s o f t h e D a t a B a s e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2 2 S t u d y R e s u l t s - T h e U n d e r l y i n g S t r u c t u r e o f t h e D a t a B a s e . . . . . . . . . . . . . . . . . . . . . . 3 3 0 I M P L I C A T I O N S O F T H E S T U D Y . . . . . . . . . . . . . . . . . 3 3 2 R E C O M M E N D A T I O N S F O R F U R T H E R R E S E A R C H . . . . . . 3 3 4 A P P E N D I C E S A . A M E N D E D A L P H A B E T I C A L L I S T I N G O F D O C T O R A L I N S T I T U T I O N S , 1 9 8 1 - 1 9 8 2 . . . . . . . . 3 3 9 B . L I S T I N G O F D A T A V A R I A B L E S W I T H D E F I N I T I O N S A N D D A T A S O U R C E S I I I I I I I I I I I I I I I I I I I I I I I I 3 4 4 C . R A N K I N G S O F T H E E I G H T K E Y V A R I A B L E S . . . . . . . 3 5 8 R a n k i n g o f F u l l - T i m e G r a d u a t e S t u d e n t H e a d c o u n t , 1 9 8 1 - 1 9 8 2 . . . . . . . . . . . . . . . . . . 3 5 8 R a n k i n g o f D o c t o r ' s D e g r e e s C o n f e r r e d , 1 9 8 1 - 1 9 8 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 6 2 R a n k i n g o f F u l l - T i m e A c a d e m i c Y e a r T e n u r e d P r o f e s s o r s , 1 9 8 1 - 1 9 8 2 . . . . . . . . . 3 6 6 R a n k i n g o f A v e r a g e A c a d e m i c Y e a r C o m p e n s a t i o n o f P r o f e s s o r s , 1 9 8 1 - 1 9 8 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 7 0 R a n k i n g o f L i b r a r y V o l u m e A s s e t s , 1 9 8 1 - 1 9 8 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 7 4 R a n k i n g o f T o t a l C u r r e n t F u n d s R e v e n u e s , 1 9 8 1 - 1 9 8 2 . . . . . . . . . . . . . . . . . . . 3 7 8 i x T A B L E O F C O N T E N T S - - C o n t i n u e d C h a p t e r P a g e R a n k i n g o f E x p e n d i t u r e s f o r I n s t r u c t i o n , 1 9 8 1 - 1 9 8 2 . . . . . . . . . . . . . . . . 3 8 2 R a n k i n g o f F a c u l t y Q u a l i t y R a t i n g , 1 9 8 1 - 1 9 8 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 8 6 D . O T H E R P R O F I L E S O F I N T E R E S T . . . . . . . . . . . . . . . . 3 9 0 B I B L I O G R A P H Y I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I 4 0 2 T a b l e 1 0 . 1 1 . 1 2 . L I S T O F T A B L E S N u m b e r a n d P e r c e n t a g e I n c r e a s e o f D i s c i p l i n e s S u r v e y e d b y G e o g r a p h i c R e g i o n , 1 9 6 9 I I I I I I I I I I I I I I I I I I I I I J I I I I I I I I I N u m b e r a n d P e r c e n t a g e I n c r e a s e o f P r o g r a m s b y F i e l d o f K n o w l e d g e , 1 9 6 4 — 1 9 6 9 I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I . S u m m a r y o f M e a n I n t e r - C o r r e l a t i o n s o f A s s o c i a t e d R e s e a r c h C o u n c i l s F a c u l t y Q u a l i t y M e a s u r e w i t h O t h e r M e a s u r e s . . . . . . . . . . . . . . . . S u m m a r y o f M e a n I n t e r - C o r r e l a t i o n s o f F a c u l t y Q u a l i t y R a t i n g s i n t h e 1 9 7 0 R o o s e - A n d e r s e n a n d 1 9 8 2 A s s o c i a t e d R e s e a r c h C o u n c i l s S t u d i e s . . . . . . . . . . . . . . . . . . D a t a V a r i a b l e S t r u c t u r e , T y p e , C o d e , N u m b e r , a n d F i l e L o c a t i o n w i t h N u m b e r o f R ' s p m d m t s I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I S y m b o l s a n d D e f i n i t i o n s U s e d i n t h e D e s c r i p t i v e A n a l y s e s . . . . . . . . . . . . . . . . . . . . . . . l E i g h t - F a c t o r T h e o r e t i c a l M o d e l U n d e r l y i n g t h e T h i r t y - E i g h t @ u a n t i t a t i v e V a r i a b l e s . . . . S y m b o l s a n d D e f i n i t i o n s U s e d i n t h e C o r r e l a t i o n A n a l y s e s . . . . . . . . . . . . . . . . . . . . . . . S y m b o l s a n d D e f i n i t i o n s U s e d i n t h e F a c t o r A n a l y s e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . S y m b o l s a n d D e f i n i t i o n s U s e d i n t h e R e g r e s s i o n A n a l y s e s . . . . . . . . . . . . . . . . . . . . . . . . S y m b o l s a n d D e f i n i t i o n s U s e d i n t h e P r o f i l e A n a l y s e s . . . . . . . . . . . . . . . . . . . . . . . . . . . S u m m a r y o f t h e T h r e e T y p e s o f I n t e r - C o r r e l a t i o n R e s u l t s R e p o r t e d i n t h e S t U d y I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I N u m b e r a n d P e r c e n t a g e o f D o c t o r a l I n s t i t u t i o n s b y S t a t e , 1 9 8 1 - 1 9 8 2 . . . . . . . . . . . x i P a g e 8 7 1 1 4 1 1 7 1 6 7 1 6 9 1 8 2 1 8 3 1 8 7 1 9 7 2 0 2 2 0 9 2 1 8 L I S T O F T A B L E S - - C o n t i n u e d T a b l e 1 4 . 1 5 . 1 6 . 1 7 . 1 8 . 1 9 . 2 0 . 2 1 . 2 2 . 2 3 . 2 4 . 2 5 . 2 6 . P a g e S u m m a r y o f D o c t o r a l I n s t i t u t i o n s p e r S t a t e , 1 9 8 1 - 1 9 8 2 I I I I I I I I I I I I I I I I I I I I I I I I I I I 2 2 0 S u m m a r y o f D o c t o r a l I n s t i t u t i o n s a n d S t a t e s b y O B E R e g i o n , 1 9 8 1 - 1 9 8 2 . . . . . . . . . . . . 2 2 1 A v e r a g e N u m b e r o f D o c t o r a l I n s t i t u t i o n s p e r S t a t e b y O B E R e g i o n , 1 9 8 1 - 1 9 8 2 . . . . . . . . . 2 2 2 S u m m a r y o f D o c t o r a l I n s t i t u t i o n s b y T y p e o f C o n t r o l a n d A f f i l i a t i o n , 1 9 8 1 - 1 9 8 2 . . . . . . 2 2 3 S u m m a r y o f D o c t o r a l I n s t i t u t i o n s b y I n s t i t u t i o n a l S t a t u s , 1 9 8 1 - 1 9 8 2 . . . . . . . . . . . . 2 2 4 S u m m a r y o f D o c t o r a l I n s t i t u t i o n s b y C a l e n d a r S y s t e m , 1 9 8 1 - 1 9 8 2 . . . . . . . . . . . . . . . . . 2 2 5 S u m m a r y o f D o c t o r a l I n s t i t u t i o n s b y L a n d g r a n t a n d N A S U L G C M e m b e r s h i p S t a t u s , 1 9 8 1 - 1 9 8 2 e e e e e e e e e e e e e e e e e e e e e e e e e e 2 2 5 M e d i a n a n d M e a n o f t h e T h i r t y - E i g h t - Q u a n t i t a t i v e V a r i a b l e s b y D o m a i n . . . . . . . . . . . 2 3 1 R a n g e o f t h e T h i r t y - E i g h t Q u a n t i t a t i v e V a r i a b l e s b y D o m a i n . . . . . . . . . . . . . . . . . . . . . . . . 2 3 3 S u m m a r y o f t h e V a r i a b i l i t y o f t h e T h i r t y - E i g h t Q u a n t i t a t i v e V a r i a b l e s : S t a n d a r d D e v i a t i o n , R a n g e / S t a n d a r d D e v i a t i o n R a t i o , a n d S k e w n e s s . . . . . . . . . . . . . . 2 3 4 I n t e r - C o r r e l a t i o n s o f t h e T h i r t y - E i g h t Q u a n t i t a t i v e V a r i a b l e s b y D o m a i n . . . . . . . . . . . 2 4 7 V a r i m a x F a c t o r A n a l y s e s o f t h e T h i r t y - E i g h t Q u a n t i t a t i v e V a r i a b l e s b y D o m a i n . I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I 2 5 3 S u m m a r y o f F a c t o r L o a d i n g s a n d Q A R C F A C C o e f f i c i e n t s _ o f t h e T h i r t y - E i g h t Q u a n t i t a t i v e V a r i a b l e s b y D o m a i n . . . . . . . . . . 2 5 5 x i i L I S T O F T A B L E S — ~ C o n t i n u e d T a b l e 2 7 . 2 8 . 2 9 . 3 0 . 3 1 . 3 2 . 3 3 . 3 4 . 3 5 . 3 6 . ‘ 3 7 . 3 8 . P a g e R e g r e s s i o n A n a l y s i s o f t h e F i r s t S e t o f E i g h t K e y V a r i a b l e s . . . . . . . . . . . . . . . . . . . . . . . . 2 5 8 R e g r e s s i o n A n a l y s i s o f t h e S e c o n d S e t O f E i g h t K e y v a r . i a b l e s I I I I I I I I I I I I I I I I I I I I I 2 6 0 S u m m a r y o f t h e E i g h t K e y V a r i a b l e s U s e d i n t h e P r o f i l e A n a l y s i s w i t h t h e i r 2 6 4 D e ‘ i n i t i n n s I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I V a r i a b l e s D e l e t e d f r o m t h e O r i g i n a l M a t r i x o f T h i r t y - E i g h t Q u a n t i t a t i v e v a r i a b l e s I I I I I I I I I . I I I I I I I I I I I I I I I I I I I I I I I I I 2 8 0 C o m p a r i s o n o f Q u a n t i t a t i v e V a r i a b l e s U s e d i n t h e F u l l a n d R e d u c e d M a t r i c e s . . . . . . . . . . . 2 8 1 I n t e r - C o r r e l a t i o n s o f t h e R e d u c e d M a t r i x o f T h i r t y Q u a n t i t a t i v e V a r i a b l e s . . . . . . . . . . . 2 8 3 V a r i m a x F a c t o r A n a l y s i s o f t h e R e d u c e d M a t r i x o f T h i r t y Q u a n t i t a t i v e v a r i a b l a s I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I 2 8 7 R e g r e s s i o n A n a l y s i s o f t h e F o u r K e y v a r i a b l e s I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I 2 9 2 C o m p a r i s o n o f R e g r e s s i o n A n a l y s e s o f t h e E i g h t a n d F o u r K e y V a r i a b l e s . . . . . . . . . . . . . . . 2 9 3 F a c u l t y Q u a l i t y R a n k i n g s o f A m e r i c a ' s T o p - R a t e d D o c t o r a l I n s t i t u t i o n s , 1 9 2 5 - 1 9 5 9 . 2 9 8 F a c u l t y Q u a l i t y R a n k i n g s o f A m e r i c a ' s T o p - R a t e d D o c t o r a l I n s t i t u t i o n s , 1 9 5 9 - 1 9 8 2 . 2 9 9 F a c u l t y Q u a l i t y R a n k i n g s o f A m e r i c a ' s T o p — R a t e d D o c t o r a l I n s t i t u t i o n s , 1 9 2 5 - 1 9 8 2 . 3 0 0 x i i i L I S T O F T A B L E S - - C o n t i n u e d T a b l e P a g e 3 9 . P u b l i c l y a n d P r i v a t e l y C o n t r o l l e d T o p - T e n a n d T o p - T w e n t y R a n k e d D o c t o r a l I n s t i t u t i o n s , 1 9 2 5 - 1 9 8 2 I I I I I I I I I I I I I I I I I I I I g I I I I I I I I I I I I I I 3 0 6 4 0 . C o m p a r i s o n o f W e b s t e r a n d V i n s o n h a l e r . F a c u l t y Q u a l i t y R a n k i n g s , 1 9 2 5 a n d 1 9 8 2 . . . . 3 1 0 x i v L I S T O F F I G U R E S F i g u r e P a g e 1 . O v e r v i e w o f t h e R e s e a r c h D e s i g n a n d P r o c e d u r e s I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I 1 5 7 2 . P r o f i l e o f t h e U n i v e r s i t y o f C a l i f o r n i a - B e r k e l e y a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 . . . 2 6 5 3 . P r o f i l e o f M i c h i g a n S t a t e U n i v e r s i t y a n d t h e U n i v e r s i t y o f M i c h i g a n - A n n A r b o r , 1 9 8 1 - 1 9 8 2 e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e 2 6 7 4 . P r o f i l e o f P u b l i c a n d P r i v a t e D o c t o r a l ‘ I n s t i t u t i m s , 1 9 8 1 - 1 9 8 2 I I I I I I I I I I I I I I I I I I I 2 6 9 5 . P r o f i l e o f L a n d g r a n t a n d N o n - L a n d g r a n t ‘ D o c t o r a l I n s t i t u t i o n s , 1 9 8 1 - 1 9 8 2 . . . . . . . . . . 2 7 1 6 . P r o f i l e o f D o c t o r a l I n s t i t u t i o n s i n M i c h i g a n a n d t h e U n i t e d S t a t e s , 1 9 8 1 - 1 9 8 2 I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I 2 7 2 7 . P r o f i l e o f D o c t o r a l I n s t i t u t i o n s i n t h e G r e a t L a k e s R e g i o n a n d t h e U n i t e d S t a t e s , 1 9 8 1 - 1 9 8 2 I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I 2 7 4 8 . P r o f i l e o f D o c t o r a l I n s t i t u t i o n s i n t h e F a r W e s t R e g i o n a n d t h e U n i t e d S t a t e s , 1 9 8 1 — 1 9 8 2 I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I 2 7 S 9 . P r o f i l e o f M i c h i g a n S t a t e U n i v e r s i t y a n d t h e B i g T e n D o c t o r a l I n s t i t u t i o n s , 1 9 8 1 — 1 9 8 2 I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I 2 7 7 1 0 . P r o f i l e o f M i c h i g a n S t a t e U n i v e r s i t y a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 . . . . . . . . . . . . . . . . . . . . 3 2 4 1 1 . P r o f i l e o f M i c h i g a n S t a t e U n i v e r s i t y a n d t h e S t a t e o f M i c h i g a n A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 . . . . . . . . . . . . . . . . . . . . 3 2 5 1 2 . P r o f i l e o f A r i z o n a S t a t e U n i v e r s i t y a n d t h e U n i v e r s i t y o f A r i z o n a , 1 9 8 1 - 1 9 8 2 . . . . . . 3 2 7 X V A U J ~ ( I ~ L I S T O F F I G U R E S F i g u r e P a g e 1 3 . P r o f i l e o f t h e U n i v e r s i t y o f A r i z o n a a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n S t i t u t i D fl , 1 9 8 1 - 1 9 8 2 e e e e e e e e e e e e e e e e e e e e 3 8 7 1 4 . P r o f i l e o f t h e U n i v e r s i t y o f C a l i f o r n i a - L o s A n g e l e s a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 . . . . . . . . . . . 3 8 7 1 5 . P r o f i l e o f t h e U n i v e r s i t y o f C o n n e c t i c u t a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n fi t i t u t i a fl , 1 9 8 1 - 1 9 8 2 e e e e e e e e e e e e e e e e e e e e 3 8 8 1 6 . P r o f i l e o f t h e U n i v e r s i t y o f D e t r o i t a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I D S t i t U t i O fl , 1 9 8 1 - 1 9 8 2 e e e e e e e e e e e e e e e e e e e e 3 8 8 1 7 . P r o f i l e o f H a r v a r d U n i v e r s i t y a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I H S t i t U t i D n , 1 9 8 1 - 1 9 8 2 e e e e e e e e e e e e e e e e e e e e 3 8 9 1 8 . P r o f i l e o f t h e U n i v e r s i t y o f I o w a a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n S t i t u t i o n ’ 1 9 8 1 - 1 9 3 2 e e e e e e e e e e e e e e e e e e e e 3 8 9 1 9 . P r o f i l e o f J o h n H o p k i n s U n i v e r s i t y a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 3 1 - 1 9 8 2 I I I I I I I I I I I I I I I I I I I I 3 9 0 2 0 . P r o f i l e o f t h e U n i v e r s i t y o f K a n s a s M C a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I fl S t i t U t i D fl , 1 9 8 1 - 1 9 8 2 e e e e e e e e e e e e e e e e e e e e 3 9 0 2 1 . P r o f i l e o f t h e U n i v e r s i t y o f K e n t u c k y a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 % 1 _ 1 9 8 2 I I I I I I I I I V I I I I I I I I I I I 3 9 1 2 2 . P r o f i l e o f t h e U n i v e r s i t y o f M i c h i g a n - A n n A r b o r a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 . . . . . . . . . . . 3 9 1 2 3 . P r o f i l e o f N o r t h w e s t e r n U n i v e r s i t y a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n fi t i t U t i O n , 1 9 8 1 - 1 9 8 2 e e e e e e e e e e e e e e e e e e e e x v i L I S T O F F I G U R E S F i g u r e P a g e 2 4 . P r o f i l e o f O h i o S t a t e U n i v e r s i t y M C a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I D S t i t U t i O fl , 1 9 8 1 - 1 9 8 2 e e e e e e e e e e e e e e e e e e e e 3 9 2 2 5 . P r o f i l e o f S t a n f o r d U n i v e r s i t y a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 I I I I I I I I I I I I I I I I I I I I 3 9 3 2 6 . P r o f i l e o f t h e S t a t e U n i v e r s i t y o f N e w Y o r k a t A l b a n y a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 . . . 3 9 3 2 7 . P r o f i l e o f t h e S t a t e U n i v e r s i t y o f N e w Y o r k a t B i n g h a m t o n a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 . . . 3 9 4 2 8 . P r o f i l e o f t h e S t a t e U n i v e r s i t y o f N e w Y o r k a t B u f f a l o M C a n d t h e U n i t e d S t a t e s " A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 . . . 3 9 4 2 9 . P r o f i l e o f t h e S t a t e U n i v e r s i t y o f N e w Y o r k a t S t o n y B r o o k M C a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 9 5 3 0 . P r o f i l e o f t h e U n i v e r s i t y o f T e n n e s s e e a t K n o x v i l l e a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 . . . 3 9 5 3 1 . P r o f i l e o f t h e U n i v e r s i t y o f T e x a s a t A u s t i n a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 — 1 9 8 2 . . . . . . . . . . . 3 9 6 3 2 . P r o f i l e o f t h e U n i v e r s i t y o f W a s h i n g t o n a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n g t i t u t i m ’ 1 9 8 1 ‘ 1 9 8 2 I I I I I I I I I I I I I I I I I I I I 3 9 6 ~ 3 3 . P r o f i l e o f W a y n e S t a t e U n i v e r s i t y a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 . . . . . . . . . . . . . . . . . . . . 3 9 7 3 4 . P r o f i l e o f W e s t e r n M i c h i g a n U n i v e r s i t y a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 I I I I I I I I I I I I I I I I I I I I 3 9 7 x v i i F i g u r e P a g e L I S T O F F I G U R E S 3 5 . 3 6 . P r o f i l e o f t h e U n i v e r s i t y o f W i s c o n s i n - M a d i s o n a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 . . . 3 9 8 P r o f i l e o f Y a l e U n i v e r s i t y a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 . . . - . . . . . . I . . . . . . . O O I I I O I I I I I I I . . . 3 9 8 x v i i i C H A P T E R I T H E P R O B L E M I N T R O D U C T I O N D u r i n g t h e 1 9 6 0 s a n d 1 9 7 0 s , f r e q u e n t l y t e r m e d t h e ” g o l d e n a g e o f A m e r i c a n h i g h e r e d u c a t i o n , ” h i g h e r e d u c a t i o n w a s i n a p e r i o d o f g r o w t h a n d e x p a n s i o n . T h e p r i m a r y g o a l w a s i n c r e a s e d a c c e s s a n d t h e r e w a s s o m e t h i n g f o r e v e r y o n e . I n s t i t u t i o n s r e q u e s t e d a n d r e c e i v e d r e s o u r c e s n e e d e d f o r p r o g r a m e x p a n s i o n a n d p o w e r f u l l o c a l a n d r e g i o n a l i n t e r e s t s w e r e s e r v e d b y t h e c r e a t i o n o f n e w i n s t i t u t i o n s . B u t a n u m b e r o f d e m o g r a p h i c , e c o n o m i c , p o l i t i c a l , a n d s o c i a l f o r c e s i n t h e l a t e 1 9 7 0 5 a n d e a r l y 1 9 8 0 s h a v e n o w b r o u g h t t h i s g r o w t h t o a s t a n d s t i l l . W i t h t h e d e m i s e o f g r o w t h , a t t e n t i o n h a s n o w t u r n e d t o t h e d e m o n s t r a t e d e f f e c t i v e n e s s o f i n s t i t u t i o n s i n m e e t i n g q u a l i t y g o a l s . D u a l i t y i m p l i e s m a k i n g j u d g m e n t s a n d m a i n t a i n i n g s t a n d a r d s . I f s t a n d a r d s a r e s e t h i g h , t h e n s o m e s t u d e n t s w i l l n o t m e a s u r e u p , s o m e i n s t i t u t i o n s w i l l b e j u d g e d m e d i o c r e , s o m e p r o g r a m s w i l l b e f o u n d l a c k i n g , a n d s o m e r e s e a r c h a n d d e v e l o p m e n t e f f o r t s w i l l b e l e s s e f f e c t i v e . W h e r e q u a l i t y g o a l s d e t e r m i n e t h e a l l o c a t i o n o f l i m i t e d r e s o u r c e s , t h e r e a r e w i n n e r s a n d l o s e r s ( E y l e r , 1 9 8 4 , 5 7 - 5 8 ) . T h u s , t h e c r i t i c a l i s s u e f o r h i g h e r e d u c a t i o n t o d a y i s t h e i d e n t i f i c a t i o n a n d a s s e s s m e n t o f t h e q u a l i t y o f h i g h e r e d u c a t i o n i n s t i t u t i o n s . S o m e m a i n t a i n , h o w e v e r , t h a t ” q u a l i t y s i m p l y c a n n o t b e d e f i n e d o r m e a s u r e d b e c a u s e t h e a c t i v i t i e s o f i n s t i t u t i o n s a r e t o o c o m p l e x a n d v a r i e d , b e c a u s e d i f f e r e n t i n s t i t u t i o n s h a v e d i f f e r e n t o b j e c t i v e s , b e c a u s e t h e o u t c o m e s o f h i g h e r e d u c a t i o n a r e t o o s u b t l e , b e c a u s e m e t h o d o l o g i c a l p r o b l e m s a r e i n s u r m o u n t a b l e , “ a n d s o f o r t h . H o w e v e r , t h i s v i e w “ f a i l s t o r e c o g n i z e t h a t j u d g m e n t s a b o u t q u a l i t y i n h i g h e r e d u c a t i o n a r e m a d e e v e r y d a y . A n d t h e s e j u d g m e n t s . . . . f o r m t h e b a s i s f o r i m p o r t a n t l i f e d e c i s i o n s . S t u d e n t s d e c i d i n g w h i c h c o l l e g e o r g r a d u a t e s c h o o l t o a t t e n d , p r o s p e c t i v e p r o f e s s o r s d e c i d i n g w h e r e t o a p p l y f o r a j o b , o f f i c i a l s o f f e d e r a l a g e n c i e s o r p h i l a n t h r o p i c f o u n d a t i o n s d e c i d i n g w h e r e t o a w a r d g r a n t s , a n d s t a t e b u d g e t o f f i c e r s d e c i d i n g h o w t o a l l o c a t e r e s o u r c e s a m o n g v a r i o u s i n s t i t u t i o n s w i t h i n a s y s t e m - - a l l a r e m a k i n g q u a l i t y a s s e s s m e n t s " ( A s t i n , 1 9 8 0 ) . T h e f e w c a r e f u l l y c o n d u c t e d n a t i o n a l a s s e s s m e n t s o f q u a l i t y i n g r a d u a t e e d u c a t i o n s i n c e 1 9 6 4 , s u c h a s t h o s e o f : K e n i s t o n ( 1 9 5 9 ) , C a r t t e r ( 1 9 6 6 ) , R o o s e - A n d e r s e n ( 1 9 7 0 ) , a n d J o n e s , L i n d z e y , a n d C o g g e s h a l l ( 1 9 8 2 ) h a v e s t r o n g l y d e m o n s t r a t e d t h e r e l i a b i l i t y a n d v a l i d i t y o f m u l t i v a r i a t e q u a l i t y a s s e s s m e n t s . H o w e v e r , t h e q u e s t i o n s o f w h a t m e a s u r e s t o u s e t o a s s e s s a c a d e m i c q u a l i t y a n d o f a n a p p r o p r i a t e a s s e s s m e n t m e t h o d o l g y s t i l l r e m a i n . A m a j o r r e a s o n f o r t h e l a c k o f p r o g r e s s h a s b e e n t h e d i f f i c u l t y a n d e x p e n s e i n v o l v e d i n t h e c o l l e c t i o n a n d p r o c e s s i n g o f a c c u r a t e a n d t i m e l y d a t a i n a u s a b l e f o r m . H o w e v e r , t h e r e e x i s t s , a v a s t a m o u n t o f r e l i a b l e , c o n s i s t e n t , a n d t i m e l y d a t a r e l a t i n g t o t h e c h a r a c t e r i s t i c s o f d o c t o r a l i n s t i t u t i o n s i n ” e x t a n t d a t a b a s e s “ i n t h e p u b l i c d o m a i n , b u t k n o w l e d g e o f h o w t o o b t a i n , o r g a n i z e , a n d u s e i t h a s l i m i t e d i t s u s e f u l l n e s s f o r t h e t y p i c a l h i g h e r e d u c a t i o n d e c i s i o n m a k e r . T h u s , t h e r e i s a c l e a r a n d c o m p e l l i n g n e e d f o r r e l i a b l e , v a l i d , i n e x p e n s i v e , a c c e s s i b l e , a n d c e n t r a l l y o r g a n i z e d e m p i r i c a l d a t a s p e c i f i c t o t h e c h a r a c t e r i s t i c s o f d o c t o r a l i n s t i t u t i o n s t o a s s i s t h i g h e r e d u c a t i o n d e c i s i o n m a k e r s i n m a k i n g r a t i o n a l a n d t i m e l y d e c i s i o n s . T h i s c a n b e s t b e a c h i e v e d , t h i s r e s e a r c h e r b e l i e v e s , t h r o u g h s t a t e - o f - t h e — a r t p e r s o n a l c o m p u t e r t e c h n o l o g y , m e t a - a n a l y t i c a n d i n d i c a t o r m e t h o d o l o g i e s , a n d e s t a b l i s h e d s o p h i s t i c a t e d s t a t i s t i c a l t e c h n i q u e s . F u r t h e r , t h e r e i s a n e e d f o r i d e n t i f i c a t i o n a n d u n d e r s t a n d i n g o f t h o s e k e y c h a r a c t e r i s t i c s w h i c h u n d e r l i e a c a d e m i c q u a l i t y a n d f o r n o r m a t i v e d a t a a g a i n s t w h i c h d o c t o r a l i n s t i t u t i o n s c a n m e a s u r e t h e m s e l v e s . F i n a l l y , t h e r e i s a n e e d t o b e g i n d e v e l o p i n g a n e m p i r i c a l l y s o u n d c l a s s i f i c a t i o n s y s t e m o f d o c t o r a l i n s t i t u t i o n s s o t h a t h i g h e r e d u c a t i o n p o l i c y m a k e r s c a n m o r e a c c u r a t e l y a s s e s s t h e n a t u r e o f t h e s e i n s t i t u t i o n s a n d t h e p o t e n t i a l e f f e c t o f t h e i r d e c i s i o n s . T h e r e f o r e , t h e c e n t r a l f o c u s o f t h i s d i s s e r t a t i o n i s o n t h e e x a m i n a t i o n o f a m u l t i v a r i a t e a p p r o a c h t o t h e a s s e s s m e n t o f a c a d e m i c q u a l i t y i n h i g h e r e d u c a t i o n . A c a d e m i c q u a l i t y , a s u s e d w i t h i n t h e c o n t e x t o f t h i s d i s s e r t a t i o n , i s a n e v a l u a t i o n o r a s s e s s m e n t w h i c h a s s i s t s p o t e n t i a l s t u d e n t s a n d f a c u l t y m e m b e r s , d e c i s o n a n d p o l i c y m a k e r s , a n d o t h e r s i n m a k i n g i m p o r t a n t j u d g m e n t s a b o u t d o c t o r a l i n s t i t u t i o n s , s u c h a s t h e s e l e c t i o n o f a n i n s t i t u t i o n : . f o r e d u c a t i o n b y a s t u d e n t , f o r e m p l o y m e n t b y a f a c u l t y m e m b e r , f o r r e c o g n i t i o n a s a n i m p o r t a n t c o n t r i b u t o r t o a c a d e m i c k n o w l e d g e , a s a n i m p o r t a n t t r a i n i n g p l a c e f o r t h e t r a n s m i s s i o n o f s u c h k n o w l e d e g e , o r f o r t h e a l l o c a t i o n o f f u n d s . M o s t p a s t s t u d i e s o f a c a d e m i c q u a l i t y h a v e t r e a t e d q u a l i t y a s a n u n i d i m e n s i o n a l a t t r i b u t e o f a d i s c i p l i n e , o n l y r a r e l y a g g r e g a t i n g t h e i n f o r m a t i o n f o r i n s t i t u t i o n s a s - a w h o l e . R e c e n t l y a n e w a p p r o a c h h a s b e e n p r o p o s e d : a m u l t i d i m e n s i o n a l o r m u l t i v a r i a t e a p p r o a c h t o a c a d e m i c q u a l i t y . I n t h i s a p p r o a c h , a s e t o f v a r i a b l e s i s u s e d t o d e f i n e a c a d e m i c q u a l i t y . F r o m t h i s v i e w , a n y s i n g l e q u a l i t y v a r i a b l e o f f e r s o n l y p a r t o f t h e i n f o r m a t i o n n e c e s s a r y t o m a k e q u a l i t y - o r i e n t e d d e c i s i o n s . F o r e x a m p l e , c o n s i d e r t h e a s s i g n m e n t o f s t a t e a p p r o p r i a t i o n s . S u p p o s e s e v e r a l p u b l i c i n s t i t u t i o n s w i t h i n a s t a t e h a v e b e e n q u a l i t a t i v e l y r a n k e d o n f a c u l t y a c h i e v e m e n t s . F u r t h e r s u p p o s e t h a t t h e s t a t e h a s o n l y l i m i t e d f u n d i n g a v a i l a b l e a n d , t h u s , i s f a c e d w i t h t h e p r o b l e m o f t r y i n g t o d e c i d e h o w m u c h t o a l l o c a t e t o e a c h o f t h e i n s t i t u t i o n s , e a c h o f w h i c h i s a s s e r t i n g g r e a t f i n a n c i a l d i s t r e s s a n d w a r n i n g o f a s e v e r e l o s s o f " q u a l i t y “ i f i t s r e q u e s t s a r e n o t g r a n t e d . I n o r d e r t o m a k e a g o o d d e c i s i o n , s t a t e d e c i s i o n m a k e r s w o u l d n e e d t o k n o w m o r e t h a n s i m p l y t h e t r a d i t i o n a l b u d g e t d a t a a n d u n s u p p o r t e d e s t i m a t e s o f i n s t i t u t i o n a l q u a l i t y . F o r e x a m p l e , i t w o u l d a l s o b e h e l p f u l t o k n o w f r o m a n a t i o n a l , r e g i o n a l , a n d s t a t e p e r s p e c t i v e h o w e a c h o f t h e i n s t i t u t i o n s " m e a s u r e u p " o n t h e i m p o r t a n t c o r r e l a t e s o f a c a d e m i c q u a l i t y , s u c h a s : 1 ) f a c u l t y m e a s u r e s ( f o r e x a m p l e , f a c u l t y n u m b e r a n d c o m p e n s a t i o n b y r a n k ) ; 2 ) i n s t i t u t i o n a l s i z e m e a s u r e s ( f o r e x a m p l e , n u m b e r s o f s t u d e n t s , f a c u l t y , a n d d e g r e e s g r a n t e d ) ; a n d 3 ) f i n a n c i a l m e a s u r e s ( f o r e x a m p l e , a s s e t s , r e v e n u e s f r o m v a r i o u s s o u r c e s , a n d e x p e n d i t u r e s b y t y p e ) . F u r t h e r , i t w o u l d b e u s e f u l t o h a v e i n f o r m a t i o n o n t h e r e l a t i o n s h i p a m o n g t h e s e i m p o r t a n t i n s t i t u t i o n a l c h a r a c t e r i s t i c s f o r e a c h o f t h e i n s t i t u t i o n s u n d e r c o n s i d e r a t i o n . F o r e x a m p l e : 1 ) D o i n s t i t u t i o n a l a s s e t s a n d r e v e n u e s a p p e a r s u f f i c i e n t t o s u p p o r t t h e s i z e o f t h e s t u d e n t b o d y ? a n d 2 ) W h a t a r e i n s t i t u t i o n a l p r i o r i t i e s , n o t i n s o m e v a g u e v e r b a l s e n s e , b u t i n t e r m s o f t h e w a y t h e i n s t i t u t i o n a c t u a l l y s p e n d s i t s m o n e y ? T h u s , t h e m u l t i v a r i a t e q u a l i t y a r g u m e n t a s s e r t s t h a t a s i n g l e m e a s u r e o f a c a d e m i c q u a l i t y i s s e l d o m a d e q u a t e f o r r e a l - w o r l d d e c i s i o n m a k i n g . W h i l e m a n y o t h e r s t u d i e s o f a c a d e m i c q u a l i t y h a v e t a k e n a m u l t i v a r i a t e a p p r o a c h , n o n e h a s p e r f o r m e d a c o m p r e h e n s i v e r e - t h i n k i n g o f a l l a s p e c t s o f a c a d e m i c q u a l i t y f r o m a m u l t i v a r i a t e p o i n t o f v i e w - - f r o m a d e s c r i p t i o n o f t h e p o p u l a t i o n t o t h e r e p o r t i n g o f q u a l i t y t o t h e e x a m i n a t i o n o f t h e o r i e s o f a c a d e m i c q u a l i t y . T h u s , t h e p u r p o s e o f t h i s d i s s e r t a t i o n i s t o p e r f o r m a c o m p r e h e n s i v e s t u d y o f a c a d e m i c q u a l i t y i n a l l o f i t s a s p e c t s f r o m t h e m u l t i v a r i a t e p o i n t o f v i e w o n a p o p u l a t i o n n e v e r b e f o r e s t u d i e d i n t h i s m a n n e r : t h e o n e h u n d r e d a n d s e v e n t y - o n e d o c t o r a l i n s t i t u t i o n s i n t h e U n i t e d S t a t e s . I n t h e f o l l o w i n g s e c t i o n , t h e p r o b l e m w i l l b e r e s t a t e d i n t e r m s o f s u b - p r o b l e m s o r o b j e c t i v e s . F o r e a c h o b j e c t i v e , a s e t o f l i t e r a t u r e r e v i e w a n d e m p i r i c a l r e s e a r c h q u e s t i o n s w i l l b e s t a t e d . , A d d i t i o n a l l y , o n e r e s e a r c h h y p o t h e s i s w i l l a l s o b e s t a t e d . B e f o r e p r o c e e d i n g , h o w e v e r , t w o d e f i n i t i o n s a r e i n o r d e r . T h e f i r s t d e f i n i t i o n i s a m u l t i v a r i a t e d e f i n i t i o n o f a c a d e m i c q u a l i t y w h i c h i s s i m p l i c i t y i t s e l f : I n t h e m u l t i v a r i a t e a p p r o a c h , a c a d e m i c q u a l i t y i s d e f i n e d i n t e r m s o f a s e t o f v a r i a b l e s , r a t h e r t h a n a s a s i n g l e v a r i a b l e . T h i s s e t i s c o m p o s e d o f v a r i a b l e s w h i c h a r e e i t h e r c l o s e l y r e l a t e d t o a c a d e m i c q u a l i t y o r w h i c h h i g h l y c o r r e l a t e w i t h a c a d e m i c q u a l i t y , t h a t i s , t h e y p o t e n t i a l l y a r e i m p o r t a n t i n d e c i s i o n m a k i n g a b o u t a c a d e m i c q u a l i t y . T h e s e v a r i a b l e s c a n i n c l u d e b o t h s u b j e c t i v e j u d g m e n t s , s u c h a s r a t i n g s , a s w e l l a s q u a n t i t a t i v e m e a s u r e s . T h e s e c o n d d e f i n i t i o n i s o f t h e a s p e c t s o f a c a d e m i c q u a l i t y r e s e a r c h w h i c h m u s t b e r e - e x a m i n e d f r o m t h e p o i n t o f v i e w o f o u r d e f i n i t i o n o f m u l t i v a r i a t e a c a d e m i c q u a l i t y . T h e f i r s t a s p e c t c o n c e r n s a d e s c r i p t i o n o f t h e g p o p u l a t i o n o f d o c t o r a l i n s t i t u t i o n s . T h e d e s c r i p t i o n m u s t i n c l u d e , t o t h e d e g r e e p o s s i b l e , a l l o f t h e i m p o r t a n t o b s e r v a b l e c a t e g o r i c a l a n d q u a n t i t a t i v e c h a r a c t e r i s t i c s o f d o c t o r a l i n s t i t u t i o n s w h i c h a s s i s t p e o p l e i n c o m p r e h e n d i n g t h e d e s c r i p t i o n . F u r t h e r , t h e q u a n t i t a t i v e v a r i a b l e s w h i c h a r e s i m i l a r t o e a c h o t h e r s h o u l d b e g r o u p e d i n t o s u b - s e t s , u s u a l l y r e f e r r e d t o a s d o m a i n s i n m e a s u r e m e n t t h e o r y . T h u s , t h e t o t a l n u m b e r o f s t u d e n t s , t h e n u m b e r o f f u l l - t i m e — e q u i v a l e n t ( F T E ) s t u d e n t s , a n d t h e t o t a l n u m b e r o f g r a d u a t e s t u d e n t s m i g h t b e c o m b i n e d i n t o a d o m a i n c a l l e d ” s t u d e n t c h a r a c t e r i s t i c s . “ T h e s e c o n d a s p e c t c o n c e r n s t h e c o m p r e h e n s a b i l i t y o f a m u l t i v a r i a t e d e s c r i p t i o n . T h a t i s , w e n e e d t o d e t e r m i n e w h i c h o f t h e h i g h l y c o r r e l a t e d q u a n t i t a t i v e v a r i a b l e s w i t h i n a d o m a i n i s t h e m o s t i m p o r t a n t o r “ k e y v a r i a b l e ” a n d , t h e r e f o r e , c o u l d r e p r e s e n t a l l o f t h e o t h e r s . I n t h i s m a n n e r , t h e e n t i r e s e t o f q u a n t i t a t i v e v a r i a b l e s c a n b e r e p l a c e d w i t h a r e l a t i v e l y f e w k e y v a r i a b l e s w h i c h w o u l d g r e a t l y r e d u c e d e c i s i o n c o m p l e x i t y . T h e t h i r d a s p e c t c o n c e r n s t h e r e l a t i o n s h i p b e t w e e n t h e k e y q u a l i t y v a r i a b l e a n d t h e o t h e r k e y q u a n t i t a t i v e v a r i a b l e s . T h i s i s i m p o f t a n t s o t h a t t h e r e w i l l b e n o m a j o r l o s s i n t h e a b i l i t y t o p r e d i c t q u a l i t y w h e n t h e n u m b e r o f d e s c r i p t i v e v a r i a b l e s i s r e d u c e d . T h a t i s , t h e k e y q u a l i t y v a r i a b l e s h o u l d b e h i g h l y p r e d i c t a b l e f r o m t h e o t h e r k e y v a r i a b l e s . T h e f o u r t h a s p e c t c o n c e r n s t h e r e p o r t i n g o f t h e r e s u l t s o f t h e m u l t i v a r i a t e r e p r e s e n t a t i o n s o f a c a d e m i c q u a l i t y . U n i v a r i a t e s t u d i e s o f a c a d e m i c q u a l i t y u s u a l l y r e p o r t f i n d i n g s i n t e r m s o f r e l a t i v e r a n k i n g o n a u n i v a r i a t e m e a s u r e o f q u a l i t y . E v e n i n t h o s e c a s e s w h e r e s e v e r a l v a r i a b l e s h a v e b e e n s t u d i e d , t h e r e s u l t s f o r e a c h v a r i a b l e h a v e u s u a l l y b e e n s e p a r a t e l y r a n k e d a n d r e p o r t e d . I n a t r u e m u l t i v a r i a t e d e f i n i t i o n o f a c a d e m i c q u a l i t y , s o m e o t h e r r e p r e s e n t a t i o n o f a c a d e m i c q u a l i t y m u s t b e u s e d . I n s o m e f i e l d s , s u c h a s m e d i c i n e , e d u c a t i o n a l p s y c h o l o g y , a n d c r i m i n o l o g y s t a n d a r d i z e d p r o f i l e s a r e f r e q u e n t l y u s e d t o r e p r e s e n t a m u l t i v a r i a t e d e s c r i p t i o n . F o r e x a m p l e , i n m e d i c i n e t h e " v i t a l s i g n s " a r e " c h a r t e d " i n t e r m s o f t h e a b o v e a n d b e l o w n o r m a l v a l u e s o f p u l s e , t e m p e r a t u r e , a n d r e s p i r a t i o n . S t a t i s t i c a l l y b a s e d s t a n d a r d i z e d p r o f i l e s , a s d i s c u s s e d h e r e , s h o u l d b e d i f f e r e n t i a t e d f r o m o t h e r ” d e s c r i p t i v e p r o f i l e s " w h i c h a r e s o m e t i m e s i n a p p r o p r i a t e l y u s e d f o r d e c i s i o n m a k i n g . F i n a l l y , t h e f i f t h a s p e c t c o n c e r n s t h e t h e o r e t i c i n t e r p r e t a t i o n o f a m u l t i v a r i a t e d e s c r i p t i o n o f a c a d e m i c q u a l i t y i n d o c t o r a l i n s t i t u t i o n s . T h a t i s , t h e t h e o r y m u s t b e r e - s t a t e d i n t e r m s o f a s e t o f n o n - o b s e r v a b l e v a r i a b l e s w h i c h u n d e r l i e t h e o b s e r v a b l e q u a n t i t a t i v e v a r i a b l e s u s e d t o d e s c r i b e A m e r i c a n d o c t o r a l i n s t i t u t i o n s . E a c h o f t h e s e f i v e a s p e c t s c a n b e r e - s t a t e d i n t e r m s o f t h e f i v e b a s i c r e s e a r c h o b j e c t i v e s o f t h e s t u d y w h i c h a r e d i s c u s s e d i n t h e f o l l o w i n g s e c t i o n . 1 0 P U R P O S E O F T H E S T U D Y T h e m a j o r p u r p o s e o f t h i s r e s e a r c h s t u d y i s t o p e r f o r m a c o m p r e h e n s i v e a s s e s s m e n t o f t h e p o p u l a t i o n o f A m e r i c a n d o c t o r a l i n s t i t u t i o n s f r o m t h e p o i n t o f v i e w o f a m u l t i v a r i a t e d e f i n i t i o n o f a c a d e m i c q u a l i t y . T h e s t u d y p o p u l a t i o n c o n s i s t s o f t h e o n e h u n d r e d a n d s e v e n t y - o n e i n s t i t u t i o n s o f h i g h e r e d u c a t i o n i n t h e U n i t e d S t a t e s c l a s s i f i e d a s " d o c t o r a l - l e v e l “ b y t h e N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s ( N C E S ) . D a t a c o n s i s t s o f f o r t y - n i n e v a r i a b l e s w h i c h c h a r a c t e r i z e A m e r i c a n d o c t o r a l i n s t i t u t i o n s . I n c l u d e d a r e : 1 ) d e m o g r a p h i c , s u c h a s s t a t e , r e g i o n , s t a t u s , a n d c a l e n d a r s y s t e m : 2 ) s i z e , s u c h a s s t u d e n t , d e g r e e , a n d f a c u l t y ; 3 ) f a c u l t y c o m p e n s a t i o n ; 4 ) f i n a n c i a l , s u c h a s a s s e t s , r e v e n u e s , a n d e x p e n d i t u r e s : a n d 5 ) q u a l i t y , s u c h a s f a c u l t y a n d p r o g r a m v a r i a b l e s . A l l d a t a w e r e o b t a i n e d f r o m e x i s t i n g p u b l i c p r i m a r y d a t a s o u r c e s a n d w e r e f o r t h e 1 9 8 1 - 1 9 8 2 a c a d e m i c y e a r . T h e m e d i u m o f s t u d y i s a c o m p u t e r - b a s e d i n f o r m a t i o n s y s t e m , t h e H i g h e r E d u c a t i o n C o m p u t e r - B a s e d I n f o r m a t i o n S y s t e m ( H E C B I S ) , d e s i g n e d s p e c i f i c a l l y f o r t h i s s t u d y b u t i n t e n d e d t o s e r v e f u t u r e a n a l y t i c a l , p o l i c y m a k i n g , a n d r e p o r t i n g p u r p o s e s . T h e p r o b l e m o f a m u l t i v a r i a t e a s s e s s m e n t o f d o c t o r a l i n s t i t u t i o n s c a n b e a n a l y z e d i n t o f i v e m a j o r l l s u b - p r o b l e m s w h i c h c o m p r i s e t h e s p e c i f i c o b j e c t i v e s o f t h e p r e s e n t s t u d y . T h e s e f i v e o b j e c t i v e s a r e p r e s e n t e d b e l o w . O b j e c t i v e 1 : T o d e s c r i b e t h e p o p u l a t i o n o f o n e h u n d r e d a n d s e v e n t y - o n e A m e r i c a n d o c t o r a l i n s t i t u t i o n s , u s i n g a c o m p r e h e n s i v e s e t o f f o r t y - n i n e o b s e r v a b l e v a r i a b l e s . T h i s o b j e c t i v e i s t h e f i r s t s t e p i n v o l v e d i n r e - t h i n k i n g a c a d e m i c e x c e l l e n c e f r o m t h e m u l t i v a r i a t e p o i n t o f v i e w . T h e s e t o f v a r i a b l e s s e l e c t e d m u s t i n c l u d e i d e n t i f i c a t i o n v a r i a b l e s a n d t h e m o s t i m p o r t a n t d e m o g r a p h i c o r c a t e g o r i c a l v a r i a b l e s , a s w e l l a s a v a i l a b l e q u a n t i t a t i v e v a r i a b l e s w h i c h c h a r a c t e r i z e o r d e s c r i b e t h e p o p u l a t i o n o f A m e r i c a n d o c t o r a l i n s t i t u t i o n s . I t s h o u l d b e n o t e d h e r e t h a t r a t i n g s o f a c a d e m i c q u a l i t y , a l t h o u g h q u a l i t a t i v e l y b a s e d , a r e , i n f a c t , q u a n t i t a t i v e m e a s u r e s . O b j e c t i v e 2 : T o r e d u c e t h e n u m b e r o f t h i r t y - e i g h t o b s e r v a b l e q u a n t i t a t i v e v a r i a b l e s u s e d t o d e s c r i b e t h e p o p u l a t i o n o f d o c t o r a l i n s t i t u t i o n s t o a s m a l l e r s e t o f e i g h t " k e y v a r i a b l e s . " T h i s o b j e c t i v e i s t h e s e c o n d s t e p i n t h e m u l t i v a r i a t e a s s e s s m e n t . I t p r o v i d e s a s m a l l e r a n d m o r e c o m p r e h e n s i b l e d e s c r i p t i o n o f e a c h d o c t o r a l i n s t i t u t i o n w i t h o u t s i g n i f i c a n t l o s s o f i n f o r m a t i o n . I t i n v o l v e s f i r s t o r g a n i z i n g t h e l a r g e r s e t o f 1 2 t h i r t y - e i g h t q u a n t i t a t i v e v a r i a b l e s i n t o e i g h t d o m a i n s o r s m a l l e r s e t s o f c o m m o n v a r i a b l e s a n d , t h e n , s t a t i s t i c a l l y d e t e r m i n i n g w h i c h o f t h e v a r i a b l e s w i t h i n ' e a c h o f t h e s e d o m a i n s i s t h e m o s t i m p o r t a n t o r " k e y v a r i a b l e “ a n d , t h u s , c a n r e p r e s e n t a l l t h e o t h e r s w i t h i n t h e d o m a i n . O b j e c t i v e 3 : T o d e t e r m i n e t h e d e g r e e t o w h i c h t h e k e y a c a d e m i c q u a l i t y v a r i a b l e c a n b e p r e d i c t e d f r o m t h e o t h e r s e v e n k e y q u a n t i t a t i v e v a r i a b l e s . T h i s o b j e c t i v e i s d e s i g n e d t o e n s u r e t h a t n o v a l u a b l e i n f o r m a t i o n o n a c a d e m i c q u a l i t y i s l o s t t h r o u g h t h e d a t a r e d u c t i o n p r o c e s s . I d e a l l y , a m u l t i p l e r e g r e s s i o n a n a l y s i s w i t h a f e w k e y v a r i a b l e s s h o u l d p r o d u c e c o r r e l a t i o n s n e a r l y a s h i g h a s t h e r e l i a b i l i t y o f t h e t o t a l s e t o f v a r i a b l e s u s e d t o d e f i n e a c a d e m i c q u a l i t y . O b j e c t i v e 4 : T o g e n e r a t e g r a p h i c d i s p l a y s o r " p r o f i l e s " o f d o c t o r a l i n s t i t u t i o n s a n d g r o u p s o f d o c t o r a l i n s t i t u t i o n s b a s e d u p o n t h e e i g h t k e y v a r i a b l e s . A " p r o f i l e " d e n o t e s a g r a p h i c d i s p l a y o f t h e k e y d e s c r i p t o r v a r i a b l e s s t a t e d a s s t a n d a r d s c o r e s s o t h a t d i r e c t c o m p a r i s o n s c a n b e m a d e b e t w e e n i n s t i t u t i o n s o r g r o u p s o f i n s t i t u t i o n s . E a c h i n s t i t u t i o n i s r e p r e s e n t e d , n o t b y a s i n g l e v a r i a b l e , b u t b y a s e t o f g r a p h i c a l l y d i s p l a y e d k e y v a r i a b l e s o r " i n d i c a t o r s . " 1 3 O b j e c t i v e 5 : T o e x a m i n e m o r e c l o s e l y t h e u n d e r l y i n g s t r u c t u r e o f d o c t o r a l i n s t i t u t i o n s w h i c h m i g h t a c c o u n t f o r t h e i n t e r - c o r r e l a t i o n s a m o n g t h e o b s e r v a b l e q u a n t i t a t i v e v a r i a b l e s u s e d i n t h e s t u d y . I n m u l t i v a r i a t e s t u d i e s , t h e o r i e s a r e u s u a l l y s t a t e d i n t e r m s o f l a t e n t n o n - o b s e r v a b l e f a c t o r s w h i c h a c c o u n t f o r t h e o b s e r v a b l e c o r r e l a t i o n s . T h e o r y , t h e n m a y b e d e s c r i b e d a s a m o d e l c o m p o s e d o f l a t e n t v a r i a b l e s , t h e i r r e l a t i o n s h i p s , a n d t h e i r p o t e n t i a l c a u s a l r e l a t i o n s h i p s . A n o t h e r a s p e c t o f t h i s o b j e c t i v e i s t h e h y p o t h e s i s t h a t m o r e t h a n o n e f a c t o r u n d e r l i e s t h e o b s e r v a b l e c o r r e l a t i o n s ( t h a t i s , t h a t d o c t o r a l i n s t i t u t i o n q u a l i t y i s a m u l t i v a r i a t e c o n s t r u c t ) a n d t h a t t h e n u m b e r o f f a c t o r s i s l e s s t h a n o r e q u a l t o t h e n u m b e r o f d o m a i n s u s e d i n t h e r e d u c e d s e t o f v a r i a b l e s . R E S E A R C H Q U E S T I O N S A N D T H E H Y P O T H E S I S T h e f o l l o w i n g s e c t i o n s u m m a r i z e s t h e s e t o f r e s e a r c h q u e s t i o n s a d d r e s s e d b y t h e s t u d y . A s s h o w n , s e v e r a l r e s e a r c h q u e s t i o n s a r e a s s o c i a t e d w i t h e a c h o f t h e s t u d y o b j e c t i v e s s t a t e d a b o v e . T h e r e s e a r c h q u e s t i o n s i n c l u d e e l e v e n s h a p i n g t h e l i t e r a t u r e r e v i e w a n d f i v e a d d r e s s e d d i r e c t l y b y t h e e m p i r i c a l r e s e a r c h s t u d y . O n e h y p o t h e s i s i s a l s o t e s t e d . T h e s e r e s e a r c h q u e s t i o n s a n d t h e h y p o t h e s i s a r e s u m m a r i z e d b e l o w i n c o n j u n c t i o n w i t h t h e a s s o c i a t e d o b j e c t i v e s . I t s h o u l d 1 4 b e n o t e d i n t h e f o l l o w i n g s u m m a r y t h a t t h e e l e v e n q u e s t i o n s r e l a t e d t o t h e l i t e r a t u r e r e v i e w a r e n u m b e r e d L 1 t o L 1 1 a n d t h e f i v e q u e s t i o n s r e l a t e d t o t h e e m p i r i c a l r e s e a r c h s t u d y a r e n u m b e r e d R 1 t o R 5 t o p r o v i d e c l a r i t y f o r t h e r e a d e r i n t h e r e m a i n i n g s e c t i o n s o f t h e d i s s e r t a t i o n . O b j e c t i v e 1 : T o d e s c r i b e t h e p o p u l a t i o n o f o n e h u n d r e d a n d s e v e n t y - o n e A m e r i c a n d o c t o r a l i n s t i t u t i o n s , u s i n g a c o m p r e h e n s i v e s e t o f f o r t y - n i n e o b s e r v a b l e v a r i a b l e s . L 1 . W h a t g r o u p s s i m i l a r t o t h e p o p u l a t i o n o f d o c t o r a l i n s t i t u t i o n s h a v e b e e n d e s c r i b e d i n p r i o r s t u d i e s ? L 2 . W h a t r e s e a r c h m e t h o d s , v a r i a b l e s , a n d s t a t i s t i c s h a v e b e e n u s e d t o m e a s u r e a c a d e m i c q u a l i t y ? L 3 . W h a t m e t h o d s h a v e b e e n u s e d i n t h e d e v e l o p m e n t o f r e s e a r c h d a t a b a s e s ? R l . W h a t c h a r a c t e r i z e s t h e p o p u l a t i o n o f o n e h u n d r e d a n d s e v e n t y - o n e A m e r i c a n d o c t o r a l i n s t i t u t i o n s ? O b j e c t i v e 2 : T o r e d u c e t h e n u m b e r o f t h i r t y — e i g h t o b s e r v a b l e q u a n t i t a t i v e v a r i a b l e s u s e d t o d e s c r i b e t h e p o p u l a t i o n o f d o c t o r a l i n s t i t u t i o n s t o a s m a l l e r s e t o f e i g h t " k e y v a r i a b l e s . “ L 4 . W e r e t h e c o r r e l a t i o n s a m o n g t h e d e s c r i p t i v e v a r i a b l e s i n p r i o r s t u d i e s s u f f i c i e n t l y h i g h t o p e r m i t a r e d u c t i o n i n t h e n u m b e r o f v a r i a b l e s ? L 5 . W h a t g r o u p i n g s o r d o m a i n s o f v a r i a b l e s h a v e b e e n u s e d i n p r i o r s t u d i e s ? R 2 . C a n t h e l a r g e s e t o f t h i r t y - e i g h t q u a n t i t a t i v e v a r i a b l e s u s e d t o d e s c r i b e d o c t o r a l i n s t i t u t i o n s b e 1 5 r e p l a c e d w i t h a s m a l l e r s e t o f e i g h t k e y v a r i a b l e s w i t h o u t a m a j o r l o s s o f i n f o r m a t i o n ? O b j e c t i v e 3 : T o d e t e r m i n e t h e d e g r e e t o w h i c h t h e k e y a c a d e m i c q u a l i t y v a r i a b l e c a n b e p r e d i c t e d f r o m t h e o t h e r s e v e n k e y q u a n t i t a t i v e v a r i a b l e s . L 6 . W h a t r e s e a r c h m e t h o d s a n d v a r i a b l e s h a v e b e e n u s e d t o m e a s u r e a c a d e m i c q u a l i t y i n p r i o r s t u d i e s ? L 7 . W h a t v a r i a b l e s s e e m e d t o b e s t m e a s u r e a n d p r e d i c t a c a d e m i c q u a l i t y i n p r i o r s t u d i e s ? R 3 . C a n t h e k e y q u a l i t y v a r i a b l e b e p r e d i c t e d w i t h o u t l o s s f r o m t h e o t h e r s e v e n k e y v a r i a b l e s ? O b j e c t i v e 4 : T o g e n e r a t e g r a p h i c d i s p l a y s o r “ p r o f i l e s " o f d o c t o r a l i n s t i t u t i o n s o r g r o u p s o f d o c t o r a l i n s t i t u t i o n s b a s e d u p o n t h e e i g h t k e y v a r i a b l e s . L 8 . W h a t p r o b l e m s h a v e o c c u r r e d i n t h e u s e o f r a n k i n g s o f i n s t i t u t i o n s o f h i g h e r e d u c a t i o n ? L 9 . W h a t m a j o r n o n - r a n k i n g m e t h o d s c a n b e u s e d f o r a n a l y t i c a l a n d d e s c r i p t i v e p u r p o s e s ? R 4 . W h a t f i n d i n g s c a n b e o b t a i n e d w i t h p r o f i l e , r a t h e r t h a n r a n k i n g , r e p o r t s ? O b j e c t i v e 5 : T o e x a m i n e m o r e c l o s e l y t h e u n d e r l y i n g s t r u c t u r e o f d o c t o r a l i n s t i t u t i o n s w h i c h m i g h t a c c o u n t f o r t h e i n t e r - c o r r e l a t i o n s a m o n g t h e o b s e r v a b l e q u a n t i t a t i v e v a r i a b l e s u s e d i n t h e s t u d y . L 1 0 . W h a t a r e t h e c u r r e n t m a j o r t h e o r i e s o f a c a d e m i c q u a l i t y ? 1 6 L 1 1 . W h a t f a c t o r a n a l y t i c s t r u c t u r e s u n d e r l y i n g d o c t o r a l i n s t i t u t i o n s h a v e b e e n o b s e r v e d ? E 5 . W h a t t h e o r y o f a c a d e m i c q u a l i t y i s s u p p o r t e d b y f a c t o r a n a l y t i c s t u d y o f t h e d a t a c h a r a c t e r i s t i c s o f d o c t o r a l i n s t i t u t i o n s ? E m p i r i c a l S t u d y H y p o t h e s i s T h e n u m b e r o f c o m m o n f a c t o r s u n d e r l y i n g t h e o b s e r v a b l e q u a n t i t a t i v e c h a r a c t e r i s t i c s o f A m e r i c a n d o c t o r a l i n s t i t u t i o n s i s g r e a t e r t h a n o n e ( t h e u n i v a r i a t e c a s e ) a n d l e s s t h a n o r e q u a l t o e i g h t ( t h e n u m b e r o f d o m a i n s u s e d i n t h e o r i g i n a l d e s c r i p t i o n ) . D E F I N I T I O N O F T E R M S T h e r e w e r e a n u m b e r o f s p e c i a l i z e d o r t e c h n i c a l t e r m s w h i c h w e r e u s e d t h r o u g h o u t t h e s t u d y . T h e y a r e d e f i n e d b e l o w f o r e a s y r e f e r e n c e . O t h e r s p e c i a l i z e d t e r m s , w h i c h r e l a t e t o s p e c i f i c a s p e c t s o f t h e s t u d y , a r e d e f i n e d w i t h i n t h e c o n t e x t o f u s e , a s t h e y o c c u r . A l g o r i t h m . A c o m p u t a t i o n a l p r o c e d u r e . A t t r i b u t e . A p r o p e r t y c a p a b l e o f f u r t h e r d i v i s i o n ; a q u a n t i t a t i v e v a r i a b l e o r u n i d i m e n s i o n a l c o n t i n u u m . A v e r a g e . A s i n g l e v a l u e ( f o r e x a m p l e , a m e a n o r m e d i a n ) t h a t s u m m a r i z e s o r r e p r e s e n t s a g e n e r a l s e t o f u n e q u a l v a l u e s . l 7 C a t e g o r i c a l V a r i a b l e . A v a r i a b l e w h i c h a s s i g n s n u m b e r s i n a n a r b i t r a r y m a n n e r , t h a t i s , t h e s i z e o f t h e n u m b e r c a r r i e s n o s i g n i f i c a n c e a n d c h a n g i n g t h e v a l u e d o e s n o t c h a n g e t h e m e a n i n g o f t h e v a r i a b l e . C h a r a c t e r i s t i c . S o m e t h i n g t h a t d i s t i n g u i s h e s o r i d e n t i f i e s a n e n t i t y . C l u s t e r . A n u m b e r o f v a r i a b l e s o r a t t r i b u t e s c o l l e c t e d o r g r o u p e d i n t o h o m o g e n e o u s s u b s e t s o n t h e b a s i s o f s i m i l a r i t y a c r o s s e n t i t i e s . C o m m o n f a c t o r . A h y p o t h e t i c a l u n d e r l y i n g v a r i a b l e c o m m o n t o t w o o r m o r e o b s e r v e d v a r i a b l e s . C o m m u n a l i t y . A n u m b e r b e t w e e n 0 . 0 0 a n d 1 . 0 0 t h a t m e a s u r e s t h e g e n e r a l i t i e s o f i n d i v i d u a l d i f f e r e n c e s i n a n o b s e r v e d v a r i a b l e , t h a t i s , t h e c o m m o n v a r i a n c e a m o n g t h e v a r i a b l e s . I n a n o r t h o g o n a l f a c t o r m o d e l , i t i s e q u a l t o t h e s u m o f i t s s q u a r e d f a c t o r c o e f f i c i e n t s . C o m p u t e r - B a s e d I n f o r m a t i o n S y s t e m ( C B I S ) . A n i n t e r a c t i v e c o m p u t e r - b a s e d s y s t e m t h a t p r o v i d e s a v e r s a t i l e m e d i u m f o r r e s e a r c h e r s a n d d e c i s i o n m a k e r s t o a n a l y z e d a t a , f o r m u l a t e i d e a s , s t r u c t u r e a r g u m e n t s , a n d b u i l d m o d e l s . 1 8 C o r r e l a t i o n . A m e a s u r e o f t h e d e g r e e o f a s s o c i a t i o n b e t w e e n t w o v a r i a b l e s , f o r e x a m p l e , t h e P e a r s o n p r o d u c t - m o m e n t c o r r e l a t i o n . C o r r e l a t i o n C o e f f i c i e n t . T h e t r a d i t i o n a l i n d e x o f s i m i l a r i t y o f a v a r i a b l e w i t h a n o t h e r v a r i a b l e w h i c h t a k e s t h e v a l u e o f + 1 . 0 0 i f . t h e c o r r e s p o n d e n c e i s p e r f e c t : 0 . 0 0 i f t h e r e i s n o g e n e r a l i t y ; a n d - 1 . 0 0 i f t h e c o r r e s p o n d e n c e i s p e r f e c t , b u t i n v e r s e , t h a t i s , h i g h v a l u e s o n o n e a t t r i b u t e c o r r e s p o n d t o l o w v a l u e s o n t h e o t h e r . C r i t e r i a l V a r i a b l e . A v a r i a b l e t h a t i s p r e d i c t e d . I n a r e g r e s s i o n a n a l y s i s , t h e c r i t e r i a l v a r i a b l e i s t h e d e p e n d e n t v a r i a b l e t h a t i s p r e d i c t e d f r o m o n e o r m o r e o t h e r i n d e p e n d e n t v a r i a b l e s . C r i t e r i o n . T h a t w h i c h w e w i s h t o p r e d i c t , t h a t i s , t h e d e p e n d e n t v a r i a b l e t h a t i s t o b e p r e d i c t e d f r o m a s e t o f i n d e p e n d e n t p r e d i c t o r s . D a t a . F a c t u a l m a t e r i a l , s u c h a s a q u a n t i t y o r c o d e , w h i c h a r i s e s o u t o f o b s e r v a t i o n a n d m e a s u r e m e n t a n d w h i c h i s u s e d a s t h e b a s i s f o r d i s c u s s i o n o r d e c i s i o n . D a t a B a n k . A c o l l e c t i o n o f d a t a r e l a t i n g t o a g i v e n s e t o f e n t i t i e s . 1 9 D a t a B a s e . A c o l l e c t i o n o f i n t e r - r e l a t e d d a t a s t o r e d t o g e t h e r w i t h c o n t r o l l e d r e d u n d a n c y t o s e r v e o n e o r m o r e a p p l i c a t i o n s . T h e d a t a a r e s t o r e d s o t h a t t h e y a r e i n d e p e n d e n t o f p r o g r a m s w h i c h u s e t h e d a t a a n d a c o m m o n a n d c o n t r o l l e d a p p r o a c h i s u s e d i n a d d i n g n e w d a t a a n d i n m o d i f y i n g a n d r e t r i e v i n g e x i s t i n g d a t a w i t h i n t h e d a t a b a s e . D a t a B a s e M a n a g e m e n t S y s t e m . A c o l l e c t i o n o f s o f t w a r e r e q u i r e d f o r d e v e l o p i n g a n d u s i n g a d a t a b a s e . D a t a E l e m e n t . T h e s m a l l e s t u n i t o f d a t a t h a t h a s \ m e a n i n g i n d e s c r i b i n g i n f o r m a t i o n . D a t a M a t r i x . A r e c t a n g u l a r s e t o f o b s e r v a t i o n s . D e c i s i o n S u p p o r t S y s t e m . A n i n t e r a c t i v e m i c r o c o m p u t e r i z e d s y s t e m t h a t h e l p s d e c i s i o n m a k e r s s o l v e r e l a t i v e l y u n s t r u c t u r e d p r o b l e m s . D e m o g r b b h i c . O f o r r e l a t i n g t o t h e s t a t i s t i c a l s t u d y o f p o p u l a t i o n s , e s p e c i a l l y w i t h r e f e r e n c e t o s i z e a n d d e n s i t y , d i s t r i b u t i o n , a n d v i t a l s t a t i s t i c s . D e s c r i p t i v e S t a t i s t i c s . S t a t i s t i c s w h i c h s i m p l y d e s c r i b e a n o b s e r v a b l e s e t o f d a t a , f o r e x a m p l e , t h e m e a n , m e d i a n , r a n g e , a n d s t a n d a r d d e v i a t i o n . 2 0 D o c t o r a l I n s t i t u t i o n s ( o r d o c t o r a l - l e v e l i n s t i t u t i o n s ) . T h o s e h i g h e r e d u c a t i o n i n s t i t u t i o n s c h a r a c t e r i z e d b y a s i g n i f i c a n t l e v e l a n d b r e a d t h o f a c t i v i t y i n , a n d c o m m i t m e n t t o , d o c t o r a l - l e v e l e d u c a t i o n , a s m e a s u r e d b y t h e n u m b e r o f d o c t o r a t e r e c i p i e n t s a n d t h e d i v e r s i t y o f d o c t o r a l - l e v e l o f f e r i n g s . I n c l u d e d i n t h e c a t e g o r y a r e i n s t i t u t i o n s , n o t c o n s i d e r e d s p e c i a l i z e d s c h o o l s , w h i c h g r a n t a m i n i m u m o f t h i r t y d e g r e e s . T h e s e d e g r e e s m u s t b e g r a n t e d i n t h r e e o r m o r e p r o g r a m a r e a s , o r , a l t e r n a t i v e l y , t h e i n s t i t u t i o n m u s t h a v e a n i n t e r d i s c i p l i n a r y p r o g r a m a t t h e d o c t o r a l - l e v e l . A l s o c l a s s i f i e d a s d o c t o r a l - l e v e l a r e i n s t i t u t i o n s w h i c h m e e t a l l c r i t e r i a e x c e p t t h e n u m b e r o f d o c t o r a l - l e v e l o f f e r i n g s , b u t g r a n t o n l y d o c t o r a l d e g r e e s . D o m a i n . A c o l l e c t i o n o f d a t a e l e m e n t s o f t h e s a m e t y p e . E i g e n v a l u e . A m e a s u r e o f v a r i a n c e ( t h a t i s , t h e l e n g t h o f t h e e i g e n v e c t o r ) a c c o u n t e d f o r b y a g i v e n p r i n c i p a l c o m p o n e n t o r p r i n c i p a l a x i s . E i g e n v e c t o r . T h e l a t e n t v e c t o r a s s o c i a t e d w i t h e a c h e i g e n v a l u e . W h e n n o r m a l i z e d , t h e s e v e c t o r s b e c o m e p r i n c i p a l c o m p o n e n t s . T h e v e c t o r ' s c o o r d i n a t e s s p e c i f y i t s d i r e c t i o n . 2 1 E n t i t y . A p e r s o n o r o b j e c t o f e x p e r i e n c e t h a t p o s s e s s e s q u a n t i t a t i v e o r q u a l i t a t i v e p r o p e r t i e s , f o r e x a m p l e , d o c t o r a l i n s t i t u t i o n s . E n t i t y r e f e r s t o t h e e l e m e n t s o f t h e s e t b e i n g c l a s s i f i e d . E x t a n t D a t a . C u r r e n t l y o r a c t u a l l y e x i s t i n g d a t a . E x t a n t D a t a B a s e . A c u r r e n t l y o r a c t u a l l y e x i s t i n g d a t a b a s e . F a c t o r . A w e i g h t e d c o m p o s i t e o f v a r i a b l e s w h i c h i s i n t e n d e d t o e x p l a i n w h a t i s c o m m o n t o a s e t o f a t t r i b u t e s . F a c t o r A n a l y s i s . S e v e r a l m a t h e m a t i c a l p r o c e d u r e s f o r a n a l y z i n g t h e r e l a t i o n s a m o n g a s e t o f v a r i a b l e s a n d e x p l a i n i n g t h e m i n t e r m s o f a r e d u c e d s e t o f h y p o t h e t i c a l u n m e a s u r e d v a r i a b l e s . F a c t o r L o a d i n g . T h e c o e f f i c i e n t o f t h e c o m m o n f a c t o r s i n a f a c t o r p a t t e r n m a t r i x o r t h e c o r r e l a t i o n s o f e a c h v a r i a b l e w i t h e a c h f a c t o r g i v e n i n a f a c t o r s t r u c t u r e . ' W h e n t h e f a c t o r s a r e u n c o r r e l a t e d , t h e t w o d e f i n i t i o n s a r e i d e n t i c a l . F a c t o r S c o r e . A n e s t i m a t e o f a n u n d e r l y i n g f a c t o r f o r m e d f r o m a w e i g h t e d l i n e a r c o m b i n a t i o n o f o b s e r v e d v a r i a b l e s . 2 2 F i l e . A s e t o f s i m i l a r l y c o n s t r u c t e d r e c o r d s . I d e n t i f i c a t i o n V a r i a b l e . A p r o p e r t y o f a v a r i a b l e w h i c h i d e n t i f i e s a n e n t i t y o r d a t a c o n c e r n i n g t h a t e n t i t y . I n d i c a t o r . A s t a t i s “ “ “ t i c w h i c h l e n d s i t s e l f t o a g g r e g a t i o n a n d d i s a g g r e g a t i o n a n d w h o s e t r e n d t e l l s u s c o n s i s t e n t l y w h e t h e r t h i n g s a r e g e t t i n g b e t t e r o r w o r s e . C o n s i s t e n c y i m p l i e s c o m p a r a b i l i t y a c r o s s a l l i n s t i t u t i o n s a n d r e g i o n s . I n f o r m a t i o n . D a t a t h a t ' h a v e b e e n c o m b i n e d a n d g i v e n a f o r m a n d w h i c h i s u s e d t o r e d u c e u n c e r t a i n t y . I n f o r m a t i o n S y s t e m . A s y s t e m i n w h i c h t h e d a t a s t o r e d w i l l b e u s e d i n s p o n t a n e o u s w a y s , w h i c h a r e n o t f u l l y p r e d i c t a b l e i n a d v a n c e , f o r o b t a i n i n g i n f o r m a t i o n . K e y V a r i a b l e . A p r i m a r y v a r i a b l e u s e d i n p r e d i c t i o n , f o r e x a m p l e , a c a d e m i c q u a l i t y i n t h i s s t u d y . K n o w l e d g e . I n f o r m a t i o n t h a t h a s b e e n c o n f i r m e d . L a t e n t V a r i a b l e . A v a r i a b l e w h i c h i s p r e s e n t a n d c a p a b l e o f b e c o m i n g , a l t h o u g h n o t n o w , v i s i b l e o r a c t i v e . A N( L e a s t - S q u a r e s S o l u t i o n . A s o l u t i o n t h a t m i n i m i z e s t h e s q u a r e d d e v i a t i o n s b e t w e e n t h e o b s e r v e d v a l u e s a n d t h e p r e d i c t e d v a l u e s . L i n e a r R e g E e s s i o n . A p r o c e d u r e f o r f i n d i n g a s e t o f o p t i m u m w e i g h t s f o r a s e t o f v a r i a b l e s t o p r e d i c t s o m e d e p e n d e n t v a r i a b l e ( c r i t e r i o n ) . T h e l e a s t - s q u a r e s r e g r e s s i o n l i n e i s f o u n d b y m i n i m i z i n g t h e e r r o r s o f e s t i m a t e s . L i s t ( L i s t i n g _ . A n o r d e r e d s e t o f d a t a i t e m s , f o r e x a m p l e , a r a n k i n g . M a i n t e n a n c e o f a f i l e . T h e p e r i o d i c r e o r g a n i z a t i o n o f a f i l e t o b e t t e r a c c o m o d a t e i t e m s t h a t h a v e b e e n a d d e d o r d e l e t e d . M e t a - A n a l y s i s . T h e u s e o f s t a t i s t i c a l m e t h o d s t o d e s c r i b e t h e r e s u l t s o f a n u m b e r o f r e s e a r c h s t u d i e s . M u l t i p l e C o r r e l a t i o n . T h e m a x i m u m c o r r e l a t i o n t o b e e x p e c t e d b e t w e e n a d e p e n d e n t v a r i a b l e a n d a l i n e a r a d d i t i v e c o m b i n a t i o n o f i n d e p e n d e n t v a r i a b l e s . M u l t i p l e R e g r e s s i o n A n a l y s i s . A s y s t e m o f d a t a a n a l y s i s u s e d w h e n e v e r a q u a n t i t a t i v e v a r i a b l e i s t o b e s t u d i e d a s a f u n c t i o n o f a s e t o f i n d e p e n d e n t q u a n t i t a t i v e o r q u a l i t a t i v e v a r i a b l e s . 2 4 N o r m . T h e c o m p u t e d o r e s t i m a t e d a v e r a g e o f p e r f o r m a n c e o f a s i g n i f i c a n t l y l a r g e g r o u p o r c l a s s . O A n a l y s i s . A d i m e n s i o n a l a n a l y s i s o f a n N x N m a t r i x o f c o r r e l a t i o n s a m o n g e n t i t i e s a c r o s s n a t t r i b u t e s . T h e a n a l y s i s i s o l a t e s r e n t i t y f a c t o r s . O b s e r v a t i o n . T h e v a l u e a s s i g n e d t o a v a r i a b l e o f a n e n t i t y . F o r e x a m p l e , t h e s t u d y i s b a s e d u p o n o n e h u n d r e d s e v e n t y - o n e o b s e r v a t i o n s o n f o r t y - n i n e v a r i a b l e s o f t h e p o p u l a t i o n o f d o c t o r a l i n s t i t u t i o n s . O r t h o g o n a l . S t a t i s t i c a l l y i n d e p e n d e n t : u n c o r r e l a t e d . O r t h o g o n a l F a c t o r s . V e c t o r s w h i c h l i e a t r i g h t a n g l e s t o e a c h o t h e r ; o b l i q u e f a c t o r s l i e a t a c u t e o r o b t u s e a n g l e s t o e a c h o t h e r . O r t h o g o n a l f a c t o r s a r e u n c o r r e l a t e d , w h e r e a s , o b l i q u e f a c t o r s a r e c o r r e l a t e d . O u t l i e r . A c a s e i n a r e l a t i o n t h a t i s n o t p a r t o f t h e m a j o r i t y o f c a s e s : i t l i e s w e l l b e l o w , a b o v e , o r o u t s i d e t h e r e l a t i o n . P a t t e r n . A c l e a r a n d d e t a i l e d a r c h t y p e o r p r o t o t y p e . P o p u l a t i o n . A g r o u p o f e n t i t i e s w h i c h s h a r e o n e o r m o r e a t t r i b u t e s . T h e m o r e a t t r i b u t e s s h a r e d , t h e m o r e r e s t r i c t i v e t h e p o p u l a t i o n . 2 5 P r e d i c t i v e V a r i a b l e s o r P r e d i c t o r s . I n d e p e n d e n t v a r i a b l e s u s e d i n a r e g r e s s i o n a n a l y s i s t o p r e d i c t a n o t h e r v a r i a b l e . P r i m a r y D a t a S o u r c e . T h e c o l l e c t o r o r p r o c e s s o r o f d a t a . P r i n c i p a l C o m p o n e n t s . L i n e a r c o m b i n a t i o n s o f o b s e r v e d v a r i a b l e s s u c h t h a t e a c h i s o r t h o g o n a l t o e v e r y o t h e r o n e a n d e a c h a c c o u n t s f o r t h e m a x i m u m a m o u n t o f v a r i a n c e i n t h e m a t r i x . P r o f i l e . A p a t t e r n o f v a l u e s o r s c o r e s d e t e r m i n e d b y s t a t i s t i c a l m e a s u r e s o r r a t i n g s t h a t c h a r a c t e r i z e a n e n t i t y i n t e r m s o f a m u l t i p l e s e t o f d e s c r i p t i v e v a r i a b l e s o r a t t r i b u t e s . Q u a n t i t a t i v e . O f , r e l a t i n g t o , o r i n v o l v i n g t h e m e a s u r e m e n t o f q u a n t i t y ( m e a s u r e a b l e o r a m o u n t ) . Q u a n t i t a t i v e V a r i a b l e . A v a r i a b l e t o w h i c h v a l u e s o r n u m b e r s a r e a s s i g n e d w h i c h r e f l e c t t h e a m o u n t o f s o m e a t t r i b u t e . C h a n g i n g t h e v a l u e s o r n u m b e r s o f t h e q u a n t i t a t i v e v a r i a b l e s c h a n g e s t h e r e l a t i o n s h i p . R a n k o f a M a t r i x . T h e n u m b e r o f l i n e a r l y i n d e p e n d e n t c o l u m n s o r r o w s o f a m a t r i x . R a t i n g s . V a l u e s b a s e d o n p e o p l e ' s o p i n i o n s . 2 6 R a w D a t a V a l u e o r S c o r e . A n a b s o l u t e m e a s u r e t h a t i s s t a t i s t i c a l l y i n d e p e n d e n t o f o t h e r v a l u e s o f t h e e n t i t y a n d i n d e p e n d e n t o f t h e v a l u e s o f o t h e r i n d i v i d u a l s o r o b j e c t s , f o r e x a m p l e , t h e n u m b e r o f s t u d e n t s i n a d o c t o r a l i n s t i t u t i o n . S u c h v a l u e s a r e n o t r e f e r r e d t o a n y n o r m a t i v e g r o u p . R e c o r d . A g r o u p o f r e l a t e d f i e l d s o f i n f o r m a t i o n t r e a t e d a s a u n i t b y a n a p p l i c a t i o n p r o g r a m . S e c o n d a r y A n a l y s i s . A n e x a m i n a t i o n o f a p o o l o f d i r e c t l y c o m p a r a b l e r a w d a t a w h i c h h a s b e e n o b t a i n e d f r o m o n e o r m o r e s t u d i e s a n d c o m b i n e d f o r r e - a n a l y s i s i n a s i n g l e l a r g e s t a t i s t i c a l a n a l y s i s . S e t . A c o l l e c t i o n o f e n t i t i e s c o n s i d e r e d t o g e t h e r a s a w h o l e . S i m p l e S t r u c t u r e . A f a c t o r s t r u c t u r e w i t h c e r t a i n p r o p e r t i e s : e a c h v a r i a b l e i s d e f i n e d b y o n l y a f e w o f t h e c o m m o n f a c t o r s a n d e a c h c o m m o n f a c t o r i s d e f i n e d b y o n l y s o m e o f t h e v a r i a b l e s . S t a t i s t i c . A n u m b e r c h o s e n t o r e p r e s e n t a s e t o f n u m b e r s , f o r e x a m p l e , t h e m e a n . S t a t i s t i c s . A b r a n c h o f m a t h e m a t i c s d e a l i n g w i t h t h e c o l l e c t i o n , a n a l y s i s , i n t e r p r e t a t i o n , a n d p r e s e n t a t i o n o f m a s s e s o f n u m e r i c a l d a t a . 2 7 S y s t e m . A n e t w o r k o f s t r u c t u r e s a n d c h a n n e l s u s e d f o r r e c o r d i n g , r e t r i e v i n g , a n a l y z i n g , a n d t r a n s f e r r i n g d a t a a n d i n f o r m a t i o n . T a b l e . A c o l l e c t i o n o f d a t a s u i t a b l e f o r q u i c k r e f e r e n c e , e a c h i t e m b e i n g u n i q u e l y i d e n t i f i e d e i t h e r b y a l a b e l o r b y i t s r e l a t i v e p o s i t i o n . T h e o r e t i c a l M o d e l . T h e l o g i c a l s t r u c t u r e o f a d a t a s c h e m a b a s e d u p o n a h y p o t h e t i c a l s e t o f f a c t s , p r i n c i p l e s , a n d c i r c u m s t a n c e s w h i c h c a n b e u s e d a s a n e x a m p l e f o r i m i t a t i o n o r e m u l a t i o n . T h e o r y . A m o d e l c o m p o s e d o f l a t e n t v a r i a b l e s , t h e i r r e l a t i o n s h i p s , a n d t h e i r p o t e n t i a l c a u s a l r e l a t i o n s h i p s . U n i q u e n e s s o f a v a r i a b l e . T h e d i f f e r e n c e b e t w e e n t h e c o m m u n a l i t y a n d 1 . 0 0 . V A n a l y s i s . A d i m e n s i o n a l a n a l y s i s o f a n n x n m a t r i x o f c o r r e l a t i o n s a m o n g a t t r i b u t e s a c r o s s N e n t i t i e s . T h e a n a l y s i s y i e l d s t h e c o o r d i n a t e s o f t h e N a t t r i b u t e s o r N c o o r d i n a t e a x e s . V a r i a b l e . A p r o p e r t y o f a n e n t i t y o r o b j e c t t h a t d i s t i n g u i s h e s o r i d e n t i f i e s i t a n d , w i t h r e s p e c t t o w h i c h , t h e e n t i t i e s v a r y f r o m e a c h o t h e r a n d , o n t h e b a s i s o f w h i c h , w e d i f f e r e n t i a t e t h e m f r o m e a c h o t h e r . 2 8 V a r i a n c e . A m e a s u r e o f t h e d i s p e r s i o n o f v a l u e s o r s c o r e s o n a v a r i a b l e w h i c h i s o b t a i n e d b y s u m m i n g t h e s q u a r e d d e v i a t i o n s f r o m t h e m e a n a n d d i v i d i n g b y t h e n u m b e r o f c a s e s . V a r i m a x . A m e t h o d o f o r t h o g o n a l r o t a t i o n t h a t s i m p l i f i e s t h e f a c t o r s t r u c t u r e b y m a x i m i z i n g t h e v a r i a n c e o f t h e s q u a r e d l o a d i n g o f e a c h o f t h e c o l u m n s o f t h e f a c t o r p a t t e r n m a t r i x . V e c t o r . A q u a n t i t y h a v i n g b o t h m a g n i t u d e ( l e n g t h ) a n d d i r e c t i o n . I t m a y b e r e p r e s e n t e d a s a n a r r o w a n d d e f i n e d b y a s e t o f c o o r d i n a t e s i n a t t r i b u t e s p a c e o r e n t i t y s p a c e . V i t a l S t a t i s t i c s . S t a t i s t i c s r e l a t i n g t o b i r t h s , d e a t h s , h e a l t h , o r d i s e a s e . S I G N I F I C A N C E O F T H E S T U D Y T h i s s t u d y i s i m p o r t a n t f o r s e v e r a l r e a s o n s . E 1 5 2 5 , i t i s t h e o n l y l a r g e - s c a l e m u l t i v a r i a t e s t u d y e v e r d o n e w h i c h l o o k s a t a c a d e m i c q u a l i t y f r o m t h e i n s t i t u t i o n a l p o i n t o f v i e w . S e c o n d , t h i s s t u d y i s t h e f i r s t l a r g e - s c a l e s t u d y e n c o m p a s s i n g t h e p o p u l a t i o n o f A m e r i c a n d o c t o r a l i n s t i t u t i o n s a n d p r o v i d e s a b a s i s f o r g e n e r a l i z a t i o n s a b o u t t h i s l a r g e l y u n k n o w n p o p u l a t i o n w h i c h , a l t h o u g h 2 9 r e p r e s e n t i n g o n l y a b o u t 6 2 o f a l l i n s t i t u t i o n s o f h i g h e r e d u c a t i o n i n t h e U n i t e d S t a t e s , e x e r t s i n f l u e n c e g r e a t l y d i s p r o p o r t i o n a t e t o i t s s i z e . K n o w l e d g e o f t h i s s m a l l g r o u p o f e l i t e i n s t i t u t i o n s a n d o f t h e i r q u a l i t y i s i m p e r a t i v e b e c a u s e o f t h e u n i q u e r e s p o n s i b i l i t y t h e s e i n s t i t u t i o n s h a v e f o r e d u c a t i n g a n d t r a i n i n g f u t u r e l e a d e r s o f t h e U n i t e d S t a t e s , a s w e l l a s t h o s e o f m a n y c o u n t r i e s t h r o u g h o u t t h e r e s t o f t h e w o r l d . F u r t h e r , t h e p o l i c i e s o f t h e s e p r e s t i g i o u s i n s t i t u t i o n s h a v e a d o m i n o e f f e c t o n i n s t i t u t i o n s o f l e s s e r s t a t u s w h i c h e m u l a t e t h e m . T h e i m p o r t a n c e o f t h e s e i n s t i t u t i o n s i s f u r t h e r d e m o n s t r a t e d b y t h e f a c t t h a t E d u c a t i o n S e c r e t a r y W i l l i a m J . B e n n e t t r e c e n t l y a n n o u n c e d t h e a p p o i n t m e n t o f a n a s s i s t a n t w h o s e p u r p o s e i s t o s e r v e a s a l i a i s o n t o h i g h e r e d u c a t i o n a n d w h o w i l l e m p h a s i z e t h e m a j o r i s s u e s c o n f r o n t i n g t h e s e e l i t e i n s t i t u t i o n s ( P a l m e r , 1 9 8 6 ) . T h i r d , t h i s s t u d y g r e a t l y e x p a n d s e a r l i e r w o r k o n t h e t y p e , s o u r c e s , a n d u s e s o f m u l t i d i m e n s i o n a l m e a s u r e s o f a c a d e m i c q u a l i t y a n d i t i n c r e a s e s t h e c r e d i b i l i t y o f q u a l i t y a s s e s s m e n t t e c h n i q u e s . A f o u r t h v a l u e o f t h e s t u d y l i e s i n i t s m e t h o d o l b g y w h i c h i n t e g r a t e s c o m p u t e r t e c h n o l o g y , m e t a - a n a l y s i s , e x t a n t d a t a , i n d i c a t o r r e s e a r c h , a n d s o p h i s t i c a t e d s t a t i s t i c a l p r o c e d u r e s i n t o a c o m p u t e r - b a s e d i n f o r m a t i o n s y s t e m w h i c h c a n b e 3 0 i n e x p e n s i v e l y u p d a t e d o r e x p a n d e d a n d w h i c h w i l l f a c i l i t a t e b o t h r e a l - t i m e d e c i s i o n m a k i n g a n d r e s e a r c h o n A m e r i c a n d o c t o r a l i n s t i t u t i o n s . F i f t h , t h e s t u d y i s o f t h e o r e t i c a l i m p o r t a n c e s i n c e i t a t t e m p t s t o u n d e r s t a n d a n d s t a t i s t i c a l l y d e m o n s t r a t e t h e m e a n i n g o f a c a d e m i c q u a l i t y . F i n a l l y , t h e s t u d y a l s o h a s g r e a t p r a c t i c a l s i g n i f i c a n c e i n t h a t i t p r o v i d e s r e a d i l y a v a i l a b l e i n f o r m a t i o n s p e c i f i c t o e a c h d o c t o r a l i n s t i t u t i o n w h i c h c a n b e u s e d b y d e c i s i o n a n d p o l i c y m a k e r s f o r m a n a g e m e n t a n d q u a l i t y i m p r o v e m e n t . S u c h i n f o r m a t i o n c a n a l s o b e u s e d b y s t a t e a n d f e d e r a l o f f i c i a l s a n d o t h e r s a s a b a s i s f o r r e s o u r c e a l l o c a t i o n , a u s e w h i c h i s b o u n d t o e v o k e c o n s i d e r a b l e c o n t r o v e r s y . A S S U M P T I O N S O F T H E S T U D Y T h r e e m a j o r a s s u m p t i o n s d e l i m i t e d t h e s t u d y . F i r s t , a l t h o u g h s e v e r a l c l a s s i f i c a t i o n s o f d o c t o r a l i n s t i t u t i o n s a r e p o s s i b l e , i t w a s a s s u m e d t h a t t h e t r u e p o p u l a t i o n o f d o c t o r a l i n s t i t u t i o n s i s c o m p o s e d o f t h o s e i n s t i t u t i o n s d e s i g n a t e d a s ” d o c t o r a l - l e v e l ” i n t h e a m e n d e d 1 9 8 1 - 1 9 8 2 N a t i o n a l C e n t e r f o r E d u c a t i o n ( N C E S ) c l a s s i f i c a t i o n s t r u c t u r e . S e c o n d , i t w a s a s s u m e d t h a t t h e 1 9 8 1 - 1 9 8 2 a c a d e m i c y e a r , w h i c h w a s s e l e c t e d a s t h e t i m e p e r i o d f o r t h e s t u d y b e c a u s e i t 3 1 w a s t h e l a t e s t y e a r t h a t c o m p l e t e d a t a w e r e a v a i l a b l e a t t h e t i m e t h e s t u d y w a s b e g u n , i s r e p r e s e n t a t i v e o f o t h e r p o s s i b l e t i m e p e r i o d s . T h i r d , i t w a s a s s u m e d t h a t t h e f o r t y - n i n e d a t a v a r i a b l e s s e l e c t e d f o r s t u d y a p p r o p r i a t e l y r e p r e s e n t t h e i m p o r t a n t d i m e n s i o n s o f d o c t o r a l i n s t i t u t i o n s a n d t h a t t h e y w e r e a c c u r a t e l y m e a s u r e d a n d r e p o r t e d . L I M I T A T I O N S O F T H E S T U D Y S e v e r a l f a c t o r s a f f e c t t h e v a l i d i t y o f t h e s t u d y . F i r s t , a l t h o u g h o n l y t h o r o u g h l y r e s p e c t e d p r i m a r y d a t a s o u r c e s w e r e u t i l i z e d i n t h e s t u d y , t h e a c c u r a c y a n d c o n s i s t e n c y o f t h e d a t a , i n t h e f i n a l a n a l y s i s , w a s d e p e n d e n t o n t h e p r o v i d e r s o f t h e d a t a . S e c o n d , t h e m e a s u r e s o f a c a d e m i c q u a l i t y u s e d i n t h e p r e s e n t s t u d y , w h i c h w e r e o b t a i n e d f r o m t h r e e m a j o r s t u d i e s o f a c a d e m i c q u a l i i t y , a r e a l l r e p u t a t i o n a l m e a s u r e s o f a c a d e m i c q u a l i t y . O t h e r t y p e s o f q u a l i t y m e a s u r e s m i g h t h a v e y i e l d e d d i f f e r e n t r e s u l t s . T h i r d , t h e c o r r e l a t i o n , f a c t o r , a n d r e g r e s s i o n a n a l y s e s p e r f o r m e d i n t h e s t u d y w e r e l i m i t e d b y t h e n u m b e r a n d t y p e o f v a r i a b l e s u s e d i n t h e s t u d y . G i v e n a d i f f e r e n t n u m b e r a n d / o r m i x o f v a r i a b l e s , o t h e r r e s u l t s m i g h t h a v e o c c u r r e d . F i n a l l y , i n s t i t u t i o n " s i z e " h a s b e e n t r e a t e d i n t h e s a m e m a n n e r i n t h e p r e s e n t s t u d y a s i t w a s i n 3 2 t h e m a j o r e m p i r i c a l s t u d i e s o f a c a d e m i c q u a l i t y w h i c h w i l l b e d i s c u s s e d i n C h a p t e r I I , t h a t i s , t h e s t u d i e s b y C a r t t e r ( 1 9 6 6 ) , R o o s e - A n d e r s e n ( 1 9 7 0 ) , a n d t h e A s s o c i a t e d R e s e a r c h C o u n c i l ( J o n e s , L i n d z e y , a n d C o g g e s h a l l , 1 9 8 2 ) . T h u s , u n l e s s a v a r i a b l e w a s a v e r a g e d i n t h e o r i g i n a l s t u d y d a t a b a s e , t h e v a r i a b l e i n c l u d e s a s i z e f a c t o r . T h a t i s v a l u e s a r e b b b d i v i d e d b y n u m b e r o f s t u d e n t s , f a c u l t y , a n d s o f o r t h . A c c o r d i n g l y , t h e o n l y a v e r a g e d v a r i a b l e s i n t h e p r e s e n t s t u d y a r e t h e t h r e e f a c u l t y c o m p e n s a t i o n v a r i a b l e s : C O M P P R F A , C O M P A S C A , a n d C O M P A S T A ( s e e C h a p t e r I I I a n d A p p e n d i x B f o r a d d i t i o n a l i n f o r m a t i o n a b o u t v a r i a b l e s a n d a s s o c i a t e d d e f i n i t i o n s ) . O n e m i g h t a r g u e t h a t " s i z e " h a s c o n t r i b u t e d t o m a n y c o r r e l a t i o n s a n d m a y h a v e g i v e n l a r g e d o c t o r a l i n s t i t u t i o n s a n a d v a n t a g e . T h i s a r g u m e n t h a s m e r i t . H o w e v e r , t h e v a r i a b l e s i n t h e p r e s e n t s t u d y w e r e n o t a v e r a g e d f o r t w o r e a s o n s . F i r s t , t h i s s t u d y , w a s a n a t t e m p t t o e x t e n d p r i o r r e s e a r c h o n a c a d e m i c q u a l i t y a n d p r i o r r e s e a r c h , f o r t h e m o s t p a r t , d i d n o t a v e r a g e v a r i a b l e s . S e c o n d , a s t u d y o f a v e r a g i n g w a s p e r f o r m e d a s a c o r o l l a r y t o t h e p r e s e n t s t u d y , b u t d i d n o t r e s u l t i n a n y s i n g l e n o r m a l i z i n g p r o c e d u r e w h i c h w a s u n i f o r m l y a p p l i c a b l e a n d d e f e n s i b l e . D i v i d i n g b y t w o o r t h r e e d i f f e r e n t v a l u e s y i e l d e d c l e a r m e a s u r e m e n t a r t i f a c t s . I n s h o r t , A A ( ( t h e a v e r a g i n g p r o b l e m s e e m s w o r t h y o f a f u t u r e s t u d y i n i t s o w n r i g h t . ~ O V E R V I E W O F T H E D I S S E R T A T I O N C h a p t e r I h a s p r e s e n t e d a r a t i o n a l e f o r t h e s t u d y o f a c a d e m i c q u a l i t y i n A m e r i c a n d o c t o r a l i n s t i t u t i o n s . C h a p t e r I I d e v e l o p s t h e l i t e r a t u r e w h i c h f o r m s t h e t h e o r e t i c a l b a s i s f o r t h e s t u d y o f a c a d e m i c q u a l i t y . P u b l i c a t i o n s a n d r e s e a r c h i n t h e f i e l d o f h i g h e r e d u c a t i o n w e r e r e v i e w e d r e l a t i v e t o : c o m p u t e r - b a s e d i n f o r m a t i o n s y s t e m s , m e t a - a n a l y s i s o f e x t a n t d a t a , a n d i n d i c a t o r s a s b a c k g r o u n d f o r t h e H E C B I S . R e s e a r c h w a s a l s o r e v i e w e d r e l a t i v e t o d a t a c h a r a c t e r i s t i c s , t h e m a j o r q u a l i t y a s s e s s m e n t m e t h o d s u s e d , t h e m a j o r q u a l i t y a s s e s s m e n t s t u d i e s p e r f o r m e d , t h e r e s e a r c h a n d s t a t i s t i c a l m e t h o d s e m p l o y e d , a n d t h e c u r r e n t t h e o r i e s o f a c a d e m i c q u a l i t y . C h a p t e r I I I d e s c r i b e s t h e r e s e a r c h d e s i g n , t h e r e s e a r c h m e t h o d s a n d p r o c e d u r e s u s e d , i n c l u d i n g t h e n a t u r e o f t h e s t u d y p o p u l a t i o n a n d t h e d a t a , a n d t h e s t a t i s t i c a l t e c h n i q u e s e m p l o y e d . C h a p t e r I V p r e s e n t s s t u d y f i n d i n g s i n s t a t i s t i c a l , g r a p h i c , a n d n a r r a t i v e f o r m . T h e g r a p h i c f o r m s o r " p r o f i l e s " d e m o n s t r a t e s o m e p r a c t i c a l u s e s o f t h i s p o w e r f u l c o m m u n i c a t i o n d e v i c e f o r u n i v e r s i t y p o l i c y a n d d e c i s i o n m a k e r s f o r q u a l i t y a s s e s s m e n t a n d i m p r o v e m e n t . T h e n a r r a t i v e f o r m d i s c u s s e s t h e i n t e r p r e t a t i o n s t o b e 3 4 d r a w n f r o m t h e s t a t i s t i c s a n d t h e p r o f i l e s . C h a p t e r V p r e s e n t s a s u m m a r y a n d c o n c l u s i o n s a n d i m p l i c a t i o n s o f t h e s t u d y , a l o n g w i t h r e c o m m e n d a t i o n s f o r f u r t h e r s t u d y . T h e A p p e n d i c e s c o n t a i n : a n a m e n d e d a l p h a b e t i c a l l i s t i n g o f t h e p o p u l a t i o n o f o n e h u n d r e d a n d s e v e n t y - o n e d o c t o r a l i n s t i t u t i o n s ; a l i s t i n g o f t h e f o r t y - n i n e d a t a v a r i a b l e s , a l o n g w i t h t h e i r d e f i n i t i o n s a n d d a t a s o u r c e s ; a n d r a n k i n g s o f t h e e i g h t k e y v a r i a b l e s i d e n t i f i e d i n t h e s t u d y . C H A P T E R I I R E L A T E D L I T E R A T U R E I N T R O D U C T I O N T h e m a j o r r e s e a r c h o b j e c t i v e s , r e s e a r c h q u e s t i o n s , a n d h y p o t h e s i s t o b e a d d r e s s e d i n t h i s d i s s e r t a t i o n w e r e i n t r o d u c e d i n C h a p t e r I . A r e v i e w o f t h e o b j e c t i v e s a n d t h e e l e v e n r e s e a r c h q u e s t i o n s w h i c h w i l l b e d i s c u s s e d i n r e l a t i o n t o t h e l i t e r a t u r e r e v i e w w i l l s e r v e a s t h e i n t r o d u c t i o n t o t h i s c h a p t e r . O b j e c t i v e 1 : T o d e s c r i b e t h e p o p u l a t i o n o f o n e h u n d r e d a n d s e v e n t y - o n e A m e r i c a n d o c t o r a l i n s t i t u t i o n s , u s i n g a c o m p r e h e n s i v e s e t o f f o r t y - n i n e o b s e r v a b l e v a r i a b l e s . L 1 . W h a t g r o u p s s i m i l a r t o t h e p o p u l a t i o n o f d o c t o r a l i n s t i t u t i o n s h a v e b e e n d e s c r i b e d i n p r i o r s t u d i e s ? L 2 . W h a t r e s e a r c h m e t h o d s , v a r i a b l e s , a n d s t a t i s t i c s h a v e b e e n u s e d t o m e a s u r e a c a d e m i c q u a l i t y ? L 3 . W h a t m e t h o d s h a v e b e e n u s e d i n t h e d e v e l o p m e n t o f r e s e a r c h d a t a b a s e s ? O b j e c t i v e 2 : T o r e d u c e t h e n u m b e r o f t h i r t y - e i g h t o b s e r v a b l e q u a n t i t a t i v e v a r i a b l e s u s e d t o d e s c r i b e t h e p o p u l a t i o n o f d o c t o r a l i n s t i t u t i o n s t o a s m a l l e r s e t o f e i g h t " k e y v a r i a b l e s . “ L 4 . W e r e t h e c o r r e l a t i o n s a m o n g t h e d e s c r i p t i v e v a r i a b l e s i n p r i o r s t u d i e s s u f f i c i e n t l y h i g h t o p e r m i t a r e d u c t i o n i n t h e n u m b e r o f v a r i a b l e s ? L 5 . W h a t g r o u p i n g s o r d o m a i n s o f v a r i a b l e s h a v e b e e n u s e d i n p r i o r s t u d i e s ? O b j e c t i v e 3 : T o d e t e r m i n e t h e d e g r e e t o w h i c h t h e k e y a c a d e m i c q u a l i t y v a r i a b l e c a n b e p r e d i c t e d f r o m t h e o t h e r s e v e n k e y q u a n t i t a t i v e v a r i a b l e s . L 6 . W h a t r e s e a r c h m e t h o d s a n d v a r i a b l e s h a v e b e e n u s e d t o m e a s u r e a c a d e m i c q u a l i t y i n p r i o r s t u d i e s ? L 7 . W h a t v a r i a b l e s s e e m e d t o b e s t m e a s u r e a n d p r e d i c t a c a d e m i c q u a l i t y i n p r i o r s t u d i e s ? O b j e c t i v e 4 : T o g e n e r a t e g r a p h i c d i s p l a y s o r " p r o f i l e s ” o f d o c t o r a l i n s t i t u t i o n s a n d g r o u p s o f d o c t o r a l i n s t i t u t i o n s b a s e d u p o n t h e e i g h t k e y v a r i a b l e s . L 8 . W h a t p r o b l e m s h a v e o c c u r r e d i n t h e u s e o f r a n k i n g s o f i n s t i t u t i o n s o f h i g h e r e d u c a t i o n ? L 9 . W h a t m a j o r n o n - r a n k i n g m e t h o d s c a n b e u s e d f o r a n a l y t i c a l a n d d e s c r i p t i v e p u r p o s e s ? O b j e c t i v e 5 : T o e x a m i n e m o r e c l o s e l y t h e u n d e r l y i n g s t r u c t u r e o f d o c t o r a l i n s t i t u t i o n s w h i c h m i g h t a c c o u n t f o r t h e i n t e r - c o r r e l a t i o n s a m o n g t h e o b s e r v a b l e q u a n t i t a t i v e v a r i a b l e s u s e d i n t h e s t u d y . L 1 0 . W h a t a r e t h e c u r r e n t m a j o r t h e o r i e s o f a c a d e m i c q u a l i t y ? L 1 1 . W h a t f a c t o r a n a l y t i c s t r u c t u r e s u n d e r l y i n g d o c t o r a l i n s t i t u t i o n s h a v e b e e n o b s e r v e d ? T h e s e e l e v e n r e s e a r c h q u e s t i o n s w e r e u s e d a s a b a s i s f o r t h e l i t e r a t u r e s e a r c h a n d a s a n o r g a n i z a t i o n a l b a s e f o r t h e l i t e r a t u r e r e v i e w . E a c h o f t h e t o p i c s p r e s e n t e d h e r e r e l a t e s t o o n e o r m o r e o f t h e r e s e a r c h q u e s t i o n s . T h e s e q u e s t i o n s a r e p e r i o d i c a l l y r e f e r r e d t o i n t h e d i s c u s s i o n w h i c h f o l l o w s i n o r d e r t o g u i d e t h e r e a d e r ' s p e r s p e c t i v e a n d u n d e r s t a n d i n g o f t h e l i t e r a t u r e . R E S E A R C H M E T H O D S U S E D I N T H E S T U D Y O F L A R G E C O M P L E X O R G A N I Z A T I O N S I n t r o d u c t i o n T h r e e r e s e a r c h m e t h o d s f r o m f i e l d s o t h e r t h a n h i g h e r e d u c a t i o n w e r e f o u n d t o b e u s e f u l i n a n s w e r i n g t w o o f t h e r e s e a r c h l i t e r a t u r e q u e s t i o n s i n t h e p r e s e n t s t u d y : L 3 . W h a t m e t h o d s h a v e b e e n u s e d i n t h e d e v e l o p m e n t o f r e s e a r c h d a t a b a s e s ? L 9 . W h a t m a j o r n o n - r a n k i n g m e t h o d s c a n b e u s e d f o r a n a l y t i c a l a n d d e s c r i p t i v e p u r p o s e s ? T h e s e t h r e e r e s e a r c h m e t h o d s , w h i c h p r o v i d e t h e f o u n d a t i o n f o r t h e s t u d y , w i l l b e b r i e f l y d i s c u s s e d i n t h i s s e c t i o n . T h e y a r e : 1 ) C o m p u t e r - B a s e d I n f o r m a t i o n S y s t e m s , 2 ) M e t a - A n a l y s i s o f E x t a n t D a t a , a n d 3 ) I n d i c a t o r s . T h e m o r e t r a d i t i o n a l a s p e c t s o f t h e s t u d y m e t h o d o l o g y , s u c h a s r e s e a r c h p r o c e d u r e s a n d s t a t i s t i c a l m o d e l s a n d t e c h n i q u e s , a r e e x t e n s i v e l y d i s c u s s e d i n C h a p t e r I I I . 3 8 C o m p u t e r - B a s e d I n f o r m a t i o n S y s t e m s C o m p u t e r - B a s e d I n f o r m a t i o n S y s t e m s ( C B I S s ) a s t o o l s f o r m a n a g e m e n t d e c i s i o n m a k i n g h a v e e v o l v e d r a p i d l y f r o m t h e e a r l y 1 9 5 0 5 t o t h e p r e s e n t t i m e . B r i n k m a n ( 1 9 8 4 ) t r a c e s t h e i r d e v e l o p m e n t a s f o l l o w s . F i r s t , i n t h e 1 9 5 0 5 , c a m e E l e c t r o n i c D a t a P r o c e s s i n g ( E D P ) s y s t e m s w h i c h w e r e d a t a o r i e n t e d . T h e y w e r e p r i m a r i l y u s e d f o r r e c o r d i n g , s t o r i n g , m a i n t a i n i n g , a n d r e c a l l i n g d a t a . I n t h e e a r l y 1 9 6 0 5 , M a n a g e m e n t I n f o r m a t i o n S y s t e m s ( M I S ) a p p e a r e d w h i c h w e r e o r i e n t e d t o i n f o r m a t i o n , r a t h e r t h a n d a t a . T h e y e m p h a s i z e d t h e o r g a n i z a t i o n o f d a t a a n d i n f o r m a t i o n s o u r c e s a n d w e r e p r i m a r i l y u s e d b y m i d d l e m a n a g e m e n t t o s o l v e r o u t i n e w e l l - s t r u c t u r e d p r o b l e m s a n d t o c o o r d i n a t e o p e r a t i o n s . D a t a B a s e d M a n a g e m e n t S y s t e m s ( D B M S ) a p p e a r e d i n m i d - 1 9 7 0 . T h e y w e r e a t y p e o f M I S , i n t h a t t h e y e n h a n c e d d a t a e n t r y a n d m a i n t e n a n c e f u n c t i o n s , b u t t h e y a l s o r e s p o n d e d t o n e w d e m a n d s f o r a d h o c r e t r i e v a l o f i n f o r m a t i o n . D e c i s i o n S u p p o r t S y s t e m s ( D S S ) w h i c h a p p e a r e d i n t h e l a t e 1 9 7 0 5 a l s o w e r e s i m i l a r t o M I S , b u t t h e y w e r e m o r e d i r e c t e d t o s e n i o r m a n a g e m e n t n e e d s f o r s o l v i n g r e l a t i v e l y u n s t r u c t u r e d p o o r l y - d e f i n e d p r o b l e m s . T h e s e t y p e s o f p r o b l e m s c a n c h a n g e q u i c k l y a n d f r e q u e n t l y r e q u i r e d a t a e x t e r n a l t o t h e I o r g a n i z a t i o n . T h e e m p h a s i s i s o n s t r a t e g i c , r a t h e r t h a n o p e r a t i o n a l o r t a c t i c a l , p r o b l e m - s o l v i n g . T o d a y , t h e e m p h a s i s i s o n s y s t e m s w h i c h u s e m i c r o c o m p u t e r s t o p e r f o r m t h e p r e v i o u s l y d e s c r i b e d d a t a a n d i n f o r m a t i o n a l f u n c t i o n s , b u t m o r e d i r e c t l y s u p p o r t d e c i s i o n m a k i n g b y a i d i n g t h e c o g n i t i v e o r k n o w l e d g e p r o c e s s e s . T h u s , B r i n k m a n c o n c l u d e s t h a t a g o o d C B I S i n t h e m i d - 1 9 8 0 5 a h o u l d b e a b l e t o d o t h r e e t h i n g s : 1 ) p r o v i d e a c c e s s t o m u c h o f t h e d a t a a n d i n f o r m a t i o n n e e d e d f o r m a k i n g d e c i s i o n s a n d f o r u n d e r s t a n d i n g t h e w o r k i n g s o f a n o r g a n i z a t i o n : 2 ) p r o v i d e a m e d i u m , o r s e t o f a l t e r n a t i v e m e d i a , t h a t a l l o w s d a t a a n d i n f o r m a t i o n t o b e a s s e m b l e d , m a n i p u l a t e d , a n a l y z e d , a n d r e p o r t e d : a n d 3 ) p r o v i d e s u p p o r t f o r t h e t h o u g h t p r o c e s s e s , f o r t h e r e l a t i n g o f a s s u m p t i o n s , c o n c e p t s , f a c t s , r u l e s o f t h u m b , a n d s o o n t h a t a r e r e q u i r e d f o r p o l i c y a n d m a n a g e r i a l u n d e r s t a n d i n g a n d d e c i s i o n m a k i n g . M e t a - A n a l y s i s o f E x t a n t D a t a U n t i l r e c e n t l y , h i g h e r e d u c a t i o n h a s b e e n g e n e r a l l y d e s c r i b e d i n t e r m s o f i t s “ c o n d i t i o n , " t h a t i s , i n t e r m s o f e n r o l l m e n t s , e a r n e d d e g r e e s , a n d e x p e n d i t u r e s . T h e c o n d i t i o n i s u s u a l l y r e f l e c t e d i n c o l l e c t i o n s o f s t a t i s t i c s o n : t r e n d s i n a p p l i c a t i o n s , a d m i s s i o n s , a n d d e g r e e s a w a r d e d : a t t r i t i o n : s t u d e n t c r e d i t h o u r s : c o s t s p e r s t u d e n t : a n d v a r i o u s c o s t r a t i o s o r c o s t t r e n d s . T h e s e s t a t i s t i c s , w h i c h a r e 4 0 u s u a l l y s i m p l y a g g r e g a t e d a n d r e p o r t e d , m e r e l y p r o v i d e a b a s e f o r p o l i c y a n a l y s i s . U s u a l l y , t h e r e i s l i t t l e , i f a n y , s y s t e m m a t i c a n a l y s i s o f t h i s s t a t i s t i c a l d a t a t o a s s e s s h i g h e r e d u c a t i o n p o l i c i e s o r s t r a t e g i e s . P r o b a b l y , t h e m a i n r e a s o n f o r t h i s l a c k o f a s s e s s m e n t h a s b e e n d u e t o t h e h i g h c o s t s , i n t e r m s o f p e o p l e , t i m e , a n d m o n e y r e q u i r e d f o r l a r g e - s c a l e d a t a c o l l e c t i o n , w h i c h w a s b e l i e v e d t o b e a n e c e s s a r y p a r t o f s u c h a s s e s s m e n t s . L a r g e - s c a l e d a t a c o l l e c t i o n i s i n v a r i a b l y e x p e n s i v e , t i m e - c o n s u m i n g , a n d h i g h l y t e c h n i c a l a n d l a b o r - i n t e n s i v e , r e q u i r i n g a v a s t a r r a y o f h i g h l y k n o w l e d g e a b l e a n d b r o a d l y t r a i n e d s t a f f . F o r e x a m p l e , a t y p i c a l e f f o r t m i g h t r e q u i r e : s t a f f e x p e r i e n c e d i n r e s e a r c h d e s i g n a n d r e s e a r c h m e t h o d o l o g i e s , s t a f f w i t h e x p e r t i s e i n s a m p l e d e s i g n a n d e x e c u t i o n , s t a f f w i t h t e c h n i c a l e x p e r t i s e i n t h e d e v e l o p m e n t o f l a r g e - s c a l e d a t a b a s e s , s t a f f e x p e r i e n c e d i n r e s p o n s e p r o c e s s i n g a n d e d i t i n g , a n d s t a f f e q u i p p e d w i t h h i g h l y s o p h i s t i c a t e d a n a l y t i c a l a n d w r i t i n g s k i l l s ( M y e r s a n d R o c k w e l l , 1 9 8 4 , 2 2 ) . T h e r e i s , h o w e v e r , a l o w - c o s t a l t e r n a t i v e f r e q u e n t l y o v e r l o o k e d b y r e s e a r c h e r s , “ m e t a - a n a l y s i s o f e x t a n t d a t a . ” M e t a - A n a l y s i s i s t h e u s e o f s t a t i s t i c a l , m e t h o d s t o d e s c r i b e t h e r e s u l t s o f a n u m b e r o f r e s e a r c h s t u d i e s . " S e c o n d a r y a n a l y s i s , " w h i c h i s t h e m e t h o d u s e d h e r e , i s t h e s i m p l e s t f o r m o f m e t a - a n a l y s i s 4 1 ( H e d g e s , 1 9 8 4 , 2 6 ) . I t i s a n e x a m i n a t i o n o f a p o o l o f d i r e c t l y c o m p a r a b l e r a w d a t a w h i c h h a s b e e n o b t a i n e d f r o m o n e o r m o r e s t u d i e s a n d c o m b i n e d f o r r e - a n a l y s i s i n a s i n g l e l a r g e s t a t i s t i c a l a n a l y s i s . T h e d a t a s e t m a y a l s o i n c l u d e n e w l y c o l l e c t e d p r i m a r y d a t a . S e c o n d a r y a n a l y s i s i s b e c o m i n g i n c r e a s i n g l y u s e f u l t o r e s e a r c h e r s . S o m e o f i t s u s e s i n c l u d e : 1 ) i n v e s t i g a t i n g m e t h o d o l o g i c a l p r o b l e m s i n a n a l y s e s o f f i e l d — b a s e d r e s e a r c h d a t a : 2 ) c o n d u c t i n g m e t a - e v a l u a t i o n s a n d a l t e r n a t i v e a n a l y s e s o f e v a l u a t i v e d a t a : 3 ) s t u d y i n g p o l i c y i m p l i c a t i o n s a n d a l t e r n a t i v e s : 4 ) e x t e n d i n g d a t a a r c h i v e s t o n e w p r o b l e m a r e a s : a n d 5 ) s y n t h e s i z i n g e v a l u a t i o n a n d r e s e a r c h o n a g i v e n t o p i c o r p r o b l e m ( F o r t u n e a n d M c B e e , 1 9 8 4 , 2 7 - 2 8 ) . S e c o n d a r y a n a l y s i s u s u a l l y i n v o l v e s n i n e r e s e a r c h s t e p s : 1 ) i d e n t i f y i n g a p r o b l e m o f i n t e r e s t : 2 ) d e s i g n i n g a s t u d y o f i n t e r e s t : 3 ) f i n d i n g a p p r o p r i a t e d a t a b a s e s ; 4 ) n e g o t i a t i n g a c c e s s t o t h e d a t a b a s e s ; 6 ) p r e p a r i n g t h e r e q u i r e d d a t a f i l e o r f i l e s : 7 ) a c c e s s i n g t h e v a r i a b l e s o f i n t e r e s t ; 8 ) a n a l y z i n g t h e d a t a ; a n d 9 ) r e p o r t i n g t h e r e s u l t s . T h e s e n i n e s t e p s r e q u i r e a m u l t i p l i c i t y o f t a s k s , i n v o l v i n g r e s e a r c h m e t h o d o l o g i e s , l o g i s t i c s , a n d c o m p u t e r m e c h a n i c s ( F o r t u n e a n d M c B e e , 1 9 8 4 , 2 8 ) . 4 2 A l t h o u g h t h e s e c o n d a r y a n a l y s i s m e t h o d l o o k s r e a s o n a b l y s i m p l e o n i t s f a c e , m a n y d i f f i c u l t i e s a n d c o m p l e x i t i e s a r e u s u a l l y e n c o u n t e r e d . F o r t u n e a n d M c B e e ( 1 9 8 4 ) d e s c r i b e m o r e t h a n t w e l v e d i f f e r e n t p r e p a r a t i o n p r o c e s s e s a n d s e v e n a s s o c i a t e d p i t f a l l s ( t h a t i s , s a m p l e s k e w s , m e r g e r m o r t a l i t y , n o n - r e s p o n s e n o i s e , v a r i a n t v a r i a b l e s , a g g r e g a t e a n o m a l i e s , t i m e t a n g l e s , a n d m e c h a n i c a l m e a s u r e s ) w h i c h m a y b e e n c o u n t e r e d i n u s i n g s e c o n d a r y a n a l y s i s . E x t a n t o r e x i s t i n g d a t a o b t a i n e d f r o m p u b l i c e x t a n t d a t a b a s e s c a n i n c l u d e b o t h o r i g i n a l d a t a w i t h s o f t w a r e o r d a t a s e t s . T h e m a j o r c o l l e c t o r a n d d i s s e m i n a t o r o f e x t a n t d a t a b a s e s i s t h e U n i t e d S t a t e s g o v e r n m e n t w h i c h m a i n t a i n s t h e l a r g e s t s u r v e y a p p a r a t u s i n t h e w o r l d . A c c o r d i n g t o T u r n e r a n d M a r t i n , ( 1 9 8 1 ) , t h e g o v e r n m e n t a n n u a l l y c o n d u c t s m o r e t h a n t w o h u n d r e d s u r v e y s a n d c e n s u s e s , r e q u i r i n g m o r e t h a n f i v e m i l l i o n i n t e r v i e w s a n d a b s o r b i n g o n e m i l l i o n h o u r s o f r e s p o n d e n t s ' t i m e . E v e n m o r e s u r v e y s , r a n g i n g f r o m p u b l i c o p i n i o n p o l l s t o m a r k e t s u r v e y s , a r e c o n d u c t e d , e a c h y e a r o u t s i d e g o v e r n m e n t . S o m e o f t h e s e s u r v e y s a l s o p r o d u c e l a r g e - s c a l e d a t a b a s e s . S o m e e x a m p l e s o f t h e s e a r e : 1 ) t h e I n s t i t u t e f o r S o c i a l R e s e a r c h ( I S R ) a t t h e U n i v e r s i t y o f M i c h i g a n : 2 ) t h e I n t e r - U n i v e r s i t y C o n s o r t i u m f o r P o l i c y a n d S o c i a l R e s e a r c h ( I C P S R ) : 3 ) t h e N a t i o n a l O p i n i o n R e s e a r c h C e n t e r ( N O R C ) : 4 ) t h e 4 3 R e s e a r c h T r i a n g l e I n s t i t u t e ( R T I ) : 5 ) W e s t a t ; 6 ) t h e C o o p e r a t i v e I n s t i t u t i o n a l R e s e a r c h P r o g r a m ( C I R P ) ; a n d 7 ) t h e E d u c a t i o n a l T e s t i n g S e r v i c e ( E T S ) . T h e d a t a b a s e s d e r i v e d f r o m t h e s e s u r v e y s a n d c e n s u s e s c o n d u c t e d b y t h e s e a n d o t h e r o r g a n i z a t i o n s a r e g e n e r a l l y m a d e a v a i l a b l e t o r e s e a r c h e r s a t l i t t l e c o s t ( M y e r s a n d R o c k w e l l , 1 9 8 4 , 5 ) . I m p o r t a n t f e a t u r e s o f e x t a n t d a t a b a s e s a r e : 1 ) t h e y a r e a v a i l a b l e t o t h e p u b l i c w i t h o u t r e s t r i c t i o n s , 2 ) t h e y a r e d i s s e m i n a t e d i n a f o r m t h a t c a n b e u s e d b y a c o m p u t e r , 3 ) t h e s a m p l e s a r e l a r g e e n o u g h s o t h a t n a t i o n a l p a r a m e t e r s c a n b e e s t i m a t e d , a n d 4 ) t h e y c o n t a i n d a t a u s e f u l i n p o l i c y a n d e v a l u a t i o n r e s e a r c h ( M y e r s a n d R o c k w e l l , 1 9 8 4 , 6 ) . ' A l t h o u g h t h e s e d a t a b a s e s h a v e e n o r m o u s p o t e n t i a l f o r p o l i c y a n a l y s i s a n d e v a l u a t i o n r e s e a r c h i n a w i d e r a n g e o f f i e l d s , t h e y a r e l i t t l e u s e d . T h e r e a s o n f o r t h i s l a c k o f u s e i s u s u a l l y a t t r i b u t e d t o i g n o r a n c e o f t h e i r e x i s t e n c e a n d t o t h e t e c h n i c a l a n d l o g i s t i c a l d i f f i c u l t i e s i n v o l v e d i n l o c a t i n g a n d u s i n g t h e m . T h e p r e s e n t s t u d y u s e d b o t h t h e s e c o n d a r y a n a l y s i s m e t h o d a n d d a t a o b t a i n e d f r o m e x t a n t d a t a b a s e s , p r i n c i p a l l y t h a t m a i n t a i n e d b y t h e N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s c o l l e c t e d t h r o u g h t h e H i g h e r E d u c a t i o n G e n e r a l I n f o r m a t i o n S u r v e y ( H E G I S ) . T h e d a t a a r e t h o r o u g h l y d e s c r i b e d i n C h a p t e r I I I w h i c h f o l l o w s . 4 4 I n d i c a t o r s U n t i l r e c e n t l y , t h e u s e o f i n d i c a t o r s i n h i g h e r e d u c a t i o n w a s p r i m a r i l y l i m i t e d t o f i n a n c i a l i n d i c a t o r s , s u c h a s e x p e n d i t u r e / s t u d e n t r a t i o s , w h i c h w e r e u s e d t o m e a s u r e f i n a n c i a l c o n d i t i o n . H o w e v e r , t h e r e i s i n c r e a s i n g i n t e r e s t i n t h e u s e o f i n d i c a t o r s i n t h e m a n a g e m e n t o f h i g h e r e d u c a t i o n i n s t i t u t i o n s t h e m s e l v e s t h r o u g h t h e o v e r a l l a s s e s s m e n t o f t h e c o n d i t i o n o f h i g h e r e d u c a t i o n , i n c l u d i n g a s s e s s m e n t s o f p r o b l e m s a n d o p p o r t u n i t i e s . T h i s u s e o f i n d i c a t o r s o r " k e y v a r i a b l e s ” h a s a n a n a l o g y i n e c o n o m i c s . T h e w o r k o f S i r R i c h a r d S t o n e , P r o f e s s o r E m e r i t u s o f F i n a n c e a n d A c c c o u n t i n g a t C a m b r i d g e U n i v e r s i t y a n d w i n n e r o f t h e 1 9 8 4 A l f r e d N o b e l M e m o r i a l P r i z e i n E c o n o m i c S c i e n c e , a n d J a m e s M e a d e , a 1 9 7 7 N o b e l L a u r e a t e , i s w o r t h y o f m e n t i o n . D u r i n g t h e 1 9 4 0 ' s , S t o n e a n d M e a d e , h e l p e d J o h n M a y n a r d K e y n e s s i f t t h r o u g h a n d o r g a n i z e b i l l i o n s o f t r a n s a c t i o n s c o m p r i s i n g e c o n o m i c b e h a v i o r i n t o k e y s t a t i s t i c s w h i c h p r o f i l e d t h e s t a t e o f t h e B r i t i s h e c o n o m y . T h i s w o r k e n a b l e d B r i t a i n ' s l e a d e r s t o a c c u r a t e l y a s s e s s i t s r e s o u r c e s a n d , t h u s , h e l p e d t o e n s u r e t h e c o u n t r y ' s u l t i m a t e s u c c e s s i n W o r l d W a r I I ( G r e e n w a l d , 1 9 8 4 ) . R e a s o n s f o r t h i s n e w i n t e r e s t i n t h e u s e o f i n d i c a t o r s i n h i g h e r e d u c a t i o n h a v e b o t h p o s i t i v e a n d 4 5 n e g a t i v e a s p e c t s . O n t h e p o s i t i v e s i d e , t h e r e i s g r o w i n g r e c o g n i t i o n t h a t e x t e r n a l f a c t o r s , s u c h a s d e m o g r a p h i c s a n d i n f l a t i o n , a r e d r a m a t i c a l l y a f f e c t i n g i n s t i t u t i o n a l d e c i s i o n s a n d t h a t i n f o r m a t i o n o n t h e c o n d i t i o n o f h i g h e r e d u c a t i o n n e e d s t o b e i m p r o v e d . T h i s h a s i n c r e a s e d t h e w i l l i n g n e s s o f i n s t i t u t i o n s t o l e a r n f r o m e a c h o t h e r . O n t h e n e g a t i v e s i d e , i n s t i t u t i o n s a r e i n t e r e s t e d i n t h e u s e o f i n d i c a t o r s t o j u s t i f y t h e i r p r o b l e m s , t h a t i s , t o i n d i c a t e t h a t o t h e r s a r e s u f f e r i n g t h e s a m e f a t e , a n d a s s u r r o g a t e s f o r f u n d i n g f o r m u l a s t o p e r s u a d e o t h e r s t o g i v e m o r e s u p p o r t . S o m e o f t h e s p e c i f i c u s e s o f i n d i c a t o r s i n t h e m a n a g e m e n t o f h i g h e r e d u c a t i o n i n s t i t u t i o n s a c c o r d i n g t o K r a m e r ( 1 9 8 1 ) a r e : 1 ) T o p r o v i d e a r e a s o n a b l e s e t o f a s s u m p t i o n s f o r m e e t i n g i n s t i t u t i o n a l c o m m i t m e n t s . 2 ) T o s u g g e s t s o l u t i o n s t o p r o b l e m s , r a t h e r t h a n m e r e l y r e g i s t e r i n g i m p r o v e m e n t b r o u g h t a b o u t b y t h e i r s o l u t i o n . 3 ) T o a s s i s t i n m a k i n g i n t e r n a l m a n a g e m e n t d e c i s i o n s , i n d i c a t i n g a r e a s o f r e l a t i v e s t r e n g t h a n d w e a k n e s s a n d e v e n s u g g e s t i n g r e m e d i a l s t r a t e g i e s . 4 ) U s i n g k n o w l e d g e o f t h e s t a t u s o f a n i n s t i t u t i o n o n c e r t a i n m e a s u r e s , t h a t i s , h o w w e l l o r b a d l y i t i s d o i n g , t o h e l p i m p r o v e i t s r e l a t i v e s t a n d i n g o n t h o s e M E Q S U F E S e 5 ) T o d e t e r m i n e t h e r e l a t i v e i n s t i t u t i o n a l n e e d f o r p u b l i c o r p r i v a t e a i d . 4 6 S u m m a r y T h e l i t e r a t u r e r e v i e w e d a b o v e a d d r e s s e d t w o r e s e a r c h q u e s t i o n s . T h e l i t e r a t u r e f i n d i n g s a r e b r i e f l y s u m m a r i z e d b e l o w i n r e f e r e n c e t o t h e r e s e a r c h q u e s t i o n s . L 3 . W h a t m e t h o d s h a v e b e e n u s e d i n t h e d e v e l o p m e n t o f r e s e a r c h d a t a b a s e s ? T h e m o s t r e l e v a n t r e s e a r c h m e t h o d f o r t h e t e c h n i c a l a s p e c t s o f t h e p r e s e n t s t u d y s e e m s t o b e 3 C B I S w h i c h c o m b i n e s d a t a f r o m n a t i o n a l e x t a n t d a t a b e g e s ( f o r e x a m p l e , t h e N a t i o n a l C e n t e r f o r E d u c a t i o n < S t a t i s t i c s ) a n d p u b l i s h e d r e p o r t s ( f o r e x a m p l e , t h e A s s o c i a t e d R e s e a r c h C o u n c i l s S t u d y ) o n a p p e r s o n a l c o m p u t e r s y s t e m . A l s o r e l e v a n t a r e a p p l i c a t i o n s o f t w a r e , s t a t i s t i c a l s o f t w a r e , a n d c o m p u t e r u t i l i t i e s d e s i g n e d f o r l i t e r a t u r e s e a r c h i n g . S u c h a s y s t e m c o u l d s e r v e a s a b a s i s f o r t h e p r e s e n t s t u d y , a s w e l l a s f o r f u t u r e s t u d i e s . L 9 . W h a t m a j o r n o n - r a n k i n g m e t h o d s c a n b e u s e d f o r a n a l y t i c a l a n d d e s c r i p t i v e p u r p o s e s ? T h e m o s t a p p r o p r i a t e m e t h o d f o r a n a l y s i s i n t h e p r e s e n t s t u d y s e e m s t o b e t h e m e t a - a n a l y t i c m e t h o d o f s e c o n d a r y j a n a l y s i s o f e x t a n t d a t a . T h e m o s t r e l e v a n t m e t h o d f o r d e s c r i p t i o n s e e m s t o b e p r o f i l e s b a s e d u p o n 4 7 a s e t o f k e y v a r i a b l e s o r i n d i c a t o r s o f q u a l i t y s e l e c t e d t o r e p r e s e n t a m u c h l a r g e r s e t o f i n f o r m a t i o n a l v a r i a b l e s . T h e s e p r o f i l e s c a n p r o v i d e a s i m u l t a n e o u s m u l t i v a r i a t e d i s p l a y f o r d e s c i p t i o n a n d a n a l y s i s o f i n s t i t u t i o n s o f h i g h e r e d u c a t i o n . Q U A L I T Y A S S E S S M E N T M E T H O D S I n t r o d u c t i o n T h e r e s e a r c h r e p o r t e d i n t h i s s e c t i o n a d d r e s s e d o n e o f t h e l i t e r a t u r e q u e s t i o n s r e l e v a n t t o t h e p r e d i c t i o n o f a c a d e m i c q u a l i t y : L 6 . W h a t r e s e a r c h m e t h o d s a n d v a r i a b l e s h a v e b e e n u s e d t o m e a s u r e a c a d e m i c q u a l i t y i n p r i o r s t u d i e s ? T h e l i t e r a t u r e i n d i c a t e s t h a t d o z e n s o f m e t h o d s h a v e b e e n e m p l o y e d i n t h e h u n d r e d s o f q u a l i t y r a t i n g s o f A m e r i c a n h i g h e r e d u c a t i o n w h i c h h a v e b e e n p u b l i s h e d s i n c e t h e f i r s t o n e w a s p u b l i s h e d i n 1 9 1 0 . M a n y o f t h e s e q u a l i t y a s s e s s m e n t m e t h o d s h a v e b e e n u s e d o n l y o n c e . H o w e v e r , i n t h e l a s t t w e n t y y e a r s , e i g h t m e t h o d s h a v e b e e n u s e d w i t h s o m e f r e q u e n c y . T h r e e a r e b a s e d o n t h e a c c o m p l i s h m e n t s o f f a c u l t y : 1 ) r e p u t a t i o n a l s t u d i e s : 2 ) c i t a t i o n s i n c i t a t i o n i n d e x e s ; a n d 3 ) f a c u l t y a w a r d s , h o n o r s , a n d p r i z e s a n d m e m b e r s h i p i n h o n o r i f i c o r g a n i z a t i o n s . T w o a r e b a s e d o n t h e 4 8 a c c o m p l i s h m e n t s o f s t u d e n t s : s c o r e s o f e n t e r i n g s t u d e n t s o n s t a n d a r d i z e d t e s t s a n d s t u d e n t a c h i e v e m e n t s i n l a t e r l i f e . O f t h e f i n a l t h r e e m e t h o d s , o n e i s b a s e d o n " i n s t i t u t i o n a l a f f l u e n c e , " o n e i s b a s e d o n t h e " v a l u e - a d d e d " ( t h a t i s , o n t h e " p r o d u c t s " o f i n s t i t u t i o n s ) , a n d t h e t h i r d , t h e " m u l t i v a r i a t e , ” e m p l o y s t w o o r m o r e o f t h e s e m e t h o d s s i m u l t a n e o u s l y . T h e s e m e t h o d s a r e a l s o f r e q u e n t l y c a t e g o r i z e d t o r e f l e c t t h e v a r i o u s " v i e w s " o f a c a d e m i c q u a l i t y : 1 ) t h e r e p u t a t i o n a l v i e w , 2 ) t h e r e s o u r c e s v i e w , 3 ) t h e o u t c o m e s v i e w , 4 ) t h e v a l u e - a d d e d v i e w , a n d 5 ) t h e m u l t i v a r i a t e v i e w . H o w e v e r , i t s h o u l d b e n o t e d t h a t t h e r e i s c o n s i d e r a b l e o v e r l a p i n t h e u s e o f t h e s e m e t h o d s i n q u a l i t y s t u d i e s , s i n c e f e w s t u d i e s a r e m e t h o d o l o g i c a l l y " p u r e , " b u t s i m u l t a n e o u s l y i n v o l v e m o r e t h a n o n e o f t h e s e m e t h o d s t o v a r i o u s d e g r e e s . F o r e x a m p l e , a s i n g l e s t u d y c a n s u r v e y f a c u l t y r e p u t a t i o n a n d a l s o c o l l e c t o n e o r m o r e r e s o u r c e m e a s u r e s . S i m i l a r l y , t h e r e i s c o n s i d e r a b l e o v e r l a p i n t h e c a t e g o r i z a t i o n o f t h e v a r i o u s m e t h o d s a t t r i b u t e d t o e a c h o f t h e s e v i e w s . F o r e x a m p l e , t h e r e p u t a t i o n o f f a c u l t y c a n b e a s c r i b e d , b o t h t o t h e r e p u t a t i o n a l v i e w a n d t o t h e r e s o u r c e s v i e w . T h e s e e i g h t m e t h o d s , r e f l e c t i n g t h e v a r i o u s v i e w s o f q u a l i t y , h a v e b e e n d i s c u s s e d e x t e n s i v e l y b y a n u m b e r o f s c h o l a r s i n a v a r i e t y o f p u b l i c a t i o n s . H o w e v e r , 4 9 W e b s t e r ( 1 9 8 3 ) a n d A s t i n ( 1 9 8 0 : 1 9 8 5 ) p r o b a b l y h a v e d e s c r i b e d t h e m b e s t . T h e f o l l o w i n g i s a s u m m a r y o f t h e i r d e s c r i p t i o n s o f t h e i m p o r t a n t t y p e s o f s t u d i e s u s i n g e a c h o f t h e s e m e t h o d s , w i t h t h e m a j o r a d v a n t a g e s a n d d i s a d v a n t a g e s u s u a l l y a t t r i b u t e d t o t h e m , s e t w i t h i n t h e c o n t e x t o f t h e v i e w s o f a c a d e m i c q u a l i t y w h i c h t h e y r e f l e c t . R e p u t a t i o n a l T h i s m e t h o d r e f l e c t s t h e r e p u t a t i o n a l v i e w o f a c a d e m i c q u a l i t y w h i c h d e f i n e s i n s t i t u t i o n a l q u a l i t y o n t h e b a s i s o f a c o n s e n s u s o f o p i n i o n , t h a t i s , q u a l i t y i s w h a t e v e r k n o w l e d g e a b l e p e o p l e “ t h i n k " i t i s . A l t h o u g h t h e s e s t u d i e s r e p r e s e n t o n l y a s m a l l n u m b e r o f t h e q u a l i t y a s s e s s m e n t s t u d i e s , t h e y a r e p r o b a b l y t h e b e s t k n o w n o f t h e m u l t i - d i s c i p l i n a r y s t u d i e s . T h e f i r s t n a t i o n a l s t u d y o f g r a d u a t e e d u c a t i o n u s i n g t h i s a p p r o a c h w a s p u b l i s h e d b y R a y m o n d M . H u g h e s i n 1 9 2 5 . O t h e r l a t e r m a j o r n a t i o n a l s t u d i e s o f i m p o r t a n c e w e r e p u b l i s h e d b y H u g h e s ( 1 9 3 4 ) : K e n i s t o n ( 1 9 5 9 ) : C a r t t e r ( 1 9 6 6 ) : R o o s e a n d A n d e r s e n ( 1 9 7 0 ) : J o n e s , L i n d z e y , a n d C o g g e s h a l l ( 1 9 8 2 ) : a n d G o u r m a n ( 1 9 8 3 ) . T w o n a t i o n a l r e p u t a t i o n a l s t u d i e s o f q u a l i t y i n u n d e r g r a d u a t e e d u c a t i o n a r e a l s o o f i m p o r t a n c e , o n e b y A s t i n a n d S o l m o n ( A s t i n a n d S o l m o n , 1 9 8 1 : S o l m o n a n d A s t i n , 1 9 8 1 ) a n d o n e b y B o u r m a n ( 1 9 8 3 ) . T h e s e s t u d i e s a r e i m p o r t a n t 5 0 t o t h e p r e s e n t s t u d y a n d a r e d i s c u s s e d l a t e r i n t h i s c h a p t e r . T h e s t u d i e s b y J o n e s , L i n d z e y , a n d C o g g e s h a l l : S o u r m a n ; a n d A s t i n a n d S o l m o n c o u l d a l s o b e c o n s i d e r e d t o b e m u l t i d i m e n s i o n a l s t u d i e s . T h e a d v a n t a g e o f r e p u t a t i o n a l s t u d i e s i s t h a t t h e r a t e r s a r e t h o s e w h o s u p p o s e d l y k n o w t h e m o s t a b o u t a c a d e m i c q u a l i t y i n e a c h d i s c i p l i n e . T h e s e r a n k i n g s , o f a l l t h e m a j o r t y p e s o f q u a l i t y r a n k i n g s , a l s o p r o d u c e r e s u l t s w i t h t h e m o s t f a c e v a l i d i t y ( t h a t i s , t h e y m a t c h m o s t c l o s e l y w h a t t h e e d u c a t e d g e n e r a l p u b l i c c o n s i d e r s t h e h i g h e r e d u c a t i o n u n i v e r s i t y h i e r a r c h y t o b e ) . T h e s e s t u d i e s a l s o h a v e s e v e r a l m a j o r p o t e n t i a l d i s a d v a n t a g e s : t h e y a r e s u b j e c t i v e i n n a t u r e ; t h e y c a n e f f e c t i v e l y r a t e o n l y d e p a r t m e n t s w h o s e m e m b e r s h a v e s u b s t a n t i a l r e s e a r c h r e p u t a t i o n s : t h e y a r e s u b j e c t t o ” h a l o e f f e c t s ” ( t h a t i s , t h e o v e r a l l r e p u t a t i o n o f a n i n s t i t u t i o n m a y i n f l u e n c e , f o r b e t t e r o r w o r s e , r a t e r s ' a s s e s s m e n t o f a p a r t i c u l a r d e p a r t m e n t t h e y a r e b e i n g a s k e d t o r a t e ) : t h e y r e i n f o r c e t h e h i e r a r c h i c a l s t r u c t u r e o f t h e h i g h e r e d u c a t i o n s y s t e m : t h e y l a g s e v e r a l y e a r s b e h i n d r e a l i t y ; t h e y a r e u s e f u l o n l y f o r r a n k i n g t h e b e s t o r b e t t e r i n s t i t u t i o n s : a n d t h e y u s e s c h o l a r s f r o m t h e n a t i o n ' s l e a d i n g i n s t i t u t i o n s i n d i s p r o p o r t i o n a l l y l a r g e n u m b e r s a s r a t e r s a n d t h e s e s c h o l a r s t e n d t o r a n k h i g h t h o s e d e p a r t m e n t s o f t h e s a m e t y p e a n d e m p h a s i s a s t h e i r o w n , w h i l e r a n k i n g l o w e r " i n n o v a t i v e o r d i f f e r e n t ” d e p a r t m e n t s . A h i g h q u a l i t y i n s t i t u t i o n o f t h i s t y p e w o u l d p r o b a b l y h a v e h i g h l y s e l e c t i v e a d m i s s i o n s , l a r g e e n r o l l m e n t s a n d f a c u l t y s i z e , a n d l a r g e g r a d u a t e f a c i l i t e s . T h e n e x t f o u r m e t h o d s r e f l e c t t h e r e s o u r c e s v i e w o f a c a d e m i c q u a l i t y , t h a t i s , a c a d e m i c q u a l i t y i s e q u a t e d w i t h a n i n s t i t u t i o n ' s e d u c a t i o n a l r e s o u r c e s , s u c h a s : h i g h l y t r a i n e d a n d p r e s t i g i o u s f a c u l t y , h i g h l y t r a i n e d s t u d e n t s , a n d i n s t i t u t i o n a l a f f l u e n c e . T h e s e r e s o u r c e s a l s o h a v e t r a d i t i o n a l l y p r o v i d e d t h e p r i n c i p a l e m p i r i c a l b a s i s f o r i n s t i t u t i o n a l a c c r e d i t a t i o n . C i t a t i o n s i n C i t a t i o n I n d e x e s T h e s e s t u d i e s v i e w f a c u l t y a s o n e o f t h e r e s o u r c e s o f a n i n s t i t u t i o n a n d t h e y a s s e s s t h e q u a l i t y o f t h a t r e s o u r c e i n t e r m s o f f a c u l t y p u b l i c a t i o n s . T h e m o s t t y p i c a l m e t h o d u s e d t o a s s e s s f a c u l t y p u b l i c a t i o n s i s t h r o u g h a r t i c l e s l i s t e d i n c i t a t i o n i n d e x e s . A c i t a t i o n i n d e x i s a n a n n u a l l i s t o f a s c h o l a r ' s w o r k w h i c h a p p e a r s i n j o u r n a l s a n d p e r i o d i c a l s c o v e r e d b y t h e i n d e x i n a p a r t i c u l a r y e a r . C i t a t i o n s t u d i e s u s u a l l y c o u n t : t h e n u m b e r o f c i t a t i o n s , a n a g g r e g a t i o n o f c i t a t i o n s ( f o r e x a m p l e , o v e r s o m e t i m e p e r i o d ) , o r c i t a t i o n s p e r c a p i t a . T h e i r a d v a n t a g e s a r e : t h e y a r e 5 2 u s e f u l i n a s s e s s i n g , n o t j u s t t h e v o l u m e o f p u b l i c a t i o n s , b u t t h e i n f l u e n c e a n d i m p o r t a n c e o f f a c u l t y m e m b e r s ( t h a t i s , r e s e a r c h e r s w i t h m a n y m e d i o c r e p u b l i c a t i o n s a r e n o t c i t e d o f t e n ) a n d t h e y r e f l e c t t h e p r e s e n t o r v e r y r e c e n t i n f l u e n c e o f a d e p a r t m e n t ' s f a c u l t y . T h e i r d i s a d v a n t a g e s a r e : t h e y a r e g r e a t l y i n f l u e n c e d b y t h e n u m b e r o f s c h o l a r s w h o a r e c u r r e n t l y p u b l i s h i n g i n a p a r t i c u l a r f i e l d a n d w h e t h e r t h e f i e l d i s e x p a n d i n g o r c o n t r a c t i n g : t h e y f a i l t o t a k e i n t o a c c o u n t w h o i s d o i n g t h e c i t i n g ; a n d t h e y a r e s u b j e c t t o m a n i p u l a t i o n ( f o r e x a m p l e , a r e s e a r c h e r c a n c i t e h i s o w n s t u d i e s ) . F a c u l t y A w a r d s , H o n o r s , a n d P r i z e s a n d M e m b e r s h i p i n H o n o r i f i c O r g a n i z a t i o n s T h e s e s t u d i e s a l s o s h a r e t h e r e s o u r c e v i e w o f q u a l i t y , b u t a s s e s s f a c u l t y q u a l i t y , n o t i n t e r m s o f f a c u l t y p u b l i c a t i o n s , b u t i n t e r m s o f t h e p r e s t i g e o f f a c u l t y m e m b e r s , a s m e a s u r e d b y f a c u l t y a w a r d s , h o n o r s , a n d p r i z e s a n d m e m b e r s h i p i n h o n o r i f i c o r g a n i z a t i o n s . T h e m a j o r a d v a n t a g e o f t h e s e s t u d i e s i s s u p p o s e d t o b e t h e i r o b j e c t i v i t y , h o w e v e r , a s A l l a n C a r t t e r h a s p o i n t e d o u t , t h e y a r e r e a l l y " s u b j e c t i v e r a t i n g s o n c e r e m o v e d . " T h e s e s t u d i e s a r e u s u a l l y c r i t i c i z e d f o r : f o c u s i n g o n l y o n a s m a l l g r o u p o f " e l i t e " f a c u l t y m e m b e r s , r a t h e r t h a n o n a l l f a c u l t y m e m b e r s ; b e i n g m o r e u s e f u l f o r r a n k i n g t h e b e s t a n d b e t t e r i n s t i t u t i o n s ; a n d f o r b e i n g e i t h e r y e a r s b e h i n d o r a h e a d o f r e a l i t y . S c o r e s o f E n t e r i n g : S t u d e n t s o n S t a n d a r d i z e d T e s t s T h e s e s t u d i e s a l s o r e f l e c t t h e r e s o u r c e v i e w o f a c a d e m i c q u a l i t y a s r e f l e c t e d i n t h e s t u d e n t s e n t e r i n g a n i n s t i t u t i o n . T h e s e s t u d i e s f r e q u e n t l y u s e s u c h t e s t s a s t h e S c h o l a s t i c A p t i t u d e T e s t ( S A T ) o r t h e A m e r i c a n C o l l e g e T e s t ( A C T ) t o a s s e s s t h e l e v e l o f t r a i n i n g o r " q u a l i t y " o f s t u d e n t s . T h e a d v a n t a g e s o f t h e s e s t u d i e s a r e : t h e d a t a a r e c u r r e n t , e a s i l y o b t a i n a b l e , a n d a v a i l a b l e f o r a g r e a t m a n y i n s t i t u t i o n s ( n o t f o r j u s t r e s e a r c h i n s t i t u t i o n s ) a n d t h e s c o r e s a r e a v a i l a b l e o n a l l e n t e r i n g s t u d e n t s , n o t j u s t a s p e c i a l g r o u p o f s t u d e n t s ( f o r e x a m p l e , o n l y t h o s e w i n n i n g a w a r d s o r g r a d u a t i n g ) . D i s a d v a n t a g e s a r e : t h e s t u d i e s a r e b a s e d o n t h e a c a d e m i c a b i l i t i e s o f s t u d e n t s b e f o r e t h e y e n t e r a n i n s t i t u t i o n a n d f a i l t o c o n s i d e r w h a t i n s t i t u t i o n s d o t o e d u c a t e t h e m ( w h a t A l e x a n d e r A s t i n c a l l s t h e " v a l u e a d d e d " e f f e c t ) : i n s t i t u t i o n a l a d m i s s i o n p o l i c i e s p l a y a l a r g e r o l e i n d e t e r m i n i n g s t u d e n t s ' s c o r e s o n s t a n d a r d i z e d t e s t s ; a n d s c h o o l s w i t h s m a l l e r e n r o l l m e n t s m a y b e r a t e d h i g h e r . 5 4 I n s t i t u t i o n a l A f f l u e n c e T h e s e s t u d i e s a l s o r e f l e c t t h e r e s o u r c e v i e w o f a c a d e m i c q u a l i t y i n t e r m s o f i n s t i t u t i o n a l a s s e t s , r e v e n u e s , a n d e x p e n d i t u r e s . T h e y f r e q u e n t l y e m p l o y s u c h m e a s u r e s a s : t h e n u m b e r o f l i b r a r y v o l u m e s o r l i b r a r y r e s o u r c e s ; r e v e n u e s f r o m s p e c i f i c s o u r c e s ( f o r e x a m p l e , r e s e a r c h g r a n t s ) : v a r i o u s t y p e s o f e d u c a t i o n a l e x p e n d i t u r e s ; a n d r a t i o s , s u c h a s f a c u l t y / s t u d e n t . A d v a n t a g e s o f t h e s e s t u d i e s i n c l u d e : a l l i n s t i t u t i o n s c a n b e c o m p a r e d , n o t j u s t s o m e ; d a t a a r e c u r r e n t a n d r e l a t i v e l y e a s y t o o b t a i n ; a n d t h e s t u d i e s p r o v i d e i n f o r m a t i o n o n w h a t s t u d e n t s e x p e r i e n c e d u r i n g t h e i r s t a y o n c a m p u s , n o t b e f o r e o r a f t e r t h e y l e a v e . T h e m a j o r d i s a d v a n t a g e s u s u a l l y c i t e d f o r t h e s e s t u d i e s i s t h a t t h e y m e a s u r e w h a t r e s o u r c e s a r e " a v a i l a b l e , ” n o t " h o w b e n e f i c i a l l y s t u d e n t s u s e " t h e r e s o u r c e s . S t u d e n t A c h i e v e m e n t s i n L a t e r L i f e T h e s e s t u d i e s r e f l e c t t h e " o u t c o m e s " v i e w o f i n s t i t u t i o n a l q u a l i t y w h i c h d e f i n e s i n s t i t u t i o n a l q u a l i t y , n o t o n t h e b a s i s o f a n i n s t i t u t i o n ' s r e p u t a t i o n o r i n i t s r e s o u r c e s , b u t , r a t h e r , o n h o w m a n y ” d i s t i n g u i s h e d a l u m n i “ o r ” d i s t i n g u i s h e d s c i e n t i s t s " i n s t i t u t i o n s p r o d u c e . A s t i n a l s o r e f e r s t o t h i s v i e w o f q u a l i t y a s a " p o o r - m a n ' s v a l u e - a d d e d a p p r o a c h . " I n s t i t u t i o n a l q u a l i t y o f t h i s t y p e i s u s u a l l y f o u n d b y d e t e r m i n i n g t h e p r o p o r t i o n o f a n i n s t i t u t i o n ' s g r a d u a t e s w h o : w i n g r a d u a t e f e l l o w s h i p s , g o o n t o g e t d o c t o r a t e s , o r w h o s u b s e q u e n t l y a p p e a r i n " W h o ' s W h o I n A m e r i c a “ o r " A m e r i c a n M e n a n d W o m e n o f S c i e n c e . " O t h e r o u t c o m e m e a s u r e s u s e d i n c l u d e t h e p e r s i s t e n c e r a t e s o f u n d e r g r a d u a t e s a n d t h e l i f e t i m e e a r n i n g s o f a n i n s t i t u t i o n ' s a l u m n i . F r o m 1 9 1 0 t o t h e 1 9 6 0 5 , w h e n t h e y w e r e l a r g e l y d i s c r e d i t e d , t h e s e s t u d i e s w e r e t h e m o s t f r e q u e n t l y p u b l i s h e d t y p e o f q u a l i t y r a t i n g . T h e m a j o r a d v a n t a g e o f t h i s t y p e o f s t u d y w a s t h e i r u n i v e r s a l i t y , t h a t i s , o n e c o u l d e f f e c t i v e l y r a n k o r d e r a l l A m e r i c a n c o l l e g e s a n d u n i v e r s i t i e s , n o t j u s t t h e r e s e a r c h i n s t i t u t i o n s , b e c a u s e t h e y a l l h a d " a c h i e v e m e n t o f g r a d u a t e s . “ T w o m a j o r d i s a d v a n t a g e s o f t h e s e s t u d i e s a r e u s u a l l y m e n t i o n e d : t h e r a n k i n g s a r e i n e v i t a b l y t h i r t y y e a r s o r m o r e b e h i n d t h e t i m e a n d t h e a c h i e v e m e n t s o f a n i n s t i t u t i o n ‘ s g r a d u a t e s d e p e n d m o r e o n t h e a b i l i t y o f t h e s t u d e n t s i t a t t r a c t s t h a n o n t h e q u a l i t y o f t h e i n s t i t u t i o n ( t h a t i s , i n s t i t u t i o n s t h a t " a t t r a c t " s u p e r i o r f r e s h m e n ” p r o d u c e ” h i g h a c h i e v i n g g r a d u a t e s ) . V a l u e - A d d e d S t u d i e s , u s i n g t h e v a l u e - a d d e d m e t h o d , w h i c h i s c l o s e l y i d e n t i f i e d w i t h A l e x a n d e r A s t i n , v i e w 5 6 i n s t i t u t i o n a l q u a l i t y i n t e r m s o f e d u c a t i o n a l i m p a c t o r v a l u e - a d d e d ( i n e c o n o m i c t e r m s ) . T h i s v i e w o f q u a l i t y s t a t e s t h a t ” t r u e " q u a l i t y r e s i d e s i n t h e i n s t i t u t i o n ' s a b i l i t y t o a f f e c t i t s s t u d e n t s f a v o r a b l y , t h a t i s , t o m a k e a p o s i t i v e d i f f e r e n c e i n t h e i r i n t e l l e c t u a l a n d p e r s o n a l d e v e l o p m e n t . T h u s , i n t h i s v i e w , t h e h i g h e s t - q u a l i t y i n s t i t u t i o n s a r e t h o s e t h a t h a v e t h e g r e a t e s t i m p a c t o r “ a d d t h e g r e a t e s t v a l u e “ t o t h e s t u d e n t ' s k n o w l e d g e , p e r s o n a l i t y , a n d c a r e e r d e v e l o p m e n t . A s t i n a r g u e s t h a t a n a d v a n t a g e o f t h e s e s t u d i e s i s t h a t t h e y h a v e a l r e a d y c h a n g e d t h i n k i n g o n m a t t e r s , s u c h a s : t h e o p t i m a l s i z e o f a n i n s t i t u t i o n , t h e v a l u e o f t h e r e s i d e n t i a l e x p e r i e n c e , a n d t h e r e l a t i v e m e r i t s o f f o u r - y e a r v e r s u s t w o - y e a r c o l l e g e s . M a j o r d i s a d v a n t a g e s o f t h e s e s t u d i e s u s u a l l y m e n t i o n e d a r e : t h e y a r e e x t r e m e l y t i m e - c o n s u m i n g a n d e x p e n s i v e t o c o n d u c t ( t h a t i s , t h e y r e q u i r e e x t e n s i v e f i l e s o f m u l t i v a r i a t e a n d l o n g i t u d i n a l s t u d e n t d a t a c o l l e c t e d f r o m l a r g e n u m b e r s o f s t u d e n t s a n d i n s t i t u t i o n s ) ; t h e y a r e d i f f i c u l t f o r a n i n s t i t u t i o n t o c o n d u c t b y i t s e l f ; a n d t h e y a t t r a c t l i t t l e f i n a n c i a l s u p p o r t f r o m f u n d i n g a g e n c i e s . M u l t i d i m e n s i o n a l S t u d i e s u s i n g t h i s m e t h o d m e a s u r e , n o t j u s t o n e , b u t m a n y c h a r a c t e r i s t i c s o f c o l l e g e s a n d u n i v e r s i t i e s . 5 7 T h e m a j o r a d v a n t a g e o f t h i s m e t h o d i s t h a t i t r e f l e c t s r e c e n t q u a l i t y a s s e s s m e n t r e s e a r c h w h i c h h a s o v e r w h e l m i n g l y i n d i c a t e d t h a t a c a d e m i c q u a l i t y i s n o t u n i d i m e n s i o n a l i n n a t u r e , b u t r a t h e r , t h a t i t i s m u l t i d i m e n s i o n a l w i t h m a n y c o r r e l a t e s . T h e m a j o r d i s a d v a n t a g e s a s s o c i a t e d w i t h t h i s m e t h o d a r e : d e t e r m i n i n g j u s t w h i c h o f t h e m a n y c h a r a c t e r i s t i c s u s e d t o d e s c r i b e c o l l e g e s a n d u n i v e r s i t i e s a r e t h e k e y i n d i c a t o r s o f q u a l i t y : t h e r e l a t i v e i m p o r t a n c e o f e a c h i n d i c a t o r : a n d t h e h i g h c o s t o f c o l l e c t i n g a n d p r o c e s s i n g t h e d a t a . O n e m a j o r p u r p o s e o f t h e p r e s e n t s t u d y w a s t o f i n d w a y s o f o v e r c o m i n g t h e s e s e r i o u s d i s a d v a n t a g e s . S u m m a r y T h e l i t e r a t u r e r e p o r t e d a b o v e a d d r e s s e d t h e f o l l o w i n g l i t e r a t u r e q u e s t i o n : L 6 . W h a t r e s e a r c h m e t h o d s a n d v a r i a b l e s h a v e b e e n u s e d t o m e a s u r e a c a d e m i c q u a l i t y i n p r i o r s t u d i e s ? T h e l i t e r a t u r e i n d i c a t e s t h a t a t o t a l o f e i g h t m a j o r m e t h o d s h a v e b e e n u s e d m o s t f r e q u e n t l y i n t h e l a s t t w e n t y y e a r s t o a s s e s s a c a d e m i c q u a l i t y i n h i g h e r e d u c a t i o n . T h i s s e t o f m e t h o d s e v a l u a t e s a c a d e m i c q u a l i t y o n t h e b a s i s o f t h e c h a r a c t e r i s t i c s o f s t u d e n t s , f a c u l t y , i n s t i t u t i o n a l r e s o u r c e s , 5 8 i n s t i t u t i o n a l p r o d u c t s , o r o n s o m e c o m b i n a t i o n o f c h a r a c t e r i s t i c s . E M P I R I C A L Q U A L I T Y A S S E S S M E N T S T U D I E S I n t r o d u c t i o n M o s t o f t h e l i t e r a t u r e q u e s t i o n s w e r e d i r e c t l y a d d r e s s e d b y t e n e m p i r i c a l q u a l i t y a s s e s s m e n t s t u d i e s . S p e c i f i c a l l y , t h e s e t e n s t u d i e s a n s w e r e d t h e f o l l o w i n g e i g h t r e s e a r c h q u e s t i o n s : L 1 . L 2 . L 4 . L 5 . L 7 . L 8 . L 1 0 . L 1 1 . W h a t g r o u p s s i m i l a r t o t h e p o p u l a t i o n o f d o c t o r a l i n s t i t u t i o n s h a v e b e e n d e s c r i b e d i n p r i o r s t u d i e s ? W h a t r e s e a r c h m e t h o d s , v a r i a b l e s , a n d s t a t i s t i c s h a v e b e e n u s e d t o m e a s u r e a c a d e m i c q u a l i t y ? W e r e t h e c o r r e l a t i o n s a m o n g t h e d e s c r i p t i v e v a r i a b l e s i n p r i o r s t u d i e s s u f f i c i e n t l y h i g h t o p e r m i t a r e d u c t i o n i n t h e n u m b e r o f v a r i a b l e s ? W h a t g r o u p i n g s o r d o m a i n s o f v a r i a b l e s h a v e b e e n u s e d i n p r i o r s t u d i e s ? W h a t v a r i a b l e s s e e m e d t o b e s t m e a s u r e a n d p r e d i c t a c a d e m i c q u a l i t y i n p r i o r s t u d i e s ? W h a t p r o b l e m s h a v e o c c u r r e d i n t h e u s e o f r a n k i n g s o f i n s t i t u t i o n s o f h i g h e r e d u c a t i o n ? W h a t a r e t h e c u r r e n t m a j o r t h e o r i e s o f a c a d e m i c q u a l i t y ? W h a t f a c t o r a n a l y t i c s t r u c t u r e s u n d e r l y i n g d o c t o r a l i n s t i t u t i o n s h a v e b e e n o b s e r v e d ? 5 9 T h e t e n e m p i r i c a l s t u d i e s h a v e b e e n o r g a n i z e d i n t o t h r e e g r o u p s : 1 ) E a r l i j m p i r i c a l S t u d i e s : t h e F i r s t H u g h e s S t u d y ( 1 9 2 5 ) , t h e S e c o n d H u g h e s S t u d y ( 1 9 3 4 ) , a n d t h e K e n i s t o n S t u d y ( 1 9 5 9 ) ; 2 ) M a j o r E m p i r i c a l S t u d i e s : t h e C a r t t e r S t u d y ( 1 9 6 6 ) , t h e R o o s e - A n d e r s e n S t u d y ( 1 9 7 0 ) , a n d t h e A s s o c i a t e d R e s e a r c h C o u n c i l s ( A R C ) S t u d y ( 1 9 8 2 ) : a n d 3 ) O t h e r E m p i r i c a l S t u d i e s : t h e C o u n c i l o f G r a d u a t e S c h o o l s - E d u c a t i o n a l T e s t i n g S e r v i c e ( C G S - E T S ) S t u d y ( 1 9 7 8 ) , t h e H i g h e r E d u c a t i o n R e s e a r c h I n s t i t u t e ( H E R I ) S t u d y ( 1 9 7 9 ) , a n d t h e G o u r m a n G r a d u a t e a n d U n d e r g r a d u a t e S t u d i e s ( 1 9 8 2 ) . T h e s e s t u d i e s a l s o p r o v i d e t h e h i s t o r i c a l p e r s p e c t i v e e s s e n t i a l t o a n u n d e r s t a n d i n g o f t h e m a j o r i s s u e s i n v o l v e d i n a n y a s s e s s m e n t o f a c a d e m i c q u a l i t y . T h e s i x s t u d i e s c o m p r i s i n g t h e e a r l y a n d m a j o r e m p i r i c a l s t u d i e s a l l r e l a t e t o q u a l i t y a s s e s s m e n t i n g r a d u a t e e d u c a t i o n , w h i c h i s t h e f o c u s o f t h e p r e s e n t s t u d y . T h e t h r e e e a r l y e m p i r i c a l s t u d i e s , w h i c h w e r e c o n d u c t e d p r i o r t o 1 9 6 4 , a r e b r i e f l y r e p o r t e d f o r h i s t o r i c a l b a c k g r o u n d p u r p o s e s o n l y . T h e t h r e e m a j o r e m p i r i c a l s t u d i e s , a l l s p o n s o r e d b y t h e A m e r i c a n C o u n c i l o n E d u c a t i o n ( A C E ) , a r e h i g h l y s i g n i f i c a n t t o t h e p r e s e n t s t u d y . T h u s , t h e y a r e r e p o r t e d i n g r e a t d e t a i l . T h e s e t h r e e s t u d i e s c o v e r e d a b r o a d r a n g e o f d i s c i p l i n e s i n e n g i n e e r i n g , t h e h a m a n i t i e s , a n d t h e s c i e n c e s a n d w e r e b a s e d o n t h e 6 0 o p i n i o n s o f k n o w l e d g e a b l e i n d i v i d u a l s i n t h e p r o g r a m a r e a s c o v e r e d . T h e m o s t r e c e n t o f t h e t h r e e s t u d i e s , t h e A R C S t u d y , i s o f t e n d e s c r i b e d a s t h e " R o l l s R o y c e " o f a c a d e m i c q u a l i t y s t u d i e s . I t p r o v i d e d t h r e e o f t h e f o u r g r a d u a t e q u a l i t y m e a s u r e s u s e d i n t h e p r e s e n t s t u d y . T h e o t h e r f o u r s t u d i e s a r e a l l m u l t i d i m e n s i o n a l s t u d i e s w h i c h r e l a t e t o q u a l i t y a s s e s s m e n t i n b o t h g r a d u a t e a n d u n d e r g r a d u a t e e d u c a t i o n . T h e C G S - E T S S t u d y i s a p i l o t s t u d y o f r e p u t a t i o n a l r a t i n g s i n g r a d u a t e e d u c a t i o n . I t w a s i n c l u d e d b e c a u s e o f i t s i m p o r t a n c e t o t h e m e t h o d o l o g y u s e d i n t h e p r e s e n t s t u d y . T h e H E R ! S t u d y , b y A s t i n a n d S o l m o n , i s a n a s s e s s m e n t o f q u a l i t y i n u n d e r g r a d u a t e e d u c a t i o n . A l t h o u g h i t i s s m a l l e r - i n - s c a l e t h a n t h e o t h e r s t u d i e s d e s c r i b e d , w h i c h w e r e p u b l i s h e d s i n c e 1 9 6 4 , i t w a s i n c l u d e d b e c a u s e i t d e m o n s t r a t e s t h e r e l i a b i l i t y b e t w e e n g r a d u a t e a n d u n d e r g r a d u a t e q u a l i t y a s s e s s m e n t s a n d a l s o b e c a u s e i t r e p r e s e n t s a n a l t e r n a t i v e t h e o r e t i c a l a p p r o a c h t o t h e i n t e r p r e t a t i o n o f a c a d e m i c q u a l i t y i n i n s t i t u t i o n s o f h i g h e r e d u c a t i o n . T h e t w o G o u r m a n s t u d i e s ( o n e a s s e s s i n g g r a d u a t e a n d t h e o t h e r a s s e s s i n g u n d e r g r a d u a t e e d u c a t i o n ) p r o v i d e d t h e f i n a l t w o q u a l i t y m e a s u r e s u s e d i n t h e p r e s e n t s t u d y . T h e G o u r m a n q u a l i t y m e a s u r e s w e r e 6 1 i n c l u d e d , i n s p i t e o f t h e o f t e n - m e n t i o n e d G o u r m a n s t u d y m e t h o d o l o g i c a l d e f e c t s , f o r s e v e r a l r e a s o n s . F i r s t , t h e G o u r m a n q u a l i t y m e a s u r e s a r e c o n t e m p o r a r y w i t h t h e A R C q u a l i t y m e a s u r e s . S e c o n d , t h e G o u r m a n q u a l i t y m e a s u r e s a r e a c o m p o s i t e b a s e d o n m u l t i p l e d i m e n s i o n s , w h e r e a s t h e A R C q u a l i t y m e a s u r e s a r e u n i d i m e n s i o n a l m e a s u r e s . T h i r d , t h e G o u r m a n q u a l i t y m e a s u r e s a r e a v a i l a b l e b y i n s t i t u t i o n , w h i c h i s t h e f o c u s o f t h e p r e s e n t s t u d y , ( t h e A R C q u a l i t y m e a s u r e s h a d t o b e l a b o r i o u s l y a g g r e g a t e d ) . F i n a l l y , t h e G o u r m a n q u a l i t y m e a s u r e s a r e a v a i l a b l e f o r b o t t h r a d u a t e a n d u n d e r g r a d u a t e e d u c a t i o n , s o t h e y c a n b e u s e d t o t e s t b o t h t h e s t a b i l i t y ( t h e g r a d u a t e m e a s u r e ) a n d t h e r e l i a b i l i t y ( t h e u n d e r g r a d u a t e m e a s u r e ) o f t h e p r e s e n t s t u d y ' s A R C i n s t i t u t i o n a l q u a l i t y r a t i n g s . E a r l y E m p i r i c a l S t u d i e s I n t r o d u c t i o n T h e e a r l i e s t e m p i r i c a l s t u d i e s o f a c a d e m i c q u a l i t y i n g r a d u a t e e d u c a t i o n a r e b e s t d e s c r i b e d a s s m a l l u n i d i m e n s i o n a l s t u d i e s w h i c h p r i m a r i l y u s e d r e p u t a t i o n a l m e a s u r e s a n d u n s o p h i s t i c a t e d e x p e r i m e n t a l m e t h o d s t o a s s e s s a c a d e m i c q u a l i t y . H o w e v e r , m a n y o f t h e m a j o r f i n d i n g s o b t a i n e d i n t h e s e s t u d i e s h a v e b e e n r e p l i c a t e d i n l a t e r i n v e s t i g a t i o n s . F i r s t H u g h e s S t u d y ( 1 9 2 5 ) T h e f i r s t p u b l i s h e d r e p u t a t i o n a l s t u d y o f q u a l i t y i n A m e r i c a n g r a d u a t e s c h o o l s w a s c o n d u c t e d i n 1 9 2 4 b y R a y m o n d H u g h e s ( 1 9 2 5 ) w h i l e p r e s i d e n t o f M i a m i U n i v e r s i t y i n O h i o . H u g h e s , c o n c e r n e d a b o u t t h e g u i d a n c e o f M i a m i u n d e r g r a d u a t e s , e v a l u a t e d t h e q u a l i t y o f g r a d u a t e i n s t r u c t i o n i n 3 8 o f t h e 6 5 u n i v e r s i t i e s t h e n o f f e r i n g a P h . D . d e g r e e . H e s u r v e y e d 2 0 g r a d u a t e d i s c i p l i n e s i n 5 m a j o r f i e l d s o f k n o w l e d g e : H u m a n i t i e s ( 6 ) , S o c i a l S c i e n c e s ( 5 ) , B i o l o g i c a l S c i e n c e s ( 3 ) , E d u c a t i o n ( 1 ) , a n d P h y s i c a l S c i e n c e s ( 5 ) . H e u s e d a q u e s t i o n n a i r e t o q u e r y a p a n e l o f e x p e r t s ( t h a t i s , d i s t i n g u i s h e d n a t i o n a l s c h o l a r s i n t h e 2 0 d i s c i p l i n e s ) s e l e c t e d b y h i s f a c u l t y a t M i a m i . H e r e p o r t e d a r e s p o n s e r a t e o f a p p r o x i m a t e l y 5 0 2 . T h e f i n d i n g s w e r e r e p o r t e d i n 1 9 2 5 a t t h e a n n u a l m e e t i n g o f t h e A s s o c i a t i o n o f A m e r i c a n C o l l e g e s ( A A C ) a n d s u b s e q u e n t l y p u b l i s h e d . H u g h e s r a n k e d t h e t o p u n i v e r s i t i e s a s f o l l o w s : 1 ) C h i c a g o , 2 ) H a r v a r d , 3 ) C o l u m b i a , 4 ) W i s c o n s i n , 5 ) Y a l e , 6 ) P r i n c e t o n , 7 ) J o h n s H o p k i n s , 8 ) M i c h i g a n , 9 ) C a l i f o r n i a , 1 0 ) C o r n e l l , 1 1 ) I l l i n o i s , 1 2 ) P e n n s y l v a n i a , 1 3 ) M i n n e s o t a , 1 4 ) S t a n f o r d , 1 5 ) O h i o S t a t e , 1 6 ) I o w a , 1 7 ) N o r t h w e s t e r n , 1 8 ) N o r t h C a r o l i n a , a n d 1 9 ) I n d i a n a ( K e n i s t o n , 1 9 5 9 , 1 1 9 ) . I t s h o u l d b e n o t e d t h a t H u g h e s r e p o r t e d o n l y d e p a r t m e n t a l r a t i n g s i n h i s f i n d i n g s . 6 3 T h e r e f o r e , t h e i n s t i t u t i o n a l r a n k i n g s ( b a s e d o n q u a l i t y p o i n t s ) b y K e n i s t o n , w h i c h w e r e r e p o r t e d a b o v e , w i l l v a r y s o m e w h a t f r o m t h o s e r e p o r t e d b y o t h e r r e s e a r c h e r s ( f o r e x a m p l e , W e b s t e r , 1 9 8 3 , 2 3 ) w h o m a y h a v e u s e d s o m e w h a t d i f f e r e n t m e t h o d s t o d e t e r m i n e o v e r a l l i n s t i t u t i o n a l r a n k i n g s . T h i s s t u d y w a s s t r o n g l y c r i t i c i z e d f o r : 1 ) b e i n g n o n - r e p r e s e n t a t i v e , b e c a u s e o n l y “ e x p e r t s " ( r a n g i n g f r o m 2 0 t o 6 0 f o r e a c h d i s c i p l i n e ) w e r e u s e d a s r e s p o n d e n t s a n d 2 ) f o r b i a s ( i n f a v o r o f r e g i o n , a l m a m a t e r , a n d c u r r e n t i n s t i t u t i o n ) , b e c a u s e t h e m a j o r i t y o f t h e e x p e r t s w e r e b o t h t r a i n e d a n d e m p l o y e d i n t h e N o r t h e a s t a n d M i d w e s t . N o t c o n s i d e r e d , h o w e v e r , w a s t h e f a c t t h a t m o s t o f t h e d i s t i n g u i s h e d u n i v e r s i t i e s i n 1 9 2 5 w e r e i n t h o s e g e o g r a p h i c a r e a s . S e c o n d H g g h e s S t u d y ( 1 9 3 4 ) T h e s e c o n d m a j o r n a t i o n a l s t u d y o f g r a d u a t e q u a l i t y , a l s o b y R a y m o n d H u g h e s ( 1 9 3 4 ) , w a s c o n d u c t e d i n 1 9 3 4 w h i l e H u g h e s w a s s e r v i n g a s P r e s i d e n t o f I o w a S t a t e C o l l e g e . T h i s s t u d y w a s a s i m i l a r , b u t e x p a n d e d v e r s i o n , o f t h e 1 9 2 5 s t u d y . I t i s a l s o n o t e w o r t y b e c a u s e i t w a s t h e f i r s t s t u d y , i n a l o n g t r a d i t i o n o f n a t i o n a l a s s e s s m e n t s o f g r a d u a t e q u a l i t y , p i o n e e r e d b y t h e A m e r i c a n C o u n c i l o n E d u c a t i o n ( A C E ) . T h i s s e c o n d s t u d y s u r v e y e d 3 5 d i s c i p l i n e s i n 6 m a j o r f i e l d s o f 6 4 k n o w l e d g e : A g r i c u l t u r e ( 2 ) , B i o l o g i c a l S c i e n c e s ( 9 ) , E d u c a t i o n ( 1 ) , E n g i n e e r i n g ( 6 ) , H u m a n i t i e s ( 6 ) , P h y s i c a l S c i e n c e s ( 5 ) , a n d S o c i a l S c i e n c e s ( 6 ) i n 5 9 i n s t i t u t i o n s o f h i g h e r e d u c a t i o n . T h e p r o c e d u r e w a s a s f o l l o w s . H u g h e s d e v e l o p e d a l i s t o f i n s t i t u t i o n s o f f e r i n g d o c t o r a l p r o g r a m s i n e a c h d i s c i p l i n e f r o m r e p o r t s o f d e a n s , s u p p l e m e n t e d b y s t u d y o f c a t a l o g s . N e x t , h e a s k e d t h e s e c r e t a r y o f t h e n a t i o n a l l e a r n e d s o c i e t y i n e a c h d i s c i p l i n e t o p r o v i d e a l i s t o f 1 0 0 w e l l - k n o w n s c h o l a r s f r o m a m o n g a l l t h e v a r i o u s s p e c i a l i t i e s w i t h i n t h e d i s c i p l i n e . T h e s e s c h o l a r s b e c a m e t h e r a t e r s . T h e y w e r e s e n t t h e i n s t i t u t i o n a l l i s t a n d a l i s t o f t h e r e s p e c t i v e g r a d u a t e s t a f f s i n t h e d i s i p l i n e . R a t e r s w e r e a s k e d t o : 1 ) c h e c k t h o s e i n s t i t u t i o n s w h i c h , i n t h e i r j u d g m e n t , h a d a n a d e q u a t e s t a f f a n d e q u i p m e n t t o p r e p a r e c a n d i d a t e s f o r t h e d o c t o r a t e a n d 2 ) ” s t a r " t h e d e p a r t m e n t s o f h i g h e s t r a n k ( r o u g h l y t h e h i g h e s t 2 0 % ) . R e t u r n s w e r e s u m m a r i z e d a n d g r a d u a t e d e p a r t m e n t s w e r e c l a s s i f i e d i n t o t w o c a t e g o r i e s : 1 ) “ S t a r r e d " g r o u p ( t h o s e i n s t i t u t i o n s a c c o r d e d a s t a r b y t h e m a j o r i t y v o t i n g ) a n d 2 ) " A d e q u a t e l y s t a f f e d ” g r o u p ( t h o s e i n s t i t u t i o n s c h e c k e d b y a m a j o r i t y , b u t f a i l i n g o f a m a j o r i t y o f s t a r s ) . T h e r e p o r t e d r e s p o n s e r a t e i n t h e s e c o n d s t u d y w a s a p p r o x i m a t e l y 7 1 % , s u b s t a n t i a l l y h i g h e r t h a n t h e a p p r o x i m a t e l y 5 0 % r e p o r t e d b y H u g h e s i n h i s f i r s t 6 5 s t u d y . I n g e n e r a l , t h e r a n k i n g s f o r t h e t o p i n s t i t u t i o n s w e r e s i m i l a r t o t h o s e r e p o r t e d b y H u g h e s i n h i s f i r s t s t u d y . K e n i s t o n S t u d y ( 1 9 5 9 ) T h e t h i r d e a r l y s t u d y w a s c o n d u c t e d i n 1 9 5 7 b y H a y w a r d K e n i s t o n ( 1 9 5 9 ) a s p a r t o f a c o m p a r a t i v e s e l f - s t u d y a t t h e U n i v e r s i t y o f P e n n s y l v a n i a . K e n i s t o n ' s p u r p o s e w a s t o d e t e r m i n e P e n n s y l v a n i a ' s p o s i t i o n r e l a t i v e t o s i m i l a r s e n i o r u n i v e r s i t i e s . T w e n t y - f i v e ( 2 5 ) l e a d i n g " d o c t o r a t e p r o d u c i n g “ i n s t i t u t i o n s w e r e s e l e c t e d o n t h e b a s i s o f : 1 ) m e m b e r s h i p i n t h e A A U , 2 ) n u m b e r o f P h . D . ‘ s a w a r d e d i n r e c e n t y e a r s , a n d 3 ) g e o g r a p h i c d i s t r i b u t i o n . T h e s t u d y , t h u s , c o n s i s t e d o f f i n d i n g s o b t a i n e d f r o m q u e r i e s o f t h e 2 5 d e p a r t m e n t c h a i r m e n i n 2 4 d i s c i p l i n e s i n 4 f i e l d s o f k n o w l e d g e : B i o l o g i c a l S c i e n c e s ( 3 ) , H u m a n i t i e s ( 1 0 ) , P h y s i c a l S c i e n c e s ( 5 ) , a n d S o c i a l S c i e n c e s ( 6 ) i n t h e s e i n s t i t u t i o n s . T h e c h a i r m e n w e r e p r o v i d e d a l i s t o f t h e 2 5 i n s t i t u t i o n s a n d w e r e a s k e d t o r a t e , o n a n a c c o m p a n y i n g s h e e t , t h e s t r o n g e s t d e p a r t m e n t s i n h i s d i s c i p l i n e , a r r a n g e d r o u g h l y a s t h e f i r s t f i v e , t h e s e c o n d f i v e , a n d i f p o s s i b l e , t h e t h i r d f i v e , o n t h e b a s i s o f t h e q u a l i t y o f t h e i r P h . D . w o r k a n d t h e q u a l i t y o f t h e f a c u l t y a s s c h o l a r s . T h e r e w a s a r e p o r t e d r e s p o n s e r a t e o f a b o u t 8 0 % . K e n i s t o n 6 6 c a l c u l a t e d s c o r e s f o r e a c h d e p a r t m e n t b y w e i g h t i n g i n v e r s e l y t h e r a n k o r d e r a s s i g n e d b y a r e s p o n d e n t ( t h a t i s , i f r a n k e d f i r s t , t h e s c o r e w a s 1 5 ; i f r a n k e d s e c o n d , t h e s c o r e w a s 1 4 , a n d s o f o r t h ) . ~ H e t h e n t a b u l a t e d a n d c o m p i l e d t h e w e i g h t e d r a t i n g s a n d r a n k e d t h e d e p a r t m e n t s a c c o r d i n g t o t h e t o t a l s . R e s u l t i n g r a n k i n g s a n d q u a l i t y p o i n t s f o r t h e t o p 2 0 d e p a r t m e n t s i n e a c h o f t h e 2 4 d i s c i p l i n e s i n t h i s s t u d y , a s w e l l a s t h o s e f r o m t h e 1 9 2 5 H u g h e s S t u d y , w e r e t h e n r e p o r t e d b y d i s c i p l i n e , f i e l d o f k n o w l e d g e , a n d i n s t i t u t i o n i n a n a p p e n d i x t o t h e s t u d y o f g r a d u a t e e d u c a t i o n a t t h e U n i v e r s i t y o f P e n n s y l v a n i a . T h e 1 9 2 5 H u g h e s S t u d y r e s u l t s w e r e i n c l u d e d s o o n e c o u l d d e t e r m i n e " w h a t c h a n g e s h a v e t a k e n p l a c e i n t h e c o u r s e o f a g e n e r a t i o n ” ( K e n i s t o n , 1 9 5 9 , 1 1 6 ) . R e s u l t s i n d i c a t e d , a s b e f o r e , t h a t p r i m a r i l y t h e s a m e i n s t i t u t i o n s r e c e i v e d t h e h i g h e s t r a n k i n g s . K e n i s t o n ' s r a t e r s w e r e c r i t i c i z e d f o r t h e f o l l o w i n g r e a s o n s : 1 ) c h a i r m e n a r e f r e q u e n t l y n o t t h e m o s t d i s t i n g u i s h e d s c h o l a r s i n t h e i r d e p a r t m e n t s ; 2 ) t h e a v e r a g e a g e o f t h e c h a i r m e n w a s c o n s i d e r a b l y a b o v e t h a t o f t h e f a c u l t i e s , t h u s , t i m e l a g m a y h a v e b e e n b u i l t i n t o t h e s a m p l e : a n d 3 ) c h a i r m e n t e n d t o b e t r a d i t i o n a l i s t i n h i r i n g , o v e r l y f a v o r i n g a f e w m a j o r u n i v e r s i t i e s t h a t h a v e t u r n e d o u t t h e l a r g e s t n u m b e r o f d i s t i n g u i s h e d P h . D . ‘ s i n t h e p a s t ( C a r t t e r , 1 9 6 6 , 6 ) . 6 7 K e n i s t o n w a s a l s o c r i t i c i z e d f o r t h e s m a l l n u m b e r o f u n i v e r s i t i e s u s e d . M a j o r E m p i r i c a l S t u d i e s I n t r o d u c t i o n T h e s e t h r e e e m p i r i c a l s t u d i e s c o m p r i s e t h e b e s t a n d m o s t c o m p l e t e e m p i r i c a l s t u d i e s e v e r p e r f o r m e d o n a c a d e m i c q u a l i t y . T h e y m a y b e c h a r a c t e r i z e d a s l a r g e n a t i o n a l l y r e p r e s e n t a t i v e s t u d i e s o f a c a d e m i c q u a l i t y i n g r a d u a t e e d u c a t i o n . T h e s t u d i e s a l l u s e d a m u l t i v a r i a t e a p p r o a c h , a l t h o u g h t h e u s e o f t h e t e r m " m u l t i v a r i a t e s t u d y " a n d t h e r e c o g n i t i o n o f t h e s i g n i f i c a n c e o f t h i s a p p r o a c h d i d n o t i m m e d i a t e l y a p p e a r i n t h e r e p o r t s . C r i t e r i a f o r a c a d e m i c q u a l i t y i n c l u d e d : r e p u t a t i o n a l , f a c u l t y p u b l i c a t i o n r a t e s , f a c u l t y s a l a r i e s a n d c o m p e n s a t i o n , o t h e r f a c u l t y a c h i e v e m e n t s , s t u d e n t a c h i e v e m e n t s , a n d i n s t i t u t i o n a l a f f l u e n c e . N o n e o f t h e s t u d i e s u s e d t h e v a l u e - a d d e d a p p r o a c h . E x p e r i m e n t a l d e s i g n s o p h i s t i c a t i o n w a s h i g h i n t h e s e s t u d i e s , e s p e c i a l l y i n t h e l a s t i n v e s t i g a t i o n ( t h e 1 9 8 2 A R C S t u d y ) w h i c h a n s w e r e d n e a r l y a l l o f t h e e a r l i e r m e t h o d o l o g i c a l c r i t i c i s m s . F u r t h e r , t h e A R C S t u d y i n c l u d e d m o r e i n s t i t u t i o n s a n d p r o g r a m s t h a n h a v e e v e r b e e n i n c l u d e d i n a n y o t h e r s t u d y o f a c a d e m i c q u a l i t y . 6 8 _ C a r t t e r S t u d y ( 1 9 6 6 ) I n t r o d u c t i o n T h e C a r t t e r ( 1 9 6 6 ) S t u d y , c o n d u c t e d i n 1 9 6 4 , w a s t h e l a r g e s t , b e s t , a n d m o s t e x p e n s i v e n a t i o n a l a s s e s s m e n t o f a c a d e m i c q u a l i t y i n g r a d u a t e e d u c a t i o n e v e r c o n d u c t e d u p t o t h a t t i m e . I t w a s t h e s e c o n d s t u d y s p o n s o r e d b y t h e A m e r i c a n C o u n c i l o n E d u c a t i o n . F i n a n c i a l s u p p o r t w a s p r o v i d e d b y t h e N a t i o n a l S c i e n c e F o u n d a t i o n , t h e N a t i o n a l I n s t i t u t e s o f H e a l t h , a n d t h e U n i t e d S t a t e s O f f i c e o f E d u c a t i o n . T h i s s t u d y w a s s i m i l a r t o t h e e a r l i e r s t u d i e s i n t h a t i t w a s e s s e n t i a l l y s u b j e c t i v e , b u t i t w a s d e s i g n e d t o a v o i d s o m e o f t h e i r s h o r t c o m i n g s . I t e l i c i t e d r e s p o n s e s s i m i l a r i n n a t u r e t o t h o s e a s k e d b y H u g h e s a n d K e n i s t o n a n d , t h u s , p a r t i a l l y d u p l i c a t e d t h e i r s t u d i e s . A t t h e s a m e t i m e , i t p r o v i d e d b r o a d e r c o v e r a g e o f b o t h r e s p o n d e n t s a n d i n s t i t u t i o n s . I t r e p o r t e d r e s u l t s o n l y b y d i s c i p l i n e , w i t h o n e e x c e p t i o n - ~ i t r e p o r t e d t h e a v e r a g e s c o r e s o f t h e ” t o p u n i v e r s i t i e s ” b y t h e f i v e f i e l d s o f k n o w l e d g e ( C a r t t e r , 1 9 6 6 , 1 0 7 ) . M e t h o d o l o g i c a l C o n c e r n s T h e r e w e r e s e v e r a l m a j o r m e t h o d o l o g i c a l p r o b l e m s b r o u g h t u p b y c r i t i c s o f e a r l i e r s t u d i e s w h i c h C a r t t e r a t t e m p t e d t o c o r r e c t i n h i s s t u d y “ T h e m o s t i m p o r t a n t o f t h e s e a r e i n d i c a t e d b e l o w . 6 9 P r o b l e m s i n S e l e c t i o n o f R a t e r s a n d w i t h R a t i n g P r o c e d u r e s - - C r i t i c s a r g u e d t h a t p r i o r p a n e l s o f r a t e r s w e r e e i t h e r : 1 ) t o o s m a l l ; 2 ) l a c k e d e x p e r t i s e ( f o r e x a m p l e , t h e r a t e r s i n c l u d e d o n l y d i s t i n g u i s h e d n a t i o n a l s c h o l a r s o r d e p a r t m e n t c h a i r m e n ) : o r 3 ) w e r e n o t r e p r e s e n t a t i v e ( f o r e x a m p l e , i n r e l a t i o n t o p a r t i c u l a r g e o g r a p h i c a r e a s o f t h e c o u n t r y , i n s t i t u t i o n s o f o w n h i g h e s t d e g r e e , s p e c i a l i t i e s w i t h i n a s u b j e c t f i e l d , a g e a n d r a n k , _ s i z e a n d e m i n e n c e o f p r e s e n t u n i v e r s i t i e s , a n d k n o w l e d g e o f t h e g e n e r a l a c a d e m i c s c e n e ) . T h e y a l s o a r g u e d t h a t r a t i n g s w e r e s u b j e c t t o " h a l o e f f e c t s " ( f o r e x a m p l e , a s s i g n i n g a h i g h r a n k t o t h e q u a l i t y o f t e a c h i n g b e c a u s e o f h i g h f a c u l t y a c c o m p l i s h m e n t ) a n d w e r e n o t s e p a r a t e d s u f f i c i e n t l y ( f o r e x a m p l e , t h e r e w a s n o d i s t i n c t i o n m a d e b e t w e e n t h e q u a l i t y o f t h e f a c u l t y a n d t h e q u a l i t y o f t h e d e g r e e p r o g r a m s ) . ~ S p e c i f i c c o r r e c t i o n s w e r e a t t e m p t e d b y C a r t t e r t o a d d r e s s t h e s e p r o b l e m s , s u c h a s : a l a r g e r a n d b e t t e r b a l a n c e d s e t o f r a t e r s ; i m p r o v e d s a m p l i n g p r o c e d u r e s , i n s t r u c t i o n s , a n d r a t i n g f o r m s ; a n d b y c o n d u c t i n g r e l i a b i l i t y t e s t s r e l a t i n g t o t h e q u a l i f i c a t i o n s o f t h e r a t e r s a n d t o t h e e x t e n t o f t h e a g r e e m e n t a m o n g t h e m . P r o b l e m s o f R a t i n g R e l i a b i l i t y a n d C o n t e n t V a l i d i t y - - C r i t i c s a r g u e d t h a t t h e r a t i n g s w e r e s i m p l y 7 0 g o s s i p . T o d e t e r m i n e t h e r e l i a b i l i t y o f t h e r a t i n g s ( t h a t i s , w h e t h e r t h e r a t i n g s c o n s i s t e n t l y m e a s u r e d w h a t t h e y p u r p o r t e d t o m e a s u r e ) , C a r t t e r p e r f o r m e d a n i n t e r n a l c o n s i s t e n c y t e s t o f t h e m e a s u r i n g i n s t r u m e n t b y d i v i d i n g t h e r a t e r s i n t o t w o g r o u p s a n d c o r r e l a t i n g t h e t w o g r o u p s o f r a t i n g s . T o d e t e r m i n e t h e c o n t e n t v a l i d i t y o f t h e r a t i n g s ( t h a t i s , t h e d e g r e e t o w h i c h t h e r a t i n g s m e a s u r e d w h a t t h e y p u r p o r t e d t o m e a s u r e ) , C a r t t e r c o r r e l a t e d t h e m w i t h o t h e r m o r e " o b j e c t i v e " m e a s u r e s o f q u a l i t y , f o r e x a m p l e , f a c u l t y p u b l i c a t i o n r a t e s , f a c u l t y s a l a r i e s , f a c u l t y c o m p e n s a t i o n , f a c u l t y a n d s t u d e n t h o n o r s a n d a w a r d s , a n d l i b r a r y r e s o u r c e s . P r o b l e m o f A g g b b g a t i o n o f D e p a r t m e n t R a t i n g s - - F i n a l l y , c r i t i c s a r g u e d t h a t a g g r e g a t i n g t h e r a t i n g s o f d e p a r t m e n t s t o p r o v i d e u n i v e r s i t y - w i d e r a t i n g s ( a s w a s d o n e b y K e n i s t o n ) w a s a n i n v a l i d p r o c e d u r e f o r r a n k i n g u n i v e r s i t i e s . T o c o r r e c t f o r t h i s , C a r t t e r p r o v i d e d r a t i n g s o n l y b y d e p a r t m e n t ( e x c e p t i n t h e c a s e n o t e d a b o v e ) . H i s j u s t i f i c a t i o n f o r t h i s w a s : 1 ) t h e r e i s n o e q u i t a b l e w a y t o a g g r e g a t e r a t i n g s o f d i s c i p l i n e s ; 2 ) o v e r a l l r a t i n g s w o u l d i n v o l v e ( i m p l i c i t e l y o r e x p l i c i t e l y ) s o m e j u d g m e n t a b o u t h o w t h e v a r i o u s d i s c i p l i n e s s h o u l d b e w e i g h t e d ; a n d 3 ) m a n y i n s t i t u t i o n s d o n ' t o f f e r w o r k i n a l l o f t h e d i s c i p l i n e s u n d e r r e v i e w a n d a g g r e g a t i n g r a t i n g s w o u l d u n r e a s o n a b l y p e n a l i z e s u c h s c h o o l s . 7 1 O b j e c t i v e s T h e C a r t t e r S t u d y h a d t h r e e m a j o r o b j e c t i v e s : 1 ) t o b r i n g e a r l i e r q u a l i t y s t u d i e s o f g r a d u a t e e d u c a t i o n u p t o d a t e ; 2 ) t o w i d e n t h e s c o p e o f t h e a s s e s s m e n t t o i n c l u d e a l l m a j o r u n i v e r s i t i e s i n t h e U n i t e d S t a t e s : a n d 3 ) t o s t u d y t h e v a l i d i t y o f t h e s u b j e c t i v e r a t i n g s c a l e a p p r o a c h b y e x a m i n i n g t h e m e t h o d o l o g i c a l p r o b l e m s r e l a t i n g t o i t a n d b y c o m p a r i n g i t w i t h m o r e o b j e c t i v e m e a s u r e s w h i c h r e f l e c t i n s t i t u t i o n a l q u a l i t y , s u c h a s f a c u l t y p u b l i c a t i o n s a n d c o m p e n s a t i o n a n d l i b r a r y r e s o u r c e s . T h u s , t h i s w a s t h e f i r s t m a j o r n a t i o n a l a t t e m p t t o d e t e r m i n e a c a d e m i c q u a l i t y u s i n g ‘ m u l t i d i m e n s i o n a l m e a s u r e s , w h i c h i s t h e m e t h o d u s e d i n t h e p r e s e n t s t u d y . S a m p l i n g M e t h o d s a n d P r o c e d u r e s T o m e e t m a n y o f t h e c r i t i c i s m s o f e a r l i e r s t u d i e s , C a r t t e r u s e d a m o r e c a r e f u l m e t h o d f o r s e l e c t i n g i n s t i t u t i o n s , d i s c i p l i n e s , a n d r a t e r s t o p r o v i d e a m o r e c o m p r e h e n s i v e b a s i s f o r t h e s u r v e y . T h e s a m p l e w a s s e l e c t e d o n t h e b a s i s o f t w o c r i t e r i a : 1 ) t o p r o v i d e o v e r l a p w i t h t h e e a r l i e r s u r v e y s a n d 2 ) t o i n c l u d e m o s t o f t h e d i s c i p l i n e s i n t h e A r t s a n d S c i e n c e s . I n s t i t u t i o n s I n c l u d e d - ~ T h e s u r v e y i n c l u d e d 1 0 6 i n s t i t u t i o n s o f w h i c h 1 0 0 , i n 1 9 6 1 , f o r m e d t h e C o u n c i l o f G r a d u a t e S c h o o l s ( C G S ) i n t h e U n i t e d S t a t e s a n d 6 7 2 w h i c h , a l t h o u g h n o t b e l o n g i n g t o C B S , h a d g r a n t e d 1 0 0 o r m o r e d o c t o r a t e s s p r e a d o v e r 3 o r m o r e f i e l d s d u r i n g t h e 1 9 5 3 - 1 9 6 2 p e r i o d . T o g e t h e r , t h e s e i n s t i t u t i o n s p r o d u c e d m o r e t h a n 9 5 2 o f a l l d o c t o r a t e s a w a r d e d p e r y e a r d u r i n g t h a t p e r i o d . F i e l d s , D i s c i p l i n e s , a n d P r o g r a m s l n c l u d e d - — C a r t t e r ' s S t u d y i n c l u d e d 1 , 6 6 3 p r o g r a m s i n 2 9 a c a d e m i c d i s c i p l i n e s i n 5 a c a d e m i c f i e l d s o f k n o w l e d g e : B i o l o g i c a l S c i e n c e s ( 8 ) , E n g i n e e r i n g ( 4 ) , H u m a n i t i e s ( 7 ) , P h y s i c a l S c i e n c e s ( 5 ) , a n d S o c i a l S c i e n c e s ( 5 ) . T h e s e p r o g r a m s p r o d u c e d t h r e e - f o u r t h s o f a l l o f t h e P h . D . d e g r e e s g r a n t e d d u r i n g t h e d e c a d e , 1 9 5 4 - 1 9 6 4 . P a r t i c i p a t i p g j g u g g e s o r R a t e r s - - T o m e e t t h e c r i t i c i s m t h a t t h e i n d i v i d u a l s c o m p r i s i n g t h e g r o u p o f r a t e r s w e r e n o t r e p r e s e n t a t i v e , C a r t t e r d e v i s e d a n e l a b o r a t e p r o c e d u r e t o e n s u r e r e p r e s e n t a t i v e n e s s . T h e p r o c e d u r e u s e d i s a s f o l l o w s . F i r s t , s i n c e t h e i n t e n t w a s t o c o l l e c t " i n f o r m e d o p i n i o n s ” o f p e r s o n s i n v a r i o u s a g e a n d r a n k l e v e l s , t h r e e m a j o r g r o u p s w e r e i n c l u d e d a s r a t e r s : d e p a r t m e n t c h a i r p e r s o n s , d i s t i n g u i s h e d s e n i o r s c h o l a r s , a n d k n o w l e d g e a b l e j u n i o r s c h o l a r s w h o h a d c o m p l e t e d t h e i r f o r m a l t r a i n i n g n o t ' m o r e t h a n t e n y e a r s e a r l i e r . S e c o n d , g r a d u a t e d e a n s o f t h e 1 0 6 i n s t i t u t i o n s i n c l u d e d i n t h e s t u d y w e r e a s k e d t o p r o v i d e n a m e s o f f a c u l t y w h o w e r e i n t h e s e t h r e e g r o u p s a n d w h o w e r e i n r e s i d e n c e i n t h e s p r i n g o f 1 9 6 4 . 7 3 N i n e t y - n i n e p e r c e n t ( 9 9 2 ) o f t h e D e a n s r e s p o n d e d a n d t h e r a t e r s w e r e s e l e c t e d f r o m t h e l i s t s p r o v i d e d . N e x t , s a m p l e s i z e w a s w e i g h t e d b y u n i v e r s i t y s i z e a s f o l l o w s : f o u r p a r t i c i p a n t s w e r e i n c l u d e d f o r d e p a r t m e n t s w h i c h g r a n t e d 2 % o r m o r e o f t h e d e g r e e s g r a n t e d i n a p a r t i c u l a r f i e l d o f s t u d y ; t h r e e w e r e i n c l u d e d f o r d e p a r t m e n t s g r a n t i n g 0 . 5 t o 2 % o f t h e d e g e e s ; t w o f o r d e p a r t m e n t s g r a n t i n g l e s s t h a n 0 . 5 2 o f t h e d e g e e s : a n d o n e p a r t i c i p a n t w a s i n c l u d e d f o r t h o s e d e p a r t m e n t s g r a n t i n g n o d e g r e e , b u t w h i c h o f f e r e d g r a d u a t e c o u r s e s i n t h e f i e l d . F i n a l l y , 5 , 3 6 7 q u e s t i o n n a i r e s w e r e m a i l e d . O f t h e 4 , 2 5 6 ( 7 9 % ) q u e s t i o n n a i r e s r e t u r n e d , 4 , 0 0 8 ( 7 5 % ) w e r e u s e a b l e a n d , t h u s , c o n s t i t u t e d t h e s a m p l e . T h e Q u e s t i o n n a i r e a n d R a t i n g S c a l e - - T o m e e t t h e c r i t i c i s m t h a t t h e q u e s t i o n n a i r e d i d n o t s e p a r a t e f a c u l t y r a t i n g s f r o m p r o g r a m r a t i n g s , C a r t t e r p r o v i d e d a r e v i s e d q u e s t i o n n a i r e a n d r a t i n g f o r m . H e a s k e d e a c h p a r t i c i p a n t t o s e l e c t f r o m s e v e r a l t e r m s t h e o n e t h a t b e s t d e s c r i b e d h i s j u d g m e n t o f : 1 ) t h e q u a l i t y o f t h e g r a d u a t e f a c u l t y , 2 ) t h e e f f e c t i v e n e s s o f t h e d o c t o r a l r o r a m , a n d 3 ) t h e d e g r e e o f e x p e c t e d c h a n g e i n t h e r e l a t i v e p o s i t i o n o f d e p a r t m e n t s i n a s m a n y o f t h e m a j o r i n s t i t u t i o n s o f f e r i n g d o c t o r a l s t u d y i n h i s d i s c i p l i n e a s h e f e l t c o m p e t e n t t o r a t e . T o d e t e r m i n e 7 4 t h e r e p r e s e n t a t i v e n e s s o f t h e r a t e r s , t h e q u e s t i o n n a i r e a l s o r e q u e s t e d b a s i c b i o g r a p h i c a l i n f o r m a t i o n . R a t i n g P r o c e d u r e - - T h e r a t e r s w e r e p r o v i d e d a n a l p h a b e t i z e d l i s t o f t h e 1 0 6 i n s t i t u t i o n s a n d a s k e d t o r a t e t h e d o c t o r a l p r o g r a m s i n t h e i r o w n d i s c i p l i n e o n t w o c o m p o n e n t s : 1 ) Q u a l i t y o f t h e g r a d u a t e f a c u l t y w i t h s e v e n r e s p o n s e c a t e g o r i e s : “ D i s t i n g u i s h e d , “ " S t r o n g , ” " G o o d , “ ” A d e q u a t e , " “ M a r g i n a l , " ” N o t s u f f i c i e n t t o p r o v i d e a c c e p t a b l e d o c t o r a l t r a i n i n g , " a n d " I n s u f f i c i e n t i n f o r m a t i o n “ a n d 2 ) E f f e c t i v e n e s s o f t h e d o c t o r a l p r o g r a m w i t h f i v e r e s p o n s e c a t e g o r i e s : “ E x t r e m e l y a t t r a c t i v e , “ “ A t t r a c t i v e , " " A c c e p t a b l e , ” " N o t a t t r a c t i v e , " a n d " I n s u f f i c i e n t i n f o r m a t i o n . “ A t h i r d q u e s t i o n w i t h f o u r r e s p o n s e c a t e g o r i e s , “ R e l a t i v e i m p r o v e m e n t , " " S a m e r e l a t i v e p o s i t i o n , ” ” R e l a t i v e d e c l i n e , ” a n d " I n s u f f i c i e n t i n f o r m a t i o n " w a s a s k e d r e g a r d i n g t h e e x p e c t e d c h a n g e i n t h e r e l a t i v e p o s i t i o n s o f d e p a r t m e n t s i n t h e f i e l d i n t h e n e x t f i v e t o t e n y e a r s . T o e a c h t e r m d e s c r i b i n g t h e q u a l i t y o f t h e f a c u l t y a n d t h e e f f e c t i v e n e s s o f t h e p r o g r a m , C a r t t e r a s s i g n e d a n u m e r i c a l w e i g h t . H e t h e n c a l c u l a t e d a v e r a g e s c o r e s f o r e a c h q u e s t i o n f o r e a c h d e p a r t m e n t a t e a c h i n s t i t u t i o n . R e s u l t s S t u d y r e s u l t s , i n c l u d i n g r a t i n g s a n d a d i s c u s s i o n o f t h e r e l a t i o n s h i p o f t h e s c o r e s t o o t h e r f a c t o r s a s s u m e d t o c o n t r i b u t e t o h i g h - q u a l i t y g r a d u a t e e d u c a t i o n , w e r e p u b l i s h e d b y C a r t t e r i n 1 9 6 6 . T h o s e r e s u l t s r e l a t i n g t o d e p a r t m e n t a l r a t i n g s , r a t i n g r e l i a b i l i t y , a n d c o n t e n t v a l i d i t y a r e i m p o r t a n t f o r t h e p r e s e n t s t u d y a n d a r e d i s c u s s e d b e l o w i n s o m e d e t a i l . D e p a r t m e n t a l Q u a l i t y R a t i n g b f - S p e c i f i c d e p a r t m e n t a l r a t i n g s a r e o f m u c h l e s s i m p o r t a n c e t o t h e p r e s e n t s t u d y t h a n a r e t h e c o r r e l a t i o n s i n d i c a t i n g r e l i a b i l i t y a n d v a l i d i t y a n d , t h u s , t h e y w i l l n o t b e d i s c u s s e d h e r e . H o w e v e r , t w o m a j o r p o i n t s s h o u l d b e m a d e r e g a r d i n g t h e m . F i r s t , i n r e p o r t i n g t h e r e s u l t s t o t h e f i r s t t w o q u e s t i o n s r e g a r d i n g t h e q u a l i t y o f t h e f a c u l t y a n d t h e q u a l i t y o f t h e p r o g r a m , o n l y t h e r e s u l t s f o r t h e t o p t w o s c o r e c a t e g o r i e s w e r e r e p o r t e d , t h a t i s , i n t h e c a s e o f f a c u l t y , t h o s e r a t e d " D i s t i n g u i s h e d " ( w i t h s c o r e s r a n g i n g f r o m 4 . 0 1 t o 5 . 0 0 ) a n d t h o s e r a t e d ” S t r o n g “ ( w i t h s c o r e s r a n g i n g f r o m 3 . 0 1 t o 4 . 0 0 ) a n d , i n t h e c a s e o f p r o g r a m s , t h o s e r a t e d . " V e r y A t t r a c t i v e " ( w i t h s c o r e s r a n g i n g f r o m 2 . 0 1 t o 3 . 0 0 ) a n d t h o s e r a t e d " A t t r a c t i v e “ ( w i t h s c o r e s r a n g i n g f r o m 1 . 5 1 t o 2 . 0 0 ) w e r e l i s t e d i n r a n k o r d e r . T h e c a t e g o r i e s o f “ G o o d " ( 2 . 5 1 t o 3 . 0 0 ) a n d " A d e q u a t e p l u s " ( 2 . 0 0 t o 2 . 5 0 ) , i n t h e c a s e o f f a c u l t y , a n d " A c c e p t a b l e 7 6 p l u s " ( . 7 5 t o 1 . 5 0 ) , i n t h e c a s e o f p r o g r a m s , w e r e l i s t e d a l p h a b e t i c a l l y . U n i v e r s i t i e s r a t e d " N o t s u f f i c i e n t t o p r o v i d e a d e q u a t e d o c t o r a l t r a i n i n g “ ( b e l o w 2 . 0 0 ) , i n t h e c a s e o f f a c u l t y , o r " N o t a t t r a c t i v e " ( b e l o w . 7 5 ) , i n t h e c a s e o f p r o g r a m s , w e r e n o t r e p o r t e d . ‘ S e c o n d , c o m p a r i s o n o f C a r t t e r ' s r a t i n g r e s u l t s w i t h t h o s e o f H u g h e s ( 1 9 2 5 ) a n d K e n i s t o n ( 1 9 5 9 ) i n d i c a t e s t h a t , a l t h o u g h t h e r e w a s s o m e c h a n g e i n t h e r e l a t i v e p o s i t i o n o f s o m e o f t h e i n s t i t u t i o n s , f o r e x a m p l e , S t a n f o r d w e n t u p ( a g i a n t l e a p ) a n d C h i c a g o a n d J o h n H o p k i n s ( a d r a m a t i c d e c l i n e ) w e n t d o w n , t h e s a m e t e n t o t w e n t y u n i v e r s i t i e s c o n s i s t e n t l y a p p e a r e d a s t h e h i g h e s t r a n k i n g u n i v e r s i t i e s , r e g a r d l e s s o f t h e d i s c i p l i n e . T h i s f i n d i n g h a s o c c u r r e d i n n e a r l y a l l o f t h e s t u d i e s o f a c a d e m i c r a n k i n g s o f q u a l i t y . R e l i a b i l i t y o f R a t e r s a n d R a t i n g g f - R e s u l t s o f t h e n u m e r o u s r e l i a b i l i t y t e s t s m a d e b y C a r t t e r r e l a t i n g t o t h e : 1 ) q u a l i f i c a t i o n s o f t h e r a t e r s ( t h a t , i s , e x p e r t i s e a n d r e p r e s e n t a t i v e n e s s ) : 2 ) e x t e n t o f t h e a g r e e m e n t a m o n g t h e r a t e r s : a n d 3 ) m e a s u r i n g i n s t r u m e n t o r r a t i n g s a l l s h o w e d v e r y h i g h r e l i a b i l i t y . S p e c i f i c r e s u l t s a r e p r e s e n t e d b e l o w . I t s h o u l d b e n o t e d t h a t i n t h e s e r e l i a b i l i t y t e s t s , C a r t t e r u s e d b o t h t h e o r i g i n a l b o d y o f r e s p o n d e n t s r e p r e s e n t i n g a l l o f t h e s t u d y d i s c i p l i n e s , a s w e l l a s a s e l e c t e d s e t o f 7 7 f o u r d i s c i p l i n e s : e c o n o n m i c s , E n g l i s h , p h y s i c s , a n d p o l i t i c a l s c i e n c e w h i c h w a s u s e d f o r s p e c i a l s t u d i e s . 1 ) Q u a l i f i c a t i o n s o f R a t e r s - - T o e x p l o r e t h e e x p e r t i s e o f t h e r a t e r s , C a r t t e r s e l e c t e d s m a l l p a n e l s ( 1 2 t o 1 5 r a t e r s o n e a c h ) o f e x p e r t s f r o m t h e f o u r s e l e c t e d d i s c i p l i n e s w i t h t h e a d v i c e o f t h e a p p r o p r i a t e p r o f e s s i o n a l a s s o c i a t i o n s . T h e s e r a t e r s w e r e s e l e c t e d o n a d i f f e r e n t b a s i s t h a n w e r e t h e r a t e r s i n t h e o r i g i n a l b o d y o f r e s p o n d e n t s a n d a t t e n t i o n w a s g i v e n t o r e g i o n a l a n d i n s t i t u t i o n a l b a l a n c e . T h e e x p e r t s w e r e t h e n m a i l e d t h e s a m e q u e s t i o n n a i r e u s e d w i t h t h e o r i g i n a l b o d y o f r e s p o n d e n t s a n d a s k e d t o r a t e t h e t o p d e p a r t m e n t s i n t h e i r d i s c i p l i n e s . T h e r a t i n g s o f t h e e x p e r t s w e r e t h e n c o r r e l a t e d w i t h t h e r a t i n g s o f t h e m a i n b o d y o f r e s p o n d e n t s . R e s u l t s i n d i c a t e d s m a l l d i f f e r e n c e s i n t h e r a t i n g s b e t w e e n t h e t w o g r o u p s , w h i c h C a r t t e r a t t r i b u t e d t o t h e s m a l l n u m b e r o f r e s p o n d e n t s o n e a c h p a n e l , r a t h e r t h a n t o a n y p o s i t i v e d i f f e r e n c e i n t h e p a t t e r n o f j u d g m e n t s . A d d i t i o n a l l y , C a r t t e r d e t e r m i n e d t h a t a m i n i m u m o f 5 0 k n o w l e d g e a b l e p e r s o n s a r e r e q u i r e d f o r r e l i a b i l i t y . T o e x p l o r e t h e r e p r e s e n t a t i v e n e s s o f t h e r a t e r s , C a r t t e r p e r f o r m e d t e s t s r e l a t i n g t o : g e o g r a p h i c a r e a , a g e a n d r a n k , i n s t i t u t i o n a l b a c k g r o u n d , a n d s p e c i a l i t i e s w i t h i n a d i s c i p l i n e . C a r t t e r f e l t t h a t e a c h o f t h e s e s a m p l i n g p r o b l e m s c o u l d b e c o r r e c t e d b y a 7 8 b a l a n c e d s a m p l e . F u r t h e r , h e f e l t t h a t h e h a d d r a w n s u c h a b a l a n c e d s a m p l e i n h i s s t u d y . T h e m o s t i m p o r t a n t r e s u l t s o f e a c h o f t h e s e t e s t s a r e s u m m a r i z e d b e l o w . a ) G e o g r a p h i c A r e a - - G e o g r a p h i c v a r i a t i o n s i n d i c a t e d a h i g h d e g r e e o f c o n s i s t e n c y i n m o s t r a t i n g s , b u t w e r e f a i r l y m a r k e d i n s o m e d e p a r t m e n t s w h i c h u n d e r l i n e d t h e n e c e s s i t y f o r a c h i e v i n g a r e l a t i v e l y e q u i t a b l e b a l a n c e o f r e s p o n d e n t s f r o m a l l p a r t s o f t h e c o u n t r y . b ) A g e a n d R a n k - R a n k i n g s f o r t h e t o p d e p a r t m e n t s i n e a c h o f t h e d i s c i p l i n e s s t u d i e d w e r e t a b u l a t e d s e p a r a t e l y f o r d e p a r t m e n t c h a i r m e n , s e n i o r s c h o l a r s , a n d j u n i o r s c h o l a r s . L i t t l e w a s f o u n d t o d i s t i n g u i s h t h e r a t i n g s o b t a i n e d f r o m t h e t h r e e g r o u p s . I n t e r e s t i n g l y , s e n i o r s c h o l a r s a p p e a r e d t o b e t h e m o s t r e l i a b l e p r e d i c t o r s o f o v e r a l l s c o r e s a n d t h e c h a i r m e n t h e l e a s t r e l i a b l e , a l t h o u g h t h e d i f f e r e n c e s w e r e n o t g r e a t . c ) I n s t i t u t i o n a l B a c k g r o u n d - - Q u i t e m a r k e d b i a s e s w e r e f o u n d i n f a v o r o f P h . D . , a l m a m a t e r , a n d c u r r e n t i n s t i t u t i o n s i n t h e p a n e l o f e x p e r t s , b u t t h e m a n n e r o f s e l e c t i o n f o r t h e C a r t t e r S t u d y a p p e a r s t o h a v e s a t i s f a c t o r i l y c o m p e n s a t e d f o r t h i s . C a r t t e r a l s o l o o k e d a t d i f f e r e n c e s b e t w e e n q u a l i t y r a t i n g s o f t h e o r i g i n a l s a m p l e a n d t h o s e o f a l u m n i , e m p l o y e e s , a n d t h o s e w i t h o u t i n s t i t u t i o n a l t i e s . N o s i g n i f i c a n t d i f f e r e n c e s w e r e f o u n d . d ) S p e c i a l i t i e s w i t h i n a D i s c i p l i n e - - S e v e r a l n o t a b l e d i f f e r e n c e s a m o n g s p e c i a l i t i e s w e r e f o u n d i n E n g l i s h w h e r e t h e t e s t w a s c o n d u c t e d . H o w e v e r , C a r t t e r c o n c l u d e d t h a t a b r o a d - b a s e d s a m p l e t h a t i n c l u d e s s c h o l a r s o f v a r i o u s a g e a n d r a n k c a t e g o r i e s w o u l d c o r r e c t f o r t h e d i f f e r e n c e s . 7 9 2 ) E x t e n t o f A g r e e m e n t A m o n g t h e R a t e r s - - T o d e t e r m i n e t h e c o n s e n s u s a m o n g t h e r a t e r s , C a r t t e r c o m p a r e d r a n k i n g s o b t a i n e d f r o m e a c h o f t h e t h r e e s u b g r o u p s : d e p a r t m e n t c h a i r m e n , s e n i o r s c h o l a r s , a n d j u n i o r s c h o l a r s w i t h i n t h e t o t a l s a m p l e . A d d i t i o n a l l y , h e c o m p a r e d t h e r a n k i n g s f o r t h e f o u r s e l e c t e d d i s c i p l i n e s b y t h e s e s u b g r o u p s , b y r e s p o n d e n t s e m p l o y e d i n f o u r r e g i o n s o f t h e c o u n t r y , a n d b y t h e s m a l l p a n e l s o f e x p e r t s . A h i g h d e g r e e o f c o n s e n s u s w a s f o u n d i n a l l o f t h e s e t e s t s a m o n g r e s p o n d e n t s g r o u p e d b y a g e a n d r a n k . D i f f e r e n c e s w e r e g r e a t e r , b u t s t i l l m i n o r , a m o n g r e g i o n a l g r o u p s . I n a n a d d i t i o n a l t e s t , C a r t t e r c o m p a r e d r e s u l t s f o r p o l i t i c a l s c i e n c e o b t a i n e d f r o m p o l i t i c a l s c i e n t i s t s i n h i s 1 9 6 4 s u r v e y w i t h t h o s e o b t a i n e d b y S o m i t a n d T a n e n h o u s e ( 1 9 6 3 ) i n a s i m i l a r s t u d y . T h e l a t t e r s u r v e y u s e d a m u c h l a r g e r s a m p l e d r a w n r a n d o m l y f r o m a l l m e m b e r s o f t h e A m e r i c a n P o l i t i c a l S c i e n c e A s s o c i a t i o n w i t h o u t r e g a r d t o a g e , r a n k , o r s c h o l a r l y a c h i e v e m e n t . T h e t w o s u r v e y s p r o d u c e d a l m o s t i d e n t i c a l r e s u l t s . 3 ) M e a s u r i g g I n s t r u m e n t o r R a t i n g g r — T o t e s t t h e r e l i a b i l i t y o f t h e m e a s u r i n g i n s t r u m e n t o r r a t i n g s , C a r t t e r p e r f o r m e d a s p l i t - h a l f r e l i a b i l i t y t e s t o f t h e m e a n d e p a r t m e n t a l r a t i n g s . S p l i t - h a l f c o r r e l a t i o n s g i v e a n i n d i c a t i o n o f t h e o v e r a l l r e l i a b i l i t y o f t h e 8 0 a c a d e m i c r a t i n g s i n e a c h d i s c i p l i n e a n d f o r e a c h m e a s u r e . F o r t h i s t e s t , C a r t t e r d i v i d e d t h e r a t e r s i n e a c h o f t h e d i s c i p l i n e s i n t o t w o g r o u p s ( o d d s a n d e v e n s ) u s i n g t h e u n i t p o s i t i o n o f a n a r b i t r a r y i d e n t i f i c a t i o n n u m b e r a s s i g n e d e a r l i e r t o e a c h r a t e r . M e a n r a t i n g s w e r e t h e n c o m p u t e d s e p a r a t e l y f o r t h e o d d s a n d e v e n s . F i n a l l y , t h e i n d e p e n d e n t p a i r s o f r a t i n g s f o r e a c h f i e l d w e r e c o r r e l a t e d w i t h e a c h o t h e r . T h e r e s u l t i n g m e a n r a t i n g s o f t h e d e p a r t m e n t s i n e a c h d i s c i p l i n e s h o w e d , w i t h o u t e x c e p t i o n , a n e x t r a o r d i n a r i l y h i g h d e g r e e o f r e l i a b i l i t y . U n c o r r e c t e d e s t i m a t e s r a n g e d f r o m 0 . 9 4 t o 0 . 9 9 w i t h a m e d i a n u n c o r r e c t e d r e l i a b i l i t y o f 0 . 9 8 . T h e c o r r e c t e d m e d i a n ( t h a t i s , c o r r e c t e d b y t h e S p e a r m a n - B r o w n f o r m u l a w h i c h y i e l d s e s t i m a t e s o f r e l i a b i l i t y b a s e d o n a l l o f t h e r a t e r s , r a t h e r t h a n o n o n l y h a l f ) r e l i a b i l i t y e s t i m a t e w a s 0 . 9 9 . C o n t e n t V a l i d i t y o f R a t i n g b f - C a r t t e r a l s o m a d e a c o n s i d e r a b l e e f f o r t t o e v a l u a t e t h e v a l i d i t y o f t h e m e t h o d o l o g y u s e d . H e u s e d v a r i o u s “ o b j e c t i v e " c r i t e r i a , s u c h a s : 1 ) f a c u l t y p u b l i c a t i o n r a t e s , 2 ) f a c u l t y s a l a r i e s , 3 ) f a c u l t y c o m p e n s a t i o n , 4 ) f a c u l t y a n d s t u d e n t h o n o r s a n d a w a r d s , a n d 5 ) l i b r a r y r e s o u r c e s f o r c o m p a r i s o n w i t h f a c u l t y q u a l i t y a t b o t h t h e d e p a r t m e n t a l a n d i n s t i t u t i o n a l l e v e l s . A g a i n , C a r t t e r u s e d b o t h t h e o r i g i n a l b o d y o f r e s p o n d e n t s a n d 8 1 t h e e x p e r t s f r o m t h e f o u r s e l e c t e d d i s c i p l i n e s , w h i c h w e r e u s e d i n t h e r e l i a b i l i t y t e s t s , t o p e r f o r m t h e v a l i d i t y t e s t s . R e s u l t s o f a l l o f t h e s e c o m p a r i s o n s w e r e g e r e r a l l y c o n s i s t e n t w i t h t h e r a t i n g s o f q u a l i t y o b t a i n e d f r o m t h e s u b j e c t i v e r e s p o n s e s t o t h e q u e s t i o n n a i r e . S o m e o f t h e s p e c i f i c c o n t e n t v a l i d i t y r e s u l t s a t t h e d e p a r t m e n t a l l e v e l a r e i n d i c a t e d b e l o w . 1 ) F a c u l t y P u b l i c a t i o n R a t e s . - - I n t h i s t e s t a t t h e d e p a r t m e n t a l l e v e l , C a r t t e r t e s t e d t h e a c c u r a c y o f t h e s u b j e c t i v e e v a l u a t i o n s o f f a c u l t y q u a l i t y f o r t h r e e o f t h e f o u r s e l e c t e d d i s c i p l i n e s ( t h a t i s , e c o n o m i c s , E n g l i s h , a n d p o l i t i c a l s c i e n c e ) w i t h t h e p u b l i c a t i o n r e c o r d s o f s c h o l a r s i n t h o s e d i s c i p l i n e s . T h e p r o c e d u r e i n v o l v e d s e a r c h i n g m a j o r j o u r n a l s i n v a r i o u s f i e l d s i n e a c h s p e c i a l i t y f o r a r t i c l e s a n d p r o f e s s i o n a l b o o k r e v i e w s f o r b o o k s p u b l i s h e d b y f a c u l t y d u r i n g t h e 1 9 6 0 - 1 9 6 4 p e r i o d . S i m p l e c o u n t i n g o r m o r e c o m p l e x s c o r i n g s c h e m e s w e r e t h e n u s e d t o e s t i m a t e f a c u l t y p u b l i c a t i o n s . R e s u l t s i n d i c a t e d t h a t , a l t h o u g h t h e r e w a s a w i d e v a r i a t i o n w i t h i n a s i n g l e d e p a r t m e n t , a c a d e m i c r a n k i n g i n g e n e r a l w a s s t r o n g l y r e l a t e d t o t h e n u m b e r o f p u b l i c a t i o n s . F u r t h e r , C a r t t e r f o u n d t h a t p u b l i c a t i o n s a p p e a r e d t o b e h i g h l y c o n c e n t r a t e d i n t h e t o p d e p a r t m e n t s o n t h e o n e h a n d ( f o r e x a m p l e , i n e c o n o m i c s , 5 6 % o f a l l t h e p u b l i c a t i o n s w e r e p r o d u c e d b y o n l y t e n d e p a r t m e n t s , o f w h i c h n i n e w e r e a m o n g t h e t e n 8 2 h i g h e s t r a t e d ) , w h i l e o n t h e o t h e r h a n d , a s i z a b l e n u m b e r o f d o c t o r a l d e p a r t m e n t s h a d f e w o r n o p u b l i c a t i o n s . 2 ) F a c u l t y S a l a r i e s - - A s e c o n d t e s t o f t h e v a l i d i t y o f d e p a r t m e n t a l q u a l i t y r a t i n g s w a s c o n d u c t e d i n t h e s e l e c t e d f i e l d o f e c o n o m i c s w h e r e i n f o r m a t i o n w a s a v a i l a b l e o n f a c u l t y s a l a r i e s i n t h e l e a d i n g d e p a r t m e n t s . I n t h i s t e s t , a m u l t i p l e c o r r e l a t i o n w a s u s e d t o d e t e r m i n e t h e r e l a t i o n s h i p b e t w e e n f a c u l t y q u a l i t y a n d t h e s i x s a l a r y l e v e l s o f t h e f o r t y - f i v e l e a d i n g e c o n o m i c s d e p a r t m e n t s . F a c u l t y q u a l i t y w a s u s e d a s t h e d e p e n d e n t v a r i a b l e a n d t h e s i x s a l a r y l e v e l s w e r e u s e d a s t h e i n d e p e n d e n t v a r i a b l e s . R e s u l t s i n d i c a t e d t h a t t h e q u a l i t y o f t h e g r a d u a t e f a c u l t y w a s c l o s e l y r e l a t e d ( 0 . 8 5 ) t o t h e m e a n s a l a r i e s o f t h e t o p t w o a c a d e m i c r a n k s . , F u r t h e r , i t w a s f o u n d t h a t t h e c o r r e l a t i o n s d e c l i n e d s y s t e m a t i c a l l y w i t h d e c r e a s i n g p r o f e s s i o n a l s t a t u s a n d r a n k ( t h a t i s , " s u p e r i o r f u l l p r o f e s s o r " 0 . 7 9 , " f u l l p r o f e s s o r " 0 . 7 5 , " s u p e r i o r a s s o c i a t e p r o f e s s o r " , 0 . 4 7 , " a s s o c i a t e p r o f e s s o r " 0 . 3 6 , a n d " a s s i s t a n t p r o f e s s o r " 0 . 1 8 ) . T h e m o s t i m p o r t a n t r e s u l t s o f t h e c o n t e n t v a l i d i t y t e s t s c o m p a r i n g o v e r a l l i n s t i t u t i o n a l q u a l i t y t o o b j e c t i v e m e a s u r e s a r e d e s c r i b e d b e l o w . 1 ) F a c u l t y C o m p e n s a t i o n - - T h e f i r s t o f t h e s e i n s t i t u t i o n a l v a l i d i t y t e s t s w a s c o n d u c t e d w i t h t h e o r i g i n a l s a m p l e . I t c o m p a r e d t h e a v e r a g e o v e r a l l a c a d e m i c q u a l i t y r a t i n g s f o r e a c h u n i v e r s i t y w i t h a v e r a g e f a c u l t y c o m p e n s a t i o n ( s a l a r y a n d b e n e f i t s ) a s r e p o r t e d b y t h e A m e r i c a n A s s o c i a t i o n o f U n i v e r s i t y P r o f e s s o r s ( A A U P ) . A h i g h p o s i t i v e c o r r e l a t i o n ( 0 . 8 7 ) w a s f o u n d b e t w e e n i n s t i t u t i o n a l r a t i n g s a n d c o m p e n s a t i o n , a t t r i b u t e d m a i n l y t o t h e c o m p e n s a t i o n o f P r o f e s s o r s a n d A s s o c i a t e P r o f e s s o r s . N o s i g n i f i c a n t c o r r e l a t i o n w a s f o u n d w i t h c o m p e n s a t i o n f o r A s s i s t a n t P r o f e s s o r s a n d I n s t r u c t o r s . 2 ) F a c u l t y a n d S t u d e n t H o n o r s a n d A w a r d s - — T h e m e a s u r e s u s e d i n t h i s t e s t w e r e t w o B o w k e r ( 1 9 6 5 ) r a n k i n g s o f u n i v e r s i t i e s o n “ i n d i c e s o f f a c u l t y q u a l i t y a n d i n d i c e s o f a t t r a c t i v e n e s s . " T h e f i r s t m e a s u r e , t h e B o w k e r H u m a n i t i e s - S o c i a l S c i e n c e I n d e x , w a s b a s e d o n : t h e n u m b e r o f W o o d r o w W i l s o n f e l l o w s a t t e n d i n g a n i n s t i t u t i o n ( 1 9 6 1 - 6 2 ) a n d t h e n u m b e r o f f o r m e r W o o d r o w W i l s o n f e l l o w s ( 1 9 6 1 - 6 2 ) , G u g g e n h e i m f e l l o w s ( 1 9 6 1 - 6 3 ) , a n d A m e r i c a n C o u n c i l o f L e a r n e d S o c i e t i e s a w a r d e e s ( 1 9 5 8 - 6 3 ) o n t h e f a c u l t y . T h e s e c o n d m e a s u r e , t h e B o w k e r S c i e n c e I n d e x , w a s b a s e d o n : t h e n u m b e r o f N a t i o n a l S c i e n c e F o u n d a t i o n F e l l o w s ( 1 9 6 2 - 6 3 ) a t t e n d i n g a n i n s t i t u t i o n a n d t h e n u m b e r o f N o b e l P r i z e W i n n e r s ( 1 9 4 0 - 6 3 ) a n d N a t i o n a l A c a d e m y o f S c i e n c e m e m b e r s ( 1 9 6 3 ) o n t h e f a c u l t y . I n t h e s e m e a s u r e s , a s i n o t h e r m e a s u r e s , t h e r e w a s a c l o s e r e l a t i o n s h i p b e t w e e n t h e 8 4 r a n k o r d e r o f u n i v e r s i t i e s i n t h e t w o B o w k e r r a t i n g s a n d t h e 1 9 6 4 A C E s u r v e y r a t i n g s . 3 ) L i b r a r y R e s o u r c e s - ~ I n t h i s i n s t i t u t i o n a l t e s t , C a r t t e r c o r r e l a t e d t h e f a c u l t y q u a l i t y r a t i n g w i t h t h e l i b r a r y r e s o u r c e s i n d e x ( t h a t i s , a c o m b i n a t i o n o f t o t a l v o l u m e s , v o l u m e s a d d e d a n n u a l l y , a n d c u r r e n t p e r i o d i c a l s ) o f t h e A s s o c i a t i o n o f C o l l e g e a n d R e s e a r c h L i b r a r i e s ( A C R L ) . A c o r r e l a t i o n o f 0 . 7 9 w a s f o u n d b e t w e e n f a c u l t y q u a l i t y ( a s m e a s u r e d b y t h e f i r s t q u e s t i o n i n t h e q u e s t i o n n a i r e ) a n d t h e l i b r a r y i n d e x . C o r r e l a t i o n s b e t w e e n a c a d e m i c q u a l i t y a n d o t h e r m e a s u r e s o f e x p e n d i t u r e s , s u c h a s c o s t p e r s t u d e n t a n d s i z e o f i n s t i t u t i o n , w e r e n o t r e p o r t e d d u e t o : i n c o n s i s t e n c i e s i n t h e m a n n e r i n w h i c h u n i v e r s i t i e s r e p o r t e d e x p e n d i t u r e d a t a : t h e l a c k o f a r e l i a b l e m e a s u r e f o r c o n v e r t i n g p a r t - t i m e s t u d e n t d a t a i n t o f u l l - t i m e - e q u i v a l e n t s : a n d e n r o l l m e n t " m i x " p r o b l e m s ( f o r e x a m p l e , g r a d u a t e a n d u n d e r g r a d u a t e a n d p r o p o r t i o n s o f s t u d e n t s b y d i s c i p l i n e ) . R o o s e - A n d e r s e n S t u d y ( 1 9 7 0 ) I n t r o d u c t i o n T h e R o o s e - A n d e r s e n ( 1 9 7 0 ) S t u d y , c o n d u c t e d i n 1 9 6 9 , w a s a l s o s p o n s o r e d b y t h e A C E . I t i s s o m e t i m e s d e s c r i b e d a s a r e p l i c a t i o n o f t h e C a r t t e r S t u d y . H o w e v e r , a l t h o u g h t h e m e t h o d o l o g y i s e s s e n t i a l l y t h e 8 5 s a m e i n b o t h s t u d i e s , t h e R o o s e - A n d e r s e n S t u d y w a s m u c h l a r g e r i n s c o p e ( t h a t i s , i t i n c l u d e d 7 n e w d i s c i p l i n e s a n d 2 5 a d d i t i o n a l i n s t i t u t i o n s ) t h a n t h e e a r l i e r s t u d y a n d a l s o d i f f e r e d i n i t s f o r m a t a n d e m p h a s e s . F u r t h e r , R o o s e - A n d e r s e n d i d n o t a t t e m p t t o i n v e s t i g a t e t h e c o n t e n t v a l i d i t y q u e s t i o n s i n c e t h e y f e l t t h a t C a r t t e r h a d a l r e a d y e s t a b l i s h e d t h e v a l i d i t y o f a c a d e m i c r a t i n g s . M e t h o d o l g g i c a l C o n c e r n s T h e r e w e r e t h r e e m a j o r m e t h o d o l o g i c a l c o n c e r n s a d d r e s s e d b y R o o s e - A n d e r s e n . F i r s t , t h e y m a d e a c a r e f u l e f f o r t t o i n c l u d e m o r e p r o g r a m s ( 9 6 3 m o r e ) t h a n w e r e r a t e d i n t h e 1 9 6 6 C a r t t e r S t u d y . S e c o n d , t h e y t r i e d t o d e - e m p h a s i z e t h e " p e c k i n g - o r d e r r e l a t i o n s h i p s i n h e r e n t i n m o s t s c o r i n g s y s t e m s ” b y n o t p r e s e n t i n g s c o r e s f o r i n d i v i d u a l i n s t i t u t i o n s a n d a l s o b y p r e s e n t i n g n o i n s t i t u t i o n a l r a t i n g s . H o w e v e r , t h e y c o n t i n u e d t h e C a r t t e r q u a l i t y r e p o r t i n g p r a c t i c e o f r a n k i n g o n l y t h e t o p t w o c a t e g o r i e s . T h i r d , a l t h o u g h C a r t t e r h a d a l r e a d y d e t e r m i n e d t h e h i g h d e g r e e o f i n t e r n a l c o n s i s t e n c y o r r e l i a b i l i t y o f t h e r a t e r s i n h i s 1 9 6 6 s t u d y , R o o s e - A n d e r s e n f u r t h e r i n v e s t i g a t e d C a r t t e r ' s f i n d i n g b y a l s o c o m p a r i n g t h e r a t i n g s o f t h e s a m e t h r e e c a t e g o r i e s o f r a t e r s i n t h e i r s t u d y . ’ F i n a l l y , R o o s e - A n d e r s e n w a n t e d t o d e t e r m i n e t h e 8 6 s t a b i l i t y o f t h e q u a l i t y r a t i n g s o v e r t h e f i v e - y e a r p e r i o d b y c o r r e l a t i n g C a r t t e r ' s r a t i n g r e s u l t s w i t h t h e i r o w n . O b j e c t i v e s T h e R o o s e - A n d e r s e n s t u d y h a d t h r e e b a s i c o b j e c t i v e s : 1 ) E x t e n d t h e C a r t t e r S t u d y t o i n c l u d e m o r e , e s p e c i a l l y n e w , p r o g r a m s i n U n i t e d S t a t e s g r a d u a t e e d u c a t i o n ; 2 ) P r o v i d e r a t i n g s b y d i s c i p l i n e a n d p r o g r a m , r a t h e r t h a n b y u n i v e r s i t y ; a n d 3 ) D e t e r m i n e t h e c h a n g e s i n g r a d u a t e f a c u l t y a n d p r o g r a m r a t i n g s a n d s t a t i s t i c s f r o m 1 9 6 4 t o 1 9 6 9 . S a m p l i n g M e t h o d s a n d P r o c e d u r e s I n s t i t u t i o n s I n c l u d e d - - T h e R o o s e - A n d e r s e n S t u d y i n c l u d e d 1 3 0 i n s t i t u t i o n s v e r s u s t h e 1 0 6 i n s t i t u t i o n s i n c l u d e d i n t h e C a r t t e r S t u d y . T h u s , t h e n u m b e r o f i n s t i t u t i o n s i n c r e a s e d b y 2 4 i n s t i t u t i o n s o r 2 3 % o v e r t h e 5 y e a r p e r i o d . F i e l d s a n d D i s c i p l i n e s I n c l u d e d - — T h e s a m e 5 f i e l d s o f k n o w l e d g e w e r e u s e d i n b o t h t h e C a r t t e r a n d R o o s e - A n d e r s e n s t u d i e s . R o o s e - A n d e r s e n a l s o u s e d t h e e x a c t s a m e m e t h o d f o r s e l e c t i n g d i s c i p l i n e s i n 1 9 6 9 a s C a r t t e r h a d u s e d i n 1 9 6 4 . T h i s m e t h o d d e a l t w i t h t h e m i n i m u m n u m b e r s o f g r a d u a t e s i n t h e d i s c i p l i n e s . T h u s , i n t h e 1 9 6 9 s t u d y , a l l d i s c i p l i n e s w e r e i n c l u d e d t h a t h a d a w a r d e d a d o c t o r a t e i n t h e d i s c i p l i n e d u r i n g t h e 8 7 1 9 5 7 — 5 8 t o 1 9 6 6 - 6 7 p e r i o d . H o w e v e r , t h i s s a m e m e t h o d y i e l d e d m o r e d i s c i p l i n e s a n d p r o g r a m s i n 1 9 6 9 t h a n i n 1 9 6 4 b e c a u s e o f t h e i n c r e a s e i n t h e n u m b e r o f P h . D . d e g r e e s g r a n t e d a n d b e c a u s e o f t h e c r e a t i o n o f n e w f i e l d s o f s t u d y . T h e f i e l d s a n d n u m b e r o f d i s c i p l i n e s i n c l u d e d i n 1 9 6 9 a r e a s f o l l o w s : B i o l o g i c a l S c i e n c e s ( 1 0 ) , E n g i n e e r i n g ( 4 ) , H u m a n i t i e s ( 1 0 ) , P h y s i c a l S c i e n c e s ( 5 ) , a n d S o c i a l S c i e n c e s ( 7 ) . O f t h i s t o t a l o f 3 6 d i s c i p l i n e s , 2 9 w e r e t h e s a m e ( t h a t i s , t h e " c o m m o n d i s c i p l i n e s " ) a s i n C a r t t e r ' s 1 9 6 4 s t u d y . T h e 7 a d d i t i o n a l d i s c i p l i n e s w e r e e i t h e r d i s c i p l i n e s w h i c h h a d n o t b e e n s a m p l e d i n 1 9 6 4 ( f o r e x a m p l e , a r t , h u m a n i t i e s , a n d m u s i c ) o r w e r e n e w d i s c i p l i n e s w h i c h h a d d e v e l o p e d i n t h e f i v e y e a r s b e t w e e n 1 9 6 4 a n d 1 9 6 9 ( f o r e x a m p l e , M o l e c u l a r B i o l o g y a n d P o p u l a t i o n B i o l o g y ) . T a b l e 1 b e l o w s h o w s t h e n u m b e r a n d p e r c e n t a g e i n c r e a s e o f d i s c i p l i n e s s u r v e y e d b y g e o g r a p h i c r e g i o n . T a b l e 1 . N u m b e r a n d P e r c e n t a g e I n c r e a s e o f D i s c i p l i n e s S u r v e y e d b y G e o g r a p h i c R e g i o n , 1 9 6 9 D i s c i p l i n e s I n c r e a s e R e g i o n 1 9 6 4 1 9 6 9 N o . 2 N o r t h e a s t 1 0 1 1 1 1 0 % E a s t 2 7 2 9 2 7 % M i d w e s t 2 6 2 8 2 8 % S o u t h 2 6 3 5 9 3 5 2 W e s t _ £ 1 : 2 1 O O 5 9 % A l l R e g i o n s 1 0 6 1 3 0 2 4 2 3 % 8 8 A s i n d i c a t e d i n T a b l e 1 , t h e r e w e r e i n c r e a s e s i n t h e n u m b e r o f d i s c i p l i n e s s u r v e y e d i n a l l g e o g r a p h i c r e g i o n s , w i t h t h e g r e a t e s t i n c r e a s e s i n t h e W e s t ( 5 9 % ) a n d S o u t h ( 3 5 % ) . A c a d e m i c P r o g r a m s I n c l u d e d - — T h e n u m b e r o f a c a d e m i c p r o g r a m s s a m p l e d i n t h e d i s c i p l i n e s a l s o i n c r e a s e d s u b s t a n t i a l l y f r o m 1 9 6 4 t o 1 9 6 9 . F o r e x a m p l e , t h e i n c r e a s e i n p r o g r a m s i n t h e 2 9 c o m m o n d i s c i p l i n e s w a s 5 6 6 o r 3 4 % ( f r o m 1 , 6 6 3 t o 2 , 2 2 9 ) , w h i l e t h e i n c r e a s e i n p r o g r a m s i n a l l 3 6 d i s c i p l i n e s w a s 9 6 3 o r 5 8 % ( f r o m 1 , 6 6 3 t o 2 , 6 2 6 ) . T a b l e 2 b e l o w s h o w s t h e n u m b e r a n d p e r c e n t a g e i n c r e a s e s i n t h e p r o g r a m s b y f i e l d o f k n o w l e d g e . T a b l e 2 . N u m b e r a n d P e r c e n t a g e I n c r e a s e o f P r o g r a m s b y F i e l d o f K n o w l e d g e , 1 9 6 4 m 1 9 6 9 N u m b e r o f P r o g r a m s I n c r e a s e D i s c i p l i n e s S u r v e y e d 1 9 6 4 - 1 9 6 9 F i e l d o f K n o w l e d g e 1 9 6 4 1 9 6 9 1 9 6 4 1 9 6 9 N o . % B i o l o g i c a l S c i e n c e s 7 1 0 4 2 9 8 8 0 4 5 1 1 0 5 % E n g i n e e r i n g 4 4 1 9 7 2 8 7 9 0 4 6 % H u m a n i t i e s 6 1 0 2 8 7 5 0 0 2 1 3 7 4 % P h y s i c a l S c i e n c e s 5 5 3 3 4 4 4 4 1 1 0 3 3 % S o c i a l S c i e n c e s _ Z _ O Z 4 1 6 5 1 5 9 9 2 4 % T o t a l 2 9 3 6 1 6 6 3 2 6 2 6 9 6 3 5 8 % A s c a n b e s e e n f r o m T a b l e 2 , t h e l a r g e s t i n c r e a s e i n t h e n u m b e r o f p r o g r a m s w a s i n t h e b i o l o g i c a l s c i e n c e s . H o w e v e r , t h e r e w e r e s u b s t a n t i a l i n c r e a s e s i n a l l f i e l d s o f k n o w l e d g e ( R o o s e - A n d e r s e n , 1 9 7 0 , 5 — 7 ) . 8 9 I t i s a l s o i n t e r e s t i n g t o n o t e t h a t 5 6 6 ( 5 9 % ) o f t h e 9 6 3 " n e w " p r o g r a m s s u r v e y e d i n 1 9 6 9 w e r e " o l d " p r o g r a m s i n t h e s e n s e t h a t t h e p r o g r a m s h a d b e e n p r e v i o u s l y s u r v e y e d i n 1 9 6 9 i n o t h e r i n s t i t u t i o n s , w h i l e 3 9 7 ( 4 1 % ) w e r e " n e w “ p r o g r a m s i n t h e s e n s e t h a t n o n e o f t h e s e p r o g r a m s h a d e v e r b e e n s u r v e y e d b e f o r e . P a r t i c i p a t i n g J u d g e s o r R a t e r s - - R o o s e - A n d e r s e n i n 1 9 6 9 u s e d s i m i l a r s e l e c t i o n p r o c e d u r e s a n d t h e s a m e t h r e e c a t e g o r i e s o f r a t e r s ( t h a t i s , d e p a r t m e n t c h a i r m e n , d i s t i n g u i s h e d s e n i o r s c h o l a r s , a n d k n o w l e d g e a b l e j u n i o r s c h o l a r s ) a s h a d b e e n u s e d b y C a r t t e r i n h i s 1 9 6 4 s t u d y . T h e Q u e s t i o n n a i r e a n d R a t i n g S c a l e - — T h e 1 9 6 9 s t u d y i n c l u d e d t h r e e q u e s t i o n s o n t h e q u e s t i o n n a i r e a s d i d t h e 1 9 6 4 s t u d y . T h e f i r s t t w o q u e s t i o n s ( Q u a l i t y o f F a c u l t y a n d E f f e c t i v e n e s s o f P r o g r a m ) w e r e i d e n t i c a l i n b o t h s t u d i e s . T h e t h i r d q u e s t i o n c o n c e r n e d t h e r a t e r s ' o p i n i o n o f , n o t t h e f u t u r e c h a n g e s e x p e c t e d i n q u a l i t y ( a s i n t h e C a r t t e r S t u d y ) , b u t r a t h e r a n o p i n i o n o f t h e c h a n g e t h a t h a d a c t u a l l y o c c u r r e d i n q u a l i t y d u r i n g t h e p a s t f i v e y e a r s , 1 9 6 4 - 1 9 6 9 . R o o s e - A n d e r s e n m a i l e d o u t 8 , 0 7 4 q u e s t i o n n a i r e s w i t h t w o f o l l o w - u p s . O f t h e 6 , 3 2 5 ( 7 8 % ) q u e s t i o n n a i r e s r e t u r n e d , 6 , 0 9 3 , ( 7 5 % o f t h e t o t a l q u e s t i o n n a i r e s m a i l e d ) w e r e u s e a b l e a n d , t h u s , c o n s t i t u t e d t h e s a m p l e . T h e 7 5 % r e t u r n e d a n d u s e a b l e 9 O q u e s t i o n n a i r e r a t e w a s e x a c t l y t h e s a m e f o r b o t h t h e 1 9 6 4 a n d 1 9 6 9 s t u d i e s . R e s u l t s T h e m a j o r v a l u e a n d i n t e r e s t o f t h i s s t u d y w a s i n t h e c o m p a r i s o n o f i t s f i n d i n g s w i t h t h o s e o f t h e 1 9 6 4 C a r t t e r S t u d y . T h e c h a n g e i n t h e n u m b e r a n d t y p e o f p r o g r a m s i n g r a d u a t e s c h o o l s i n t h e U n i t e d S t a t e s f r o m 1 9 6 4 t o 1 9 6 9 h a s a l r e a d y b e e n d i s c u s s e d . T h e m a j o r r e s u l t s r e l a t i n g t o t h e a c a d e m i c q u a l i t y r a t i n g s a n d r e l i a b i l i t y ( i n t e r n a l c o n s i s t e n c y a n d s t a b i l i t y ) a r e a s f o l l o w s . Q u a l i t y R a t i n g s f o r F a c u l t y a n d P r o g r a m s - ~ I n t h e i r r e p o r t , R o o s e - A n d e r s e n p r e s e n t e d r a n g e s o f s c o r e s , r a t h e r t h a n " a b s o l u t e " r a w d e p a r t m e n t a l s c o r e s a n d o m i t t e d t h e w o r d " q u a l i t y " f r o m t h e t i t l e , s u b s t i t u t i n g , i n s t e a d , t h e w o r d ” r a t i n g . “ A c o m p a r i s o n o f t h e 1 9 6 4 a n d 1 9 6 9 r e s u l t s i n d i c a t e s t h a t t h e a v e r a g e f a c u l t y a n d p r o g r a m q u a l i t y r a t i n g s c h a n g e d v e r y l i t t l e r e g a r d l e s s o f t h e d i s c i p l i n e . A n d a g a i n , t h e t o p u n i v e r s i t i e s p r e d o m i n a n t l y c a m e f r o m t h e s a m e s m a l l g r o u p o f 1 0 t o 2 0 u n i v e r s i t i e s . T h e s i g n i f i c a n t c h a n g e o c c u r r e d i n t h e g e n e r a l i m p r o v e m e n t i n t h e a v e r a g e r a t i n g s o f f a c u l t y a n d p r o g r a m s f r o m 1 9 6 4 t o 1 9 6 9 . F o r e x a m p l e , t h r e e - f o u r t h s o f a l l o f t h e 1 , 6 6 3 c o m m o n p r o g r a m s 9 1 s h o w e d i n c r e a s e s i n t h e q u a l i t y o f t h e i r g r a d u a t e f a c u l t y r a t i n g s . I n 1 9 6 4 , 1 1 6 1 ( 7 0 % ) o f t h e r a t e d f a c u l t i e s a c h i e v e d a n " A d e q u a t e p l u s " ( 2 . 0 ) o r b e t t e r r a t i n g . B y 1 9 6 9 , t h e n u m b e r h a d i n c r e a s e d t o 1 3 0 6 ( 8 0 % ) . T h e n u m b e r o f p r o g r a m s r e c e i v i n g t h e h i g h e s t t w o r a n k i n g s f o r p r o g r a m s a n d f a c u l t y ( t h a t i s , e i t h e r " D i s t i n g u i s h e d " o r " S t r o n g " ) a l s o i n c r e a s e d s u b s t a n t i a l l y . M o r e o v e r , t h e c o n c e r n i n 1 9 6 4 t h a t f e w i n s t i t u t i o n s w o u l d b e a b l e t o r i s e i n t o t h e " S t r o n g " o r " D i s t i n g u i s h e d ” c a t e g o r i e s p r o v e d u n w a r r a n t e d . F o r e x a m p l e , a l m o s t 1 7 % o f t h o s e f a c u l t i e s r a t e d “ G o o d ” o r " A d e q u a t e p l u s “ i n 1 9 6 4 w e r e r a t e d " S t r o n g " i n 1 9 6 9 . M o r e t h a n 2 5 % o f t h o s e r a t e d " G o o d “ i n 1 9 6 4 w e r e r a t e d " S t r o n g " i n 1 9 6 9 . A b o u t 2 % o f t h o s e r a t e d ” S t r o n g " i n 1 9 6 4 w e r e r a t e d " D i s t i n g u i s h e d ” i n 1 9 6 9 . O f s i g n i f i c a n c e a l s o i s t h e f a c t t h a t m a n y f a c u l t i e s a n d p r o g r a m s n o t p r e v i o u s l y r a t e d ( b o t h ” n e w " g r a d u a t e p r o g r a m s a t p r e v i o u s l y r a t e d i n s t i t u t i o n s a n d " n e w " g r a d u a t e p r o g r a m s a t p r e v i o u s l y u n r a t e d i n s t i t u t i o n s ) a c h i e v e d s c o r e s e q u i v a l e n t t o t h e ” A d e q u a t e p l u s " o r h i g h e r r a t i n g s . H o w e v e r , d e s p i t e t h e g e n e r a l i m p r o v e m e n t o f e s t a b l i s h e d p r o g r a m s a n d t h e e m e r g e n c e o f a s u b s t a n t i a l n u m b e r o f n e w h i g h l y r a t e d p r o g r a m s i n t h e c o m m o n d i s c i p l i n e s , t h e p r o p o r t i o n o f a l l f a c u l t i e s a t o r a b o v e t h e " A d e q u a t e p l u s " l e v e l i n 1 9 6 9 w a s 7 0 % , e s s e n t i a l l y u n c h a n g e d f r o m 1 9 6 4 . 9 2 F u r t h e r , t h e i n c r e a s e s w e r e n o t u n i f o r m a n d f e w e r t h a n 5 0 % o f t h e f a c u l t i e s r a t e d f o r t h e f i r s t t i m e i n 1 9 6 9 r e c e i v e d a b o v e m i n i m u m q u a l i t y r a t i n g s . I m p r o v e m e n t i n f a c u l t y q u a l i t y r a t i n g s w a s a l s o f o u n d b y r e g i o n , p a r t i c u l a r l y i n t h e S o u t h , w h e r e t h o s e f a c u l t i e s r a t e d " A d e q u a t e p l u s " o r " S t r o n g " i n 1 9 6 4 i n c r e a s e d b y 1 4 % o v e r t h e f i v e - y e a r p e r i o d . R e l i a b i l i t y o f Q u a l i t y R a t i n g b f - T h e h i g h d e g r e e o f c o n s i s t e n c y o f t h e f a c u l t y q u a l i t y r a t i n g s a m o n g d i f f e r e n t g r o u p s o f r a t e r s f o u n d b y C a r t t e r i n 1 9 6 4 w a s c o n f i r m e d b y R o o s e - A n d e r s e n ( 1 9 7 0 , 3 4 ) . R o o s e - A n d e r s e n c o r r e l a t e d t h e a v e r a g e f a c u l t y q u a l i t y r a t i n g s o f a l l t h e r a t e r s w i t h t h e r a t i n g s o f t h e d i f f e r e n t c a t e g o r i e s o f s c h o l a r s w i t h t h e f o l l o w i n g r e s u l t s : c h a i r m e n 0 . 9 9 , d i s t i n g u i s h e d s e n i o r s c h o l a r s 0 . 9 8 , a n d k n o w l e d g e a b l e j u n i o r s c h o l a r s 0 . 9 5 . S t a b i l i t y o f t h e Q u a l i t y R a t i n g b f - A n o t h e r w a y o f v i e w i n g t h e r e l i a b i l i t y o f q u a l i t y r a t i n g s i s t o e x a m i n e t h e c o r r e l a t i o n s o f f a c u l t y q u a l i t y r a t i n g s a c r o s s a c a d e m i c r a n k i n g s t u d i e s . I f t h e c o r r e l a t i o n s a r e h i g h , i t m a y b e a r g u e d t h a t q u a l i t y r a t i n g s m e a s u r e t h e s a m e t h i n g w i t h c o n s i s t e n c y o r h a v e s t a b i l i t y o v e r t i m e . T h e a n a l y s e s o f t h e m e a n i n t e r - c o r r e l a t i o n s o f t h e f a c u l t y q u a l i t y r a t i n g s b e t w e e n t h e C a r t t e r a n d R o o s e - A n d e r s e n s t u d i e s w a s 0 . 9 4 . T h u s , R o o s e - A n d e r s e n M V d e t e r m i n e d t h a t t h e f a c u l t y q u a l i t y r a t i n g s w e r e s t a b l e o v e r t h e f i v e — y e a r p e r i o d . C o n c l u s i o n s a n d R e c o m m e n d a t i o n s S e v e r a l m a j o r c o n c l u s i o n s w e r e d r a w n b y R o o s e - A n d e r s e n . T h e y a r e a s f o l l o w s : 1 ) 2 ) T h e p r o p o r t i o n o f p r o g r a m s i n t h e t o p r a n g e r e m a i n e d c o n s t a n t o r d r o p p e d a n d t h e p r o p o r t i o n o f p r o g r a m s i n t h e l o w e s t r a n g e i n c r e a s e d m o r e f r e q u e n t l y t h a n i t d e c l i n e d . R e l a t i v e s t a n d i n g s o f t h e u n i v e r s i t i e s o n t h e f a c u l t y a n d p r o g r a m r a t i n g s d i d n o t s h o w m a r k e d g a i n s f r o m 1 9 6 4 t o 1 9 6 9 , a l t h o u g h c h a n g e d i d o c c u r i n s o m e u n i v e r s i t i e s . O v e r a l l i n c r e a s e s i n f a c u l t y a n d p r o g r a m q u a l i t y r a t i n g s o c c u r r e d f r o m 1 9 6 4 t o 1 9 6 9 , b u t m a n y n e w p r o g r a m s w e r e o f p o o r q u a l i t y . R o o s e - A n d e r s e n a t t r i b u t e d t h i s t o t h e d u p l i c a t i o n o f i d e n t i c a l p r o g r a m s a t m o r e t h a n o n e s t a t e u n i v e r s i t y w i t h i n a g i v e n s t a t e . T h e r e l i a b i l i t y o f t h e r a t i n g s c o n t i n u e d t o b e c l o s e t o 1 . 0 0 . F a c u l t y q u a l i t y r a t i n g s r e m a i n e d s t a b l e o v e r t h e f i v e - y e a r p e r i o d . R o o s e - A n d e r s e n m a d e s e v e r a l r e c o m m e n d a t i o n s : 1 ) m o r e s t a t e - w i d e p l a n n i n g b e u s e d i n h i g h e r e d u c a t i o n ; 2 ) n e w p r o g r a m s b e m o r e c a r e f u l l y m o n i t o r e d ; a n d 3 ) b e l o w m i n i m u m p r o g r a m s b e e l i m i n a t e d . 9 4 A s s o c i a t e d R e s e a r c h C o u n c i l s S t u d y ( 1 9 8 2 ) I n t r o d u c t i o n T h i s a s s e s s m e n t o f q u a l i t y i n g r a d u a t e p r o g r a m s w a s s p o n s o r e d b y t h e C o n f e r e n c e B o a r d o f t h e A s s o c i a t e d R e s e a r c h C o u n c i l s ( h e r e i n a f t e r r e f e r r e d t o a s ” t h e A R C S t u d y " o r " t h e J o n e s , L i n d z e y , C o g g e s h a l l S t u d y " ) w h o s e m e m b e r s a r e d r a w n f r o m : t h e A m e r i c a n C o u n c i l o f L e a r n e d S o c i e t i e s , t h e A m e r i c a n C o u n c i l o n E d u c a t i o n , t h e N a t i o n a l R e s e a r c h C o u n c i l , a n d t h e S o c i a l S c i e n c e R e s e a r c h C o u n c i l . F i n a n c i a l s u p p o r t w a s p r o v i d e d b y t h e A n d r e w W . M e l l o n F o u n d a t i o n , t h e F o r d F o u n d a t i o n , t h e A l f r e d P . S l o a n F o u n d a t i o n , t h e N a t i o n a l I n s t i t u t e s o f H e a l t h , a n d t h e N a t i o n a l S c i e n c e F o u n d a t i o n . T h e a s s e s s m e n t w a s c o n d u c t e d o v e r a p e r i o d o f s e v e r a l y e a r s . I t w a s i n i t i a t e d i n 1 9 8 0 , t h e d a t a w e r e c o l l e c t e d i n 1 9 8 1 , a n d t h e r e s u l t s , e d i t e d b y J o n e s , L i n d z e y , a n d C o g g e s h a l l , w e r e p u b l i s h e d i n f i v e s e p a r a t e r e p o r t s i n 1 9 8 2 . 6 T h i s s t u d y , a c c o r d i n g t o W e b s t e r ( 1 9 8 3 ) i s t h e " R o l l s - R o y c e o f a c a d e m i c q u a l i t y r a n k i n g s " a n d " i s b y f a r t h e b i g g e s t , b e s t , m o s t e x p e n s i v e , m o s t t h o u g h t f u l l y c o n c e i v e d a n d c a r e f u l l y c a r r i e d o u t a c a d e m i c q u a l i t y r a n k i n g e v e r d o n e . " I n p a r t , t h e A R C S t u d y w a s c o n d u c t e d i n a n s w e r t o t h e m a n y c r i t i c i s m s l e v e l e d a t t h e C a r t t e r ( 1 9 6 6 ) a n d 9 5 R o o s e - A n d e r s e n ( 1 9 7 0 ) s t u d i e s . H o w e v e r , t h e A R C S t u d y h a d i t s o w n o b j e c t i v e s , a s w e l l . M e t h o d o l o g i c a l C o n c e r n s B o t h C a r t e r a n d R o o s e - A n d e r s e n w e r e c r i t i c i z e d f o r t h e i r r e l i a n c e m a i n l y o n r e p u t a t i o n a l m e a s u r e m e n t w h i c h w a s d e s c r i b e d b y t h e c r i t i c s a s b e i n g " n a r r o w a n d e l i t i s t . " O t h e r c r i t i c i s m s o f r e p u t a t i o n a l r a t i n g s w e r e t h a t t h e y : 1 ) w e r e o u t o f d a t e ; 2 ) y i e l d e d a n i n s t i t u t i o n a l " h a l o e f f e c t ; " a n d 3 ) e m p h a s i Z e d t h e l a r g e s t p r o g r a m s a t t h e e x p e n s e o f s m a l l e r , l e s s w e l l - k n o w n i n s t i t u t i o n s . I t w a s a l s o a r g u e d t h a t t h e r a t i n g s c a l e s u s e d d i d n o t r e f l e c t t h e t r u e c o m p l e x i t y o f g r a d u a t e p r o g r a m s a n d e m p h a s i z e d t h e t r a d i t i o n a l v a l u e s ( f o r e x a m p l e , f a c u l t y a c h i e v e m e n t ) t h a t a r e r e l a t e d t o i n s t i t u t i o n a l s i z e a n d w e a l t h . T h u s , i t w a s a r g u e d t h a t r a t i n g s s h o u l d b e m o r e c o m p r e h e n s i v e , s e n s i t i v e t o d i f f e r e n t p r o g r a m p u r p o s e s , a n d a p p r o p r i a t e a t a n y t i m e b y i n d i v i d u a l d e p a r t m e n t s a n d u n i v e r s i t i e s ( J o n e s , L i n d z e y , a n d C o g g e s h a l l , 1 9 8 2 , 5 - 6 ) . F i n a l l y , i t w a s a r g u e d t h a t f e w , i f a n y , o f t h e r a t e r s c o u l d b e f a m i l i a r w i t h a l l o f t h e p r o g r a m s a n d , t h u s , t h e r a t e r s m a y h a v e m i s r a n k e d t h e p r o g r a m s b e c a u s e o f a l a c k o f k n o w l e d g e a b o u t t h e s i z e o f t h e 9 6 p r o g r a m s a n d o f t h e p a r t i c u l a r f a c u l t y r e s p o n s i b l e f o r t h e p r o g r a m s . O b j e c t i v e s T h e o b j e c t i v e s o f t h e A R C S t u d y w e r e r e l a t e d , b o t h , t o t h e n e e d f o r a b e t t e r a n d m o r e c o m p r e h e n s i v e s t u d y , a s w e l l a s t o t h e m e t h o d o l o g i c a l c r i t i c i s m s m e n t i o n e d a b o v e . I n p a r t i c u l a r , t h e A R C S t u d y h a d t h e f o l l o w i n g s p e c i f i c o b j e c t i v e s : 1 ) T o i m p r o v e t h e m e t h o d s u s e d i n p r i o r s t u d i e s b y m e e t i n g p r e v i o u s c r i t i c i s m s t h r o u g h t h e c a r e f u l s t u d y b y p l a n n e r s o f t h e m e t h o d s u s e d i n t h e p r i o r s t u d i e s . 2 ) T o f o c u s o n l y o n p r o g r a m s a w a r d i n g r e s e a r c h - d o c t o r a t e s a n d t h e i r e f f e c t i v e n e s s i n p r e p a r i n g s t u d e n t s f o r c a r e e r s i n r e s e a r c h , w h i l e a d m i t t i n g t h e i m p o r t a n c e o f o t h e r f o c i f o r p r o g r a m s w h i c h w e r e b e y o n d t h e s c o p e o f t h e s t u d y . 3 ) T o p r o v i d e a m u l t i d i m e n s i o n a l a p p r o a c h b y e x a m i n i n g a v a r i e t y o f d i f f e r e n t i n d i c e s t h a t m a y b e r e l e v a n t t o p r o g r a m q u a l i t y . 4 ) T o p r o v i d e e v a l u a t o r s w i t h t h e n a m e s o f f a c u l t y m e m b e r s i n v o l v e d i n e a c h p r o g r a m t o b e r a t e d a n d w i t h t h e n u m b e r o f r e s e a r c h - d o c t o r a t e s a w a r d e d d u r i n g t h e p r e v i o u s f i v e y e a r s . I t i s i m p o r t a n t t o n o t e t h a t t h i s s t u d y , f o r t h e f i r s t t i m e , a t t e m p t e d t o o b t a i n a c o m p r e h e n s i v e v i e w o f e a c h p r o g r a m b y u s i n g m u l t i v a r i a t e s t a t i s t i c a l m e a s u r e s i n a d d i t i o n t o r e p u t a t i o n a l r a t i n g s . T h i s i s t h e m e t h o d f o l l o w e d b y t h e p r e s e n t d i s s e r t a t i o n , t h a t i s , 9 7 p r o g r e s s i n g f r o m m a i n l y r e p u t a t i o n a l r a t i n g s f o r u n i v e r s i t i e s t o a c o m p o s i t e m u l t i v a r i a t e " p i c t u r e " o f t h e p r o g r a m s a n d u n i v e r s i t i e s . S a m p l i n g M e t h o d s a n d P r o c e d u r e s I n s t i t u t i o n s I n c l u d e d - - O f t h e 2 4 3 i n s t i t u t i o n s s o l i c i t e d a s p a r t i c i p a n t s i n t h e A R C s t u d y , o n l y 1 5 ( 6 % ) d e c l i n e d t o p a r t i c i p a t e o r f a i l e d t o p r o v i d e i n f o r m a t i o n r e q u i r e d b y t h e s t u d y . N o n e o f t h e 1 5 h a d r e c e i v e d “ D i s t i n g u i s h e d " o r " S t r o n g " r a t i n g s i n p r i o r n a t i o n a l s t u d i e s . T h u s , t h e s a m p l e i n c l u d e d 2 2 8 i n s t i t u t i o n s v e r s u s t h e 1 0 6 i n s t i t u t i o n s i n t h e C a r t t e r S t u d y a n d t h e 1 3 0 i n s t i t u t i o n s i n t h e R o o s e - A n d e r s e n S t u d y . F i e l d s a n d D i s c i p l i n e s I n c l u d e d - - T h e s a m e 5 f i e l d s o f k n o w l e d g e i n c l u d e d i n t h e e a r l i e r C a r t t e r a n d R o o s e - A n d e r s e n s t u d i e s w e r e i n c l u d e d i n t h e A R C S t u d y . T h e n u m b e r o f d i s c i p l i n e s , h o w e v e r , d e c l i n e d f r o m t h e 3 6 s u r v e y e d i n t h e R o o s e - A n d e r s e n S t u d y t o 3 2 b e c a u s e o f t h e e m p h a s i s i n t h e A R C S t u d y o n o n l y p r o g r a m s a w a r d i n g r e s e a r c h - d o c t o r a t e s r a t h e r t h a n s i m p l y d o c t o r a t e s . T h e n u m b e r o f d i s c i p l i n e s b y a c a d e m i c f i e l d o f k n o w l e d g e i n c l u d e d i n t h e s t u d y a r e a s f o l l o w s : t h e B i o l o g i c a l S c i e n c e s ( 6 ) , E n g i n e e r i n g ( 4 ) , t h e H u m a n i t i e s ( 9 ) , M a t h e m a t i c a l & P h y s i c a l S c i e n c e s ( 6 ) , a n d t h e S o c i a l & B e h a v i o r a l S c i e n c e s ( 7 ) . 9 8 T h e m e t h o d s u s e d i n t h e s e l e c t i o n o f t h e d i s c i p l i n e s i n c l u d e d i n t h e s t u d y w e r e s l i g h t l y d i f f e r e n t f o r e a c h o f t h e f i v e a c a d e m i c f i e l d s o f k n o w l e d g e . T h e m e t h o d s r e p o r t e d h e r e a r e t h o s e w h i c h , i n t h i s r e s e a r c h e r ' s j u d g m e n t , b e s t d e s c r i b e t h e o v e r a l l m e t h o d s . S p e c i f i c s a r e a v a i l a b l e i n t h e f i v e - v o l u m e r e p o r t ( J o n e s , L i n d z e y , a n d C o g g e s h a l l , 1 9 8 2 ) . T h e A R C c o m m i t t e e o f s t u d y p l a n n e r s d e c i d e d t h a t n o m o r e t h a n 3 0 d i s c i p l i n e s f r o m t h e 5 a c a d e m i c f i e l d s o f k n o w l e d g e c o u l d b e a d e q u a t e l y s t u d i e d w i t h a v a i l a b l e f u n d s . H o w e v e r , 3 2 d i s c i p l i n e s w e r e e v e n t u a l l y s t u d i e d i n s t e a d o f t h e 3 0 o r i g i n a l l y p l a n n e d . T h e c o m m i t t e e b a s e d i t s s e l e c t i o n o f d i s c i p l i n e s f r o m t h e 5 f i e l d s , p r i m a r i l y , o n t h e t o t a l n u m b e r o f d o c t o r a t e s a w a r d e d n a t i o n a l l y i n " r e c e n t " y e a r s . A c c o r d i n g l y , a g g r e g a t e c o u n t s o f d o c t o r a l d e g r e e s e a r n e d i n F Y 1 9 7 6 - 1 9 7 8 w e r e t a k e n f r o m t h e E d u c a t i o n a l T e s t i n g S e r v i c e a n d t h e N a t i o n a l R e s e a r c h C o u n c i l . P r o g r a m s I n c l u d e d - - A t o t a l o f 2 , 6 9 9 p r o g r a m s w h i c h a w a r d e d a t o t a l o f 7 5 , 4 0 1 d o c t o r a t e s d u r i n g F Y 1 9 7 6 - 8 0 w e r e s e l e c t e d f o r e v a l u a t i o n f r o m t h e 3 2 d i s c i p l i n e s . T h e s e l e c t i o n o f t h e r e s e a r c h d o c t o r a t e p r o g r a m s t o b e i n c l u d e d i n t h e s t u d y w e r e s e l e c t e d i n t w o s t a g e s . F i r s t , a n y p r o g r a m m e e t i n g o n e o f t h e f o l l o w i n g c r i t e r i a w a s s e l e c t e d f o r c o n s i d e r a t i o n : 1 ) m o r e t h a n 9 9 a s p e c i f i e d n u m b e r o f d e g r e e s g r a n t e d i n 1 9 7 6 - 1 9 7 8 ( t h e n u m b e r n e c e s s a r y t o i n c l u d e a t l e a s t 9 0 % o f a l l . d o c t o r a t e s a w a r d e d i n a p r o g r a m ) , o r 2 ) m o r e t h a n o n e - t h i r d o f t h e d e g r e e s g r a n t e d i n F Y 1 9 7 9 , o r 3 ) a n a v e r a g e r a t i n g o f 2 . 0 o r h i g h e r ( S t r o n g o r D i s t i n g u i s h e d ) i n t h e R o o s e - A n d e r s e n S t u d y . S e c o n d , a l i s t o f t h e n o m i n a t e d p r o g r a m s a t e a c h i n s t i t u t i o n w a s s e n t t o a d e s i g n a t e d i n d i v i d u a l ( u s u a l l y t h e g r a d u a t e d e a n ) w h o h a d b e e n a p p o i n t e d b y t h e u n i v e r s i t y p r e s i d e n t t o s e r v e a s t h e c o o r d i n a t o r f o r t h e i n s t i t u t i o n . T h e c o o r d i n a t o r s w e r e a s k e d t o : 1 ) r e v i e w t h e l i s t , 2 ) e l i m i n a t e p r o g r a m s n o l o n g e r o f f e r i n g r e s e a r c h - d o c t o r a t e s o r n o t b e l o n g i n g i n t h e l i s t , a n d 3 ) i n c l u d e o t h e r p r o g r a m s “ o f u n c o m m o n d i s t i n c t i o n " w h i c h a w a r d e d n o f e w e r t h a n t w o d o c t o r a t e s o v e r t h e p a s t t w o y e a r s . M e a s u r e s U s e d i n t h e S t u d y - - S i n c e t h e s t u d y w a s i n t e n d e d t o b e m u l t i d i m e n s i o n a l i n n a t u r e , d a t a w e r e c o l l e c t e d o n s i x t e e n s e p a r a t e m e a s u r e s o r v a r i a b l e s f o r a l l f i e l d s e x c e p t h u m a n i t i e s i n w h i c h o n l y t h e f i r s t t w e l v e m e a s u r e s w e r e u s e d . T h e m e a s u r e s i n c l u d e d b o t h r e p u t a t i o n a l r a t i n g s a n d q u a n t i t a t i v e m e a s u r e m e n t s . T h e s i x t e e n m e a s u r e s a r e s u m m a r i z e d b e l o w , a l o n g w i t h d e f i n i t i o n s a n d i n f o r m a t i o n a b o u t t h e i r d a t a s o u r c e s . 1 0 0 P r o g r a m S i z e ( M e a s u r e s 1 - 3 ) - - R e p o r t e d n u m b e r o f : 1 ) P r o g r a m f a c u l t y m e m b e r s i n t h e p r o g r a m w h o w e r e h o l d i n g a c a d e m i c a p p o i n t e m e n t s ( t y p i c a l l y a t t h e r a n k o f a s s i s t a n t , a s s o c i a t e , a n d f u l l p r o f e s s o r ) a s o f D e c e m b e r 1 , 1 9 8 0 a n d w h o p a r t i c i p a t e d s i g n i f i c a n t l y i n d o c t o r a l e d u c a t i o n . ( B a s e d o n d a t a p r o v i d e d t o t h e c o m m i t t e e b y t h e u n i v e r s i t y a p p o i n t e d s t u d y c o o r d i n a t o r s . ) 2 ) P r o g r a m g r a d u a t e s f o r F Y 1 9 7 5 - 7 9 . ( D a t a w e r e o b t a i n e d b y m a t c h i n g t h e n a m e s o f p r o g r a m g r a d u a t e s f r o m f a c u l t y l i s t s p r o v i d e d t o t h e c o m m i t t e e b y t h e u n i v e r s i t y a p p o i n t e d s t u d y c o o r d i n a t o r s a g a i n s t t h e n a m e s o f d i s s e r t a t i o n a d v i s o r s c o m p i l e d f r o m a N a t i o n a l R e s e a r c h C o u n c i l s u r v e y . ) 3 ) T o t a l n u m b e r s o f f u l l - t i m e a n d p a r t - t i m e ‘ g r a d u a t e s t u d e n t s e n r o l l e d i n t h e p r o g r a m a s o f D e c e m b e r _ 1 , 1 9 8 0 w h o i n t e n d t o e a r n d o c t o r a t e s . ( B a s e d o n d a t a p r o v i d e d t o t h e c o m m i t t e e b y t h e u n i v e r s i t y a p p o i n t e d s t u d y c o o r d i n a t o r s . ) C h a r a c t e r i s t i c s o f G r a d u a t e s ( M e a s u r e s 4 - 7 ) - - 4 ) P r o p o r t i o n o f p r o g r a m g r a d u a t e s r e c e i v i n g n a t i o n a l f e l l o w s h i p o r t r a i n i n g _ g r a n t s u p p o r t d u r i n g t h e i r g r a d u a t e e d u c a t i o n . 5 ) M e d i a n n u m b e r o f y e a r s t o c o m p l e t i o n o f d o c t o r a t e d e g r e e . ( I n r e p o r t i n g s t a n d a r d s c o r e s a n d c o r r e l a t i o n s w i t h o t h e r v a r i a b l e s , a s h o r t e r t i m e t o P h . D . w a s a s s i g n e d a h i g h e r s c o r e . ) 6 ) P r o p o r t i o n o f p r o g r a m g r a d u a t e s m a k i n g fl d e f i n i t e c o m m i t m e n t s f o r p o s t - g r a d u a t e e m p l o y m e n t . 7 ) P r o p o r t i o n o f p r o g r a m g r a d u a t e s m a k i n g d e f i n i t e c o m m i t m e n t s f o r p o s t - g r a d u a t e e m p l o y m e n t i n P h . D . - g r a n t i n g u n i v e r s i t i e s . ( A l l f o u r m e a s u r e s w e r e b a s e d o n d a t a c o m p i l e d i n t h e N a t i o n a l R e s e a r c h C o u n c i l ' s S u r v e y o f E a r n e d D o c t o r a t e s f o r F Y 1 9 7 5 - 7 9 . ) R e p u t a t i o n a l S u r v e y R e s u l t s ( M e a s u r e s 8 - 1 1 ) - - 8 ) M e a n r a t i n g o f t h e s c h o l a r l y q u a l i t y o f p r o g r a m f a c u l t y . 9 ) M e a n r a t i n g o f t h e e f f e c t i v e n e s s o f t h e j p r b g r a m i n e d u c a t i n g r e s e a r c h s c h o l a r s / s c i e n t i s t s . 1 0 ) M e a n r a t i n g o f i m p r o v e m e n t i n p r b g r a m q u a l i t y i n t h e p a s t f i v e y e a r s . 1 1 ) M e a n r a t i n g o f t h e e v a l u a t o r s ' f a m i l i a r i t y w i t h t h e w o r k o f t h e p r o g r a m ' s f a c u l t y . ( A l l f o u r m e a s u r e s w e r e b a s e d o n r e s p o n s e s t o t h e c o m m i t t e e ' s s u r v e y c o n d u c t e d i n A p r i l 1 9 8 1 . S u r v e y q u e s t i o n s a n d r a t i n g s c a l e s a r e p r o v i d e d b e l o w . ) 1 0 1 U n i v e r s i t y L i b r a r y S i z e ( M e a s u r e 1 2 ) - - C o m p o s i t e i n d e x o f t h e l i b r a r y s i z e i n t h e u n i v e r s i t y i n w h i c h t h e p r o g r a m i s l o c a t e d ( s c a l e = - 3 t o + 3 ) . ( B a s e d o n 1 9 7 9 - 8 0 d a t a c o m p i l e d b y t h e A s s o c i a t i o n o f R e s e a r c h L i b r a r i e s o n t e n l i b r a r y c h a r a c t e r i s t i c s : v o l u m e s h e l d : g r o s s v o l u m e s a d d e d ; m i c r o f i l m u n i t s h e l d ; c u r r e n t s e r i a l s r e c e i v e d : e x p e n d i t u r e s f o r l i b r a r y m a t e r i a l s , b i n d i n g , t o t a l s a l a r i e s , a n d w a g e s : o t h e r o p e r a t i n g e x p e n d i t u r e s ; n u m b e r o f p r o f e s s i o n a l a n d n o n - p r o f e s s i o n a l s t a f f : a n d r e l a t e d m e a s u r e s . T h e i n d e x w a s o n l y a v a i l a b l e f o r 8 9 o f t h e 2 2 8 u n i v e r s i t i e s s u r v e y e d , w h i c h , a c c o r d i n g t o t h e a u t h o r s " t e n d t o b e a m o n g t h e l a r g e s t i n s t i t u t i o n s . ” ) R e s e a r c h S u p p o r t ( M e a s u r e s 1 3 - 1 4 ) - - 1 3 ) P r o p o r t i o n o f p r o g r a m f a c u l t y m e m b e r s h o l d i n g r e s e a r c h g g a n t s d u r i n g F Y 1 9 7 8 - 8 0 f r o m : t h e N a t i o n a l I n s t i t u t e s o f H e a l t h ; t h e N a t i o n a l S c i e n c e F o u n d a t i o n : o r t h e A l c o h o l , D r u g A b u s e , a n d M e n t a l H e a l t h A d m i n i s t r a t i o n . ( B a s e d o n l i s t s o f f a c u l t y o b t a i n e d b y m a t c h i n g f a c u l t y n a m e s p r o v i d e d b y i n s t i t u t i o n a l c o o r d i n a t o r s w i t h t h e n a m e s o f r e s e a r c h g r a n t a w a r d e e s f r o m c o m p u t e r i z e d d a t a f i l e s o f t h e N a t i o n a l S c i e n c e F o u n d a t i o n a n d t h e N a t i o n a l I n s t i t u t e s o f H e a l t h . T h e p r o p o r t i o n o f f a c u l t y i n e a c h p r o g r a m w h o h a d r e c e i v e d b b y r e s e a r c h g r a n t s f r o m t h e s e a g e n c i e s d u r i n g t h i s p e r i o d w a s u s e d a s t h e m e a s u r e . ) 1 4 ) T o t a l F Y 1 9 7 9 e x p e n d i t u r e s ( i n t h o u s a n d s o f d o l l a r s ) o f f u n d s f r o m b o t h f e d e r a l a n d n o n - f e d e r a l s o u r c e s r e p o r t e d b y t h e u n i v e r s i t y f o r r e s e a r c h a n d d e v e l o p m e n t a c t i v i t i e s i n t h e s p e c i f i e d d i s c i p l i n e s . ( B a s e d o n d a t a p r o v i d e d t o t h e N a t i o n a l S c i e n c e F o u n d a t i o n b y t h e u n i v e r s i t i e s . T h e a u t h o r s i d e n t i f i e d t w o p r o b l e m s w i t h t h i s d a t a : 1 ) u n i v e r s i t i e s u s e d i f f e r e n t p r a c t i c e s f o r c a t e g o r i z i n g a n d r e p o r t i n g e x p e n d i t u r e s a n d 2 ) t h e d a t a a r e a v a i l a b l e o n l y f o r a g g r e g a t e e x p e n d i t u r e s i n t h e B i o l o g i c a l S c i e n c e s a n d a r e n o t a v a i l a b l e f o r e x p e n d i t u r e s i n t h e i n d i v i d u a l d i s c i p l i n e s . T h u s , t h e v a l u e r e p o r t e d f o r a n i n d i v i d u a l p r o g r a m r e p r e s e n t s t h e t o t a l u n i v e r s i t y ' s e x p e n d i t u r e s i n t h e B i o l o g i c a l S c i e n c e s . ) P u b l i c a t i o n R e c o r d s ( M e a s u r e s 1 5 - 1 6 ) - - 1 5 ) N u m b e r o f F Y 1 9 7 8 - 7 9 p u b l i s h e d a r t i c l e s a t t r i b u t e d t o t h e d o c t o r a l p r o g r a m ( f o r . 1 0 2 e x a m p l e , a r t i c l e s a u t h o r e d b y t h e f a c u l t y ) . ( B a s e d o n d a t a o n p u b l i s h e d a r t i c l e s c o l l e c t e d f r o m c o m p u t e r i z e d i n d e x e s , s u c h a s t h e S c i e n c e C i t a t i o n I n d e x . S o m e d i s c i p l i n e s a l s o o b t a i n e d m e a s u r e s b a s e d u p o n t h e n u m b e r ” o f b o o k s r e v i e w e d i n m a j o r j o u r n a l s . ) 1 6 ) E s t i m a t e d ” o v e r a l l i n f l u e n c e " o f p u b l i s h e d a r t i c l e s a t t r i b u t e d t o t h e p r o g r a m . ( B a s e d o n t h e d a t a c o l l e c t e d i n m e a s u r e 1 5 a b o v e , b u t w e i g h t e d t o r e f l e c t t h e " i n f l u e n c e " o f t h e a r t i c l e s o r b o o k s . F o r e x a m p l e , s o m e d i s c i p l i n e s u s e d o n l y a r t i c l e s i n v e r y f r e q u e n t l y c i t e d j o u r n a l s . O t h e r d i s c i p l i n e s u s e d t h e n u m b e r o f a r t i c l e s i n a j o u r n a l w e i g h t e d b y t h e m e a n n u m b e r o f c i t a t i o n s f o r e a c h a r t i c l e i n t h e j o u r n a l : t h e m o r e f r e q u e n t t h e c i t a t i o n , t h e h i g h e r t h e w e i g h t . ) S e l e c t i o n o f j u d g e s o r r a t e r s - - A t o t a l o f 8 , 2 2 0 ( a b o u t 1 5 % ) f a c u l t y m e m b e r s w e r e s e l e c t e d a s e v a l u a t o r s o r r a t e r s i n t h e s t u d y f r o m t h e t o t a l o f 5 5 , 5 1 5 n a m e s o f f a c u l t y m e m b e r s s u p p l i e d o n t h e l i s t s p r o v i d e d b y t h e s t u d y c o o r d i n a t o r s a t t h e 2 2 8 u n i v e r s i t i e s c o v e r e d i n t h e a s s e s s m e n t . T h e n u m b e r o f e v a l u a t o r s w a s c h o s e n o n t h e b a s i s o f t h e n u m b e r o f f a c u l t y i n t h e p r o g r a m a n d t h e n u m b e r o f d o c t o r a t e s a w a r d e d i n t h e p r o g r a m i n t h e p r e v i o u s f i v e y e a r s , F Y 1 9 7 6 - 8 0 ( a t o t a l o f 7 5 , 4 0 1 d o c t o r a t e s w e r e a w a r d e d d u r i n g t h i s p e r i o d ) - - w i t h t h e s t i p u l a t i o n t h a t a t l e a s t o n e e v a l u a t o r w a s s e l e c t e d f r o m e v e r y p r o g r a m c o v e r e d i n t h e a s s e s s m e n t . O f t h e 8 , 2 2 0 f a c u l t y m e m b e r s t o w h o m q u e s t i o n n a i r e s w e r e s e n t , 5 , 0 1 9 ( 6 1 % ) r e s p o n d e d . T h i s r e s p o n s e r a t e w a s a p p r o x i m a t e l y 1 7 t o 1 8 p e r c e n t a g e p o i n t s l o w e r t h a n t h e r a t e s r e p o r t e d b y C a r t t e r ( 7 9 % ) a n d R o o s e - A n d e r s e n fl L h M N ‘ F O X 1 0 3 ( 7 8 % ) . J o n e s , L i n d z e y , a n d C o g g e s h a l l h y p o t h e s i z e d t h a t t h i s m i g h t b e d u e t o : t h e f a c t t h a t f o l l o w - u p s u r v e y f o r m s w e r e n o t s e n t t o n o n - r e s p o n d e n t s o n t h e f i r s t m a i l i n g d u e t o f i n a n c i a l c o n s t r a i n t s a n d 2 ) g r o w i n g d i s s a t i s f a c t i o n i n r e c e n t y e a r s w i t h e d u c a t i o n a l a s s e s s m e n t s b a s e d o n r e p u t a t i o n a l m e a s u r e s . T h e 5 , 0 1 9 r e s p o n d e n t s u s e d a s e v a l u a t o r s i n t h e s t u d y r e p r e s e n t e d a b o u t 9 % o f t h e t o t a l f a c u l t y ( 5 5 , 5 1 5 ) f r o m t h e c o o r d i n a t o r s ' l i s t s . T h e Q u e s t i o n n a i r e a n d R a t i n n g c a l e ( M e a s u r e s 8 - 1 1 ) - - T h e q u e s t i o n n a i r e f o r e a c h p r o g r a m i n c l u d e d f o u r ‘ q u e s t i o n s , e a c h w i t h a s e p a r a t e r a t i n g s c a l e . T h e y a r e s u m m a r i z e d b e l o w . 8 ) S c h o l a r l y Q u a l i t y o f t h e P r g g r a m F a c u l t y i n t e r m s o f s c h o l a r l y c o m p e t e n c e a n d a c h i e v e m e n t s r a t e d a s : D i s t i n g u i s h e d S t r o n g G o o d A d e q u a t e M a r g i n a l N o t s u f f i c i e n t f o r d o c t o r a l e d u c a t i o n D o n ' t k n o w w e l l e n o u g h t o e v a l u a t e ( I t w a s s u g g e s t e d t h a t n o m o r e t h a n f i v e p r o g r a m s b e d e s i g n a t e d a s " D i s t i n g u i s h e d . " ) 9 ) E f f e c t i v e n e s s o f t h e P r o g r a m i n E d u c a t i n g ‘ R e s e a r c h S c h o l a r s - S c i e n t i s t s i n t e r m s o f : a c c e s s i b i l i t y o f f a c u l t y , t h e c u r r i c u l a , t h e i n s t r u c t i o n a l a n d r e s e a r c h f a c u l t i e s , t h e q u a l i t y o f t h e g r a d u a t e s t u d e n t s , t h e p e r f o r m a n c e o f g r a d u a t e s , a n d o t h e r f a c t o r s t h a t c o n t r i b u t e t o t h e e f f e c t i v e n e s s o f t h e r e s e a r c h - d o c t o r a t e p r o g r a m r a t e d a s : M M H O X 1 0 4 E x t r e m e l y e f f e c t i v e R e a s o n a b l y e f f e c t i v e M i n i m a l l y e f f e c t i v e N o t e f f e c t i v e D o n ' d k n o w w e l l e n o u g h t o e v a l u a t e 1 0 ) C h a n g e i n P r o g r a m Q u a l i t y i n L a s t F i v e Y e a r s i n t h e r e s e a r c h - d o c t o r a t e p r o g r a m i n t e r m s o f i m p r o v e m e n t i n b o t h t h e s c h o l a r l y q u a l i t y a n d t h e e f f e c t i v e n e s s o f t h e p r o g r a m i n e d u c a t i n g r e s e a r c h s c h o l a r s / s c i e n t i s t s ( n o t t h e c h a n g e i n t h e p r o g r a m ' s r e l a t i v e s t a n d i n g a m o n g t h e o t h e r p r o g r a m s i n t h e f i e l d ) r a t e d a s : 2 B e t t e r t h a n f i v e y e a r s a g o 1 L i t t l e o r n o c h a n g e i n l a s t f i v e y e a r s 0 P o o r e r t h a n f i v e y e a r s a g o X D o n ' t k n o w w e l l e n o u g h t o e v a l u a t e 1 1 ) F a m i l i a r i t y w i t h t h e W o r k o f t h e P r o g r a m F a c u l t y r a t e d a s : 2 C o n s i d e r a b l e f a m i l i a r i t y 1 S o m e f a m i l i a r i t y 0 L i t t l e o r n o f a m i l i a r i t y R a t i n g P r o c e d u r e - - E a c h e v a l u a t o r w a s a s k e d t o c o n s i d e r a s t r a t i f i e d ( b y t h e n u m b e r o f f a c u l t y m e m b e r s a s s o c i a t e d w i t h e a c h p r o g r a m ) r a n d o m s a m p l e o f 5 0 r e s e a r c h - d o c t o r a t e p r o g r a m s i n h i s o r h e r d i s c i p l i n e . E v e r y p r o g r a m w a s i n c l u d e d o n 1 5 0 s u r v e y f o r m s . T h e 5 0 p r o g r a m s t o b e e v a l u a t e d w e r e l i s t e d i n r a n d o m o r d e r , p r e c e d e d b y a n a l p h a b e t i z e d l i s t o f a l l p r o g r a m s i n t h a t d i s c i p l i n e t h a t w e r e b e i n g i n c l u d e d i n t h e s t u d y . N o e v a l u a t o r w a s a s k e d t o c o n s i d e r a p r o g r a m a t h i s o r h e r o w n i n s t i t u t i o n . N i n e t y p e r c e n t ( 9 0 % ) o f t h e s u r v e y s a m p l e g r o u p o f j u d g e s w e r e p r o v i d e d w i t h t h e 1 0 5 n a m e s o f t h e f a c u l t y i n e a c h o f t h e 5 0 p r o g r a m s t o b e e v a l u a t e d a l o n g w i t h d a t a o n t h e t o t a l n u m b e r o f d o c t o r a t e s a w a r d e d i n t h e l a s t f i v e y e a r s . F o r p u r p o s e s o f c o m p a r i s o n w i t h p r e v i o u s s t u d i e s , 1 0 % o f t h e j u d g e s ( r a n d o m l y s e l e c t e d i n e a c h d i s c i p l i n e ) w e r e f u r n i s h e d n o i n f o r m a t i o n o t h e r t h a n t h e n a m e s o f t h e p r o g r a m s . A s w a s i n d i c a t e d a b o v e , o n e q u e s t i o n ( m e a s u r e 1 1 ) w a s i n c l u d e d t o m e a s u r e t h e r a t e r s ' f a m i l i a r i t y w i t h t h e w o r k o f t h e f a c u l t y i n e a c h p r o g r a m . R e s u l t s T h e r e s u l t s o f p r i m a r y i m p o r t t o t h e p r e s e n t d i s s e r t a t i o n c o n c e r n t h e r e s u l t s o f t h e r e p u t a t i o n a l r a t i n g s , t h e r e l i a b i l i t y o f t h e r a t i n g s , t h e c o m p a r a b i l i t y o f t h e r a t i n g s a c r o s s f i e l d s o f k n o w l e d g e , t h e c o n t e n t v a l i d i t y o f t h e r a t i n g s , a n d t h e s t a b i l i t y o f t h e r a t i n g s a c r o s s s t u d i e s . H o w e v e r , p r i o r t o b e g i n n i n g , a m a j o r p r o b l e m r e l a t i n g t o t h e r e p o r t i n g o f t h e r e s u l t s o f t h e A R C S t u d y s h o u l d b e m e n t i o n e d . T h a t i s , t h e r e w a s n o s y s t e m a t i c c o v e r a g e o f t h e f i n d i n g s o n a n a c r o s s d i s c i p l i n e b a s i s i n t h e h u n d r e d s o f p a g e s o f a n a l y s i s p r o v i d e d . E a c h o f t h e f i v e f i e l d s o f k n o w l e d g e i s r e p o r t e d s e p a r a t e l y . F u r t h e r , t h e s c h o o l s i n e a c h d i s c i p l i n e a r e l i s t e d , n o t i n d e s c e n d i n g o r d e r f r o m 1 0 6 h i g h e s t t o l o w e s t r a n k e d a c c o r d i n g t o o n e , s o m e , o r a l l o f i t s " q u a l i t y " m e a s u r e s , b u t r a t h e r i n a l p h a b e t i c a l o r d e r . W e b s t e r ( 1 9 8 3 ) d e s c r i b e s t h e p r o b l e m w i t h t h e r e p o r t a s f o l l o w s . " I t l i s t s t h e n a m e o f e v e r y u n i v e r s i t y i t c o v e r s i n e a c h d i s c i p l i n e i n a l p h a b e t i c a l o r d e r . N e x t t o e a c h s c h o o l ' s n a m e , s p r e a d o v e r t w o b r o a d p a g e s , a p p e a r u p t o s i x t e e n c o l u m n s o f f i g u r e s - - d o u b l e c o l u m n s a c t u a l l y , f o r a l m o s t e v e r y c o l u m n d i s p l a y s a r a w s c o r e a n d a s t a n d a r d s c o r e . T h e n c o m e f o u r m o r e c o l u m n s l i s t i n g t h e s t a n d a r d e r r o r s f o r t h e s c o r e s o n t h e r e p u t a t i o n a l s u r v e y . T h e n e t e f f e c t i s t h a t f o r c l a r i t y , c o n v e n i e n c e , a n d e a s e o f u s e , t h e f i v e v o l u m e s , t a k e n t o g e t h e r , c a n b e c o m p a r e d t o t h e M a n h a t t a n t e l e p h o n e d i r e c t o r y . B y p u b l i s h i n g e n d l e s s c o l u m n s o f f i g u r e s f o r i n s t i t u t i o n s i n e a c h d i s c i p l i n e i t c o v e r s , w i t h o u t s u m m a r i z i n g , c o m b i n i n g , o r a v e r a g i n g t h e s e f i g u r e s , o r r a n k i n g t h e i n s t i t u t i o n s i n a n y w a y , t h i s m o s t r e l u c t a n t o f a l l a c a d e m i c q u a l i t y r a n k i n g s i s l i k e t h e B i b l e f o r s o m e r e l i g i o u s s e c t s , o f w h i c h a n y o n e i s w e l c o m e t o m a k e a n y i n t e r p r e t a t i o n h e o r s h e w i s h e s . W h a t s h o u l d t h e c o m m i t t e e h a v e d o n e ? A t t h e v e r y l e a s t , . . . . i t s h o u l d h a v e t a k e n o n e o f i t s r e p u t a t i o n a l m e a s u r e s , e i t h e r f o r t h e f a c u l t y ' s ' s c h o l a r l y q u a l i t y ' o r t h e p r o g r a m ' s ' e f f e c t i v e n e s s , ’ a n d r a n k e d a l l p r o g r a m s i n e a c h d i s c i p l i n e a c c o r d i n g t o t h i s m e a s u r e . D o i n g s o w o u l d h a v e a l l o w e d u s e f u l c o m p a r i s o n s o f p r o g r a m s w i t h e a c h o t h e r a n d o f h o w p r o g r a m s r a t e t o d a y w i t h h o w t h e y r a n k e d i n e a r l i e r r a n k i n g s . “ T h e a r g u m e n t f o r t h e r e p o r t i n g p r o c e d u r e f o l l o w e d w a s t h a t a g g r e g a t i n g m e a s u r e s b y d i s c i p l i n e s w o u l d l e a d t o a n o v e r a l l r a n k i n g o f u n i v e r s i t i e s w h i c h w o u l d l e a d t o s t o r m s o f c r i t i c i s m a n d p r o t e s t a s h a d b e e n t h e c a s e 1 0 7 w i t h e a r l i e r s t u d i e s . F r o m a r e s e a r c h p e r s p e c t i v e , h o w e v e r , s o m e t y p e o f c r o s s - d i s c i p l i n e s y n t h e s i s i s r e q u i r e d f o r a n y t y p e o f g e n e r a l i z a t i o n . A c c o r d i n g l y , t h e r e s u l t s w h i c h f o l l o w r e p r e s e n t a c r o s s - d i s c i p l i n e s y n t h e s i s o f t h e A R C d i s c i p l i n a r y r e s u l t s p r e p a r e d b y t h e p r e s e n t a u t h o r . R e p u t a t i o n a l R a t i n g s ( M e a s u r e s 8 a n d 9 ) - A l t h o u g h J o n e s , L i n d z e y , a n d C o g g e s h a l l ( 1 9 8 2 ) r e p o r t e d a l l r e s u l t s s e p a r a t e l y f o r e a c h d i s c i p l i n e a n d d i d n o t a g g r e g a t e t h e m f o r u n i v e r s i t i e s , o n e c a n e a s i l y s e e t h a t t h e s e r e s u l t s a r e h i g h l y s i m i l a r t o t h e f i n d i n g s o f C a r t t e r ( 1 9 6 6 ) a n d R o o s e - A n d e r s e n ( 1 9 7 0 ) . T h e r e a r e v e r y c l e a r t r e n d s a c r o s s t h e d i s c i p l i n e s . T h e s a m e u n i v e r s i t i e s g e n e r a l l y r e c e i v e d t h e h i g h e s t r a t i n g s a c r o s s n e a r l y a l l o f t h e d i s c i p l i n e s ( t h a t i s , t h e p r o g r a m s r e c e i v i n g t h e h i g h e s t r a t i n g s w e r e f r o m t h e s a m e s e t o f n o m o r e t h a n 1 0 t o 2 0 u n i v e r s i t i e s ) . T h e m e a n r e p u t a t i o n a l r a t i n g s w e r e a l s o v e r y s i m i l a r a c r o s s a l l t h e d i s c i p l i n e s a s c a n b e s e e n b y t h e f o l l o w i n g : 1 ) F a c u l t y Q u a l i t y ( M e a s u r e 0 8 ) - - M e a n r a t i n g s f o r t h e 3 2 d i s c i p l i n e s r a n g e d b e t w e e n 2 . 0 ( " A d e q u a t e " ) a n d 3 . 0 ( " G o o d “ ) w i t h a n a v e r a g e o f 2 . 7 f o r a l l d i s c i p l i n e s . 2 ) P r o g r a m Q u a l i t y ( M e a s u r e 0 9 ) - - M e a n r a t i n g s r a n g e d b e t w e e n 1 . 0 ( " M i n i m a l l y e f f e c t i v e “ ) a n d 2 . 0 ( " R e a s o n a b l y e f f e c t i v e " ) w i t h a n o v e r a l l a v e r a g e o f 1 . 6 f o r a l l d i s c i p l i n e s . 3 ) C h a n g e i n P r o g r a m Q u a l i t y ( M e a s u r e 1 0 ) - - M e a n r a t i n g s r a n g e d b e t w e e n 0 . 0 1 0 8 ( " P o o r e r t h a n f i v e y e a r s a g o ” ) a n d 1 . 0 ( " L i t t l e o r n o c h a n g e i n l a s t f i v e y e a r s " ) w i t h a m e a n r a t i n g o f 1 . 1 ) . 4 ) F a m i l i a r i t y w i t h P r o g r a m ( M e a s u r e l 1 1 - - M e a n r a t i n g s r a n g e d b e t w e e n 0 . 0 ( " L i t t l e o r n o f a m i l i a r i t y " ) a n d 1 . 0 ( " S o m e f a m i l i a r i t y " ) w i t h a n a v e r a g e o f 0 . 9 0 f o r a l l d i s c i p l i n e s . R e l i a b i l i t y - - A n u m b e r o f a n a l y s e s w e r e p e r f o r m e d b y J o n e s , L i n d z e y , a n d C o g g e s h a l l t o a t t e m p t t o a s s e s s t h e r e l i a b i l i t y o f : 1 ) t h e r a t i n g r e s p o n s e s a n d 2 ) t h e a c a d e m i c r a t i n g § _ i n a n s w e r t o s e v e r a l c r i t i c i s m s o f t h e m e t h o d o l o g i e s u s e d i n e a r l i e r s t u d i e s . T h e m o s t i m p o r t a n t r e s u l t s o f t h e s e a n a l y s e s a r e i n d i c a t e d b e l o w . 1 ) R e l i a b i l i t y o f R a t i n n g e s p o n s e s - - F i r s t t o b e c o n s i d e r e d a r e f i v e r e l i a b i l i t y t e s t s r e l a t i n g t o t h e r e l i a b i l i t y o f r a t i n g r e s p o n s e s d u e t o e f f e c t s o f : a ) R a t e r s ' F a m i l i a r i t y w i t h t h e P r o g r a m , b ) N a m e s v e r s u s N o N a m e s , c ) G e o g r a p h i c P r o x i m i t y , d ) A l u m n i v e r s u s N o n - A l u m n i S t a t u s , a n d e ) R a t e r s ' R e s e a r c h I n t e r e s t . T h e m o s t i m p o r t a n t r e s u l t s o f e a c h o f t h e s e t e s t s a r e s u m m a r i z e d b e l o w . a ) R a t e r s ' F a m i l i a r i t y w i t h t h e P r o g r a m - - T h e r e s p o n s e r a t e o f t h e r a t e r s ' w a s h i g h e r i f t h e r a t e r s w e r e f a m i l i a r w i t h t h e p r o g r a m s ( t h a t i s : ” C o n s i d e r a b l y f a m i l i a r “ 9 9 . 9 % , “ S o m e f a m i l i a r i t y " 9 7 . 4 % , a n d " L i t t l e f a m i l i a r i t y " 2 4 . 5 % ) . L i k e w i s e , t h e m e a n r a t i n g s o f f a c u l t y q u a l i t y w e r e h i g h e r f o r f a c u l t y w h o s e w o r k w a s " C o n s i d e r a b l y f a m i l i a r " v e r s u s " S o m e o r b ) c ) d ) e ) 1 0 9 L i t t l e f a m i l i a r i t y . " H o w e v e r , f a m i l i a r i t y h a d l i t t l e o v e r a l l e f f e c t o n t h e r a t i n g _ . F o r e x a m p l e , t h e c o r r e l a t i o n b e t w e e n t h e m e a n r a t i n g s s u p p l i e d b y r e s p o n d e n t s c l a i m i n g " C o n s i d e r a b l e f a m i l i a r i t y " v e r s u s t h o s e i n d i c a t i n g “ S o m e o r L i t t l e F a m i l i a r i t y " w i t h a p a r t i c u l a r p r o g r a m w a s 0 . 9 0 . F u r t h e r , i n a s u b s e q u e n t a n a l y s i s , t h e r e s e a r c h e r s e l i m i n a t e d e v a l u a t i o n s p r o v i d e d b y r a t e r s c o n f e s s i n g " L i t t l e o r N o F a m i l i a r i t y " a n d r e c a l c u l a t e d t h e m e a n r a t i n g s . T h e m e a n c o r r e l a t i o n o f t h e r a t i n g s w i t h t h e o r i g i n a l r a t i n g s w a s w i t h i n t h e l i m i t s o f r e l i a b i l i t y . O n e r e a s o n f o r t h i s i s t h a t f e w r a t e r s r a t e d p r o g r a m s w h i c h w e r e u n f a m i l i a r t o t h e m . I n s h o r t , t h e r e l a t i v e s t a n d i n g o f p r o g r a m s o n f a c u l t y q u a l i t y w a s n o t g r e a t l y i n f l u e n c e d b y a d m i x i n g l o w f a m i l i a r i t y r a t i n g s . N a m e s v e r s u s N o N a m e s - - A s n o t e d i n t h e m e t h o d s s e c t i o n , 9 0 % o f t h e r a t e r s w e r e g i v e n f o r m s w h i c h i n c l u d e d t h e n a m e s o f f a c u l t y m e m b e r s a s s o c i a t e d w i t h t h e d e p a r t m e n t , w h i l e 1 0 % r e c e i v e d f o r m s w i t h o u t n a m e s . T h e c o r r e l a t i o n b e t w e e n N a m e s v e r s u s N o N a m e s r a t i n g s w a s 0 . 8 6 o v e r a l l d i s c i p l i n e s . T h u s , t h e u s e o f N a m e s a l s o h a d l i t t l e e f f e c t o n t h e f a c u l t y q u a l i t y r a t i n g s . G e o g r a p h i c P r o x i m i t y - - A s i m i l a r r e s u l t ( 0 . 9 2 ) w a s o b t a i n e d o f r a t i n g s b y g e o g r a p h i c c l o s e n e s s ( " N e a r b y ‘ v e r s u s " O u t s i d e " r e g i o n s b a s e d o n n i n e n a t i o n a l g e o g r a p h i c r e g i o n s ) . A l u m n i v e r s u s N o n - a l u m n i S t a t u s - - F i n d i n g s s u p p o r t t h e e a r l i e r f i n d i n g t h a t a l u m n i p r o v i d e g e n e r o u s r a t i n g s . H o w e v e r , t h i s h a d l i t t l e o v e r a l l e f f e c t o n t h e s u r v e y r e s u l t s d u e t o t h e d e s i g n o f t h e s t u d y w h i c h p r e c l u d e d v e r y f e w r a t e r s f r o m e v a l u a t i n g t h e i r a l m a m a t e r o r a n e a r b y p r o g r a m . R a t e r s ' R e s e a r c h I n t e r e s t - - F i n d i n g s h e r e a l s o s u g g e s t l i t t l e e f f e c t . 1 1 0 T o s u m m a r i z e , m o s t o f t h e m e t h o d o l o g i c a l c r i t i c i s m s o f p r e v i o u s s t u d i e s r e l a t i n g t o t h e r e l i a b i l i t y o f r a t i n g r e s p o n s e s w e r e e x a m i n e d b y J o n e s , L i n d z e y , a n d C o g g e s h a l l . W h i l e e f f e c t s o f : f a m i l i a r i t y w i t h t h e p r o g r a m , k n o w l e d g e o f f a c u l t y n a m e s , g e o g r a p h i c p r o x i m i t y , a l u m n i s t a t u s , o r t h e r e s e a r c h i n t e r e s t o f t h e e v a l u a t o r w e r e d e m o n s t r a b l e , J o n e s , L i n d z e y , a n d C o g g e s h a l l c o n c l u d e d t h a t t h e s e e f f e c t s c o n t r i b u t e d l i t t l e b i a s t o t h e r a t i n g s o f f a c u l t y a n d p r o g r a m q u a l i t y , p r o b a b l y p a r t l y d u e t o t h e v e r y c a r e f u l d e s i g n o f t h e s t u d y . 2 ) R e l i a b i l i t y o f A c a d e m i c R a t i n g b f - N e x t t o b e c o n s i d e r e d a r e t h r e e a n a l y s e s o f t h e f o u r r e p u t a t i o n a l m e a s u r e s ( m e a s u r e s 8 - 1 1 ) w h i c h w e r e p e r f o r m e d t o t e s t t h e r e l i a b i l i t y o r c o n s i s t e n c y o f t h e a c a d e m i c r a t i n g s : a ) E s t i m a t e d S t a n d a r d E r r o r s : b ) S p l i t - h a l f C o r r e l a t i o n s : a n d c ) T w o S u r v e y A d m i n i s t r a t i o n s . T h e r e s u l t s o f e a c h o f t h e s e a n a l y s e s a r e p r e s e n t e d b e l o w f o r t h e f a c u l t y q u a l i t y m e a s u r e ( M e a s u r e 0 8 ) . a ) E s t i m a t e d S t a n d a r d E r r o r s - - A n a l y s i s o f t h e e s t i m a t e d s t a n d a r d e r r o r s a s s o c i a t e d w i t h t h e m e a n r a t i n g s o f e v e r y p r o g r a m i n d i c a t e d s o m e v a r i a t i o n i n t h e m a g n i t u d e o f t h e s t a n d a r d e r r o r s i n e v e r y d i s c i p l i n e . H o w e v e r , t h e y r a r e l y e x c e e d e d 0 . 1 5 ( 0 . 2 0 f o r t h e B i o l o g i c a l S c i e n c e s a n d E n g i n e e r i n g ) f o r a n y o f t h e d i s c i p l i n e s a n d t h e y t y p i c a l l y r a n g e d f r o m 0 . 0 5 t o 0 . 1 0 ( 0 . 1 0 t o 0 . 1 5 f o r t h e B i o l o g i c a l S c i e n c e s ) . F o r p r o g r a m s w i t h h i g h e r m e a n r a t i n g s , t h e e s t i m a t e d e r r o r s b ) c ) 1 1 1 a s s o c i a t e d w i t h t h e s e m e a s u r e s w e r e g e n e r a l l y s m a l l e r . T h i s i s c o n s i s t e n t w i t h t h e f a c t t h a t s u r v e y r e s p o n d e n t s w e r e m o r e l i k e l y t o f u r n i s h e v a l u a t i o n s f o r p r o g r a m s w i t h h i g h r e p u t a t i o n a l s t a n d i n g ( J o n e s , L i n d z e y , a n d C o g g e s h a l l : B i o l o g i c a l S c i e n c e s , 1 9 8 2 , 1 7 7 ; E n g i n e e r i n g , 1 9 8 2 , 1 2 4 ; H u m a n i t i e s , 1 9 8 2 , 1 9 1 ; M a t h e m a t i c a l & P h y s i c a l S c i e n c e s , 1 9 8 2 , 1 7 3 ; a n d S o c i a l a B e h a v i o r a l S c i e n c e s , 1 9 8 2 , 1 9 0 ) . S p l i t - h a l f c o r r e l a t i o n s - - I n t h i s a n a l y s i s , i n d i v i d u a l r a t i n g s o f e a c h p r o g r a m w e r e r a n d o m l y d i v i d e d i n t o t w o g r o u p s ( A a n d B ) a n d a s e p a r a t e m e a n w a s t h e n c a l c u l a t e d f o r e a c h g r o u p f o r e a c h d i s c i p l i n e f o r e a c h o f t h e f o u r r e p u t a t i o n a l m e a s u r e s . U n c o r r e c t e d c o r r e l a t i o n s b e t w e e n t h e m e a n p r o g r a m r a t i n g s w e r e t h e n r u n . T h e d e g r e e o f c o n s i s t e n c y i n t h e r a t e r s ' j u d g m e n t s , a s i n d i c a t e d b y t h e r e s u l t s , w a s v e r y h i g h ( 0 . 9 7 ) f o r f a c u l t y q u a l i t y ( m e a s u r e 0 8 ) a n d s o m e w h a t l o w e r , b u t , s t i l l h i g h , f o r p r o g r a m q u a l i t y ( m e a s u r e 0 9 ) a n d p r o g r a m f a m i l i a r i t y ( m e a s u r e 1 1 ) , 0 . 9 3 a n d 0 . 9 4 r e s p e c t i v e l y . N o t s u r p r i s i n g l y , t h e r e l i a b i l i t y c o e f f i c i e n t f o r r a t i n g s o f p r o g r a m i m p r o v e m e n t i n t h e p a s t f i v e y e a r s ( m e a s u r e 1 0 ) w a s c o n s i d e r a b l y l o w e r ( 0 . 7 2 ) . A l t h o u g h t h i s r e p r e s e n t s t o l e r a b l e r e l i a b i l i t y , i t i s e v i d e n t t h a t t h e r e s p o n s e s t o t h i s q u e s t i o n w e r e n o t a s r e l i a b l e a s t h e r e s p o n s e s t o t h e o t h e r t h r e e q u e s t i o n s . T w o s u r v e y a d m i n i s t r a t i o n s - - T h e f i n a l t e s t o f r e l i a b i l i t y o f t h e a c a d e m i c r a t i n g s w a s a c o m p a r i s o n o f t h e o v e r a l l r e s u l t s o b t a i n e d i n E g g s u r v e y a d m i n i s t r a t i o n s . T h i s t e s t w a s p e r f o r m e d u s i n g e l e v e n s e l e c t e d m a t h e m a t i c s p r o g r a m s . O f t h e 1 7 8 i n d i v i d u a l s s u r v e y e d a s e c o n d t i m e , 1 1 6 ( 6 5 % ) r e s p o n d e d a n d w e r e u s e d i n t h e a n a l y s i s . R e s u l t s i n d i c a t e d a n a v e r a g e a b s o l u t e o b s e r v e d d i f f e r e n c e o f l e s s t h a n 0 . 1 i n t h e t w o s e t s o f m e a n r a t i n g s o b t a i n e d f o r e a c h o f t h e f o u r m e a s u r e s w h i c h d e m o n s t r a t e s t h e c o n s i s t e n c y o f t h e 1 1 2 r a t i n g s f o r e a c h o f t h e e l e v e n p r o g r a m s ( J o n e s , L i n d z e y , a n d C o g g e s h a l l , M a t h e m a t i c a l a P h y s i c a l S c i e n c e s , 1 9 8 2 , 1 7 6 - 1 7 7 ) . T h u s , t h e A R C S t u d y f u r t h e r c o n f i r m e d t h e h i g h d e g r e e o f r e l i a b i l i t y o f t h e a c a d e m i c r a t i n g s f o u n d e a r l i e r i n b o t h t h e C a r t t e r a n d R o o s e - A n d e r s e n s t u d i e s . I t s h o u l d a l s o b e n o t e d t h a t t h e r e s u l t s o f a l l t h e s e t e s t s s u g g e s t t h a t t h e r e l i a b i l i t y o f t h e r a t i n g s c a l e s u s e d t o a s s e s s a c a d e m i c q u a l i t y i s h i g h e r t h a n t h a t o f m o s t p s y c h o l o g i c a l m e a s u r e m e n t d e v i c e s , i n c l u d i n g m a n y m e a s u r e s o f a c h i e v e m e n t . C o n t e n t V a l i d i t y o f t h e R a t i n g § - - L i k e t h e p r e s e n t d i s s e r t a t i o n , t h e A R C S t u d y u n d e r t o o k a m u l t i d i m e n s i o n a l s t u d y o f a c a d e m i c q u a l i t y . I n f a c t , a t o t a l o f s i x t e e n s e p a r a t e m e a s u r e s , a s s u m e d t o b e r e l a t e d t o a c a d e m i c q u a l i t y a n d w h i c h w e r e d e s c r i b e d a b o v e , w e r e u s e d . F r o m t h i s p o i n t o f v i e w , q u a l i t y i s a c h a r a c t e r i s t i c w h i c h c a n b e m e a s u r e d o r v i e w e d f r o m m a n y p e r s p e c t i v e s , i n c l u d i n g b o t h r e p u t a t i o n a l r a t i n g s a n d m o r e " o b j e c t i v e " c h a r a c t e r i s t i c s , s u c h a s p u b l i c a t i o n s , r e s e a r c h s u p p o r t , l i b r a r y s i z e , a n d s o f o r t h . T h u s , t h e r e l a t i o n s h i p s a m o n g t h e q u a l i t y m e a s u r e s a n d t h e " o b j e c t i v e " m e a s u r e s i s o f g r e a t i m p o r t a n c e t o t h e p r e s e n t d i s s e r t a t i o n . O n e p r o b l e m i n a l l o f t h i s , h o w e v e r , i s t h a t t h e s h e e r s i z e o f a n i n s t i t u t i o n w i l l i m p a c t a l l o f t h e s e c o r r e l a t i o n s . 1 1 3 T h u s , t o s o m e e x t e n t , t h e l a r g e r i n s t i t u t i o n s w i l l t e n d t o h a v e m o r e s t u d e n t s a n d m o r e f a c u l t y , a n d , a l l o t h e r t h i n g s b e i n g e q u a l , m o r e f a c u l t y p u b l i c a t i o n s , m o r e r e s e a r c h g r a n t s , a n d a l a r g e r l i b r a r y . O n t h e o t h e r h a n d , i t i s r e a s o n a b l e t o a l s o a r g u e t h a t a n i n s t i t u t i o n w i t h t w e n t y h i g h l y r a n k e d p r o g r a m s i s , i n f a c t , a b e t t e r i n t e l l e c t u a l r e s o u r c e t h a n a n i n s t i t u t i o n w i t h t w o h i g h l y r a n k e d d e p a r t m e n t s . S t i l l , t h e q u e s t i o n r e m a i n s o f h o w m u c h i n s t i t u t i o n s i z e c o n t r i b u t e s t o t h e s e v a l i d i t y c o e f f i c i e n t s . T h e f o l l o w i n g t a b l e ( S e e T a b l e 3 b e l o w ) s u m m a r i z e s t h e m e a n c o r r e l a t i o n s o f t h e f a c u l t y q u a l i t y m e a s u r e ( m e a s u r e 8 ) w i t h t h e o t h e r f i f t e e n m e a s u r e s ( t h a t i s , m e a s u r e s 1 - 7 a n d 9 - 1 6 ) o f a c a d e m i c q u a l i t y s t u d i e d b y J o n e s , L i n d z e y , a n d C o g g e s h a l l . T h e v a l u e s a r e m e a n i n t e r - c o r r e l a t i o n s t a k e n a c r o s s t h e d i s c i p l i n e f i e l d s . T h e o v e r a l l r e s u l t s c a n b e s e e n b y e x a m i n i n g t h e t o t a l m e a n s i n t h e r i g h t m o s t c o l u m n . 1 1 4 T a b l e 3 . S u m m a r y o f M e a n I n t e r — C o r r e l a t i o n s o f A s s o c i a t e d R e s e a r c h C o u n c i l s F a c u l t y Q u a l i t y M e a s u r e w i t h O t h e r M e a s u r e s M a t h . & S o c . & B i o l o g . P h y s . B e h a v . M e a s u r e S c i s . E p g r . H u m a n s . S c i s . S c i s . T o t a l P r o g r a m S i z e 1 . 5 3 . 6 6 . 5 0 . 5 7 . 6 3 . 5 8 2 . 4 9 . 7 5 . 5 3 . 6 9 . 6 3 . 6 2 3 . 4 8 . 6 7 . 4 3 . 6 2 . 5 1 . 5 4 . 5 0 . 6 9 . 4 9 . 6 3 . 5 9 . 5 8 G r a d u a t e S t u d e n t s , 4 . 5 4 . 1 1 . 2 0 . 2 0 . 5 3 . 3 2 5 . 1 9 . 3 2 . 2 9 . 4 0 . 2 2 . 2 8 6 . 2 8 . 1 2 . 1 2 . 2 5 . 2 6 . 2 1 7 . 4 4 . 1 9 . 4 2 . 4 2 . 5 4 . 4 0 . 3 6 . 1 9 . 2 6 . 3 2 . 3 9 . 3 0 R e p u t a t i o n 9 . 9 6 . 9 8 . 9 8 . 9 7 . 9 8 . 9 7 1 0 . 3 1 . 2 6 . 2 9 . 1 8 . 2 1 . 2 5 1 1 . 9 1 . 9 5 . 9 6 . 9 4 . 9 6 . 9 4 . 7 3 . 7 3 . 7 4 . 7 0 . 7 2 . 7 2 L i b r a r y S i z e 1 2 . 6 0 . 5 1 . 5 6 . 6 1 . 6 8 . 5 9 R e s e a r c h S u p p o r t 1 3 . 6 0 . 5 8 N A . 5 9 . 5 9 . 5 9 1 4 . 6 2 . 5 3 N A . 5 4 . 4 2 . 5 3 . 6 1 . 5 6 N A . 5 7 . 5 1 . 5 6 P u b s . 1 5 . 6 9 . 6 9 N A . 7 6 . 7 6 . 7 3 1 6 . 7 1 . 6 5 N A . 7 9 . 4 8 . 6 6 . 7 0 . 6 7 N A . 7 8 . 6 2 . 6 9 F i e l d A v e . . 5 8 . 5 6 . 5 1 . 6 0 . 5 9 . 5 7 S o u r c e : J o n e s , L i n d z e y , a n d C o g g e s h a l l : B i o l o g i c a l S c i e n c e s , 1 9 8 2 , 1 7 0 ; E n g i n e e r i n g , 1 9 8 2 , 1 1 6 : H u m a n i t i e s , 1 9 8 2 , 1 8 7 ; M a t h e m a t i c a l & P h y s i c a l S c i e n c e s , 1 9 8 2 , 1 6 6 ; a n d S o c i a l & B e h a v i o r a l S c i e n c e s , 1 9 8 2 , 1 8 2 ) . 1 1 5 T h e k e y r e s u l t s o f T a b l e 3 c a n b e s e e n f r o m a l i s t i n g o f t h e r e s u l t s o f t h e s i x m e a s u r e c a t e g o r i e s i n t h e o r d e r ( f r o m h i g h t o l o w ) o f t h e i r c o r r e l a t i o n w i t h t h e f a c u l t y q u a l i t y r a t i n g : 1 ) P r o g r a m R e p u t a t i o n . 7 2 ; 2 ) P u b l i c a t i o n s . 6 9 ; 3 ) L i b r a r y S i z e . 5 9 ; 4 ) P r o g r a m S i z e . 5 8 : 5 ) R e s e a r c h S u p p o r t . 5 6 ; a n d 6 ) G r a d u a t e S t u d e n t s . 3 0 . T h u s , s u p e r f i c i a l l y a t l e a s t , t h e r e s u l t s s u g g e s t s t r o n g s u p p o r t o f f a c u l t y r e p u t a t i o n a l r a t i n g s a s a m e a s u r e o f a c a d e m i c q u a l i t y f o r t h e f o l l o w i n g r e a s o n s . F i r s t , t h e f a c u l t y q u a l i t y r a t i n g s h a v e h i g h i n t e r - c o r r e l a t i o n s w i t h m o s t o f t h e o t h e r m e a s u r e s , e x c e p t f o r t h e f o u r g r a d u a t e s t u d e n t m e a s u r e s ( m e a s u r e s 4 t h r o u g h 7 ) a n d m e a s u r e 1 0 . F o r e x a m p l e , a t o t a l o f n e a r l y n g ' o f t h e t o t a l v a r i a n c e i n p u b l i c a t i o n s c a n b e p r e d i c t e d b y t h e f a c u l t y q u a l i t y r a t i n g s . S e c o n d , s e v e r a l o f t h e s e m e a s u r e s ( f o r e x a m p l e , p u b l i c a t i o n s , l i b r a r y s i z e , a n d r e s e a r c h s u p p o r t ) a l l h a v e m a r k e d " f a c e v a l i d i t y ” ( t h a t i s , t h e m e a s u r e s a l m o s t d e f i n e t h e p o p u l a r c o n c e p t o f a g r e a t r e s e a r c h u n i v e r s i t y ) . I t i s a l s o i n t e r e s t i n g t o n o t e t h e c o n s i s t e n c y o f t h e a v e r a g e c o r r e l a t i o n s a c r o s s t h e f i e l d s , t h a t i s , t h e y r a n g e f r o m . 5 1 f o r H u m a n i t i e s t o . 6 0 f o r t h e M a t h e m a t i c a l & P h y s i c a l S c i e n c e s , w i t h a n a v e r a g e c o r r e l a t i o n o f . 5 7 a c r o s s a l l f i v e f i e l d s . 1 1 6 S t a b i l i t y o f t h e Q u a l i t y R a t i n g § - - T h e a n a l y s e s o f t h e m e a n i n t e r - c o r r e l a t i o n s o f r a t i n g s i n t h e R o o s e - A n d e r s e n a n d A s s o c i a t e d R e s e a r c h C o u n c i l s s t u d i e s a r e s u m m a r i z e d i n T a b l e 4 b e l o w . I n t h e t a b l e , m e a n c o r r e l a t i o n s a c r o s s d i s c i p l i n e s a r e s h o w n f o r e a c h o f t h e s t u d y d i s c i p l i n e s a n d f o r a l l f i v e f i e l d s . T h e o v e r a l l m e a n c o r r e l a t i o n i s s h o w n a t t h e b o t t o m o f t h e t a b l e . T a b l e 4 . 1 1 7 S u m m a r y o f M e a n I n t e r - C o r r e l a t i o n s o f F a c u l t y Q u a l i t y R a t i n g s i n t h e 1 9 7 0 R o o s e - A n d e r s e n a n d 1 9 8 2 A s s o c i a t e d R e s e a r c h C o u n c i l s S t u d i e s B i o l o g i c a l S c i e n c e s M a t h e m a t i c a l & B i o c h e m i s t r y . 9 2 P h y s i c a l S c i e n c e s B o t a n y . 8 2 C h e m i s t r y . 9 3 C e l l u l a r / M o l e c u l a r G e o l o g i c a l S c i e n c e s . 8 5 B i o l o g y . 8 7 M a t h e m a t i c s . 9 4 M i c r o b i o l o g y . 8 7 P h y s i c s a 2 2 . 9 2 P h y s i o l o g y . 7 8 Z o o l o g y L O O . 8 5 S o c i a l & B e h a v i o r a l S c i e n c e s A n t h r o p o l o g y . 9 0 E b g i n e e r i n g y , E c o n o m i c s . 9 4 C h e m i c a l E n g i n e e r i n g . 8 9 G e o g r a p h y . 7 9 C i v i l E n g i n e e r i n g . 9 1 H i s t o r y . 9 4 E l e c t r i c a l E n g i n e e r i n g . 9 2 P o l i t i c a l S c i e n c e . 9 3 M e c h a n i c a l E n g i n e e r i n g : 2 2 . P s y c h o l o g y . 9 3 . . 9 1 S o c i o l o g y b O b . 9 0 H u m a n i t i e s A r t H i s t o r y . 9 2 C l a s s i c s . 8 9 E n g l i s h L a n g u a g e & L i t e r a t u r e . 9 1 F r e n c h L a n g u a g e & L i t e r a t u r e . 8 3 G e r m a n L a n g u a g e & L i t e r a t u r e . 9 1 L i n g u i s t i c s . 7 8 M u s i c . 9 4 P h i l o s o p h y . 8 6 S p a n i s h L a n g u a g e & L i t e r a t u r e b O b . 8 8 O v e r a l l M e a n C o r r e l a t i o n = . 8 9 S o u r c e : J o n e s , L i n d z e y , a n d C o g g e s h a l l : B i o l o g i c a l S c i e n c e s , 1 9 8 2 , 1 9 1 - 1 9 6 ; E n g i n e e r i n g , 1 9 8 2 , 1 3 6 - 1 3 9 ; H u m a n i t i e s , 1 9 8 2 , 1 8 1 - 2 1 5 ; M a t h e m a t i c a l & P h y s i c a l S c i e n c e s , 1 9 8 2 , 1 8 7 - 1 9 0 : a n d S o c i a l & B e h a v i o r a l S c i e n c e s , 1 9 8 2 , 2 0 3 - 2 0 9 ) . 1 1 8 A s m a y b e s e e n f r o m T a b l e 4 , t h e m e a n i n t e r - c o r r e l a t i o n s i n e a c h d i s c i p l i n e r a n g e f r o m . 7 8 t o . 9 6 , w i t h a n a v e r a g e o v e r a l l i n t e r - c o r r e l a t i o n o f . 8 9 a c r o s s a l l d i s c i p l i n e s . C l e a r l y , t h e t w o m e a s u r e s o f f a c u l t y q u a l i t y o n t h e t w o r a t i n g s c a l e s a r e h i g h l y s i m i l a r a n d v e r y c o n s i s t e n t a c r o s s t w o i n d e p e n d e n t s t u d i e s p e r f o r m e d a t a n i n t e r v a l o f o v e r t e n y e a r s . S u m m a r y a n d C o n c l u s i o n s T h e A R C S t u d y w a s t h e c a p s t o n e o f t h e p r e s e n t v i e w o f a c a d e m i c q u a l i t y r a t i n g s . A s o n e o f t h e s t r o n g e s t c r i t i c s o f a c a d e m i c q u a l i t y r a t i n g s a d m i t s , t h e r e l i a b i l i t y a n d v a l i d i t y d a t a a r e t o o c o m p l e t e a n d t o o c o n s i s t e n t t o d e b a t e ( A s t i n , 1 9 8 3 ) . W h a t i s i n d e b a t e i s , " O b y ? " A s t i n a r g u e s t h a t t h e r e s u l t s a r e p r o d u c e d b y a c a d e m i c f o l k l o r e i n w h i c h s o m e s c h o o l s a r e d e e m e d e x c e l l e n t o n t h e b a s i s o f r e p u t a t i o n . O n t h e o t h e r h a n d , J o n e s , L i n d z e y , a n d C o g g e s h a l l ( 1 9 8 2 ) a n d o t h e r s a r g u e t h a t a c a d e m i c q u a l i t y e x i s t s , b u t i t i s d e t e r m i n e d m u l t i d i m e n s i o n a l l y , t h a t i s , i t i s a f f e c t e d b y m a n y f a c t o r s , s u c h a s : f a c u l t y s a l a r y , r e s o u r c e s f o r r e s e a r c h , a h i g h l e v e l o f r e s p e c t f o r a c a d e m i c a c h i e v e m e n t , a n d s o f o r t h . T h e r a t i n g s c a l e s a r e s i m p l y a g o o d m e a n s f o r h a v i n g k n o w l e d g e a b l e p e o p l e s y n t h e s i z e a l l t h e s e m e a s u r e s i n t o a s i n g l e n u m b e r . R a t i n g s c a l e s a r e n o t q u a l i t y , b u t s i m p l y a g l o b a l 1 1 9 m e a s u r e c o r r e l a t e d w i t h t h e r e a l d e t e r m i n e r s o f q u a l i t y . T h e p r e s e n t w r i t e r t e n t a t i v e l y a c c e p t s t h e J o n e s , L i n d z e y , a n d C o g g e s h a l l v i e w a s t h e b e t t e r r e f l e c t i o n o f t h e e x p e r i m e n t a l r e s u l t s w h i c h a r e r e p o r t e d i n C h a p t e r I V o f t h i s d i s s e r t a t i o n . A g o o d d e a l m o r e w i l l b e s a i d o n t h e s e t h e o r i e s i n t h e f i n a l s u m m a r y o f t h e p r e s e n t s t u d y o f a c a d e m i c q u a l i t y . ’ O t h e r E m p i r i c a l S t u d i e s I n t r o d u c t i o n A s i n d i c a t e d e a r l i e r , f o u r o t h e r r e c e n t m u l t i d i m e n s i o n a l s t u d i e s o f a c a d e m i c q u a l i t y h a v e s p e c i a l r e l e v a n c e t o t h e p r e s e n t s t u d y a n d m u s t a l s o b e r e v i e w e d . T o s u m m a r i z e , t h e C G S - E T S S t u d y h a s i m p o r t a n t m e t h o d o l o g i c a l i m p l i c a t i o n s f o r t h e p r e s e n t s t u d y . T h e H E R I S t u d y d e m o n s t r a t e s t h e h i g h c o r r e l a t i o n b e t w e e n g r a d u a t e a n d u n d e r g r a d u a t e r a t i n g s o f a c a d e m i c q u a l i t y , i n a d d i t i o n t o p r o v i d i n g a n a l t e r n a t i v e t h e o r e t i c a l a p p r o a c h t o t h e m e a n i n g o f a c a d e m i c q u a l i t y . F i n a l l y , t h e t w o G o u r m a n s t u d i e s p r o v i d e t h e t w o i n s t i t u t i o n a l q u a l i t y m e a s u r e s ( o n e g r a d u a t e a n d o n e u n d e r g r a d u a t e ) u s e d i n t h e p r e s e n t s t u d y o f a c a d e m i c q u a l i t y . T h e y w e r e i n c l u d e d i n t h e p r e s e n t s t u d y i n o r d e r t o t e s t t h e s t a b i l i t y ( t h e g r a d u a t e m e a s u r e ) a n d t h e r e l i a b i l i t y ( t h e 1 2 0 u n d e r g r a d u a t e m e a s u r e ) o f t h e A R C a c a d e m i c q u a l i t y r a t i n g s . C G S - E T S S t u d y ( 1 9 7 8 ) T h i s " p i l o t ” s t u d y o f r e p u t a t i o n a l r a t i n g s o f d o c t o r a l p r o g r a m s w a s j o i n t l y s p o n s o r e d a n d c o n d u c t e d b y t h e C o u n c i l o f G r a d u a t e S c h o o l s ( C G S ) a n d t h e E d u c a t i o n a l T e s t i n g S e r v i c e ( E T S ) ( H a r t n e t t , C l a r k , a n d B a i r d , 1 9 7 8 ) . T h e p u r p o s e o f t h i s s t u d y w a s t o e x p l o r e w a y s o f a s s e s s i n g q u a l i t y b y i d e n t i f y i n g d i m e n s i o n s o f q g a l i t y a n d p o t e n t i a l s o u r c e s o f d a t a . W i t h i n p u t f r o m 6 0 g r a d u a t e d e a n s , 3 0 d i m e n s i o n s o f q u a l i t y w e r e i d e n t i f i e d ( f o r e x a m p l e , r e s e a r c h a c t i v i t y , s t u d e n t a c a d e m i c a b i l i t y a t e n t r a n c e , a n d l i b r a r y r e s o u r c e s ) . A d e t a i l e d f o l l o w - u p s t u d y w a s c o n d u c t e d o f 7 3 d e p a r t m e n t s i n t h e 3 d i s c i p l i n e s o f : p s y c h o l o g y ( 2 4 ) , c h e m i s t r y ( 2 4 ) , a n d h i s t o r y ( 2 5 ) w h i c h l e d t o a m e t h o d o l o g y f o r p r o d u c i n g a " d e p a r t m e n t p r o f i l e " i n w h i c h t h e d e p a r t m e n t ' s r e l a t i v e s t a n d i n g o n e a c h o f t h e 3 0 d i m e n s i o n s w a s p l o t t e d . I t w a s s u g g e s t e d t h a t t h e p r o f i l e b e u s e d t o f e e d i n f o r m a t i o n b a c k t o d e p a r t m e n t s f o r d i a g n o s t i c p u r p o s e s a n d t o u s e i n i m p r o v i n g a n d s t r e n g t h e n i n g t h e i r w o r k . F i v e m a j o r f i n d i n g s e m e r g e d : 1 ) D e p e n d a b l e a n d u s e f u l i n f o r m a t i o n a b o u t p r o g r a m c h a r a c t e r i s t i c s r e l a t e d t o e d u c a t i o n a l q u a l i t y c a n b e o b t a i n e d a t r e a s o n a b l e c o s t a n d c o n v e n i e n c e . 1 2 1 2 ) T h i r t y e s p e c i a l l y p r o m i s i n g d i m e n s i o n s o f q u a l i t y w e r e i d e n t i f i e d . 3 ) T h e q u a l i t y d i m e n s i o n s s e e m e d t o b e g e n e r a l l y a p p l i c a b l e a c r o s s d i v e r s e d i s c i p l i n e s . 4 ) T w o c l u s t e r s o f m e a s u r e s e m e r g e d : a ) r e s e a r c h - o r i e n t e d i n d i c a t o r s ( i n c l u d i n g , d e p a r t m e n t s i z e , r e p u t a t i o n , a n d p h y s i c a l a n d f i n a n c i a l r e s o u r c e s ; s t u d e n t a c a d e m i c a b i l i t y ; a n d f a c u l t y p u b l i c a t i o n s ) a n d b ) e d u c a t i o n a l e x p e r i e n c e i n d i c a t o r s c o n c e r n e d w i t h : t h e e d u c a t i o n a l p r o c e s s a n d a c a d e m i c c l i m a t e ( n e i t h e r o f w h i c h a r e u s u a l l y c o n s i d e r e d i n q u a l i t y s t u d i e s ) , f a c u l t y i n t e r p e r s o n a l r e l a t i o n s , a n d a l u m n i r a t i n g s o f d i s s e r t a t i o n e x p e r i e n c e s . 5 ) T h e v a r i a b l e s w i t h i n t h e c l u s t e r c l o s e l y c o r r e l a t e d w i t h e a c h o t h e r a n d t h e v a r i a b l e s f r o m t h e " r e s e a r c h - o r i e n t e d c l u s t e r “ s i g n i f i c a n t l y c o r r e l a t e d w i t h t h e v a r i a b l e s f r o m t h e ” e d u c a t i o n a l e x p e r i e n c e s c l u s t e r . ” H i g h e r E d u c a t i o n R e s e a r c h I n s t i t u t e S t u d y ( 1 9 7 9 ) I n t r o d u c t i o n T h e H i g h e r E d u c a t i o n I n s t i t u t e ( H E R I ) S t u d y ( A s t i n , 1 9 7 9 : S o l m o n a n d A s t i n , 1 9 8 1 : A s t i n a n d S o l m o n , 1 9 8 1 ; A s t i n , 1 9 8 5 ) w a s a " l a r g e - s c a l e p i l o t s t u d y " o f t h e r e p u t a t i o n o f u n d e r g r a d u a t e d e p a r t m e n t s i n s e v e n s e l e c t e d d i s c i p l i n e s i n f o u r s t a t e s d e s i g n e d ” t o r e c t i f y m a j o r l i m i t a t i o n s i n p r e v i o u s r e p u t a t i o n a l s t u d i e s b y f o c u s i n g o n t h e u n d e r g r a d u a t e l e v e l a n d b y u s i g g m o r e d i v e r s e r a t i n g c r i t e r i a ” ( S o l m o n a n d A s t i n , 1 9 8 1 , 2 4 ) . T h e s e l e c t i o n o f b o t h t h e d i s c i p l i n e s a n d t h e s t a t e s w a s m e a n t t o r e f l e c t t h e d i v e r s e r a n g e o f 1 2 2 t h e A m e r i c a n u n d e r g r a d u a t e s y s t e m a n d o f a c a d e m i c s p e c i a l i z a t i o n s . M e t h o d o l o g i c a l C o n c e r n s E a r l i e r s t u d i e s o f q u a l i t y i n u n d e r g r a d u a t e e d u c a t i o n h a d b e e n c r i t i c i z e d f o r o m i t t i n g d e p a r t m e n t s o f m e r i t o r b y f a i l i n g t o p r o b e o r p r o m o t e e x c e l l e n c e i n d i m e n s i o n s o t h e r t h a n s c h o l a r l y p r o d u c t i v i t y . P o p u l a r c o l l e g e g u i d e s a n d o t h e r s t u d i e s , s u c h a s G o u r m a n ” s 1 9 7 7 u n d e r g r a d u a t e s t u d y , h a d a l s o b e e n c r i t i c i z e d f o r r a t i n g u n d e r g r a d u a t e d e p a r t m e n t s i n a n u n c o n t r o l l e d a n d i n c o n s i s t e n t m a n n e r . O b j e c t i v e s A s t i n h a s b e e n o n e o f t h e m o s t v o c a l c r i t i c s o f r a t i n g s a s m e a s u r e s o f a c a d e m i c e x c e l l e n c e ( A s t i n , 1 9 8 5 , 2 4 - 5 9 ) , T h u s , a m a j o r i n t e n t o f t h e s t u d y w a s t o s e a r c h f o r d i f f e r e n c e s a m o n g v a r i o u s e x i s t i n g q u a l i t y r a t i n g s o f u n d e r g r a d u a t e i n s t i t u t i o n s . S p e c i f i c o b j e c t i v e s o f t h e s t u d y w e r e a s f o l l o w s : 1 ) Q u a n t i f y t h e s u b j e c t i v e j u d g m e n t s o f u n d e r g r a d u a t e d e p a r t m e n t a l q u a l i t y o n m u l t i p l e d i m e n s i o n s . 2 ) I n v e s t i g a t e a n u m b e r o f o t h e r e l e m e n t s i n a s s e s s i n g u n d e r g r a d u a t e q u a l i t y t h r o u g h t h e r e p u t a t i o n a l a p p r o a c h , s u c h a s t h e a s s o c i a t i o n o f r a t i n g s o n d i f f e r e n t c r i t e r i a a n d f o r d i f f e r e n t t y p e s o f i n s t i t u t i o n s , t h e r e l a t i o n s h i p o f r a t i n g s t o o t h e r m e a s u r e s o f h u m a n a n d m a t e r i a l r e s o u r c e s a t t h e u n d e r g r a d u a t e l e v e l , a n d t h e a s s o c i a t i o n o f r a t i n g s w i t h e d u c a t i o n a l i m p a c t . 1 2 3 3 ) E x a m i n e t h e v a l i d i t y o f r a t i n g s . 4 ) D e t e r m i n e t h e e f f e c t s o n u n d e r g r a d u a t e r a t i n g s o f t h e t y p e o f r a t e r , r a t i n g c r i t e r i a , d o m a i n o f t h e s y s t e m a s s e s s e d , a n d t h e u n i t o f a n a l y s i s . S a m p l i n g M e t h o d s a n d P r o c e d u r e s I n s t i t u t i o n s I n c l u d e d - - T w o l i s t s o f i n s t i t u t i o n s w e r e d e v e l o p e d f o r e a c h o f t h e s e v e n d i s c i p l i n e s , a " s t a t e " l i s t a n d a ” n a t i o n a l " l i s t . B o t h l i s t s w e r e d e v e l o p e d f r o m d a t a o b t a i n e d f r o m t h e 1 9 7 7 H i g h e r E d u c a t i o n G e n e r a l I n f o r m a t i o n S u r v e y ( H E G I S ) . T h e s t a t e l i s t f o r e a c h d i s c i p l i n e i n c l u d e d a l l i n s t i t u t i o n s w i t h i n a s t a t e w h i c h h a d a w a r d e d a t l e a s t f i v e b a c h e l o r ' s d e g r e e s i n t h e d i s c i p l i n e d u r i n g 1 9 7 7 . T h e n a t i o n a l l i s t i n c l u d e d " a b o u t 1 0 0 o f t h e m o s t v i s i b l e i n s t i t u t i o n s " i n a g i v e n d i s c i p l i n e . A n i n s t i t u t i o n w a s i n c l u d e d o n t h e l i s t i f : 1 ) i t a w a r d e d b a c h e l o r ' s d e g r e e s i n t h e d i s c i p l i n e a n d 2 ) i f i t w e r e a m o n g t h e t o p t h i r t y d e p a r t m e n t s o n a t l e a s t o n e o f t h e f o l l o w i n g c r i t e r i a : t o t a l b a c h e l o r ' s d e g r e e s g r a n t e d i n t h e d i s c i p l i n e : p o p u l a r i t y a m o n g h i g h a b i l i t y s t u d e n t s , a s m e a s u r e d b y t h e c o l l e g e p r e f e r e n c e s o f s e c o n d a r y s t u d e n t s ( A s t i n , C h r i s t i a n , a n d H e n s o n , 1 9 7 8 ) ; p o p u l a r i t y a m o n g s t u d e n t s w h o a t t e n d e d c o l l e g e o u t s i d e t h e i r h o m e s t a t e ; t h e m o s t o f t e n s e l e c t e d s c h o o l s b y a l l s t u d e n t s , r e g a r d l e s s o f m a j o r o r o u t - o f - s t a t e s t a t u s ; t h e s c h o o l s m o s t o f t e n s e l e c t e d b y 1 2 4 h i g h a b i l i t y s t u d e n t s w h e r e f r e q u e n c y o f s e l e c t i o n i s a d j u s t e d t o t a k e a c c o u n t o f c o l l e g e s i z e ; a n d t h e t o p i n s t i t u t i o n s r a t e d b y G o u r m a n i n 1 9 7 7 ( S o l m o n a n d A s t i n , 1 9 8 1 ) . F i e l d s a n d D i s c i p l i n e s I n c l u d e d - ~ S e v e n d i s c i p l i n e s f r o m f i v e f i e l d s o f k n o w l e d g e w e r e s u r v e y e d i n t h e s t u d y . T h e y a r e a s f o l l o w s : B i o l o g i c a l S c i e n c e s ( b i o l o g y ) , B u s i n e s s ( b u s i n e s s ) , H u m a n i t i e s ( E n g l i s h a n d h i s t o r y ) M a t h e m a t i c a l & P h y s i c a l S c i e n c e s ( c h e m i s t r y ) , S o c i a l a n d B e h a v i o r a l S c i e n c e s ( e c o n o m i c s a n d s o c i o l o g y ) . P a r t i c i p a t i n g J u d g e s o r R a t e r s - - T h e i n v e s t i g a t o r s u s e d t h e E d u c a t i o n D i r e c t o r y t o o b t a i n t h e n a m e s o f 1 5 , 0 0 0 f a c u l t y m e m b e r s f r o m t h e s e v e n s t u d y d i s c i p l i n e s . R a t e r s w e r e a l l m e m b e r s o f t h e d e p a r t m e n t s i n t h e s e v e n d i s c i p l i n e s i n t h e f o u r - y e a r ' c o l l e g e s a n d u n i v e r s i t i e s w i t h i n t h e f o u r s t a t e s o f : C a l i f o r n i a , I l l i n o i s , N e w Y o r k , a n d N o r t h C a r o l i n a . T h e Q u e s t i o n n a i r e a n d R a t i n g S c a l e - - R e s p o n d e n t s u s e d a r a t i n g f o r m w i t h s i x c r i t e r i a : 1 ) O v e r a l l q u a l i t y o f u n d e r g r a d u a t e e d u c a t i o n . 2 ) P r e p a r a t i o n o f s t u d e n t s f o r g r a d u a t e o r p r o f e s s i o n a l s c h o o l . 3 ) P r e p a r a t i o n o f s t u d e n t s f o r e m p l o y m e n t a f t e r c o l l e g e . 4 ) F a c u l t y c o m m i t m e n t t o u n d e r g r a d u a t e t e a c h i n g . 5 ) S c h o l a r l y o r p r o f e s s i o n a l a c c o m p l i s h m e n t s o f t h e f a c u l t y . 6 ) I n n o v a t i v e n e s s o f c u r r i c u l u m a n d p e d a g o g y . R e s p o n d e n t s w e r e a s k e d t o r a t e t h e d e p a r t m e n t s u s i n g a 5 - p o i n t s c a l e : " O u t s t a n d i n g , " " S u p e r i o r , ” " A v e r a g e , " " M a r g i n a l , " a n d ” P o o r " w i t h a n a d d i t i o n a l " N o I n f o r m a t i o n " c a t e g o r y . R a t i n g P r o c e d u r e - ~ E a c h f a c u l t y r e s p o n d e n t w a s a s k e d t o r a t e i n s t i t u t i o n s i n b o t h a s t a t e a n d n a t i o n a l l i s t a c c o r d i n g t o t h e s i x c r i t e r i a . R e s u l t s S t u d y p r o c e d u r e s w h i c h r e q u i r e d f a c u l t y r a t e r s t o r a t e l a r g e n u m b e r s o f d e p a r t m e n t s o n t h e s i x c r i t e r i a i n d i c a t e d p r o b l e m s w i t h b o t h r e s p o n s e r a t e a n d w i t h t h e s t u d y m a t e r i a l s w h i c h a c c o m p a n i e d t h e q u e s t i o n n a i r e . I n r e g a r d s t o r e s p o n s e r a t e , S o l m o n a n d A s t i n ( 1 9 8 1 , 2 4 ) i n d i c a t e d t h a t t h e t a s k " p r o v e d t o o o n e r o u s " f o r m a n y p o t e n t i a l r e s p o n d e n t s w h o c i t e d s u c h r e a s o n s a s a " b u r d e n s o m e t i m e c o m m i t m e n t ” a n d " l a c k o f k n o w l e d g e a b o u t d e p a r t m e n t s o t h e r t h a n t h e i r o w n . " T h e " o n e r o u s " t a s k r e s u l t e d i n a " l o w r e s p o n s e , " a l t h o u g h t h e p r o p o r t i o n o f r a t e r s w h o a c t u a l l y r e t u r n e d t h e c o m p l e t e d q u e s t i o n n n a i r e s w a s n o t r e p o r t e d . I n r e g a r d s t o m a t e r i a l s , S o l m o n a n d A s t i n ( 1 9 8 1 , 2 4 ) s t a t e t h a t : " S o m e w e r e d i s c o n c e r t e d b y s i m u l t a n e o u s j u x t a p o s i t i o n s o f d i f f e r e n t . t y p e s o f i n s t i t u t i o n s , t h e i r p l a c e m e n t s o n a n a t i o n a l o r s t a t e l i s t a n d r a t i n g c r i t e r i a . . . . o t h e r s _ w o n d e r e d a b o u t s p e c i f i c o m i s s i o n s ( o t h e r t h a n o u r e r r o r s o c c u r r i n g i n b i o l o g y a n d b u s i n e s s i n s o m e s t a t e s ) . " 1 2 6 O b v i o u s l y , t h e p r o c e d u r e s f o l l o w e d i n t h i s s t u d y , a s f a r a s c a n b e d e t e r m i n e d f r o m t h e H E R I r e p o r t s , w e r e p r o b a b l y n o t a s w e l l c o n t r o l l e d a s i n t h e c a r e f u l d e s i g n s o f t h e A C E a n d A R C s t u d i e s . T h u s , m i n o r d i f f e r e n c e s i n f i n d i n g s o b t a i n e d b y t h e H E R I s t u d y m a y o r m a y n o t b e d u e t o t h e u s e o f u n d e r g r a d u a t e , r a t h e r t h a n g r a d u a t e , i n s t i t u t i o n s . I n f a c t , t h e r e s u l t s d i f f e r e d o n l y m a r g i n a l l y f r o m t h o s e o f t h e g r a d u a t e s t u d i e s . I A f u r t h e r p r o b l e m w a s t h a t o n l y r a t i n g s o b t a i n e d f r o m t h e n a t i o n a l l i s t s w e r e r e p o r t e d . R a t i n g s b y f a c u l t y m e m b e r s o f n a t i o n a l i n s t i t u t i o n s i n t h e i r h o m e s t a t e s w e r e o m i t t e d , a c c o r d i n g t o t h e a u t h o r s , i n o r d e r t o ” a v o i d p r e j u d i c i a l e v a l u a t i o n s o f l o c a l i n s t i t u t i o n s " ( S o l m o n a n d A s t i n , 2 4 ) . S a l m o n a n d A s t i n a v e r a g e d t h e r a t i n g s s e p a r a t e l y f o r e a c h i n s t i t u t i o n b y e a c h o f t h e s e v e n d i s c i p l i n e s a n d s i x r a t i n g c r i t e r i a ( w i t h " N o I n f o r m a t i o n “ r a t i n g s e x c l u d e d ) , p r o d u c i n g 8 6 1 d i f f e r e n t c o r r e l a t i o n s w h i c h w e r e u s e d i n s u b s e q u e n t f a c t o r a n d r e g r e s s i o n a n a l y s e s . I t s h o u l d b e n o t e d d u r i n g t h e f o l l o w i n g d i s c u s s i o n t h a t A s t i n a n d S o l m o n ' s d i s c u s s i o n o f t h e i r a n a l y s e s a n d r e s u l t s s o m e t i m e s l a c k e d c l a r i t y a n d s p e c i f i c i t y ( f o r e x a m p l e , t h e m e t h o d o f f a c t o r a n a l y s i s o r t h e c r i t e r i a f o r s e l e c t i n g t h e n u m b e r o f f a c t o r s w a s n o t g i v e n ) . 1 2 7 T h e m a j o r r e s u l t s o f t h e s e a n a l y s e s a r e p r e s e n t e d b e l o w . 1 ) A n a l y s i s o f D i s c i p l i n e s - - A n a l y s i s o f t h e t w e n t y - o n e c o r r e l a t i o n s a m o n g t h e " o v e r a l l q u a l i t y “ r a t i n g s o f t h e s e v e n d i s c i p l i n e s i n d i c a t e d c o n s i d e r a b l e r e d u n d a n c y ( t h a t i s , t h e c o r r e l a t i o n s r a n g e d f r o m 0 . 7 3 t o 0 . 9 6 w i t h a m e d i a n o f 0 . 8 6 ) . A f a c t o r a n a l y s i s o f t h e s e c o r r e l a t i o n s y i e l d e d a s i n g l e ” o v e r a l l q u a l i t y " f a c t o r , a f i n d i n g w h i c h w a s c o n s i s t e n t w i t h s i m i l a r a n a l y s e s p e r f o r m e d w i t h C a r t t e r ' s 1 9 6 6 r a t i n g s o f d i f f e r e n t g r a d u a t e d e p a r t m e n t s . A n a l y s i s o f a f a c t o r a n a l y s i s o f t h e m e a n r a t i n g s o n e a c h o f t h e s e v e n d i s c i p l i n e s i n d i c a t e d t h a t q u a l i t y d i f f e r e n c e s a m o n g d e p a r t m e n t s a t a g i v e n i n s t i t u t i o n t e n d e d t o b e m i n i m a l a n d t h a t r a t i n g s o f o n e d e p a r t m e n t c o u l d s u f f i c e a s a n e s t i m a t e o f q u a l i t y i n t h e o t h e r d e p a r t m e n t s a t a u n i v e r s i t y . A s e c o n d f a c t o r a n a l y s i s o f t h e g r a n d q u a l i t y r a t i n g f o r e a c h d i s c i p l i n e a c r o s s t h e s i x q u a l i t y c r i t e r i a c o n f i r m e d t h e r e s u l t s o f t h e f i r s t f a c t o r a n a l y s i s . 2 ) A n a l y s i s o f R a t i n g C r i t e r i a - - R e s u l t s o f a f a c t o r a n a l y s i s o f t h e m e a n r a t i n g s o n e a c h o f t h e s i x r a t i n g c r i t e r i a p r o d u c e d t w o d i s t i n c t q u a l i t y d i m e n s i o n s : a ) " s c h o l a r l y e x c e l l e n c e o f f a c u l t y “ a n d b ) " c o m m i t m e n t t o t e a c h i n g . " T h e f i r s t f a c t o r w a s m o s t c l o s e l y a s s o c i a t e d w i t h t h e m e a n r a t i n g o f " s c h o l a r l y 1 2 8 a n d p r o f e s s i o n a l a c c o m p l i s h m e n t o f f a c u l t y . " T h r e e o f t h e o t h e r s i x r a t i n g c r i t e r i a w e r e a l s o c l o s e l y r e f l e c t e d i n t h i s f a c t o r : " p r e p a r a t i o n o f s t u d e n t s f o r g r a d u a t e o r p r o f e s s i o n a l s c h o o l , " " p r e p a r a t i o n o f s t u d e n t s f o r e m p l o y m e n t a f t e r c o l l e g e , " a n d " o v e r a l l q u a l i t y o f u n d e r g r a d u a t e e d u c a t i o n . " T h e s e c o n d f a c t o r w a s m o s t c l o s e l y a s s o c i a t e d w i t h t h e m e a n r a t i n g o f " f a c u l t y c o m m i t m e n t t o u n d e r g r a d u a t e t e a c h i n g " a n d , t o a l e s s e r e x t e n t , w i t h " i n n o v a t i v e n e s s o f c u r r i c u l u m a n d p e d a g o g y . ” F r o m t h i s , S a l m o n a n d A s t i n c o n c l u d e d t h a t : a ) " s c h o l a r l y e x c e l l e n c e o f t h e f a c u l t y “ i s " c h a r a c t e r i s t i c o f l a r g e , p r e s t i g i o u s i n s t i t u t i o n s t h a t t e n d e d t o r e c e i v e h i g h r a t i n g s i n t h e C a r t t e r a n d R o o s e - A n d e r s e n a s s e s s m e n t s o f g r a d u a t e p r o g r a m q u a l i t y " a n d b ) " c o m m i t m e n t t o u n d e r g r a d u a t e t e a c h i n g “ i s ” c h a r a c t e r i s t i c o f r e l a t i v e l y s m a l l i n s t i t u t i o n s w i t h s e l e c t i v e u n d e r g r a d u a t e a d m i s s i o n s p o l i c i e s . “ 3 ) A n a l y s i s o f t h e R e l a t i v e S t a n d i n g _ b £ I n s t i t u t i o n s - - I n s t i t u t i o n s w e r e r a n k e d f r o m h i g h e s t t o l o w e s t i n a l l t h o s e d i s c i p l i n e s i n w h i c h i t s d e p a r t m e n t s w e r e " h i g h l y r a n k e d . ” T h e r e s u l t s s h o w e d t h a t “ t h o s e i n s t i t u t i o n s t h a t h a v e c o n s i s t e n t l y o c c u p i e d t h e t o p e c h e l o n s o f t h e C a r t t e r , R o o s e - A n d e r s e n , a n d s i m i l a r r a t i n g s o f g r a d u a t e p r o g r a m s . . . . a g a i n w e r e j u d g e d t o b e a m o n g t h o s e h a v i n g t h e b e s t u n d e r g r a d u a t e d e p a r t m e n t s " ( S o l m o n a n d 1 2 9 A s t i n , 1 9 8 1 , 2 6 ) . T h e a u t h o r s a t t r i b u t e d t h i s f i n d i n g t o : " E i t h e r t h o s e i n s t i t u t i o n s t h a t e x c e l i n g r a d u a t e e d u c a t i o n a l s o p r o v i d e e x e m p l a r y t r a i n i n g a t t h e u n d e r g r a d u a t e l e v e l " o r t h a t t h e y a r e t h e r e s u l t o f a " h a l o e f f e c t " ( t h a t i s , t h e r a t e r s a s s u m e d t h a t r e n o w n e d g r a d u a t e s c h o o l s a l s o p r o v i d e d e x c e l l e n t u n d e r g r a d u a t e t r a i n i n g . I n a n y c a s e , S o l m o n a n d A s t i n d e c i d e d , r a t h e r t h a n d u p l i c a t i n g t h e e a r l i e r C a r t t e r a n d R o o s e - A n d e r s e n l i s t s b y p r e s e n t i n g t h e i r l i s t s w i t h s i m i l a r r e s u l t s , t o p r e s e n t d i f f e r e n t l i s t s o f t o p - r a n k e d d e p a r t m e n t s . A l t h o u g h t h e p r o c e d u r e i s n o t e n t i r e l y c l e a r f r o m t h e r e p o r t , i t a p p e a r s t h a t t h e a u t h o r s f i r s t d e v e l o p e d a l i s t o f t h e t o p - t e n r a n k e d u n d e r g r a d u a t e d e p a r t m e n t s b y e a c h o f t h e s i x c r i t e r i a a n d t h e n t h e y e x c l u d e d a l l d e p a r t m e n t s w h i c h h a d b e e n o n t h e R o o s e - A n d e r s e n l i s t . T h e y w e r e l e f t w i t h a g r o u p o f d e p a r t m e n t s h i g h l y r a n k e d b y f a c u l t y i n t h e f i e l d , b u t w h i c h w e r e b b b r a n k e d a m o n g t h e b e s t d e p a r t m e n t s a t t h e P h . D . l e v e l . T h e a u t h o r s c h a r a c t e r i z e d t h e i r l i s t b y t h e c r i t e r i o n , " f a c u l t y c o m m i t m e n t t o u n d e r g r a d u a t e e d u c a t i o n . “ I n f a c t t h i s c r i t e r i o n w a s t h e m o s t f r e q u e n t r e a s o n ( 7 5 d e p a r t m e n t s ) f o r q u a l i f y i n g a s a t o p u n d e r g r a d u a t e d e p a r t m e n t o n t h e i r l i s t . T h e i r l i s t c o n t a i n e d w e l l - k n o w n i n s t i t u t i o n s , s u c h a s : A m h e r s t , D a r t m o u t h ( a c t u a l l y a d o c t o r a l - l e v e l i n s t i t u t i o n ) , R e e d , S m i t h , 1 3 0 S w a r t h m o r e , a n d t h e U n i t e d S t a t e s N a v a l A c a d e m y , a l o n g w i t h l e s s w e l l - k n o w n i n s t i t u t i o n s , s u c h a s : C o l b y , D a v i d s o n , H a m l i n e , H a r v e y M u d d , a n d R i p o n . T h e a u t h o r s c o n c l u d e d w i t h t h e c o m m e n t t h a t , “ o f c o u r s e t h e s e i n s t i t u t i o n s a r e t h e m s e l v e s r e n o w n e d a s u n d e r g r a d u a t e i n s t i t u t i o n s " ( e m p h a s i s a d d e d ) . T h e a u t h o r s a p p e a r t o a t t r i b u t e t h e s e r e s u l t s t o s o m e s o r t o f u n d e r g r a d u a t e t e a c h i n g f a c t o r . O f c o u r s e , t h e r e s u l t s c o u l d a l s o b e a t t r i b u t e d t o o t h e r c a u s e s , s u c h a s t h e f o l l o w i n g . F i r s t , t h e q u e s t i o n o n t h e c o m m i t m e n t t o u n d e r g r a d u a t e t r a i n i n g w a s n e v e r a s k e d o f t h e r a t e r s i n t h e A m e r i c a n C o u n c i l o n E d u c a t i o n s t u d i e s . I n f a c t , t h e r a t e r s w e r e n e v e r a s k e d a b o u t u n d e r g r a d u a t e t r a i n i n g a t a l l . S e c o n d , m a n y o f t h e i n s t i t u t i o n s s a m p l e d i n t h e H E R I S t u d y w e r e n o t e v e n p r e s e n t i n t h e A m e r i c a n C o u n c i l o n E d u c a t i o n o r A s s o c i a t e d R e s e a r c h C o u n c i l s S t u d i e s , s p e c i f i c a l l y b e c a u s e t h e y a r e n o t g r a d u a t e i n s t i t u t i o n s . T h i r d , t h e H E R I S t u d y p r o c e d u r e f o r s e l e c t i n g i n s t i t u t i o n s w h i c h a r e h i g h l y r a t e d , b u t w h i c h a r e n o t h i g h l y r a t e d o n g r a d u a t e t r a i n i n g ( e i t h e r b e c a u s e t h e y h a v e n o g r a d u a t e p r o g r a m s o r b e c a u s e t h e i r p r o g r a m s l a c k q u a l i t y ) , i s h i g h l y q u e s t i o n a b l e . W h a t c o n c l u s i o n s c a n b e d r a w n f r o m t h i s " f i n d i n g " i s s o m e w h a t u n c l e a r , a t l e a s t t o t h e p r e s e n t a u t h o r . 1 3 1 5 ) C o n t e n t V a l i d i t y o f t h e R a t i n g § - - O b j e c t i v e d a t a o n a v a r i e t y o f m e a s u r e s , i n c l u d i n g : s t u d e n t / f a c u l t y r a t i o s , t o t a l e n r o l l m e n t s i z e , p e r c e n t a g e o f g r a d u a t e s t u d e n t s , p e r s t u d e n t e x p e n d i t u r e s f o r v a r i o u s p u r p o s e s ( e d u c a t i o n a l a n d g e n e r a l , l i b r a r y , a n d s o f o r t h ) , c o n t r o l ( p r i v a t e v e r s u s p u b l i c ) , d e n o m i n a t i o n a l v e r s u s n o n - d e n o m i n a t i o n a l , t h e p e r c e n t a g e o f b a c c a l a u r e a t e s a w a r d e d i n v a r i o u s f i e l d s ( f o r e x a m p l e , e n g i n e e r i n g , a n d b i o l o g y ) , g e o g r a p h i c r e g i o n , s e l e c t i v i t y ( m e a n a d m i s s i o n s t e s t s c o r e s o f f r e s h m e n ) , a n d p r e s t i g e ( a n i n t e r a c t i o n b e t w e e n s i z e a n d s e l e c t i v i t y ) w e r e c o r r e l a t e d w i t h m e a n q u a l i t y r a t i n g s s e p a r a t e l y f o r e a c h o f t h e s e v e n d i s c i p l i n e s . R e s u l t s i n d i c a t e d t h a t : a ) m e a s u r e s o f p r e s t i g e a n d s e l e c t i v i t y h a d s u b s t a n t i a l c o r r e l a t i o n s w i t h m e a n " o v e r a l l q u a l i t y " r a t i n g s i n a l l s e v e n d i s c i p l i n e s ( t h a t i s , t h e m e d i a n c o r r e l a t i o n w a s 0 . 7 8 f o r p r e s t i g e a n d 0 . 7 3 f o r s e l e c t i v i t y ) a n d b ) m o s t o f t h e p e r s t u d e n t f i n a n c i a l m e a s u r e s , t h a t i s , e x p e n d i t u r e s f o r l i b r a r i e s , p h y s i c a l p l a n t , a n d s o f o r t h ) a l s o p r o d u c e d s u b s t a n t i a l c o r r e l a t i o n s w i t h t h e o v e r a l l q u a l i t y r a t i n g s ( t h e m e d i a n c o r r e l a t i o n o f 0 . 5 6 f o r p e r s t u d e n t e x p e n d i t u r e s f o r e d u c a t i o n a l a n d g e n e r a l p u r p o s e s w a s t h e h i g h e s t ) . 6 ) R e g r e s s i o n A n a l y s e s - - S t e p w i s e m u l t i p l e r e g r e s s i o n a n a l y s e s w e r e a l s o c o n d u c t e d t o d e t e r m i n e 1 3 2 h o w a c c u r a t e l y e a c h q u a l i t y m e a s u r e c o u l d b e e s t i m a t e d f r o m t h e s e o b j e c t i v e d a t a . R e s u l t s i n d i c a t e d t h a t : a ) i t i s p o s s i b l e t o o b t a i n a m u l t i p l e c o r r e l a t i o n o f 0 . 9 0 o r h i g h e r w i t h o n l y t w o v a r i a b l e s : p r e s t i g e ( w e i g h t e d p o s i t i v e l y ) a n d s i z e ( w e i g h t e d n e g a t i v e l y ) a n d b ) t h e s i z e o f t h e i n s t i t u t i o n d i d n o t s h o w s u b s t a n t i a l r e l a t i o n s h i p s t o t h e o v e r a l l q u a l i t y r a t i n g b ( m e d i a n r = - 0 . 1 3 ) , a l t h o u g h t h e m e d i a n p a r t i a l c o r r e l a t i o n o f s i z e w a s s u b s t a n t i a l ( - . 6 7 ) o n c e t h e e f f e c t s o f i n s t i t u t i o n a l p r e s t i g e w e r e c o n t r o l l e d . T h e 0 . 9 0 m u l t i p l e c o r r e l a t i o n w a s i n t e r p r e t e d t o m e a n t h a t : a ) q u a l i t y r a t i n g s a r e u n n e c e s s a r y s i n c e t h e y c a n b e p r e d i c t e d f r o m c h a r a c t e r i s t i c s o f t h e u n i v e r s i t y a n d b ) t h i s f i n d i n g p r o v i d e s c o n f i r m a t i o n t h a t t h e i n t e r - c o r r e l a t i o n s a r e h e a v i l y i n f l u e n c e d b y " h a l o “ e f f e c t s . I n p o i n t o f f a c t , h o w e v e r , n o s p e c i a l s i g n i f i c a n c e s h o u l d b e a t t a c h e d t o t h e f a c t t h a t s i z e a n d p r e s t i g e p r e d i c t r a t i n g s s i n c e , i n a t i g h t l y . c o r r e l a t e d c l u s t e r o f a f e w v a r i a b l e s ( s e v e n ) , m o s t v a r i a b l e s c a n b e p r e d i c t e d f r o m a n y t w o o t h e r v a r i a b l e s . W i t h r e g a r d t o t h e i n f e r e n c e o f a h a l o e f f e c t f r o m t h e s e r e s u l t s , o n e c a n o n l y p o i n t o u t t h e o l d r u l e , " c o r r e l a t i o n d o e s n o t i m p l y c a u s a t i o n , " a p r i n c i p l e w h i c h t h e a u t h o r s s e e m t o i g n o r e w i t h u n b o u n d e d e n t h u s i a s m . 1 3 3 S u m m a r y a n d C o n c l u s i o n s T h e f i n d i n g m o s t a p p a r e n t f r o m t h e H E R I S t u d y s e e m s t o b e t h a t m o s t o f t h e f i n d i n g s o f s t u d i e s o f g r a d u a t e q u a l i t y a l s o h o l d f o r u n d e r g r a d u a t e s t u d i e s . D e s p i t e t h e a u t h o r s ' s o m e t i m e s h e r o i c a t t e m p t s t o p r o v e o t h e r w i s e , t h e s p e c i a l r e s u l t s t h e y i n t e r p r e t a s u n i q u e t o u n d e r g r a d u a t e i n s t i t u t i o n s c a n a l s o b e a t t r i b u t e d t o d i f f e r e n c e s i n p r o c e d u r e s b e t w e e n t h e H E R I a n d t h e A C E / A R C s t u d i e s o f g r a d u a t e e d u c a t i o n . T w o f i n d i n g s , h o w e v e r , a r e o f c o n s i d e r a b l e i n t e r e s t : a ) t h e n e g a t i v e c o r r e l a t i o n b e t w e e n s i z e a n d q u a l i t y ( - 0 . 1 3 ) a n d b ) t h e u s e f u l n e s s o f s i z e w i t h p r e s t i g e i n p r e d i c t i n g q u a l i t y r a t i n g s . T h e m e a n i n g o f t h e s e r e s u l t s , h o w e v e r , a r e f a r f r o m c l e a r . I n t e r e s t i n g , b u t p u z z l i n g . G o u r m a n G r a d u a t e a n d U n d e g g r a d u a t e S t u d i e s ( 1 9 8 3 ) T h e G o u r m a n G r a d u a t e S t u d y ( G o u r m a n , 1 9 8 3 ) , u n d e r c o n s i d e r a t i o n h e r e , i s a r e v i s e d v e r s i o n o f G o u r m a n ' s s e c o n d s t u d y o f g r a d u a t e e d u c a t i o n w h i c h w a s c o n d u c t e d i n 1 9 8 2 . G o u r m a n ' s f i r s t s t u d y o f g r a d u a t e e d u c a t i o n w a s c o n d u c t e d i n 1 9 8 0 . T h e 1 9 8 3 r e v i s e d s t u d y i s a m u l t i d i m e n s i o n a l a s s e s s m e n t o f 5 4 0 g r a d u a t e a n d p r o f e s s i o n a l p r o g r a m s i n A m e r i c a n a n d I n t e r n a t i o n a l u n i v e r s i t i e s . G o u r m a n , u n l i k e C a r t t e r ; R o o s e - A n d e r s e n : a n d J o n e s , L i n d z e y , a n d C o g g e s h a l l r e p o r t e d h i s r a t i n g 1 3 4 r e s u l t s b o t h b y d e p a r t m e n t a n d b y t h e i n s t i t u t i o n a s a w h o l e . T h e m u l t i p l e c r i t e r i a u p o n w h i c h t h e c o m p o s i t e r a t i n g s a r e b a s e d i s d e s c r i b e d b y G o u r m a n a s f o l l o w s : 1 ) Q u a l i f i c a t i o n s , e x p e r i e n c e , i n t e l l e c t u a l i n t e r e s t s , a t t a i n m e n t s a n d p r o f e s s i o n a l p r o d u c t i v i t y o f f a c u l t y ; 2 ) S t a n d a r d s a n d q u a l i t y o f i n s t r u c t i o n ( f a c u l t y e f f e c t i v e n e s s ) ; 3 ) F a c u l t y r e s e a r c h ; 4 ) S c h o l a s t i c w o r k o f s t u d e n t s ; 5 ) C u r r i c u l u m ; 6 ) R e c o r d s o f g r a d u a t e s i n g r a d u a t e s t u d y a n d i n p r a c t i c e ; 7 ) A t t i t u d e a n d p o l i c y o f a d m i n i s t r a t i o n t o w a r d t e a c h i n g , r e s e a r c h , a n d s c h o l a r l y p r o d u c t i o n ; 8 ) A d m i n i s t r a t i o n a r e a s ; 9 ) A d m i n i s t r a t i o n r e s e a r c h ; 1 0 ) N o n - d e p a r t m e n t a l l e v e l s ; 1 1 ) L i b r a r y . T h e G o u r m a n U n d e r g r a d u a t e S t u d y ( G o u r m a n , 1 9 8 3 ) i s a r e v i s e d v e r s i o n o f t h e f o u r t h ( 1 9 8 2 ) i n a s e r i e s o f s i m i l a r m u l t i d i m e n s i o n a l a s s e s s m e n t s o f u n d e r g r a d u a t e e d u c a t i o n a l s o c o n d u c t e d b y G o u r m a n ( e a r l i e r s t u d i e s . w e r e c o n d u c t e d i n 1 9 6 7 , 1 9 7 7 , a n d 1 9 8 0 ) . T h e r e v i s e d f o u r t h s t u d y l o o k e d a t u n d e r g r a d u a t e p r o g r a m s i n 1 , 8 4 5 A m e r i c a n a n d i n t e r n a t i o n a l c o l l e g e s a n d u n i v e r s i t i e s . F o r t h e m o s t p a r t , t h e s a m e c r i t e r i a a n d m e t h o d s , w h i c h w e r e d e s c r i b e d a b o v e , w e r e a l s o u s e d b y G o u r m a n i n t h i s s t u d y . W e b s t e r ( 1 9 8 4 ) h a s c a r e f u l l y r e s e a r c h e d a l l e i g h t o f G o u r m a n ' s r e p o r t s o n h i s s t u d i e s a n d d e s c r i b e s t h e s t r e n g t h s a n d w e a k n e s s e s o f t h e s t u d i e s a s f o l l o w s : 1 ) A A 1 3 5 t h e r e p o r t s a m a s s a g r e a t d e a l o f c e n s u s d a t a w h i c h a p p e a r s t o b e a c c u r a t e ; 2 ) t h e 1 9 6 7 u n d e r g r a d u a t e r e p o r t a n d t h e t w o 1 9 8 3 r a t i n g s a r e t h r e e o f t h e f e w a t t e m p t s e v e r m a d e t o s u m u p t h e a c a d e m i c q u a l i t y o f a n e n t i r e u n i v e r s i t y w i t h a s i n g l e n u m b e r w h i c h h a s m a d e t h e m i r r e s t i b l e t o m a n y s c h o l a r s s t u d y i n g t h e r e l a t i o n s h i p b e t w e e n a c a d e m i c q u a l i t y a n d o t h e r v a r i a b l e s ; 3 ) i t i s i m p o s s i b l e t o a s c e r t a i n w h a t i n f o r m a t i o n , i f a n y , w a s u s e d a n d h o w , i f a t a l l , i t w a s a n a l y z e d ; 4 ) t h e 1 9 6 7 r e p o r t , a l t h o u g h i t a p p e a r s t o b e a n h o n e s t a t t e m p t t o r a t e c o l l e g e s a n d u n i v e r s i t i e s h a s m a j o r f l a w s ; a n d 5 ) t h e r e m a i n i n g G o u r m a n r e p o r t s d o n o t r e p r e s e n t a s e r i o u s a t t e m p t t o r a n k s c h o o l s . T h e m a j o r f l a w s d e s c r i b e d b y W e b s t e r i n c l u d e : 1 ) T h e r e a r e s e r i o u s q u e s t i o n s a b o u t d a t a a n d d a t a i n f o r m a t i o n s o u r c e s u s e d . F o r e x a m p l e , t h e r e p o r t s a r e e x c e p t i o n a l l y v a g u e a b o u t d a t a s o u r c e s a n d m y s t e r i o u s a b o u t w h o s u p p l i e d t h e d a t a . A n u m b e r o f i n s t i t u t i o n a l p r e s i d e n t s h a v e i n d i c a t e d t h a t n o o n e a t t h e i r i n s t i t u t i o n s s u p p l i e d a n y d a t a . 2 ) T h e r e i s v e r y l i t t l e e x p l a n a t i o n a b o u t t h e m e t h o d o l o g y u s e d i n a r r i v i n g a t t h e r a t i n g s a n d t h e r a n k i n g c r i t e r i a a r e i d i o s y n c r a t i c a t t i m e s . ( s i n g l e n u m b e r p u r p o r t i n g t o i n d i c a t e " o v e r a l l q u a l i t y " i s a s s i g n e d t o t h e m o s t h e t e r o g e n e o u s p o s s i b l e a s s o r t m e n t o f i n s t i t u t i o n s , t h a t i s : m a j o r d o c t o r a l - g r a n t i n g u n i v e r s i t i e s ; s c h o o l s t h a t d o n ' t o f f e r t h e d o c t o r a t e , b u t d o a w a r d 1 3 6 h u n d r e d s o f m a s t e r ' s d e g r e e s a y e a r i n m a n y d i f f e r e n t f i e l d s ; s c h o o l s t h a t c o n f e r a h a n d f u l o f m a s t e r ' s d e g r e e s e a c h y e a r ; a n d a n i m m e n s e v a r i e t y o f v e r y s p e c i a l i z e d s c h o o l s . 4 ) I n c a l c u l a t i n g i n s t i t u t i o n a l - w i d e r a t i n g s , a s p e c t s o f c o l l e g e s a n d u n i v e r s i t i e s t h a t m o s t k n o w l e d g e a b l e p e o p l e w o u l d c o n s i d e r o f v e r y d i f f e r e n t d e g r e e s o f i m p o r t a n c e ( f o r e x a m p l e , a l u m n i a s s o c i a t i o n , l i b r a r y , p u b l i c r e l a t i o n s d e p a r t m e n t , c u r r i c u l u m , p l a n t e f f i c i e n c y , a n d f a c u l t y e f f e c t i v e n e s s ) a r e i n d i s c r i m i n a t e l y l u m p e d t o g e t h e r a n d w e i g h t e d e q u a l l y . 5 ) T h e n u m e r i c a l r a n g e s a r e n o t c o n t i n u o u s . F o r e x a m p l e , t h e y s k i p f r o m 2 . 9 9 t o 3 . 0 1 a n d f r o m 3 . 9 9 t o 4 . 0 1 . 6 ) T h e s a m e e x a c t " g r a d e " i s o f t e n a s s i g n e d t o e v e r y s i n g l e d e p a r t m e n t r a t e d a t a n i n s t i t u t i o n . 7 ) T h e r a t i n g s a p p e a r t o f a v o r l a r g e i n s t i t u t i o n s w i t h m a n y c o u r s e s a n d i n s t r u c t o r s o v e r s m a l l e r o n e s . W e b s t e r c o n c l u d e s t h a t t h e r a t i n g r e p o r t s a r e n o n - a u t h o r i t a t i v e , r e p r e s e n t s h o d d y r e s e a r c h , a n d r a i s e s e r i o u s q u e s t i o n s a b o u t t h e v a l u e o f t h e r a t i n g s a n d o f t h e c r e d i b i l i t y o f t h e a u t h o r a s a r a t e r . H e f u r t h e r c o n c l u d e s t h a t G o u r m a n i s " n o t a r e s p o n s i b l e a r b i t e r o f e d u c a t i o n a l q u a l i t y " ( W e b s t e r , 1 9 8 3 , 5 5 ) . 1 3 7 S u m m a r y T h i s s e c t i o n s u m m a r i z e s t h e r e s u l t s o f t h e q u a l i t y a s s e s s m e n t s t u d i e s i n t e r m s o f t h e i r r e l e v a n c e t o t h e e i g h t s p e c i f i c l i t e r a t u r e r e s e a r c h q u e s t i o n s . T h e s e e i g h t q u e s t i o n s w e r e p r e s e n t e d a t t h e b e g i n n i n g o f t h e s e c t i o n o n t h e r e v i e w o f e m p i r i c a l q u a l i t y a s s e s s m e n t s t u d i e s . A l a t e r s e c t i o n w i l l c o n s i d e r t h e f i n d i n g s i n a l e s s f o r m a l a n d m o r e n a r r a t i v e f o r m . L 1 . W h a t g r o u p s s i m i l a r t o t h e p o p u l a t i o n o f d o c t o r a l i n s t i t u t i o n s h a v e b e e n d e s c r i b e d i n p r i o r s t u d i e s ? ' L 2 . W h a t r e s e a r c h m e t h o d s , v a r i a b l e s , a n d s t a t i s t i c s h a v e b e e n u s e d t o m e a s u r e a c a d e m i c q u a l i t y ? T h e p o p u l a t i o n o f d o c t o r a l i n s t i t u t i o n s p e r s e h a s n e v e r b e f o r e b e e n s t u d i e d . H o w e v e r , p r i o r s t u d i e s h a v e i n c l u d e d s o m e o r m o s t o f t h e d o c t o r a l i n s t i t u t i o n s . T h e v a r i o u s s t u d i e s o v e r a l l h a v e u s e d f r o m 3 0 t o 5 0 v a r i a b l e s . T h e s t a t i s t i c s m o s t c o m m o n l y u s e d t o m e a s u r e a c a d e m i c q u a l i t y w e r e : m e a n s , s t a n d a r d d e v i a t i o n s , c o r r e l a t i o n s , a n d s t a n d a r d s c o r e s . F a c t o r a n d r e g r e s s i o n a n a l y s e s h a v e a l s o b e e n u s e d f o r a n a l y s i s a n d p r e d i c t i o n . L 4 . W e r e t h e c o r r e l a t i o n s a m o n g t h e d e s c r i p t i v e v a r i a b l e s i n p r i o r s t u d i e s s u f f i c i e n t l y h i g h t o p e r m i t a r e d u c t i o n i n t h e n u m b e r o f v a r i a b l e s ? 1 3 8 C o r r e l a t i o n s b e t w e e n v a r i a b l e s , f o r t h e m o s t p a r t , h a v e b e e n p o s i t i v e a n d h i g h t o v e r y h i g h . T h u s , t h e s e t o f v a r i a b l e s c o u l d p r o b a b l y b e r e p r e s e n t e d b y a m u c h s m a l l e r s e t o f k e y v a r i a b l e s . L 5 . W h a t g r o u p i n g s o r d o m a i n s o f v a r i a b l e s h a v e b e e n u s e d i n p r i o r s t u d i e s ? V a r i a b l e s h a v e m o s t c o m m o n l y b e e n g r o u p e d i n t o t h e f o l l o w i n g f i v e i n f o r m a t i o n d o m a i n s : 1 ) D e m o g r a p h i c , 2 ) S t u d e n t , 3 ) F a c u l t y , 4 ) I n s t i t u t i o n a l R e s o u r c e s , a n d 5 ) Q u a l i t y . L 7 . W h a t v a r i a b l e s s e e m e d t o b e s t m e a s u r e a n d p r e d i c t a c a d e m i c q u a l i t y i n p r i o r s t u d i e s ? T h e f a c u l t y q u a l i t y r a t i n g s s e e m t o h a v e b e e n t h e b e s t s i n g l e i n d i c a t o r o f a c a d e m i c q u a l i t y f o r b o t h g r a d u a t e a n d u n d e r g r a d u a t e e d u c a t i o n . H o w e v e r , q u a l i t y p e r s e i s p r o b a b l y a m u l t i v a r i a t e c h a r a c t e r i s t i c w h i c h i s n o t m e a s u r e d b y a n y s i n g l e v a r i a b l e . C h a r a c t e r i s t i c s c l o s e l y a s s o c i a t e d w i t h a c a d e m i c q u a l i t y i n c l u d e : s t u d e n t , f a c u l t y , c o m p e n s a t i o n , a n d i n s t i t u t i o n a l r e s o u r c e s . L 8 . W h a t p r o b l e m s h a v e o c c u r r e d i n t h e u s e o f r a n k i n g s o f i n s t i t u t i o n s o f h i g h e r e d u c a t i o n ? A l m o s t a l l o f t h e r e c e n t s t u d i e s r e f u s e d t o p r o v i d e o v e r a l l r a n k i n g s o f u n i v e r s i t i e s f o r t w o m a j o r 1 3 9 r e a s o n s : 1 ) T h e r a n k i n g s w e r e h i g h l y c r i t i c i z e d b y m a n y i n h i g h e r e d u c a t i o n a s b e i n g b i a s e d a n d u n f a i r a n d 2 ) T h e r a n k i n g s d i s p l a y e d o n l y a u n i v a r i a t e m e a s u r e o f q u a l i t y , w h e r e a s , q u a l i t y i s p r o b a b l y a m u l t i v a r i a t e c h a r a c t e r i s t i c w h i c h c a n o n l y b e a d e q u a t e l y p o r t r a y e d w i t h s e v e r a l m e a s u r e s . T h i s f i n d i n g i s t h e o n e m o s t c e n t r a l l y r e s p o n s i b l e f o r t h e u s e o f m u l t i v a r i a t e p r o f i l e s i n t h e p r e s e n t d e s c r i p t i o n o f d o c t o r a l i n s t i t u t i o n s . S u c h p r o f i l e s p e r m i t t h e s i m u l t a n e o u s d i s p l a y o f a l l k e y v a r i a b l e s f o r a n y g i v e n i n d i v i d u a l o r g r o u p o f d o c t o r a l i n s t i t u t i o n s . L 1 0 . W h a t a r e t h e c u r r e n t m a j o r t h e o r i e s o f a c a d e m i c q u a l i t y ? A l t h o u g h , t h i s p o i n t w a s n o t a d d r e s s e d s p e c i f i c a l l y i n t h e s t u d i e s , t w o m a j o r t h e o r i e s s e e m t o b e i m p l i e d : 1 ) t h e t h e o r y t h a t " t r u e ” a c a d e m i c q u a l i t y i s n o t m e a s u r e d b y r a t i n g s c a l e s a n d 2 ) t h e t h e o r y t h a t a c a d e m i c q u a l i t y i s a m u l t i v a r i a t e c h a r a c t e r i s t i c w h i c h i s p a r t i a l l y c a p t u r e d b y r e p u t a t i o n a l r a t i n g s t u d i e s . M u c h m o r e w i l l b e s a i d o n t h i s s u b j e c t i n t h e n e x t s e c t i o n . L 1 1 . W h a t f a c t o r a n a l y t i c s t r u c t u r e s u n d e r l y i n g d o c t o r a l i n s t i t u t i o n s h a v e b e e n o b s e r v e d ? 1 4 0 N o f a c t o r a n a l y t i c s t u d y o f t h e s t r u c t u r e o f d o c t o r a l i n s t i t u t i o n s h a s b e e n p e r f o r m e d . T h e f e w s t u d i e s r e p o r t e d w e r e o n s u b - g r o u p s a n d i n c l u d e d s i g n i f i c a n t p o t e n t i a l m e t h o d o l o g i c a l f l a w s . A m o n g t h e f a c t o r s w h i c h h a v e b e e n o b s e r v e d a r e : f a c u l t y a n d p r o g r a m q u a l i t y , s i z e , a n d c o m m i t m e n t t o e d u c a t i o n . G i v e n t h e f o r m a l r e v i e w o f t h e f i n d i n g s , l e t u s n o w t u r n t o a m o r e g e n e r a l d i s c u s s i o n o f t h e r e s u l t s . T H E Q U E S T I O N O F A C A D E M I C Q U A L I T Y : S O M E C O N C L U S I O N S A N D I M P L I C A T I O N S I n t r o d u c t i o n A s w a s s u g g e s t e d i n t h e p r e v i o u s s e c t i o n , t h e p r e s e n t d i s s e r t a t i o n d r a w s u p o n t h e r e s e a r c h o n a c a d e m i c q u a l i t y i n t h r e e b a s i c w a y s : 1 ) T h e g e n e r a l e m p i r i c a l f i n d i n g g f r o m t h e q u a l i t y s t u d i e s w e r e u s e d i n t h e s e l e c t i o n a n d t r e a t m e n t o f t h e v a r i a b l e s t o b e s t u d i e d . 2 ) T h e m e t h o d s u s e d i n q u a l i t y s t u d i e s w e r e u s e d t o d e c i d e u p o n m a j o r t y p e s o f d a t a a n a l y s e s t o b e p e r f o r m e d . 3 ) T h e t h e o r i e s o f t h e n a t u r e o f a c a d e m i c q u a l i t y w e r e u s e d t o i n t e r p r e t t h e r e s u l t s . E a c h o f t h e s e c o n c e p t s i s c o n s i d e r e d i n m o r e d e t a i l b e l o w . 1 4 1 E m p i r i c a l F i n d i n g s F r o m Q u a l i t y S t u d i e s R e p u t a t i o n a l r a t i n g s o f q u a l i t y a r e r e m a r k a b l y c o n s i s t e n t a c r o s s d i s c i p l i n e s , y p r o c e d u r e s , a n d s t u d i e s ( M a g o u n , 1 9 6 6 ; D r e w a n d K a r p f , 1 9 8 1 ; W e b s t e r , 1 9 8 3 ; A s t i n , 1 9 8 5 ) . F o r e x a m p l e , t h e r e s u l t s c o n s i s t e n t l y s h o w t h a t c e r t a i n u n i v e r s i t i e s a r e r a t e d r e p e a t e d l y a s t h e b e s t i n t e r m s o f f a c u l t y a c c o m p l i s h m e n t s , p r o g r a m q u a l i t y , s t u d e n t p r e p a r a t i o n , a n d s o f o r t h . T h e c o r r e l a t i o n s ( i n t h e 0 . 9 0 ' s ) s e e m a l s o t o s u g g e s t t h a t " m e d i u m a n d p o o r q u a l i t y " u n i v e r s i t i e s a r e a l s o r a n k e d c o n s i s t e n t l y . ( H e r e , " m e d i u m a n d a n d p o o r q u a l i t y ” a r e r e l a t i v e t e r m s s i n c e m o s t s t u d i e s r a n k e d o n l y t h e b e s t i n s t i t u t i o n s i n t e r m s o f f a c u l t y o r p r o g r a m s . ) T h e r e i s a l s o e x h a u s t i v e e v i d e n c e t h a t t h e s e r a t i n g s a r e r e l i a b l e ( t h a t i s , a r o u n d 0 . 9 0 ) , s t a b l e , a n d t h a t t h e y c o r r e l a t e h i g h l y w i t h o t h e r ” o b j e c t i v e " m e a s u r e s o f q u a l i t y ( f o r e x a m p l e , f a c u l t y p u b l i c a t i o n s , l i b r a r y s i z e , a n d r e s e a r c h f u n d s ) . I t i s a l s o c l e a r t h a t o t h e r ” n o n - q u a l i t y r e l a t e d " m e a s u r e s a l s o c o r r e l a t e w i t h q u a l i t y r a t i n g g . T h e m o s t s i g n i f i c a n t o f t h e s e a p p e a r s t o b e " 5 3 5 3 ! " a s m e a s u r e d b y t o t a l n u m b e r s o f s t u d e n t s , d e g r e e s , f a c u l t y , a n d s o f o r t h . T h e e f f e c t o f s i z e i s e n h a n c e d b y s u c h t h i n g s a s " p r e s t i g e " ( f o r e x a m p l e , t h e s e l e c t i o n o f t h e u n i v e r s i t y b y h i g h l y t a l e n t e d s t u d e n t s ) . T h u s , s i z e i s 1 4 2 l a r g e i f q u a l i t y i s h i g h . T h e n o t i o n s e e m s t o b e t h a t a g o o d l a r g e u n i v e r s i t y w i t h m a n y t o p d e p a r t m e n t s i s b e t t e r t h a n a g o o d s m a l l u n i v e r s i t y w i t h a f e w t o p d e p a r t m e n t s . F i n a l l y , m e t a - a n a l y t i c s t u d i e s s h o w t h a t t h e r a t i n g o f a u n i v e r s i t y c a n c h a n g e m a r k e d l y o v e r t i m e . F o r e x a m p l e , W e b s t e r ( 1 9 8 3 ) c o m p a r e d r a n k i n g s o v e r a p e r i o d o f f i f t y - s e v e n y e a r s . H e f o u n d t h a t : 1 ) s o m e u n i v e r s i t i e s ( f o r e x a m p l e , Y a l e ) h a v e p r e t t y m u c h m a i n t a i n e d t h e s a m e r a n k i n g o v e r t h e e n t i r e p e r i o d ; 2 ) w h i l e o t h e r s ( f o r e x a m p l e , S t a n f o r d w h o m a d e a g i a n t l e a p ) h a v e m a d e r a n k g a i n s , a n d 3 ) s t i l l o t h e r s ( f o r . e x a m p l e , J o h n H o p k i n s w h o h a d a d r a m a t i c d e c l i n e ) h a v e s u f f e r e d r a n k l o s s e s . T h e s e e m p i r i c a l f i n d i n g s a r e i m p o r t a n t t o t h e d i s s e r t a t i o n i n t w o w a y s . F i r s t , t h e r e s u l t s s u g g e s t t h a t , a s a p r a c t i c a l m a t t e r , r e p u t a t i o n a l q u a l i t y r a t i n g s a r e r e l i a b l e a n d v a l i d e n o u g h t o w a r r a n t t h e i r u s e a s m e a s u r e s o f a c a d e m i c q u a l i t y . T h e i m p o r t a n t p o i n t t o c o n s i d e r i s , n o t w h e t h e r r a t i n g s a c t u a l l y m e a s u r e q u a l i t y , b u t , t h a t t h e y c o r r e l a t e v e r y h i g h l y w i t h m o s t m o r e o b j e c t i v e m e a s u r e s t h a t , t o g e t h e r , m i g h t b e c o n s i d e r e d a l m o s t a d e f i n i t i o n o f " a c a d e m i c q u a l i t y " ( f o r e x a m p l e , f a c u l t y p u b l i c a t i o n s , f a c u l t y a n d s t u d e n t h o n o r s a n d a w a r d s , r e s e a r c h g r a n t s , a n d l i b r a r y r e s o u r c e s ) . 1 4 3 S e c o n d , t h e e m p i r i c a l r e s u l t s i n d i c a t e b o t h t h e t y p e s o f v a r i a b l e s w h i c h s h o u l d b e i n c l u d e d i n a c o m p r e h e n s i v e d e s c r i p t i o n o f d o c t o r a l i n s t i t u t i o n s a n d a l s o t h e p r o b a b l e r e l a t i o n s h i p s o f t h e s e v a r i a b l e s i n t h e r e s u l t s . F o r e x a m p l e , t h e m a j o r s t u d i e s o f a c a d e m i c q u a l i t y h a v e c o n s i s t e n l y i n c l u d e d v a r i a b l e s t h a t c a n b e g r o u p e d i n t o t h e f o l l o w i n g c a t e g o r i e s : 1 ) D e m o g r a p h i c ( g e o g r a p h i c l o c a t i o n a n d i n s t i t u t i o n c l a s s i f i c a t i o n , s u c h a s f o u r - y e a r o r g r a d u a t e i n s t i t u t i o n ) ; 2 ) S t u d e n t ( t o t a l n u m b e r o f s t u d e n t s a n d s t u d e n t s b y t y p e , l e v e l , a n d t i m e s t a t u s ) ; 3 ) D e g r e e ( t o t a l n u m b e r o f d e g r e e s g r a n t e d a n d n u m b e r o f d e g r e e s g r a n t e d b y l e v e l o f s t u d e n t , s u c h a s M a s t e r ' s o r D o c t o r ‘ s d e g r e e l e v e l ) ; . 4 ) F a c u l t y ( t o t a l n u m b e r o f f a c u l t y a n d n u m b e r o f f a c u l t y b y s t a t u s a n d r a n k ; 5 ) C o m p e n s a t i o n o f F a c u l t y ( s a l a r y a n d b e n e f i t s ) ; 6 ) R e s o u r c e s ( i n c l u d i n g a s s e t s , s u c h a s l i b r a r y v o l u m e s , r e v e n u e s , a n d e x p e n d i t u r e s ) ; a n d 7 ) Q u a l i t y ( f a c u l t y a n d p r o g r a m ) . C l e a r l y , t h e p r e s e n t s t u d y m u s t i n c l u d e t h e s e t y p e s o f v a r i a b l e s t o p r o v i d e a c o m p r e h e n s i v e p i c t u r e o f d o c t o r a l i n s t i t u t i o n s . T h e p r o b a b l e r e l a t i o n s h i p t o b e e x p e c t e d a m o n g t h e s e v a r i a b l e s w o u l d g e n e r a l l y b e p o s i t i v e c o r r e l a t i o n s w i t h v e r y h i g h p o s i t i v e c o r r e l a t i o n s a m o n g m e a s u r e s o f q u a l i t y . F u r t h e r , s o m e v a r i a b l e s a r e 1 4 4 l i k e l y t o y i e l d h i g h c o r r e l a t i o n s w i t h q u a l i t y . T h u s , h i g h c o r r e l a t i o n s a r e t o b e e x p e c t e d . M e t h o d s U s e d i n Q u a l i t y S t u d i e s M a n y o f t h e s t u d i e s s u g g e s t t h a t t h e b e s t w a y t o s t u d y a c a d e m i c q u a l i t y i n i n s t i t u t i o n s o f h i g h e r e d u c a t i o n i s b y m u l t i v a r i a t e m e a s u r e m e n t s . D r e w a n d K a r p f ( 1 9 8 1 ) i n d i c a t e t h a t o n e m a j o r w e a k n e s s i n d e s c r i p t i v e s t u d i e s i s t h e l a c k o f a m u l t i v a r i a t e a p p r o a c h . I n f a c t , t h e v a l u e o f m u l t i v a r i a t e s s e e m s t o b e a g r e e d u p o n b y m o s t a u t h o r s ( C a r t t e r , 1 9 6 6 ; J o n e s , L i n d z e y , a n d C o g g e s h a l l , 1 9 8 2 ; a n d A s t i n , 1 9 8 5 ) . M a n y o f t h e d a t a a n a l y s i s t e c h n i q u e s u s e d i n t h e q u a l i t y s t u d i e s h a v e b e e n a d o p t e d i n t h i s d i s s e r t a t i o n . F o r e x a m p l e , t h e u s e o f s t a n d a r d s c o r e s w i t h a m e a n o f 5 0 a n d a s t a n d a r d d e v i a t i o n o f 1 0 w a s u s e d i n t h e A R C S t u d y . C a l c u l a t i n g m e a n r a t i n g s a c r o s s f i e l d s a n d d e p a r t m e n t s f o r a g i v e n u n i v e r s i t y w a s w i d e l y e m p l o y e d i n t h e r a t i n g s t u d i e s a n d i n s u b s e q u e n t m e t a - a n a l y t i c s t u d i e s ( f o r e x a m p l e , W e b s t e r , 1 9 8 3 ) . C o r r e l a t i o n s h a v e p r o v e d t o b e a s a t i s f a c t o r y m e t h o d o f s t a t i n g r e l a t i o n s h i p s i n t h e q u a l i t y s t u d i e s a n d w e r e s e l e c t e d b y e x p e r t s i n t h e f i e l d o f s t a t i s t i c a l d a t a a n a l y s i s i n t h e A R C S t u d y . T h i s m e t h o d a l s o h a s b e e n a d o p t e d i n t h i s s t u d y . F a c t o r a n a l y s i s a n d m u l t i p l e r e g r e s s i o n a n a l y s i s w a s c h o s e n 1 4 5 f o r u s e i n t h i s d i s s e r t a t i o n , p a r t i a l l y , b e c a u s e o f t h e i r o b v i o u s h e l p t o q u a l i t y r e s e a r c h e r s ( A s t i n a n d S o l m o n , 1 9 8 1 ) . F i n a l l y , p r e s e n t a t i o n o f m u l t i v a r i a t e r e s u l t s g r a p h i c a l l y , a s p r o f i l e s , w h i c h w a s s u g g e s t e d b y t h e C G S - E T S S t u d y , w a s a l s o u s e d i n t h e p r e s e n t s t u d y . H o w e v e r , i n t h e p r e s e n t s t u d y a n a t t e m p t w a s m a d e t o e x e r c i s e g r e a t e r c a r e i n t h e s e l e c t i o n o f v a r i a b l e s a n d i n t h e d e s c r i p t i o n a n d i n t e r p r e t a t i o n o f t h e r e s u l t s o f t h e d a t a a n a l y s e s t h a n w a s d o n e b y m a n y o f t h e e a r l i e r q u a l i t y r e s e a r c h e r s . F u r t h e r , t h e d e v e l o p m e n t o f a c o m p u t e r i z e d s y s t e m f o r s t u d y w a s a l s o a n i m p o r t a n t g o a l o f t h e p r e s e n t s t u d y . T h e o r i e s o f A c a d e m i c Q u a l i t y I n t r o d u c t i o n A s i n d i c a t e d b e f o r e , m o s t h i g h e r e d u c a t i o n r e s e a r c h e r s o f r e p u t a t i o n a l q u a l i t y r a t i n g s s e e m t o a g r e e o n t h e f i n d i n g b . T h e y f r e q u e n t l y d i s a g r e e , h o w e v e r , o n t h e i n t e c p r e t a t i o n o f t h e f i n d i n g s . F o r e x a m p l e , t h e e a r l y r e s e a r c h e r s a s s u m e d t h a t i f y o u a s k e d a k n o w l e d g e a b l e p e r s o n t o r a t e t h e q u a l i t y o f u n i v e r s i t y f a c u l t y o r p r o g r a m s , h e c o u l d a n d w o u l d d o e x a c t l y t h a t . W h a t e v e r q u a l i t y i s , a t l e a s t , p e o p l e c o u l d r e c o g n i z e i t . T h i s , p e r h a p s n a i v e , a s s u m p t i o n w a s g r e e t e d w i t h a n a v a l a n c h e o f c r i t i c i s m , e s p e c i a l l y 1 4 6 b y t h o s e w h o s e d e p a r t m e n t s s c o r e d a t t h e l o w e r e n d o f t h e r a t i n g s c a l e s . W e l l - i n t e n t i o n e d c r i t i c s i d e n t i f i e d n u m e r o u s p r o b l e m s w i t h t h e r a t i n g m e t h o d s a n d p r o c e d u r e s w h i c h w e r e d i s c u s s e d a b o v e . O v e r t h e y e a r s p a t i e n t r e s e a r c h e r s e l i m i n a t e d m a n y o f t h e s e m e t h o d o l o g i c a l d e f i c i e n c e s . T h e r e s u l t s , h o w e v e r , d i d n o t c h a n g e . A t p r e s e n t , t h e r e a p p e a r s t o b e t w o m a j o r t h e o r i e s a b o u t t h e r e l a t i o n s h i p o f a c a d e m i c r a t i n g s t o t h e " t r u e " a c a d e m i c q u a l i t y o f g r a d u a t e r e s e a r c h f a c u l t y a n d p r o g r a m s . T h e s e t h e o r i e s s h a l l b e r e f e r r e d t o a s : T h e F o l k l o r e T h e o r y a n d t h e M u l t i v a r i a t e T h e o r y . T h e F o l k l o r e T h e o r y T h e F o l k l o r e T h e o r y o f a c a d e m i c q u a l i t y i s b e s t r e p r e s e n t e d b y i t s m o s t o u t s p o k e n p r o p o n e n t , A l e x a n d e r A s t i n , w h o s u m m a r i z e d i t i n h i s m o s t r e c e n t b o o k ( A s t i n , 1 9 8 5 ) . I n h i s b o o k , A s t i n a r g u e s t h a t a c a d e m i c r a t i n g s d o n o t m e a s u r e " t r u e " q u a l i t y , t h a t h i g h r a t i n g s a r e t h e r e s u l t o f w h a t h e c a l l s " a c a d e m i c f o l k l o r e . " T h e d e f i n i t i o n o f f o l k l o r e a c c o r d i n g t o W e b s t e r ( W o o l f , 1 9 7 7 , 4 4 6 ) i s " a w i d e l y h e l d u n s u p p o r t e d , s p e c i o u s n o t i o n o r b o d y o f n o t i o n s . " A s t i n a r g u e s t h a t a l l r a t i n g r e s u l t s a r e b a s e d u p o n f a l s e b e l i e f s i n t h e a c a d e m i c c o m m u n i t y a b o u t t h e h i g h q u a l i t y o f c e r t a i n w e l l - k n o w n c o l l e g e s a n d u n i v e r s i t i e s . T h e h i g h c o r r e l a t i o n o f r a t i n g s w i t h 1 4 7 m o r e o b j e c t i v e c r i t e r i a a r e a t t r i b u t e d t o t h e " h a l o e f f e c t " o f r e p u t a t i o n a l q u a l i t y . T h a t i s , H a r v a r d p r o f e s s o r s g e t m o r e a r t i c l e s p u b l i s h e d , n o t b e c a u s e t h e a r t i c l e s a r e b e t t e r , b u t b e c a u s e t h e y a r e H a r v a r d p r o f e s s o r s . T h e r e a r e s e v e r a l p r o b l e m s w i t h t h e F o l k l o r e T h e o r y . F i r s t , i t i s a c i r c u l a r a r g u m e n t . I t c a n n o t b e d i s p r o v e d . T h u s , s u p p o s e o n e p o i n t s o u t t h a t m a n y j o u r n a l s d o n o t i n c l u d e t h e a u t h o r ' s n a m e o r a f f i l i a t i o n i n t h e r e f e r e e ' s m a n u s c r i p t . S u p p o r t e r s o f t h e F o l k l o r e T h e o r y c o u l d e a s i l y e x p l a i n t h a t - - " T h e r e v i e w e r s c a n t e l l f r o m t h e c o n t e n t s w h o w r o t e t h e p a p e r . " S e c o n d , t h e t h e o r y d o e s n o t a c c o u n t f o r c h a n g e s i n t h e r e p u t a t i o n a l r a t i n g s o f i n s t i t u t i o n s o v e r t i m e . T h u s , s o m e i n s t i t u t i o n s , s u c h a s S t a n f o r d U n i v e r s i t y , h a v e i m p r o v e d t h e i r r a t i n g s o v e r t h e y e a r s . O t h e r s , s u c h a s J o h n s H o p k i n s U n i v e r s i t y , h a v e h a d a d e c l i n e i n t h e r a t i n g s . H o w c o u l d t h i s h a p p e n i f w e a c c e p t t h e F o l k l o r e a r g u m e n t ? S i m i l a r l y , t h e c o r r e l a t i o n s w i t h m o r e o b j e c t i v e m e a s u r e s o f q u a l i t y s e e m t o b e t o o h i g h a n d t o o s t a b l e t o b e d u e o n l y t o a " s p e c i o u s u n s u p p o r t e d b o d y o f n o t i o n s . " F i n a l l y , t h e t h e o r y a c c o u n t s o n l y f o r c o r r e l a t i o n s f o r t h e h i g h l y r a n k e d u n i v e r s i t i e s w h i c h a r e w e l l - k n o w n t o a l l r a t e r s . B u t t h e r a t i n g c o r r e l a t i o n s ( f o r 1 4 8 e x a m p l e , a c r o s s s t u d i e s ) a r e t o o h i g h t o b e d u e o n l y t o a g r e e m e n t o n t h e t o p t w e n t y p e r c e n t o f u n i v e r s i t i e s . C o r r e l a t i o n s o f 0 . 9 5 r e q u i r e a g r e e m e n t a m o n g r a t e r s o n t h e m i d d l e a n d b o t t o m i n s t i t u t i o n s a s w e l l . H o w e v e r , t h e a b o v e w e a k n e s s e s c l e a r l y d o n o t i m p l y t h a t t h e r a t i n g m e a s u r e i s a p e r f e c t p r e d i c t o r o f " t r u e " a c a d e m i c q u a l i t y . P r o b a b l y u n d e s e r v e d r e p u t a t i o n p e r s e d o e s , i n f a c t , a c c o u n t f o r s o m e p a r t o f t h e r a t i n g p h e n o m e n a . . T h e M u l t i v a r i a t e T h e o r y J o n e s , L i n d z e y , a n d C o g g e s h a l l ( s e e B i o l o g i c a l S c i e n c e s , 1 9 8 2 , 1 8 8 - 1 8 9 ) h a v e s t a t e d t h i s p o i n t o f v i e w v e r y c l e a r l y i n t h e i r d i s c u s s i o n o f t h e f i n d i n g s o f t h e A R C S t u d y : " T h e r e p u t a t i o n a l r e s u l t s . . . . a m o n g a l l o f t h e m e a s u r e s , s e e m t o a d d r e s s q u a l i t y i n a n o v e r a l l o r g l o b a l f a s h i o n . W h i l e m o s t r e c o g n i z e t h a t ' o b j e c t i v e ' p r o g r a m c h a r a c t e r i s t i c s ( i . e . , p u b l i c a t i o n p r o d u c t i v i t y , r e s e a r c h f u n d i n g , o r l i b r a r y s i z e ) h a v e s o m e b e a r i n g o n p r o g r a m q u a l i t y , p r o b a b l y n o o n e w o u l d c o n t e n d t h a t a s i n g l e o n e o f t h e s e m e a s u r e s e n c o m p a s s e s a l l t h a t n e e d b e k n o w n a b o u t t h e q u a l i t y o f r e s e a r c h — d o c t o r a t e p r o g r a m s . E a c h i s o b v i o u s l y n o m o r e t h a n a n i n d i c a t o r o f s o m e a s p e c t o f p r o g r a m q u a l i t y . I n c o n t r a s t , t h e r e p u t a t i o n a l r a t i n g s a r e g l o b a l f r o m t h e s t a r t b e c a u s e t h e r e s p o n d e n t s a r e a s k e d t o t a k e i n t o a c c o u n t m a n y o b j e c t i v e c h a r a c t e r i s t i c s a n d t o a r r i v e a t a g e n e r a l a s s e s s m e n t o f t h e q u a l i t y o f t h e f a c u l t y a n d t h e e f f e c t i v e n e s s o f t h e p r o g r a m . T h i s g e n e r a l i t y h a s s e l f - e v i d e n t a p p e a l . O n t h e o t h e r h a n d , i t i s w i s e t o k e e p i n m i n d t h a t t h e s e r e p u t a t i o n a l r a t i n g s a r e . m e a s u r e s o f p e r c e i v e d p r o g r a m q u a l i t y r a t h e r 1 4 9 t h a n o f ' q u a l i t y ' i n s o m e i d e a l o r a b s o l u t e s e n s e . W h a t t h i s m e a n s i s t h a t , j u s t a s f o r a l l o f t h e m o r e o b j e c t i v e m e a s u r e s , t h e r e p u t a t i o n a l r a t i n g s r e p r e s e n t o n l y a p a r t i a l v i e w o f w h a t m o s t o f u s w o u l d c o n s i d e r q u a l i t y t o b e ; h e n c e , t h e y m u s t b e k e p t i n c a r e f u l p e r s p e c t i v e . " T h e M u l i t v a r i a t e T h e o r y o f a c a d e m i c q u a l i t y b a s i c a l l y h o l d s t h e v i e w t h a t " t r u e " q u a l i t y i s o b t a i n e d i n m a n y w a y s b y a r e s e a r c h u n i v e r s i t y . M a n y v a r i a b l e s c o n t r i b u t e , b u t n o n e a r e , b y t h e m s e l v e s a l o n e , a m e a s u r e o f " t r u e " q u a l i t y . T h e M u l t i v a r i a t e T h e o r y s e e m s t o b e l e s s c i r c u l a r , m o r e r e a s o n a b l e i n t h e l i g h t o f e m p i r i c a l f i n d i n g s , a n d b e t t e r a b l e t o p r e d i c t , o r a t l e a s t t o e x p l a i n , c h a n g e s i n a c a d e m i c r a t i n g s o v e r t i m e . F o r e x a m p l e , t h e i n c r e a s e i n r a t i n g s f o r S t a n f o r d U n i v e r s i t y c a n b e a t t r i b u t e d t o a r e a l g r o w t h i n q u a l i t y d u e t o : c a r e f u l s e l e c t i o n o f s t u d e n t s a n d f a c u l t y , a s u p p o r t i v e e n v i r o n m e n t ( f o r e x a m p l e , i n t e r m s o f c o m p e n s a t i o n a n d a c a d e m i c . r e s o u r c e s f o r f a c u l t y a n d f i n a n c i a l a i d f o r s t u d e n t s ) , a l a r g e e n d o w m e n t , a d e t e r m i n a t i o n t o b e c o m e a q u a l i t y r e s e a r c h i n s t i t u t i o n , a n d s o o n f o r a l l t h e o t h e r c o r r e l a t e s o f q u a l i t y . A R e p r i s e o n t h e M e a n i p g o f A c a d e m i c Q u a l i t y W h a t h a s h a p p e n e d t o t h e c o n c e p t o f a c a d e m i c q u a l i t y i n h i g h e r e d u c a t i o n s e e m s s i m i l a r t o e v e n t s i n t h e m e a s u r e m e n t o f i n t e l l i g e n c e . H i s t o r i c a l l y , 1 5 0 i n t e l l i g e n c e w a s f i r s t t h o u g h t t o b e a s i n g l e t r a i t m e a s u r a b l e b y g e n e r a l i n t e l l i g e n c e t e s t s . R e s e a r c h e r s w o r k e d f o r y e a r s t o d e v e l o p a t e s t f o r t h e " G - F a c t o r " ( t h a t i s , t h e G e n e r a l I n t e l l i g e n c e F a c t o r ) . H o w e v e r , g r a d u a l l y , o v e r t i m e , p a t i e n t r e s e a r c h e r s f o u n d t h a t t h e G - F a c t o r w a s s e p a r a b l e i n t o " v e r b a l " i n t e l l i g e n c e a n d " q u a n t i t a t i v e " i n t e l l i g e n c e a n d t h e s e , i n t u r n , c o u l d b e f u r t h e r s e p a r a t e d i n t o e v e n m o r e a b i l i t i e s . F i n a l l y , t h e f a c t o r a n a l y s t s g a v e u p o n t h e G - F a c t o r a n d r e c o g n i z e d t h a t " i n t e l l i g e n c e “ t e s t s w e r e r e a l l y g e n e r a l a b i l i t y t e s t s m e a s u r i n g s o m e o f t h e f a c t o r s r e l a t e d t o t h e p e r f o r m a n c e o f a n i n d i v i d u a l i n s c h o o l - l i k e s i t u a t i o n s . I n t e l l i g e n c e t e s t s w e r e s t i l l h i g h l y p r a c t i c a l b e c a u s e i n t e l l i g e n c e w a s v i e w e d a s a g l o b a l m e a s u r e o f i m p o r t a n t a b i l i t i e s w h i c h , t o g e t h e r , c o u l d b e u s e d t o p r e d i c t s u c c e s s i n c e r t a i n s i t u a t i o n s . M u c h t h e s a m e t h i n g s e e m s t o b e h a p p e n i n g t o t h e d e f i n i t i o n o f a c a d e m i c q u a l i t y i n h i g h e r e d u c a t i o n . H i g h e r e d u c a t i o n r e s e a r c h e r s a r e b e g i n n i n g t o r e c o g n i z e t h a t q u a l i t y i s c o m p l e x a n d c a n b e a c h i e v e d i n a n u m b e r o f d i f f e r e n t w a y s . F o r e x a m p l e , p r o v i d i n g h i g h e r c o m p e n s a t i o n o r m o r e r e s e a r c h t i m e m a y a t t r a c t m o r e s k i l l e d r e s e a r c h e r s a s f a c u l t y . T h e s e s k i l l e d r e s e a r c h e r s m i g h t t h e n a t t r a c t b e t t e r s t u d e n t s , m o r e r e s e a r c h g r a n t s , a b e t t e r r e p u t a t i o n , a n d e v e n t u a l l y h i g h e r r a t i n g s . A n o t h e r m e t h o d o f g a i n i n g t h e s a m e e n d 1 5 1 m i g h t b e t o c r e a t e " s p e c i a l r e s o u r c e s , " s u c h a s p a r t i c l e a c c e l e r a t o r s o r s u p e r c o m p u t e r s . T h e p o i n t i s t h a t a c a d e m i c q u a l i t y r a t i n g s a r e n o t m e a s u r e s o f a c a d e m i c q u a l i t y , b u t a r e , r a t h e r , i n d i c a t o r s o f a c a d e m i c q u a l i t y , t h a t i s , t h e y p r o v i d e a s y n t h e s i s o f s o m e o f t h o s e c h a r a c t e r i s t i c s w h i c h 1 i n c o m b i n a t i o n , r e f l e c t " t r u e " a c a d e m i c q u a l i t y . T h e d a t a a n d a n a l y s e s u s e d i n t h i s d i s s e r t a t i o n h a v e b e e n i n t e r p r e t e d , u s i n g t h i s m u l t i v a r i a t e m o d e l o f a c a d e m i c q u a l i t y , b u t g e n e r a l i z e d t o s e t s o f c h a r a c t e r i s t i c s c a l l e d " d o m a i n s . “ A d o m a i n i s a s e t o f h i g h l y i n t e r - r e l a t e d v a r i a b l e s w h i c h s h a r e m a n y c h a r a c t e r i s t i c s a n d w h i c h m a y r e p r e s e n t a l a t e n t c o m m o n f a c t o r . F o r e x a m p l e , a s e t o f v a r i a b l e s w h i c h s e e m t o r e p r e s e n t a c a d e m i c q u a l i t y h a v e b e e n c o l l e c t e d . I f t h e s e v a r i a b l e s c o r r e l a t e h i g h l y , i t w i l l b e a s s u m e d t h a t : 1 ) t o g e t h e r , t h e y r e f l e c t o n e t y p e o f a c a d e m i c q u a l i t y ( b u t , p e r h a p s , n o t o t h e r s ) a n d 2 ) a k e y q u a l i t y v a r i a b l e , a l o n g w i t h k e y v a r i a b l e s f r o m o t h e r d o m a i n s , c a n p r o v i d e t h e b a s i s f o r a c o m p r e h e n s i v e v i e w o f t h e n a t u r e o r s t r u c t u r e o f A m e r i c a n d o c t o r a l i n s t i t u t i o n s . M o r e w i l l b e s a i d l a t e r a b o u t t h i s m u l t i v a r i a t e m o d e l . H e r e , i t i s i m p o r t a n t m e r e l y t o n o t e t h a t t h e m o d e l h a s a n i m p o r t a n t h i s t o r i c a l b a s e i n t h e r e s e a r c h o n a c a d e m i c q u a l i t y . 1 5 2 C H A P T E R I I I R E S E A R C H D E S I G N A N D M E T H O D S O F A N A L Y S I S I N T R O D U C T I O N A s w a s i n d i c a t e d e a r l i e r , t h e f i v e o b j e c t i v e s a n d a s s o c i a t e d r e s e a r c h q u e s t i o n s a n d h y p o t h e s i s t o b e a n s w e r e d b y t h e p r e s e n t e m p i r i c a l s t u d y a r e a s f o l l o w s : O b j e c t i v e 1 : T o d e s c r i b e t h e p o p u l a t i o n o f o n e h u n d r e d a n d s e v e n t y - o n e A m e r i c a n d o c t o r a l i n s t i t u t i o n s , u s i n g a c o m p r e h e n s i v e s e t o f f o r t y - n i n e o b s e r v a b l e v a r i a b l e s . R 1 . W h a t c h a r a c t e r i z e s t h e p o p u l a t i o n o f o n e h u n d r e d a n d s e v e n t y - o n e A m e r i c a n d o c t o r a l i n s t i t u t i o n s ? O b j e c t i v e 2 : T o r e d u c e t h e n u m b e r o f t h i r t y - e i g h t o b s e r v a b l e q u a n t i t a t i v e v a r i a b l e s u s e d t o d e s c r i b e t h e p o p u l a t i o n o f d o c t o r a l i n s t i t u t i o n s t o a s m a l l e r s e t o f e i g h t " k e y v a r i a b l e s . " R 2 . C a n t h e l a r g e s e t o f t h i r t y - e i g h t q u a n t i t a t i v e v a r i a b l e s u s e d t o d e s c r i b e d o c t o r a l i n s t i t u t i o n s b e r e p l a c e d w i t h a s m a l l e r s e t o f e i g h t k e y v a r i a b l e s w i t h o u t a m a j o r l o s s o f i n f o r m a t i o n ? O b j e c t i v e 3 : T o d e t e r m i n e t h e d e g r e e t o w h i c h t h e k e y a c a d e m i c q u a l i t y v a r i a b l e c a n b e p r e d i c t e d f r o m t h e o t h e r s e v e n k e y q u a n t i t a t i v e v a r i a b l e s . R 3 . C a n t h e k e y q u a l i t y v a r i a b l e b e p r e d i c t e d w i t h o u t l o s s f r o m t h e o t h e r s e v e n k e y v a r i a b l e s ? O b j e c t i v e 4 : T o g e n e r a t e g r a p h i c d i s p l a y s o r " p r o f i l e s " o f d o c t o r a l i n s t i t u t i o n s a n d g r o u p s o f d o c t o r a l i n s t i t u t i o n s b a s e d u p o n t h e e i g h t k e y v a r i a b l e s . R 4 . W h a t f i n d i n g s c a n b e o b t a i n e d w i t h p r o f i l e , r a t h e r t h a n r a n k i n g , r e p o r t s ? O b j e c t i v e 5 : T o e x a m i n e m o r e c l o s e l y t h e u n d e r l y i n g s t r u c t u r e o f d o c t o r a l i n s t i t u t i o n s w h i c h m i g h t a c c o u n t f o r t h e i n t e r - c o r r e l a t i o n s a m o n g t h e o b s e r v a b l e q u a n t i t a t i v e v a r i a b l e s u s e d i n t h e s t u d y . R 5 . W h a t t h e o r y o f a c a d e m i c q u a l i t y i s s u p p o r t e d b y f a c t o r a n a l y t i c s t u d y o f t h e d a t a c h a r a c t e r i s t i c s o f d o c t o r a l i n s t i t u t i o n s ? E m p i r i c a l R e s e a r c h S t u d y H y p o t h e s i s T h e n u m b e r o f c o m m o n f a c t o r s u n d e r l y i n g t h e o b s e r v a b l e q u a n t i t a t i v e c h a r a c t e r i s t i c s o f A m e r i c a n d o c t o r a l i n s t i t u t i o n s i s g r e a t e r t h a n o n e ( t h e u n i v a r i a t e c a s e ) a n d l e s s t h a n o r e q u a l t o e i g h t ( t h e n u m b e r o f d o m a i n s u s e d i n t h e o r i g i n a l d e s c r i p t i o n ) . T h e s e o b j e c t i v e s , r e s e a r c h q u e s t i o n s , a n d h y p o t h e s i s r e q u i r e d a c o m p r e h e n s i v e d a t a b a s e o f i n f o r m a t i o n a b o u t t h e p o p u l a t i o n o f A m e r i c a n d o c t o r a l ' i n s t i t u t i o n s a n d t h e u s e o f a w i d e v a r i e t y o f a n a l y t i c a l m e t h o d s , r a n g i n g f r o m s i m p l e d e s c r i p t i v e a n a l y s i s t o r a t h e r c o m p l e x s t a t i s t i c a l p r o c e d u r e s . T h e r e f o r e , i t i s i m p o r t a n t t o d e s c r i b e t h e r e s e a r c h d e s i g n a n d t h e d a t a b a s e a n d t o d e m o n s t r a t e t h e r e s e a r c h m e t h o d s a n d p r o c e d u r e s p r i o r t o d i s c u s s i n g t h e r e s u l t s . 1 5 4 R E S E A R C H D E S I G N T h i s s t u d y i s a c l a s s i c c o r r e l a t i o n a l r e s e a r c h p a r a d i g m , u s i n g m e a n s , s t a n d a r d d e v i a t i o n s , a n d c o r r e l a t i o n a l s t a t i s t i c s a s d e s c r i b e d b y B o r g a n d B a l l ( 1 9 7 1 ) . B o t h c a t e g o r i c a l o r d e m o g r a p h i c a n d q u a n t i t a t i v e v a r i a b l e s w e r e u s e d i n t h e s t u d y . T h e c a t e g o r i c a l v a r i a b l e s a r e b a s e d u p o n n o r m a t i v e s c a l e s , h e n c e , o n l y a p p r o p r i a t e t a b u l a t i o n s t a t i s t i c s w e r e u s e d i n t h e i r a n a l y s i s . T h e q u a n t i t a t i v e v a r i a b l e s a r e b a s e d u p o n s i m p l e c o u n t i n g , w i t h o u t t h e a s s u m p t i o n s o f n o n - o b s e r v a b l e v a r i a b l e s . T h u s , t h e y p r o v i d e t h e i n t e r n a l s c a l e r e q u i r e d f o r p a r a m e t r i c s t a t i s t i c s . T h e m a j o r d i f f e r e n c e s b e t w e e n t h i s s t u d y a n d o t h e r c o r r e l a t i o n a l s t u d i e s a r e t h a t : 1 ) a p e r s o n a l c o m p u t e r s y s t e m , d e v e l o p e d i n t h i s s t u d y t o s u p p o r t h i g h e r e d u c a t i o n r e s e a r c h a n d d e c i s i o n m a k i n g , w a s u s e d a s t h e b a s i s f o r t h e e n t i r e r e s e a r c h s t u d y ; 2 ) t h e s t u d y w a s m e t a - a n a l y t i c a l i n n a t u r e , i n v o l v i n g s e c o n d a r y a n a l y s i s m e t h o d s a n d d a t a f r o m e x t a n t d a t a b a s e s ; a n d 3 ) t h e r e s u l t s w e r e p r e s e n t e d , p r i m a r i l y , i n g r a p h i c f o r m . T h e u s u a l p r o c e d u r e s f o r c o r r e l a t i o n a l s t u d i e s a n d s e c o n d a r y a n a l y s i s w e r e f o l l o w e d i n t h e s t u d y : 1 ) a p r o b l e m o f i n t e r e s t w a s i d e n t i f i e d ; 2 ) a s e t o f c l e a r o b j e c t i v e s w a s p r e p a r e d ; 3 ) a s e t o f a p p r o p r i a t e v a r i a b l e s o n w h i c h p o p u l a t i o n d a t a w a s a v a i l a b l e w a s 1 5 5 s e l e c t e d ; 4 ) a p p r o p r i a t e d a t a s o u r c e s a n d e x t a n t d a t a b a s e s w e r e i d e n t i f i e d ; 5 ) a c c e s s t o d a t a w a s s e c u r e d ; 6 ) a p p r o p r i a t e d a t a f i l e s w e r e p r e p a r e d ; 7 ) v a r i a b l e s o f i n t e r e s t w e r e a c c e s s e d ; 8 ) a s e t o f s t a t i s t i c a l a n a l y t i c a l m e t h o d s w a s s e l e c t e d ; 9 ) d a t a a n a l y s i s w a s p e r f o r m e d i n a c c o r d a n c e w i t h s t u d y o b j e c t i v e s ; a n d 1 0 ) r e s u l t s w e r e r e p o r t e d . T h e s t u d y i n v o l v e d s i x m a j o r p h a s e s , e a c h c o r r e s p o n d i n g t o o n e o r m o r e o f t h e f i v e s t u d y o b j e c t i v e s . P h a s e 1 i n v o l v e d t h e d e v e l o p m e n t o f t h e H i g h e r E d u c a t i o n C o m p u t e r - B a s e d I n f o r m a t i o n S y s t e m ( H E C B I S ) , c o n s i s t i n g o f a p e r s o n a l c o m p u t e r s y s t e m a n d a d a t a b a s e , w h i c h w a s u s e d t o s u p p o r t a l l f i v e s t u d y o b j e c t i v e s . P h a s e 2 i n v o l v e d t h e d e s c r i p t i v e a n a l y s e s o f t h e d a t a b a s e r e q u i r e d f o r o b j e c t i v e o n e ( d e s c r i b i n g A m e r i c a n d o c t o r a l i n s t i t u t i o n s i n t e r m s o f a c o m p r e h e n s i v e s e t o f f o r t y - n i n e o b s e r v a b l e v a r i a b l e s ) . P h a s e 3 i n v o l v e d t h e u s e o f c l u s t e r , c o r r e l a t i o n , a n d f a c t o r a n a l y s i s t o r e d u c e t h e n u m b e r o f t h i r t y - e i g h t - q u a n t i t a t i v e v a r i a b l e s t o a m o r e m a n a g e a b l e s e t o f e i g h t k e y v a r i a b l e s a s r e q u i r e d b y s t u d y o b j e c t i v e t w o ( r e d u c i n g t h e t h i r t y - e i g h t q u a n t i t a t i v e v a r i a b l e s t o a s m a l l e r s e t o f e i g h t " k e y " v a r i a b l e s ) . P h a s e 4 i n v o l v e d t h e u s e o f r e g r e s s i o n a n a l y s i s t o d e t e r m i n e t h e d e g r e e t o w h i c h t h e k e y a c a d e m i c q u a l i t y v a r i a b l e c o u l d b e p r e d i c t e d f r o m t h e r e d u c e d s e t o f s e v e n k e y 1 5 6 v a r i a b l e s d e v e l o p e d f r o m o b j e c t i v e t h r e e . P h a s e 5 i n v o l v e d t h e p r o f i l e a n a l y s e s o f t h e d a t a b a s e n e e d e d f o r o b j e c t i v e f o u r ( p r o v i d i n g g r a p h i c d i s p l a y s o f t h e e i g h t k e y c h a r a c t e r i s t i c s o f d o c t o r a l i n s t i t u t i o n s ) . P h a s e 6 i n v o l v e d t h e u s e o f f a c t o r a n a l y s i s t o p e r f o r m a s t r u c t u r a l a n a l y s i s o f d o c t o r a l i n s t i t u t i o n s r e q u i r e d b y o b j e c t i v e f i v e ( d e t e r m i n i n g p o t e n t i a l u n d e r l y i n g f a c t o r s r e s p o n s i b l e f o r t h e i n t e r - c o r r e l a t i o n s a m o n g t h e o b 5 e r v a b l e q u a n t i t a t i v e v a r i a b l e s d e s c r i b i n g d o c t o r a l i n s t i t u t i o n s ) . E a c h o f t h e s e p h a s e s i s t r e a t e d i n d e t a i l i n t h e f o l l o w i n g s e c t i o n s o f t h i s c h a p t e r . F i g u r e 1 b e l o w s u m m a r i z e s t h e s t u d y r e s e a r c h d e s i g n a n d t h e p r o c e d u r e s u s e d . 1 5 7 P I I fi S E I : I I I I I H E I I E D U C I I I I U I I C O M P U I E I I - B I I S E I I I I I F I I R I I I I T I I I I I S I ‘ S ' I E M ( H E C B I S . ) D U C I U E ‘ I I L I N S T I T U T I O N 7 : n fi l fi B R E E ( I I I I J B ) P E R S I I I I I I L C O M P U T E R ' : " : : : " ' : ; . _ . _ . “ i i - g ; S I S T E H ( P e a : ‘ P H fi S E i f : P H H S 4 s D U C U M E N T S D E S C R I P T I V E m m m u s s 9 " " I V E S ” ? 0 9 1 1 : 9 9 5 5 m a m a s - w a s : 3 m s : 5 n u c m P a L C L U S T E R P R O F I L E “ 3 7 ' 7 ” ” “ 5 a n n u a l s m u s s F i g u r e 1 . O v e r v i e w o f t h e R e s e a r c h D e s i g n a n d P r o c e d u r e s 1 5 8 R E S E A R C H M E T H O D S A N D P R O C E D U R E S T h e H i g h e r E d u c a t i o n C o m p u t e r - B a s e d I n f o r m a t i o n S y s t e m I n t r o d u c t i o n T h e f i r s t p h a s e o f t h e s t u d y w a s n e c e s s a r y i n o r d e r t o m e e t a l l f i v e o f t h e r e s e a r c h o b j e c t i v e s s p e c i f i e d a b o v e . T h e H i g h e r E d u c a t i o n C o m p u t e r - B a s e d I n f o r m a t i o n S y s t e m ( H E C B I S ) i n c l u d e d b o t h t h e P e r s o n a l C o m p u t e r S y s t e m ( P C S ) a n d t h e D o c t o r a l I n s t i t u t i o n D a t a B a s e ( D I D B ) . A l t h o u g h t h e H E C B I S w a s e s t a b l i s h e d f o r u s e i n t h e p r e s e n t r e s e a r c h e f f o r t , i t s h o u l d b e s t r e s s e d t h a t i t s p r i m a r y v a l u e l i e s , n o t i n i t s c u r r e n t u s e , b u t i n i t s f u t u r e u s e f u l n e s s a s a v a l u a b l e t o o l f o r h i g h e r e d u c a t i o n t e a c h i n g , r e s e a r c h , a n d d e c i s i o n m a k i n g . T h e P e r s o n a l C o m p u t e r S y s t e m T h e P e r s o n a l C o m p u t e r S y s t e m w a s d e v e l o p e d t o p r o v i d e t e c h n i c a l s u p p o r t r e q u i r e d f o r : 1 ) a c c e s s t o r e l e v a n t p u b l i s h e d d o c u m e n t s ; 2 ) e s t a b l i s h m e n t o f t h e d a t a b a s e ; 3 ) s t a t i s t i c a l a n a l y s i s o f t h e d a t a b a s e ( t h a t i s , d e s c r i p t i v e a n a l y s e s a n d c l u s t e r , c o r r e l a t i o n , f a c t o r , a n d r e g r e s s i o n a n a l y s e s ) ; a n d 4 ) p r e p a r a t i o n o f n a r r a t i v e a n d g r a p h i c r e p o r t s . T h e P e r s o n a l C o m p u t e r S y s t e m i s b a s e d o n t h e A p p l e I I e a n d I I : m i c r o c o m p u t e r s . C o s t w a s a m a j o r 1 5 9 c o n s i d e r a t i o n i n t h e s e l e c t i o n o f t h e A p p l e h a r d w a r e o v e r t h e I B M , b u t a v a i l a b i l i t y o f h a r d w a r e a n d s o f t w a r e w a s a l s o g e r m a n e . T h e A p p l e I I l i n e i s e x t r e m e l y i n e x p e n s i v e , c u r r e n t l y c o s t i n g a p p r o x i m a t e l y $ 1 , 5 0 0 c o m p l e t e , a n d i t i s u b i q u i t o u s . T h e A p p l e I I : h a s t h e a d d i t i o n a l v a l u e o f p o r t a b i l i t y . T h e s o f t w a r e c h o s e n w e r e t h e A p p l e W o r k s i n t e g r a t e d p a c k a g e , t h e A - S T A T 8 3 s t a t i s t i c a l s y s t e m , G r a p h W o r k s , a n d S i d e w a y s . A p p l e W o r k s p r o v i d e s a c a p a b i l i t y f o r t h e i n t e g r a t i o n o f t h r e e m a j o r c o m p u t e r p r o c e s s i n g f u n c t i o n s : d a t a b a s e m a n a g e m e n t , s p r e a d s h e e t i n g , a n d w o r d p r o c e s s i n g . I n t h i s s t u d y , A p p l e W o r k s w a s u s e d f o r : 1 ) d a t a b a s e m a n a g e m e n t f u n c t i o n s , s u c h a s e s t a b l i s h i n g t h e d a t a b a s e a n d s o r t i n g v a r i a b l e s f o r l i s t i n g s ; 2 ) s p r e a d s h e e t i n g f u n c t i o n s , s u c h a s c a l c u l a t i n g m e d i a n s , r a n g e s , s k e w n e s s , r a n g e t o s t a n d a r d d e v i a t i o n r a t i o s , a n d Z - s c o r e s a n d P - s c o r e s f o r p r o f i l e a n a l y s i s ; a n d 3 ) w o r d p r o c e s s i n g f u n c t i o n s , s u c h a s p r e p a r i n g l i s t i n g s , r o u t i n e t a b l e s , r o u g h d r a f t s , a n d t h e f i n a l r e p o r t . T h e A - S t a t 8 3 s o f t w a r e p a c k a g e w a s u s e d t o s t a t i s t i c a l l y a n a l y z e t h e d a t a b a s e o f q u a n t i t a t i v e d a t a i n t h e s t u d y , t h a t i s , m e a n s a n d s t a n d a r d d e v i a t i o n s a n d f o r p e r f o r m i n g t h e c o r r e l a t i o n , f a c t o r , a n d r e g r e s s i o n a n a l y s e s . G r a p h W o r k s w a s u s e d t o g e n e r a t e t h e p r o f i l e s a n d S i d e w a y s w a s u s e d f o r g e n e r a t i o n o f o v e r s i z e d t a b l e s . 1 6 0 S i n c e i n t e g r a t e d p a c k a g e s , l i k e A p p l e W o r k s , A - S t a t 8 3 , a n d G r a p h W o r k s a r e a l s o a v a i l a b l e f o r t h e I B M P C , i n a d d i t i o n t o t h e A p p l e I I s e r i e s , t h e f u t u r e u s e f u l n e s s o f t h e d a t a b a s e s h o u l d b e g r e a t l y e n h a n c e d . T h e n e t w o r k a c c e s s e d f o r r e l e v a n t d o c u m e n t s w a s t h e B R S L a t e N i g h t S e r v i c e . A g a i n , l o w c o s t a n d w i d e a v a i l a b i l i t y w e r e t h e m a i n c o n s i d e r a t i o n s . B R S p r o v i d e s a c c e s s t o t h e m a j o r p s y c h o l o g i c a l a n d h i g h e r e d u c a t i o n l i t e r a t u r e . T h e r e i s a n i n i t i a l o n e - t i m e c o s t o f $ 7 5 . 0 0 a n d a m o n t h l y m i n i m u m c h a r g e o f $ 1 2 . 0 0 , w i t h o n - l i n e c h a r g e s a p p l i e d a g a i n s t t h i s m i n i m u m . S i n c e m o d e m s a r e a v a i l a b l e a s o p t i o n s o n A p p l e I I c o m p u t e r s , t h e c u r r e n t H E C B I S u t i l i z e d s u c h a m o d e m f o r t h i s c o m m u n i c a t i o n f u n c t i o n . F i n a l l y , a p o r t a b l e S c r i b e a n d a n E p s o n p r i n t e r w e r e u s e d t o g e n e r a t e t h e h a r d c o p y o u t p u t o f t h e r e p o r t . T h e s e p r i n t e r s w e r e c h o s e n o n t h e s a m e b a s i s a s t h e A P P L E , t h a t i s , l o w c o s t a n d w i d e u s a g e . T h e D o c t o r a l I n s t i t u t i o n D a t a B a s e T w o m a j o r c o n s t r a i n t s g o v e r n e d t h e e s t a b l i s h m e n t o f t h e D o c t o r a l I n s t i t u t i o n D a t a B a s e : 1 ) t h e d a t a m u s t b e a s c o m p r e h e n s i v e a s p o s s i b l e , g i v e n t h e l i m i t s o f t h e s t u d y , a n d 2 ) t h e d a t a b a s e s h o u l d b e " o p e n - e n d e d " i n t h e s e n s e t h a t i t c a n b e u p d a t e d a n d / o r e x p a n d e d w i t h n e w o r r e v i s e d i n f o r m a t i o n p e r i o d i c a l l y . 1 6 1 T h e v a r i o u s s t u d i e s a n d e x t a n t d a t a b a s e s w h i c h d e s c r i b e d o c t o r a l i n s t i t u t i o n s i n t h e U n i t e d S t a t e s w e r e c a r e f u l l y s t u d i e d p r i o r t o d a t a s e l e c t i o n . A l l d a t a s e l e c t e d f o r t h e d a t a b a s e w e r e c h o s e n f o r t h e i r a c c u r a c y , c o n s i s t e n c y , r e l i a b i l i t y , a n d a v a i l a b i l i t y . A l l d a t a i s f o r 1 9 8 1 - 1 9 8 2 ( a c a d e m i c o r f i s c a l y e a r ) . T h e 1 9 8 1 - 8 2 s t u d y p e r i o d w a s u s e d b e c a u s e i t w a s t h e l a t e s t t i m e - p e r i o d f o r w h i c h a l l d a t a e l e m e n t s w e r e a v a i l a b l e w h e n t h e s t u d y w a s i n i t i a t e d . T h e P o p u l a t i o n - - T h e s t u d y p o p u l a t i o n c o n s i s t e d o f t h e o n e h u n d r e d a n d s e v e n t y - o n e i n s t i t u t i o n s o f h i g h e r e d u c a t i o n i n t h e U n i t e d S t a t e s c l a s s i f i e d b y t h e N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s ( N C E S ) a s " d o c t o r a l - l e v e l " ( B r o y l e s a n d F e r n a n d e z , 1 9 8 4 ) . T h e N C E S b a s e s i t s c l a s s i f i c a t i o n o f h i g h e r e d u c a t i o n i n s t i t u t i o n s o n t h e n u m b e r a n d t y p e o f d e g r e e s a w a r d e d . T h u s , u n d e r t h e N C E S c l a s s i f i c a t i o n s y s t e m , d o c t o r a l - l e v e l i n s t i t u t i o n s a r e i n s t i t u t i o n s c h a r a c t e r i z e d b y a s i g n i f i c a n t l e v e l a n d b r e a d t h o f a c t i v i t y i n a n d , a c o m m i t m e n t t o , d o c t o r a l - l e v e l e d u c a t i o n , a s m e a s u r e d b y t h e n u m b e r o f d o c t o r a t e r e c i p i e n t s a n d t h e d i v e r s i t y o f d o c t o r a l - l e v e l p r o g r a m o f f e r i n g s . I t s h o u l d b e n o t e d t h a t t h e 1 9 8 1 - 1 9 8 2 p o p u l a t i o n w a s a m e n d e d t o r e f l e c t t h e 1 9 8 3 - 1 9 8 4 N C E S l i s t i n g o f d o c t o r a l - l e v e l i n s t i t u t i o n s . T h i s w a s d o n e i n o r d e r t o r e f l e c t n e c e s s a r y c l a s s i f i c a t i o n 1 6 2 a d j u s t m e n t s ( b o t h a d d i t i o n s a n d d e l e t i o n s ) m a d e b y t h e N C E S t o c o r r e c t i n a c c u r a c i e s i n h e r e n t i n a r e v i s i o n o f t h e c l a s s i f i c a t i o n s y s t e m , w h i c h w a s i m p l e m e n t e d d u r i n g t h e 1 9 8 1 - 1 9 8 2 s t u d y y e a r . T h e a m e n d e d a l p h a b e t i c a l l i s t i n g o f t h e 1 9 8 1 - 1 9 8 2 s t u d y p o p u l a t i o n o f d o c t o r a l i n s t i t u t i o n s m a y b e f o u n d i n A p p e n d i x A . T h e D a t a — - T h r e e - m a j o r t y p e s o f d a t a ( t h a t i s , t h e d a t a a t t r i b u t e s o r v a r i a b l e s ) w h i c h c h a r a c t e r i z e t h e d o c t o r a l i n s t i t u t i o n p o p u l a t i o n a r e i n c l u d e d i n t h e d a t a b a s e . 1 ) I d e n t i f i c a t i o n d a t a ( t w o d a t a v a r i a b l e s ) : t h e d o c t o r a l i n s t i t u t i o n n a m e ( I N S T ) a n d t h e F e d e r a l I n t e r a g e n c y C o m m i t t e e o n E d u c a t i o n ( F I C E ) c o d e w e r e u s e d s i m p l y t o i d e n t i f y t h e d o c t o r a l i n s t i t u t i o n s w i t h i n t h e p o p u l a t i o n . 2 ) O b b e g o r i c a l o r d e m o g r a p h i c d a t a ( n i n e d a t a v a r i a b l e s ) , i n c l u d i n g S T A T E , A F F I L , a n d S E X w e r e u s e d t o r e s t r u c t u r e t h e p o p u l a t i o n f o r a n a l y t i c a l s t u d y p u r p o s e s . 3 ) Q u a n t i t a t i v e d a t a ( t h i r t y - e i g h t d a t a v a r i a b l e s ) c o n s i s t i n g o f m e a s u r e m e n t s ( t h i r t y - t h r e e d a t a v a r i a b l e s ) a n d q u a l i t y r a t i n g s ( f i v e d a t a v a r i a b l e s ) w e r e u s e d t o d e s c r i b e t h e i m p o r t a n t m e a s u r e a b l e c h a r a c t e r i s t i c s o f d o c t o r a l i n s t i t u t i o n s . T h e p r i m a r y s o u r c e o f t h e d a t a i n t h e d a t a b a s e w a s t h e N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s ( N C E S ) , w h o s e m a j o r p u r p o s e i s t o c o l l e c t a n d d i s s e m i n a t e s t a t i s t i c s a n d o t h e r d a t a w h i c h r e f l e c t t h e 1 6 3 c o n d i t i o n o f e d u c a t i o n i n t h e U n i t e d S t a t e s . T h e m a j o r i t y o f t h i s d a t a w a s i n t h e f o r m o f h a r d c o p y " d u m p s " f r o m c o m p u t e r t a p e s p r o d u c e d b y t h e N C E S f r o m s e l f - r e p o r t e d r a w d a t a c o l l e c t e d f r o m d o c t o r a l i n s t i t u t i o n s v i a t h e H i g h e r E d u c a t i o n G e n e r a l I n f o r m a t i o n S u r v e y ( H E G I S ) . H a r d c o p y d a t a d u m p s w e r e s e l e c t e d o v e r c o m p u t e r t a p e s b e c a u s e o f o v e r a l l c o s t a n d t i m e c o n s t r a i n t s . T h e H E G I S s u r v e y i s a c o m p r e h e n s i v e n a t i o n - w i d e s y s t e m o f b a s i c d a t a o n h i g h e r e d u c a t i o n w h i c h i n c l u d e s a l l a c c r e d i t e d i n s t i t u t i o n s o f h i g h e r e d u c a t i o n i n t h e U n i t e d S t a t e s . T h e d a t a h a v e b e e n c o l l e c t e d o n a r e g u l a r b a s i s u n d e r s t a n d a r d i z e d c o n d i t i o n s s i n c e 1 9 6 6 s o d a t a t e r m i n o l o g y , d e f i n i t i o n s , a n d p r o c e d u r e s a r e w e l l - e s t a b l i s h e d . S e v e n s e p a r a t e s u r v e y s c o m p r i s e H E G I S X V I ( 1 9 8 1 - 8 2 ) a n d H E G I S X V I I ( 1 9 8 2 - 8 3 ) f o r t h e 1 9 8 1 - 8 2 s t u d y y e a r . T h e y a r e i n d i c a t e d b e l o w : - I n s t i t u t i o n a l C h a r a c t e r i s t i c s - F a l l E n r o l l m e n t - E a r n e d D e g r e e s - S a l a r i e s - L i b r a r i e s - F i n a n c e - R e s i d e n c e a n d M i g r a t i o n F i v e o f t h e s u r v e y s l i s t e d a b o v e : I n s t i t u t i o n a l C h a r a c t e r i s t i c s , F a l l E n r o l l m e n t , E a r n e d D e g r e e s , S a l a r i e s , a n d F i n a n c e a r e a d m i n i s t e r e d a n n u a l l y a n d w e r e u s e d e x t e n s i v e l y i n t h i s s t u d y . T h e s u r v e y s o n 1 6 4 L i b r a r i e s a n d R e s i d e n c e a n d M i g r a t i o n o f C o l l e g e S t u d e n t s a r e c o n d u c t e d o n a n o n - a n n u a l b a s i s . O f t h e s e t w o , o n l y t h e s u r v e y o f L i b r a r i e s w a s u s e d i n t h e s t u d y . D a t a r e l a t i n g t o f a c u l t y c o m p e n s a t i o n , a l t h o u g h c o l l e c t e d i n t h e H E G I S s u r v e y o f S a l a r i e s , w a s i n c o m p l e t e a n d , t h u s , w a s n o t u s e d i n t h e s t u d y . p I n s t e a d , c o m p e n s a t i o n ( s a l a r i e s a n d b e n e f i t s ) d a t a w a s o b t a i n e d f r o m t h e A m e r i c a n A s s o c i a t i o n o f U n i v e r s i t y P r o f e s s o r s ( A A U P ) w h o p r o d u c e a c o m p l e t e d a n d r e v i s e d f o r m o f H E G I S a c a d e m i c s a l a r y / b e n e f i t d a t a . L i k e w i s e , d a t a r e l a t i n g t o l i b r a r i e s w a s s e l e c t e d f r o m ' t h a t c o l l e c t e d i n t h e H E G I S s u r v e y o f L i b r a r i e s , b u t w h i c h w a s p r o c e s s e d a n d p u b l i s h e d b y t h e A s s o c i a t i o n o f C o l l e g e a n d R e s e a r c h L i b r a r i e s ( A C R L ) . D a t a r e l a t i n g t o t h e " a c a d e m i c q u a l i t y “ o f i n s t i t u t i o n s w a s s e l e c t e d f r o m t h r e e m a j o r s o u r c e s . T h e f i r s t s o u r c e w a s t h e f i v e v o l u m e a s s e s s m e n t o f g r a d u a t e e d u c a t i o n s p o n s o r e d b y T h e C o n f e r e n c e B o a r d o f t h e A s s o c i a t e d R e s e a r c h C o u n c i l s ( J o n e s , L i n d z e y , a n d C o g g e s h a l l , 1 9 8 2 ) w h i c h w a s d e s c r i b e d i n d e t a i l i n C h a p t e r I I . T h e f i n a l t w o s o u r c e s w e r e t h e t w o r e v i s e d r a t i n g r e p o r t s b y J a c k G o u r m a n ( 1 9 8 3 ) o n g r a d u a t e a n d u n d e r g r a d u a t e e d u c a t i o n . A d d i t i o n a l l y , o n e c a t e g o r i c a l v a r i a b l e , A A U Y R , r e l a t i n g t o t h e m e m b e r s h i p s t a t u s o f d o c t o r a l 1 6 5 i n s t i t u t i o n s i n t h e A m e r i c a n A s s o c i a t i o n o f U n i v e r s i t i e s ( A A U ) , w a s o b t a i n e d f r o m a m e m b e r s h i p l i s t i n g p u b l i s h e d b y t h e A A U a n d i n c o r p o r a t e d i n t o t h e d a t a b a s e . F i l e O r g a n i z a t i o n a n d C o n t e n t s - - T h e D o c t o r a l I n s t i t u t i o n D a t a B a s e c o n s i s t s o f t w o c o m p u t e r i z e d f i l e s , D I D e m S D F C a n d D I A R E Q . E a c h f i l e c o n t a i n s a d a t a r e c o r d f o r e a c h o f t h e o n e h u n d r e d a n d s e v e n t y - o n e d o c t o r a l i n s t i t u t i o n s i n t h e U n i t e d S t a t e s i n t h e s t u d y p o p u l a t i o n . T h e d a t a r e c o r d s i n e a c h f i l e a r e a r r a n g e d i n a l p h a b e t i c a l s e q u e n c e a c c o r d i n g t o t h e n a m e o f t h e i n s t i t u t i o n . I n a d d i t i o n t o t h e i n s t i t u t i o n n a m e , e a c h d a t a r e c o r d c o n t a i n s o b s e r v a t i o n s o n i m p o r t a n t c h a r a c t e r i s t i c s o f d o c t o r a l i n s t i t u t i o n s . T h e i d e n t i f i c a t i o n a n d c a t e g o r i c a l d a t a i n t h e d a t a b a s e w e r e a r b i t r a r i l y a s s i g n e d f i l e s p a c e . T h e q u a n t i t a t i v e d a t a w a s o r g a n i z e d i n t o e i g h t c l u s t e r s o r d o m a i n s b a s e d o n t h e " r e l a t e d n e s s ” i m p l i c i t i n b o t h t h e H E G I S s u r v e y a n d i n t h e h i g h e r e d u c a t i o n l i t e r a t u r e . T h e y a r e a s f o l l o w s : 1 ) S - S t u d e n t 2 ) D - D e g r e e 3 ) F - F a c u l t y 4 ) C - C o m p e n s a t i o n 5 ) A - A s s e t 6 ) R - R e v e n u e 7 ) E - E x p e n d i t u r e 8 ) Q - Q u a l i t y 1 6 6 E a c h d o m a i n c o n t a i n s f r o m t h r e e t o s i x v a r i a b l e s . E a c h v a r i a b l e h a s b e e n a s s i g n e d a n " i n t e l l i g e n t " a l p h a c o d e o f f r o m t h r e e t o e i g h t c a p i t a l l e t t e r s f o r i d e n t i f i c a t i o n p u r p o s e s . T h e c o d e s f o r t h e c a t e g o r i c a l v a r i a b l e s a r e e a s i l y i d e n t i f i a b l e ( f o r e x a m p l e , S T A T E a n d A F F I L ) , s i n c e t h e y a r e e i t h e r i d e n t i c a l t o t h e v a r i a b l e n a m e o r a r e a n a b b r e v i a t e d f o r m o f i t . F o r t h e q u a n t i t a t i v e v a r i a b l e s , t h e f i r s t l e t t e r i n t h e v a r i a b l e c o d e i d e n t i f i e s t h e d o m a i n o f t h e v a r i a b l e a n d , i n m a n y c a s e s , a l s o t h e f i r s t l e t t e r o f t h e k e y w o r d i n t h e d e f i n i t i o n . T h e r e m a i n i n g l e t t e r s c o n v e y , a s b r i e f l y a n d a s a c c u r a t e l y a s p o s s i b l e , t h e m e a n i n g o f t h e v a r i a b l e . F o r e x a m p l e , D E G S T O T i n d i c a t e s t h a t t h e v a r i a b l e i s i n t h e D e g r e e d o m a i n a n d r e p r e s e n t s t o t a l d e g r e e s g r a n t e d a n d A G E i n d i c a t e s t h a t t h e v a r i a b l e i s i n t h e A s s e t d o m a i n a n d r e p r e s e n t s t h e a g e o f t h e i n s t i t u t i o n . T h e d a t a v a r i a b l e s t r u c t u r e , t y p e , c o d e , n u m b e r , a n d f i l e l o c a t i o n , a l o n g w i t h t h e n u m b e r o f r e s p o n d e n t s ( t h a t i s , i n s t i t u t i o n s p r o v i d i n g d a t a f o r e a c h v a r i a b l e ) , a r e p r e s e n t e d i n T a b l e 5 b e l o w . A l i s t i p g j o f d a t a v a r i a b l e s w i t h d e f i n i t i o n s a n d d a t a s o u r c e s o f t h e f o r t y - n i n e s t u d y v a r i a b l e s i s p r e s e n t e d i n A p p e n d i x B . 1 6 7 T a b l e 5 . D a t a V a r i a b l e S t r u c t u r e , T y p e , C o d e , N u m b e r , a n d F i l e L o c a t i o n w i t h N u m b e r o f R e s p o n d e n t s D a t a V a r i a b l e S t r u c t u r e ! T y p e / C o d e / N u m b e r F i l e L o c a t i o n R e s p o n d e n t s I . I d e n t i f i c a t i o n ( 2 ) I N S T D I D e m S D F C 1 & D I A R E Q 1 1 7 1 F I C E D I D e m S D F C 2 1 7 1 I I . C a t e g g r i c a l ( 9 ) S T A T E D I D e m S D F C 3 1 7 1 R E G I O N D I D e m S D F C 4 1 7 1 A F F I L D I D e m S D F C 5 1 7 1 S T A T U S D I D e m S D F C 6 1 7 1 - L N D G R N T D I D e m S D F C 7 1 7 1 A A U Y R D I D e m S D F C 8 1 7 1 C A L N D R D I D e m S D F C 9 1 7 1 S E X D I D e m S D F C 1 0 1 7 1 R A C E / E T H D I D e m S D F C 1 1 1 7 1 I I I . Q u a n t i t a t i v e ( 3 8 ) S - S t u d e n t ( 4 ) S T D H D C T D I D e m S D F C 1 2 1 7 1 S T D F T E D I D e m S D F C 1 3 1 7 1 S G H D C T D I D e m S D F C 1 4 1 7 1 S G H D C T F T D I D e m S D F C 1 5 1 7 1 D - D e g r e e ( 4 ) D E G S T O T D I D e m S D F C 1 6 1 7 1 D E G S M A S D I D e m S D F C 1 7 1 7 1 D E G S D O C D I D e m S D F C 1 8 1 7 1 D E G S F P D I D e m S D F C 1 9 1 7 1 F - F a c u l t y ( 5 ) F A C T O T D I D e m S D F C 2 0 1 6 9 F A C T E N D I D e m S D F C 2 1 1 6 9 F T E N P R F D I D e m S D F C 2 2 1 6 9 F T E N A S C D I D e m S D F C 2 3 1 6 9 F T E N A S T D I D e m S D F C 2 4 1 6 9 C - C o m p e n s a t i o n ( 3 ) C O M P P R F A D I D e m S D F C 2 5 1 5 7 C O M P A S C A D I D e m S D F C 2 6 1 5 7 C O M P A S T A D I D e m S D F C 2 7 1 5 6 A - A s s e t ( 6 ) A G E D I A R E Q 2 1 7 1 A E N D O W D I A R E Q 3 1 7 1 A B L D G D I A R E Q 4 1 7 1 A E Q U I P D I A R E Q 5 1 7 1 A L V O L S D I A R E Q 6 1 6 8 A L S U B S D I A R E Q 7 1 6 4 1 6 8 T a b l e 5 ( C o n t ' d . ) . D a t a V a r i a b l e S t r u c t u r e / T y p e / C o d e / N u m b e r F i l e L o c a t i o n R e s p o n d e n t s R - R e v e n u e ( 5 ) R T O T D I A R E Q 8 1 7 1 R G V T G C D I A R E Q 9 1 7 1 R P R V G G C D I A R E Q 1 0 1 7 1 R T U I T F E D I A R E Q 1 1 1 7 1 R A P P R O P D I A R E Q 1 2 1 7 1 E - E x p e n d i t u r e ( 6 ) E I N S T R D I A R E Q 1 3 1 7 1 E A C A D S P D I A R E Q 1 4 1 7 1 E P L N T D I A R E Q 1 5 1 7 1 E R E S D I A R E Q 1 6 1 7 1 E S T D S V C D I A R E Q 1 7 1 7 1 E S C H F E L D I A R E Q 1 8 1 7 1 Q - Q u a l i t y ( 5 ) Q A R C F A C D I A R E Q 1 9 1 6 2 Q A R C P R G D I A R E Q 2 0 1 6 2 Q A R C N D I A R E Q 2 1 1 6 2 Q G R M N G D I A R E Q 2 2 1 6 9 Q G R M N U G D I A R E Q 2 3 1 6 3 T o t a l = 4 9 v a r i a b l e s N o t e : E l . = D o c t o r a l I n s t i t u t i o n ; D e m S D F C 8 I d e n t i f i c a t i o n a n d D e m o g r a p h i c d a t a a n d d a t a f r o m t h e S t u d e n t , D e g r e e , F a c u l t y , a n d C o m p e n s a t i o n D o m a i n s ; A R E Q = D a t a f r o m t h e A s s e t , R e v e n u e , E x p e n d i t u r e , a n d Q u a l i t y D o m a i n s . P h a s e s t w o t h r o u g h s i x d e s c r i b e t h e r e s e a r c h m e t h o d s a n d p r o c e d u r e s u s e d t o a c h i e v e t h e f i v e s t u d y o b j e c t i v e s d e s c r i b e d e a r l i e r . I n e a c h p h a s e , t h e o b j e c t i v e i s b r i e f l y r e s t a t e d a n d t h e r e s e a r c h a n d s t a t i s t i c a l m e t h o d s a n d p r o c e d u r e s w h i c h w e r e u s e d t o a c h i e v e t h e o b j e c t i v e a r e d e s c r i b e d . I n s e v e r a l i n s t a n c e s , a p a r t i c u l a r s t a t i s t i c a l m e t h o d ( t h a t i s , c o r r e l a t i o n , f a c t o r , a n d r e g r e s s i o n a n a l y s i s ) w a s u s e d 1 6 9 t o a c h i e v e m o r e t h a n o n e o b j e c t i v e . I n s u c h c a s e s , t h e m e t h o d w i l l b e f u l l y d e s c r i b e d o n l y u p o n i t s f i r s t u s e a n d s i m p l y r e f e r e n c e d l a t e r . T h e f o l l o w i n g t a b l e ( s e e T a b l e 6 b e l o w ) w i l l b e u s e f u l t o t h e r e a d e r t o k e e p i n m i n d t h e s t a t i s t i c a l s y m b o l s a n d d e f i n i t i o n s u s e d i n t h e d i s c u s s i o n o f t h e d e s c r i p t i v e a n a l y s e s w h i c h f o l l o w s . T h e s e s y m b o l s w i l l a l s o b e r e f e r r e d t o p e r i o d i c a l l y i n C h a p t e r 4 . T a b l e 6 . S y m b o l s a n d D e f i n i t i o n s U s e d i n t h e D e s c r i p t i v e A n a l y s e s S y m b o l D e f i n i t i o n 1 T h e i n s t i t u t i o n , i = 1 , 2 , . . . N . N T h e n u m b e r o f i n s t i t u t i o n s , 1 7 1 i n m o s t c a s e s . j T h e o b s e r v e d v a r i a b l e , j = 1 , 2 , . . . , n . n T h e n u m b e r o f v a r i a b l e s , t h a t i s 3 8 . X , , T h e d a t a v a l u e f o r i n s t i t u t i o n i o n v a r i a b l e j . n u T h e p o p u l a t i o n m e a n f o r v a r i a b l e j . 0 3 T h e p o p u l a t i o n s t a n d a r d d e v i a t i o n f o r v a r i a b l e j . M d , T h e m e d i a n o f v a r i a b l e j . I T h e i n t e r v a l i n w h i c h t h e m e d i a n i s l o c a t e d . L L I T h e l o w e r r e a l l i m i t o f t h e i n t e r v a l i n w h i c h t h e m e d i a n i s l o c a t e d . f T h e f r e q u e n c y i n t h e i n t e r v a l i n w h i c h t h e m e d i a n i s l o c a t e d . c f T h e c u m u l a t i v e f r e q u e n c y u p t o t h e i n t e r v a l i n w h i c h t h e m e d i a n i s l o c a t e d . 1 7 0 T a b l e 6 ( C o n t ' d . ) . S y m b o l D e f i n i t i o n 2 . , T h e s t a n d a r d i z e d v a l u e ( Z - s c o r e ) o f i n s t i t u t i o n i o n v a r i a b l e j . P 1 : T h e t r a n s f o r m e d f o r m o f 2 , , o r t h e p r o f i l e s c o r e o r P - s c o r e o f i n s t i t u t i o n i o n v a r i a b l e j . S k , T h e s k e w n e s s o f t h e d i s t r i b u t i o n o f v a l u e s o f v a r i a b l e j . I t s h o u l d b e n o t e d t h a t t w o t y p e s o f d a t a v a l u e s o r s c o r e s w e r e u s e d i n t h e s t a t i s t i c a l a n a l y s e s a n d r e p o r t i n g : 1 ) t h e r a w d a t a v a l u e s a n d 2 ) c o n v e r t e d o r t r a n s f o r m e d s t a n d a r d s c o r e f o r m s o f t h o s e v a l u e s , Z - s c o r e s . R a w d a t a v a l u e s w e r e u s e d , a n d a r e t h e v a l u e s r e p o r t e d , i n t h e d e s c r i p t i v e a n a l y s e s o f t h e c a t e g o r i c a l v a r i a b l e s a n d i n t h o s e d e s c r i p t i v e a n a l y s e s d e a l i n g w i t h o r d e r e d l i s t i n g s o f i n s t i t u t i o n s ( t h a t i s , r a n k i n g s ) , a s w e l l a s i n t h e s u m m a r y s t a t i s t i c s ( t h a t i s , t h e m e d i a n , m e a n , s t a n d a r d d e v i a t i o n , r a n g e , r a n g e t o s t a n d a r d d e v i a t i o n r a t i o , a n d s k e w n e s s ) f o r e a c h v a r i a b l e . T r a n s f o r m e d f o r m s o f t h e d a t a v a l u e s w e r e u s e d i n a l l f o r m u l a s r e l a t i n g t o t h e c o r r e l a t i o n , f a c t o r , a n d r e g r e s s i o n a n a l y s e s a n d a r e t h e d a t a v a l u e s r e p o r t e d i n t h e p r o f i l e s . T h e n e c e s s i t y f o r t h e t r a n s f o r m a t i o n o f t h e d a t a v a l u e s i s a p p a r e n t w h e n o n e o b s e r v e s , u p o n i n s p e c t i o n , 1 7 1 t h a t t h e d a t a v a l u e s , a s c o l l e c t e d , a r e n o t c o m p a r a b l e ( t h a t i s , t h e y h a v e n o c o m m o n m e t r i c ) . F o r e x a m p l e , S T D H D C T i s a c o u n t o f s t u d e n t s m e a s u r e d n u m e r i c a l l y o n a s c a l e f r o m 4 9 t o 6 5 , 1 8 4 ; A E N D O W i s a q u a n t i t y m e a s u r e d i n d o l l a r s o n a s c a l e f r o m $ 0 . 0 0 t o $ 1 , 7 0 1 , 2 2 9 , 4 7 5 ; a n d Q A R C F A C i s a r a t i n g m e a s u r e d n u m e r i c a l l y i n p o i n t s r a n g i n g f r o m 0 t o 1 5 , 8 9 0 . T h e r e f o r e , s t a n d a r d i z a t i o n w a s n e c e s s a r y f o r t h e c o m p a r i s o n o f i n s t i t u t i o n s i n s t a t i s t i c a l a n a l y s i s a n d r e p o r t i n g . T h e c o n v e r s i o n o f t h e r a w d a t a v a l u e s t o Z - s c o r e s w a s a u t o m a t i c a l l y h a n d l e d i n t h e A - S t a t 8 3 s o f t w a r e . H o w e v e r , f o r t h e p r o f i l e a n a l y s i s , t h e y w e r e c a l c u l a t e d w i t h t h e A p p l e W o r k s s p r e a d s h e e t p r o g r a m . T h e t r a n s f o r m a t i o n p r o c e d u r e u s e d w i l l b e f u l l y d e s c r i b e d b e l o w . T h e D e s c r i p t i v e A n a l y s e s I n t r o d u c t i o n T h e m a j o r p u r p o s e o f P h a s e 2 , t h e d e s c r i p t i v e a n a l y s e s , w a s t o m e e t s t u d y o b j e c t i v e o n e . O b j e c t i v e o n e a n d i t s a s s o c i a t e d r e s e a r c h q u e s t i o n a r e a s f o l l o w s : O b j e c t i v e 1 : T o d e s c r i b e t h e p o p u l a t i o n o f o n e h u n d r e d a n d s e v e n t y - o n e A m e r i c a n d o c t o r a l i n s t i t u t i o n s , u s i n g a c o m p r e h e n s i v e s e t o f f o r t y - n i n e o b s e r v a b l e v a r i a b l e s . 1 7 2 R 1 . W h a t c h a r a c t e r i z e s t h e p o p u l a t i o n o f o n e h u n d r e d a n d s e v e n t y - o n e A m e r i c a n d o c t o r a l i n s t i t u t i o n s ? S u c h c o m p r e h e n s i v e d e s c r i p t i v e a n a l y s e s a r e i m p o r t a n t s i n c e t h e y p r o v i d e i n f o r m a t i o n a b o u t s o m e o f t h e b a s i c s t a t i s t i c a l c h a r a c t e r i s t i c s o f t h i s p o w e r f u l g r o u p o f i n s t i t u t i o n s , w h i c h e d u c a t e , n o t o n l y t h e l e a d e r s o f t h e U n i t e d S t a t e s , b u t i n d e e d , m a n y o f t h e l e a d e r s t h r o u g h o u t t h e e n t i r e w o r l d . T h e d e s c r i p t i v e a n a l y s e s a l s o s e r v e t o s e t t h e s t a g e f o r l a t e r , m o r e c o m p l e x , a n a l y s e s . T w o t y p e s o f d e s c r i p t i v e a n a l y s e s w e r e p e r f o r m e d , o n e f o r c a t e g o r i c a l v a r i a b l e s a n d o n e f o r q u a n t i t a t i v e v a r i a b l e s . C a t g g g r i c a l V a r i a b l e s A n a l y s i s o f t h e n i n e c a t e g o r i c a l v a r i a b l e s c o n s i s t e d o f t h e p r e p a r a t i o n o f l i s t i n g s f o r e a c h v a r i a b l e s o r t e d a l p h a b e t i c a l l y b y i n s t i t u t i o n n a m e w i t h i n v a r i a b l e s u b - c a t e g o r i e s . I n m o s t c a s e s , f r e q u e n c y t a b l e s w e r e a l s o p r e p a r e d t o s u m m a r i z e v a r i a b l e i n f o r m a t i o n . T h e l i s t i n g s a n d f r e q u e n c y t a b l e s w e r e p r e p a r e d w i t h A p p l e W o r k s b y s o r t i n g e a c h v a r i a b l e i n t h e d a t a b a s e a n d t h e n t r a n s f e r r i n g t h e r e s u l t s t o t h e w o r d p r o c e s s i n g p r o g r a m f o r r e p o r t i n g . 1 7 3 Q u a n t i t a t i v e V a r i a b l e s I n t r o d u c t i o n A n a l y s i s o f t h e q u a n t i t a t i v e v a r i a b l e s w a s b a s e d u p o n t h e t h i r t y - e i g h t q u a n t i t a t i v e v a r i a b l e s d e s c r i b e d e a r l i e r . T h e d a t a m a t r i x u s e d i n c l u d e d t h e o n e h u n d r e d a n d s e v e n t y - o n e i n s t i t u t i o n s ( d e n o t e d a s i ) a n d t h e t h i r t y - e i g h t q u a n t i t a t i v e v a r i a b l e s ( d e n o t e d a s j ) o r a m a t r i x w i t h 1 7 1 r o w s a n d 3 8 c o l u m n s . T w o m a j o r t y p e s o f d e s c r i p t i v e a n a l y s e s o f t h e t h i r t y - e i g h t q u a n t i t a t i v e v a r i a b l e s w e r e p e r f o r m e d : 1 ) s u m m a r y s t a t i s t i c s a n d 2 ) r a n k i n g s o r o r d e r e d l i s t i n g s . E a c h o f t h e s e t y p e s o f a n a l y s e s i s d i s c u s s e d i n d e t a i l b e l o w . S u m m a r y , S t a t i s t i c s S u m m a r y s t a t i s t i c s w e r e u s e d t o o b t a i n i n f o r m a t i o n a b o u t t h e p o p u l a t i o n o f d o c t o r a l i n s t i t u t i o n s a s a w h o l e a n d a b o u t t h e r e l a t i o n s h i p o f t h e v a r i a b l e s t o e a c h o t h e r . S i x s u m m a r y s t a t i s t i c s w e r e c a l c u l a t e d f o r e a c h o f t h e t h i r t y - e i g h t q u a n t i t a t i v e v a r i a b l e s t o d e t e r m i n e t h e t h r e e m a j o r p r o p e r t i e s o f t h e d i s t r i b u t i o n s o r g r o u p s o f d a t a v a l u e s : 1 ) c e n t r a l t e n d e n c y ( t h e m e d i a n a n d t h e m e a n ) , 2 ) v a r i a b i l i t y ( t h e r a n g e , s t a n d a r d d e v i a t i o n , a n d r a n g e t o s t a n d a r d d e v i a t i o n r a t i o ) , a n d 3 ) s y m m e t r y ( s k e w n e s s ) . 1 7 4 T h e m e d i a n a n d t h e m e a n a r e m e a s u r e s o f t h e c e n t r a l t e n d e n c y ( t h a t i s , t h e c e n t r a l v a l u e o r " s i z e " ) o f e a c h v a r i a b l e . M e a s u r e s o f c e n t r a l t e n d e n c y d e s c r i b e t h e s i z e o r c o n c e n t r a t i o n o f a g r o u p o f v a l u e s o n a n u m b e r s c a l e , b u t t h e y d i s r e g a r d t h e d i f f e r e n c e s t h a t e x i s t a m o n g t h e s e p a r a t e v a l u e s . M u l t i p l e m e a s u r e s w e r e u s e d f o r c e n t r a l t e n d e n c y i n t h e p r e s e n t s t u d y d u e t o t h e f a c t t h a t n o s i n g l e m e a s u r e o f c e n t r a l t e n d e n c y a d e q u a t e l y d e s c r i b e s a l l t h e v a l u e s i n a g r o u p . T h e f i r s t m e a s u r e o f c e n t r a l t e n d e n c y u s e d , t h e m e d i a n , i s d e f i n e d a s t h e 5 0 t h p e r c e n t i l e i n a g r o u p o f v a l u e s . I t i s t h e v a l u e t h a t d i v i d e s t h e r a n k e d v a l u e s i n t o h a l v e s , s u c h t h a t h a l f o f t h e v a l u e s a r e l a r g e r a n d h a l f o f t h e v a l u e s a r e s m a l l e r t h a n t h e m e d i a n v a l u e . M e d i a n s w e r e c o m p u t e d o n t h e u n g r o u p e d r a w d a t a v a l u e s . T h e f o r m u l a ( G l a s s a n d S t a n l e y , 1 9 7 0 , 6 0 ) u s e d f o r c o m p u t i n g t h e m e d i a n i s a s f o l l o w s : - M d , = L L I + I ( N / 2 ) - c f ) f w h e r e j i s t h e v a r i a b l e ( j = 1 , 2 , . . . , n ) , n i s t h e n u m b e r o f v a r i a b l e s ( 3 8 ) , I i s t h e i n t e r v a l i n w h i c h t h e m e d i a n i s l o c a t e d ( t h a t i s , t h e m e d i a n i n t e r v a l ) , L L I i s t h e l o w e r r e a l l i m i t o f I , N i s t h e n u m b e r o f i n s t i t u t i o n s , c f i s t h e c u m u l a t i v e f r e q u e n c y u p t o I , f 1 7 5 i s t h e f r e q u e n c y i n I , a n d M d , i s t h e m e d i a n o f v a r i a b l e j . T h e s e c o n d m e a s u r e o f c e n t r a l t e n d e n c y , t h e a v e r a g e o r m e a n Q u . o r m u ) v a l u e o f a g r o u p o f v a l u e s i n a p o p u l a t i o n i s f o u n d b y s u m m i n g a l l v a l u e s a n d d i v i d i n g t h e m b y t h e i r n u m b e r . T h e f o r m u l a ( W h i t e , 1 9 7 3 , 3 8 ) u s e d i n t h e c a l c u l a t i o n o f t h e p o p u l a t i o n m e a n i s a s f o l l o w s : N M b 3 : 2 , x i : i = 1 N w h e r e i i s t h e i n s t i t u t i o n ( i = 1 , 2 , . . . , N ) , N i s t h e n u m b e r o f i n s t i t u t i o n s ( 1 7 1 ) , j i s t h e v a r i a b l e ( j = 1 , 2 , . . . , n ) , n i s t h e n u m b e r o f v a r i a b l e s ( 3 8 ) , X , , i s t h e v a l u e o f i n s t i t u t i o n i o n v a r i a b l e j , a n d l u u i s t h e p o p u l a t i o n m e a n o f v a r i a b l e j . W h e n i n t e r p r e t i n g t h e m e d i a n a n d m e a n , i t s h o u l d b e r e m e m b e r e d t h a t t h e m e d i a n i s n o t a f f e c t e d b y t h e s i z e o f t h e e x t r e m e l y " l a r g e “ a n d " s m a l l " v a l u e s a b o v e o r b e l o w i t . T h e m e a n , o n t h e o t h e r h a n d , i s a f f e c t e d b y t h e i n d i v i d u a l v a l u e s o f e y e p y v a l u e i n t h e s e t o f d a t a . C h a n g i n g e v e n o n e v a l u e c a n a f f e c t t h e v a l u e o f t h e m e a n , s o m e t i m e s d r a m a t i c a l l y s o . T h e m e a n i s e s p e c i a l l y a f f e c t e d b y “ o u t l i e r s , " t h a t i s , v a l u e s w h i c h l i e f a r f r o m t h e c e n t e r o f a g r o u p o f v a l u e s . 1 7 6 T h e r a n g e , s t a n d a r d d e v i a t i o n , a n d r a n g e t o s t a n d a r d d e v i a t i o n r a t i o m e a s u r e t h e v a r i a b i l i t y ( t h a t i s , t h e s c a t t e r i n g , d i s p e r s i o n , h e t e r o g e n e i t y , o r " s p r e a d " ) o f a s e t o f d a t a v a l u e s o f a v a r i a b l e . T h e 2 2 2 2 2 ( t h a t i s , t h e d i f f e r e n c e b e t w e e n t h e l a r g e s t a n d s m a l l e s t v a l u e s i n a g r o u p o f v a l u e s ) s i m p l y m e a s u r e s t h e f u l l d i s t a n c e a l o n g t h e n u m b e r s c a l e o v e r w h i c h t h e v a l u e s v a r y . R a n g e s a r e p r e s e n t e d i n t h e r e s u l t s s e c t i o n , a l o n g w i t h t h e m i n i m u m a n d m a x i m u m v a l u e s f o r e a c h v a r i a b l e . B e c a u s e t h e r a n g e i s d e t e r m i n e d b y j u s t t w o v a l u e s i n a g r o u p o f v a l u e s , i t i g n o r e s t h e s p r e a d o f a l l v a l u e s , e x c e p t t h e l a r g e s t a n d s m a l l e s t . T h u s , i t s d e s i g n a t i o n a s t h e c r u d e s t m e a s u r e o f v a r i a b i l i t y t h a t i s c o m m o n l y e m p l o y e d i s a p p a r e n t . I n t h i s s t u d y , t h e r a n g e s h o w s t h e m a x i m u m d i f f e r e n c e p o s s i b l e a m o n g d o c t o r a l i n s t i t u t i o n s o n e a c h v a r i a b l e . T h e s t a n d a r d d e v i a t i o n ( t h a t i s , t h e p o s i t i v e s q u a r e r o o t o f t h e v a r i a n c e ) i s a m e a s u r e o f t h e v a r i a b i l i t y o f e a c h d a t a v a l u e w i t h i n t h e g r o u p o f v a l u e s c o m p r i s i n g e a c h v a r i a b l e . A s t a n d a r d d e v i a t i o n w a s c a l c u l a t e d f o r e a c h o f t h e t h i r t y - e i g h t q u a n t i t a t i v e v a r i a b l e s u s i n g A - S t a t 8 3 . T h e u s u a l s t a n d a r d d e v i a t i o n p o p u l a t i o n f o r m u l a ( W h i t e , 1 9 7 3 , 4 1 ) w a s u s e d f o r c a l c u l a t i o n : 1 7 7 N 0 3 = 2 ( X ; , " L J ’ z i = 1 N w h e r e i i s t h e i n s t i t u t i o n ( i = 1 , 2 , . . . , N ) , N i s t h e n u m b e r o f i n s t i t u t i o n s ( 1 7 1 ) , j i s t h e v a r i a b l e ( j = 1 , 2 , . . . , n ) , n i s t h e n u m b e r o f v a r i a b l e s ( 3 8 ) , X ‘ , i s t h e v a l u e f o r i n s t i t u t i o n i o n v a r i a b l e j , , u u i s t h e p o p u l a t i o n m e a n o f v a r i a b l e j , a n d 0 3 i s t h e p o p u l a t i o n s t a n d a r d d e v i a t i o n o f v a r i a b l e j . A d d i t i o n a l l y , a r a n g e t o s t a n d a r d d e v i a t i o n r a t i o ( t h a t i s , t h e v a l u e o f t h e l e n g t h o f t h e r a n g e i n s t a n d a r d d e v i a t i o n u n i t s ) w a s c a l c u l a t e d w i t h t h e e x p e c t a t i o n t h a t t h e r a n g e s o f t h e d i s t r i b u t i o n s w o u l d f a l l w i t h i n t h e u s u a l 3 t o 6 s t a n d a r d d e v i a t i o n a r e a . I n i n t e r p r e t i n g t h e r a t i o , i t s h o u l d b e r e m e m b e r e d t h a t t h e l a r g e r t h e v a l u e , t h e m o r e e x t e n s i v e t h e r a n g e . S k e w n e s s ( s k ) w a s u s e d t o m e a s u r e t h e d e g r e e o f a s y m m e t r y o f t h e d i s t r i b u t i o n s o f t h e t h i r t y ~ e i g h t q u a n t i t a t i v e v a r i a b l e s . A s y m m e t r y i s o n e o f t h e m o r e i m p o r t a n t p r o p e r t i e s o f a d i s t r i b u t i o n s i n c e i t r e f l e c t s d e v i a t i o n f r o m t h e n o r m a l c u r v e . T h i s p a r t i c u l a r s t a t i s t i c c a n b e u s e d t o c o m p a r e t h e s k e w n e s s e s o f d i f f e r e n t d i s t r i b u t i o n s ( t h a t i s , o f t h e v a r i a b l e s ) b e c a u s e d i v i s i o n b y t h e s t a n d a r d d e v i a t i o n ( 0 ) m a k e s t h e m e a s u r e i n d e p e n d e n t o f t h e v a r i a b i l i t y o f a s p e c i f i c d i s t r i b u t i o n . T h e f o r m u l a ( G l a s s a n d 1 7 8 S t a n l e y , 1 9 7 0 , 9 0 ) u s e d f o r c a l c u l a t i n g s k e w n e s s i s a s f o l l o w s : S k J = 3 ( u d - M d , ) 0 3 w h e r e j i s t h e v a r i a b l e ( j = 1 , 2 , . . . , n ) , n i s t h e n u m b e r o f v a r i a b l e s ( 3 8 ) , , u 4 i s t h e p o p u l a t i o n m e a n o f v a r i a b l e j , M d , i s t h e m e d i a n o f v a r i a b l e j , G B i s t h e p o p u l a t i o n s t a n d a r d d e v i a t i o n o f v a r i a b l e j , a n d S k , i s t h e s k e w n e s s o f v a r i a b l e j . T h e s k e w n e s s o f a d i s t r i b u t i o n u s u a l l y f a l l s b e t w e e n — 3 a n d + 3 . A d i s t r i b u t i o n i s s a i d t o b e s y m m e t r i c a l w h e n t h e m e a n a n d m e d i a n a r e i d e n t i c a l ( S k = 0 ) . W h e n t h e m e a n i s g r e a t e r t h a n t h e m e d i a n ( t h a t i s , w h e n t h e v a l u e s p i l e u p t o w a r d t h e l o w e r v a l u e s a n d t h e u p p e r t a i l i s e x t e n d e d ) , t h e d i s t r i b u t i o n i s s a i d t o b e p o s i t i v e l y s k e w e d a n d w h e n t h e m e d i a n i s g r e a t e r t h a n t h e m e a n ( t h a t i s , t h e v a l u e s p i l e u p a t t h e h i g h e r e n d a n d t h e l o w e r t a i l i s e x t e n d e d ) , t h e d i s t r i b u t i o n i s s a i d t o b e n e g a t i v e l y s k e w e d . R a n k i n g s R a n k i n g s w e r e a l s o u s e d i n t h e s t u d y . R a n k i n g s o f i n s t i t u t i o n s b y s o m e v a r i a b l e ( f o r e x a m p l e , n u m b e r o f s t u d e n t s , l i b r a r y v o l u m e s , a n d g o v e r n m e n t g r a n t a n d c o n t r a c t r e v e n u e ) a r e p r o b a b l y t h e m o s t f r e q u e n t l y u s e d 1 7 9 m e a s u r e s o f i n s t i t u t i o n a l s t a n d i n g . T h i s t y p e o f a n a l y s i s ( t h a t i s , o r d e r i n g f r o m h i g h t o l o w i n t h i s c a s e ) w a s p e r f o r m e d f o r e a c h o f t h e t h i r t y - e i g h t q u a n t i t a t i v e v a r i a b l e s i n t h e s t u d y . R a n k i n g s a r e v a l u a b l e o n l y t o t h e e x t e n t t h a t t h e y c o n v e y s o m e g e n e r a l p e r s p e c t i v e o f s t a t u s r e l a t i v e t o a g r o u p . A s a b a s i s f o r d e c i s i o n m a k i n g , h o w e v e r , t h e y l e a v e m u c h t o b e d e s i r e d . R e d u c t i o n o f t h e D a t a B a s e I n t r o d u c t i o n T h e p u r p o s e o f P h a s e 3 w a s t o m e e t s t u d y o b j e c t i v e t w o , w h i c h i s s t a t e d b e l o w , a l o n g w i t h i t s a s s o c i a t e d r e s e a r c h q u e s t i o n . i j e c t i v e 2 : T o r e d u c e t h e n u m b e r o f t h i r t y - e i g h t o b s e r v a b l e q u a n t i t a t i v e v a r i a b l e s u s e d t o d e s c r i b e t h e p o p u l a t i o n o f d o c t o r a l i n s t i t u t i o n s t o a s m a l l e r s e t o f e i g h t " k e y v a r i a b l e s . " R 2 . C a n t h e l a r g e s e t o f t h i r t y - e i g h t q u a n t i t a t i v e v a r i a b l e s u s e d t o d e s c r i b e d o c t o r a l i n s t i t u t i o n s b e r e p l a c e d w i t h a s m a l l e r s e t o f e i g h t k e y v a r i a b l e s w i t h o u t a m a j o r l o s s o f i n f o r m a t i o n ? R e d u c t i o n o f t h e d a t a b a s e w a s d o n e f o r t w o r e a s o n s . F i r s t , t h e i n i t i a l n u m b e r o f t h i r t y - e i g h t q u a n t i t a t i v e v a r i a b l e s , a l t h o u g h g r e a t l y r e d u c e d f r o m t h e n u m b e r a c t u a l l y a v a i l a b l e a n d c o l l e c t e d , i s s i m p l y 1 8 0 t o o l a r g e f o r a n i n d i v i d u a l r e s e a r c h e r o r d e c i s i o n m a k e r t o r a p i d l y a s s i m i l a t e b e c a u s e o f t h e a m o u n t o f i n f o r m a t i o n p r o c e s s i n g r e q u i r e d . S t u d i e s o f c o g n i t i o n i n d i c a t e t h a t t h e m a x i m u m a m o u n t o f i n f o r m a t i o n t h a t c a n b e p r o c e s s e d b y p e o p l e w i t h o u t ” c h u n k i n g " i s a b o u t s e v e n ( t h a t i s , t h e m a g i c n u m b e r o f f i v e , p l u s o r m i n u s t w o ) . A s e c o n d r e a s o n i s t h a t f a c t o r a n a l y t i c s t u d i e s h a v e r e p e a t e d l y s h o w n t h a t m o s t o f t h e m e a n i n g c o n t a i n e d i n a l a r g e s e t o f v a r i a b l e s c a n b e c a p t u r e d b y o n l y a f e w o f t h e v a r i a b l e s . D a t a r e d u c t i o n i n t h e p r e s e n t s t u d y w a s a c h i e v e d t h r o u g h f i v e s t e p s : 1 ) f o r m u l a t i o n o f a t h e o r e t i c a l m o d e l o f t h e k e y f a c t o r s o r d o m a i n s u n d e r l y i n g t h e o b s e r v a b l e m e a s u r e s , t h a t i s , e s t i m a t i n g t h e n u m b e r o f u n d e r l y i n g f a c t o r s a n d p r o v i d i n g a g e n e r a l d e s c r i p t i o n o f t h e t y p e s o f v a r i a b l e s w h i c h d e f i n e t h e d o m a i n s ; 2 ) g r o u p i n g t h e v a r i a b l e s i n t o c l u s t e r s , o n e f o r e a c h d o m a i n o r f a c t o r ; 3 ) a s s e s s i n g t h e s i m i l a r i t y o r h i g h c o r r e l a t i o n o f t h e v a r i a b l e s w i t h i n e a c h d o m a i n t h r o u g h c o r r e l a t i o n a n a l y s i s ; 4 ) r e d u c i n g t h e n u m b e r o f v a r i a b l e s w i t h i n e a c h d o m a i n t h r o u g h f a c t o r o r d i m e n s i o n a l a n a l y s i s ; a n d 5 ) s e l e c t i n g o n e " k e y “ v a r i a b l e f r o m e a c h d o m a i n w h i c h b e s t r e p r e s e n t s t h e d o m a i n . T h e f i r s t t w o s t e p s i n t h e d a t a r e d u c t i o n m e t h o d d e s c r i b e d a b o v e a r e u s u a l l y r e f e r r e d t o a s a t y p e o f " c l u s t e r a n a l y s i s . ” B o t h o f t h e s e s t e p s w i l l 1 8 1 b e d e s c r i b e d i n t h e d i s c u s s i o n o f c l u s t e r a n a l y s i s w h i c h f o l l o w s . T h e C l u s t e r A n a l y s i s C l u s t e r a n a l y s i s r e f e r s t o a w i d e v a r i e t y o f t e c h n i q u e s u s e d t o g r o u p o b j e c t s o r e n t i t i e s ( 0 a n a l y s i s ) o r a t t r i b u t e s o r v a r i a b l e s ( V a n a l y s i s ) i n t o s u b s e t s ( t h a t i s , c l u s t e r s o r d o m a i n s ) o n t h e b a s i s o f s i m i l a r i t y i n o r d e r t o d e f i n e d i m e n s i o n s o r f a c t o r s ( L o r r , 1 9 8 3 , 1 1 ) . T h e c l u s t e r a n a l y t i c t e c h n i q u e u s e d i n t h e p r e s e n t s t u d y ( V a n a l y s i s ) i s s o m e t i m e s a l s o r e f e r r e d t o a s " t h e o r y - d i r e c t e d f a c t o r a n a l y s i s , " b e c a u s e t h e c l u s t e r i n g o f t h e a t t r i b u t e s o r v a r i a b l e s i s b a s e d o n t h e o r e t i c a l a p r i o r i d e c i s i o n s o f w h a t t h e f a c t o r s a r e a n d h o w m a n y a r e n e c e s s a r y ( H u l a i k , 1 9 7 2 , 3 6 1 - 3 6 3 ) . T h e t h e o r y u s e d t o e s t a b l i s h t h e c l u s t e r s i n t h e p r e s e n t s t u d y w a s t o a d o p t t h e s e v e n d o m a i n t h e o r y i m p l i c i t i n t h e h i g h e r e d u c a t i o n l i t e r a t u r e a n d t h e H E G I S c l a s s i f i c a t i o n o f h i g h e r e d u c a t i o n i n s t i t u t i o n d a t a a n d t o a d d t o t h a t a n a d d i t i o n a l c l u s t e r f o r i n s t i t u t i o n q u a l i t y . T h e v a r i a b l e s s e l e c t e d t o f o r m e a c h c l u s t e r w e r e t h e n t a k e n d i r e c t l y f r o m t h e H E G I S s u r v e y s a n d f r o m a m o n g t h e a v a i l a b l e m e a s u r e s o f a c a d e m i c q u a l i t y . T h i s a p r i o r i t h e o r e t i c a l m o d e l o f t h e e i g h t d o m a i n s o r f a c t o r s u n d e r l y i n g t h e 1 8 2 t h i r t y - e i g h t q u a n t i t a t i v e v a r i a b l e s i n t h e s t u d y a r e s h o w n b e l o w i n T a b l e 7 ( S e e a l s o T a b l e 5 i n t h i s c h a p t e r a n d A p p e n d i x B f o r a d d i t i o n a l i n f o r m a t i o n ) . T a b l e 7 . E i g h t — F a c t o r T h e o r e t i c a l M o d e l U n d e r l y i n g t h e T h i r t y - e i g h t Q u a n t i t a t i v e V a r i a b l e s D o m a i n 8 - S t u d e n t D - D e g r e e F - F a c u l t y C - C o m p e n s a t i o n A - A s s e t R - R e v e n u e E - E x p e n d i t u r e Q - Q u a l i t y V a r i a b l e s D e f i n i n g g p o m a i n T o t a l a n d F T E s t u d e n t s a n d t o t a l a n d f u l l - t i m e g r a d u a t e s t u d e n t s . T o t a l , m a s t e r ' s , f i r s t p r o f e s s i o n a l , a n d d o c t o r ' s d e g r e e s g r a n t e d . T o t a l f u l l - t i m e a c a d e m i c y e a r f a c u l t y , t e n u r e d f a c u l t y , a n d t e n u r e d f a c u l t y b y r a n k ( t h a t i s , f u l l , a s s o c i a t e , a n d a s s i s t a n t p r o f e s s o r ) . A v e r a g e a c a d e m i c y e a r c o m p e n s a t i o n ( s a l a r y a n d b e n e f i t s ) o f t e n u r e d f a c u l t y b y r a n k ( t h a t i s , f u l l , a s s o c i a t e , a n d a s s i s t a n t p r o f e s s o r ) . A g e ( a s a r e f l e c t i o n o f r e s o u r c e s ) , e n d o w m e n t , b u i l d i n g s , e q u i p m e n t , a n d l i b r a r y v o l u m e s a n d s u b s c r i p t i o n s . R e v e n u e ( d u r i n g t h e s t u d y p e r i o d ) : t o t a l r e v e n u e a n d r e v e n u e b y s o u r c e ( g o v e r n m e n t g r a n t s a n d c o n t r a c t s : p r i v a t e g i f t s , g r a n t s a n d c o n t r a c t s ; t u i t i o n a n d f e e s ; a n d a p p r o p r i a t i o n s ) . E x p e n d i t u r e s ( d u r i n g t h e s t u d y p e r i o d ) f o r : i n s t r u c t i o n ; a c a d e m i c s u p p o r t ; p l a n t ; r e s e a r c h : s t u d e n t s e r v i c e s ; a n d s c h o l a r s h i p s a n d f e l l o w s h i p s . Q u a l i t y r a t i n g p o i n t s f o r f a c u l t y a n d p r o g r a m s a n d t h e n u m b e r o f p r o g r a m s f r o m t h e A s s o c i a t e d R e s e a r c h C o u n c i l s s u r v e y a n d G o u r m a n g r a d u a t e a n d u n d e r g r a d u a t e q u a l i t y r a t i n g s . 1 8 3 A s c a n b e s e e n , t h i s a p r i o r i c l u s t e r a n a l y s i s m e t h o d a v o i d s t h e c e n t r a l p r o b l e m o f t h e n u m b e r o f c o m m o n f a c t o r s o r c l u s t e r s a n d t h e n u m b e r o f v a r i a b l e s i n e a c h c l u s t e r b y p r e d i c t i n g t h e m f r o m s o m e t h e o r e t i c a l b a s e . T h u s , t h e c o n t r i b u t i o n s d u e t o f a c t o r s u n i q u e t o t h e v a r i a b l e o r d u e t o e r r o r a r e n o t t r e a t e d p e r s e , b e c a u s e i t i s a s s u m e d t h a t n o c l u s t e r s e l e c t i o n w i l l e v e r b e p e r f e c t a n d t h a t t h e i n v e s t i g a t o r i s i n t e r e s t e d i n w h a t c a n b e p r e d i c t e d f r o m h i s o r h e r c l u s t e r t h e o r y . T h e C o r r e l a t i o n A n a l y s e s T h e t h i r d s t e p i n d a t a r e d u c t i o n w a s t o a s s e s s t h e s i m i l a r i t y o f t h e v a r i a b l e s w i t h i n e a c h d o m a i n t h r o u g h c o r r e l a t i o n a n a l y s i s , u s i n g t h e P e a r s o n p r o d u c t - m o m e n t c o r r e l a t i o n p r o c e d u r e . T h e s y m b o l s a n d d e f i n i t i o n s u s e d i n t h e d i s c u s s i o n o f t h e c o r r e l a t i o n a n a l y s e s w h i c h f o l l o w s a r e s u m m a r i z e d i n T a b l e 8 b e l o w . T a b l e 8 . S y m b o l s a n d D e f i n i t i o n s U s e d i n t h e C o r r e l a t i o n A n a l y s e s S y m b o l D e f i n i t i o n 1 T h e i n s t i t u t i o n , i = 1 , 2 , . . . N . N T h e n u m b e r o f i n s t i t u t i o n s , 1 7 1 i n m o s t c a s e s . j T h e f i r s t o b s e r v e d v a r i a b l e , j = 1 , 2 , . . . , n . k T h e s e c o n d o b s e r v e d v a r i a b l e , k = l , 2 , . . . , n . n T h e n u m b e r o f v a r i a b l e s , t h a t i s , 3 8 . 1 8 4 T a b l e 8 ( C o n t ' d . ) . S y m b o l D e f i n i t i o n 2 . , T h e s t a n d a r d i z e d v a l u e ( Z - s c o r e ) o f i n s t i t u t i o n i o n v a r i a b l e j : 2 3 . 1 = x i ; ’ 5 ; 0 3 E Z . “ T h e s t a n d a r d i z e d v a l u e ( Z - s c o r e ) o f i n s t i t u t i o n i o n v a r i a b l e k : . ‘ . . . J L I _ . . . 2 : 5 : = x t k ' 5 5 . 0 % g N , u T h e n u m b e r o f i n s t i t u t i o n s h a v i n g v a l u e s o n b o t h v a r i a b l e s j a n d k . p 4 “ T h e i n t e r - c o r r e l a t i o n b e t w e e n t w o v a r i a b l e s , j a n d k , w i t h i n a d o m a i n . C o r r e l a t i o n a n a l y s i s d e a l s w i t h t w o b a s i c q u e s t i o n s : 1 ) d o e s a r e l a t i o n s h i p e x i s t b e t w e e n t w o v a r i a b l e s a n d , i f s o , 2 ) w h a t i s t h e n a t u r e a n d t h e e x t e n t o f t h e r e l a t i o n s h i p ? T h e P e a r s o n p r o d u c t - m o m e n t c o r r e l a t i o n c o e f f i c i e n t i s u s e d t o m e a s u r e t h e s t r e n g t h o f t h e r e l a t i o n s h i p b e t w e e n t h e n u m e r i c v a l u e s o f t h e v a r i a b l e s a n d i s c o m p l e t e l y i n d e p e n d e n t o f w h a t t h e s e n u m e r i c v a l u e s r e p r e s e n t i n a p a r t i c u l a r s i t u a t i o n . T h e f o r m u l a ( W e i n b e r g a n d G o l d b e r g , 1 9 7 9 , 1 0 0 ) f o r t h i s s t a t i s t i c ( p o r r h o i n a p o p u l a t i o n ) i s a s f o l l o w s : N u . n P J k = S 2 3 . : ' Z a k i = 1 N , “ 1 8 5 w h e r e i i s t h e i n s t i t u t i o n ( i = 1 , 2 , . . . , N ) , N i s t h e n u m b e r o f i n s t i t u t i o n s , j i s t h e j t h v a r i a b l e a n d k t h e k t h v a r i a b l e ( j a n d k = 1 , 2 , . . . , 3 8 ) , N , “ i s t h e n u m b e r o f i n s t i t u t i o n s h a v i n g v a l u e s o n b o t h v a r i a b l e s 5 a n d k , 2 . ; a n d Z . k a r e t h e s t a n d a r d i z e d v a l u e s ( Z - s c o r e s ) o f i n s t i t u t i o n i o n t h e j t h a n d k t h v a r i a b l e s , a n d p , k i s t h e c o r r e l a t i o n b e t w e e n v a r i a b l e s j a n d k . T h e A - S t a t 8 3 c o r r e l a t i o n p r o c e d u r e u t i l i z e d i s a v e r y a c c u r a t e p r o c e d u r e b a s e d o n t h e p r o v i s i o n a l m e a n s a l g o r i t h m s o f C . H e r r a m a n ( 1 9 6 8 ) . I t u s e s ” p a i r w i s e ” d e l e t i o n f o r m i s s i n g d a t a ( t h a t i s , c o r r e l a t i o n s a r e c o m p u t e d o n t h e b a s i s o f p a i r s o f c r o s s - p r o d u c t s a v a i l a b l e f o r e a c h i n s t i t u t i o n ) . T h u s , m e a n s u s e d d u r i n g c a l c u l a t i o n a r e b a s e d o n t h e n u m b e r o f i n s t i t u t i o n s f o r e a c h v a r i a b l e , n o t f o r e a c h c r o s s - p r o d u c t . T h i s i m p l i e s a m o r e s t a b l e m e a n , b u t t h e a c t u a l c o r r e l a t i o n s v a r y s l i g h t l y f r o m c o r r e l a t i o n s b a s e d o n l y o n m e a n s f o r c a s e s a v a i l a b l e f o r e a c h c o r r e l a t i o n w h i c h o c c u r s i f l i s t w i s e d e l e t i o n ( t h a t i s , a n y c a s e w i t h m i s s i n g d a t a f o r a n y o f t h e v a r i a b l e s i s d e l e t e d ) i s u s e d ( B r a n d o n , 1 9 8 3 , 9 . 1 5 - 9 . 2 ) . T h e c o r r e l a t i o n c o e f f i c i e n t s a r e r e p o r t e d i n t h e u s u a l m a t r i x f o r m . S i n c e t h e m a t r i x i s s y m m e t r i c ( k a = p k , ) , o n l y t h e t o p t r i a n g l e m a t r i x i s s h o w n . T h e l o w e r t r i a n g l e m a t r i x i n d i c a t e s t h e n u m b e r o f d a t a 1 8 6 p o i n t s u s e d f o r e a c h c o r r e l a t i o n ( t h a t i s , N , “ e q u a l s t h e n u m b e r o f i n s t i t u t i o n s i n w h i c h b o t h v a r i a b l e j a n d v a r i a b l e k h a d v a l u e s ) . U s u a l l y , N 4 “ = 1 7 1 . W h e n N , “ < 1 7 1 ( f o r e x a m p l e , N , “ = 1 6 9 ) , i t i n d i c a t e s t h a t t w o i n s t i t u t i o n s i n t h e p o p u l a t i o n h a d m i s s i n g d a t a . S o m e g e n e r a l g u i d e l i n e s f o r i n t e r p r e t i n g t h e c o r r e l a t i o n c o e f f i c i e n t s u g g e s t e d b y W e i n b e r g a n d G o l d b e r g ( 1 9 7 9 , 1 0 5 - 1 0 7 ) a r e : 1 ) W h e n i n t e r p r e t i n g t h e c o r r e l a t i o n c o e f f i c i e n t , c o n s i d e r a t i o n s h o u l d b e g i v e n t o t h e s i t u a t i o n i n w h i c h t h e c o r r e l a t i o n w a s c o m p u t e d ( t h a t i s , w h e t h e r i t i s t w o m e a s u r e s o f t h e s a m e v a r i a b l e t a k e n a t d i f f e r e n t p o i n t s i n t i m e o r w h e t h e r t h e m e a s u r e s a r e f r o m t w o d i f f e r e n t m e a s u r e s ( a s i n t h e p r e s e n t s t u d y ) ; 2 ) A p o s i t i v e ( o r d i r e c t ) s y s t e m a t i c l i n e a r r e l a t i o n s h i p i s a s s u m e d t o e x i s t b e t w e e n t w o v a r i a b l e s w h e n h i g h s c o r e s o n o n e v a r i a b l e a r e p a i r e d w i t h h i g h s c o r e s o n a n o t h e r v a r i a b l e o r l o w s c o r e s o n o n e v a r i a b l e a r e p a i r e d w i t h l o w s c o r e s o n a n o t h e r v a r i a b l e ; 3 ) T h e p l u s ( + ) o r m i n u s ( - ) s i g n o f t h e c o r r e l a t i o n i n d i c a t e s w h e t h e r t h e r e l a t i o n s h i p b e t w e e n t h e v a r i a b l e s i s d i r e c t ( + ) o r i n v e r s e ( - ) ; 4 ) T h e v a l u e s o f r h o v a r y f r o m - 1 ( a p e r f e c t n e g a t i v e c o r r e l a t i o n ) t o + 1 ( a p e r f e c t p o s i t i v e c o r r e l a t i o n ) w i t h a v a l u e o f 0 ( z e r o ) i n d i c a t i n g s t a t i s t i c a l i n d e p e n d e n c e ; 5 ) S t r o n g , m o d e r a t e l y s t r o n g , m o d e r a t e , m o d e r a t e l y w e a k , a n d w e a k a r e u s e d t o i n d i c a t e t h e 1 8 7 s t r e n g t h o f a r e l a t i o n s h i p i n d e p e n d e n t o f t h e c i r c u m s t a n c e s u n d e r w h i c h i t w a s o b t a i n e d . I n g e n e r a l , P e a r s o n c o r r e l a t i o n i n d i v i d u a l v a l u e s a r e i n t e r p r e t e d t o b e s t r o n g ( 0 . 8 0 t o 1 . 0 0 o r - 0 . 8 0 t o - 1 . 0 0 ) , m o d e r a t e l y s t r o n g ( 0 . 6 0 t o 0 . 7 9 o r - 0 . 6 0 t o - 0 . 7 9 ) , m o d e r a t e ( 0 . 4 0 t o 0 . 5 9 o r - 0 . 4 0 t o - 0 . 5 9 ) , m o d e r a t e l y 3 3 3 5 ( 0 . 2 0 t o 0 . 3 9 o r - 0 . 2 0 t o - 0 . 3 9 ) , o r w e a k ( 0 . 0 0 t o 0 . 1 9 o r - 0 . 0 0 t o - 0 . 1 9 ) . P e r h a p s t h e m o s t p r a c t i c a l i n t e r p r e t a t i o n i s t h a t p fi . 2 e q u a l s t h e p r o p o r t i o n o f v a r i a n c e o n v a r i a b l e j t h a t i s p r e d i c t a b l e f r o m k w i t h a l i n e a r e q u a t i o n . T h e F a c t o r A n a l y s e s T h e f o u r t h s t e p i n d a t a r e d u c t i o n w a s t o r e d u c e t h e n u m b e r o f v a r i a b l e s w i t h i n e a c h d o m a i n t h r o u g h f a c t o r a n a l y s i s . T h e s y m b o l s a n d d e f i n i t i o n s u s e d i n t h e d i s c u s s i o n o f t h e f a c t o r a n a l y s e s w h i c h f o l l o w s a r e s u m m a r i z e d i n T a b l e 9 b e l o w . T a b l e 9 . S y m b o l s a n d D e f i n i t i o n s U s e d i n t h e F a c t o r A n a l y s e s ' S y m b o l D e f i n i t i o n , i T h e i n s t i t u t i o n , i = 1 , 2 , . . . , N . N T h e n u m b e r o f i n s t i t u t i o n s , 1 7 1 i n m o s t c a s e s . j T h e f i r s t o b s e r v e d v a r i a b l e , j = 1 , 2 , . . . , n . k T h e s e c o n d o b s e r v e d v a r i a b l e , k = 1 , 2 , . . . , n . n T h e n u m b e r o f v a r i a b l e s , t h a t i s , 3 8 . 1 8 8 T a b l e 9 ( C o n t ' d . ) . 2 1 4 d J U J s N o t e : D e f i n i t i o n T h e c o m m o n f a c t o r s , p = 1 , 2 , . . . , m . T h e n u m b e r o f c o m m o n f a c t o r s . T h e f a c t o r l o a d i n g o r w e i g h t o f v a r i a b l e j o n c o m m o n f a c t o r p . I n t h i s s t u d y , t h e c o r r e l a t i o n o f v a r i a b l e j w i t h c o m m o n f a c t o r p . T h e c o r r e l a t i o n b e t w e e n v a r i a b l e s j a n d k p r e d i c t e d f r o m t h e c o m m o n f a c t o r s . T h u s : 9 . ” : 3 z " : a s s - a k a p = 1 ( N o t e t h a t t h e m e t h o d u s e d a s s u m e s t h e o r t h o g o n a l c a s e , t h a t i s , w h e r e t h e c o r r e l a t i o n s b e t w e e n t h e f a c t o r s , F p a ' s , a r e a l l z e r o . ) T h e v a l u e o f c o m m o n f a c t o r s c o r e p f o r i n s t i t u t i o n i . T h e s t a n d a r d a r d i z e d v a l u e ( Z - s c o r e ) o f i n s t i t u t i o n i o n v a r i a b l e j p r e d i c t e d f r o m t h e c o m m o n a n d u n i q u e f a c t o r s : I I 2 1 . ! ’ - g a J p r t + d J U J t p = 1 m T h e c o m m u n a l i t y ( 2 a , . . = ) o r s u m o f p = 1 t h e s q u a r e d f a c t o r c o e f f i c i e n t s , t h a t i s , t h e p o r t i o n o f t h e v a r i a n c e o n v a r i a b l e j t h a t i s p r e d i c t a b l e f r o m t h e m c o m m o n f a c t o r s . S p e c i f i c i t y a n d e r r o r , t h a t i s , t h a t p a r t o f t h e o b s e r v e d s c o r e ( 2 1 , ) t h a t i s d u e t o t h e u n i q u e f a c t o r s i n v a r i a b l e 1 . F a c t o r a n a l y s i s i s a p r o c e d u r e t h a t u s e s m a t r i x a l g e b r a t o c a l c u l a t e a , . a n d F , ‘ f r o m t h e o b s e r v e d v a l u e w h i c h m i n i m i z e s t h e s q u a r e d d i f f e r e n c e s b e t w e e n 2 ; , a n d i t ‘ s T — " N — ‘ F — f T T - V - F i n e a q 1 8 9 F a c t o r a n a l y s i s i s a s t a t i s t i c a l t e c h n i q u e i n w i d e u s e i n t h e b e h a v i o r a l a n d s o c i a l s c i e n c e s w h i c h a c c o u n t s f o r t h e l i n e a r r e l a t i o n s h i p s t h a t e x i s t b e t w e e n o b s e r v e d v a r i a b l e s ( M u l a i k , 1 9 7 2 , 9 6 ) . F a c t o r a n a l y s i s a s s u m e s t h a t t h e r e l a t i o n s h i p s b e t w e e n v a r i a b l e s a r e l i n e a r a n d t h a t t h e v a r i a b l e s t o b e a n a l y z e d h a v e n o n - z e r o c o r r e l a t i o n s e x i s t i n g b e t w e e n t h e m . I f s u c h c o r r e l a t i o n s d o n o t e x i s t , t h e o b s e r v e d v a r i a b l e s t h e m s e l v e s a r e t h e o n l y s u f f i c i e n t s e t o f v a r i a b l e s t o a c c o u n t f o r t h e r e l a t i o n s h i p . I f s u c h c o r r e l a t i o n s d o e x i s t a m o n g s o m e o f t h e o b s e r v e d v a r i a b l e s , t h e n a h y p o t h e t i c a l s e t o f c o m p o n e n t v a r i a b l e s c a n b e d e r i v e d m a t h e m a t i c a l l y f r o m t h e o b s e r v e d v a r i a b l e s t h a t m a y m a k e i t p o s s i b l e t o e x p l a i n t h e i r i n t e r - r e l a t i o n s h i p s . T h e s e h y p o t h e t i c a l c o m p o n e n t v a r i a b l e s h a v e t h e f o l l o w i n g p r o p e r t i e s : 1 ) T h e y f o r m a l i n e a r l y i n d e p e n d e n t s e t o f v a r i a b l e s . 2 ) T h e y c a n b e d i v i d e d i n t o t w o b a s i c k i n d s o f c o m p o n e n t s ( c o m m o n f a c t o r s a n d u n i q u e f a c t o r s ) , w h i c h a r e d i s t i n g u i s h e d b y t h e p a t t e r n s o f d i f f e r e n t i a l w e i g h t s i n t h e l i n e a r e q u a t i o n s w h i c h d e r i v e t h e o b s e r v e d v a r i a b l e s f r o m t h e h y p o t h e t i c a l c o m p o n e n t v a r i a b l e s . 3 ) C o m m o n f a c t o r s a r e a l w a y s a s s u m e d t o b e u n c o r r e l a t e d w i t h u n i q u e f a c t o r s . U n i q u e f a c t o r s a r e a l s o u s u a l l y a s s u m e d t o b e m u t u a l l y u n c o r r e l a t e d , b u t c o m m o n f a c t o r s m a y o r m a y n o t b e c o r r e l a t e d . I n t h i s a n a l y s i s i t i s 1 9 0 a s s u m e d t h a t t h e c o m m o n f a c t o r s a r e u n c o r r e l a t e d . 4 ) I t i s g e n e r a l l y a s s u m e d t h a t t h e r e a r e f e w e r c o m m o n f a c t o r s t h a n o b s e r v e d v a r i a b l e s a n d t h a t t h e n u m b e r o f u n i q u e f a c t o r s i s e q u a l t o t h e n u m b e r o f o b s e r v e d v a r i a b l e s . F a c t o r a n a l y s i s i s u s u a l l y u s e d f o r t h r e e m a j o r p u r p o s e s : 1 ) t o g e n e r a t e h y p o t h e s e s r e g a r d i n g t h e n u m b e r a n d k i n d s o f d i m e n s i o n s ; 2 ) t o r e d u c e d a t a ( a s i n t h e p r e s e n t c a s e ) ; a n d 3 ) t o t e s t o r c o n f i r m s o m e h y p o t h e t i c a l s t r u c t u r e ( a s u s e d i n P h a s e 6 o f t h e s t u d y ) . T h e g e n e r a l p r o c e d u r e i n f a c t o r a n a l y s i s i s a s f o l l o w s : 1 ) s e l e c t t h e v a r i a b l e s ; 2 ) c o m p u t e t h e m a t r i x o f c o r r e l a t i o n s o f t h e v a r i a b l e s : 3 ) e x t r a c t t h e u n r o t a t e d f a c t o r s ; 4 ) r o t a t e t h e f a c t o r s ; a n d 5 ) i n t e r p r e t t h e r o t a t e d f a c t o r s . T h e s e l e c t i o n o f t h e v a r i a b l e s a n d t h e c o m p u t a t i o n o f t h e m a t r i c e s o f i n t e r - c o r r e l a t i o n s o f t h e v a r i a b l e s h a v e a l r e a d y b e e n d i s c u s s e d i n d e t a i l a b o v e . T o s u m m a r i z e , t h e v a r i a b l e s w e r e s e l e c t e d f r o m H E G I S a n d o t h e r d a t a s o u r c e s b a s e d o n t h e a p r i o r i E i g h t - F a c t o r t h e o r e t i c a l m o d e l d u r i n g t h e c l u s t e r a n a l y s i s p r o c e d u r e . T h e i n t e r - c o r r e l a t i o n m a t r i c e s f o r t h e e i g h t d o m a i n s w e r e t h e n c o m p u t e d , u s i n g t h e P e a r s o n p r o d u c t — m o m e n t c o r r e l a t i o n p r o c e d u r e . 1 9 1 T h e f a c t o r a n a l y s i s m o d e l w a s u s e d t o e x t r a c t t h e u n r o t a t e d f a c t o r s i n t h i s s t u d y . T h i s m o d e l , a c c o r d i n g t o L o r r ( 1 9 8 3 , 4 8 ) , h y p o t h e s i z e s t h a t e a c h v a r i a b l e d e r i v e s f r o m t h r e e s o u r c e s o f v a r i a t i o n : 1 ) c o m m o n f a c t o r v a r i a n c e ( t h e v a r i a n c e t h a t a v a r i a b l e s h a r e s w i t h o t h e r v a r i a b l e s ) ; 2 ) s p e c i f i c f a c t o r v a r i a n c e ( t h e s p e c i f i c a s p e c t s o f a v a r i a b l e n o t s h a r e d b y o t h e r v a r i a b l e s ) ; a n d 3 ) e r r o r v a r i a n c e ( r a n d o m e r r o r o r u n r e l i a b i l i t y ) . T h e v a r i a n c e d u e t o a g i v e n v a r i a b l e , t h e c o m b i n e d s p e c i f i c a n d e r r o r v a r i a n c e , c o n s t i t u t e s t h e u n i q u e f a c t o r v a r i a n c e . S i n c e e a c h o b s e r v e d v a r i a b l e i s d e s c r i b a b l e i n t e r m s o f m c o m m o n f a c t o r s a n d r u n i q u e f a c t o r s , t h e a i m i s t o f i n d t h e s m a l l e r s e t o f c o m m o n f a c t o r s a n d t o r e m o v e t h e u n i q u e v a r i a n c e . T h e f a c t o r s a r e s u m m a r i z e d i n a n n x m m a t r i x ( t h a t i s , t h e n u m b e r o f v a r i a b l e s t i m e s t h e n u m b e r o f c o m m o n f a c t o r s ) o f f a c t o r c o e f f i c i e n t s . T h e m o d e l i s s t a t e d a s f o l l o w s : ' m 2 t : = 2 a J P F p t + d e l l . “ 1 3 : 1 w h e r e i i s t h e i n s t i t u t i o n ( i 1 , 2 , . . . N ) , N i s t h e n u m b e r o f i n s t i t u t i o n s ( 1 7 1 ) , j i s t h e o b s e r v e d v a r i a b l e ( j = 1 , 2 , . . . n ) , n i s t h e n u m b e r o f v a r i a b l e s ( 3 8 ) , p i s t h e c o m m o n f a c t o r ( p = 1 , 2 , . . . m ) , m i s t h e n u m b e r o f c o m m o n f a c t o r s , a ; , i s t h e 1 9 2 f a c t o r l o a d i n g o r w e i g h t o f v a r i a b l e j o n c o m m o n f a c t o r p ( t h a t i s , t h e c o r r e l a t i o n o f v a r i a b l e j w i t h c o m m o n f a c t o r p ) , F . ‘ i s t h e v a l u e o f c o m m o n f a c t o r s c o r e p f o r i n s t i t u t i o n i , a J P F , ‘ r e f l e c t s t h e c o m m u n a l i t y ( h , ’ ) o r t h a t p o r t i o n o f t h e o b s e r v e d v a r i a n c e o f t h e Z - s c o r e s p r e d i c t a b l e f r o m t h e m c o m m o n f a c t o r s , d , U J . r e f l e c t s t h a t p a r t o f t h e v a r i a n c e d u e t o t h e u n i q u e f a c t o r s i n t h e v a r i a b l e s ( t h a t i s , s p e c i f i c i t y a n d L e r r o r ) , a n d 2 ; , i s t h e s t a n d a r d i z e d v a l u e ( Z - s c o r e ) f o r i n s t i t u t i o n i o n v a r i a b l e j . T h u s , t h e m o d e l a s s u m e s : 1 ) t h a t t h e c o m m o n f a c t o r s r e p r e s e n t t h e h y p o t h e t i c a l i n d e p e n d e n t v a r i a b l e s t h a t e x p l a i n t h e c o r r e l a t i o n s b e t w e e n v a r i a b l e s i n t e r m s o f p r o c e s s e s t h a t g e n e r a t e d t h e o b s e r v e d d a t a a n d 2 ) t h e o b s e r v e d v a r i a b l e s a r e l i n e a r c o m b i n a t i o n s o f o n e o r m o r e h y p o t h e t i c a l v a r i a b l e s . T h e r e a r e t w o m a j o r p r o b l e m s i n c o m m o n f a c t o r a n a l y s i s : 1 ) t h e p r o b l e m o f t h e n u m b e r o f c o m m o n f a c t o r s ( m ) a n d 2 ) t h e d e t e r m i n a t i o n o f t h e c o m m u n a l i t i e s ( h j z ) . T h e s e p r o b l e m s r e l a t e t o t h e b a s i c i n d e t e r m i n a c y t h a t i s c h a r a c t e r i s t i c o f f a c t o r a n a l y s i s . T h a t i s , t h e c o m m u n a l i t i e s ( h , 3 ) c a n ' t b e c a l c u l a t e d u n t i l t h e c o m m o n f a c t o r s ( m ) a r e d e f i n e d . H o w e v e r , t h e n u m b e r o f c o m m o n f a c t o r s c a n ' t b e c a l c u l a t e d u n t i l t h e c o m m u n a l i t i e s a r e k n o w n . T h e p r o b l e m i s t h a t n e i t h e r o f t h e s e v a l u e s i s k n o w n 1 9 3 e m p i r i c a l l y . H e n c e , o t h e r c r i t e r i a m u s t b e u s e d t o e s t i m a t e e i t h e r m o r t h e h , ’ . D n e p r o c e d u r e i s t o h y p o t h e s i z e t h a t t h e n u m b e r o f c o m m o n f a c t o r s ( m ) e q u a l s a s p e c i f i c v a l u e . T h e o t h e r p r o c e d u r e i s t o u s e a n e s t i m a t e f o r c o m m o n a l i t y , f o r e x a m p l e , s e t t i n g t h e h , ’ e q u a l t o t h e s q u a r e d m u l t i p l e c o r r e l a t i o n o f e a c h v a r i a b l e ( j ) w i t h a l l o f t h e o t h e r v a r i a b l e s a n d t o i t e r a t e ( r e p e a t t h e f a c t o r a n a l y s i s ) u n t i l t h e e s t i m a t e d c o m m u n a l i t y s t a b i l i z e s . T h e n , t o t a k e a s t h e n u m b e r o f c o m m o n f a c t o r s , t h e s m a l l e s t n u m b e r w h i c h i s n e c e s s a r y t o r e p r o d u c e t h e e s t i m a t e d c o m m u n a l i t y . T h u s , A f i n a l t e c h n i c a l p r o b l e m i n c o m m o n f a c t o r a n a l y s i s i s t h e p r o b l e m o f e s t a b l i s h i n g a c r i t e r i o n f o r f i t t i n g t h e f a c t o r c o e f f i c i e n t s a n d f a c t o r s c o r e s t o a c o r r e l a t i o n m a t r i x , s i n c e m a n y p o s s i b i l i t i e s e x i s t f o r a n y g i v e n c o r r e l a t i o n m a t r i x . T h e u s u a l c r i t e r i o n f o r s e l e c t i n g t h e w e i g h t s , a , . , a n d t h e f a c t o r s , F . ‘ , i s t h e l e a s t - s q u a r e s b e s t f i t c r i t e r i o n . T h i s c r i t e r i o n b a s i c a l l y s t a t e s t h a t w h e n t h e s u m o f s q u a r e s o f t h e e l e m e n t s o f t h e r e s i d u a l m a t r i x i s a s s m a l l a s p o s s i b l e f o r m c o m m o n f a c t o r s , t h e n w e c a n p r e s u m e t h a t t h e r e s i d u a l m a t r i x i s a s m u c h l i k e a d i a g o n a l m a t r i x a s , . » a 1 1 ' - 3 7 ‘ F 1 9 4 p o s s i b l e , a t l e a s t a s f a r a s a n u n w e i g h t e d - s q u a r e s c r i t e r i o n i s c o n c e r n e d . ( H a r m a n , 1 9 6 7 , 1 8 9 ; M u l a i k , 1 9 7 2 , 1 4 9 - 1 5 1 ) . T h e e q u a t i o n f o r t h e l e a s t - s q u a r e s b e s t f i t " M I N R E S ” c r i t e r i o n i s a s f o l l o w s : n n L S = 2 : ( p k - ’ p ‘ , . . ) 2 w h e r e j a t k j = 1 k = 1 T h e m a t h e m a t i c a l p r o c e d u r e u s e d f o r t h e e x t r a c t i o n o f t h e u n r o t a t e d f a c t o r s , u s i n g t h e c o m m o n f a c t o r a n a l y s i s m o d e l , c a n b e g e n e r a l l y d e s c r i b e d a s f o l l o w s . F i r s t , u s e t h e m a t r i x o f c o r r e l a t i o n s o f t h e v a r i a b l e s , w i t h c o m m u n a l i t i e s i n t h e p r i n c i p a l d i a g o n a l c e l l s , t o d e f i n e t h e f i r s t d i m e n s i o n o r f a c t o r ( t h i s c o m p o s i t e i s t a k e n t o b e e i t h e r a s u b s e t o f t h e f a c t o r s o r t h e t o t a l s e t o f f a c t o r s w i t h a d e s i g n a t e d p a t t e r n o f w e i g h t s a t t a c h e d t o t h e v a r i a b l e s ) . N e x t , d e f i n e a n e w m a t r i x , ” t h e f i r s t f a c t o r r e s i d u a l m a t r i x , “ b y p a r t i a l l i n g o u t ( t h a t i s , b y a s p e c i a l f o r m o f a d j u s t m e n t ) t h e v a l u e s o n t h e f i r s t f a c t o r c o m p o s i t e f r o m e a c h o f t h e c o r r e l a t i o n s i n t h e m a t r i x . T h e n , d e f i n e a s e c o n d m a t r i x , " t h e s e c o n d r e s i d u a l m a t r i x , ” b y a n e w l y w e i g h t e d c o m p o s i t e o f t h e v a r i a b l e s , t h e v a l u e s o f w h i c h a r e p a r t i a l l e d o u t o f t h e f i r s t r e s i d u a l m a t r i x . T h e p r o c e d u r e i s c o n t i n u e d u n t i l a f i n a l r e s i d u a l m a t r i x i s f o r m e d o f e n t r i e s t h a t a r e o f t r i v i a l 1 9 S m a g n i t u d e ( t h a t i s , a m a t r i x i n w h i c h t h e v a l u e s a r e s o s m a l l a s t o b e i n f i n i t e s i m a l ) . A f t e r a l l t h e u n r o t a t e d f a c t o r s w e r e e x t r a c t e d , t h e f a c t o r s w e r e t h e n r o t a t e d , u s i n g t h e K a i s e r v a r i m a x r o t a t i o n p r o c e d u r e , i n o r d e r t o a c h i e v e " s i m p l e s t r u c t u r e " i n t h e f a c t o r m a t r i x . S i m p l e s t r u c t u r e w a s i n t r o d u c e d b y T h u r s t o n e ( 1 9 3 5 ) a s a c r i t e r i o n f o r d e t e r m i n i n g t h e f i n a l r o t a t i o n a l t r a n s f o r m a t i o n o f t h e f a c t o r s a r o u n d t h e o r i g i n o f a n n d i m e n s i o n a l s p a c e i n o r d e r t o o b t a i n m e a n i n g f u l f a c t o r s t h a t a r e a s c o n s i s t e n t a s p o s s i b l e f r o m a n a l y s i s t o a n a l y s i s . I n t h e u n r o t a t e d f a c t o r m a t r i x , t h e f i r s t f a c t o r a c c o u n t s f o r t h e l a r g e s t a m o u n t o f v a r i a n c e a n d s u b s e q u e n t f a c t o r s a c c o u n t f o r d e c r e a s i n g a m o u n t s o f v a r i a n c e . I n a r o t a t e d f a c t o r m a t r i x , o n t h e o t h e r h a n d , t h e v a r i a n c e i s m o r e e v e n l y d i s t r i b u t e d a c r o s s a l l f a c t o r s . A d d i t i o n a l l y , t h e v a r i a b l e s i n a r o t a t e d m a t r i x a r e u s u a l l y h i g h l y l o a d e d o n o n l y a f e w f a c t o r s , w h i l e t h e v a r i a b l e s i n a n u n r o t a t e d f a c t o r m a t r i x a r e u s u a l l y h i g h l y l o a d e d o n m a n y f a c t o r s ( T a t s u o k a , 1 9 7 1 , 1 4 4 ) . T h e f i n a l s t e p i n t h e f a c t o r a n a l y s i s w a s t h e i n t e r p r e t a t i o n o f t h e f a c t o r s g e n e r a t e d t h r o u g h t h e p r o c e d u r e . T h e u s u a l m e t h o d w a s u s e d w h i c h w a s t o r e v i e w t h e f a c t o r l o a d i n g s o r a , , ' s ( t h a t i s , t h e c o r r e l a t i o n o f e a c h v a r i a b l e w i t h e a c h o f t h e c o m m o m f a c t o r s ) f o r e a c h o f t h e v a r i a b l e s , a p p l y i n g t h e s a m e 1 9 6 i n t e r p r e t a t i o n t o t h e i n d i v i d u a l a , . c o r r e l a t i o n v a l u e s a s w a s u s e d a b o v e i n r e l a t i o n t o t h e P e a r s o n p r o d u c t - m o m e n t c o r r e l a t i o n c o e f f i c i e n t . S e l e c t i o n o f t h e K e y V a r i a b l e s T h e f i f t h a n d f i n a l s t e p i n d a t a r e d u c t i o n w a s t o s e l e c t t h e m o s t r e p r e s e n t a t i v e o r ” k e y " v a r i a b l e f r o m e a c h o f t h e e i g h t d o m a i n s f o r f u r t h e r a n a l y s i s . T w o s e p a r a t e s e t s o f k e y i n d e p e n d e n t v a r i a b l e s w e r e s e l e c t e d f o r t h i s s t e p i n o r d e r t o m a x i m i z e t h e p r e d i c t a b i l i t y o f t h e k e y v a r i a b l e s . T h e f i r s t s e t o f e i g h t k e y v a r i a b l e s w a s d e t e r m i n e d , u s i n g o n l y a s i n g l e c r i t e r i o n , h i g h f a c t o r l o a d i n g . T h e s e c o n d s e t o f k e y v a r i a b l e s w a s d e t e r m i n e d , u s i n g d u a l c r i t e r i a , h i g h f a c t o r l o a d i n g i n c o n j u n c t i o n w i t h t h e i n t e r - c o r r e l a t i o n o f e a c h v a r i a b l e w i t h t h e d e p e n d e n t q u a l i t y v a r i a b l e . E a c h o f t h e s e t w o s e t s o f v a r i a b l e s w e r e t h e n u s e d i n t h e r e g r e s s i o n a n a l y s e s , 3 d i s c u s s i o n o f w h i c h f o l l o w s . P r e d i c t i n g Q u a l i t y W i t h K e y V a r i a b l e s I n t r o d u c t i o n T h e p u r p o s e o f P h a s e 4 w a s t o a c h i e v e o b j e c t i v e t h r e e o f t h e r e s e a r c h s t u d y . A s b e f o r e , t h e o b j e c t i v e i s r e s t a t e d , a l o n g w i t h t h e a s s o c i a t e d r e s e a r c h q u e s t i o n t o b e a n s w e r e d . I t i s a s f o l l o w s : 1 9 7 O b j e c t i v e 3 : T o d e t e r m i n e t h e d e g r e e t o w h i c h t h e k e y a c a d e m i c q u a l i t y v a r i a b l e c a n b e p r e d i c t e d f r o m t h e o t h e r s e v e n k e y q u a n t i t a t i v e v a r i a b l e s . R 3 . C a n t h e k e y q u a l i t y v a r i a b l e ~ b e p r e d i c t e d w i t h o u t l o s s f r o m t h e o t h e r s e v e n k e y v a r i a b l e s ? T h e R e g r e s s i o n A n a l y s e s T h e a b o v e d e s c r i b e d c l u s t e r a n a l y s i s w o u l d b e o f l i m i t e d v a l u e i f t h e v a r i a b l e s c h o s e n w e r e n o t r e l a t e d t o t h e q u a l i t y o f t h e i n s t i t u t i o n s . T o d e t e r m i n e t h i s r e l a t i o n s h i p , a m u l t i p l e r e g r e s s i o n a n a l y s i s w a s p e r f o r m e d u s i n g t h e t w o s e t s o f e i g h t k e y v a r i a b l e s s e l e c t e d i n P h a s e 3 t o r e p r e s e n t t h e e i g h t c l u s t e r s o r d o m a i n s . T h e s y m b o l s a n d d e f i n i t i o n s u s e d i n t h e d i s c u s s i o n o f r e g r e s s i o n a n a l y s i s w h i c h f o l l o w s a r e s u m m a r i z e d i n T a b l e 1 0 b e l o w . T a b l e 1 0 . S y m b o l s a n d D e f i n i t i o n s U s e d i n t h e R e g r e s s i o n A n a l y s e s S y m b o l D e f i n i t i o n 1 T h e i n s t i t u t i o n , i = 1 , 2 , . . . , N . N T h e n u m b e r o f i n s t i t u t i o n s , 1 7 1 i n m o s t c a s e s . Y T h e o b s e r v e d k e y d e p e n d e n t v a r i a b l e o r c r i t e r i o n s e l e c t e d t o r e p r e s e n t t h e q u a l i t y d o m a i n . k T h e o b s e r v e d k e y i n d e p e n d e n t o r p r e d i c t o r v a r i a b l e s s e l e c t e d t o r e p r e s e n t t h e o t h e r d o m a i n s , k = 1 , 2 , . . . , n . n T h e n u m b e r o f k e y i n d e p e n d e n t o r p r e d i c t o r v a r i a b l e s , s e v e n i n t h i s c a s e . 1 9 8 T a b l e 1 0 ( C o n t ' d . ) . S y m b o l D e f i n i t i o n B k T h e p a r t i a l r e g r e s s i o n c o e f f i c i e n t s o r B e t a - w e i g h t s ( t h a t i s , t h e s t a n d a r d i z e d r e g r e s s i o n w e i g h t s ) u s e d f o r c o m b i n i n g t h e s e v e n i n d e p e n d e n t v a r i a b l e s . X k ; T h e v a l u e o f t h e k e y i n d e p e n d e n t o r p r e d i c t o r v a r i a b l e k f o r i n s t i t u t i o n i , t h a t i s i n t h i s s t u d y , X “ . = S G H D C T F T , . . . , X " . = E I N S T R . A T h e d i f f e r e n c e b e t w e e n t h e m e a n o f t h e o b s e r v e d d e p e n d e n t v a r i a b l e a n d t h e m e a n s o f t h e i n d e p e n d e n t v a r i a b l e s . Y 1 T h e v a l u e o f t h e q u a l i t y k e y d e p e n d e n t v a r i a b l e f o r i n s t i t u t i o n i p r e d i c t e d f r o m t h e c o m p o s i t e o f s e v e n i n d e p e n d e n t v a r i a b l e s . P v e T h e c o r r e l a t i o n o f t h e o b s e r v e d d e p e n d e n t v a r i a b l e Y w i t h e a c h i n d e p e n d e n t v a r i a b l e k . v a T h e m u l t i p l e c o r r e l a t i o n b e t w e e n t h e o b s e r v e d d e p e n d e n t v a r i a b l e ( Y ) a n d t h e A c o m p o s i t e o f t h e i n d e p e n d e n t v a r i a b l e s ( Y ) . R 2 T h e s q u a r e o f R V C . M u l t i p l e r e g r e s s i o n ( o r c o r r e l a t i o n ) i s t h e c o r r e l a t i o n b e t w e e n o n e v a r i a b l e a n d t h e s u m o f t w o o r m o r e v a r i a b l e s ( t h a t i s , a c o m p o s i t e o f i n d e p e n d e n t v a r i a b l e s t h a t a r e c o m b i n e d b y w e i g h t i n g s t h a t m a x i m i z e t h e c o r r e l a t i o n ( P e a t m a n , 1 9 6 3 , 1 1 7 - 1 2 0 ) . R e g r e s s i o n a n a l y s i s r e q u i r e s n o t o n l y t h e m e a n s a n d s t a n d a r d d e v i a t i o n s o f e a c h v a r i a b l e , b u t a l s o a l l o f t h e P e a r s o n i n t e r - c o r r e l a t i o n s a m o n g t h e v a r i a b l e s . 1 9 9 T h e m o d e l f o r m u l t i p l e r e g r e s s i o n i s s i m i l a r t o t h a t f o r f a c t o r a n a l y s i s e x c e p t t h a t , i n m u l t i p l e r e g r e s s i o n , a l l v a r i a b l e s a r e o b s e r v a b l e . T h e r e g r e s s i o n m o d e l a s s u m e s t h a t t h e p r e d i c t e d d e p e n d e n t v a r i a b l e i s a l i n e a r c o m p o s i t e o f o t h e r i n d e p e n d e n t v a r i a b l e s ( B h a t t a c h a r y y a a n d J o h n s o n , 1 9 7 7 , 3 8 5 - 3 9 5 ) . T h e c u s t o m a r y f o r m o f t h e l i n e a r m u l t i p l e - r e g r e s s i o n e q u a t i o n i s a s f o l l o w s : A Y ; = k a k 1 + . . . + a n n N + A w h e r e i i s t h e i n s t i t u t i o n ( i = 1 , 2 , . . . , N ) , N i s t h e n u m b e r o f i n s t i t u t i o n s ( 1 7 1 ) , k i s t h e o b s e r v e d k e y i n d e p e n d e n t v a r i a b l e ( k = 1 , 2 , . . . , n ) , n i s t h e n u m b e r o f i n d e p e n d e n t k e y v a r i a b l e s ( 7 ) , B e . . . 8 B a r e t h e p a r t i a l r e g r e s s i o n c o e f f i c i e n t s o r B e t a - w e i g h t s ( t h a t i s , t h e s t a n d a r d i z e d r e g r e s s i o n w e i g h t s ) u s e d f o r c o m b i n i n g t h e s e v e n i n d e p e n d e n t v a r i a b l e s , X e . . . . X n N a r e t h e v a l u e s o f t h e k e y i n d e p e n d e n t v a r i a b l e s , A i s t h e d i f f e r e n c e b e t w e e n t h e m e a n o f t h e o b s e r v e d d e p e n d e n t v a r i a b l e a n d t h e m e a n s o f t h e i n d e p e n d e n t v a r i a b l e s , a n d Y . i s t h e v a l u e o f t h e p r e d i c t e d c r i t e r i o n k e y v a r i a b l e ( q u a l i t y ) f o r i n s t i t u t i o n i . T h e s e e s t i m a t e s a r e t h e b e s t p o s s i b l e b y t h e l e a s t s q u a r e s c r i t e r i o n , t h a t i s , i f t h e e r r o r i n e s t i m a t i n g a n e n t i t y ' s ( t h a t i s , a n i n s t i t u t i o n ' s ) s t a t u s i s m e a s u r e d b y t h e d i s c r e p a n c y b e t w e e n a c t u a l s t a t u s ( Y ) 2 0 0 a n d s t a t u s a s e s t i m a t e d b y t h e e q u a t i o n ( Y ) , t h e s u m o f t h e s e s q u a r e d e r r o r s ( Y - Y ) ” w o u l d b e s m a l l e r t h a n b y a n y o t h e r s e t o f c o n s t a n t s . T h e m a x i m u m c o r r e l a t i o n o f a c r i t e r i o n w i t h a s e t o f n p r e d i c t o r s i s e x p r e s s e d b y t h e m u l t i p l e c o r r e l a t i o n c o e f f i c i e n t , R . T h e A - S t a t p r o c e d u r e u s e d f o r r e g r e s s i o n a n a l y s i s f i r s t c a l c u l a t e s t h e B e t a - w e i g h t f r o m t h e d e p e n d e n t v a r i a b l e f o r e a c h o f t h e i n d e p e n d e n t v a r i a b l e s , a n d t h e n c a l c u l a t e s t h e o v e r a l l R - S q u a r e ( R 2 ) . I t s h o u l d b e n o t e d t h a t t h e n u m b e r o f i n d e p e n d e n t v a r i a b l e s c a n r a n g e f r o m o n e t o t h e m a x i m u m n u m b e r o f v a r i a b l e s . T h u s , t h e v a l u e s o f p r e d i c t o r s c a n b e s t u d i e d i n d i v i d u a l l y , i n p a i r s , i n t r i p l e t s , a n d s o f o r t h b y p e r f o r m i n g s e p a r a t e r e g r e s s i o n a n a l y s e s . F u r t h e r , i t s h o u l d b e n o t e d t h a t t h e r e l a t i o n s h i p m e n t i o n e d a b o v e a l s o h o l d s t r u e w h e n o n l y a s i n g l e i n d e p e n d e n t v a r i a b l e i s u s e d . I n t h i s s t u d y , s e v e n i n d e p e n d e n t v a r i a b l e s w e r e u s e d a g a i n s t t h e d e p e n d e n t q u a l i t y v a r i a b l e . F o u r s t a t i s t i c s a r e u s e d i n i n t e r p r e t i n g t h e r e g r e s s i o n a n a l y s i s : t h e B e t a - w e i g h t o r c o e f f i c i e n t ( 8 ) , t h e S i m p l e R ( r ) , t h e m u l t i p l e c o r r e l a t i o n c o e f f i c i e n t ( M u l t i p l e R o r R ) , a n d t h e s q u a r e d m u l t i p l e c o r r e l a t i o n c o e f f i c i e n t ( R 2 ) . T h e B e t a - w e i g h t o f e a c h v a r i a b l e i s a m e a s u r e o f t h e c o n t r i b u t i o n o f e a c h o f t h e i n d e p e n d e n t v a r i a b l e s i n t h e c o m p o s i t e o f 2 0 1 i n d e p e n d e n t v a r i a b l e s t o t h e c o r r e l a t i o n w i t h t h e c r i t e r i o n v a l u e . T h e S i m p l e R i s t h e p r o d u c t - m o m e n t c o r r e l a t i o n o f t h e o b s e r v e d d e p e n d e n t v a r i a b l e w i t h e a c h i n d e p e n d e n t v a r i a b l e , R i s t h e p r o d u c t - m o m e n t c o r r e l a t i o n b e t w e e n t h e o b s e r v e d d e p e n d e n t v a r i a b l e a n d t h e c o m p o s i t e o f i n d e p e n d e n t v a r i a b l e s , a n d R 3 i s t h e s q u a r e o f R o r t h a t p r o p o r t i o n o f t h e d e p e n d e n t v a r i a b l e ' s v a r i a n c e " e x p l a i n e d " b y t h e j o i n t c o n t r i b u t i o n o f t h e i n d e p e n d e n t v a r i a b l e s . I n t h e p r e s e n t s t u d y , b o t h s e t s o f e i g h t k e y i n d e p e n d e n t v a r i a b l e s ( t h a t i s , t h e f i r s t s e t s e l e c t e d o n t h e b a s i s o f f a c t o r l o a d i n g a l o n e a n d t h e s e c o n d s e t s e l e c t e d o n t h e b a s i s o f f a c t o r l o a d i n g a n d i n t e r - c o r r e l a t i o n w i t h t h e d e p e n d e n t q u a l i t y k e y v a r i a b l e ) w e r e a n a l y z e d u s i n g r e g r e s s i o n a n a l y s i s t o d e t e r m i n e t h e b e s t s e t o f k e y v a r i a b l e p r e d i c t o r s o f q u a l i t y i n d o c t o r a l i n s t i t u t i o n s . G r a p h i c A n a l y s i s o f t h e D a t a B a s e I n t r o d u c t i o n T h e p u r p o s e o f P h a s e 5 , g r a p h i c a n a l y s i s o f t h e d a t a b a s e , w a s t o m e e t s t u d y o b j e c t i v e f o u r . T h e o b j e c t i v e a n d r e s e a r c h q u e s t i o n t o b e a n s w e r e d a r e s t a t e d b e l o w . ) . NOh O b j e c t i v e 4 : T o g e n e r a t e g r a p h i c d i s p l a y s o r " p r o f i l e s “ o f d o c t o r a l i n s t i t u t i o n s a n d g r o u p s o f d o c t o r a l i n s t i t u t i o n s b a s e d u p o n t h e e i g h t k e y v a r i a b l e s . A p r o f i l e a n a l y s i s r e p r e s e n t s e a c h i n s t i t u t i o n R 4 . W h a t f i n d i n g s c a n b e o b t a i n e d w i t h p r o f i l e , r a t h e r t h a n r a n k i n g , r e p o r t s ? a p r o f i l e o r l i n e g r a p h d r a w n o v e r t h e e i g h t k e y v a r i a b l e s o r i n d i c a t o r s d e s c r i b e d a b o v e . T h e i m p o r t a n c e o f s u c h g r a p h i c p r o f i l e s i s t h a t t h e y p r o v i d e a n i m m e d i a t e i n t u i t i v e s u m m a r y o f t h e n a t u r e i n d i v i d u a l i n s t i t u t i o n s o r g r o u p s o f i n s t i t u t i o n s o r o f T u k e y ( 1 9 7 7 ) h a s n o t e d , t h e y ” f o r c e u s t o n o t i c e w h a t w e n e v e r e x p e c t e d t o s e e . " T h e s y m b o l s a n d d e f i n i t i o n s u s e d i n t h e d i s c u s s i o n o f t h e p r o f i l e a n a l y s e s w h i c h f o l l o w a r e s u m m a r i z e d i n T a b l e 1 1 b e l o w . T a b l e 1 1 . S y m b o l s a n d D e f i n i t i o n s U s e d i n t h e P r o f i l e A n a l y s e s S y m b o l D e f i n i t i o n i T h e i n s t i t u t i o n , i = 1 , 2 , . . . , N . N T h e n u m b e r o f i n s t i t u t i o n s , 1 7 1 i n m o s t c a s e s . j T h e o b s e r v e d k e y v a r i a b l e , j = 1 , 2 , . . . , n . n T h e n u m b e r o f k e y v a r i a b l e s , e i g h t i n t h i s c a s e . 9 A g i v e n g r o u p i n s t i t u t i o n s , 9 = 1 , 2 , . . . , M . M T h e n u m b e r o f i n s t i t u t i o n s i n g r o u p g . . u u T h e p o p u l a t i o n m e a n f o r v a r i a b l e j . a s a s 2 0 3 T a b l e 1 1 ( C o n t ' d . ) . S y m b o l D e f i n i t i o n 0 3 T h e p o p u l a t i o n s t a n d a r d d e v i a t i o n f o r v a r i a b l e j . 2 . , T h e s t a n d a r d i z e d v a l u e ( Z - s c o r e ) o f i n s t i t u t i o n i o n v a r i a b l e j . P . , T h e t r a n s f o r m e d f o r m o f 2 . . o r t h e p r o f i l e s c o r e o r P - s c o r e f o r i n s t i t u t i o h i o n v a r i a b l e j . 2 . , T h e s t a n d a r d i z e d v a l u e ( Z - s c o r e ) o f g r o u p g o n v a r i a b l e j . P . , T h e t r a n s f o r m e d f o r m o f 2 . , o r t h e p r o f i l e s c o r e o r P - s c o r e f o r g r o u p g o n v a r i a b l e j . T h e P r o f i l e A n a l y s e s T h e m e t h o d u s e d i n t h e p r o f i l e a n a l y s e s w a s s t r a i g h t f o r w a r d . F i r s t , t h e r a w o b s e r v e d d a t a v a l u e s o r s c o r e s f o r e a c h i n s t i t u t i o n w e r e c o n v e r t e d t o a s t a n d a r d v a l u e f o r e a c h o f t h e e i g h t k e y v a r i a b l e s , u s i n g t h e f o l l o w i n g f o r m u l a : 2 ‘ ; = X . " - & I a } w h e r e i i s t h e i n s t i t u t i o n ( i = 1 , 2 , . . . , N ) , N i s t h e n u m b e r o f i n s t i t u t i o n s ( 1 7 1 ) , j i s t h e k e y v a r i a b l e ( j = 1 , 2 , . . . n ) , n i s t h e n u m b e r o f k e y v a r i a b l e s ( 8 ) , X . ; i s t h e r a w d a t a v a l u e o f i n s t i t u t i o n i o n k e y v a r i a b l e j , “ q i s t h e p o p u l a t i o n m e a n o f k e y v a r i a b l e j . a s i s t h e p o p u l a t i o n s t a n d a r d d e v i a t i o n o f k e y 2 0 4 v a r i a b l e j , a n d 2 . , i s t h e s t a n d a r d v a l u e ( Z - s c o r e ) f o r i n s t i t u t i o n i o n k e y v a r i a b l e j . S e c o n d , a c o n v e r s i o n w a s m a d e t o c h a n g e t h e s t a n d a r d v a l u e t o a n e w s c a l e v a l u e w i t h a m e a n o f 5 0 a n d a s t a n d a r d d e v i a t i o n o f 1 0 ( i n o r d e r t o a v o i d c a r r y i n g p l u s a n d m i n u s s i g n s o n a n i n s t i t u t i o n ' s k e y v a r i a b l e v a l u e s ) . T h u s , t h e f o r m u l a f o r t h e t r a n s f o r m e d s t a n d a r d v a l u e o r P r o f i l e s c o r e ( P - s c o r e ) f o r i n s t i t u t i o n i o n v a r i a b l e j i s : P g ; = 5 0 + 1 0 2 ‘ ; w h e r e i i s t h e i n s t i t u t i o n ( 1 , 2 , . . . , N ) , N i s t h e n u m b e r o f i n s t i t u t i o n s ( 1 7 1 ) , j i s t h e k e y v a r i a b l e ( 1 , 2 , . . . , n ) , n i s t h e n u m b e r o f k e y v a r i a b l e s ( 8 ) , a n d 2 . , i s t h e Z - s c o r e f o r i n s t i t u t i o n i o n k e y v a r i a b l e j , a n d P . , i s t h e p r o f i l e s c o r e o r P - s c o r e f o r i n s t i t u t i o n i o n v a r i a b l e j . T h e P - s c o r e i s s o m e w h a t m o r e e a s i l y g r a s p e d t h a n t h e Z - s c o r e . T h u s , t h e n a t i o n a l a v e r a g e i s 5 0 f o r a l l v a r i a b l e s a n d t h e s t a n d a r d d e v i a t i o n i s 1 0 f o r a l l v a r i a b l e s . S i m i l a r l y , f o r a n y i n s t i t u t i o n i ( 1 , 2 , . . . , 1 7 1 ) a n d v a r i a b l e j ( 1 , 2 , . . . , 8 ) : P i j = 6 0 m e a n s t h a t i n s t i t u t i o n i i s o n e s t a n d a r d d e v i a t i o n a b o v e t h e n a t i o n a l a v e r a g e o n v a r i a b l e j a n d P i j = 4 0 m e a n s t h a t i n s t i t u t i o n i i s o n e s t a n d a r d d e v i a t i o n b e l o w t h e n a t i o n a l a v e r a g e o n v a r i a b l e j . 2 0 5 T h i s i n t e r p r e t a t i o n r e l a t i n g t o t h e a v e r a g e r e m a i n s t h e s a m e e v e n i f s o m e o t h e r g r o u p i s u s e d f o r c o m p a r i s o n , s u c h a s s t a t e , N A S U L G C m e m b e r s , o r B i g 1 0 i n s t i t u t i o n s . T o r e p r e s e n t g r o u p s o f i n s t i t u t i o n s , t h e m e a n P — s c o r e i s u s e d . I t i s c a l c u l a t e d a s f o l l o w s : 5 9 . : = E " ; 2 8 . 1 i C Z g M w h e r e i i s t h e i n s t i t u t i o n ( i = 1 , 2 , . . . , N ) , N i s t h e n u m b e r o f i n s t i t u t i o n s ( 1 7 1 ) , g i s a g i v e n g r o u p o f i n s t i t u t i o n s ( 9 = 1 , 2 , . . . , M ) , M i s t h e n u m b e r o f i n s t i t u t i o n s i n t h e g r o u p , j i s t h e k e y v a r i a b l e ( j = 1 , 2 , . . . , n ) , n i s t h e n u m b e r o f k e y v a r i a b l e s ( 8 ) , 2 . , i s t h e s t a n d a r d i z e d v a l u e ( Z - s c o r e ) o f i n s t i t u t i o n i o n v a r i a b l e j , a n d P . , i s t h e t r a n s f o r m e d f o r m o f 2 . , o r t h e P - s c o r e f o r g r o u p 9 o n v a r i a b l e j . T h e p a r t i c u l a r p r o f i l e s o r g r a p h s s e l e c t e d f o r p r e s e n t a t i o n i n t h e s t u d y a r e m e r e l y r e p r e s e n t a t i v e . P r o f i l e s c a n b e g e n e r a t e d o n d e m a n d u s i n g t h e s p r e a d s h e e t a n d l i n e g r a p h o p t i o n s o n t h e d a t a b a s e m a n a g e m e n t s y s t e m , t h a t i s , b y s e l e c t i n g r o w s ( i n s t i t u t i o n s ) o f t h e d a t a m a t r i x a n d i n p u t t i n g t h e m t o G r a p h W o r k s , t h e g r a p h i c s p r o g r a m . L i n e g r a p h s f o r g r o u p s c a n b e g e n e r a t e d b y u s i n g t h e e A V G f u n c t i o n t o 2 0 6 c a l c u l a t e g r o u p P - s c o r e s f o r i n c l u s i o n i n t o t h e p r o f i l e s p r e a d s h e e t . T h e U n d e r l y i n g S t r u c t u r e o f t h e D a t a B a s e I n t r o d u c t i o n T h e p u r p o s e o f P h a s e 6 , t h e f a c t o r s t r u c t u r e a n a l y s i s , w a s t o m e e t s t u d y o b j e c t i v e f i v e w h i c h i s r e s t a t e d b e l o w , a l o n g w i t h t h e r e s e a r c h q u e s t i o n a n d s t u d y h y p o t h e s i s t o b e a n s w e r e d . O b j e c t i v e 5 : T o e x a m i n e m o r e c l o s e l y t h e u n d e r l y i n g s t r u c t u r e o f d o c t o r a l i n s t i t u t i o n s w h i c h m i g h t a c c o u n t f o r t h e i n t e r - c o r r e l a t i o n s a m o n g t h e o b s e r v a b l e q u a n t i t a t i v e v a r i a b l e s u s e d i n t h e s t u d y . R 5 . W h a t t h e o r y o f a c a d e m i c q u a l i t y i s s u p p o r t e d b y f a c t o r a n a l y t i c s t u d y o f t h e d a t a c h a r a c t e r i s t i c s o f d o c t o r a l i n s t i t u t i o n s ? E m p i r i c a l R e s e a r c h S t u d y H y p o t h e s i s T h e n u m b e r o f c o m m o n f a c t o r s u n d e r l y i n g t h e o b s e r v a b l e q u a n t i t a t i v e c h a r a c t e r i s t i c s o f A m e r i c a n d o c t o r a l i n s t i t u t i o n s i s g r e a t e r t h a n o n e ( t h e u n i v a r i a t e c a s e ) a n d l e s s t h a n o r e q u a l t o e i g h t ( t h e n u m b e r o f d o m a i n s u s e d i n t h e o r i g i n a l d e s c r i p t i o n ) . T h u s , t h e p u r p o s e o f t h i s a n a l y s i s w a s t o c o n s i d e r a n o t h e r a p p r o a c h t o d e t e r m i n i n g t h e k e y v a r i a b l e s u n d e r l y i n g t h e d a t a b a s e t h a n t h e c l u s t e r a n a l y t i c m e t h o d d e s c r i b e d p r e v i o u s l y . I n t h e c l u s t e r a n a l y s i s , i t m a y b e r e m e m b e r e d , i t w a s a s s u m e d t h a t a t o t a l o f e i g h t f a c t o r s ( u n o b s e r v a b l e v a r i a b l e s ) w e r e n e c e s s a r y 2 0 7 t o a c c o u n t f o r t h e c o r r e l a t i o n m a t r i x . I n t h e p r e s e n t a n a l y s i s , f r e q u e n t l y t e r m e d " c o n f i r m a t o r y f a c t o r a n a l y s i s , “ t h e f a c t o r a n a l y t i c m o d e l w a s a p p l i e d s o a s t o p e r m i t t h e n u m b e r a n d n a t u r e o f t h e f a c t o r s t o b e s e t e m p i r i c a l l y . S u c h a n a n a l y s i s i s i m p o r t a n t f o r s e v e r a l r e a s o n s . F i r s t , t h e a n a l y s i s w i l l p r o v i d e a n e m p i r i c a l c h e c k o n t h e c l u s t e r a n a l y t i c a p p r o a c h . I f s i m i l a r r e s u l t s a r e o b t a i n e d w i t h b o t h m e t h o d s , t h e n t h e r e s u l t s w o u l d s e e m m o r e t r u s t w o r t h y . S e c o n d , t h e a n a l y s i s m a y s h o w t h a t m o r e t h a n o n e o r f e w e r t h a n e i g h t u n d e r l y i n g f a c t o r s a r e n e c e s s a r y t o r e p r o d u c e m o s t o f t h e i n t e r - c o r r e l a t i o n s a m o n g t h e v a r i a b l e s . A s w a s n o t e d a b o v e , e m p i r i c a l f a c t o r a n a l y s i s f r e q u e n t l y y i e l d s f e w e r c o m m o n f a c t o r s t h a n d o a p r i o r i t h e o r i e s s i n c e t h e c l u s t e r s a r e o f t e n h i g h l y c o r r e l a t e d w i t h e a c h o t h e r a n d c a n b e c o m b i n e d t o f u r t h e r r e d u c e c o m p l e x i t y w i t h o u t l o s s o f i n f o r m a t i o n a b o u t t h e v a r i a b l e s . T h i r d , t h e e m p i r i c a l f a c t o r a n a l y s i s m a y y i e l d a b e t t e r s e t o f i n d e p e n d e n t v a r i a b l e s f o r r e g r e s s i o n a n a l y s i s t h a n t h o s e o b t a i n e d w i t h t h e c l u s t e r a n a l y s i s . T h e F a c t o r S t r u c t u r e A n a l y s i s T h e m e t h o d u s e d i n t h e f a c t o r s t r u c t u r e a n a l y s i s w a s t o p e r f o r m t h e s a m e c o m m o n f a c t o r a n a l y s i s o n a r e d u c e d c o r r e l a t i o n m a t r i x o f t h i r t y ( 3 0 ) v a r i a b l e s . 2 0 8 T h u s , t h e f i r s t s t e p w a s t o r e d u c e t h e o r i g i n a l m a t r i x o f t h i r t y - e i g h t q u a n t i t a t i v e v a r i a b l e s i n o r d e r t o e l i m i n a t e t h o s e v a r i a b l e s w h i c h m o s t p o o r l y r e p r e s e n t t h e d o m a i n s ( t h a t i s , v a r i a b l e s w i t h l o w f a c t o r l o a d i n g s a n d l o w c o r r e l a t i o n s w i t h t h e d e p e n d e n t q u a l i t y v a r i a b l e ) . I n r e d u c i n g t h e o r i g i n a l m a t r i x , c a r e w a s t a k e n t o e n s u r e t h a t e a c h d o m a i n i n t h e r e s u l t i n g r e d u c e d m a t r i x i n c l u d e d a m i n i m u m o f t h r e e v a r i a b l e s . N e x t , A P i e r s o n p r o d u c t - m o m e n t c o r r e l a t i o n a n a l y s i s w a s p e r f o r m e d . S i n c e t h r e e d i f f e r e n t t y p e s o f P i e r s o n p r o d u c t - m o m e n t c o r r e l a t i o n a n a l y s e s h a v e n o w b e e n d i s c u s s e d : 1 ) t h e d o m a i n c o r r e l a t i o n a n a l y s e s w h i c h w e r e u s e d f o r d a t a r e d u c t i o n i n P h a s e 3 ; 2 ) t h e c o r r e l a t i o n a n a l y s e s a c r o s s d o m a i n s f o r t h e t w o s e t s o f k e y v a r i a b l e s u s e d a s p a r t o f t h e r e g r e s s i o n a n a l y s e s i n P h a s e 4 ; a n d 3 ) t h e c o r r e l a t i o n a n a l y s i s o f t h e r e d u c e d m a t r i x o f t h i r t y v a r i a b l e s u s e d i n t h e p r e s e n t d i s c u s s i o n , a s u m m a r y t a b l e ( s e e T a b l e 1 2 b e l o w ) h a s b e e n p r e p a r e d t o f a c i l i t a t e u n d e r s t a n d i n g . 2 0 9 T a b l e 1 2 . S u m m a r y o f t h e T h r e e T y p e s o f I n t e r - C o r r e l a t i o n R e s u l t s R e p o r t e d i n t h e S t u d y S y m b o l D e f i n i t i o n p , e T h e s u b s e t o f i n t e r - c o r r e l a t i o n s a m o n g t h e v a r i a b l e s w i t h i n a s i n g l e d o m a i n , S , D , . . O . P o o T h e s u b s e t o f i n t e r - c o r r e l a t i o n s a m o n g t h e v a r i a b l e s i n t w o d i f f e r e n t d o m a i n s , f o r e x a m p l e , b e t w e e n d o m a i n s S ( S t u d e n t ) a n d D ( D e g r e e ) . P T T T h e i n t e r - c o r r e l a t i o n s a m o n g t h e e n t i r e r e d u c e d m a t r i x o f 3 0 v a r i a b l e s , t h a t i s , a l l i n t e r - c o r r e l a t i o n s , - p . , , w h e r e i = 1 , 2 , . . . , 3 0 a n d j = 1 , 2 , . . . , 3 0 . ( N o t e : w h e n i = j , P 3 , ] : 1 . 0 0 ) . N o t e : T h e s u b m a t r i c e s a r e s i m p l y p a r t i t i o n i n g s o f t h e - p 1 7 m a t r i x i n t o s u b s e t s . T h e f i n a l s t e p i n t h e f a c t o r s t r u c t u r e a n a l y s i s w a s t o a g a i n a p p l y t h e c o m m o n f a c t o r a n a l y s i s p r o c e d u r e d e s c r i b e d a b o v e t o t h e m a t r i x o f i n t e r - c o r r e l a t i o n s a m o n g t h e t h i r t y v a r i a b l e s i n t h e r e d u c e d m a t r i x . S U M M A R Y A c o n v e n i e n t m e t h o d f o r s u m m a r i z i n g t h e v a r i o u s p r o c e d u r e s d e s c r i b e d a b o v e i s t o s i m p l y m a t c h t h e p r o c e d u r e s t o t h e f i v e m a j o r s t u d y o b j e c t i v e s a n d e m p i r i c a l s t u d y q u e s t i o n s . n g e c t i v e 1 : T o d e s c r i b e t h e p o p u l a t i o n o f o n e h u n d r e d a n d s e v e n t y - o n e A m e r i c a n d o c t o r a l i n s t i t u t i o n s , u s i n g a c o m p r e h e n s i v e s e t o f f o r t y - n i n e o b s e r v a b l e v a r i a b l e s . 2 1 0 R 1 . W h a t c h a r a c t e r i z e s t h e p o p u l a t i o n o f A m e r i c a n d o c t o r a l i n s t i t u t i o n s ? T h e m e t h o d u s e d t o d e s c r i b e t h e p o p u l a t i o n o f A m e r i c a n d o c t o r a l i n s t i t u t i o n s i n t h e p r e s e n t s t u d y w a s t o g e n e r a t e b o t h d e s c r i p t i v e s t a t i s t i c s f o r m e d i a n s , m e a n s , r a n g e s , s t a n d a r d d e v i a t i o n s , r a n g e t o s t a n d a r d d e v i a t i o n r a t i o s , a n d s k e w n e s s e s a n d l i s t i n g s o f i n s t i t u t i o n s f r o m t h e d a t a b a s e o f f o r t y - n i n e d a t a c h a r a c t e r i s t i c s s e l e c t e d f r o m t h e l i t e r a t u r e . O b j e c t i v e 2 : T o r e d u c e t h e n u m b e r o f t h i r t y - e i g h t o b s e r v a b l e q u a n t i t a t i v e v a r i a b l e s u s e d t o d e s c r i b e t h e p o p u l a t i o n o f d o c t o r a l i n s t i t u t i o n s t o a s m a l l e r s e t o f e i g h t " k e y v a r i a b l e s . " R 2 . C a n t h e l a r g e s e t o f t h i r t y - e i g h t q u a n t i t a t i v e v a r i a b l e s u s e d t o d e s c r i b e d o c t o r a l i n s t i t u t i o n s b e r e p l a c e d w i t h a s m a l l e r s e t o f e i g h t k e y v a r i a b l e s w i t h o u t a m a j o r l o s s o f i n f o r m a t i o n ? T o p e r f o r m t h i s f u n c t i o n , a l l o f t h e o b s e r v a b l e q u a n t i t a t i v e v a r i a b l e s w e r e g r o u p e d o n a n a p r i o r i b a s i s i n t o s i m i l a r g r o u p s o r “ d o m a i n s ” f o r w h i c h w i t h i n - g r o u p c o r r e l a t i o n s w e r e e x p e c t e d t o b e v e r y h i g h , i n d i c a t i n g s i m i l a r i t y , a n d a c r o s s d o m a i n c o r r e l a t i o n s w e r e e x p e c t e d t o b e v e r y l o w , i n d i c a t i n g d i s s i m i l a r i t y . T o e n s u r e a g a i n s t l o s s o f i n f o r m a t i o n , a c o m m o n f a c t o r a n a l y s i s o f e a c h d o m a i n w a s p e r f o r m e d . T h e n u m b e r o f f a c t o r s r e q u i r e d f o r e a c h d o m a i n w a s 2 1 1 e x p e c t e d t o b e o n l y o n e - - w h i c h w o u l d e x h a u s t t h e c o m m o n a l i t y f o r t h e c l u s t e r , ( t h a t i s , t h e p r o p o r t i o n o f c o m m o n a l i t y t o b e a c c o u n t e d f o r w o u l d b e n e a r 1 0 0 % ) . T w o s e t s o f e i g h t k e y v a r i a b l e s w e r e s e l e c t e d . O n e s e t w a s b a s e d o n h i g h f a c t o r l o a d i n g a l o n e . T h e s e c o n d s e t w a s b a s e d o n h i g h f a c t o r l o a d i n g i n c o n j u n c t i o n w i t h t h e i n t e r - c o r r e l a t i o n o f e a c h v a r i a b l e w i t h t h e d e p e n d e n t q u a l i t y v a r i a b l e . O b j e c t i v e 3 : T o d e t e r m i n e t h e d e g r e e t o w h i c h t h e k e y a c a d e m i c q u a l i t y v a r i a b l e c a n b e p r e d i c t e d f r o m t h e o t h e r s e v e n k e y q u a n t i t a t i v e v a r i a b l e s . R 3 . C a n t h e k e y q u a l i t y v a r i a b l e b e p r e d i c t e d w i t h o u t l o s s f r o m t h e o t h e r s e v e n k e y v a r i a b l e s ? T h e m e t h o d u s e d f o r p r e d i c t i o n w a s m u l t i p l e r e g r e s s i o n a n a l y s i s w i t h t h e t w o s e t s o f e i g h t k e y v a r i a b l e s . T h e s e t o f e i g h t k e y v a r i a b l e s y i e l d i n g t h e h i g h e s t m u l t i p l e c o r r e l a t i o n ( R ) w a s t h e n u s e d f o r t h e a n a l y s e s i n t h e r e m a i n d e r o f t h e s t u d y . R w a s e x p e c t e d t o b e n e a r t h e r e l i a b i l i t y l e v e l o f t h e q u a l i t y v a r i a b l e ( f o r e x a m p l e , R 0 . 9 0 ) f o r p r e d i c t i o n b a s e d o n t h e e i g h t k e y v a r i a b l e s . O b j e c t i v e 4 : T o g e n e r a t e g r a p h i c d i s p l a y s o r " p r o f i l e s ” o f d o c t o r a l i n s t i t u t i o n s a n d g r o u p s o f d o c t o r a l i n s t i t u t i o n s b a s e d u p o n t h e e i g h t k e y v a r i a b l e s . R 4 . W h a t f i n d i n g s c a n b e o b t a i n e d w i t h p r o f i l e , r a t h e r t h a n r a n k i n g , r e p o r t s ? h ] p a M T h e m e t h o d f o r t h i s o b j e c t i v e w a s t o p r e s e n t t h e D o c t o r a l I n s t i t u t i o n D a t a B a s e w i t h q u e s t i o n s n o t p o s s i b l e w i t h u n i t a r y l i s t s - - a n d t h e n t o d e t e r m i n e i f t h e q u e s t i o n s w e r e a n s w e r e d b y t h e p r o f i l e s g e n e r a t e d b y t h e C 8 1 8 . O b j e c t i v e 5 : T o e x a m i n e m o r e c l o s e l y t h e u n d e r l y i n g s t r u c t u r e o f d o c t o r a l i n s t i t u t i o n s w h i c h m i g h t a c c o u n t f o r t h e i n t e r - c o r r e l a t i o n s a m o n g t h e o b s e r v a b l e q u a n t i t a t i v e v a r i a b l e s u s e d i n t h e s t u d y . R 5 . W h a t t h e o r y o f a c a d e m i c q u a l i t y i s s u p p o r t e d b y f a c t o r a n a l y t i c s t u d y o f t h e d a t a c h a r a c t e r i s t i c s o f d o c t o r a l i n s t i t u t i o n s ? T h e m u l t i v a r i a t e d e s c r i p t i o n o f a c a d e m i c q u a l i t y w o u l d b e s u p p o r t e d i f m o r e t h a n o n e c o m m o n f a c t o r w e r e r e q u i r e d a n d i f t h e q u a l i t y v a r i a b l e s w e r e l o a d e d o n m o r e t h a n o n e f a c t o r . T h e f a c t o r m a t r i x a n a l y z e d w a s t h e r e d u c e d s e t o f t h i r t y v a r i a b l e s o b t a i n e d f r o m t h e o r i g i n a l s e t o f t h i r t y - e i g h t o b s e r v a b l e q u a n t i t a t i v e v a r i a b l e s . A m u l t i p l e r e g r e s s i o n a n a l y s i s o f v a r i a b l e s r e p r e s e n t i n g t h e s e f a c t o r s w a s t h e n p e r f o r m e d i n o r d e r t o c o m p a r e t h e p r e d i c t a b i l i t y o f t h e v a r i a b l e s o b t a i n e d f r o m t h i s p r o c e d u r e w i t h t h e p r e d i c t a b i l i t y o b t a i n e d f r o m t h e e a r l i e r a p r i o r i p r o c e d u r e . P ' 0 ; 1 : 7 ” ? 5 . ‘ r ’ a é k fi z x { , I , . - " V ' ‘ r o _ l ‘ _ ‘ , 7 . - . " ' , ' " - : v , ‘ 7 - 2 : a 3 ¢ . . ; r v : t . ~ . “ fi g ? 9 % $ 3 1 ? 9 2 % ) . 1 3 “ f i g - ‘ 3 ' . i f r t k . . . E ‘ . I ' r W W . 5 : - . ' J ‘ “ W W 3 ” . a ' . ' ' a } ? _ . > . ‘ . A . : 0 . 3 ‘ “ ‘ 2 “ M q ‘ - ' ' M ‘ E fi » . ' 3 } ? ! - I I " [ ' 7 V n . . . i ) - - ' V ‘ ‘ b L L ‘ ‘ A ' 1 3 V 4 ' . I “ V ‘ Y v ’ . « L ‘ . v . o i é r ‘ k r ‘ t ‘ f g t fi ‘ 1 ‘ » — : fi m fl c ‘ “ - 0 - > - v . " ‘ ‘ I ; y r , h i ~ w — . - . ‘ . ' J fl g fi a ‘ ? » 3 > 3 £ 1 ' I u . n " , n - § g ; % t ' - { . { ¢ h ~ — W ‘ g : . § $ ~ . ‘ v “ 4 : . “ . u . . . 3 ‘ 3 ' 7 R “ ” P g . v ' f a y - 2 . x v . ‘ v . 3 . 2 : . 7 , ‘ ~ ~ 9 3 : ' . r ‘ w J ' g a g _ . f > g ‘ - . 1 2 ? . . ‘ ‘ ~ ‘ ~ ‘ . M ‘ ‘ ‘ M f ' ‘ V I l l ‘ , ; ; ’ . 4 - k u _ q n ' : . ‘ u . ‘ h . 1 , f . . . ‘ ' . - ‘ ‘ 1 , - . ‘ . ‘ ‘ . | ' ‘ A . V J ’ ' 1 x 1 3 ? » : ‘ f f t " X M r " ” I . ‘ . . ‘ ' , ‘ ~ " L 1 1 " 3 6 ~ ' A J L r fi - a — ‘ " r ' h 1 0 - M . . . 1 % “ ; { M m _ ‘ q g v . ‘ 1 V . 1 1 ‘ h ‘ w . a , I . 1 ‘ - ' 1 3 " . " t A 1 ; ’ # 1 » . J i g ” ; - 4 9 , " ‘ 1 . . . “ L \ - i‘lWigmfimifin ‘12L, W W W J ! " 1 ‘ 1 ’ 1 9 9 1 ‘ g f b x ' 3 M S U L I B R A R I E S R E T U R N I N G M A T E R I A L S : P l a c e i n b o o k d r o p t o r e m o v e t h i s c h e c k o u t f r o m y o u r r e c o r d . F I N E S w i l l ” - _ _ b e c h a r g e d i f b o o k i s r e t u r n e d a f t e r t h e d a t e s t a m p e d b e l o w . 6 : 1 3 ; } ? ! ‘ W ‘ 2 1 3 C H A P T E R I V R E S U L T S O F T H E S T U D Y I N T R O D U C T I O N T h e r e s e a r c h d e s i g n a n d t h e v a r i o u s r e s e a r c h m e t h o d s a n d p r o c e d u r e s u s e d t o a c h i e v e t h e f i v e s t a t e d s t u d y o b j e c t i v e s w e r e t h o r o u g h l y d e s c r i b e d i n C h a p t e r I I I . T h e r e s u l t s o f t h e s e m e t h o d s a n d p r o c e d u r e s a r e d i s c u s s e d i n t h i s c h a p t e r i n r e l a t i o n t o t h e s t u d y o b j e c t i v e s a n d r e s e a r c h q u e s t i o n s a n d h y p o t h e s i s . A g a i n , f o l l o w i n g t h e e a r l i e r o r g a n i z i n g p r o c e d u r e s e e n i n C h a p t e r s I I a n d I I I , t h e f i v e s t u d y o b j e c t i v e s a n d a s s o c i a t e d e m p i r i c a l r e s e a r c h q u e s t i o n s a n d h y p o t h e s i s , w i l l b e f i r s t s t a t e d h e r e a s a n i n t r o d u c t i o n t o t h e c h a p t e r . T h e y w i l l s u b s e q u e n t l y b e r e s t a t e d i n t h e r e l e v a n t c h a p t e r s e c t i o n a n d i n t h e c h a p t e r s u m m a r y . n g e c t i v e 1 : T o d e s c r i b e t h e p o p u l a t i o n o f o n e h u n d r e d a n d s e v e n t y - o n e A m e r i c a n d o c t o r a l i n s t i t u t i o n s , u s i n g a c o m p r e h e n s i v e s e t o f f o r t y - n i n e o b s e r v a b l e v a r i a b l e s . R 1 . W h a t c h a r a c t e r i z e s t h e p o p u l a t i o n o f o n e h u n d r e d a n d s e v e n t y - o n e A m e r i c a n d o c t o r a l i n s t i t u t i o n s ? n g e c t i v e 2 : T o r e d u c e t h e n u m b e r o f t h i r t y - e i g h t o b s e r v a b l e q u a n t i t a t i v e v a r i a b l e s u s e d t o d e s c r i b e t h e p o p u l a t i o n o f d o c t o r a l i n s t i t u t i o n s t o a s m a l l e r s e t o f e i g h t " k e y v a r i a b l e s . " 2 1 4 R 2 . C a n t h e l a r g e s e t o f t h i r t y - e i g h t q u a n t i t a t i v e v a r i a b l e s u s e d t o d e s c r i b e d o c t o r a l i n s t i t u t i o n s b e r e p l a c e d w i t h a s m a l l e r s e t o f e i g h t k e y v a r i a b l e s w i t h o u t a m a j o r l o s s o f i n f o r m a t i o n ? O b j e c t i v e 3 : T o d e t e r m i n e t h e d e g r e e t o w h i c h t h e k e y a c a d e m i c q u a l i t y v a r i a b l e c a n b e p r e d i c t e d f r o m t h e o t h e r s e v e n k e y q u a n t i t a t i v e v a r i a b l e s . R 3 . C a n t h e k e y q u a l i t y v a r i a b l e b e p r e d i c t e d w i t h o u t l o s s f r o m t h e o t h e r s e v e n k e y v a r i a b l e s ? i j e c t i v e 4 : T o g e n e r a t e g r a p h i c d i s p l a y s o r " p r o f i l e s " o f d o c t o r a l i n s t i t u t i o n s a n d g r o u p s o f d o c t o r a l i n s t i t u t i o n s b a s e d u p o n t h e e i g h t k e y v a r i a b l e s . R 4 . W h a t f i n d i n g s c a n b e o b t a i n e d w i t h p r o f i l e , r a t h e r t h a n r a n k i n g , r e p o r t s ? . O b j e c t i v e 5 : T o e x a m i n e m o r e c l o s e l y t h e u n d e r l y i n g s t r u c t u r e o f d o c t o r a l i n s t i t u t i o n s w h i c h m i g h t a c c o u n t f o r t h e i n t e r - c o r r e l a t i o n s a m o n g t h e o b s e r v a b l e q u a n t i t a t i v e v a r i a b l e s u s e d i n t h e s t u d y . R 5 . W h a t t h e o r y o f a c a d e m i c q u a l i t y i s s u p p o r t e d b y f a c t o r a n a l y t i c s t u d y o f t h e d a t a c h a r a c t e r i s t i c s o f d o c t o r a l i n s t i t u t i o n s ? E m p i r i c a l R e s e a r c h S t u d y H y p o t h e s i s T h e n u m b e r o f c o m m o n f a c t o r s u n d e r l y i n g t h e o b s e r v a b l e q u a n t i t a t i v e c h a r a c t e r i s t i c s o f A m e r i c a n d o c t o r a l i n s t i t u t i o n s i s g r e a t e r t h a n o n e ( t h e u n i v a r i a t e c a s e ) a n d l e s s t h a n o r e q u a l t o e i g h t ( t h e n u m b e r o f d o m a i n s u s e d i n t h e o r i g i n a l d e s c r i p t i o n ) . 2 1 5 T H E D E S C R I P T I V E A N A L Y S E S I n t r o d u c t i o n T h e d e s c r i p t i v e a n a l y s e s w e r e u s e d t o m e e t t h e f i r s t s t u d y o b j e c t i v e : O b j e c t i v e 1 : T o d e s c r i b e t h e p o p u l a t i o n o f o n e h u n d r e d a n d s e v e n t y - o n e A m e r i c a n d o c t o r a l i n s t i t u t i o n s , u s i n g a c o m p r e h e n s i v e s e t o f f o r t y - n i n e o b s e r v a b l e v a r i a b l e s . R 1 . W h a t c h a r a c t e r i z e s t h e p o p u l a t i o n o f o n e h u n d r e d a n d s e v e n t y - o n e A m e r i c a n d o c t o r a l i n s t i t u t i o n s ? I n t h e c o n t e x t o f t h e p r e s e n t s t u d y , d e s c r i p t i v e a n a l y s e s a r e t a k e n t o m e a n a s e t o f s t a t i s t i c s w h i c h a c c u r a t e l y d e s c r i b e t h e m o s t i m p o r t a n t c h a r a c t e r i s t i c s o f A m e r i c a n d o c t o r a l i n s t i t u t i o n s . S u c h a s t a t i s t i c a l c e n s u s i s i m p o r t a n t f o r s e v e r a l r e a s o n s . F i r s t , t h e s e s t a t i s t i c s w i l l p r o v i d e h i g h e r e d u c a t i o n r e s e a r c h e r s a n d d e c i s i o n m a k e r s w i t h a n a c c u r a t e r e f e r e n c e g r o u p o r " n o r m " a g a i n s t w h i c h t o c o m p a r e i n s t i t u t i o n s . S e c o n d , t h e s t a t i s t i c s c a n a f f i r m c o r r e c t a s s u m p t i o n s a n d d i s c o n f i r m i n c o r r e c t a s s u m p t i o n s a b o u t d o c t o r a l i n s t i t u t i o n s ( f o r e x a m p l e , " E v e r y o n e k n o w s t h a t a l l t h e b e s t s c h o o l s a r e o n t h e c o a s t s ” a n d " P r i v a t e i n s t i t u t i o n s a r e h i g h e r i n q u a l i t y i n c o m p a r i s o n t o p u b l i c i n s t i t u t i o n s b e c a u s e p r i v a t e i n s t i t u t i o n s a r e r i c h e r " ) . T h i r d , t h e s e b a s i c s t a t i s t i c s a r e c l e a r 2 1 6 i n d i c a t o r s o f t h e l o n g - t e r m p o l i c i e s a n d d e c i s i o n s m a d e a b o u t d o c t o r a l i n s t i t u t i o n s b y i n s t i t u t i o n p r e s i d e n t s , B o a r d s o f R e g e n t s , s t a t e l e g i s l a t o r s , a n d f a c u l t y a n d s t u d e n t s t h e m s e l v e s . R e s u l t s o f t h e d e s c r i p t i v e a n a l y s e s p e r f o r m e d i n t h e s t u d y , a l o n g w i t h r e l e v a n t t a b l e s a n d f i g u r e s , a r e r e p o r t e d f o r t h e f o r t y - s e v e n ( 4 7 ) s t u d y v a r i a b l e s ( e x c l u d e d a r e t h e t w o i d e n t i f i c a t i o n v a r i a b l e s ) i n t h e f o l l o w i n g t h r e e s e c t i o n s . F i r s t , r e s u l t s f o r e a c h o f t h e n i n e ( 9 ) c a t e g o r i c a l v a r i a b l e s a r e d i s c u s s e d i n d e t a i l . S e c o n d , s u m m a r y s t a t i s t i c s o f t h e t h i r t y - e i g h t ( 3 8 ) q u a n t i t a t i v e v a r i a b l e s a r e d i s c u s s e d . T h i r d , a b r i e f s u m m a r y o f t h e r e s u l t s o f t h e r a n k i n g s f o r e a c h o f t h e v a r i a b l e s i s p r e s e n t e d b y d o m a i n . I C a t e g o r i c a l v a r i a b l e s I n t r o d u c t i o n C a t e g o r i c a l v a r i a b l e s , i t m a y b e r e c a l l e d , a r e t h e n i n e v a r i a b l e s w h i c h a r e q u a l i t a t i v e , r a t h e r t h a n q u a n t i t a t i v e , f o r e x a m p l e , S T A T E , R E G I O N , S T A T U S , a n d C A L N D R . T h e s e v a r i a b l e s r e p r e s e n t i m p o r t a n t d e m o g r a p h i c c h a r a c t e r i s t i c s o f d o c t o r a l i n s t i t u t i o n s . T h e r e s u l t s o f t h e a n a l y s i s o f t h e s e v a r i a b l e s a r e p r e s e n t e d s e p a r a t e l y b e l o w b y v a r i a b l e . 2 1 7 S T A T E - - D o c t o r a l i n s t i t u t i o n s a r e u n e v e n l y d i s t r i b u t e d g e o g r a p h i c a l l y . A s u m m a r y o f d o c t o r a l i n s t i t u t i o n s b y s t a t e ( s e e T a b l e 1 3 ) i n d i c a t e s t h a t d o c t o r a l i n s t i t u t i o n s a r e u n e v e n l y d i s t r i b u t e d g e o g r a p h i c a l l y , w i t h a f e w s t a t e s h a v i n g m a n y d o c t o r a l i n s t i t u t i o n s ( t h a t i s , t e n o r m o r e ) a n d a f e w h a v i n g n o n e . F o r e x a m p l e , T a b l e 1 3 i n d i c a t e s t h a t d o c t o r a l i n s t i t u t i o n s a r e l o c a t e d i n f o r t y - s e v e n o f t h e f i f t y s t a t e s a n d i n t h e D i s t r i c t o f C o l u m b i a , w i t h t h e n u m b e r p e r s t a t e r a n g i n g f r o m 0 t o 1 8 . T h r e e s t a t e s : A l a s k a , M a i n e , a n d M o n t a n a h a v e n o d o c t o r a l i n s t i t u t i o n . F o u r t e e n ( 1 4 ) s t a t e s h a v e m o r e t h a n t h e 3 . 4 a v e r a g e n u m b e r o f i n s t i t u t i o n s p e r s t a t e : N e w Y o r k ( 1 8 ) : C a l i f o r n i a ( 1 6 ) ; O h i o ( 1 0 ) ; I l l i n o i s a n d T e x a s ( 9 ) ; M a s s a c h u s e t t s ( 8 ) ; P e n n s y l v a n i a ( 7 ) ; t h e D i s t r i c t o f C o l u m b i a a n d M i c h i g a n ( 5 ) : a n d C o l o r a d o , F l o r i d a , I n d i a n a , M i s s o u r i , a n d N o r t h C a r o l i n a ( 4 ) , w h i l e t h e r e m a i n i n g 3 7 s t a t e s h a v e l e s s t h a n t h e a v e r a g e n u m b e r o f i n s t i t u t i o n s p e r s t a t e . b - D O H o w fl P 0 : ” I I I H H H O N m u h - t a e h w H I U H 2 1 8 T a b l e 1 3 . N u m b e r a n d P e r c e n t a g e o f D o c t o r a l I n s t i t u t i o n s B y S t a t e , 1 9 8 1 - 1 9 8 2 S t a t e A l a b a m a A l a s k a A r i z o n a A r k a n s a s C a l i f o r n i a C o l o r a d o C o n n e c t i c u t D i s t r i c t o f C o l u m b i a D e l a w a r e F l o r i d a G e o r g i a H a w a i i I d a h o I l l i n o i s I n d i a n a I o w a K a n s a s K e n t u c k y L o u i s i a n a M a i n e M a r y l a n d M a s s a c h u s e t t s M i c h i g a n M i n n e s o t a M i s s o u r i M i s s i s s i p p i M o n t a n a N e b r a s k a N e v a d a N e w H a m p s h i r e N e w J e r s e y N e w M e x i c o N e w Y o r k N o r t h C a r o l i n a N o r t h D a k o t a O h i o O k l a h o m a O r e g o n P e n n s y l v a n i a R h o d e I s l a n d S o u t h C a r o l i n a S o u t h D a k o t a T e n n e s s e e T e x a s U t a h I n s t i t u t i o n N u m b e r p a M O H H N N V N N O H - D G N M N H F O W - A H G U N T O N N N N A Q F H M a h H U l N h ' t f l - ‘ N O M N O H M M h u p n w u u m m u u u o m r o w w u m o w m w u m o o o u u o o q n o m n w w u u o o u u o o m u a o m o v 2 1 9 T a b l e 1 3 ( C o n t ' d . ) . I n s t i t u t i o n S t a t e N u m b e r 2 V e r m o n t 1 . 6 V i r g i n i a 3 1 . 7 W a s h i n g t o n 2 1 . 2 W e s t V i r g i n i a 1 . 6 W i s c o n s i n 3 1 . 7 W y o m i n g 1 . 6 T o t a l 1 7 1 1 0 0 . 0 2 A v e r a g e n u m b e r o f i n s t i t u t i o n s p e r s t a t e = 3 . 4 L o o k i n g a t T a b l e 1 4 b e l o w , w e s e e t h a t : 1 ) 3 o r a b o u t 6 % o f t h e s t a t e s h a v e n o d o c t o r a l i n s t i t u t i o n s ; 2 ) 4 1 o r a b o u t 8 0 % o f t h e s t a t e s h a v e f r o m 1 t o 5 d o c t o r a l i n s t i t u t i o n s e a c h o r a b o u t 5 5 2 o f a l l t h e d o c t o r a l i n s t i t u t i o n s : 3 ) 5 o r a b o u t 1 0 % o f t h e s t a t e s h a v e 6 t o 1 0 d o c t o r a l i n s t i t u t i o n s e a c h o r a b o u t 2 5 % o f a l l t h e d o c t o r a l i n s t i t u t i o n s : a n d 4 ) 2 o r a b o u t 4 % o f t h e s t a t e s h a v e 1 1 - 2 0 d o c t o r a l i n s t i t u t i o n s e a c h o r a b o u t 2 0 % o f a l l t h e d o c t o r a l i n s t i t u t i o n s . 2 2 0 T a b l e 1 4 . S u m m a r y o f D o c t o r a l I n s t i t u t i o n s p e r S t a t e , 1 9 8 1 - 1 9 8 2 I n s t i t u t i o n S t a t e P e r C u m u l a t i v e N u m b e r % S t a t e T o t a l % % 3 5 . 8 % 0 0 0 . 0 % 0 . 0 % 1 2 2 3 . 5 1 1 2 7 . 0 7 . 0 1 4 2 7 . 4 2 2 8 1 6 . 4 2 3 . 4 8 1 5 . 7 3 2 4 1 4 . 1 3 7 . 5 5 9 . 8 4 2 0 1 1 . 7 4 9 . 2 2 3 . 9 5 1 0 5 . 8 5 5 . 0 1 2 . 0 7 7 4 . 1 5 9 . 1 1 2 . 0 8 8 4 . 7 6 3 . 8 2 3 . 9 9 1 8 1 0 . 5 7 4 . 3 1 2 . 0 1 0 1 0 5 . 8 8 0 . 1 1 2 . 0 1 6 1 6 9 . 4 8 9 . 5 1 2 . 0 1 8 1 8 1 0 . 5 1 0 0 . 0 5 1 1 0 0 . 0 % 1 7 1 1 0 0 . 0 % O r t o p u t i t a n o t h e r w a y ( l o o k i n g a g a i n a t T a b l e s 1 3 a n d 1 4 ) , w e s e e t h a t 7 7 o r 4 5 . 0 % o f a l l d o c t o r a l i n s t i t u t i o n s a r e l o c a t e d i n o n l y 7 o r 1 3 . 9 % o f t h e s t a t e s : P e n n s y l v a n i a ( 7 o r 4 . 1 % ) , M a s s a c h u s e t t s ( 8 o r 4 . 7 % ) , I l l i n o i s ( 9 o r 5 . 3 % ) , T e x a s ( 9 o r 5 . 3 % ) , O h i o ( 1 0 o r 5 . 8 % ) , C a l i f o r n i a ( 1 6 o r 9 . 4 % ) , a n d N e w Y o r k ( 1 8 o r 1 0 . 5 % ) . R E G I O N - - M o s t d o c t o r a l i n s t i t u t i o n s a r e l o c a t e d i n t h e M i d E a s t , G r e a t L a k e s , a n d S o u t h e a s t O B E ( O f f i c e o f B u s i n e s s E c o n o m i c s ) r e g i o n s . A n a l y s i s o f d o c t o r a l i n s t i t u t i o n s b y O B E r e g i o n i n d i c a t e s t h a t a p p r o x i m a t e l y h a l f ( 4 7 . 9 % ) o f a l l d o c t o r a l i n s t i t u t i o n s a r e l o c a t e d i n t h e e a s t e r n p a r t o f t h e U n i t e d S t a t e s ( N e w E n g l a n d , 7 7 1 . 5 M i d E a s t , a n d S o u t h e a s t r e g i o n s ) , w i t h t h e r e m a i n i n g h a l f ( 5 2 . 1 % ) a p p r o x i m a t e l y e v e n l y d i s t r i b u t e d b e t w e e n t h e m i d - w e s t ( G r e a t L a k e s a n d P l a i n s r e g i o n s ) a n d w e s t ( S o u t h w e s t , R o c k y M o u n t a i n s , a n d F a r W e s t r e g i o n s ) . T h e M i d E a s t r e g i o n h a s t h e l a r g e s t n u m b e r o f d o c t o r a l i n s t i t u t i o n s ( 3 6 i n s t i t u t i o n s o r 2 1 . 0 % ) , w h i l e t h e R o c k y M o u n t a i n s r e g i o n h a s t h e s m a l l e s t n u m b e r ( 9 i n s t i t u t i o n s o r 5 . 3 % ) . D o c t o r a l i n s t i t u t i o n s a n d s t a t e s a r e s u m m a r i z e d b y O B E r e g i o n i n T a b l e 1 5 b e l o w . T a b l e 1 5 . S u m m a r y o f D o c t o r a l I n s t i t u t i o n s a n d S t a t e s b y O B E R e g i o n , 1 9 8 1 - 1 9 8 2 I n s t i t u t i o n S t a t e R e g i o n N u m b e r % N u m b e r % N e w E n g l a n d 1 5 8 . 8 % 6 1 1 . 8 % M i d E a s t 3 6 2 1 . 0 6 1 1 . 8 G r e a t L a k e s 3 1 1 8 . 1 5 9 . 8 P l a i n s 1 2 7 . 0 7 1 3 . 7 S o u t h e a s t 3 1 1 8 . 1 1 2 2 3 . 5 S o u t h w e s t 1 5 8 . 8 4 7 . 8 R o c k y M o u n t a i n s 9 5 . 3 5 9 . 8 F a r W e s t 2 2 1 2 . 9 6 1 1 . 8 T o t a l 1 7 1 1 0 0 . 0 % 5 1 1 0 0 . 0 % I f w e l o o k a t t h e a v e r a g e n u m b e r o f d o c t o r a l i n s t i t u t i o n s p e r s t a t e b y r e g i o n ( s e e T a b l e 1 6 b e l o w ) , w e f i n d t h a t t h e G r e a t L a k e s r e g i o n h a s t h e l a r g e s t n u m b e r o f d o c t o r a l i n s t i t u t i o n s p e r s t a t e ( 6 . 2 i n s t i t u t i o n s ) , w i t h t h e M i d E a s t r e g i o n ( 6 . 0 i n s t i t u t i o n s ) a c l o s e s e c o n d , a n d t h e R o c k y M o u n t a i n s 2 2 2 ( 1 . 8 i n s t i t u t i o n s ) a n d P l a i n s ( 1 . 7 i n s t i t u t i o n s ) r e g i o n s h a v e t h e s m a l l e s t n u m b e r . T a b l e 1 6 . A v e r a g e N u m b e r o f D o c t o r a l I n s t i t u t i o n s p e r S t a t e b y O B E R e g i o n , 1 9 8 1 - 1 9 8 2 A v e r a g e N u m b e r o f R e g i o n I n s t i t u t i o n S t a t e I n s t i t u t i o n / S t a t e N e w E n g l a n d 1 5 6 2 . 5 M i d E a s t 3 6 6 6 . 0 G r e a t L a k e s 3 1 5 6 . 2 P l a i n s 1 2 7 1 . 7 S o u t h e a s t 3 1 1 2 2 . 6 S o u t h w e s t 1 5 4 3 . 8 R o c k y M o u n t a i n s 9 5 1 . 8 F a r W e s t _ 2 2 ’ _ 6 _ 3 . 7 T o t a l 1 7 1 5 1 3 . 4 C O N T R O L - - M o s t d o c t o r a l i n s t i t u t i o n s a r e p u b l i c l y c o n t r o l l e d . O n e h u n d r e d n i n e ( 1 0 9 ) o r 6 3 . 7 % o f a l l d o c t o r a l i n s t i t u t i o n s a r e p u b l i c l y c o n t r o l l e d , w h i l e 6 2 o r 3 6 . 3 % a r e p r i v a t e l y c o n t r o l l e d . T w e l v e ( 1 2 ) o r 7 . 0 % o f d o c t o r a l i n s t i t u t i o n s a r e r e l i g i o u s l y a f f i l i a t e d , r e p r e s e n t i n g o n l y t h r e e d e n o m i n a t i o n s : L a t t e r D a y S a i n t s , R o m a n C a t h o l i c , a n d U n i t e d M e t h o d i s t . R o m a n C a t h o l i c i n s t i t u t i o n s h a v e t h e g r e a t e s t r e p r e s e n t a t i o n w i t h 8 ( 7 5 % ) o f t h e 1 2 r e l i g i o u s l y a f f i l i a t e d i n s t i t u t i o n s o r 4 . 7 % o f a l l d o c t o r a l i n s t i t u t i o n s . T a b l e 1 7 b e l o w s u m m a r i z e s i n s t i t u t i o n a l c o n t r o l a n d r e l i g i o u s a f f i l i a t i o n . 2 2 3 T a b l e 1 7 . S u m m a r y o f D o c t o r a l I n s t i t u t i o n s b y T y p e o f C o n t r o l a n d A f f i l i a t i o n , 1 9 8 1 - 1 9 8 2 I n s t i t u t i o n T y p e o f C o n t r o l / A f f i l i a t i o n N u m b e r % P u b l i c C o n t r o l S t a t e 1 0 4 6 0 . 8 % S t a t e R e l a t e d 4 2 . 3 S t a t e / L o c a l _ _ l . 6 1 0 9 6 3 . 7 % P r i v a t e C o n t r o l I n d e p e n d e n t N o n - P r o f i t 5 0 2 9 . 2 R e l i g i o u s A f f i l i a t i o n L a t t e r D a y S a i n t s 1 . 6 R o m a n C a t h o l i c 8 4 . 7 U n i t e d M e t h o d i s t _ _ § 1 . 8 1 2 7 . 1 ‘ _ 6 2 _ 3 6 . 3 T o t a l 1 7 1 1 0 0 . 0 % S T A T U S - - M o s t d o c t o r a l i n s t i t u t i o n s a r e i n d i v i d u a l l y c o n t r o l l e d s i n g l e - c a m p u s i n s t i t u t i o n s . O v e r o n e - h a l f ( 9 0 o r 5 2 . 6 % ) o f a l l d o c t o r a l i n s t i t u t i o n s a r e i n d i v i d u a l i n s t i t u t i o n s . O f t h e r e m a i n i n g , 5 1 o r 2 9 . 9 % a r e m u l t i - c a m p u s i n s t i t u t i o n s a n d 3 0 o r 1 7 . 5 % a r e i n s t i t u t i o n a l s y s t e m s . T a b l e 1 8 b e l o w s u m m a r i z e s t h e i n s t i t u t i o n a l s t a t u s o f d o c t o r a l i n s t i t u t i o n s . T a b l e 1 8 . S u m m a r y o f D o c t o r a l I n s t i t u t i o n s b y I n s t i t u t i o n a l S t a t u s , 1 9 8 1 - 1 9 8 2 S t a t u s N u m b e r % I n d i v i d u a l 9 0 5 2 . 6 % M u l t i - C a m p u s M a i n C a m p u s 2 3 1 3 . 5 % O t h e r C a m p u s 1 2 7 . 0 D e s i g n a t e d M a i n C a m p u s 1 6 9 . 4 5 1 2 9 . 9 S y s t e m I n d i v i d u a l 2 5 1 4 . 6 M a i n C a m p u s _ § 2 . 9 _ 3 9 1 7 . 5 T o t a l 1 7 1 1 0 0 . 0 % C A L N D R - - M o s t d o c t o r a l i n s t i t u t i o n s o p e r a t e o n a s e m e s t e r c a l e n d a r s y s t e m . A l m o s t t w o - t h i r d s ( 1 2 1 o r 7 0 . 8 % ) o f a l l d o c t o r a l i n s t i t u t i o n s o p e r a t e o n a s e m e s t e r c a l e n d a r s y s t e m a n d a p p r o x i m a t e l y a n o t h e r f i f t h ( 3 7 o r 2 1 . 7 % ) o p e r a t e o n a q u a r t e r s y s t e m . O f t h e r e m a i n i n g i n s t i t u t i o n s , 4 ( 2 . 3 % ) h a v e a t r i m e s t e r s y s t e m , 4 ( 2 . 3 % ) h a v e a 4 / 1 / 4 s y s t e m , a n d t h e r e m a i n i n g 5 ( 2 . 9 % ) h a v e o t h e r c a l e n d a r s y s t e m s . ( I t s h o u l d b e n o t e d t h a t p o s t 1 9 8 1 - 1 9 8 2 f i g u r e s w o u l d i n d i c a t e t h a t a d d i t i o n a l i n s t i t u t i o n s h a v e c h a n g e d t h e i r c a l e n d a r s y s t e m f r o m q u a r t e r t o s e m e s t e r , f o r e x a m p l e , t h e U n i v e r s i t y o f C a l i f o r n i a s y s t e m ) . T a b l e 1 9 , w h i c h i s p r e s e n t e d b e l o w , s u m m a r i z e s t h e c a l e n d a r s y s t e m s o f d o c t o r a l i n s t i t u t i o n s . 2 2 5 T a b l e 1 9 . S u m m a r y o f D o c t o r a l I n s t i t u t i o n s b y C a l e n d a r S y s t e m , 1 9 8 1 - 1 9 8 2 S y s t e m N u m b e r % S e m e s t e r 1 2 1 7 0 . 8 % Q u a r t e r 3 7 2 1 . 7 T r i m e s t e r 4 2 . 3 4 / 1 / 4 4 2 . 3 O t h e r 5 2 . 9 1 7 1 1 0 0 . 0 % L N D G R N T - - O n l y a b o u t a q u a r t e r o f a l l d o c t o r a l i n s t i t u t i o n s a r e l a n d g r a n t i n s t i t u t i o n s , b u t o v e r h a l f a r e m e m b e r s o f N A S U L G C . A s c a n b e s e e n i n T a b l e 2 0 b e l o w , 4 8 o r 2 8 . 1 % o f a l l d o c t o r a l i n s t i t u t i o n s a r e l a n d g r a n t i n s t i t u t i o n s a n d a l l a r e m e m b e r s o f t h e N a t i o n a l A s s o c i a t i o n o f S t a t e U n i v e r s i t i e s a n d L a n d G r a n t C o l l e g e s ( N A S U L G C ) . A n o t h e r 4 4 ( 2 5 . 7 % ) o f t h e 1 2 3 n o n - l a n d g r a n t i n s t i t u t i o n s a r e a l s o m e m b e r s o f N A S U L G C , m a k i n g a t o t a l o f 9 2 ( 5 3 . 8 % ) d o c t o r a l i n s t i t u t i o n s t h a t a r e m e m b e r s o f N A S U L G C . T a b l e 2 0 . S u m m a r y o f D o c t o r a l I n s t i t u t i o n s b y L a n d g r a n t a n d N A S U L G C M e m b e r s h i p S t a t u s , 1 9 8 1 - 1 9 8 2 T o t a l N A S U L G C N o n - N A S U L G C L a n d g r a n t N u m b e r % N u m b e r % N u m b e r % L a n d g r a n t 4 8 2 8 . 1 % 4 8 2 8 . 1 % N o n - L a n d g r a n t 1 2 3 7 1 . 9 4 4 2 5 . 7 7 9 4 6 . 2 % 1 7 1 1 0 0 . 0 % 9 2 5 3 . 8 % 7 9 4 6 . 2 % 2 2 6 A A U Y R . A b o u t o n e - t h i r d o f a l l d o c t o r a l i n s t i t u t i o n s b e l o n g t o t h e A A U . O f t h e o n e h u n d r e d a n d s e v e n t y - o n e d o c t o r a l i n s t i t u t i o n s i n t h e p o p u l a t i o n , a p p r o x i m a t e l y o n e - t h i r d ( 5 1 i n s t i t u t i o n s o r 2 9 . 8 % ) a r e m e m b e r s o f t h e A m e r i c a n A s s o c i a t i o n o f U n i v e r s i t i e s ( A A U ) , w h i l e a p p r o x i m a t e l y t w o - t h i r d s ( 1 2 0 o r 7 0 . 2 % ) a r e n o n - m e m b e r s . I t s h o u l d b e n o t e d t h a t t h e s t u d y A A U m e m b e r s h i p f i g u r e c o u n t s C o r n e l l U t w i c e ( o n c e a s C o r n e l l U E n d o w e d C o l l e g e s a n d o n c e a s C o r n e l l U S t a t u t o r y C o l l e g e s ) a n d d o e s n o t i n c l u d e t w o f o r e i g n ( C a n a d i a n ) u n i v e r s i t i e s , M c G i l l U n i v e r s i t y a n d t h e U n i v e r s i t y o f T o r o n t o . I t s h o u l d a l s o b e n o t e d t h a t f o u r o t h e r u n i v e r s i t i e s i n t h e d o c t o r a l i n s t i t u t i o n p o p u l a t i o n : t h e U n i v e r s i t y o f A r i z o n a , B r a n d e i s U n i v e r s i t y , t h e U n i v e r s i t y o f F l o r i d a , a n d R i c e U n i v e r s i t y a r e n o t i n c l u d e d i n t h e A A U f i g u r e , s i n c e t h e y b e c a m e A A U m e m b e r s i n 1 9 8 5 , a f t e r t h e s t u d y p e r i o d . s e x . A l m o s t a l l d o c t o r a l i n s t i t u t i o n s h a v e c o e d u c a t i o n a l s t u d e n t b o d i e s . T h e s t u d e n t b o d i e s o f A m e r i c a n d o c t o r a l i n s t i t u t i o n s a r e p r e d o m i n a n t l y c o e d u c a t i o n a l i n n a t u r e a s i s i n d i c a t e d b y t h e s e l f - d e s i g n a t i o n o f 1 6 8 o r 9 8 . 2 % o f t h e 1 7 1 i n s t i t u t i o n s i n t h e s t u d y . O f t h e t h r e e r e m a i n i n g i n s t i t u t i o n s , t w o ( 1 . 2 % ) , B r y n M a w r C o l l e g e a n d T e x a s 2 2 7 W o m a n ’ s U n i v e r s i t y , d e s i g n a t e d t h e m s e l v e s a s p r e d o m i n a n t l y f e m a l e i n s t i t u t i o n s a n d t h e t h i r d , Y e s h i v a U n i v e r s i t y , d e s i g n a t e d i t s e l f a s C o o r d i n a t e i n d i c a t i n g t h a t t h e i n s t i t u t i o n h a s s e p a r a t e c o l l e g e s f o r m e n a n d w o m e n . R A C E / E T H . A l m o s t a l l d o c t o r a l i n s t i t u t i o n s h a v e p r e d o m i n a n t l y w h i t e s t u d e n t b o d i e s . O n e h u n d r e d a n d s i x t y - s e v e n ( 1 6 7 ) o r 9 7 . 7 % o f A m e r i c a n d o c t o r a l i n s t i t u t i o n s i n d i c a t e t h a t t h e p r e d o m i n a n t r a c e / e t h n i c g r o u p o n c a m p u s i s W h i t e ( N o n - H i s p a n i c O t h e r ) a n d t h a t t h e W h i t e g r o u p c o n s t i t u t e s 5 0 % o r m o r e o f t o t a l e n r o l l m e n t . T w o ( 2 o r 1 . 2 % ) o t h e r i n s t i t u t i o n s , t h e U n i v e r s i t y o f D e t r o i t a n d U n i t e d S t a t e s I n t e r n a t i o n a l U n i v e r s i t y , i n d i c a t e t h a t t h e W h i t e g r o u p i s a l s o t h e p r e d o m i n a n t g r o u p o n c a m p u s , b u t t h a t i t c o n s t i t u t e s l e s s t h a n 5 0 % o f t o t a l e n r o l l m e n t . O f t h e r e m a i n i n g t w o i n s t i t u t i o n s , 1 ( . 6 % ) , t h e U n i v e r s i t y o f H a w a i i a t M a n o a , i n d i c a t e s t h a t t h e A s i a n / P a c i f i c I s l a n d e r g r o u p i s t h e p r e d o m i n a n t r a c e / e t h n i c g r o u p , w h i l e t h e o t h e r ( a l s o 1 o r . 6 % ) , H o w a r d U n i v e r s i t y , i n d i c a t e s t h e B l a c k g r o u p . T h e s e l a t t e r t w o i n s t i t u t i o n s a l s o i n d i c a t e t h a t t h e p r e d o m i n a n t c a m p u s g r o u p ( t h a t i s , A s i a n / P a c i f i c I s l a n d e r o r B l a c k ) c o n s t i t u t e s 5 0 % o r m o r e o f t o t a l e n r o l l m e n t . D NNI S u m m a r y I n s u m m a r y , A m e r i c a n d o c t o r a l i n s t i t u t i o n s m a y b e d e m o g r a p h i c a l l y d e s c r i b e d a s p r e d o m i n a n t l y p u b l i c , n o n - l a n d g r a n t , n o n - A A U , g e o g r a p h i c a l l y u n e v e n l y d i s t r i b u t e d s i n g l e - c a m p u s N A S U L G C - m e m b e r i n s t i t u t i o n s w i t h s e m e s t e r c a l e n d a r s y s t e m s a n d w h i t e c o e d u c a t i o n a l s t u d e n t b o d i e s . Q u a n t i t a t i v e V a r i a b l e s I n t r o d u c t i o n T h e q u a n t i t a t i v e v a r i a b l e s a r e t h e t h i r t y - e i g h t m e a s u r e s o f q u a n t i f i a b l e c h a r a c t e r i s t i c s o f A m e r i c a n d o c t o r a l i n s t i t u t i o n s . T h e s e v a r i a b l e s i n c l u d e s u c h c h a r a c t e r i s t i c s a s n u m b e r o f s t u d e n t s , d e g e e s g r a n t e d , a n d c o m p e n s a t i o n o f f a c u l t y . O n e a p p r o a c h t o u n d e r s t a n d i n g t h e s e c h a r a c t e r i s t i c s i s t o p r o v i d e a r e v i e w o f t h e d a t a v a l u e d i s t r i b u t i o n s ( t h a t i s , t h e s u m m a r y s t a t i s t i c s ) f o r e a c h v a r i a b l e i n t e r m s o f : 1 ) c e n t r a l t e n d e n c y , 2 ) v a r i a b i l i t y , a n d 3 ) s y m m e t r y ( t h a t i s , d e v i a t i o n f r o m t h e n o r m a l c u r v e o r s k e w n e s s ) . S u m m a r y S t a t i s t i c s A n a l y s i s o f t h e m e a s u r e s o f c e n t r a l t e n d e n c y ( t h e m e d i a n a n d t h e m e a n ) , v a r i a b i l i t y ( t h e r a n g e , s t a n d a r d d e v i a t i o n , a n d r a n g e t o s t a n d a r d d e v i a t i o n r a t i o ) , a n d s y m m e t r y ( s k e w n e s s ) o f t h e t h i r t y - e i g h t q u a n t i t a t i v e 7 7 9 h - v a r i a b l e s p r o v i d e s a p e r s p e c t i v e o f t h e d o c t o r a l i n s t i t u t i o n p o p u l a t i o n a s a w h o l e a n d o f t h e r e l a t i o n s h i p o f t h e v a r i a b l e s t o e a c h o t h e r . F i r s t , w e c a n o b t a i n a c o m p o s i t e v i e w o f t h e a v e r a g e A m e r i c a n d o c t o r a l i n s t i t u t i o n i n t h e 1 9 8 1 - 8 2 s t u d y y e a r b y l o o k i n g a t t h e m e d i a n a n d t h e m g g g _ i n T a b l e 2 1 b e l o w . F o r e x a m p l e , a r e v i e w o f t h e m e d i a n s i n d i c a t e s t h a t t h e t y p i c a l d o c t o r a l i n s t i t u t i o n : 1 ) w a s 1 1 2 y e a r s o l d ; 2 ) e n r o l l e d a b o u t 1 6 , 4 0 0 t o t a l s t u d e n t s ( 1 4 , 3 0 0 o r 8 7 % f u l l - t i m e - e q u i v a l e n t s t u d e n t s ) , o f w h i c h a p p r o x i m a t e l y 1 2 , 4 0 0 w e r e u n d e r g r a d u a t e s ( 7 6 % ) a n d 4 , 0 0 0 ( 2 4 % ) w e r e g r a d u a t e s ( s l i g h t l y m o r e t h a n h a l f o f w h o m w e r e f u l l - t i m e ) ; 3 ) g r a n t e d a b o u t 3 , 1 0 0 d e g r e e s , o f w h i c h a b o u t 8 0 0 ( 2 5 % ) w e r e m a s t e r ' s , 1 5 0 ( 5 % ) w e r e f i r s t p r o f e s s i o n a l , a n d 1 2 0 ( 4 % ) w e r e d o c t o r ' s d e g r e e s ; 4 ) e m p l o y e d a b o u t 7 0 0 f u l l - t i m e i n s t r u c t i o n a l f a c u l t y , o f w h i c h a b o u t 5 0 0 ( 6 6 % ) w e r e t e n u r e d ( 2 5 0 o r 5 3 % P r o f e s s o r s , 1 6 0 o r 3 4 % A s s o c i a t e P r o f e s s o r s , a n d 2 0 o r 4 % A s s i s t a n t P r o f e s s o r s ) ; 5 ) g r a n t e d c o m p e n s a t i o n ( s a l a r y a n d b e n e f i t s ) o f a p p r o x i m a t e l y $ 4 3 , 0 0 0 t o P r o f e s s o r s , $ 3 2 , 0 0 0 t o A s s o c i a t e P r o f e s s o r s , a n d $ 2 6 , 0 0 0 t o A s s i s t a n t P r o f e s s o r s ; 6 ) m a n a g e d a n e n d o w m e n t o f $ 1 7 . 5 m i l l i o n , b u i l d i n g a s s e t s o f $ 1 3 4 m i l l i o n , e q u i p m e n t a s s e t s o f £ 4 8 m i l l i o n , a n d a l i b r a r y o f 1 . 3 m i l l i o n v o l u m e s a n d 1 2 , 0 0 0 p e r i o d i c a l s : 7 ) r e c e i v e d $ 1 5 2 m i l l i o n i n t o t a l r e v e n u e ( $ 2 0 m i l l i o n 2 3 0 f r o m g o v e r n m e n t g r a n t s a n d c o n t r a c t s ; $ 6 m i l l i o n f r o m p r i v a t e g i f t s , g r a n t s , a n d c o n t r a c t s ; $ 2 7 m i l l i o n f r o m t u i t i o n a n d f e e s ; a n d $ 4 2 m i l l i o n f r o m a p p r o p r i a t i o n s ) ; 8 ) s p e n t $ 4 5 m i l l i o n f o r i n s t r u c t i o n , $ 1 0 m i l l i o n f o r a c a d e m i c s u p p o r t , $ 1 1 m i l l i o n f o r p l a n t m a i n t e n a n c e , $ 1 8 m i l l i o n f o r r e s e a r c h , $ 4 . 5 m i l l i o n f o r s t u d e n t s e r v i c e s , a n d $ 5 m i l l i o n f o r s c h o l a r s h i p s a n d f e l l o w s h i p s ; a n d 9 ) h a d 1 4 g r a d u a t e p r o g r a m s r a t e d b y t h e A s s o c i a t e d R e s e a r c h C o u n c i l s ( A R C ) a t 3 , 2 0 0 q u a l i t y p o i n t s f o r f a c u l t y a n d 2 , 1 0 0 q u a l i t y p o i n t s f o r p r o g r a m s a n d G o u r m a n q u a l i t y r a t i n g s o f 3 . 6 6 f o r g r a d u a t e a n d 4 . 0 3 f o r u n d e r g r a d u a t e e d u c a t i o n . 2 3 1 T a b l e 2 1 . M e d i a n a n d M e a n o f t h e T h i r t y - E i g h t Q u a n t i t a t i v e V a r i a b l e s b y D o m a i n D o m a i n / V a r i a b l e M e d i a n M e a n S - S t u d e n t S T D H D C T 1 6 4 2 0 1 7 7 7 8 S T D F T E 1 4 2 9 7 1 5 0 8 0 S G H D C T 3 9 8 0 4 7 3 0 S G H D C T F T 2 0 7 8 2 6 5 0 D - D e g r e e D E G S T O T 3 1 0 7 3 5 1 4 D E G S M A S 7 7 6 8 8 6 D E G S F P 1 5 2 2 0 7 D E G S D O C 1 2 2 1 6 8 F - F a c u l t y . F A C T O T 7 2 3 7 8 1 F A C T E N 4 7 6 5 0 4 F T E N P R F 2 5 1 2 9 2 F T E N A S C 1 6 2 1 8 2 F T E N A S T 2 0 2 7 C - C o m p e n s a t i o n C O M P P R F A 4 2 8 5 1 4 3 2 6 5 C O M P A S C A 3 1 9 5 0 3 2 2 1 7 C O M P A S T A 2 5 8 5 0 2 5 8 8 5 A - A s s e t A G E 1 1 2 1 1 3 A E N D O W 1 7 5 1 2 8 6 9 9 0 0 1 9 0 8 1 A B L D G 1 3 3 8 4 4 3 8 2 1 6 0 0 3 7 1 7 5 A E O U I P 4 8 2 2 9 3 4 1 6 1 2 4 9 2 7 0 A L V O L S 1 2 7 3 5 2 7 1 5 8 9 1 8 9 A L S U B S 1 1 9 3 2 1 6 4 4 8 R — R e v e n u e R T O T 1 5 2 2 0 9 7 7 9 1 9 9 7 5 7 9 5 4 R G V T G C 1 9 5 7 9 9 7 8 3 0 8 3 3 4 0 6 R P R V G G C 6 1 7 6 6 0 4 1 1 0 4 8 9 8 7 R T U I T F E 2 7 1 6 6 6 6 4 3 4 8 3 0 4 8 5 R A P P R O P 4 1 7 3 2 2 2 4 5 5 2 1 0 4 5 8 E - E x p e n d i t u r e E I N S T R 4 4 8 7 6 2 7 9 5 6 3 1 0 2 2 4 E A C A D S P 9 8 5 9 9 1 2 1 2 5 4 9 7 3 3 E P L N T 1 0 8 6 7 1 7 4 1 3 6 0 5 4 4 4 E R E S 1 7 9 5 4 9 1 9 2 8 2 3 7 3 4 5 E S T D S V C 4 4 9 2 8 7 0 5 4 8 6 8 5 3 E S C H F E L 4 9 6 3 9 2 5 7 1 1 8 1 2 0 O - Q u a l i t y O A R C F A C 3 2 4 3 4 2 5 6 O A R C P R G 2 1 1 7 2 5 2 5 O A R C N 1 4 1 6 O G R M N G 3 . 6 6 3 . 7 4 O G R M N U G 4 . 0 3 4 . 1 0 M N N e x t , l o o k i n g a t v a r i a b i l i t y , w e s e e t h a t b o t h t h e r a n g e s ( s e e T a b l e 2 2 b e l o w ) a n d t h e s t a n d a r d d e v i a t i o n s ( s e e T a b l e 2 3 b e l o w ) a p p e a r t o b e e x t r e m e l y l a r g e f o r m o s t v a r i a b l e s . F o r e x a m p l e , f r o m T a b l e 2 2 w e s e e t h a t t h e t o t a l n u m b e r o f s t u d e n t s a t d o c t o r a l i n s t i t u t i o n s ( S T D H D C T ) r a n g e s f r o m 4 9 t o 6 5 , 1 8 4 ; t o t a l d e g r e e s g r a n t e d ( D E G S T O T ) f r o m 1 t o 1 0 , 7 1 4 ; a n d t o t a l r e v e n u e ( R T O T ) f r o m $ 3 1 1 , 3 9 0 t o $ 7 9 5 , 3 8 9 , 4 9 0 . T h u s , i t a p p e a r s t h a t t h e p o p u l a t i o n o f d o c t o r a l i n s t i t u t i o n s i s v e r y d i v e r s e , b u t t h e d e g r e e o f d i v e r s i t y c a n n o t b e d e t e r m i n e d f r o m t h e s e m e a s u r e s a l o n e . O n e w a y t h a t w e c a n a s s e s s t h e d e g r e e o f d i v e r s i t y r e l a t i v e t o o t h e r s t u d i e s i s t o e s t i m a t e t h e l e n g t h o f t h e r a n g e i n s t a n d a r d d e v i a t i o n u n i t s b y c a l c u l a t i n g t h e r a n g e t s t a n d a r d d e v i a t i o n r a t i o f o r e a c h v a r i a b l e . T h e r e s u l t s o f t h i s a n a l y s i s a r e a l s o p r e s e n t e d i n T a b l e 2 3 b e l o w . T h e y s h o w , f o r e x a m p l e , t h a t t h i r t y o f t h e t h i r t y - e i g h t q u a n t i t a t i v e v a r i a b l e s h a v e r a n g e t o s t a n d a r d d e v i a t i o n r a t i o s w i t h i n t h e e x p e c t e d 3 t o 6 s t a n d a r d d e v i a t i o n a r e a . O n l y , e i g h t v a r i a b l e s e x c e e d 6 s t a n d a r d d e v i a t i o n s : A L S U B S 6 . 0 3 , D E G S M A S 6 . 0 5 , S G H D C T 6 . 1 3 , A G E 6 . 6 8 , R P R V G G C 6 . 7 2 , A L V O L S 7 . 1 0 , E A C A D S P 7 . 6 0 , a n d A E N D O W 7 . 7 4 . I n t e r e s t i n g l y , f o u r o f t h e s e e i g h t v a r i a b l e s l i e i n t h e A s s e t d o m a i n ( t h a t i s , A L S U B S , A G E , A L V O L S , A N D A E N D O W ) a n d o n e r e l a t e s t o t h e a c a d e m i c s u p p o r t o f f a c u l t y ( E A C A D S P ) . 3 ( T a b l e 2 2 . 2 . 4 R a n g e o f t h e T h i r t y - E i g h t Q u a n t i t a t i v e V a r i a b l e s b y D o m a i n D o m a i n / V a r i a b l e M i n i m u m M a x i m u m R a n g § _ S - S t u d e n t S T D H D C T 4 9 6 5 1 8 4 6 5 1 3 5 S T D F T E 4 9 4 9 1 4 8 4 9 0 9 9 S G H D C T 4 9 1 9 4 3 6 1 9 3 8 7 S G H D C T F T 4 9 1 1 6 8 7 1 1 6 3 8 D - D e g r e e D E G S T O T 1 1 0 7 1 4 1 0 7 1 3 D E G S M A S 0 3 8 8 7 3 8 8 7 D E G S F P 0 9 6 2 9 6 2 D E G S D O C 1 7 1 2 7 1 1 F — F a c u l t y ' F A C T O T 4 2 2 5 3 2 2 4 9 F A C T E N 0 1 6 3 6 1 6 3 6 F T E N P R F 0 1 0 9 1 1 0 9 1 ' F T E N A S C 0 5 7 8 5 7 8 F T E N A S T 0 1 3 7 1 3 7 C - C o m p e n s a t i o n C O M P P R F A 3 2 3 0 0 6 4 0 0 0 3 1 7 0 0 C O M P A S C A 2 5 6 0 0 4 0 6 0 0 1 5 0 0 0 C O M P A S T A 2 1 0 0 0 3 2 9 0 0 1 1 9 0 0 A - A s s e t A G E 1 2 3 4 6 3 3 4 A E N D O W 0 1 7 0 1 2 2 9 4 7 5 1 7 0 1 2 2 9 4 7 5 A B L D G 4 0 5 1 9 8 6 0 4 2 1 1 1 3 3 6 0 3 8 0 5 9 3 5 A E O U I P 4 4 0 6 3 2 3 6 0 3 1 0 3 2 2 3 5 9 8 6 9 6 9 A L V O L S 0 1 0 4 0 9 2 2 8 1 0 4 0 9 2 2 8 A L S U B S 0 1 0 2 2 6 5 1 0 2 2 6 5 R - R e v e n u e R T O T 3 1 1 3 9 0 7 9 5 3 8 9 4 9 0 7 9 5 0 7 8 1 0 0 R G V T G C 0 2 0 1 4 3 4 0 0 0 2 0 1 4 3 4 0 0 0 R P R V G G C 1 1 7 7 9 3 3 1 3 0 0 0 9 3 3 1 1 8 2 3 R T U I T F E 0 1 6 2 8 2 9 0 0 0 1 6 2 8 2 9 0 0 0 R A P P R O P 0 2 6 1 0 8 0 4 8 1 2 6 1 0 8 0 4 8 1 E - E x p e n d i t u r e E I N S T R 2 0 2 4 0 4 2 1 2 1 7 0 9 4 1 2 1 1 9 6 8 5 3 7 E A C A D S P 2 1 7 9 7 7 8 8 7 6 1 2 6 7 8 8 5 4 3 2 9 E P L N T 4 0 4 8 0 5 6 0 9 9 0 0 0 5 6 0 5 8 5 2 0 E R E S 0 1 5 2 4 6 6 0 0 0 1 5 2 4 6 6 0 0 0 E S T D S V C 0 2 3 8 0 5 0 5 0 2 3 8 0 5 0 5 0 E S C H F E L 0 3 7 7 2 8 0 0 0 3 7 7 2 8 0 0 0 O - Q u a l i t y O A R C F A C 0 1 5 8 9 0 1 5 8 9 0 O A R C P R G 0 8 8 5 0 8 8 5 0 O A R C N 1 3 8 3 7 O G R M N G 2 . 4 7 4 . 9 5 2 . 4 8 O G R M N U G 2 . 6 4 4 . 9 5 2 . 3 1 2 3 4 T a b l e 2 3 . S u m m a r y o f t h e V a r i a b i l i t y o f t h e T h i r t y - E i g h t Q u a n t i t a t i v e V a r i a b l e s : S t a n d a r d D e v i a t i o n , R a n g e / S t a n d a r d D e v i a t i o n R a t i o , a n d S k e w n e s s R a n g e / S t d . D o m a i n / V a r i a b l e S t d . D e v . D e v . R a t i o S k S - S t u d e n t S T D H D C T 1 1 0 3 7 5 . 9 0 . 3 7 S T D F T E 9 4 5 2 5 . 1 9 . 2 5 S G H D C T 3 1 6 5 6 . 1 3 . 7 1 S G H D C T F T 2 2 3 6 5 . 2 0 . 7 7 D - D e g r e e D E G S T O T 2 1 9 7 4 . 8 8 . 5 6 D E G S M A S 6 4 3 6 . 0 5 . 5 2 D E G S F P 2 1 4 4 . 5 0 . 7 7 D E G S D O C 1 4 3 4 . 9 7 . 9 7 F - F a c u l t y F A C T O T 4 3 7 5 . 1 5 . 4 0 F A C T E N 3 0 9 5 . 2 9 . 2 7 F T E N P R F 2 0 0 5 . 4 6 . 6 2 F T E N A S C 1 1 6 4 . 9 8 . 5 2 F T E N A S T 2 9 4 . 7 2 . 7 2 C - C o m p e n s a t i o n C O M P P R F A 5 6 6 2 5 . 6 0 . 2 2 C O M P A S C A 2 7 5 4 5 . 4 5 . 2 9 C O M P A S T A 2 0 7 7 5 . 7 3 . 0 5 A - A s s e t A G E 5 0 6 . 6 8 . 0 6 A E N D O W 2 1 9 6 7 7 0 9 3 7 . 7 4 . 9 9 A B L D G 1 0 9 7 7 4 8 7 1 5 . 5 0 . 7 2 A E O U I P 4 9 9 2 3 3 6 4 4 . 7 3 . 7 8 A L V O L S 1 4 6 5 3 1 9 7 . 1 0 . 6 5 A L S U B S 1 6 9 5 7 6 . 0 3 . 8 0 R - R e v e n u e R T O T 1 5 5 6 9 6 3 2 7 5 . 1 1 . 9 2 R G V T G C 3 4 3 8 6 0 2 0 5 . 8 6 . 9 8 R P R V G G C 1 3 8 9 2 5 5 2 6 . 7 2 1 . 0 5 R T U I T F E 2 8 8 3 5 9 9 7 5 . 6 5 . 8 0 R A P P R O P 5 7 9 7 5 2 1 8 4 . 5 0 . 7 0 E - E x p e n d i t u r e E I N S T R 3 9 9 4 7 6 6 4 5 . 3 1 . 8 6 E A C A D S P 1 0 3 6 9 6 5 7 7 . 6 0 . 7 8 E P L N T 1 0 1 7 5 2 8 6 5 . 5 1 . 8 1 E R E S 3 1 2 2 4 7 4 1 4 . 8 8 . 9 9 E S T D S V C 4 0 0 6 4 6 2 5 . 9 4 . 7 4 E S C H F E L 7 0 9 9 6 2 2 5 . 3 1 . 9 1 O - Q u a l i t y O A R C F A C 3 6 4 6 4 . 3 6 . 8 3 O A R C P R G 2 1 0 0 4 . 2 1 . 5 8 O A R C N 1 0 3 . 7 0 . 6 0 Q G R M N G . 6 5 3 . 8 2 . 3 7 Q G R M N U G . 5 1 4 . 5 3 . 4 1 2 3 5 F i n a l l y , l o o k i n g a t s k e w n e s s ( t h a t i s , d e v i a t i o n f r o m t h e n o r m a l c u r v e ) , w e s e e t h a t t h e m e a n i s l a r g e r t h a n t h e m e d i a n f o r a l l t h i r t y - e i g h t q u a n t i t a t i v e v a r i a b l e s ( s e e T a b l e 2 1 a b o v e ) , i n d i c a t i n g t h a t t h e d i s t r i b u t i o n s f o r a l l t h e v a r i a b l e s a r e n o n - n o r m a l a n d p o s i t i v e l y s k e w e d ( t h a t i s , t h e v a l u e s a r e p i l e d u p t o w a r d t h e l o w e r v a l u e s a n d t h e u p p e r t a i l i s e x t e n d e d ) . W e c a n s e e t h e a m o u n t o f a s y m m e t r y o r d e v i a t i o n o f t h e d i s t r i b u t i o n s b y l o o k i n g a t t h e s k e w n e s s v a l u e s ( 8 k ) i n T a b l e 2 3 a b o v e . A s T a b l e 2 3 s h o w s , s k e w n e s s v a l u e s f o r a l l v a r i a b l e s f a l l w i t h i n t h e e x p e c t e d - 3 t o + 3 r a n g e , w i t h s p e c i f i c v a l u e s r a n g i n g f r o m . 0 5 f o r C O M P A S T A ( w h i c h i n d i c a t e s a n a l m o s t p e r f e c t l y s y m m e t r i c a l d i s t r i b u t i o n ) t o 1 . 0 5 f o r R P R V G G C ( w h i c h i n d i c a t e s m o d e r a t e s k e w n e s s ) . I t s h o u l d a l s o b e n o t e d t h a t m o r e t h a n h a l f o f a l l o f t h e S k v a l u e s a r e . 7 0 a n d a b o v e . T h u s , o u r s u m m a r y s t a t i s t i c s s h o w t h a t , a l t h o u g h d i v e r s i t y d o e s e x i s t i n t h e d o c t o r a l i n s t i t u t i o n p o p u l a t i o n , s t a t i s t i c a l l y i t w o u l d a p p e a r t h a t i t i s n o t a s g r e a t a s i t f i r s t a p p e a r e d t o b e . M ( A [ I ~ R a n k i n g s A n o t h e r w a y o f p r o v i d i n g a n o v e r v i e w o f t h e q u a n t i t a t i v e c h a r a c t e r i s t i c s o f d o c t o r a l i n s t i t u t i o n s i s t o f o r m l i s t i n g s o r r a n k i n g s , o r d e r e d f r o m h i g h t o l o w . F o r e x a m p l e , r a n k i n g s a r e f r e q u e n t l y p r e p a r e d t o c o m p a r e i n s t i t u t i o n s o n e n r o l l m e n t , f a c u l t y s a l a r i e s , t u i t i o n a n d f e e s , o r a p p r o p r i a t i o n s . S u c h r a n k i n g s w e r e p r e p a r e d f o r e a c h o f t h e t h i r t y - e i g h t q u a n t i t a t i v e v a r i a b l e s i n t h e p r e s e n t s t u d y . H o w e v e r , d u e t o t h e l a r g e v o l u m e o f o u t p u t g e n e r a t e d i n t h i s p r o c e d u r e ( t h a t i s , a b o u t o n e h u n d r e d a n d f i f t y p a g e s ) , c o m g l e t e r a n k i n g r e s u l t s a r e p r e s e n t e d f o r o n l y t h e e i g h t k e y v a r i a b l e s i d e n t i f i e d i n P h a s e 3 o f t h e s t u d y . T h e y m a y b e f o u n d i n A p p e n d i x C . T o f u r t h e r d e m o n s t r a t e t h e u s e o f r a n k i n g , a n o t h e r r a n k i n g a n a l y s i s i s p r e s e n t e d b e l o w . I n t h i s r a n k i n g a n a l y s i s , t h e h i g h e s t a n d l o w e s t v a l u e s o f t h e p o p u l a t i o n o f d o c t o r a l i n s t i t u t i o n s o n e a c h o f t h e t h i r t y - e i g h t q u a n t i t a t i v e v a r i a b l e s a r e s u m m a r i z e d b y d o m a i n . M i s s i n g v a l u e s a r e i n d i c a t e d i f a p p r o p r i a t e . O t h e r w i s e e a c h v a r i a b l e i s a s s u m e d t o h a v e v a l u e s f o r a l l o n e h u n d r e d a n d s e v e n t y - o n e i n s t i t u t i o n s . M i c h i g a n S t a t e U n i v e r s i t y ' s r a n k i n g i s a l s o p r e s e n t e d f o r a l l v a r i a b l e s t o d e m o n s t r a t e t h i s d e s c r i p t i v e s t a t i s t i c ' s a p p l i c a t i o n t o a p a r t i c u l a r i n s t i t u t i o n . A l l r a n k i n g s w e r e g e n e r a t e d b y t h e P e r s o n a l C o m p u t e r S y s t e m . 2 3 7 S t u d e n t - - T h e U n i v e r s i t y o f M i n n e s o t a o f M i n n e a p o l i s S a i n t P a u l h a d t h e l a r g e s t n u m b e r o f s t u d e n t s o n t h r e e o f t h e f o u r v a r i a b l e s m e a s u r e d : 6 5 , 1 8 4 s t u d e n t h e a d c o u n t ( S T D H D C T ) , 4 9 , 1 8 4 f u l l - t i m e e q u i v a l e n t s t u d e n t h e a d c o u n t ( S T D F T E ) , a n d 1 1 , 6 8 7 f u l l - t i m e g r a d u a t e s t u d e n t h e a d c o u n t ( S G H D C T F T ) , w h i l e N e w Y o r k U n i v e r s i t y h a d t h e l a r g e s t n u m b e r ( 1 9 , 4 3 6 ) o f g r a d u a t e s t u d e n t s ( S G H D C T ) . T h e R a n d G r a d u a t e I n s t i t u t e o f P o l i c y S t u d i e s h a d t h e f e w e s t s t u d e n t s ( 4 9 ) i n a l l f o u r c a t e g o r i e s . M i c h i g a n S t a t e U n i v e r s i t y r a n k e d f o u r t h o n b o t h S T D H D C T ( 4 4 , 8 8 7 ) a n d S T D F T E ( 3 9 , 3 4 2 ) , t w e l f t h ( 1 0 , 3 0 7 ) o n S G H D C T , a n d t w e n t y - s e c o n d o n S G H D C T F T ( 4 , 6 8 1 ) . D e g r e e - - I n t e r m s o f d e g r e e s g r a n t e d , M i c h i g a n S t a t e U n i v e r s i t y c o n f e r r e d t h e m o s t ( 1 0 , 7 1 4 ) d e g r e e s ( D E G S T O T ) , N e w Y o r k U n i v e r s i t y c o n f e r r e d t h e m o s t ( 3 , 8 8 7 ) m a s t e r ' s d e g r e e s ( D E G S M A S ) , G e o r g e t o w n U n i v e r s i t y c o n f e r r e d t h e m o s t ( 9 6 2 ) f i r s t p r o f e s s i o n a l d e g r e e s ( D E G S F P ) , a n d t h e U n i v e r s i t y o f C a l i f o r n i a - B e r k e l e y c o n f e r r e d t h e m o s t ( 7 1 2 ) d o c t o r ' s d e g r e e s ( D E G S D O C ) . T h e f e w e s t t o t a l d e g r e e s ( 1 d e g r e e ) a n d t h e f e w e s t d o c t o r ' s d e g r e e s ( 1 d e g r e e ) w e r e c o n f e r r e d b y t h e R a n d G r a d u a t e I n s t i t u t e o f P o l i c y S t u d i e s . T h r e e i n s t i t u t i o n s : t h e R a n d G r a d u a t e I n s t i t u t e o f P o l i c y S t u d i e s , R o c k e f e l l e r U n i v e r s i t y , a n d t h e U n i o n f o r 2 3 8 E x p e r i m e n t i n g C o l l e g e s a n d U n i v e r s i t i e s g r a n t e d t h e f e w e s t ( 0 ) m a s t e r ' s d e g r e e s . F i f t y - t h r e e ( 5 3 ) o r 3 1 . 0 % o f a l l d o c t o r a l i n s t i t u t i o n s g r a n t e d t h e f e w e s t ( 0 ) f i r s t p r o f e s s i o n a l d e g r e e s . M i c h i g a n S t a t e U n i v e r s i t y r a n k e d s e v e n t h ( 2 , 2 3 9 ) o n D E G S M A S , f o r t y - e i g h t h ( 3 0 7 ) o n D E G S F P , a n d s i x t h ( 4 8 8 ) o n D E G S D O C . F a c u l t y - - M i c h i g a n S t a t e U n i v e r s i t y r a n k e d f i r s t , o u t o f t h e 1 6 9 i n s t i t u t i o n s r e p o r t i n g ( I n t e r n a t i o n a l C o l l e g e a n d t h e R a n d G r a d u a t e I n s t i t u t e o f P o l i c y S t u d i e s p r o v i d e d n o f a c u l t y d a t a ) , i n t h e n u m b e r ( 2 , 2 5 3 ) o f f u l l - t i m e i n s t r u c t i o n a l f a c u l t y ( F A C T O T ) a n d i n t h e n u m b e r ( 1 , 0 9 1 ) o f f u l l - t i m e t e n u r e d P r o f e s s o r s ( F T E N P R F ) , w h i l e t h e U n i v e r s i t y o f I l l i n o i s - U r b a n a C a m p u s r a n k e d f i r s t ( 1 , 6 3 6 ) i n t h e n u m b e r o f f u l l - t i m e t e n u r e d i n s t r u c t i o n a l f a c u l t y ( F A C T E N ) a n d i n t h e n u m b e r ( 5 7 8 ) o f f u l l - t i m e t e n u r e d A s s o c i a t e P r o f e s s o r s ( F T E N A S C ) , a n d O h i o S t a t e U n i v e r s i t y M a i n C a m p u s r a n k e d f i r s t ( 1 3 7 ) i n t h e n u m b e r o f f u l l - t i m e t e n u r e d A s s i s t a n t P r o f e s s o r s ( F T E N A S T ) . T h e U n i o n f o r E x p e r i m e n t i n g C o l l e g e s a n d U n i v e r s i t i e s h a d b o t h t h e f e w e s t t o t a l f a c u l t y ( 4 ) a n d t h e f e w e s t t e n u r e d f a c u l t y ( 0 ) a n d , a l o n g w i t h t h e U n i v e r s i t y o f T o l e d o , a l s o h a d t h e f e w e s t t e n u r e d P r o f e s s o r s ( 0 ) . H a r v a r d U n i v e r s i t y j o i n e d U n i o n a n d T o l e d o i n h a v i n g t h e f e w e s t A s s o c i a t e P r o f e s s o r s ( 0 ) , 2 3 9 w h i l e 3 9 o r 2 3 . 1 % o f t h e 1 6 9 d o c t o r a l i n s t i t u t i o n s r e p o r t i n g i n d i c a t e d t h a t t h e y h a d n o ( 0 ) A s s i s t a n t P r o f e s s o r s . M i c h i g a n S t a t e U n i v e r s i t y r a n k e d s e c o n d ( 1 , 6 1 2 ) o n F A C T E N , f o u r t h ( 4 7 3 ) o n F T E N A S C , a n d t h i r t y - f i f t h ( 4 8 ) o n F T E N A S T . C o m p e n s a t i o n - - R o c k e f e 1 1 e r U n i v e r s i t y r a n k e d f i r s t ( $ 6 4 , 0 0 0 ) , o u t o f 1 5 7 i n s t i t u t i o n s r e p o r t i n g , o n t h e c o m p e n s a t i o n o f P r o f e s s o r s ( C O M P P R F A ) , w h i l e t h e C a l i f o r n i a I n s t i t u t e o f T e c h n o l o g y r a n k e d f i r s t ( $ 4 0 , 6 0 0 ) , a l s o o u t o f 1 5 7 i n s t i t u t i o n s r e p o r t i n g , o n t h e c o m p e n s a t i o n o f A s s o c i a t e P r o f e s s o r s ( C O M P A S C A ) , a n d f i r s t ( $ 3 2 , 9 0 0 ) , o u t o f 1 5 6 i n s t i t u t i o n s r e p o r t i n g , o n t h e c o m p e n s a t i o n o f A s s i s t a n t P r o f e s s o r s ( C O M P A S T A ) . T h e U n i v e r s i t y o f S o u t h D a k o t a M a i n C a m p u s r a n k e d l a s t ( 0 ) o n c o m p e n s a t i o n f o r P r o f e s s o r s , w h i l e t h e U n i v e r s i t y o f N o r t h e r n C o l o r a d o r a n k e d l a s t o n c o m p e n s a t i o n f o r b o t h A s s o c i a t e ( $ 2 5 , 6 0 0 ) a n d A s s i s t a n t ( $ 2 1 , 0 0 0 ) P r o f e s s o r s . M i c h i g a n S t a t e U n i v e r s i t y r a n k e d s e v e n t y - s e c o n d t h ( $ 4 3 , 2 0 0 ) i n C O M P P R F A , f o r t y - f i f t h ( $ 3 3 , 8 0 0 ) i n C O M P A S C A , a n d t w e n t i e t h ( $ 2 8 , 4 0 0 ) i n C O M P A S T A . fl § § § £ - - I n t e r m s o f a g e ( A G E ) , H a r v a r d U n i v e r s i t y w a s t h e o l d e s t d o c t o r a l i n s t i t u t i o n i n t h e U n i t e d S t a t e s a t 3 4 6 y e a r s a n d I n t e r n a t i o n a l C o l l e g e a n d t h e R a n d G r a d u a t e I n s t i t u t e o f P o l i c y S t u d i e s w e r e t h e 2 4 0 y o u n g e s t a t 1 2 y e a r s ( y e a r s a r e b a s e d o n t h e 1 9 8 1 - 8 2 s t u d y y e a r ) . I n t e r m s o f o t h e r a s s e t s , t h e U n i v e r s i t y o f T e x a s a t A u s t i n h a d t h e l a r g e s t ( $ 1 , 7 0 1 , 2 2 9 , 4 7 5 ) e n d o w m e n t ( A E N D O W ) , w h i l e t h i r t e e n o r 8 0 % o f t h e i n s t i t u t i o n s h a d n o ( 0 ) e n d o w m e n t . T h e U n i v e r s i t y o f M i n n e s o t a o f M i n n e a p o l i s S a i n t P a u l h a d t h e l a r g e s t ( $ 6 0 4 , 2 1 1 , 1 3 3 ) b u i l d i n g a s s e t s ( A B L D G ) , w h i l e t h e C i t y U n i v e r s i t y o f N e w Y o r k G r a d u a t e S c h o o l a n d U n i v e r s i t y C e n t e r h a d t h e s m a l l e s t ( $ 4 0 5 , 1 9 8 ) . T h e U n i v e r s i t y o f T e x a s a t A u s t i n h a d t h e l a r g e s t ( $ 2 3 6 , 0 3 1 , 0 3 2 ) e q u i p m e n t a s s e t s ( A E Q U I P ) , w h i l e t h e R a n d G r a d u a t e I n s t i t u t e o f P o l i c y S t u d i e s h a d t h e s m a l l e s t ( $ 4 4 , 0 6 3 ) . H a r v a r d U n i v e r s i t y h a d t h e l a r g e s t n u m b e r ( 1 0 , 4 0 9 , 2 2 8 ) o f l i b r a r y v o l u m e s ( A L V O L S ) , o u t o f t h e 1 6 9 r e p o r t i n g i n s t i t u t i o n s , w h i l e t h e U n i v e r s i t y o f C a l i f o r n i a - B e r k e l e y h a d t h e l a r g e s t n u m b e r ( 1 0 2 , 2 6 5 ) o f p e r i o d i c a l s u b s c r i p t i o n s ( o u t o f 1 6 4 i n s t i t u t i o n s ) . I n t e r n a t i o n a l C o l l e g e a n d t h e U n i o n f o r E x p e r i m e n t i n g C o l l e g e s a n d U n i v e r s i t i e s h a d t h e f e w e s t ( 0 ) i n b o t h c a t e g o r i e s . M i c h i g a n S t a t e U n i v e r s i t y r a n k e d f i f t y - t h i r d ( 1 2 7 y e a r s ) i n A G E , e i g h t y - n i n t h ( $ 1 6 , 3 7 6 , 6 7 8 ) i n A E N D O W , s i x t h ( $ 4 0 9 , 7 6 1 , 4 7 6 ) i n A B L D G , e i g h t e e n t h ( $ 1 2 2 , 3 4 3 , 9 7 2 ) i n A E O U I P , t h i r t y - f i r s t ( 2 , 0 9 9 , 0 9 9 ) i n A L V O L S , a n d s e v e n t y - f i f t h ( 1 3 , 5 2 5 ) i n A L S U B S . 2 4 1 R e v e n u e - - T h e U n i v e r s i t y o f C a l i f o r n i a - L b s A n g e l e s h a d t h e l a r g e s t ( $ 7 9 5 , 3 8 9 , 4 9 0 ) a n d t h e R a n d G r a d u a t e I n s t i t u t e o f P o l i c y S t u d i e s h a d t h e s m a l l e s t ( $ 3 1 1 , 3 9 0 ) t o t a l r e v e n u e ( R T O T ) . S t a n f o r d U n i v e r s i t y r a n k e d f i r s t ( $ 2 0 1 , 4 3 4 , 0 0 0 ) i n r e v e n u e r e c e i v e d f r o m g o v e r n m e n t g r a n t s a n d c o n t r a c t s ( R G V T G C ) , w h i l e f o u r i n s t i t u t i o n s : B r i g h a m Y o u n g U n i v e r s i t y , I n t e r n a t i o n a l C o l l e g e , t h e U n i v e r s i t y o f t h e P a c i f i c , a n d t h e R a n d G r a d u a t e I n s t i t u t e o f P o l i c y S t u d i e s r a n k e d l a s t w i t h z e r o ( 0 ) d o l l a r s . T h e M a s s a c h u s e t t s I n s t i t u t e o f T e c h n o l o g y r a n k e d f i r s t ( $ 9 3 , 3 1 3 , 0 0 0 ) i n p r i v a t e g i f t s , g r a n t s , a n d c o n t r a c t s ( R P R V G G C ) a n d I n t e r n a t i o n a l C o l l e g e r a n k e d l a s t ( $ 1 , 1 7 7 ) . N e w Y o r k U n i v e r s i t y r a n k e d f i r s t ( $ 1 6 2 , 8 2 9 , 0 0 0 ) i n r e v e n u e r e c e i v e d f r o m t u i t i o n a n d f e e s ( R T U I T F E ) , w h i l e R o c k e f e l l e r U n i v e r s i t y r a n k e d l a s t , r e c e i v i n g g g _ ( 0 ) r e v e n u e f r o m t h i s s o u r c e . F i n a l l y , t h e U n i v e r s i t y o f C a l i f o r n i a - L o s A n g e l e s r a n k e d f i r s t ( $ 2 6 1 , 0 8 0 , 4 8 1 ) i n r e v e n u e r e c e i v e d f r o m a p p r o p r i a t i o n s ( A P P R O P ) , w h i l e t h i r t y - s e v e n . i n s t i t u t i o n s r a n k e d l a s t w i t h n o ( 0 ) d o l l a r s r e c e i v e d f r o m a p p r o p r i a t i o n s . I t i s i n t e r e s t i n g t o n o t e t h a t t h e t h i r t y - s e v e n i n s t i t u t i o n s r e p o r t i n g n o i n c o m e f r o m a p p r o p r i a t i o n s o n l y r e p r e s e n t 5 9 . 7 % o f t h e 6 2 p r i v a t e d o c t o r a l i n s t i t u t i o n s . T h u s , t w e n t y - f i v e o r 4 0 . 3 % o f p r i v a t e d o c t o r a l i n s t i t u t i o n s r e c e i v e s o m e f o r m o f f e d e r a l , s t a t e , o r l o c a l s u b s i d y . 2 4 2 M i c h i g a n S t a t e U n i v e r s i t y r a n k e d t w e n t y - t h i r d o n b o t h R T O T ( $ 3 9 3 , 7 5 4 , 7 4 1 ) a n d R G V T G C ( $ 6 2 , 3 5 1 , 1 1 4 ) , t h i r t y - s e c o n d ( $ 1 8 , 0 0 9 , 0 7 0 ) o n R P R V G G C , n i n e t e e n t h ( $ 7 0 , 9 3 9 , 3 6 4 ) o n R T U I T F E , a n d f o u r t e e n t h ( $ 1 4 2 , 3 7 9 , 2 1 9 ) o n R A P P R O P . E x p e n d i t u r e - - T h e U n i v e r s i t y o f C a l i f o r n i a - L e s A n g e l e s r a n k e d f i r s t ( $ 2 1 2 , 1 7 0 , 9 4 1 a n d $ 7 8 , 8 7 6 , 1 2 6 r e s p e c t i v e l y ) a n d t h e R a n d G r a d u a t e I n s t i t u t e o f P o l i c y S t u d i e s r a n k e d l a s t ( $ 2 0 2 , 4 0 4 a n d $ 2 1 , 7 9 7 r e s p e c t i v e l y ) o n b o t h e x p e n d i t u r e s f o r i n s t r u c t i o n ( E I N S T R ) a n d e x p e n d i t u r e s f o r a c a d e m i c s u p p o r t ( E A C A D S P ) . H a r v a r d U n i v e r s i t y r a n k e d f i r s t o n b o t h e x p e n d i t u r e s ( $ 5 6 , 0 9 9 , 0 0 0 ) f o r p l a n t ( E P L N T ) a n d e x p e n d i t u r e s ( $ 3 7 , 7 2 8 , 0 0 0 ) f o r s c h o l a r s h i p s a n d f e l l o w s h i p s ( E S C H F E L ) . T h e R a n d G r a d u a t e I n s t i t u t e o f P o l i c y S t u d i e s r a n k e d l a s t ( 0 d o l l a r s ) o n E P L N T a n d a l s o l a s t , a l o n g w i t h R o c k e f e l l e r U n i v e r s i t y , o n E S C H F E L ( a l s o 0 d o l l a r s ) . T h e U n i v e r s i t y o f C a l i f o r n i a - B e r k e l e y r a n k e d f i r s t ( $ 2 3 , 8 0 5 , 0 5 0 ) o n e x p e n d i t u r e s f o r s t u d e n t s e r v i c e s ( E S T D S V C ) , w h i l e a g a i n , t h e R a n d G r a d u a t e I n s t i t u t e o f P o l i c y S t u d i e s a n d R o c k e f e l l e r U n i v e r s i t y t i e d f o r l a s t p l a c e w i t h n o ( 0 ) d o l l a r s e x p e n d e d . F i n a l l y , S t a n f o r d U n i v e r s i t y s p e n t t h e m o s t m o n e y o n r e s e a r c h ( $ 1 5 2 , 4 6 6 , 0 0 0 ) , w h i l e f i v e i n s t i t u t i o n s : I n t e r n a t i o n a l C o l l e g e , t h e R a n d G r a d u a t e I n s t i t u t e o f P o l i c y S t u d i e s , t h e U n i v e r s i t y o f t h e P a c i f i c , U n i t e d 2 4 3 S t a t e s I n t e r n a t i o n a l U n i v e r s i t y , a n d t h e U n i o n f o r E x p e r i m e n t i n g C o l l e g e s a n d U n i v e r s i t i e s s p e n t n o ( 0 ) m o n e y o n r e s e a r c h . M i c h i g a n S t a t e U n i v e r s i t y r a n k e d e l e v e n t h ( $ 1 3 3 , 1 0 8 , 7 2 0 ) o n E I N S T R , f o r t y - s e v e n t h ( $ 1 5 , 1 4 0 , 9 7 4 ) o n E A C A D S P , t w e n t y - f i r s t ( $ 2 5 , 1 4 6 , 5 4 4 ) o n E P L N T , t w e n t y - s e c o n d t h ( $ 5 7 , 8 7 9 , 3 0 4 ) - o n E R E S , t w e n t y - t h i r d ( $ 9 , 5 1 5 , 7 7 8 ) o n E S T D S V C , a n d t w e n t y - e i g h t h ( $ 1 1 , 3 4 8 , 4 8 2 ) o n E S C H F E L . O u a l i t y - - T h e U n i v e r s i t y o f C a l i f o r n i a - B e r k e l e y r a n k e d f i r s t , o u t o f t h e 1 6 1 d o c t o r a l i n s t i t u t i o n s r a t e d b y t h e A s s o c i a t e d R e s e a r c h C o u n c i l s s t u d y , i n t h e q u a l i t y ( 1 5 , 8 9 0 p o i n t s ) o f t h e f a c u l t y ( O A R C F A C ) , t h e q u a l i t y ( 8 , 8 5 0 p o i n t s ) o f t h e p r o g r a m ( O A R C P R G ) , a n d , a l o n g w i t h O h i o S t a t e U n i v e r s i t y M a i n C a m p u s , o n t h e n u m b e r ( 3 8 ) o f p r o g r a m s r a t e d ( O A R C N ) . N e w M e x i c o S t a t e U n i v e r s i t y M a i n C a m p u s r a n k e d l a s t ( 0 ) o n O A R C F A C a n d a l s o l a s t ( a l s o 0 ) , a l o n g w i t h t h e U n i v e r s i t y o f D e t r o i t a n d t h e U n i v e r s i t y o f N e v a d a - R e n o , o n O A R C P R G . T h e U n i v e r s i t y o f D e t r o i t a n d t h e U n i v e r s i t y o f N e v a d a - R e n o a g a i n r a n k e d l a s t ( w i t h 1 p r o g r a m ) , a l o n g w i t h t h e U n i v e r s i t y o f N o r t h C a r o l i n a a t G r e e n s b o r o , t h e U n i v e r s i t y o f N o r t h e r n C o l o r a d o , a n d Y e s h i v a U n i v e r s i t y o n O A R C N . H a r v a r d U n i v e r s i t y r a n k e d f i r s t ( 4 . 9 5 ) a n d U n i t e d S t a t e s I n t e r n a t i o n a l U n i v e r s i t y r a n k e d l a s t ( 2 . 4 7 ) , o u t o f 1 6 9 i n s t i t u t i o n s r a t e d , o n 2 4 4 t h e G o u r m a n g r a d u a t e q u a l i t y r a t i n g ( O G R M N G ) , w h i l e P r i n c e t o n U n i v e r s i t y r a n k e d f i r s t ( 4 . 9 5 ) a n d T e x a s W o m a n ' s U n i v e r s i t y r a n k e d l a s t ( 2 . 6 4 ) , o u t o f 1 6 3 i n s t i t u t i o n s r a t e d , o n t h e G o u r m a n u n d e r g r a d u a t e q u a l i t y r a t i n g ( O G R M N U G ) . M i c h i g a n S t a t e U n i v e r s i t y r a n k e d t w e n t y - n i n t h ( 7 , 6 3 1 p o i n t s ) o n O A R C F A C , t w e n t y - t h i r d ( 4 , 7 1 3 p o i n t s ) o n O A R C P R G , t w e n t y - s e c o n d ( 2 8 p r o g r a m s ) o n O A R C N , t h i r t y - f o u r t h ( 4 . 4 3 ) o n O G R M N G , a n d f o r t y - f i f t h ( 4 . 5 1 ) o n O G R M N U G . S u m m a r y I n s u m m a r y , i t s e e m s c l e a r t h a t t r a d i t i o n a l d e s c r i p t i v e s t a t i s t i c s o n q u a n t i t a t i v e d a t a o f d o c t o r a l i n s t i t u t i o n s , a s r e p o r t e d a b o v e i n t h e s u m m a r y s t a t i s t i c s a n d i n t h e r a n k i n g s o f d o c t o r a l i n s t i t u t i o n s , p r o v i d e i n t e r e s t i n g p i e c e s o f u n r e l a t e d i n f o r m a t i o n , b u t l i t t l e i n t h e w a y o f u s e f u l s y s t e m a t i c k n o w l e d g e a p p l i c a b l e t o t o t a l i n s t i t u t i o n a l f u n c t i o n i n g . A b o u t t h e s a f e s t c o n c l u s i o n t h a t c o u l d b e d r a w n f r o m t h e d e s c r i p t i v e s t a t i s t i c s i s t h a t d o c t o r a l i n s t i t u t i o n s a r e h i g h l y d i v e r s e i n s t i t u t i o n s a n d t h a t i n s t i t u t i o n a l s i z e a p p e a r s t o b e i m p o r t a n t . T h u s , t h e r e m a i n i n g s t u d y r e s u l t s p r e s e n t e d t r y t o e m p i r i c a l l y d e m o n s t r a t e a b e t t e r w a y . h I N . U R E D U C T I O N O F T H E D A T A B A S E I n t r o d u c t i o n T h i s s e c t i o n d e s c r i b e s t h e r e s u l t s o f t h e c o r r e l a t i o n a n d f a c t o r a n a l y s e s o f t h e e i g h t d o m a i n s o r c l u s t e r s w h i c h w e r e u s e d t o m e e t t h e s e c o n d s t u d y o b j e c t i v e : O b j e c t i v e 2 : T o r e d u c e t h e n u m b e r o f t h i r t y - e i g h t o b s e r v a b l e q u a n t i t a t i v e v a r i a b l e s u s e d t o d e s c r i b e t h e p o p u l a t i o n o f d o c t o r a l i n s t i t u t i o n s t o a s m a l l e r s e t o f e i g h t " k e y v a r i a b l e s . " R 2 . C a n t h e l a r g e s e t o f t h i r t y - e i g h t q u a n t i t a t i v e v a r i a b l e s u s e d t o d e s c r i b e d o c t o r a l i n s t i t u t i o n s b e r e p l a c e d w i t h a s m a l l e r s e t o f e i g h t k e y v a r i a b l e s w i t h o u t a m a j o r l o s s o f i n f o r m a t i o n ? A s i n d i c a t e d e a r l i e r , t h e c l u s t e r s w e r e b a s e d u p o n t h e E i g h t - D o m a i n T h e o r e t i c a l M o d e l d e s c r i b e d i n C h a p t e r I I I . I n l i n e w i t h t h i s t h e o r y , e i g h t d o m a i n s w e r e c r e a t e d o n a n a p r i o r i t h e o r e t i c a l . b a s i s s u g g e s t e d b y t h e h i g h e r e d u c a t i o n q u a l i t y l i t e r a t u r e a n d t h e s e v e n - v a r i a b l e N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s ( N C E S ) m o d e l . T w o q u e s t i o n s n e e d t o b e a d d r e s s e d r e g a r d i n g t h i s m o d e l . F i r s t , i s t h e m o d e l s u f f i c i e n t t o p r o v i d e a n e m p i r i c a l l y s o u n d b a s i s f o r t h e r e g r e s s i o n a n a l y s i s a n d , h e n c e , f o r t h e p r o f i l e a n a l y s e s ? S e c o n d , i s t h e m o d e l n e c e s s a r y a n d s u f f i c i e n t t o t h e r e g r e s s i o n a n a l y s i s ? W e s h a l l 2 4 o c o n s i d e r i n t h i s s e c t i o n o n l y t h e s u f f i c i e n c y q u e s t i o n . T h e s e c o n d q u e s t i o n i s a d d r e s s e d i n O b j e c t i v e 5 ( t h a t i s , a f u r t h e r s t u d y o f t h e E i g h t - D o m a i n M o d e l ) . I n t h e f o l l o w i n g t w o s e c t i o n s , t h e r e s u l t s o f t h e a p r i o r i t h e o r e t i c a l m o d e l a r e g i v e n f o r t h e e i g h t d o m a i n c o r r e l a t i o n a n d f a c t o r a n a l y s e s . D o m a i n C o r r e l a t i o n A n a l y s e s A f t e r t h e e i g h t d o m a i n s w e r e e s t a b l i s h e d , a P e a r s o n p r o d u c t - m o m e n t c o r r e l a t i o n a n a l y s i s w a s p e r f o r m e d o n e a c h d o m a i n t o d e t e r m i n e t h e s i m i l a r i t y o f t h e v a r i a b l e s w i t h i n e a c h d o m a i n a n d t o p r o v i d e a b a s i s f o r t h e f a c t o r a n a l y s e s . T a b l e 2 4 b e l o w s h o w s t h e r e s u l t s o f t h e e i g h t d o m a i n c o r r e l a t i o n a n a l y s e s . 2 4 7 T a b l e 2 4 . I n t e r - c o r r e l a t i o n s o f t h e T h i r t y - e i g h t Q u a n t i t a t i v e V a r i a b l e s b y D o m a i n D o m a i n / V a r i a b l e S - S t u d e n t . 3 9 . 4 1 . 2 0 . 4 9 1 A L S U B S . 3 0 . 4 7 . 6 9 . 6 8 . 8 9 1 . 5 3 . 2 8 . 1 1 - . 0 5 S T D H D C T S T D F T E S G H D C T S G H D C T F T S T D H D C T 1 . 9 8 . 7 8 . 6 8 S T D F T E 1 7 1 1 . 7 4 . 6 9 S G H D C T 1 7 1 1 7 1 1 . 8 4 S G H D C T F T 1 7 1 1 7 1 1 7 1 1 D - D e g r e e D E G S T O T D E G S M A S D E G S E F P D E G S D O C D E G S T O T 1 . 8 1 . 4 7 . 7 9 D E G S M A S 1 7 1 1 . 5 8 . 7 6 D E G S F P 1 7 1 1 7 1 1 . 4 6 D E G S D O C 1 7 1 1 7 1 1 7 1 1 F - F a c u l t y F A C T O T F A C T E N F T E N P R F F T E N A S C F T E N A S T F A C T O T 1 . 9 7 . 9 2 . 9 0 F A C T E N 1 6 9 1 . 9 5 . 9 1 F T E N P R F 1 6 9 1 6 9 1 . 7 5 F T E N A S C 1 6 9 1 6 9 1 6 9 1 F T E N A S T 1 6 9 1 6 9 1 6 9 1 6 9 C - C o m p e n s a t i o n C O M P P R F A C O M P A S C A C O M P A S T A C O M P P R F A 1 . 8 7 . 7 2 C O M P A S C A 1 5 7 1 . 8 5 C O M P A S T A 1 5 6 1 5 6 1 A - A s s e t A G E A E N D O W A B L D G A E Q U I P A L V O L S A G E 1 . 4 1 . 3 8 . 1 7 . 5 1 A E N D O W 1 7 1 1 . 4 2 . 2 9 . 6 5 A B L D G 1 7 1 1 7 1 1 . 8 0 . 7 3 A E Q U I P 1 7 1 1 7 1 1 7 1 1 . 6 4 A L V O L S _ 1 6 8 1 6 8 1 6 8 1 6 8 1 A L S U B S 1 6 4 1 6 4 1 6 4 1 6 4 1 6 4 R - R e v e n u e R T O T R G V T G C R P R V G G C R T U I T F E R A P P R O P R T O T 1 . 8 3 . 7 3 . 5 9 R G V T G C 1 7 1 1 . 7 9 . 5 4 R P R V G G C 1 7 1 1 7 1 1 . 5 7 R T U I T F E 1 7 1 1 7 1 1 7 1 1 R A P P R O P 1 7 1 1 7 1 1 7 1 1 7 1 1 2 4 8 T a b l e 2 4 ( C o n t ' d . ) . D o m a i n / V a r i a b l e E - E x p e n d i t u r e E I N S T R E A C A D S P E P L N T E R E S E S T D S V C E S C H F E L E I N S T R 1 . 8 2 . 8 6 . 7 6 . 7 2 . 6 5 E A C A D S P 1 7 1 l . 7 3 . 7 3 . 7 3 . 6 1 E P L N T 1 7 1 1 7 1 1 . 8 1 . 6 8 . 6 7 E R E S 1 7 1 1 7 1 1 7 1 1 . 5 2 . 6 7 E S T D S V C 1 7 1 1 7 1 1 7 1 1 7 1 1 . 5 2 E S C H F E L 1 7 1 1 7 1 1 7 1 1 7 1 7 1 1 Q - Q u a l i t y Q A R C F A C Q A R C P R G Q A R C N Q B R M N G Q B R M N U G Q A R C F A C 1 1 . 0 0 . 9 4 . 8 3 . 7 7 Q A R C P R G 1 6 2 l . 9 6 . 8 2 . 7 7 Q A R C N 1 6 2 1 6 2 1 . 7 5 . 7 1 ~ Q B R M N B 1 6 2 1 6 2 1 6 2 1 . 9 1 Q G R M N U G 1 5 7 1 5 7 - 1 5 7 1 6 3 1 A s c a n b e s e e n i n T a b l e 2 4 , t h e i n t e r - c o r r e l a t i o n c o e f f i c i e n t s i n e a c h d o m a i n , f o r t h e m o s t p a r t , a r e h i g h l y s i m i l a r : 2 2 a r e s t r o n g , r a n g i n g f r o m + . 8 0 t o + 1 . 0 0 ; 2 9 a r e m o d e r a t e l y s t r o n g , r a n g i n g f r o m + . 6 0 t o + . 7 9 ; 1 5 a r e m o d e r a t e , r a n g i n g f r o m + . 4 0 t o + . 5 9 ; 6 a r e m o d e r a t e l y w e a k , r a n g i n g f r o m + . 2 0 t o + . 3 9 ; a n d 3 a r e w e a k , r a n g i n g f r o m - . 0 5 t o + . 1 9 . L o o k i n g a t e a c h d o m a i n s e p a r a t e l y , w e n o t e t h e f o l l o w i n g r e l a t i o n s h i p s . S t u d e n t I n t h e s t u d e n t d o m a i n , a n a l m o s t p e r f e c t ( . 9 8 ) r e l a t i o n s h i p e x i s t s b e t w e e n S T D H D C T / S T D F T E , w h i l e a s t i l l s t r o n g , b u t c o m p a r a t i v e l y w e a k e r r e l a t i o n s h i p , e x i s t s b e t w e e n S G H D C T / S G H D C T F T ( . 8 4 ) . R e l a t i o n s h i p s . b e t w e e n S T D H D C T / S G H D C T ( . 7 8 ) a n d S T D H D C T / S G H D C T F T ( . 6 8 ) 2 4 9 a n d b e t w e e n S T D F T E / S G H D C T ( . 7 4 ) a n d b e t w e e n S T D F T E / S G H D C T F T ( . 6 9 ) a r e a l l m o d e r a t e . D e g r e e I n t h e d e g r e e d o m a i n , t h e r e l a t i o n s h i p b e t w e e n D E G S T O T / D E G S M A S i s s t r o n g ( . 8 1 ) , t h e r e l a t i o n s h i p s b e t w e e n D E G S T O T / D E G S D O C ( . 7 9 ) a n d D E G S M A S / D E G S D O C ( . 7 6 ) a r e m o d e r a t e l y s t r o n g , a n d t h e r e l a t i o n s h i p s b e t w e e n D E G S F P a n d a l l o t h e r d e g r e e v a r i a b l e s a r e m o d e r a t e ( t h a t i s , . 4 7 w i t h D E G S T O T , . 5 8 w i t h D E G S M A S , a n d . 4 6 w i t h D E G S D O C ) . T h e s e l a t t e r l o w e r c o r r e l a t i o n s a r e m o s t l i k e l y d u e t o t h e f a c t t h a t a s u b s t a n t i a l n u m b e r ( 5 3 o r 3 1 . 0 % ) o f a l l d o c t o r a l i n s t i t u t i o n s d o n o t g r a n t f i r s t p r o f e s s i o n a l d e g r e e s . F a c u l t y V e r y s t r o n g r e l a t i o n s h i p s e x i s t i n t h e f a c u l t y d o m a i n b e t w e e n F A C T O T / F A C T E N ( . 9 7 ) , F A C T O T / F T E N P R F ( . 9 2 ) , F A C T O T / F T E N A S C ( . 9 0 ) a n d b e t w e e n F A C T E N / F T E N P R F ( . 9 5 ) a n d F A C T E N / F T E N A S C ( . 9 2 ) , w h i l e a m o d e r a t e r e l a t i o n s h i p e x i s t s b e t w e e n F T E N P R F / F T E N A S C ( . 7 5 ) . R e l a t i o n s h i p s b e t w e e n F T E N A S T a n d a l l f a c u l t y d o m a i n v a r i a b l e s a r e m o d e r a t e o r m o d e r a t e l y w e a k : F T E N A S T / F A C T O T ( . 3 9 ) , F T E N A S T / F A C T E N ( . 4 1 ) , F T E N A S T / F T E N P R F ( . 2 0 ) , a n d F T E N A S T / F T E N A S C ( . 4 9 ) . A g a i n , t h e s e l o w e r i n t e r - c o r r e l a t i o n s a r e p r o b a b l y d u e t o t h e f a c t t h a t a s u b s t a n t i a l n u m b e r o f d o c t o r a l 2 5 0 i n s t i t u t i o n s ( t h a t i s , 3 9 o r 2 3 . 0 % o f t h e 1 6 9 r e p o r t i n g ) h a v e 2 9 t e n u r e d A s s i s t a n t P r o f e s s o r s . C o m p e n s a t i o n I n t h e c o m p e n s a t i o n d o m a i n , t h e r e l a t i o n s h i p b e t w e e n C O M P P R F A / C O M P A S C A ( . 8 7 ) a n d b e t w e e n C O M P A S C A / C O M P A S T A ( . 8 5 ) a r e s t r o n g , w h i l e t h e r e l a t i o n s h i p b e t w e e n C O M P P R F A / C O M P A S T A ( . 7 2 ) i s m o d e r a t e . e a s e . I n t h e a s s e t d o m a i n , s t r o n g r e l a t i o n s h i p s e x i s t b e t w e e n A L V O L S / A L S U B S ( . 8 9 ) a n d b e t w e e n A B L D G / A E Q U I P ( . 8 0 ) . M o d e r a t e l y s t r o n g r e l a t i o n s h i p s e x i s t b e t w e e n : A L V O L S / A E N D O W ( . 6 5 ) , A L V O L S / A B L D G ( . 7 3 ) , A L V O L S / A E Q U I P ( . 6 4 ) , A L S U B S / A B L D G ( . 6 9 ) , a n d A L S U B S / A E Q U I P ( . 6 8 ) . M o d e r a t e l y w e a k r e l a t i o n s h i p s e x i s t b e t w e e n A E N D O W / A G E ( . 4 1 ) , A E N D O W / A B L D G ( . 4 2 ) , A E N D O W / A L S U B S ( . 4 7 ) , a n d A L V O L S / A G E ( . 5 1 ) a n d b e t w e e n A G E / A B L D G ( . 3 8 ) , A G E / A L S U B S ( . 4 7 ) , a n d A E N D O W / A E Q U I P ( . 2 9 ) . F i n a l l y , a w e a k r e l a t i o n s h i p e x i s t s b e t w e e n A G E / A E Q U I P ( . 1 7 ) . R e v e n u e I n t h e r e v e n u e d o m a i n , t h e r e i s a s t r o n g r e l a t i o n s h i p b e t w e e n R T O T / R G V T G C ( . 8 3 ) a n d a m o d e r a t e l y s t r o n g r e l a t i o n s h i p b e t w e e n R P R V G G C / R T O T ( . 7 3 ) a n d R P R V G G C / R G V T G C ( . 7 9 ) . M o d e r a t e r e l a t i o n s h i p s e x i s t 2 5 1 b e t w e e n R T U I T F E / R T O T ( . 5 9 ) , R T U I T F E / R G V T G C ( . 5 4 ) , R T U I T F E / R P R V G G C ( . 5 7 ) , a n d b e t w e e n R A P P R O P / R T O T ( . 5 3 ) . A m o d e r a t e l y w e a k r e l a t i o n s h i p e x i s t s b e t w e e n R A P P R O P / R G V T G C ( . 2 8 ) , a n d a w e a k r e l a t i o n s h i p e x i s t s b e t w e e n R A P P R O P / R P R V G G C ( . 1 1 ) a n d R A P P R O P / R T U I T F E ( - . O 5 ) . T h i s l a t t e r r e l a t i o n s h i p i s t h e o n l y n e g a t i v e r e l a t i o n s h i p r e p o r t e d , b u t i t i s n o t u n e x p e c t e d . E x p e n d i t u r e T h r e e s t r o n g r e l a t i o n s h i p s e x i s t i n t h e e x p e n d i t u r e d o m a i n : E I N S T R / E P L N T ( . 8 6 ) , E I N S T R / E A C A D S P ( . 8 2 ) , a n d E R E S / E P L N T ( . 8 1 ) . T e n m o d e r a t e l y s t r o n g r e l a t i o n s h i p s e x i s t : E I N S T R / E R E S ( . 7 6 ) , E I N S T R / E S T D S V C ( . 7 2 ) , E I N S T R / E S C H F E L ( . 6 5 ) , E A C A D S P / E P L N T ( . 7 3 ) , E A C A D S P / E R E S ( . 7 3 ) , E A C A D S P / E S T D S V C ( . 7 3 ) , E A C A D S P / E S C H F E L ( . 6 1 ) , E P L N T / E S T D S V C ( . 6 8 ) , E S C H F E L / E R E S ( . 6 7 ) , a n d E S C H F E L / E P L N T ( . 6 7 ) . O n l y t w o m o d e r a t e l y w e a k r e l a t i o n s h i p s e x i s t i n t h e e x p e n d i t u r e d o m a i n , E S T D S V C / E R E S ( . 5 2 ) a n d E S T D S V C / E S C H F E L ( . 5 2 ) . Q u a l i t y T h e q u a l i t y d o m a i n , w i t h a l l r e l a t i o n s h i p s r a n g i n g f r o m . 7 5 t o 1 . 0 0 , e x h i b i t s t h e h i g h e s t o v e r a l l i n t e r - c o r r e l a t i o n s o f a n y d o m a i n . I n t h i s d o m a i n , f o u r r e l a t i o n s h i p s a r e v e r y s t r o n g : Q A R C F A C / Q A R C P R G ( 1 . 0 0 o r a l m o s t p e r f e c t c o r r e l a t i o n ) , Q A R C F A C / Q A R C N ( . 9 4 ) , Q A R C P R S / Q A R C N ( . 9 4 ) , a n d Q B R M N G / Q B R M N U G ( . 9 1 ) . T w o F 1 : 4 . . ) 2 r e l a t i o n s h i p s a r e s t r o n g : Q A R C F A C / Q G R M N G ( . a z l ' a n d Q A R C P R G / Q G R M N G ( . 8 2 ) . F i n a l l y , f o u r r e l a t i o n s h i p s a r e m o d e r a t e l y s t r o n g : Q A R C F A C / Q G R M N U G ( . 7 7 ) , Q A R C P R G / Q G R M N U G ( . 7 7 ) , Q A R C N / Q G R M N G ( . 7 5 ) , a n d Q A R C N / Q G R M N U G ( . 7 1 ) . D o m a i n F a c t o r A n a l y s e s I n f o r m a l p e r u s a l o f t h e c o r r e l a t i o n m a t r i c e s i s n o t a s u f f i c i e n t b a s i s f o r s e l e c t i n g t h e e i g h t k e y v a r i a b l e s . F a c t o r a n a l y s i s p r o v i d e s a m u c h b e t t e r m e t h o d f o r e x a m i n i n g t h e w i t h i n - d o m a i n i n t e r - c o r r e l a t i o n s t o s e l e c t t h e e i g h t k e y v a r i a b l e s . B y f a c t o r i n g e a c h d o m a i n , w e c a n : 1 ) e s t a b l i s h t h a t o n e , a n d o n l y o n e , f a c t o r i s s u f f i c i e n t t o r e p r e s e n t e a c h d o m a i n a n d 2 ) d e t e r m i n e w h i c h o f t h e v a r i a b l e s w i t h i n t h e d o m a i n b e s t r e p r e s e n t s t h e d o m a i n . T h u s , f a c t o r a n a l y s i s o f e a c h d o m a i n c a n b e u s e d t o t e s t t h e " c o h e s i v e n e s s " o f t h e d o m a i n . I f a l l v a r i a b l e s a r e c l o s e l y r e l a t e d , t h e d o m a i n s h o u l d y i e l d o n l y o n e f a c t o r e a c h , e v e n i f t h e f a c t o r a n a l y t i c c o m p u t e r p r o g r a m i s p e r m i t t e d t o c o n s i d e r a n y n u m b e r o f f a c t o r s . F u r t h e r , t h e v a r i a b l e w i t h i n e a c h d o m a i n w i t h t h e h i g h e s t f a c t o r l o a d i n g c a n b e s e l e c t e d t o r e p r e s e n t t h e e n t i r e d o m a i n . T h e r e s u l t s o f t h e d o m a i n V a r i m a x f a c t o r a n a l y s e s a r e s h o w n i n T a b l e 2 5 b e l o w . 2 5 3 T a b l e 2 5 . V a r i m a x F a c t o r A n a l y s e s o f t h e T h i r t y - e i g h t Q u a n t i t a t i v e V a r i a b l e s b y D o m a i n D o m a i n / V a r i a b l e F a c t o r 8 - S t u d e n t F a c t o r 1 ( S t u d e n t ) S T D H D C T . 9 5 S T D F T E . 9 4 S G H D C T . 8 9 S G H D C T F T . 8 3 D - D e g r e e F a c t o r 1 ( D e g r e e ) D E G S T O T . 8 8 D E G S M A S . 8 9 D E G S F P . 5 8 D E G S D O C . 8 4 F - F a c u l t y F a c t o r 1 ( F a c u l t y ) F A C T O T . 9 7 F A C T E N . 9 9 F T E N P R F . 9 2 F T E N A S C . 9 4 F T E N A S T ‘ ‘ . 4 9 C - C o m p e n s a t i o n F a c t o r 1 ( C o m p e n s a t i o n ) C O M P P R F A . 8 8 C O M P A S C A . 9 6 C O M P A S T A . 8 5 A - A s s e t F a c t o r 1 ( A s s e t ) A G E ' . 4 7 A E N D O W . 5 9 A B L D G . 8 4 A E Q U I P . 7 6 A L V O L S . 9 5 A L S U B S . 8 8 R - R e v e n u e F a c t o r 1 ( R e v e n u e ) R T O T . 9 4 R G V T G C . 8 9 R P R V G G C . 8 2 R T U I T F E . 6 4 R A P P R O P . 3 5 E - E x p e n d i t u r e F a c t o r 1 ( E x p e n d i t u r e ) E I N S T R . 9 2 E A C A D S P . 8 7 E P L N T . 9 1 E R E S . 8 4 E S T D S V C . 7 6 E S C H F E L . 7 3 Q - Q u a l i t y F a c t o r 1 ( Q u a l i t y ) Q A R C F A C . 9 8 Q A R C P R G . 9 8 Q A R C N . 9 3 Q G R M N G . 9 0 Q G R M N U G . 8 5 2 5 4 A s c a n b e s e e n f r o m T a b l e 2 5 , t h e e i g h t d o m a i n f a c t o r a n a l y s e s s u p p o r t t h e E i g h t - D o m a i n M o d e l . A l l e i g h t d o m a i n f a c t o r a n a l y s e s r e s u l t e d i n o n l y o n e f a c t o r p e r d o m a i n . T h u s , i n e a c h o f t h e a n a l y s e s o n e f a c t o r w a s s u f f i c i e n t t o a c c o u n t f o r a t l e a s t 9 8 % o f t h e i n t e r - c o r r e l a t i o n s ( t h a t i s , t h e c o m m u n a l i t y ) . F u r t h e r , m o s t v a r i a b l e s w i t h i n e a c h d o m a i n h a d h i g h , f a c t o r l o a d i n g s . T h e n o t a b l e e x c e p t i o n s w e r e : D E G S F P ( . 5 8 ) , F T E N A S T ( . 4 9 ) , A G E ( . 4 7 ) , A E N D O W ( . 5 9 ) , R T U I T F E ( . 6 4 ) , a n d R A P P R O P ( . 3 5 ) . S e l e c t i o n o f t h e K e y V a r i a b l e s T h e f i n a l s t e p i n r e d u c t i o n o f t h e t h i r t y - e i g h t q u a n t i t a t i v e v a r i a b l e s t o e i g h t k e y v a r i a b l e s w a s t o u s e t w o m e t h o d s t o d e t e r m i n e t h e m o s t r e p r e s e n t a t i v e v a r i a b l e f r o m e a c h d o m a i n : 1 ) t h e f a c t o r l o a d i n g o f e a c h v a r i a b l e a l o n e a n d 2 ) t h e f a c t o r l o a d i n g i n c o n j u n c t i o n w i t h t h e i n t e r - c o r r e l a t i o n o f e a c h v a r i a b l e w i t h t h e c r i t e r i o n q u a l i t y v a r i a b l e . S i n c e t h e q u a l i t y v a r i a b l e w a s t o s e r v e b o t h a s t h e d e p e n d e n t v a r i a b l e a n d a s o n e o f t h e c r i t e r i a f o r s e l e c t i o n o f t h e o t h e r k e y v a r i a b l e s , i t w a s s e l e c t e d f i r s t . T w o q u a l i t y v a r i a b l e s , Q A R C F A C a n d Q A R C P R G , w e r e a l m o s t e q u a l l y r e p r e s e n t a t i v e o f t h e q u a l i t y d o m a i n a n d w e r e t h u s d i f f i c u l t t o d i s t i n g u i s h a s c a n b e s e e n f r o m T a b l e s 2 4 a n d 2 5 a b o v e ( t h a t i s , t h e y b o t h h a d f a c t o r l o a d i n g s o f 2 5 5 . 9 8 a n d t h e y i n t e r - c o r r e l a t e d + 1 . 0 0 w i t h e a c h o t h e r ) . Q A R C F A C w a s s e l e c t e d f o r t w o r e a s o n s : 1 ) i t h a d s l i g h t l y h i g h e r o v e r a l l i n t e r - c o r r e l a t i o n s w i t h o t h e r s t u d y v a r i a b l e s a n d i t h a d t h e h i g h e s t r e l i a b i l i t y w i t h p r e v i o u s q u a l i t y s t u d i e s . A s u m m a r y o f t h e f a c t o r l o a d i n g s a n d Q A R C F A C c o e f f i c i e n t s a r e p r e s e n t e d i n T a b l e 2 6 b e l o w . T a b l e 2 6 . S u m m a r y o f F a c t o r L o a d i n g s a n d Q A R C F A C C o e f f i c i e n t s o f t h e T h i r t y - E i g h t Q u a n t i t a t i v e V a r i a b l e s b y D o m a i n F a c t o r C o r r e l a t i o n D o m a i n / V a r i a b l e L o a d i n g W i t h Q A R C F A C S - S t u d e n t S T D H D C T * . 9 5 . 4 2 S T D F T E ’ . 9 4 . 4 7 S G H D C T . 8 9 . 5 5 S G H D C T F T + . 8 3 . 7 7 D - D e g r e e D E G S T O T . 8 8 . 5 6 D E G S M A S * . 8 9 . 5 4 D E G S F P . 5 8 . 4 0 D E G S D O C + . 8 4 . 8 6 F - F a c u l t y . F A C T O T . 9 7 . 5 5 F A C T E N * . 9 9 . 5 7 F T E N P R F + . 9 2 . 7 2 F T E N A S C . 9 4 . 3 3 F T E N A S T . 4 9 - . 2 1 C - C o m p e n s a t i o n C O M P P R F A + . 8 8 . 5 5 C O M P A S C A * . 9 6 . 4 3 C O M P A S T A . 8 5 . 4 9 A - A s s e t A G E . 4 7 . 3 3 A E N D O W . 5 9 . 4 7 A B L D G . 8 4 . 7 3 A E Q U I P . 7 6 . 6 9 A L V O L S * + . 9 5 . 7 9 A L S U B S . . 8 8 . 7 9 2 5 6 T a b l e 2 6 ( C o n t ' d . ) . F a c t o r C o r r e l a t i o n D o m a i n / V a r i a b l e L o a d i n g W i t h Q A R C F A C R - R e v e n u e R T O T * + . 9 4 . 7 7 R G V T G C . 8 9 . 7 4 R P R V G G C . 8 2 . 6 0 R T U I T F E . 6 4 . 5 1 ' R A P P R O P . 3 5 . 4 0 E - E x p e n d i t u r e E I N S T R 4 + . 9 2 . 7 4 E A C A D S P . 8 7 . 7 1 E P L N T . 9 1 . 7 4 E R E S . 8 4 . 7 7 E S T D S V C . 7 6 . 6 1 E S C H F E L . 7 3 . 7 0 Q - Q u a l i t y Q A R C F A C * + . 9 8 1 . 0 0 Q A R C P R G . 9 8 1 . 0 0 Q A R C N . 9 3 . 9 4 Q G R M N G . 9 0 . 8 3 Q G R M N U G . 8 5 . 7 7 * I n d i c a t e s t h e k e y v a r i a b l e s e l e c t e d f r o m e a c h d o m a i n o n t h e b a s i s o f f a c t o r l o a d i n g a l o n e . + I n d i c a t e s t h e k e y v a r i a b l e s e l e c t e d f r o m e a c h d o m a i n o n t h e b a s i s o f f a c t o r l o a d i n g a n d c o r r e l a t i o n w i t h Q A R C F A C . A s c a n b e s e e n f r o m T a b l e 2 6 , t w o d i f f e r e n t s e t s o f e i g h t k e y v a r i a b l e s w e r e s e l e c t e d . T h e f i r s t s e t , d e n o t e d b y a n a s t e r i s k , w a s s e l e c t e d s t r i c t l y o n t h e b a s i s o f h i g h f a c t o r l o a d i n g . I n a d d i t i o n t o Q A R C F A C , t h e y a r e : S T D H D C T , D E G S M A S , F A C T E N , C O M P A S C A , A L V O L S , R T O T , a n d E I N S T R . T h e s e c o n d s e t o f e i g h t k e y v a r i a b l e s w a s s e l e c t e d i n o r d e r t o m a x i m i z e t h e q u a l i t y a s p e c t o f t h e s e t o f v a r i a b l e s s e l e c t e d f o r p r e d i c t i o n o f a c a d e m i c q u a l i t y w h i c h i s t h e i n t e n t o f t h e p r e s e n t s t u d y . I n t h e s e c o n d s e t o f e i g h t k e y v a r i a b l e s , o n l y f o u r k e y v a r i a b l e s w e r e d i f f e r e n t f r o m t h o s e s e l e c t e d b y f a c t o r l o a d i n g a l o n e : S G H D C T F T , D E G S D O C , F T E N P R F , a n d C O M P P R F A . F u r t h e r , t h e s e f o u r v a r i a b l e s a l s o a p p e a r t o r e l a t e m o r e c l o s e l y t o g r a d u a t e e d u c a t i o n , w h i c h i s t h e f o c u s o f t h e p r e s e n t s t u d y , t h a n d o t h o s e i n t h e f i r s t s e t . P R E D I C T I N G Q U A L I T Y W I T H K E Y V A R I A B L E S I n t r o d u c t i o n R e g r e s s i o n a n a l y s i s w a s u s e d t o m e e t t h e t h i r d s t u d y o b j e c t i v e : O b j e c t i v e 3 : T o d e t e r m i n e t h e d e g r e e t o w h i c h t h e k e y a c a d e m i c q u a l i t y v a r i a b l e c a n b e p r e d i c t e d f r o m t h e o t h e r s e v e n k e y q u a n t i t a t i v e v a r i a b l e s . R 3 . C a n t h e k e y q u a l i t y v a r i a b l e b e p r e d i c t e d w i t h o u t l o s s f r o m t h e o t h e r s e v e n k e y v a r i a b l e s ? T h e r e s u l t s o f t h e e f f e c t i v e n e s s o f t h e t w o s e t s o f s e v e n k e y v a r i a b l e s a s p r e d i c t o r s o f a c a d e m i c q u a l i t y w h i c h w e r e t e s t e d i n t h e s t u d y a r e p r e s e n t e d i n T a b l e s 2 7 a n d 2 8 b e l o w . 2 5 8 T h e R e g r e s s i o n A n a l y s e s T h e F i r s t S e t o f E i g h t K e y i V a r i a b l e s T h e f i r s t s e t o f e i g h t k e y v a r i a b l e s w a s s e l e c t e d o n t h e b a s i s o f h i g h d o m a i n f a c t o r l o a d i n g a l o n e . T h e m u l t i p l e r e g r e s s i o n e q u a t i o n s o l v e d f o r t h i s s e t o f v a r i a b l e s i s a s f o l l o w s : Q A R C F A C = S T D H D C T + D E G S M A S + F A C T E N + C O M P A S C A + A L V O L S + R T O T + E I N S T R T h e r e s u l t s o f t h e r e g r e s s i o n a n a l y s i s a r e s h o w n i n T a b l e 2 7 . T a b l e 2 7 . R e g r e s s i o n A n a l y s i s o f t h e F i r s t S e t o f E i g h t K e y V a r i a b l e s D e p e n d e n t V a r i a b l e = Q A R C F A C D o m a i n / V a r i a b l e B e t a S i m p l e R S - S T D H D C T - . 2 6 . 4 2 D - D E G S M A S - . 1 5 . 5 4 F - F A C T E N _ . 4 1 . 5 7 C - C O M P P R F A . 2 3 . 4 3 A - A L V O L S . 5 0 . 7 9 R - R T O T . 1 7 . 7 7 E - E I N S T R . 1 5 . 7 2 M u l t i p l e R = . 8 9 R - S q u a r e d = . 7 9 S i n c e t h e B e t a - w e i g h t s i n d i c a t e t h e r e l a t i v e c o n t r i b u t i o n o f e a c h i n d e p e n d e n t v a r i a b l e t o t h e i n t e r - c o r r e l a t i o n w i t h t h e d e p e n d e n t v a r i a b l e , t h e y c a n b e u s e d t o i n t e r p r e t t h e r e s u l t s . T h u s , t h e v a r i a b l e s 2 5 9 c o n t r i b u t i n g t h e m o s t t o t h e i n t e r - c o r r e l a t i o n w e r e : A L V O L S ( . 5 0 ) , F A C T E N ( . 4 1 ) , a n d C O M P P R F A ( . 2 3 ) . R T O T ( . 1 7 ) a n d E I N S T R ( . 1 5 ) a l s o c o n t r i b u t e d t o t h e i n t e r - c o r r e l a t i o n , b u t t o a l e s s e r d e g r e e . T h e n e g a t i v e B e t a - w e i g h t s f o r S T D H D C T ( - . 2 6 ) a n d D E G S M A S ( — . 1 5 ) s u g g e s t t h a t d o c t o r a l i n s t i t u t i o n s i z e i s n e g a t i v e l y r e l a t e d t o f a c u l t y q u a l i t y , t h a t i s , l a r g e s c h o o l s t e n d t o r e c e i v e s o m e w h a t l o w e r r a t i n g s o n f a c u l t y q u a l i t y t h a n d o s m a l l e r s c h o o l s . T h e S i m p l e R i n d i c a t e s t h a t t h r e e o f t h e s e v e n i n d e p e n d e n t v a r i a b l e s h a v e m o d e r a t e l y s t r o n g i n t e r - c o r r e l a t i o n s w i t h t h e d e p e n d e n t v a r i a b l e , Q A R C F A C : A L V O L S ( . 7 9 ) , R T O T ( . 7 7 ) , a n d E I N S T R ( . 7 2 ) , w h i l e t h e r e m a i n i n g f o u r i n d e p e n d e n t v a r i a b l e s h a v e m o d e r a t e i n t e r - c o r r e l a t i o n s : F A C T E N ( . 5 7 ) , D E G S M A S ( . 5 4 ) , C O M P A S C A ( . 4 3 ) , a n d S T D H D C T ( . 4 2 ) . T h e M u l t i p l e C o r r e l a t i o n ( R = . 8 9 ) i s v e r y h i g h , i n d i c a t i n g t h a t t h e s e v e n i n d e p e n d e n t v a r i a b l e s t o g e t h e r a r e e x c e l l e n t p r e d i c t o r s o f a c a d e m i c q u a l i t y a s m e a s u r e d i n t h i s s t u d y . T h e s q u a r e d M u l t i p l e C o r r e l a t i o n ( R 2 = . 7 9 ) i n d i c a t e s t h a t 7 9 % o f t h e v a r i a n c e i n Q A R C F A C c a n b e p r e d i c t e d f r o m t h e s e v e n k e y v a r i a b l e s . T h e S e c o n d S e t o f E i g h t K e y V a r i a b l e s . T h e s e c o n d s e t o f e i g h t k e y v a r i a b l e s w a s s e l e c t e d o n t h e b a s i s o f b o t h h i g h d o m a i n f a c t o r l o a d i n g a n d 2 6 0 h i g h i n t e r - c o r r e l a t i o n w i t h t h e q u a l i t y v a r i a b l e , Q A R C F A C . T h e m u l t i p l e r e g r e s s i o n e q u a t i o n s o l v e d f o r t h i s s e c o n d s e t o f k e y v a r i a b l e s i s a s f o l l o w s : Q A R C F A C = S G H D C T F T + D E G S D O C + F T E N P R F + C O M P P R F A + A L V O L S + R T O T + E I N S T R T h e r e s u l t s o f t h i s s e c o n d r e g r e s s i o n a n a l y s i s a r e s h o w n i n T a b l e 2 8 b e l o w . T a b l e 2 8 . R e g r e s s i o n A n a l y s i s o f T h e S e c o n d S e t o f E i g h t K e y V a r i a b l e s D e p e n d e n t V a r i a b l e = Q A R C F A C D o m a i n / V a r i a b l e B e t a S i m p l e R S - S G H D C T F T - . 1 7 . 7 7 D - D E G S D O C . 5 1 . 8 6 F - F T E N P R F . 1 2 . 7 2 C - C O M P P R F A . 2 2 . 5 6 A - A L V O L S . 2 7 . 7 9 R - R T O T . 1 8 . 7 7 E - E I N S T R - . 0 4 . 7 4 M u l t i p l e R = . 9 1 R - S q u a r e d = . 8 3 L o o k i n g a t t h e B e t a - w e i g h t s i n t h e s e c o n d r e g r e s s i o n a n a l y s i s , w e f i r s t s e e t h a t D E G S D O C c o n t r i b u t e d t h e m o s t ( . 5 1 ) t o t h e i n t e r - c o r r e l a t i o n w i t h t h e c r i t e r i o n v a l u e , Q A R C F A C , f o l l o w e d b y A L V O L S ( . 2 7 ) , C O M P P R F A ( . 2 2 ) , R T O T ( . 1 8 ) , a n d F T E N P R F ( . 1 2 ) . N e g a t i v e c o n t r i b u t i o n s w e r e m a d e b y S G H D C T F T ( - . 1 7 ) a n d E I N S T R ( - . 0 4 ) a g a i n s u g g e s t i n g a n e g a t i v e r e l a t i o n s h i p b e t w e e n i n s t i t u t i o n a l s i z e a n d f a c u l t y q u a l i t y . 2 6 1 T h e S i m p l e R s i n d i c a t e t h a t s i x o f t h e s e v e n p r e d i c t o r v a r i a b l e s h a d s t r o n g ( D E G S D O C . 8 6 ) t o m o d e r a t e l y s t r o n g ( A L V O L S . 7 9 , S G H D C T F T . 7 7 , R T O T . 7 7 , E I N S T R . 7 4 , a n d F T E N P R F . 7 2 ) i n t e r - c o r r e l a t i o n s w i t h t h e c r i t e r i o n v a r i a b l e , Q A R C F A C , w h i l e o n l y o n e p r e d i c t o r v a r i a b l e ( C O M P P R F A . 5 6 ) s h o w e d a m o d e r a t e r e l a t i o n s h i p . T h e M u l t i p l e R ( R = . 9 1 ) i n d i c a t e s a s t r o n g c o r r e l a t i o n b e t w e e n Q A R C F A C a n d t h e s e v e n p r e d i c t o r v a r i a b l e s c o m p r i s i n g t h e c o m p o s i t e v a r i a b l e . F i n a l l y , ' t h e S q u a r e d M u l t i p l e C o r r e l a t i o n ( R 2 = . 8 3 ) i n d i c a t e s t h a t w e c a n p r e d i c t Q A R C F A C w i t h i n c r e a s e d a c c u r a c y b y u s i n g t h i s s e c o n d s e t o f s e v e n k e y i n d e p e n d e n t v a r i a b l e s . S u m m a r y I n t h e s u b s e q u e n t a n a l y s e s , t h e s e c o n d s e t o f E i g h t k e y v a r i a b l e s w a s u s e d a s t h e e i g h t s t u d y k e y v a r i a b l e s , f o r s e v e r a l r e a s o n s . F i r s t , b o t h s e t s o f k e y v a r i a b l e s a r e e x c e l l e n t r e p r e s e n t a t i v e s o f t h e d o m a i n s . A l l h a v e v e r y h i g h w i t h i n - d o m a i n f a c t o r l o a d i n g s . S e c o n d , g i v e n t h e f i r s t p o i n t , i t w o u l d s e e m r e a s o n a b l e t o u s e a s a s e c o n d s e l e c t i o n c r i t e r i a , t h e s i m p l e c o r r e l a t i o n o f e a c h v a r i a b l e w i t h t h e q u a l i t y m e a s u r e , Q A R C F A C . T h i s w o u l d g i v e t h e p r o f i l e s t h e h i g h e s t v a l i d i t y . T h i r d , t h e s e c o n d s e t o f k e y 2 6 2 v a r i a b l e s h a s l o w e r n e g a t i v e l o a d i n g s t h a n w e r e p r e s e n t i n t h e f i r s t s e t , t h u s y i e l d i n g a s l i g h t l y h i g h e r M u l t i p l e C o r r e l a t i o n c o e f f i c i e n t ( . 9 1 v e r s u s . 8 9 ) . F i n a l l y , t h e s e c o n d s e t o f e i g h t k e y v a r i a b l e s h a s m e a s u r e s w h i c h a r e m o r e c h a r a c t e r i s t i c o f d o c t o r a l i n s t i t u t i o n s , a n d t h u s , a r e m o r e r e l e v a n t t o t h e p r e s e n t s t u d y . G R A P H I C D I S P L A Y S O F T H E D A T A B A S E I n t r o d u c t i o n T h e g e n e r a t i o n o f g r a p h i c d i s p l a y s o r " p r o f i l e s ” o f t h e d a t a b a s e w e r e u s e d t o m e e t t h e f o u r t h s t u d y o b j e c t i v e : O b j e c t i v e 4 : T o g e n e r a t e g r a p h i c d i s p l a y s o r " p r o f i l e s " o f d o c t o r a l i n s t i t u t i o n s a n d g r o u p s o f d o c t o r a l i n s t i t u t i o n s b a s e d u p o n t h e e i g h t k e y v a r i a b l e s . R 4 . W h a t f i n d i n g s c a n b e o b t a i n e d w i t h p r o f i l e , r a t h e r t h a n r a n k i n g , r e p o r t s ? T h e s e c o n d s e t o f e i g h t k e y v a r i a b l e s a r e p r e s e n t e d i n t h e p r o f i l e a n a l y s e s w h i c h f o l l o w . T h e s e p r o f i l e a n a l y s e s a r e m e r e l y d e m o n s t r a t i v e o f t h e p o t e n t i a l u s e o f t h i s p o w e r f u l t e c h n i q u e f o r a l l t h o s e i n t e r e s t e d i n u n d e r s t a n d i n g A m e r i c a n d o c t o r a l i n s t i t u t i o n s , s u c h a s : p o l i c y m a k e r s ( f o r e x a m p l e , i n s t i t u t i o n p r e s i d e n t s a n d o f f i c e r s ; m e m b e r s o f B o a r d s 2 6 3 o f T r u s t e e s ; a n d f e d e r a l a n d s t a t e p o l i t i c a l a n d e d u c a t i o n a l l e a d e r s ) , r e s e a r c h e r s , f a c u l t y , s t u d e n t s , a n d t h e p u b l i c . T h e p r o f i l e e x a m p l e s i n c l u d e : 1 ) c o m p a r i s o n o f a s i n g l e d o c t o r a l i n s t i t u t i o n ( t h e U n i v e r s i t y o f C a l i f o r n i a - B e r k e l e y ) a n d t h e n a t i o n a l a v e r a g e d o c t o r a l i n s t i t u t i o n ; 2 ) c o m p a r i s o n o f t w o d o c t o r a l i n s t i t u t i o n s ( M i c h i g a n S t a t e U n i v e r s i t y a n d t h e U n i v e r s i t y o f M i c h i g a n - A n n A r b o r ) ; 3 ) t w o c o m p a r i s o n s o f g r o u p s o f d o c t o r a l i n s t i t u t i o n s ( p u b l i c a n d p r i v a t e a n d l a n d g r a n t a n d n o n - l a n d g r a n t ) ; 4 ) c o m p a r i s o n o f t h e a v e r a g e o f a l l o f t h e d o c t o r a l i n s t i t u t i o n s w i t h i n a s t a t e ( M i c h i g a n ) a n d t h e n a t i o n a l a v e r a g e d o c t o r a l i n s t i t u t i o n ; 5 ) t w o c o m p a r i s o n s o f t w o g r o u p s o f d o c t o r a l i n s t i t u t i o n s ( t h e G r e a t L a k e s a n d F a r W e s t r e g i o n s a n d t h e n a t i o n a l a v e r a g e d o c t o r a l i n s t i t u t i o n ) ; a n d 6 ) c o m p a r i s o n o f a s i n g l e d o c t o r a l i n s t i t u t i o n ( M i c h i g a n S t a t e U n i v e r s i t y ) a n d a g r o u p o f d o c t o r a l i n s t i t u t i o n s ( t h e " B i g T e n " i n s t i t u t i o n s ) . A d d i t i o n a l l y , a n u m b e r o f o t h e r p r o f i l e s o f i n t e r e s t m a y b e f o u n d i n A p p e n d i x D . H o w e v e r , p r i o r t o b e g i n n i n g , a s u m m a r y o f t h e k e y v a r i a b l e s a n d t h e i r d e f i n i t i o n s i s p r e s e n t e d i n T a b l e 2 9 b e l o w t o g u i d e i n t e r p r e t a t i o n o f a l l t h e p r o f i l e a n a l y s e s w h i c h f o l l o w . 2 6 4 T a b l e 2 9 . S u m m a r y o f t h e E i g h t K e y V a r i a b l e s U s e d i n t h e P r o f i l e A n a l y s e s w i t h t h e i r D e f i n i t i o n s D o m a i n V a r i a b l e D e f i n i t i o n s S G H D C T F T D D E G S D O C F F T E N P R F c C O M P P R F A E E I N S T R R R T O T A A L V O L S o Q A R C F A C S t u d e n t H e a d c o u n t ( F u l l - t i m e G r a d u a t e ) D o c t o r ' s D e g r e e s G r a n t e d F a c u l t y ( F u l l - t i m e T e n u r e d P r o f e s s o r s ) C o m p e n s a t i o n ( S a l a r y a n d B e n e f i t s ) o f P r o f e s s o r s ( A v e r a g e A n n u a l A c a d e m i c ) E x p e n d i t u r e s o n I n s t r u c t i o n ( A n n u a l ) R e v e n u e ( T o t a l A n n u a l ) A s s e t s ( L i b r a r y V o l u m e s ) Q u a l i t y ( F a c u l t y ) T h e P r o f i l e s P r o f i l e 1 . C o m p a r i s o n o f a S i n g l e D o c t o r a l I n s t i t u t i o n ( T h e U n i v e r s i t y o f C a l i f o r n i a - B e r k e l e y ) a n d t h e N a t i o n a l A v e r a g e D o c t o r a l I n s t i t u t i o n . T h e f i r s t p r o f i l e a n a l y s i s ( i l l u s t r a t e d i n F i g u r e 2 b e l o w ) c o m p a r e s a s i n g l e d o c t o r a l i n s t i t u t i o n , t h e U n i v e r s i t y o f C a l i f o r n i a - B e r k e l e y , t o t h e U n i t e d S t a t e s a v e r a g e d o c t o r a l i n s t i t u t i o n . 2 6 5 . 7 - 9 5 U o f C a l i f o r n i a - B e r k e l e y T I - ‘ 5 6 3 - 9 7 5 9 . ' I O 3 0 - > e - — o e — — a e — — 4 u r — - e e — — + e — - e e — — e s I L 3 - F i g u r e 2 . P r o f i l e o f T h e U n i v e r s i t y o f C a l i f o r n i a - B e r k e l e y a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 L o o k i n g a t F i g u r e 2 , w e n o t e t h a t t h e e i g h t k e y v a r i a b l e s o r t h e " v i t a l s i g n s " o f A m e r i c a n d o c t o r a l i n s t i t u t i o n s a r e p r e s e n t e d a c r o s s t h e h o r i z o n t a l a x i s o r b o t t o m o f t h e g r a p h , w h i l e t h e v a l u e s ( P ) o f t h e k e y v a r i a b l e s f o r t h e i n s t i t u t i o n ( i n t h i s c a s e , a s i n g l e i n s t i t u t i o n , t h e U n i v e r s i t y o f C a l i f o r n i a - B e r k e l e y ) a r e p l o t t e d o n t h e v e r t i c a l a x i s ( t h a t i s , o n t h e l e f t o f t h e g r a p h ) . T h e v a l u e s ( P ) a r e s t a n d a r d v a l u e s w i t h a m e a n o f 5 0 a n d a s t a n d a r d d e v i a t i o n o f 1 0 . T h e s t r a i g h t l i n e ( P = 5 0 ) i n d i c a t e s t h e n a t i o n a l a v e r a g e f o r e a c h o f t h e e i g h t k e y v a r i a b l e s . 2 6 6 T h i s p r o f i l e o f t h e U n i v e r s i t y o f C a l i f o r n i a - B e r k e l e y m i g h t b e i n t e r p r e t e d a s f o l l o w s . T h e i n s t i t u t i o n i s o n e o r m o r e s t a n d a r d d e v i a t i o n s a b o v e t h e n a t i o n a l d o c t o r a l i n s t i t u t i o n a v e r a g e o n a l l e i g h t k e y v a r i a b l e s . T h e i n s t i t u t i o n i s e s p e c i a l l y c h a r a c t e r i z e d b y t h e l a r g e n u m b e r o f d o c t o r ' s d e g r e e s g r a n t e d , D E G S D O C ( t h e m a x i m u m g r a n t e d b y a n y i n s t i t u t i o n ) ; i t s e x c e l l e n t a s s e t s , A L V O L S ( t h e n u m b e r o f l i b r a r y v o l u m e s ) ; a n d i t s v e r y h i g h f a c u l t y q u a l i t y r a t i n g , Q A R C F A C , ( t h e h i g h e s t r a t i n g a c h i e v e d b y a n y d o c t o r a l i n s t i t u t i o n ) . O n t h e n e g a t i v e s i d e , m o n e y w a s a p r o b l e m i n 1 9 8 1 - 1 9 8 2 , a s i s i n d i c a t e d b y t h e l o w e r P v a l u e o n R T O T ( t o t a l r e v e n u e ) . H o w e v e r , t h e e f f e c t o f t h i s o n f a c u l t y c o m p e n s a t i o n w a s b l u n t e d , t o s o m e d e g r e e , a s i s i n d i c a t e d b y t h e s o m e w h a t h i g h e r , b u t s t i l l r e l a t i v e l y l o w P v a l u e ( t h a t i s , i n r e l a t i o n t o t h e o t h e r k e y v a r i a b l e s ) o n C O M P P R F A . P r o f i l e 2 . A C o m p a r i s o n o f T w o D o c t o r a l I n s t i t u t i o n s ( M i c h g g g n S t a t e U n i v e r s i t y a n d t h e U n i v e r s i t y o f M i c h i g a n - A n n A r b o r ) . T h e s e c o n d p r o f i l e , p r e s e n t e d i n F i g u r e 3 b e l o w , s h o w s a c o m p a r i s o n o f t w o d o c t o r a l i n s t i t u t i o n s , M i c h i g a n S t a t e U n i v e r s i t y ( M S U ) a n d T h e U n i v e r s i t y o f M i c h i g a n - A n n A r b o r ( U o f M ) , b o t h p l o t t e d o n t h e s a m e p r o f i l e . T h e n a t i o n a l d o c t o r a l i n s t i t u t i o n a v e r a g e 2 6 7 ( t h a t i s , t h e s t r a i g h t l i n e a t 5 0 ) w a s n o t i n c l u d e d i n t h i s p r o f i l e a n d i n s e v e r a l o f t h e f o l l o w i n g p r o f i l e s i n t h e i n t e r e s t o f c l a r i t y , b u t i s a s s u m e d . 9 0 - 0 2 " ” a ” 5 9 . 9 5 " ' n n o f M i c h i g a n - A n n A r b o r 5 % ” u 1 n - ' - H i c h i g a n S t a t e U m . ” . . F i g u r e 3 . P r o f i l e o f M i c h i g a n S t a t e U n i v e r s i t y a n d t h e U n i v e r s i t y o f M i c h i g a n - A n n A r b o r , 1 9 8 1 - 1 9 8 2 L o o k i n g a t F i g u r e 3 , w e n o t e t h a t s i n c e b o t h i n s t i t u t i o n s a r e s c o r e d o n t h e s a m e s t a n d a r d v a l u e ( s c o r e ) d i m e n s i o n ( t h a t i s , P w i t h a m e a n o f 5 0 a n d a s t a n d a r d d e v i a t i o n o f 1 0 ) , d i r e c t c o m p a r i s o n s o f t h e t w o i n s t i t u t i o n s c a n b e m a d e . F o r e x a m p l e , i t c a n b e s e e n t h a t t h e U n i v e r s i t y o f M i c h i g a n - A n n A r b o r s c o r e s h i g h e r t h a n M i c h i g a n S t a t e U n i v e r s i t y o n s e v e n o f t h e e i g h t k e y v a r i a b l e s ( t h a t i s , a l l e x c e p t f o r t h e n u m b e r 2 6 8 o f t e n u r e d P r o f e s s o r s ) . T h u s , i t m a y b e s a i d t h a t t h e U n i v e r s i t y o f M i c h i g a n - A n n A r b o r h a s a g r e a t m a n y m o r e f u l l - t i m e g r a d u a t e s t u d e n t s ( S ) , g r a n t s m o r e d o c t o r ' s d e g r e e s ( D ) , a n d h a s h i g h e r t o t a l r e v e n u e ( R ) a n d s u b s t a n t i a l l y m o r e l i b r a r y v o l u m e s ( A ) t h a n M i c h i g a n S t a t e U n i y e r s i t y . T h e U n i v e r s i t y o f M i c h i g a n - A n n A r b o r a l s o s p e n d s m o r e m o n e y o n i n s t r u c t i o n ( E ) , p a r t o f w h i c h g o e s t o c o m p e n s a t i n g ( C ) f e w e r , b u t h i g h e r q u a l i t y ( Q ) t e n u r e d p r o f e s s o r s ( F ) , b e t t e r . P r o f i l e 3 . C o m p a r i s o n o f T w o G r o u p s o f D o c t o r a l I n s t i t u t i o n s ( P u b l i c a n d P r i v a t e ) . T h e t h i r d p r o f i l e p r e s e n t e d ( s e e F i g u r e 4 b e l o w ) c o m p a r e s t w o d i f f e r e n t g r o u p s o f i n s t i t u t i o n s , p u b l i c a n d p r i v a t e i n s t i t u t i o n s . S i n c e t h e p l o t t e d v a l u e s a r e m e a n s t a n d a r d v a l u e s ( t h a t i s , m e a n s c a l c u l a t e d w i t h i n e a c h g r o u p ) f o r t h e s e t w o g r o u p s , d i r e c t c o m p a r i s o n s c a n a g a i n b e m a d e . 2 6 9 5 H - M 6 5 2 . 2 3 " F t o 1 ‘ _ ? t h m m e 5 ° - . : J P u b l i c H 7 - 7 7 a n 9 5 - 5 5 F i g u r e 4 . P r o f i l e o f P u b l i c a n d P r i v a t e D o c t o r a l I n s t i t u t i o n s , 1 9 8 1 - 1 9 8 2 A s c a n b e s e e n f r o m F i g u r e 4 , t h e p r o f i l e s o f t h e t w o g r o u p s a r e a l m o s t m i r r o r i m a g e s . A s c a n a l s o b e s e e n , p u b l i c i n s t i t u t i o n s a r e h i g h e r i n f i v e o f t h e e i g h t d i m e n s i o n s m e a s u r e d : f u l l - t i m e g r a d u a t e s t u d e n t s ( S ) , d o c t o r ' s d e g r e e s g r a n t e d ( D ) , n u m b e r o f t e n u r e d P r o f e s s o r s ( F ) , e x p e n d i t u r e s o n i n s t r u c t i o n ( E ) , a n d t o t a l r e v e n u e ( R ) . T h e s e d i m e n s i o n s a l l s t r o n g l y r e f l e c t i n s t i t u t i o n s i z e . P r i v a t e i n s t i t u t i o n s a r e h i g h e r o n t h r e e d i m e n s i o n s : c o m p e n s a t i o n o f t e n u r e d p r o f e s s o r s ( C ) , l i b r a r y v o l u m e s ( A ) , a n d f a c u l t y q u a l i t y ( Q ) . S u r p r i s i n g l y , t h e t w o g r o u p s a r e c l o s e r 2 7 0 t o g e t h e r o n t h e q u a l i t y d i m e n s i o n t h a n m i g h t b e e x p e c t e d c o n s i d e r i n g t h e s i z e d i f f e r e n c e . O t h e r s i m i l a r p r o f i l e s o f i n d i v i d u a l o r g r o u p s o f d o c t o r a l i n s t i t u t i o n s c a n b e g e n e r a t e d b y t h e P e r s o n a l C o m p u t e r S y s t e m f r o m t h e D o c t o r a l I n s t i t u t i o n D a t a B a s e t o a n s w e r s p e c i f i c r e s e a r c h , p o l i c y , o r m a n a g e m e n t _ q u e s t i o n s . T h e f o l l o w i n g s e t o f f i v e p r o f i l e s i s r e p r e s e n t a t i v e o f t h i s t y p e o f a p p l i c a t i o n . P r o f i l e 4 . C o m p a r i s o n o f T w o G r o u p s o f D o c t o r a l I n s t i t u t i o n s ( L a n d g r a n t a n d N o n - L a n d g r a n t ) . T h i s p r o f i l e , s h o w n i n F i g u r e 5 b e l o w , a g a i n c o m p a r e s t w o d i f f e r e n t g r o u p s o f d o c t o r a l i n s t i t u t i o n s t o a n s w e r a s p e c i f i c q u e s t i o n : H o w d o l a n d g r a n t i n s t i t u t i o n s c o m p a r e t o n o n - l a n d g r a n t i n s t i t u t i o n s ? 2 7 1 5 6 - 2 ‘ ! 5 . . . ” a s f t = ‘ , , I a m d m n u m 5 1 - 9 5 H ' 1 9 - 8 N m m i a n fl n m n t “ - 6 6 u F i g u r e 5 . P r o f i l e o f L a n d g r a n t a n d N o n - L a n d g r a n t D o c t o r a l I n s t i t u t i o n s , 1 9 8 1 - 1 9 8 2 A s c a n b e s e e n f r o m F i g u r e 5 , t h i s p r o f i l e i n d i c a t e s s p e c i f i c d i f f e r e n c e s b e t w e e n t h e t w o g r o u p s . F i r s t , n o n - l a n d g r a n t d o c t o r a l i n s t i t u t i o n s a r e b e l o w t h e n a t i o n a l a v e r a g e o n a l l d o m a i n s , e x c e p t c o m p e n s a t i o n o f t e n u r e d P r o f e s s o r s . S e c o n d , t h e a v e r a g e l a n d g r a n t d o c t o r a l i n s t i t u t i o n : h a s m o r e f u l l - t i m e g r a d u a t e s t u d e n t s ( S ) ; g r a n t s f a r m o r e d o c t o r ' s d e g r e e s ( D ) ; h a s s u b s t a n t i a l l y m o r e t e n u r e d P r o f e s s o r s ( F ) w h o a r e c o m p e n s a t e d a t a l o w e r r a t e ( C ) ; s p e n d s m o r e o n i n s t r u c t i o n ( E ) ; h a s m o r e t o t a l r e v e n u e ( R ) ; h a s s l i g h t l y m o r e l i b r a r y v o l u m e s ( A ) ; a n d h a s a h i g h e r q u a l i t y f a c u l t y ( Q ) t h a n d o n o n - l a n d g r a n t 2 7 2 i n s t i t u t i o n s . T h i s p r o f i l e s h o u l d b e o f p a r t i c u l a r i n t e r e s t t o a d v o c a t e s o f A m e r i c a n p u b l i c h i g h e r e d u c a t i o n . P r o f i l e 5 . C o m p a r i s o n o f t h e A v e r a g e o f a l l o f t h e D o c t o r a l I n s t i t u t i o n s w i t h i n a s t a t e ( M i c h i g a n ) a n d t h e N a t i o n a l A v e r a g e D o c t o r a l I n s t i t u t i o n . T h i s p r o f i l e ( s e e F i g u r e 6 b e l o w ) c o m p a r e s t h e s t a t e a n d n a t i o n a l a v e r a g e s o f d o c t o r a l i n s t i t u t i o n s t o a n s w e r t h e q u e s t i o n : H o w d o M i c h i g a n d o c t o r a l i n s t i t u t i o n s c o m p a r e t o t h e a v e r a g e U n i t e d S t a t e s d o c t o r a l i n s t i t u t i o n ? 6 2 - ) 6 5 8 - 5 0 5 5 . 5 1 - H 2 M a d n e s s U s 3 . ‘ I ‘ l - I ‘ l F i g u r e 6 . P r o f i l e o f D o c t o r a l I n s t i t u t i o n s i n M i c h i g a n a n d t h e U n i t e d S t a t e s , 1 9 8 1 - 1 9 8 2 2 7 3 A s c a n b e s e e n f r o m F i g u r e 6 , t h e a v e r a g e o f t h e f i v e M i c h i g a n d o c t o r a l i n s t i t u t i o n s : M i c h i g a n S t a t e U n i v e r s i t y , t h e U n i v e r s i t y o f M i c h i g a n - A n n A r b o r , t h e U n i v e r s i t y o f D e t r o i t , W a y n e S t a t e U n i v e r s i t y , a n d W e s t e r n M i c h i g a n U n i v e r s i t y i s a b o v e t h e a v e r a g g o f A m e r i c a n d o c t o r a l i n s t i t u t i o n s o n a l l o f t h e k e y v a r i a b l e s , e x c e p t o n t h e c o m p e n s a t i o n o f t e n u r e d p r o f e s s o r s ( C ) . I t s h o u l d a l s o b e n o t e d t h a t , o f t h e s e v e n a b o v e a v e r a g e v a r i a b l e s , t h e f a c u l t y q u a l i t y v a r i a b l e ( Q ) i s t h e l o w e s t , c l o s l y a p p r o x i m a t i n g t h e n a t i o n a l a v e r a g e . T h e h i g h l y d i s c r e p a n t r e l a t i o n s h i p a m o n g n u m b e r s o f f a c u l t y , f a c u l t y c o m p e n s a t i o n , a n d t h e q u a l i t y r a t i n g o f f a c u l t y r a i s e s s e r i o u s q u e s t i o n s a b o u t d e c i s i o n s m a d e i n t h o s e a r e a s w h i c h w a r r a n t f u r t h e r s t u d y . P r o f i l e 6 . C o m p a r i s o n o f T w o G r o u p s o f D o c t o r a l I n s t i t u t i o n s ( t h e G r e a t L a k e s r e g i o n a n d t h e n a t i o n a l a v e r a g e d o c t o r a l i n s t i t u t i o n ) . T h i s p r o f i l e , s h o w n i n F i g u r e 7 b e l o w , a n s w e r s t h e q u e s t i o n : H o w d o d o c t o r a l i n s t i t u t i o n s i n t h e G r e a t L a k e s r e g i o n c o m p a r e t o t h e a v e r a g e U n i t e d S t a t e s d o c t o r a l i n s t i t u t i o n ? 2 7 4 ( h m a t l a m a s 0 . 8 . F i g u r e 7 . P r o f i l e o f D o c t o r a l I n s t i t u t i o n s i n t h e G r e a t L a k e s R e g i o n a n d t h e U n i t e d S t a t e s , 1 9 8 1 - 1 9 8 2 A s c a n b e s e e n f r o m F i g u r e 7 , t h e r e s u l t s f o r t h e G r e a t L a k e s r e g i o n a r e h i g h l y s i m i l a r t o t h e p r e v i o u s s t a t e o f M i c h i g a n p r o f i l e ( F i g u r e 6 ) , t h a t i s , a l l v a r i a b l e s a r e h i g h e r t h a n t h e n a t i o n a l a v e r a g e e x c e p t f o r t h e c o m p e n s a t i o n v a r i a b l e ( C ) . T h e m a j o r d i f f e r e n c e h e r e a p p e a r s t o b e a s l i g h t l y l e s s p r o n o u n c e d d i f f e r e n c e b e t w e e n f a c u l t y c o m p e n s a t i o n ( C ) a n d f a c u l t y q u a l i t y ( Q ) . T h u s , i t a p p e a r s t h a t M i c h i g a n d o c t o r a l i n s t i t u t i o n s a r e r e p r e s e n t a t i v e o f t h e e n t i r e G r e a t L a k e s r e g i o n s i n c e a s i m i l a r p r o f i l e p a t t e r n i s r e f l e c t e d i n b o t h p r o f i l e s . 2 7 5 P r o f i l e 7 . C o m p a r i s o n o f T w o G r o g p s o f D o c t o r a l I n s t i t u t i o n s ( t h e F a r W e s t R e g i o n a n d t h e N a t i o n a l A v e r a g e D o c t o r a l I n s t i t u t i o n ) . T h i s p r o f i l e , a s c a n b e s e e n i n F i g u r e 8 b e l o w , i s s i m i l a r t o t h e p r e c e d i n g p r o f i l e a n d a l l o w s a c r o s s r e g i o n c o m p a r i s o n . 5 7 - ‘ 1 3 l a r l u u t 5 3 6 7 1 5 0 - x — N — N — W D . s . F i g u r e 8 . P r o f i l e o f D o c t o r a l I n s t i t u t i o n s i n t h e F a r W e s t R e g i o n a n d t h e U n i t e d S t a t e s , 1 9 8 1 - 1 9 8 2 A s c a n b e s e e n f r o m F i g u r e 8 , d o c t o r a l i n s t i t u t i o n s i n t h e F a r W e s t r e g i o n p r e s e n t a v e r y d i f f e r e n t p r o f i l e f r o m d o c t o r a l i n s t i t u t i o n s i n t h e G r e a t L a k e s r e g i o n ( F i g u r e 7 ) . F a r W e s t d o c t o r a l i n s t i t u t i o n s a r e a b o v e t h e n a t i o n a l a v e r a g e o n a l l 2 7 6 e i g h t k e y v a r i a b l e s , t h e h i g h e s t o f w h i c h a r e t h e c o m p e n s a t i o n ( C ) a n d t h e q u a l i t y ( Q ) o f f a c u l t y , t h e t w o v a r i a b l e s w h i c h w e r e t h e l o w e s t i n t h e p r o f i l e s o f b o t h t h e s t a t e o f M i c h i g a n a n d t h e G r e a t L a k e s R e g i o n . T h e F a r W e s t p r o f i l e , t h u s , h a s s i x v a r i a b l e s ( 8 , D , F , E , R , a n d A ) s l i g h t l y a b o v e t h e n a t i o n a l a v e r a g e a n d t w o v a r i a b l e s , C a n d Q a l m o s t o n e s t a n d a r d d e v i a t i o n a b o v e t h e n a t i o n a l a v e r a g e . P o l i c y d i f f e r e n c e s a p p e a r t o b e h i g h l y d i f f e r e n t i n r e g a r d s t o d o c t o r a l i n s t i t u t i o n s i n t h e s e t w o r e g i o n s o f t h e c o u n t r y . P r o f i l e 8 . C o m p a r i s o n o f a S i n g l e D o c t o r a l I n s t i t u t i o n ( M S U ) a n d a : g r o u p o f D o c t o r a l I n s t i t u t i o n s ( T h e B i g I s o l - T h i s p r o f i l e ( s e e F i g u r e 9 b e l o w ) m i g h t b e u s e d t o a n s w e r t h e q u e s t i o n : H o w d o e s M i c h i g a n S t a t e U n i v e r s i t y C o m p a r e w i t h t h e B i g T e n D o c t o r a l I n s t i t u t i o n s i n t h e k e y v a r i a b l e s ? 2 7 7 I I - I Z T I - I I 6 8 - 9 5 B u g l i n ” " 2 M i c h i g a n S t a t e U ‘ H D - I I s o r : a n n o F i g u r e 9 . P r o f i l e o f M i c h i g a n S t a t e U n i v e r s i t y a n d t h e B i g T e n D o c t o r a l I n s t i t u t i o n s , 1 9 8 1 - 1 9 8 2 A s c a n b e s e e n f r o m F i g u r e 9 , M i c h i g a n S t a t e U n i v e r s i t y , i n c o m p a r i s o n t o t h e a v e r a g e B i g T e n d o c t o r a l i n s t i t u t i o n , h a s f e w e r g r a d u a t e s t u d e n t s ( 8 ) , s u b s t a n t i a l l y m o r e f a c u l t y ( F ) , s l i g h t l y l e s s r e v e n u e R ) , a n d f e w e r l i b r a r y v o l u m e s ( A ) . M S U a l s o g r a n t s a b o u t t h e s a m e n u m b e r o f d o c t o r ' s d e g r e e s ( D ) , s p e n d s a b o u t t h e s a m e a m o u n t o n i n s t r u c t i o n ( E ) , c o m p e n s a t e s ( C ) i t s f a c u l t y a b o u t t h e s a m e , a n d h a s a s l i g h t l y l o w e r f a c u l t y q u a l i t y r a t i n g ( Q ) . M o r e i n t e r e s t i n g l y , t h i s s a m e b a s i c p r o f i l e , t h a t i s , a b o v e a v e r a g e o n a l l k e y v a r i a b l e s e x c e p t c o m p e n s a t i o n ( C ) o f f a c u l t y , w a s 2 7 8 a l s o r e f l e c t e d i n F i g u r e s 6 ( M i c h i g a n ) a n d 7 ( G r e a t L a k e s r e g i o n ) a b o v e . S u m m a r y I t s e e m s c l e a r f r o m t h e p r o f i l e r e s u l t s t h a t m a n y i m p o r t a n t q u e s t i o n s c a n b e a s k e d a n d a n s w e r e d w i t h t h e D o c t o r a l I n s t i t u t i o n D a t a B a s e i m p l e m e n t e d o n a p e r s o n a l c o m p u t e r . F u r t h e r , a s e r i e s o f q u e s t i o n s c a n u n c o v e r i n t e r e s t i n g r e l a t i o n s h i p s a m o n g d o c t o r a l i n s t i t u t i o n s ( f o r e x a m p l e , t h e G r e a t L a k e s v e r s u s t h e F a r W e s t r e g i o n a l p a t t e r n ) . E r r o r s o f i n t e r p r e t a t i o n c a n a l s o b e a v o i d e d , f o r e x a m p l e , t h e f i n d i n g t h a t t h e l a n d g r a n t i n s t i t u t i o n s a r e h i g h e r i n f a c u l t y q u a l i t y t h a n a r e t h e n o n - l a n d g r a n t i n s t i t u t i o n s . A s y s t e m a t i c s t u d y o f a l l o f t h e p o s s i b l e p r o f i l e s i s b e y o n d t h e s c o p e o f t h e p r e s e n t s t u d y . A t p r e s e n t , ’ i t w a s o n l y p o s s i b l e t o s i m p l y d i s p l a y s o m e o f t h e m o r e i n t e r e s t i n g p r o f i l e s a n d u s e t h e s e t o i l l u s t r a t e t h e p o t e n t i a l o f t h e D o c t o r a l I n s t i t u t i o n D a t a B a s e . I n t h e f i n a l c h a p t e r ( C h a p t e r V ) , s o m e s u g g e s t i o n s a r e g i v e n f o r s y s t e m a t i c s t u d y o f t h e p r o f i l e s . 2 7 9 T H E U N D E R L Y I N G S T R U C T U R E O F T H E D A T A B A S E I n t r o d u c t i o n T h e p u r p o s e o f t h i s f i n a l a n a l y s i s w a s t o m e e t t h e f i f t h s t u d y o b j e c t i v e : O b j e c t i v e 5 : T o e x a m i n e m o r e c l o s e l y t h e u n d e r l y i n g s t r u c t u r e o f d o c t o r a l i n s t i t u t i o n s w h i c h m i g h t a c c o u n t f o r t h e i n t e r - c o r r e l a t i o n s a m o n g t h e o b s e r v a b l e q u a n t i t a t i v e v a r i a b l e s u s e d i n t h e s t u d y . R 5 . W h a t t h e o r y o f a c a d e m i c q u a l i t y i s s u p p o r t e d b y f a c t o r a n a l y t i c s t u d y o f t h e d a t a c h a r a c t e r i s t i c s o f d o c t o r a l i n s t i t u t i o n s ? E m p i r i c a l R e s e a r c h S t u d y H y p o t h e s i s T h e n u m b e r o f c o m m o n f a c t o r s u n d e r l y i n g t h e o b s e r v a b l e q u a n t i t a t i v e c h a r a c t e r i s t i c s o f A m e r i c a n d o c t o r a l i n s t i t u t i o n s i s g r e a t e r t h a n o n e ( t h e u n i v a r i a t e c a s e ) a n d l e s s t h a n o r e q u a l t o e i g h t ( t h e n u m b e r o f d o m a i n s u s e d i n t h e o r i g i n a l d e s c r i p t i o n ) . I n o t h e r w o r d s , t h e p u r p o s e o f t o d e t e r m i n e i f a n e m p i r i c a l f a c t o r s u p p o r t t h e u n d e r l y i n g E i g h t - F a c t o r b a s e a s s u m e d i n t h e e a r l i e r c l u s t e r t h i s a n a l y s i s w a s a n a l y s i s w o u l d m o d e l o f t h e d a t a a n a l y s i s . T h e F a c t o r S t r u c t u r e A n a l y s i s T h e f i r s t s t e p i n d e t e r m i n i n g t h e u n d e r l y i n g s t r u c t u r e o f d o c t o r a l i n s t i t u t i o n s w a s t o r e d u c e t h e o r i g i n a l m a t r i x o f t h i r t y - e i g h t o b s e r v a b l e q u a n t i t a t i v e v a r i a b l e s t o a s e t o f t h i r t y v a r i a b l e s w h i c h m o s t 2 8 0 c l e a r l y m e a s u r e s t h e d o m a i n s . T h e c r i t e r i a f o r v a r i a b l e d e l e t i o n w a s l o w d o m a i n f a c t o r l o a d i n g ( . 7 6 o r l e s s ) i n c o m b i n a t i o n w i t h a l o w i n t e r - c o r r e l a t i o n w i t h t h e d e p e n d e n t v a r i a b l e , Q A R C F A C . T a b l e 3 0 b e l o w s u m m a r i z e s t h e v a r i a b l e s d e l e t e d . T a b l e 3 0 . V a r i a b l e s D e l e t e d f r o m t h e O r i g i n a l M a t r i x o f T h i r t y - E i g h t Q u a n t i t a t i v e V a r i a b l e s D o m a i n C o r r e l a t i o n V a r i a b l e F a c t o r L o a d i n g y i W i t h Q A R C F A C D E G S F P . 5 8 . 4 0 F T E N A S T . 4 9 - . 2 1 A G E . 4 7 . 3 3 A E N D O W . 5 9 . 4 7 R T U I T F E . 6 4 . 5 1 R A P P R O P . 3 5 . 4 0 E S T D S V C . 7 6 * - . 6 1 E S C H F E L . 7 3 . 7 0 a T w o o t h e r v a r i a b l e s ( A E Q U I P a n d Q G R M N U G ) a l s o h a d a . 7 6 d o m a i n f a c t o r l o a d i n g , b u t t h e y w e r e r e t a i n e d d u e t o h i g h e r i n t e r - c o r r e l a t i o n w i t h Q A R C F A C . T a b l e 3 1 b e l o w c o m p a r e s t h e v a r i a b l e s o f t h e f u l l m a t r i x o f t h i r t y - e i g h t q u a n t i t a t i v e v a r i a b l e s w i t h t h o s e o f t h e r e d u c e d m a t r i x o f t h i r t y v a r i a b l e s . A s c a n b e s e e n , a l l d o m a i n s i n t h e r e d u c e d m a t r i x r e t a i n e d a m i n i m u m o f t h r e e v a r i a b l e s w i t h h i g h f a c t o r l o a d i n g s o n t h e d o m a i n . X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X 2 8 1 T a b l e 3 1 . C o m p a r i s o n o f Q u a n t i t a t i v e V a r i a b l e s U s e d i n t h e F u l l a n d R e d u c e d M a t r i c e s F u l l R e d u c e d D o m a i n / V a r i a b l e M a t r i x M a t r i x S - S t u d e n t S T D H D C T S T D F T E S G H D C T S G H D C T F T D - D e g r e e D E G S T O T D E G S M A S D E G S F P D E G S D O C F - F a c u l t y F A C T O T F A C T E N F T E N P R F F T E N A S C F T E N A S T C - C o m p e n s a t i o n C O M P P R F A C O M P A S C A C O M P A S T A A - A s s e t A G E A E N D O W A B L D G A E Q U I P A L V O L S A L S U B S R - R e v e n u e R T O T R G V T G C R P R V G G C R T U I T F E R A P P R O P E y - E x p e n d i t u r e E I N S T R E A C A D S P E P L N T E R E S E S T D S V C E S C H F E L X X X X X X 2 8 2 T a b l e 3 1 ( C o n t ' d . ) . F u l l R e d u c e d D o m a i n / V a r i a b l e M a t r i x M a t r i x Q - Q u a l i t y Q A R C F A C X X Q A R C P R G X X Q A R C N X X Q G R M N G X X Q G R M N U G X X O n c e t h e m a t r i x w a s r e d u c e d , t h e r e s u l t i n g t h i r t y v a r i a b l e s w e r e a n a l y z e d t h r o u g h a P e a r s o n p r o d u c t - m o m e n t c o r r e l a t i o n a n a l y s i s , p r i o r t o t h e f a c t o r a n a l y s i s . T h e r e s u l t s o f t h e c o r r e l a t i o n a n a l y s i s a r e s h o w n b e l o w i n T a b l e 3 2 . i 7 9 9 6 9 9 9 2 2 9 9 9 9 7 6 2 2 0 3 5 5 6 5 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 m . s a i é m i - e 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 9 7 7 6 9 9 9 9 9 2 6 3 5 6 2 9 9 9 2 ’ 2 6 5 5 6 6 6 6 6 6 1 1 1 1 6 6 6 6 6 6 6 6 6 6 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 9 8 3 9 3 6 7 9 1 7 9 7 6 9 6 2 9 9 9 9 9 9 2 6 3 9 2 2 V . 6 6 6 7 6 6 5 5 6 5 5 6 6 1 U 9 6 6 6 6 6 6 6 6 . . . 1 1 1 1 . . . 1 1 1 . 1 1 1 1 1 1 1 1 s v m i t e t m — 1 1 , 1 1 1 1 9 3 9 2 7 9 9 9 9 7 7 6 9 2 9 9 9 9 2 6 9 9 9 2 2 5 6 i 1 1 . 9 6 6 7 5 5 6 6 6 6 6 6 6 6 5 6 6 6 6 6 6 6 6 6 6 6 7 9 1 1 1 1 1 1 1 1 1 1 1 1 1 . . . . . . 1 1 1 1 1 1 1 1 1 6 6 6 6 6 i M y t r i h T f o x i m 5 9 9 7 7 9 9 9 5 4 2 9 3 2 2 5 1 1 1 1 1 1 6 6 6 “ 6 6 6 6 6 6 6 6 6 6 5 5 7 7 7 7 7 7 7 7 7 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 . . 1 1 1 - i 9 2 2 2 9 5 9 9 9 7 r 6 6 6 6 6 6 i 1 1 1 1 1 1 1 “ 1 1 1 9 2 9 6 7 6 4 6 9 7 6 I 7 5 6 6 7 7 7 7 7 7 7 7 7 6 6 6 5 t 1 1 s 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 . . . . . 1 1 a M n o i 3 6 9 9 9 9 2 7 5 7 4 4 2 9 2 2 3 1 1 1 1 1 1 1 1 1 1 1 “ 9 7 9 0 6 6 5 6 6 6 5 6 7 7 7 7 7 7 7 7 7 7 7 6 6 6 6 6 . 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 . . 1 1 . . W m e h t m f 1 9 9 9 9 7 6 6 0 9 7 4 4 1 1 ‘ 2 9 2 3 2 1 1 1 1 1 1 1 1 1 1 o 6 6 0 7 7 7 u 6 6 6 6 5 6 5 5 6 7 7 6 6 6 6 6 7 7 1 1 1 1 7 7 7 7 7 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 . . . 1 1 1 1 w e s i t s i “ . 7 ’ ’ 7 ’ 9 1 4 4 2 2 3 6 2 ’ 1 1 1 1 1 1 1 1 1 1 1 1 1 7 7 7 7 7 7 6 6 6 6 6 6 6 6 6 6 5 5 6 7 7 7 7 7 7 7 7 7 n 1 a c - o t n m . . 1 1 1 e 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 fl “ 1 1 1 1 1 1 1 1 1 1 1 1 1 1 i 9 9 9 9 7 7 6 4 2 2 2 9 5 i 1 7 7 7 7 7 7 7 7 6 6 6 6 6 7 7 7 1 1 1 1 1 1 1 1 7 7 7 6 6 6 6 5 5 6 6 . fl s i b T m m m s - l b 1 1 1 1 1 1 1 1 1 . 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 “ 7 7 7 7 6 6 6 6 5 5 6 6 6 7 7 7 7 6 7 7 6 6 1 1 1 1 1 1 1 1 1 1 1 1 7 7 6 7 7 7 9 9 ’ 9 7 7 I 4 2 2 2 ’ 3 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 ! 5 T 0 s n n ” 1 ” s m 1 1 s 5 a 9 1 O c T x e 1 ? 1 m m m o M i r 5 T m 6 o 0 m T e n 5 S N U 5 w s E 1 6 B £ 0 u 1 O a n o L E a e £ I T l P R n T . V m S m o m “ R m 1 5 E E m a m c a m c ( ( m K F P m F W c W m 3 : i e e a e i i l - e a s i - . 5 7 7 5 5 6 2 4 . . . . 5 1 1 7 6 2 . . . m T O T R 5 1 5 . H S L I A . D N . d ’ t ” n o C ( 2 : e l i T l l E M u m m m e l t i t ” m ’ 0 ” - 0 0 3 s I , a ” . 5 2 S T ” ' . 0 7 1 - 0 ” 0 2 . 2 . 2 . 3 5 m . 3 . 5 . 4 2 “ 6 5 5 0 ' a ” a “ 0 2 3 m m . 2 1 . 1 7 . 2 5 m m . 5 5 . 5 1 . 4 5 F H C T O T . . 0 5 . 2 2 P E T E " - 0 0 5 . 2 2 P M . 1 4 . 1 . 5 1 " e m - 0 1 5 - 0 “ e 5 2 m 1 . 1 . 5 7 . 7 2 m 1 5 7 . 5 c o r m s " ! 1 “ 1 “ 1 M 1 5 7 1 5 7 1 “ t e e n ! 1 5 ? 1 5 7 1 “ ' E m s 1 5 4 1 5 4 1 5 5 “ . 5 1 3 5 1 ” 1 5 0 1 4 9 1 6 4 1 6 4 R T O T 1 5 7 1 5 7 1 “ 1 7 1 1 7 1 1 6 5 1 6 4 1 R G V T G C 1 5 7 1 5 7 1 5 6 1 7 1 1 7 1 1 5 5 1 6 4 1 7 1 R P R V G G C 1 5 7 1 5 7 1 5 ‘ 1 7 1 1 7 1 1 6 5 1 6 4 1 7 1 1 7 1 E 1 N S T R 1 5 7 1 5 7 1 5 6 1 7 1 1 7 1 1 6 5 1 6 4 1 7 1 1 7 1 1 7 1 S W 1 5 7 1 5 7 1 “ 1 7 1 1 7 1 1 6 5 1 6 4 1 7 1 1 7 1 1 7 1 E P L N T 1 5 7 1 5 7 1 “ 1 7 1 1 7 1 1 6 5 1 6 4 1 7 1 1 7 1 1 7 1 E R E S 1 5 7 1 5 7 1 5 ‘ 1 7 1 1 7 1 1 6 5 1 6 4 1 7 1 1 7 1 1 7 1 B H H C F H B 1 5 5 1 5 5 1 5 2 1 5 2 1 6 2 1 5 9 1 5 5 1 ‘ 2 1 ‘ 3 1 ‘ 2 I H H C P H B 1 5 5 1 5 5 1 5 2 1 6 2 1 6 2 1 5 9 1 5 5 1 6 2 1 5 2 1 6 2 o m e n 1 5 5 1 5 5 1 5 2 1 6 2 1 6 2 1 5 9 1 5 5 1 6 2 1 6 2 1 6 2 B E R N N B 1 5 7 1 5 7 1 5 ‘ 1 6 9 1 6 5 1 6 ‘ 1 6 2 1 6 9 1 6 ’ 1 6 5 m 1 “ 1 5 2 1 5 2 1 6 5 1 6 5 1 5 1 1 5 7 1 6 5 1 6 5 1 6 5 i i § § § 3 € § K ' 4 ; l i a i e i i e a a e s i i a i l a - i t s ! “ . s t i l e e a i a i a i i t i i i a e e - 2 ' 3 e fi fi fi i fi l fi fi fi i i fi i fi ‘ s i é h 7 ‘ 8 4 5 2 5 7 8 5 5 7 1 5 1 1 5 5 5 2 4 . . . 2 3 . . . . . . . . 2 6 4 4 5 7 7 5 1 1 ‘ 2 2 6 5 6 5 5 1 4 4 5 . . . . . 0 . . . . . 5 2 5 5 5 1 1 2 3 6 0 5 5 7 3 5 6 6 7 4 5 6 4 4 5 7 6 . . . . . . . . . . . . . . . . 5 5 2 1 9 9 . m m m [ . ) . d ’ t n o C ( 2 5 . 1 & 7 i i a e a i e a a a e i a i i i e i - s t r e i - a i l i z i s i i s i 8 4 8 = 8 i e s i i l ‘ 9 : a a i a a s s l s - i i § t l i l a a e a e i i e i e e s = 8 @ 3 Q t 9 t ! k : 9 fi § 8 : 8 k z § 8 § 8 “ e e - 8 8 u s . - e e i e l l l i l " i i i i a i i a a e a a i i e ~ i s s e i e e e a — - l i e 8 3 ‘ 8 3 2 k 3 8 ‘ l i i z i i i e - e 3 - 3 3 3 8 3 - - - — ~ 3 3 ‘ - 3 3 - — K K R Q S U S Q - - - - “ - — 1 6 2 1 5 7 2 8 5 2 8 6 A f t e r t h e c o r r e l a t i o n a n a l y s i s o f t h e t h i r t y q u a n t i t a t i v e v a r i a b l e s w a s c o m p l e t e d , a V a r i m a x c o m m o n f a c t o r a n a l y s i s w a s p e r f o r m e d , u s i n g t h e c o r r e l a t i o n m a t r i x . T h e p r o c e d u r e f o r t h e f a c t o r a n a l y s i s w a s a s f o l l o w s . F i r s t , a c o m m o n f a c t o r a n a l y s i s w a s p e r f o r m e d u s i n g t h e m u l t i p l e c o r r e l a t i o n s a s t h e e s t i m a t e d c o m m u n a l i t i e s . T h e m a x i m u m n u m b e r o f f a c t o r s w a s s e t a t t h i r t y ( t h a t i s , t h e n u m b e r o f v a r i a b l e s ) a n d f a c t o r i n g w a s s e t t o h a l t w h e n t h e e i g e n v a l u e s ( r e l a t e d t o t h e n u m b e r o f p o s s i b l e c o m m o n f a c t o r s ) d r o p p e d b e l o w 1 . 0 0 , t h e g e n e r a l l y r e c o m m e n d e d v a l u e f o r c o n f i r m a t o r y f a c t o r a n a l y s i s . A t o t a l o f f i f t y i t e r a t i o n s w a s u s e d t o i m p r o v e c o m m u n a l i t y e s t i m a t e s . A V a r i m a x r o t a t i o n , w h i c h i s t h e r e c o m m e n d e d p r o c e d u r e f o r u n c o r r e l a t e d f a c t o r s , w a s t h e n p e r f o r m e d . T h e r e s u l t s o f t h e V a r i m a x f a c t o r a n a l y s i s r e s u l t e d i n f o u r f a c t o r s w h i c h a r e s h o w n b e l o w i n T a b l e 3 3 . 2 8 7 T a b l e 3 3 . V a r i m a x F a c t o r A n a l y s i s o f t h e R e d u c e d M a t r i x o f T h i r t y Q u a n t i t a t i v e V a r i a b l e s V a r i a b l e F a c t o r 1 F a c t o r 2 F a c t o r 3 F a c t o r 4 S - S t u d e n t S T D H D C T . 9 4 * . 0 7 - . 0 0 - . 2 4 S T D F T E . 9 4 * . 1 5 - . 0 2 - . 2 1 S G H D C T . 6 7 . 0 8 . 1 7 - . 5 9 S G H D C T F T . 5 2 . 4 2 . 1 8 4 . 6 4 % D - D g g r e e D E G S T O T . 8 8 ~ . 2 1 . 0 2 - . 3 3 D E G S M A S . 5 9 . 1 1 . 1 0 - . 6 4 * D E G S D O C . 5 5 . 5 5 . 1 9 - . 4 5 F — F a c u l t y ‘ F A C T O T . 9 0 * . 2 6 - 5 E - O 3 — . 2 3 F A C T E N . 9 1 * . 3 2 - . 0 3 - . 1 7 F T E N P R F . 7 7 . 4 7 . 0 2 - . 3 0 F T E N A S C . 9 4 * . 0 9 - . 0 2 . 0 4 C - C o m p e n s a t i o n C O M P P R F A - . 1 8 . 3 9 . 7 7 * - . 2 8 C O M P A S C A - . 0 6 . 1 9 . 9 4 * - . 1 3 C O M P A S T A . 1 5 . 2 3 . 8 3 ! - . 1 5 A - A s s e t A B L D G . 5 8 . 4 5 . 1 4 - . 5 1 A E Q U I P . 6 1 . 5 1 . 1 0 - . 2 8 A L V O L S . 2 7 . 6 1 . 0 4 - . 6 0 A L S U B S . 3 6 . 6 1 . 0 6 - . 4 7 ' R - R e v e n u e R T O T . 4 3 . 4 6 . 3 0 - . 6 1 R G V T G C . 1 5 . 5 0 . 2 5 - . 6 9 * R P R V G G C . 0 5 . 3 7 . 2 7 - . 7 2 * E - E x p e n d i t u r e E I N S T R . 6 0 . 3 8 . 1 8 - . 6 O E A C A D S P . 4 5 . 4 5 . 1 0 - . 5 4 E P L N T . 5 3 . 3 9 . 2 2 - . 6 2 E R E S . 3 0 . 5 4 . 2 4 - . 5 9 Q - Q u a l i t y Q A R C F A C . 3 1 . 8 3 * . 2 6 - . 3 3 Q A R C P R G . 3 2 . 8 4 * . 2 5 - . 3 O Q A R C N . 4 3 . 7 8 * . 2 1 - . 2 0 Q G R M N G . 0 9 . 7 4 . 4 5 - . 3 0 Q G R M N U G . 0 4 . 7 6 . 3 6 - . 2 3 4 I n d i c a t e s t h e v a r i a b l e s s e l e c t e d t o d e f i n e e a c h f a c t o r , t h a t i s , t h e v a r i a b l e s w i t h i n e a c h f a c t o r w i t h t h e t h r e e h i g h e s t f a c t o r l o a d i n g s o n t h e f a c t o r . T h e F o u r K e y V a r i a b l e s T h i s f a c t o r a n a l y s i s r e s u l t e d i n o n l y f o u r f a c t o r s , r a t h e r t h a n e i g h t a s b e f o r e . T h u s , f o u r f a c t o r s w e r e s u f f i c i e n t t o a c c o u n t f o r o n e h u n d r e d p e r c e n t ( 1 0 0 % ) o f t h e i n t e r - c o r r e l a t i o n s i n t h e m a t r i x . C l e a r l y , t h e n , t h e e a r l i e r a s s u m p t i o n o f e i g h t d o m a i n s i s n o t s u p p o r t e d b y t h e c o n f i r m a t o r y f a c t o r a n a l y s i s , t h a t i s , s o l u t i o n s a s g o o d a s t h e E i g h t - F a c t o r m o d e l a r e p o s s i b l e . I n t e r p r e t a t i o n o f e a c h f a c t o r w a s b a s e d o n t h e " d e f i n i n g v a r i a b l e s “ w i t h i n e a c h f a c t o r . T h a t i s , t h e v a r i a b l e s w i t h i n e a c h f a c t o r w i t h t h e t h r e e h i g h e s t f a c t o r l o a d i n g s w e r e u s e d t o r e p r e s e n t t h e f a c t o r . T h e d e f i n i n g v a r i a b l e s a r e i n d i c a t e d w i t h a n a s t e r i s k i n T a b l e 3 3 a b o v e . I n t e r p r e t a t i o n o f e a c h o f t h e f o u r f a c t o r s , w h i c h i s s h o w n b e l o w , c l a r i f i e s , t o s o m e d e g r e e , w h a t h a p p e n e d . F a c t o r 1 : I n s t i t u t i o n S i z e F a c t o r - - F a c t o r 1 h a s t h e h i g h e s t f a c t o r l o a d i n g s o n t h e S - S t u d e n t a n d F - F a c u l t y s i z e d i m e n s i o n s ( S T D H D C T . 9 4 , S T D F T E . 9 4 , a n d F T E N A S C . 9 4 ) . T h e r e m a i n i n g t w o d e f i n i n g v a r i a b l e s a r e a l s o f a c u l t y s i z e d i m e n s i o n s ( F A C T E N . 9 1 a n d F A C T O T . 9 0 ) ; F u r t h e r , a l l t h r e e o f t h e v a r i a b l e s i n t h e D - D e g r e e d o m a i n , a l t h o u g h n o t d e f i n e r s o f t h e f a c t o r , a r e a l s o s i z e d i m e n s i o n s a n d m a k e i m p o r t a n t c o n t r i b u t i o n s t o t h e f a c t o r . I n t e r e s t i n g l y , o n l y t w o v a r i a b l e s h a v e n e g a t i v e f a c t o r l o a d i n g s o n t h i s f a c t o r 2 8 9 ( C O M P P R F A - . 1 8 a n d C O M P A S C A - . 0 6 ) , i n d i c a t i n g t h a t P r o f e s s o r s a n d A s s o c i a t e P r o f e s s o r s i n l a r g g _ i n s t i t u t i o n s p r o b a b l y y t e n d t o f a r e l e s s w e l l i n c o m p e n s a t i o n t h a n t h e i r p e e r s i n s m a l l e r i n s t i t u t i o n s . F a c t o r 2 : A c a d e m i c Q u a l i t y F a c t o r - - T h e d e f i n i n g v a r i a b l e s o n t h i s f a c t o r ( Q A R C F A C . 8 3 , Q A R C P R G . 8 4 , a n d Q A R C N . 7 8 ) a r e a l l m e m b e r s o f t h e a p r i o r i Q u a l i t y d o m a i n . I n f a c t , a l l f i v e o f t h e v a r i a b l e s w i t h t h e h i g h e s t f a c t o r l o a d i n g s o n t h i s f a c t o r l i e w i t h i n t h i s d o m a i n ( t h a t i s , a l s o i n c l u d i n g , Q G R M N G . 7 4 a n d Q G R M N U G . 7 6 ) . F a c t o r 3 : F a c u l t y C o m p e n s a t i o n F a c t o r - - T h e d e f i n i n g v a r i a b l e s f o r F a c t o r 3 ( C O M P A S C A . 9 4 , C O M P A S T A , . 8 3 , a n d C O M P P R F A . 7 7 ) a r e a l l i n t h e C o m p e n s a t i o n d o m a i n . A d d i t i o n a l l y , a l l t h r e e o f t h e s e v a r i a b l e s w e r e u s e d p r e v i o u s l y a p r i o r i i n d e f i n i n g t h e d o m a i n . A g a i n , w e a l s o s e e t h e n e g a t i v e r e l a t i o n s h i p b e t w e e n i n s t i t u t i o n a l s i z e a n d c o m p e n s a t i o n o f t h e f a c u l t y i n t h a t f i v e v a r i a b l e s h i g h l y a s s o c i a t e d w i t h i n s t i t u t i o n s i z e ( t h a t i s , S T D H D C T , S T D F T E , F A C T O T , F A C T E N , a n d F T E N A S C ) h a v e n e g a t i v e f a c t o r l o a d i n g s . F a c t o r 4 : G r a d u a t e E d u c a t i o n F a c t o r . T h i s f a c t o r i s m o r e d i f f i c u l t t o i n t e r p r e t . F i r s t , w e n o t e t h a t t h e t w o h i g h e s t d e f i n i n g v a r i a b l e s ( R P R V G G C - . 7 2 a n d R G V T G C - . 6 9 ) a r e b o t h e x t e r n a l r e v e n u e s o u r c e s i n t h e R - R e v e n u e d o m a i n w h i c h a r e f r e q u e n t l y a s s o c i a t e d w i t h 2 9 0 g r a d u a t e r e s e a r c h i n s t i t u t i o n s , w h i l e t h e r e m a i n i n g t w o d e f i n e r s a r e a s s o c i a t e d w i t h s i z e a s p e c t s o f g r a d u a t e e d u c a t i o n ( S G H D C T F T - . 6 4 a n d D E G S M A S - . 6 4 ) . S e c o n d , w e n o t e t h a t t h e r e m a i n i n g s i x o f t h e t e n h i g h e s t v a r i a b l e s , i n t e r m s o f f a c t o r l o a d i n g , r e l a t e s t r o n g l y t o i n s t i t u t i o n a l s i z e ( t h a t i s , E P L N T , R T O T , A L V O L S , a n d E I N S T R ) a n d t h e f i n a n c i a l / r e s o u r c e a s p e c t s o f g r a d u a t e e d u c a t i o n ( t h a t i s , S G H D C T a n d E R E S ) . F i n a l l y , w e n o t e t h a t t w o o t h e r f i n a n c i a l l y - r e l a t e d d o m a i n s ( A - A s s e t a n d E - E x p e n d i t u r e ) h a v e n o d e f i n i n g v a r i a b l e s , a l t h o u g h t h e y m a k e i m p o r t a n t c o n t r i b u t i o n s t o b o t h f a c t o r s o n e ( i n s t i t u t i o n a l s i z e ) a n d f o u r ( g r a d u a t e e d u c a t i o n ) . T h u s , w e c a n c o n c l u d e t h a t F a c t o r 4 i s p r i m a r i l y a g r a d u a t e e d u c a t i o n f a c t o r w i t h s t r o n g s i z e a n d f i n a n c i a l a s p e c t s . N o t i c e a l s o t h a t a l l f a c t o r l o a d i n g s i n F a c t o r 4 , e x c e p t o n e ( F T E N A S C . 0 4 ) , a r e n e g a t i v e . T h i s i n d i c a t e s t h a t t h e v a l u e s o n t h i s f a c t o r a r e r e v e r s e d , t h a t i s , v a l u e s a r e l o w o n t h i s f a c t o r w h e n t h e y a r e h i g h o n t h e o t h e r t h r e e c o m m o n f a c t o r s ( t h a t i s , i n s t i t u t i o n a l . s i z e , a c a d e m i c q u a l i t y , a n d f a c u l t y c o m p e n s a t i o n ) . I t s h o u l d a l s o b e r e m e m b e r e d t h a t i n v e r t i n g t h e v a l u e s t o p o s i t i v e w o u l d n o t c h a n g e t h e i n t e r p r e t a t i o n o f t h e f a c t o r i n t e r m s o f t h e d e f i n i n g v a r i a b l e s ( H a r m a n , 1 9 6 7 , 1 9 5 - 1 9 9 ) . 2 9 1 S u m m a r y I n s u m m a r y , t h e f a c t o r s t r u c t u r e a n a l y s i s s e e m s t o h a v e u n c o v e r e d f o u r m a j o r f a c t o r s d e f i n i n g t h e s t r u c t u r e o f A m e r i c a n d o c t o r a l i n s t i t u t i o n s : I n s t i t u t i o n S i z e ( p r i n c i p a l l y t h e S t u d e n t a n d F a c u l t y d o m a i n s ) , A c a d e m i c Q u a l i t y ( t h e Q u a l i t y d o m a i n ) , F a c u l t y C o m p e n s a t i o n ( t h e C o m p e n s a t i o n d o m a i n ) , a n d G r a d u a t e E d u c a t i o n ( p r i n c i p a l l y , t h e S t u d e n t , D e g r e e , a n d R e v e n u e d o m a i n s ) . T h e r e m a i n i n g t w o d o m a i n s ( t h a t i s , A - A s s e t a n d E - E x p e n d i t u r e ) m a k e i m p o r t a n t c o n t r i b u t i o n s t o f a c t o r s o n e , t w o , a n d f o u r . H e n c e , t h e f a c t o r a n a l y s i s s u p p o r t s t h e E i g h t - F a c t o r m o d e l , b u t i n d i c a t e s t h a t s o m e o f t h e d o m a i n s a r e h i g h l y i n t e r - c o r r e l a t e d ( f o r e x a m p l e , t h e n u m b e r o f s t u d e n t s , d e g r e e s , a n d t h e n u m b e r o f f a c u l t y a n d t h e f i n a n c i a l f a c t o r s ) a n d , a s a r e s u l t , t h e s e d o m a i n s a r e c o m b i n e d t o g e t h e r b y t h e f a c t o r a n a l y s i s p r o g r a m i n t o t h e s a m e f a c t o r t o s u p p o r t t h e a s s u m p t i o n t h a t a l l f a c t o r s a r e u n c o r r e l a t e d w i t h e a c h o t h e r . T h u s , t h e f a c t o r a n a l y s i s s u p p o r t s t h e E i g h t - F a c t o r m o d e l , b u t r e d u c e s i t t o a F o u r - F a c t o r m o d e l b y c o m b i n i n g s o m e o f t h e d o m a i n s . T h i s m a y i n d i c a t e , a s s u g g e s t e d b y t h e m u l t i p l e r e g r e s s i o n a n a l y s i s i n O b j e c t i v e 3 ( r e p o r t e d i n T a b l e 2 8 ) , t h a t f e w e r t h a n s e v e n d o m a i n s a r e n e c e s s a r y t o a d e q u a t e l y p r e d i c t a c a d e m i c q u a l i t y . N H 0 T o f o l l o w u p o n t h e p o s s i b i l i t y o f g o o d p r e d i c t i o n o f Q A R C F A C ( F a c t o r 2 ) , u s i n g o n l y t h r e e v a r i a b l e s ' r e p r e s e n t i n g t h e t h r e e f a c t o r s u n c o v e r e d b y t h e f a c t o r a n a l y s i s o f t h e r e d u c e d m a t r i x , a n e w r e g r e s s i o n a n a l y s i s w a s r u n . T h i s r e g r e s s i o n a n a l y s i s u s e d t h e t h r e e v a r i a b l e s w i t h t h e h i g h e s t B e t a - w e i g h t s f r o m t h e e a r l i e r r e g r e s s i o n a n a l y s i s ( T a b l e 2 8 ) : D E G S D O C ( . 5 1 ) w a s u s e d t o r e p r e s e n t t h e s i z e f a c t o r ( t h e S - s t u d e n t , D - d e g r e e , a n d F - f a c u l t y d o m a i n s ) , C O M P P R F A ( . 2 2 ) w a s u s e d t o r e p r e s e n t t h e C o m p e n s a t i o n f a c t o r ( t h e C - c o m p e n s a t i o n d o m a i n ) , a n d A L V O L S ( . 2 7 ) w a s u s e d t o r e p r e s e n t t h e g r a d u a t e e d u c a t i o n f a c t o r ( p r i n c i p a l l y , t h e f i n a n c i a l l y - r e l a t e d A - A s s e t , R - r e v e n u e , a n d E - E x p e n d i t u r e d o m a i n s ) . T h e r e s u l t s o f t h i s r e g r e s s i o n a n a l y s i s a r e s h o w n i n T a b l e 3 4 w i t h t h e r e g r e s s i o n m o d e l s t a t e d a s f o l l o w s : Q A R C F A C = D E G S D O C + C O M P P R F A + A L V O L S T a b l e 3 4 . R e g r e s s i o n A n a l y s i s o f t h e F o u r K e y V a r i a b l e s D e p e n d e n t V a r i a b l e = Q A R C F A C D o m a i n / V a r i a b l e B e t a S i m p l e R D - D E G S D O C . 5 8 . 8 6 C - C O M P P R F A . 2 2 . 5 6 A - A L V O L S . 2 6 . 7 9 M u l t i p l e R = . 9 0 R - S q u a r e d = . 8 2 2 9 3 A c o m p a r i s o n o f t h e r e g r e s s i o n a n a l y s e s u s i n g t h e s e c o n d s e t o f e i g h t k e y v a r i a b l e s ( T a b l e 2 8 ) a n d t h e f o u r k e y v a r i a b l e s ( T a b l e 3 4 ) i s s h o w n i n T a b l e 3 5 b e l o w . T a b l e 3 5 . C o m p a r i s o n o f R e g r e s s i o n A n a l y s e s o f t h e E i g h t a n d F o u r K e y V a r i a b l e s D e p e n d e n t V a r i a b l e = Q A R C F A C T a b l e 2 8 T a b l e 3 4 D o m a i n / V a r i a b l e B e t a B e t a S i m p l e R S - S G H D C T F T - . 1 7 . 7 7 D - D E G S D O C . 5 1 . 5 8 . 8 6 F - F T E N P R F . 1 2 . 7 2 C - C O M P P R F A . 2 2 . 2 2 . 5 6 A - A L V O L S . 2 7 . 2 6 . 7 9 R - R T O T . 1 8 . 7 7 E - E I N S T R - . 0 4 . 7 4 M u l t i p l e R 8 y . 9 1 . 9 0 R - S q u a r e d 8 . 8 3 . 8 2 A s c a n b e s e e n f r o m T a b l e 3 5 , t h e F o u r - F a c t o r t h e o r y y i e l d s p r e d i c t i o n a t t h e s a m e g e n e r a l l e v e l a s t h e E i g h t - F a c t o r m o d e l , t h a t i s , i n t h e l a t t e r t h e S q u a r e d M u l t i p l e C o r r e l a t i o n w a s . 8 2 v e r s u s . 8 3 i n t h e f o r m e r . I n s u m m a r y t h e n , t h e F o u r - F a c t o r m o d e l s e e m s t o b e a u s e f u l a p p r o a c h t o p r e d i c t i n g q u a l i t y i n d o c t o r a l i n s t i t u t i o n s a n d , t h u s , w o r t h y o f f u r t h e r s t u d y . 2 9 4 A S U B S E Q U E N T A N A L Y S I S I n t r o d u c t i o n D u r i n g t h e l i t e r a t u r e r e v i e w i n C h a p t e r I I ( s e e p a g e 6 6 ) , i t w a s m e n t i o n e d t h a t K e n i s t o n , i n h i s r e p o r t ( K e n i s t o n , 1 9 5 9 , 1 1 9 ) , p r o v i d e d i n s t i t u t i o n a l f a c u l t y q u a l i t y p o i n t s f o r t h e t w e n t y t o p - r a n k e d g r a d u a t e i n s t i t u t i o n s i n h i s s t u d y , a s w e l l a s f o r t h e n i n e t e e n t o p - r a n k e d i n s t i t u t i o n s i n H u g h e s ' 1 9 2 5 s t u d y ( a l t h o u g h H u g h e s d i d n o t h i m s e l f p r o v i d e i n s t i t u t i o n a l f a c u l t y q u a l i t y p o i n t s i n h i s o r i g i n a l r e p o r t ) . T h i s w a s d o n e , a c c o r d i n g t o K e n i s t o n , s o t h a t d i r e c t c o m p a r i s o n s c o u l d b e m a d e r e g a r d i n g A m e r i c a n ' s t o p - r a n k e d i n s t i t u t i o n s o v e r t h e a p p r o x i m a t e l y t h i r t y - f o u r y e a r s s e p a r a t i n g t h e t w o s t u d i e s . I t w a s a l s o m e n t i o n e d ( s e e p a g e s 1 4 1 - 1 4 2 ) t h a t W e b s t e r ( 1 9 8 3 ) h a d p e r f o r m e d a m e t a - a n a l y s i s o f i n s t i t u t i o n a l f a c u l t y q u a l i t y r a n k i n g s i n g r a d u a t e e d u c a t i o n o v e r t h e f i f t y - s e v e n y e a r p e r i o d f r o m 1 9 2 5 - 1 9 8 2 . I n h i s a n a l y s i s , W e b s t e r l o o k e d a t s e v e n m u l t i - d i s c i p l i n a r y r e p u t a t i o n a l r a n k i n g s o f g r a d u a t e d e p a r t m e n t s : H u g h e s ( 1 9 2 5 ) ; H u g h e s ( 1 9 3 4 ) ; K e n i s t o n ( 1 9 5 9 ) ; C a r t t e r ( 1 9 6 6 ) ; R o u s e - A n d e r s e n ( 1 9 7 0 ) ; L a d d - L i p s e t ( 1 9 7 9 ) ; a n d t h e A s s o c i a t e d R e s e a r c h C o u n c i l s o r A R C S t u d y ( 1 9 8 2 ) . A l l o f t h e s e s t u d i e s , e x c e p t t h a t o f L a d d a n d L i p s e t , w e r e c a r e f u l l y r e v i e w e d i n t h e p r e s e n t s t u d y . 2 9 5 A m a j o r p r o b l e m w i t h W e b s t e r ' s a n a l y s i s , h o w e v e r , i s t h a t h e u s e d s e v e r a l d i f f e r e n t m e t h o d s f o r c o m b i n i n g d e p a r t m e n t a l r a n k o r d e r s i n t o i n s t i t u t i o n - w i d e s c o r e s b e c a u s e o f t h e v e r y d i f f e r e n t w a y s i n w h i c h t h e v a r i o u s s t u d i e s r a n k e d d e p a r t m e n t s . T h u s , W e b s t e r d e t e r m i n e d i n s t i t u t i o n a l f a c u l t y q u a l i t y r a n k i n g s f o r e a c h o f t h e s t u d i e s a s f o l l o w s : H u g h e s ( 1 9 2 5 ) - H e a d d e d t o g e t h e r w e i g h t e d d e p a r t m e n t a l r a n k i n g s t o g e t a n i n s t i t u t i o n - w i d e t o t a l . H g g h e s ( 1 9 3 4 ) - H e a s s i g n e d e a c h i n s t i t u t i o n t w o p o i n t s f o r e a c h s t a r r e d d e p a r t m e n t a n d o n e p o i n t f o r e a c h l i s t e d d e p a r t m e n t a n d t h e n a g g r e g a t e d ' p o i n t s f o r a n i n s t i t u t i o n - w i d e t o t a l . K e n i s t o n ( 1 9 5 9 ) - H e u s e d t h e i n s t i t u t i o n - w i d e s c o r e s a g g r e g a t e d f r o m d e p a r t m e n t a l s c o r e s a s p u b l i s h e d b y K e n i s t o n . C a r t t e r ( 1 9 6 6 ) - S i n c e C a r t t e r h a d r a n k e d t h e h i g h e s t r a t e d d e p a r t m e n t s i n e a c h d i s c i p l i n e a n d t h e n g r o u p e d t o g e t h e r s e v e r a l s c h o o l s , w i t h o u t d i s t i n g u i s h i n g a m o n g t h e m , a s h a v i n g “ G o o d " o r " A d e q u a t e p l u s “ g r a d u a t e f a c u l t i e s , W e b s t e r u s e d a n a g g r e g a t i o n m e t h o d d e v i s e d b y R a y m o n d E w e l l . T h a t i s , a n i n s t i t u t i o n w a s g i v e n f i v e p o i n t s e a c h t i m e i t s g r a d u a t e f a c u l t y w a s r a t e d " A d e q u a t e p l u s " a n d t e n p o i n t s f o r e a c h " G o o d " r a t i n g . A n u m e r i c a l r a n k w a s g i v e n a s m a n y p o i n t s a s i t s i n v e r s e r a n k , p l u s f o u r t e e n ( f o r e x a m p l e , a s c h o o l l i s t e d a s f i r s t o f f i f t e e n i n a d i s c i p l i n e w o u l d g e t f i f t e e n p o i n t s p l u s a n a u t o m a t i c f o u r t e e n p o i n t s o r a t o t a l o f t w e n t y — n i n e p o i n t s , a n d s o o n ) . T h e p o i n t s f o r e a c h d i s c i p l i n e w e r e t h e n a g g r e g a t e d f o r a n i n s t i t u t i o n - w i d e t o t a l . R o o s e - A n d e r s e n ( 1 9 7 0 ) - S i n c e t h e R o o s e - A n d e r s e n S t u d y w a s e s s e n t i a l l y a r e p l i c a t i o n o f t h e C a r t t e r S t u d y , t h e s a m e m e t h o d u s e d f o r t h e C a r t t e r S t u d y w a s u s e d h e r e . 2 9 6 L a d d - L i p s e t ( 1 9 7 7 ) - W e b s t e r u s e d a m e t h o d d e v i s e d b y G e o r g e C a l l c o t t w h i c h g a v e a n i n s t i t u t i o n t e n p o i n t s f o r a f i r s t r a n k i n a d i s c i p l i n e , n i n e p o i n t s f o r a s e c o n d r a n k , a n d s o o n t o o n e p o i n t f o r a t e n t h r a n k . A g a i n , p o i n t s w e r e t h e n a g g r e g a t e d f o r a n i n s t i t u t i o n - w i d e s c o r e . A R C S t u d y ( 1 9 8 2 ) - W e b s t e r c r e d i t e d a n i n s t i t u t i o n w i t h t w o p o i n t s f o r e a c h p r o g r a m r a t e d w i t h a s t a n d a r d s c o r e o f 7 0 o r o v e r a n d o n e p o i n t f o r e a c h r a t e d 6 0 - 6 9 . P o i n t s w e r e t h e n a g g r e g a t e d b y p r o g r a m t o o b t a i n a n i n s t i t u t i o n - w i d e s c o r e . B e c a u s e o f t h e q u e s t i o n a b l e c o m p a r a b i l i t y o f W e b s t e r ' s i n s t i t u t i o n a l r a n k i n g s , a s c a n b e s e e n f r o m t h e a b o v e , a n d , b e c a u s e i n s t i t u t i o n - w i d e f a c u l t y q u a l i t y p o i n t s a g g r e g a t e d a c r o s s d i s c i p l i n a r y p r o g r a m s w h i c h d i r e c t l y c o r r e s p o n d t o t h o s e o f H u g h e s ( 1 9 2 5 ) a n d K e n i s t o n ( 1 9 5 9 ) w e r e d e v e l o p e d d u r i n g t h e p r e s e n t s t u d y , a n e w f i f t y - s e v e n y e a r m e t a - a n a l y s i s o f A m e r i c a ' s t o p - r a t e d g g a d u a t e i n s t i t u t i o n s w a s p e r f o r m e d . T h i s m e t a - a n a l y s i s , t h u s , u s e d a g g r e g a t e d q u a l i t y p o i n t s , w i t h o u t e s t i m a t i o n o r c o n v e r s i o n . T h e f i r s t p e r i o d o f t h e a n a l y s i s ( 1 9 2 5 - 1 9 5 9 ) c o n s i s t e d o f a b o u t t h i r t y - f o u r y e a r s , w h i l e t h e s e c o n d p e r i o d ( 1 9 5 9 - 1 9 8 2 ) c o n s i s t e d o f a b o u t t w e n t y - t h r e e y e a r s . T h u s , c h a g g e o v e r a p p r o x i m a t e l y t w o g e n e r a t i o n s w a s d i r e c t l y c o m p a r e d . F u r t h e r , t h e 1 9 5 9 - 1 9 8 2 p e r i o d a l s o c l o s e l y a p p r o x i m a t e s t h e " g o l d e n a g e o f h i g h e r e d u c a t i o n " i n w h i c h g r e a t p u b l i c r e s o u r c e s b e c a m e a v a i l a b l e t o l a r g e 2 9 7 n u m b e r s o f p u b l i c g r a d u a t e i n s t i t u t i o n s . T h e v e r y c l o s e r e l a t i o n s h i p b e t w e e n t h e f a c u l t y q u a l i t y r a t i n g s f o r p u b l i c l y a n d p r i v a t e l y c o n t r o l l e d i n s t i t u t i o n s a n d t h e h i g h e r f a c u l t y q u a l i t y r a t i n g f o r L a n d g r a n t i n s t i t u t i o n s v e r s u s N o n - L a n d g r a n t i n s t i t u t i o n s a s s h o w n i n t h e p r o f i l e s ( p a g e s 2 6 9 a n d 2 7 1 r e s p e c t i v e l y ) , a l s o , l e a d u s t o s u s p e c t t h a t p u b l i c i n s t i t u t i o n s m a y h a v e m a d e s u b s t a n t i a l r a n k i n g g a i n s o v e r p r i v a t e i n s t i t u t i o n s d u r i n g t h e f i f t y - s e v e n y e a r p e r i o d , p a r t i c u l a r l y d u r i n g 1 9 5 9 - 1 9 8 2 . T h e r e f o r e , s i n c e b o t h d e m o g r a p h i c d a t a a n d f a c u l t y q u a l i t y r a t i n g s a g g r e g a t e d b y i n s t i t u t i o n w e r e a l s o a v a i l a b l e f o r a l l d o c t o r a l i n s t i t u t i o n s f r o m t h e p r e s e n t s t u d y , t h e r e s u l t s w e r e a l s o a n a l y z e d a s t o p u b l i c l y a n d p r i v a t e l y c o n t r o l l e d d o c t o r a l i n s t i t u t i o n s i n o r d e r t o d e t e r m i n e i f a n y s i g n i f i c a n t i m p a c t o c c u r r e d . T h e M e t a - A n a l y s i s F a c u l t y q u a l i t y r a n k i n g s o f t h e t o p - r a t e d A m e r i c a n g r a d u a t e i n s t i t u t i o n s f r o m 1 9 2 5 - 1 9 5 9 , 1 9 5 9 - 1 9 8 2 , a n d f r o m 1 9 2 5 — 1 9 8 2 , b a s e d o n a n a g g r e g a t i o n o f q u a l i t y p o i n t s a c r o s s p r o g r a m s a n d d i s c i p l i n e s , a r e p r e s e n t e d i n T a b l e s 3 6 , 3 7 , a n d 3 8 b e l o w . 2 9 8 T a b l e 3 6 . F a c u l t y Q u a l i t y R a n k i n g s o f A m e r i c a ' s T o p - R a t e d D o c t o r a l I n s t i t u t i o n s , 1 9 2 5 - 1 9 5 9 1 9 2 5 1 9 5 9 3 4 Y r . D o c t o r a l I n s t i t u t i o n H u g h e s K e n i s t o n C h a n g 5 _ C h i c a g o * 1 6 - 5 H a r v a r d * 2 1 + 1 C o l u m b i a * 3 3 0 W i s c o n s i n 4 8 - 4 Y a l e fi 5 4 + 1 P r i n c e t o n * 6 7 - 1 J o h n s H o p k i n s * 7 1 6 - 9 M i c h i g a n 8 5 + 3 C a l i f o r n i a - B e r k e l e y 9 2 + 7 C o r n e l l + 1 0 9 + 1 I l l i n o i s 1 1 1 0 + 1 P e n n s y l v a n i a * 1 2 1 1 + 1 M i n n e s o t a ' 1 3 1 2 + 1 S t a n f o r d * 1 4 1 3 + 1 O h i o S t a t e 1 5 1 8 - 3 I o w a 1 6 N o r t h w e s t e r n * 1 7 1 7 0 N o r t h C a r o l i n a 1 8 I n d i a n a 1 9 1 5 + 4 C a l i f o r n i a - L o s A n g e l e s 1 4 N e w Y o r k U * 1 9 W a s h i n g t o n 2 0 B l a n k - P u b l i c C o n t r o l * P r i v a t e C o n t r o l + P u b l i c / P r i v a t e C o n t r o l + + P u b l i c R e l a t e d C o n t r o l ( C o n s i d e r e d a s P u b l i c C o n t r o l i n t h i s a n a l y s i s . ) 2 9 9 T a b l e 3 7 . F a c u l t y Q u a l i t y R a n k i n g s o f A m e r i c a ' s T o p - R a t e d D o c t o r a l I n s t i t u t i o n s , 1 9 5 9 - 1 9 8 2 1 9 5 9 1 9 8 2 2 3 Y r . D o c t o r a l I n s t i t u t i o n K e n i s t o n A R C C h a n g g C h i c a g o * 6 5 + 1 H a r v a r d * 1 1 4 - 1 3 C o l u m b i a * 3 1 3 - 1 0 W i s c o n s i n 8 3 + 5 Y a l e * 4 4 0 P r i n c e t o n * 7 1 1 - 4 J o h n s H o p k i n s * 1 6 2 4 - 8 M i c h i g a n 5 9 - 4 C a l i f o r n i a - B e r k e l e y 2 1 + 1 C o r n e l l + 9 1 0 - 1 I l l i n o i s 1 0 7 + 3 P e n n s y l v a n i a * 1 1 1 5 - 4 M i n n e s o t a 1 2 8 + 4 S t a n f o r d * 1 3 2 + 1 1 O h i o S t a t e 1 8 1 6 + 2 I o w a 3 2 N o r t h w e s t e r n * 1 7 1 9 - 2 N o r t h C a r o l i n a 1 8 I n d i a n a 1 5 2 1 - 6 C a l i f o r n i a - L o s A n g e l e s 1 4 6 + 8 N e w Y o r k U * 1 9 4 0 - 2 1 W a s h i n g t o n 2 0 1 2 + 8 T e x a s a t A u s t i n 1 7 P i t t s b u r g h + + 2 0 B l a n k - P u b l i c C o n t r o l a P r i v a t e C o n t r o l + P u b l i c / P r i v a t e C o n t r o l + + P u b l i c R e l a t e d C o n t r o l ( C o n s i d e r e d a s P u b l i c C o n t r o l i n t h i s a n a l y s i s . ) 3 0 0 T a b l e 3 8 . F a c u l t y Q u a l i t y R a n k i n g s o f A m e r i c a ' s T o p - R a t e d D o c t o r a l I n s t i t u t i o n s , 1 9 2 5 - 1 9 8 2 1 9 2 5 1 9 8 2 5 7 Y r . D o c t o r a l I n s t i t u t i o n H u g h e s A R C C h a n g g C h i c a g o * 1 5 - 4 H a r v a r d * 2 1 4 - 1 2 C o l u m b i a * 3 1 3 - 1 0 W i s c o n s i n 4 3 + 1 Y a l e * 5 4 + 1 P r i n c e t o n * 6 1 1 - 5 J o h n s H o p k i n s * 7 2 4 - 1 7 M i c h i g a n 8 9 - 1 C a l i f o r n i a - B e r k e l e y 9 1 + 8 C o r n e l l + 1 0 1 0 0 I l l i n o i s 1 1 7 + 4 P e n n s y l v a n i a * 1 2 1 5 - 3 M i n n e s o t a 1 3 8 + 5 S t a n f o r d * 1 4 2 + 1 2 O h i o S t a t e 1 5 1 6 - 1 I o w a 1 6 3 2 - 1 6 N o r t h w e s t e r n * 1 7 1 9 - 2 N o r t h C a r o l i n a 1 8 1 8 0 I n d i a n a ' 1 9 2 1 - 2 B l a n k - P u b l i c C o n t r o l * P r i v a t e C o n t r o l + P u b l i c / P r i v a t e C o n t r o l + + P u b l i c R e l a t e d C o n t r o l ( C o n s i d e r e d a s P u b l i c C o n t r o l i n t h i s a n a l y s i s . ) R e s u l t s T h e T o p - T e n D o c t o r a l I n s t i t u t i o n s F r o m T a b l e s 3 6 a n d 3 7 , w e c a n s e e t h a t s i x d o c t o r a l i n s t i t u t i o n s h a v e c o n s i s t e n t l y b e e n r a n k e d a m o n g t h e t o p - t e n d o c t o r a l i n s t i t u t i o n s s i n c e 1 9 2 5 . T h r e e o f t h e i n s t i t u t i o n s a r e p u b l i c l y c o n t r o l l e d ( C a l i f o r n i a - B e r k e l e y , M i c h i g a n , a n d W i s c o n s i n ) , t w o a r e 3 0 1 p r i v a t e l y c o n t r o l l e d ( C h i c a g o a n d Y a l e ) , a n d o n e i s b o t h p u b l i c l y a n d p r i v a t e l y c o n t r o l l e d ( C o r n e l l ) . T h e T o p - T w e n t y D o c t o r a l I n s t i t u t i o n s A l s o f r o m T a b l e s 3 6 a n d 3 7 , w e s e e t h a t s i x t e e n d o c t o r a l i n s t i t u t i o n s h a v e c o n s i s t e n t l y b e e n r a n k e d a m o n g t h e t o p - t w e n t y d o c t o r a l i n s t i t u t i o n s s i n c e 1 9 2 5 . I n a d d i t i o n t o t h e s i x i n s t i t u t i o n s m e n t i o n e d i n t h e t o p - t e n a b o v e , t h e y a r e : H a r v a r d , C o l u m b i a , P r i n c e t o n , I l l i n o i s , P e n n s y l v a n i a , M i n n e s o t a , S t a n f o r d , O h i o S t a t e , N o r t h w e s t e r n , a n d N o r t h C a r o l i n a . A s c a n b e s e e n f r o m t h e t a b l e s , s e v e n o f t h e s i x t e e n i n s t i t u t i o n s a r e p u b l i c l y c o n t r o l l e d , e i g h t a r e p r i v a t e l y c o n t r o l l e d , a n d o n e i s b o t h p u b l i c l y a n d p r i v a t e l y c o n t r o l l e d . F o u r d o c t o r a l i n s t i t u t i o n s ( t w o p u b l i c l y c o n t r o l l e d a n d t w o p r i v a t e l y c o n t r o l l e d ) w e r e i n t h e t o p - t w e n t y i n 1 9 2 5 a n d / o r 1 9 5 9 : ; J o h n s H o p k i n s , I o w a , I n d i a n a , a n d N e w Y o r k U n i v e r s i t y . H o w e v e r , n o n e o f t h e s e f o u r i n s t i t u t i o n s w a s i n t h e t o p - t w e n t y i n 1 9 8 2 . T h e d e c l i n e i n r a n k i n g h a s b e e n f a i r l y c o n s i s t e n t f o r J o h n s H o p k i n s a n d I o w a , w h i l e t h a t o f I n d i a n a a n d N e w Y o r k U n i v e r s i t y h a s b e e n v a r i a b l e ( t h a t i s , t h e y b o t h m a d e g a i n s f r o m 1 9 2 5 t o 1 9 5 9 , b u t s h o w e d m a j o r d e c l i n e s f r o m 1 9 5 9 t o 1 9 8 2 ) . 3 0 2 W i n n e r s T h e r e h a v e b e e n e i g h t " w i n n e r s “ a m o n g A m e r i c a ' s t o p d o c t o r a l i n s t i t u t i o n s ( i n t e r m s o f r a n k g a i n s ) d u r i n g t h e f i f t y - s e v e n y e a r s t u d y p e r i o d , a s i s s h o w n i n T a b l e s 3 6 , 3 7 , a n d 3 8 . F o u r h a v e b e e n “ g i g w i n n e r s . " T h a t i s , S t a n f o r d g a i n e d t w e l v e r a n k s , w h i l e C a l i f o r n i a - B e r k e l e y , C a l i f o r n i a - L o s A n g e l e s , a n d W a s h i n g t o n e a c h g a i n e d e i g h t r a n k s ( t h e l a t t e r t w o i n s t i t u t i o n s g a i n e d t h e e i g h t r a n k s i n t h e t w e n t y - t h r e e y e a r s b e t w e e n 1 9 5 9 - 1 9 8 2 a l o n e ) . T h e s e g a i n s w e r e a l s o c o n s i s t e n t i n t h e s e n s e t h a t t h e f o u r i n s t i t u t i o n s m a d e g a i n s d u r i n g e a c h o f t h e t h r e e m e a s u r i n g p e r i o d s . I n t e r e s t i n g l y , a l s o , t h r e e ( 7 5 % ) o f t h e f o u r b i g w i n n e r s a r e p u b l i c l y c o n t r o l l e d a n d a l l f o u r ( 1 0 0 % ) a r e l o c a t e d i n t h e F a r W e s t . O f t h e f o u r " w i n n e r s , " M i n n e s o t a ( f i v e r a n k s ) a n d I l l i n o i s ( f o u r r a n k s ) b o t h g a i n e d c o n s i s t e n t l y a n d h a d t h e i r g r e a t e s t g a i n s d u r i n g t h e 1 9 5 9 - 1 9 8 2 p e r i o d . W i s c o n s i n ( o n e r a n k ) l o s t g r o u n d d u r i n g t h e 1 9 2 5 - 1 9 5 9 p e r i o d , b u t r e c o v e r e d a n d g a i n e d f i v e r a n k s f r o m 1 9 5 9 - 1 9 8 2 . Y a l e , a l s o w i t h o n e r a n k g a i n , r e m a i n e d r e m a r k a b l y s t a b l e i n r a n k i n g o v e r t h e f i f t y - s e v e n y e a r s . C o r n e l l a n d N o r t h C a r o l i n a , w e r e r a n k e d t h e s a m e i n b o t h 1 9 2 5 a n d 1 9 8 2 ( t e n t h a n d e i g h t e e n t h r e s p e c t i v e l y ) a n d , a l s o , w e r e r e m a r k a b l y s t a b l e i n r a n k o v e r t h e f i f t y - s e v e n y e a r p e r i o d . 3 0 3 L o s e r s T h e r e h a v e a l s o b e e n t w e l v e " l o s e r s " a m o n g t h e t o p d o c t o r a l i n s t i t u t i o n s o v e r t h e f i f t y - s e v e n y e a r p e r i o d . F i v e o f t h e s e i n s t i t i t u t i o n s w e r e " b i g l o s e r s " ( t h a t i s , l o s i n g f r o m t e n t o t w e n t y - o n e r a n k s e a c h ) : N e w Y o r k U n i v e r s i t y ( t w e n t y - o n e r a n k s ) , J o h n s H o p k i n s ( s e v e n t e e n r a n k s ) , I o w a ( s i x t e e n r a n k s ) , H a r v a r d ( t w e l v e r a n k s ) , a n d C o l u m b i a ( t e n r a n k s ) . F o u r ( 8 0 % ) o f t h e f i v e b i g l o s e r s a r e b o t h p r i v a t e l y c o n t r o l l e d a n d l o c a t e d i n t h e e a s t e r n p a r t o f t h e U n i t e d S t a t e s ( N e w Y o r k U n i v e r s i t y , J o h n s H o p k i n s , a n d C o l u m b i a i n t h e M i d E a s t r e g i o n a n d H a r v a r d i n t h e N e w E n g l a n d r e g i o n ) . O n l y I o w a , w h i c h i s a " B i g 1 0 " i n s t i t u t i o n l o c a t e d i n t h e P l a i n s r e g i o n , i s p u b l i c l y c o n t r o l l e d . N e w Y o r k U n i v e r s i t y , w h i c h w a s t h e b i g g e s t l o s e r , l o s t t h e t w e n t y - o n e r a n k s i n o n l y t h e t w e n t y - t h r e e y e a r s f r o m 1 9 5 9 - 1 9 8 2 ( N e w Y o r k U n i v e r s i t y w a s n o t a m o n g t h e t o p n i n e t e e n i n s t i t u t i o n s i n 1 9 2 5 a n d , t h u s , w a s n o t a v a i l a b l e f o r c o m p a r i s o n f r o m 1 9 2 5 - 1 9 5 9 ) . J o h n s H o p k i n s c o n s i s t e n t l y d e c l i n e d i n r a n k d u r i n g t h e f i f t y - s e v e n y e a r p e r i o d ( t h a t i s , f r o m s e v e n t h , t o s i x t e e n t h , t o t w e n t y - f o u r t h ) , w h i l e H a r v a r d a n d C o l u m b i a d e c l i n e d o n l y i n t h e t w e n t y - t h r e e y e a r s f r o m 1 9 5 9 - 1 9 8 2 ( H a r v a r d g a i n e d o n e r a n k f r o m 1 9 2 5 - 1 9 5 9 , w h i l e C o l u m b i a m a i n t a i n e d t h e t h i r d r a n k p o s i t i o n ) . 3 0 4 S e v e n o t h e r d o c t o r a l i n s t i t u t i o n s w e r e “ l o s e r s " ( t h a t i s l o s i n g b e t w e e n o n e a n d f i v e r a n k s e a c h ) : P r i n c e t o n ( f i v e r a n k s ) , C h i c a g o ( f o u r r a n k s ) , P e n n s y l v a n i a ( t h r e e r a n k s ) , N o r t h w e s t e r n a n d I n d i a n a ( t w o r a n k s e a c h ) , a n d M i c h i g a n a n d O h i o S t a t e ( o n e r a n k e a c h ) . O f t h e s e s e v e n i n s t i t u t i o n s , t h r e e o r 4 3 % ( I n d i a n a , M i c h i g a n , a n d O h i o ) a r e p u b l i c l y c o n t r o l l e d . F i v e o r 7 1 % ( C h i c a g o , N o r t h w e s t e r n , I n d i a n a , M i c h i g a n , a n d O h i o S t a t e ) a r e l o c a t e d i n t h e G r e a t L a k e s r e g i o n , t h e l a s t f o u r o f w h i c h a r e a l s o " B i g T e n " i n s t i t u t i o n s . O n l y P r i n c e t o n ( p r i v a t e l y c o n t r o l l e d ) w a s a c o n s i s t e n t l o s e r d u r i n g t h e e n t i r e p e r i o d . T h r e e o f t h e p u b l i c i n s t i t u t i o n s : P e n n s y l v a n i a ( o n e r a n k ) , I n d i a n a ( f o u r r a n k s ) , a n d M i c h i g a n ( t h r e e r a n k s ) , s h o w e d r a n k g a i n s d u r i n g t h e 1 9 2 5 - 1 9 5 9 p e r i o d , b u t s h o w e d g r e a t e r r a n k l o s s e s d u r i n g t h e 1 9 5 9 - 1 9 8 2 p e r i o d ( f o u r , s i x , a n d f o u r r a n k s r e s p e c t i v e l y ) . T w o o f t h e r e m a i n i n g t h r e e i n s t i t u t i o n s ( o n e p u b l i c l y c o n t r o l l e d a n d o n e p r i v a t e l y c o n t r o l l e d ) , s h o w e d a r e v e r s e p a t t e r n ( t h a t i s , C h i c a g o a n d O h i o S t a t e l o s t r a n k d u r i n g t h e 1 9 2 5 - 1 9 5 9 p e r i o d , b u t g a i n e d r a n k d u r i n g t h e 1 9 5 9 - 1 9 8 2 p e r i o d . N o r t h w e s t e r n r e m a i n e d s t a b l e i n r a n k f r o m 1 9 2 5 - 1 9 5 9 , b u t l o s t t w o r a n k s f r o m 1 9 5 9 - 1 9 8 2 . 3 0 5 C o m e r s T w o d o c t o r a l i n s t i t u t i o n s ( b o t h p u b l i c l y c o n t r o l l e d ) c a n b e d e s c r i b e d a s " c o m e r s " s i n c e t h e y o n l y a c h i e v e d t o p - t w e n t y s t a t u s i n 1 9 8 2 , T e x a s a t A u s t i n ( s e v e n t e e n t h ) a n d P i t t s b u r g ( t w e n t i e t h ) . O t h e r T o p - R a t e d D o c t o r a l I n s t i t u t i o n s T w o i n s t i t u t i o n s r e m a i n e d r e l a t i v e l y s t a b l e i n r a n k o v e r t h e f i f t y - s e v e n y e a r p e r i o d . C o r n e l l w a s r a n k e d t e n t h i n 1 9 2 5 , n i n t h i n 1 9 5 9 , a n d t e n t h a g a i n i n 1 9 8 2 . N o r t h C a r o l i n a w a s r a n k e d e i g h t e e n t h i n 1 9 2 5 , d i d n o t m a k e t h e t o p - t w e n t y l i s t i n 1 9 5 9 , b u t a g a i n w a s r a n k e d e i g h t e e n t h i n 1 9 8 2 . ’ P u b l i c v e r s u s P r i v a t e C o n t r o l T o d e t e r m i n e t h e r e l a t i o n s h i p b e t w e e n p u b l i c l y a n d p r i v a t e l y c o n t r o l l e d d o c t o r a l i n s t i t u t i o n s d u r i n g t h e f i f t y - s e v e n y e a r p e r i o d , T a b l e 3 9 w a s d e v e l o p e d . I t i s s h o w n b e l o w . 3 0 6 T a b l e 3 9 . P u b l i c l y a n d P r i v a t e l y C o n t r o l l e d T o p - T e n a n d T o p — T w e n t y R a n k e d D o c t o r a l I n s t i t u t i o n s , 1 9 2 5 - 1 9 8 2 T o p - T e n T o p - T w e n t y T y p e o f C o n t r o l 4 % # % 1 9 2 5 P u b l i c 2 2 5 % 1 0 5 6 % P r i v a t e g _ Z § _ 8 _ 4 4 T o t a l 8 1 0 0 % 1 8 1 0 0 % 1 9 5 9 P u b l i c 4 4 4 % 1 0 5 3 % F r i v a t e 5 £ 6 _ 2 _ 4 1 T o t a l 9 1 0 0 % 1 9 1 0 0 % 1 9 8 2 P u b l i c 6 6 7 % 1 1 5 8 % P r i v a t e 2 . 2 2 _ 8 _ E T o t a l 9 1 0 0 % 1 9 1 0 0 % N o t e : C o r n e l l i s b o t h p u b l i c l y a n d p r i v a t e l y c o n t r o l l e d a n d , t h u s , w a s n o t i n c l u d e d i n t h e c o m p a r i s o n . A s c a n b e s e e n f r o m T a b l e 3 9 , p u b l i c l y c o n t r o l l e d d o c t o r a l i n s t i t u t i o n s h a v e s u p p l a n t e d p r i v a t e l y c o n t r o l l e d d o c t o r a l i n s t i t u t i o n s i n t h e t o p - t e n r a n k i n g . I n 1 9 2 5 , p r i v a t e l y c o n t r o l l e d i n s t i t u t i o n s e n j o y e d a t h r e e t o o n e a d v a n t a g e o v e r p u b l i c l y c o n t r o l l e d i n s t i t u t i o n s i n t h e t o p - t e n r a n k i n g . B y 1 9 8 2 , h o w e V e r , t h e p a t t e r n h a d a l m o s t t o t a l l y r e v e r s e d , w i t h t h e p u b l i c l y c o n t r o l l e d d o c t o r a l i n s t i t u t i o n s e n j o y i n g a t w o t o o n e a d v a n t a g e o v e r t h e p r i v a t e l y c o n t r o l l e d d o c t o r a l i n s t i t i u t i o n s . T h e r e h a s b e e n m o r e s t a b i l i t y i n r a n k i n t h e t o p - t w e n t y r a n k i n g l i s t . P u b l i c l y c o n t r o l l e d d o c t o r a l 3 0 7 i n s t i t u t i o n s h a v e b e e n i n t h e m a j o r i t y d u r i n g t h e e n t i r e f i f t y - s e v e n y e a r s , b u t t h e a d v a n t a g e h a s v a r i e d f r o m 2 5 % i n 1 9 2 5 , t o 1 1 % i n 1 9 5 9 , t o 3 8 % i n 1 9 8 2 . T h e b i g i n c r e a s e ( 3 8 % f r o m 1 9 5 9 t o 1 9 8 2 ) a g a i n c o i n c i d e s w i t h t h e “ g o l d e n a g e " o f h i g h e r e d u c a t i o n . L o o k i n g a t i t a n o t h e r w a y , h o w e v e r , s i x ( 6 % ) o f t h e o n e h u n d r e d a n d n i n e p u b l i c l y c o n t r o l l e d d o c t o r a l i n s t i t u t i o n s v e r s u s t h r e e ( 5 % ) o f t h e s i x t y - t w o p r i v a t e l y c o n t r o l l e d d o c t o r a l i n s t i t u t i o n s w e r e r a t e d i n t h e t o p - t e n i n 1 9 8 2 . L i k e w i s e , i n 1 9 8 2 , e l e v e n ( 1 0 % ) o f p u b l i c l y c o n t r o l l e d v e r s u s e i g h t ( 1 3 % ) o f p r i v a t e l y c o n t r o l l e d d o c t o r a l i n s t i t u t i o n s w e r e r a n k e d i n t h e t o p - t w e n t y . T h u s , t h e a d v a n t a g e o f p u b l i c l y c o n t r o l l e d d o c t o r a l i n s t i t u t i o n s r e l a t i v e t o t h a t o f p r i v a t e l y c o n t r o l l e d d o c t o r a l i n s t i t u t i o n s i s s o m e w h a t d i m i n i s h e d i f o n e l o o k s a t t h e e n t i r e p o p u l a t i o n . I n s u m m a r y , p u b l i c l y c o n t r o l l e d d o c t o r a l i n s t i t u t i o n s o v e r a l l h a v e s h o w e d g a i n s i n f a c u l t y q u a l i t y r a n k i n g a t t h e e x p e n s e o f p r i v a t e l y c o n t r o l l e d d o c t o r a l i n s t i t u t i o n s d u r i n g t h e f i f t y - s e v e n y e a r p e r i o d f r o m 1 9 2 5 t o 1 9 8 2 , p a r t i c u l a r l y a m o n g t h e t o p - t e n i n s t i t u t i o n s . T h i s , h o w e v e r , d o e s n o t m e a n , a s h a s b e e n p o i n t e d o u t b y s e v e r a l o t h e r r e s e a r c h e r s , t h a t p r i v a t e l y c o n t r o l l e d d o c t o r a l i n s t i t u t i o n s h a v e d e c l i n e d , b u t s i m p l y t h a t p u b l i c l y c o n t r o l l e d d o c t o r a l i n s t i t u t i o n s h a v e g o t t e n b e t t e r . F u r t h e r , i n t e r m s o f 3 0 8 p e r i o d o f g a i n , p u b l i c i n s t i t u t i o n s g a i n e d c o n s i s t e n t l y o v e r t h e e n t i r e f i f t y - s e v e n y e a r p e r i o d , b u t g a i n s w e r e a c c e l e r a t e d s o m e w h a t d u r i n g t h e 1 9 5 7 - 1 9 8 2 p e r i o d . T h u s 1 t h e g p l d e n a g e o f h i g h e r e d u c a t i o n w a s e s p e c i a l l y g o l d e n f o r A m e r i c a n p u b l i c e d u c a t i o n . M i c h i g a n A s i n d i c a t e d a b o v e , t h e U n i v e r s i t y o f M i c h i g a n - A n n A r b o r , i s o n e o f s i x d o c t o r a l i n s t i t u t i o n s i n t h e n a t i o n w h o s e f a c u l t y h a v e c o n s i s t e n t l y b e e n r a n k e d a m o n g t h e t o p - t e n i n q u a l i t y ( e i g h t h , f i f t h , a n d n i n t h r e s p e c t i v e l y ) d u r i n g t h e f i f t y - s e v e n y e a r s b e t w e e n 1 9 2 5 a n d 1 9 8 2 . H o w e v e r , i t s h o u l d a l s o b e n o t e d t h a t t h e U n i v e r s i t y o f M i c h i g a n a l s o : 1 ) s h o w e d a s i g n i f i c a n t d e c l i n e d u r i n g t h e 1 9 5 9 - 1 9 8 2 p e r i o d ( f o u r r a n k s ) a n d 2 ) w a s t h e o n l y i n s t i t u t i o n o f t h e t o p s i x w h i c h s h o w e d a s i g p i f i c a n t d e c l i n e d u r i m g t h a t p e r i o d ( t h e o n l y o t h e r i n s t i t u t i o n i n t h e t o p s i x w h i c h s h o w e d a d e c l i n e w a s C o r n e l l , w h i c h d e c l i n e d o n e r a n k ) . I t s h o u l d a l s o b e n o t e d t h a t W e b s t e r , u s i n g h i s s o m e w h a t q u e s t i o n a b l e r a n k i n g t e c h n i q u e , s h o w e d M i c h i g a n S t a t e U n i v e r s i t y r a n k i n g t w e n t y - f o u r t h i n 1 9 7 0 ( t h e R o o s e - A n d e r s e n S t u d y ) a n d t h e V i n s o n h a l e r 1 9 8 2 A R C a n a l y s i s s h o w s M i c h i g a n S t a t e U n i v e r s i t y r a n k i n g t w e n t y - n i n t h . T h u s , i t w o u l d a p p e a r t h a t b o t h m a j o r p u b l i c d o c t o r a l i n s t i t u t i o n s i n M i c h i g a n s h o w t h e s a m e 3 0 9 p a t t e r n , t h a t i s , d e c l i n i n g d u r i n g t h e " g g l d e n a g e o f h i g h e r e d u c a t i o n , " w h i c h r u n s c o u n t e r t o t h e e x p e c t e d t r e n d . T h i s r a i s e s s e r i o u s a l l o c a t i o n a n d p r o g r a m q u e s t i o n s f o r M i c h i g a n p o l i c y a n d d e c i s i o n m a k e r s . F o r e x a m p l e , s h o u l d M i c h i g a n m a i n t a i n a n d e v e n i m p r o v e t h e a l r e a d y e x i s t i g g h i g h - q u a l i t y d o c t o r a l i n s t i t u t i o n s , p o s s i b l y a t t h e e x p e n s e o f o t h e r p o t e n t i a l l y h i g h . q u a l i t y i n s t i t u t i o n s o r s h o u l d o t h e r w a y s b e f o u n d t o e n s u r e q u a l i t y p r o g r a m s i n a l l o f M i c h i g a n ' s h i g h e r e d u c a t i o n i n s t i t u t i o n s , p e r h a p s , b y l i m i t i n g t h e n u m b e r o f p r o g r a m s a t t h e v a r i o u s i n s t i t u t i o n s ? D i s c r e p a n c i e s B e t w e e n t h e W e b s t e r ( 1 9 8 3 ) a n d V i n s o n h a l e r F a c u l t y Q u a l i t y R a n k i n g ! T a b l e 4 0 b e l o w s h o w s t h e f a c u l t y q u a l i t y r a n k i n g s f o r 1 9 2 5 a n d 1 9 8 2 , a s d e t e r m i n e d b y b o t h t h e W e b s t e r a n d V i n s o n h a l e r m e t h o d s ( K e n i s t o n ' s 1 9 5 9 r a n k i n g s w e r e n o t i n c l u d e d s i n c e b o t h r e s e a r c h e r s u s e d t h e s a m e m e t h o d ) . 3 1 0 T a b l e 4 0 . C o m p a r i s o n o f W e b s t e r a n d V i n s o n h a l e r F a c u l t y Q u a l i t y R a n k i n g s , 1 9 2 5 a n d 1 9 8 2 W e b s t e r V i n s o n h a l e r D o c t o r a l I n s t i t u t i o n 1 9 2 5 1 9 8 2 1 9 2 5 1 9 8 2 C h i c a g o 1 7 1 5 H a r v a r d 2 3 2 1 4 C o l u m b i a 3 1 1 3 1 3 W i s c o n s i n 5 8 4 3 Y a l e 4 3 ' 5 4 P r i n c e t o n 6 6 6 1 1 J o h n s H o p k i n s 7 3 0 7 2 4 M i c h i g a n 8 8 8 9 C a l i f o r n i a - B e r k e l e y 9 1 9 1 C o r n e l l 1 0 1 1 1 0 1 0 I l l i n o i s 1 1 1 3 1 1 7 P e n n s y l v a n i a 1 2 1 4 1 2 1 5 M i n n e s o t a 1 3 1 6 1 3 8 S t a n f o r d 1 4 2 1 4 2 O h i o S t a t e 1 5 1 5 1 6 I o w a 1 6 1 6 3 2 B r y n M a w r 1 7 9 3 C a l T e c h 1 8 1 5 6 0 M I T 1 9 5 2 5 N o r t h w e s t e r n 2 0 2 3 1 7 1 9 N o r t h C a r o l i n a 2 0 1 8 1 8 I n d i a n a 2 4 2 1 1 9 2 1 C a l i f o r n i a - L o s A n g e l e s 8 6 N e w Y o r k U 2 1 4 0 W a s h i n g t o n 1 9 1 2 T e x a s a t A u s t i n 1 6 1 7 P i t t s b u r g 2 3 2 0 A s c a n b e s e e n f r o m T a b l e 4 0 , t h e t w o m e t h o d s y i e l d e d s u b s t a n t i a l l y d i f f e r e n t r e s u l t s f o r s o m e i n s t i t u t i o n s . T h e m o s t n o t a b l e d i f f e r e n c e s a r e t h e f o l l o w i n g : 1 ) C a l T e c h , M I T , N e w Y o r k U , H a r v a r d , a n d P r i n c e t o n , i n w h i c h t h e W e b s t e r m e t h o d i s s u b t a n t i a l l y 3 1 1 m o r e f a v o r a b l e ( f i v e t o f o r t y - f i v e r a n k s h i g h e r ) , a n d 2 ) M i n n e s o t a , W a s h i n g t o n , J o h n s H o p k i n s , C o l u m b i a } a n d N o r t h w e s t e r n i n w h i c h t h e V i n s o n h a l e r m e t h o d i s s o m e w h a t m o r e f a v o r a b l e ( f o u r t o e i g h t r a n k s h i g h e r ) . S u m m a r y I n s u m m a r y , t h e m e t a - a n a l y s i s o f f i f t y - s e v e n y e a r s o f c h a n g e i n f a c u l t y q u a l i t y r a n k i n g s o f A m e r i c a n d o c t o r a l i n s t i t u t i o n s d e s c r i b e d a b o v e y i e l d e d s o m e i n t e r e s t i n g r e s u l t s . F i r s t , i t c o n f i r m e d t h e r e s u l t s o b t a i n e d b y o t h e r r e s e a r c h e r s w h o f o u n d r e l a t i v e l y l i t t l e c h a n g e i n t h e t o p - r a n k e d A m e r i c a n d o c t o r a l i n s t i t u t i o n s o v e r t i m e . S e c o n d , i t a l s o f u r t h e r d e m o n s t r a t e d t h a t c h a n g e ( b o t h u p a n d d o w n ) i n f a c u l t y q u a l i t y r a n k i n g s d o e s o c c u r . T h i r d , i t d e m o n s t r a t e d t h a t A m e r i c a ' s p u b l i c l y c o n t r o l l e d d o c t o r a l i n s t i t u t i o n s h a v e g r e a t l y b e n e f i t t e d f r o m t h e p u b l i c t r u s t a n d p u b l i c m o n i e s b e s t o w e d u p o n t h e m , p a r t i c u l a r l y d u r i n g t h e " g o l d e n a g e " o f A m e r i c a n h i g h e r e d u c a t i o n . F i n a l l y , i t d e m o n s t r a t e d t h a t s o m e m e t a - a n a l y t i c m e t h o d s ( f o r e x a m p l e , t h o s e o f W e b s t e r ) , a s w e l l a s s o m e p o p u l a r c o n c e p t i o n s o f h i g h - q u a l i t y d o c t o r a l i n s t i t u t i o n s m a y b e u n w a r r a n t e d ( f o r e x a m p l e , H a r v a r d ) . ( A g . . . M C H A P T E R V S U M M A R Y , C O N C L U S I O N S , A N D R E C O M M E N D A T I O N S F O R F U R T H E R R E S E A R C H I N T R O D U C T I O N T h i s c h a p t e r w i l l p r e s e n t t h r e e m a j o r t o p i c s . F i r s t , a s u m m a r y i s g i v e n o f t h e r e s u l t s w i t h c o n c l u s i o n s a b o u t t h e m a j o r ( 8 5 9 8 5 9 “ . 9 8 4 8 9 5 1 2 3 5 3 m w q u e s t i o n s , a n d h y p o t h e s i s . S e c o n d , t h e p r a c t i c a l , p o l i c y , a n d t h e o r e t i c a l i m p l i c a t i o n s o f t h e s t u d y f o r h i g h e r e d u c a t i o n w i l l b e d i s c u s s e d . T h i r d , r e c o m m e n d a t i o n s f o r f u r t h e r r e s e a c h w i l l b e m a d e . S U M M A R Y A N D C O N C L U S I O N S I n t r o d u c t i o n A f t e r f i r s t l o o k i n g a t t h e s t u d y m e t h o d o l o g y , t h i s s e c t i o n w i l l b e p r e s e n t e d b y s u m m a r i z i n g t h e s t u d y r e s u l t s a n d c o n c l u s i o n s f o r e a c h o f t h e f i v e m a j o r o b j e c t i v e s a n d r e s e a r c h q u e s t i o n s a n d t h e h y p o t h e s i s p r e s e n t e d i n C h a p t e r I i n t h e s t a t e m e n t o f t h e p r o b l e m . 3 1 3 M e t h o d o l o g y T h e s t u d y m e t h o d o l o g y u s e d , w h i c h e m p l o y e d a C o m p u t e r — B a s e d I n f o r m a t i o n S y s t e m ( C B I S ) , s e c o n d a r y a n a l y s i s , e x t a n t d a t a , a n d i n d i c a t o r s , i n c o n j u n c t i o n w i t h t r a d i t i o n a l r e s e a r c h p r o c e d u r e s a n d s o p h i s t i c a t e d s t a t i s t i c a l t e c h n i q u e s , p r o v e d t o b e a h i g h l y e f f e c t i v e a n d i n e x p e n s i v e m e t h o d o l o g y f o r h i g h e r e d u c a t i o n q u a l i t y a s s e s s m e n t r e s e a r c h . A H i g h e r E d u c a t i o n C o m p u t e r - B a s e d I n f o r m a t i o n ( H E C B I S ) , c o n s i s t i n g o f a P e r s o n a l C o m p u t e r S y s t e m ( P C S ) a n d a D o c t o r a l I n s t i t u t i o n D a t a B a s e ( D I D B ) w a s d e v e l o p e d f o r u s e i n t h e p r e s e n t s t u d y , a s w e l l a s f o r u s e i n m a n y f u t u r e r e s e a r c h s t u d i e s . T h e s t u d y p o p u l a t i o n c o n s i s t e d o f t h e o n e h u n d r e d a n d s e v e n t y - o n e i n s t i t u t i o n s o f h i g h e r e d u c a t i o n i n t h e U n i t e d S t a t e s c l a s s i f i e d a s d o c t o r a l - l e v e l b y t h e N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s ( N C E S ) . T h r e e m a j o r t y p e s o f d a t a w h i c h c h a r a c t e r i z e t h e d o c t o r a l i n s t i t u t i o n p o p u l a t i o n w e r e i n c l u d e d i n t h e D I D B : 1 ) I d e n t i f i c a t i o n d a t a ( t w o d a t a v a r i a b l e s ) : t h e d o c t o r a l i n s t i t u t i o n n a m e ( I N S T ) a n d t h e F e d e r a l I n t e r a g e n c y C o m m i t t e e o n E d u c a t i o n ( F I C E ) c o d e w e r e u s e d s i m p l y t o i d e n t i f y t h e d o c t o r a l i n s t i t u t i o n s w i t h i n t h e p o p u l a t i o n . 2 ) C a t e g o r i c a l o r d e m o g r a p h i c g g t g _ ( n i n e d a t a v a r i a b l e s ) , i n c l u d i n g S T A T E , A F F I L , a n d S E X w e r e u s e d t o r e s t r u c t u r e t h e p o p u l a t i o n f o r 3 1 4 a n a l y t i c a l s t u d y p u r p o s e s . 3 ) Q u a n t i t a t i v e d a t a ( t h i r t y - e i g h t d a t a v a r i a b l e s ) c o n s i s t i n g o f t h i r t y - t h r e e d a t a m e a s u r e m e n t s , i n c l u d i n g s t u d e n t , d e g r e e , f a c u l t y , a n d f i n a n c i a l c h a r a c t e r i s t i c s o f d o c t o r a l i n s t i t u t i o n s a n d f i v e a c a d e m i c q u a l i t y r a t i n g s . T h e a c a d e m i c q u a l i t y r a t i n g s i n c l u d e d : a ) Q A R C F A C w h i c h i s a j u d g m e n t b y a p p r o x i m a t e l y 8 , 2 0 0 f a c u l t y f r o m 2 2 8 u n i v e r s i t i e s i n c l u d e d i n t h e 1 9 8 2 A s s o c i a t e d R e s e a r c h C o u n c i l s ( A R C ) S t u d y a s t o t h e s c h o l a r l y c o m p e t e n c e a n d a c h i e v e m e n t o f f a c u l t y b a s e d o n a s i x - p o i n t r a t i n g s c a l e ( D i s t i n g u i s h e d , S t r o n g , G o o d , A d e q u a t e , M a r g i n a l , a n d N o t S u f f i c i e n t f o r D o c t o r a l E d u c a t i o n ) ; b ) Q A R C P R G w h i c h i s a j u d g m e n t , a l s o f r o m t h e A R C S t u d y , a s t o t h e e f f e c t i v e n e s s o f d o c t o r a l p r o g r a m s i n e d u c a t i n g r e s e a r c h s c h o l a r s / s c i e n t i s t s b a s e d o n a f o u r - p o i n t s c a l e ( E x t r e m e l y E f f e c t i v e , R e a s o n a b l y E f f e c t i v e , M i n i m a l l y E f f e c t i v e , a n d N o t E f f e c t i v e ) ; c ) Q A R C N w h i c h i n d i c a t e s t h e t o t a l n u m b e r o f d i s c i p l i n a r y p r o g r a m s r a t e d i n e a c h i n s t i t u t i o n i n t h e A R C S t u d y ; d ) Q G R M N G w h i c h i s a 1 9 8 2 m u l t i d i m e n s i o n a l a s s e s s m e n t o f q u a l i t y i n g r a d u a t e i n s t i t u i o n s b a s e d o n a s e v e n - p o i n t s c a l e ( V e r y S t r o n g , S t r o n g , G o o d , A c c e p t a b l e P l u s , A d e q u a t e , M a r g i n a l , a n d N e e d s t o I m p r o v e ) b y J a c k G o u r m a n ; a n d e ) Q G R M N U G w h i c h i s a 1 9 8 2 m u l t i d i m e n s i o n a l a s s e s s m e n t o f q u a l i t y i n u n d e r g r a d u a t e i n s t i t u t i o n s b a s e d o n a f i v e - p o i n t s c a l e 3 1 5 ( S t r o n g , G o o d , A c c e p t a b l e P l u s , A d e q u a t e , a n d M a r g i n a l ) , a l s o b y J a c k G o u r m a n . T h e s t u d y d e m o n s t r a t e d t h a t i t i s p o s s i b l e f o r a s i n g l e k n o w l e d g e a b l e r e s e a r c h e r , u s i n g s u c h a m e t h o d o l o g y , t o d o a m a s s i v e m e t a - a n a l y t i c a l r e s e a r c h s t u d y , b o t h e f f i c i e n t l y a n d c o s t - e f f e c t i v e l y , w i t h i n a r e a s o n a b l e p e r i o d o f t i m e . T h e s t u d y f u r t h e r d e m o n s t r a t e d t h e u s e f u l l n e s s o f t h e m e t h o d o l o g y f o r p o l i c y a n a l y s i s a n d d e c i s i o n m a k i n g . S t u d y R e s u l t s - — T h e D e s c r i p t i v e A n a l y s e s O b j e c t i v e 1 : T o d e s c r i b e t h e p o p u l a t i o n o f o n e h u n d r e d a n d s e v e n t y - o n e A m e r i c a n d o c t o r a l i n s t i t u t i o n s , u s i n g a c o m p r e h e n s i v e s e t o f f o r t y - n i n e o b s e r v a b l e v a r i a b l e s . R 1 . W h a t c h a r a c t e r i z e s t h e p o p u l a t i o n o f o n e h u n d r e d a n d s e v e n t y - o n e A m e r i c a n d o c t o r a l i n s t i t u t i o n s ? C a t e g o r i c a l V a r i a b l e s I n t e r m s o f t h e c a t e g o r i c a l v a r i a b l e s , A m e r i c a n d o c t o r a l i n s t i t u t i o n s a r e u n e v e n l y d i s t r i b u t e d g e o g r a p h i c a l l y . T h e y a r e l o c a t e d i n f o r t y - s e v e n o f t h e f i f t y s t a t e s a n d i n t h e D i s t r i c t o f C o l u m b i a . S e v e n t y - s e v e n ( 4 5 % ) o f a l l d o c t o r a l i n s t i t u t i o n s a r e l o c a t e d i n o n l y s e v e n ( 1 4 % ) s t a t e s : C a l i f o r n i a , I l l i n o i s , M a s s a c h u s e t t s , N e w Y o r k , O h i o , P e n n y s l v a n i a , a n d T e x a s . R e g i o n a l l y , e i g h t y - t w o ( 4 8 % ) d o c t o r a l i n s t i t u t i o n s a r e l o c a t e d i n t h e e a s t e r n p a r t o f t h e 3 1 6 U n i t e d S t a t e s , w i t h t h e r e m a i n i n g 9 9 ( 5 2 % ) a p p r o x i m a t e l y e v e n l y d i s t r i b u t e d i n t h e m i d - w e s t a n d w e s t . T h e t y p i c a l d o c t o r a l i n s t i t u t i o n i s a p u b l i c l y c o n t r o l l e d , s i n g l e c a m p u s , s e m e s t e r - b a s e d , n o n — l a n d g r a n t , n o n - A A U , c o e d u c a t i o n a l , a n d p r e d o m i n a n t l y w h i t e o r g a n i z a t i o n . Q u a n t i t a t i v e V a r i a b l e s S u m m a r y S t a t i s t i c s - - I n t e r m s o f t h e q u a n t i t a t i v e v a r i a b l e s , t h e t y p i c a l d o c t o r a l i n s t i t u t i o n i n 1 9 8 1 - 1 9 8 2 : 1 ) W a s 1 1 2 y e a r s o l d . 2 ) E n r o l l e d 1 6 , 4 0 0 t o t a l s t u d e n t s ( 1 4 , 3 0 0 o r 8 7 % f u l l - t i m e - e q u i v a l e n t s t u d e n t s ) , o f w h i c h a p p r o x i m a t e l y 1 2 , 4 0 0 w e r e u n d e r g r a d u a t e s ( 7 6 % ) a n d 4 , 0 0 0 ( 2 4 % ) w e r e g r a d u a t e s ( s l i g h t l y m o r e t h a n h a l f o f w h o m w e r e f u l l - t i m e ) . 3 ) G r a n t e d 3 , 1 0 0 d e g r e e s , o f w h i c h a b o u t 8 0 0 ( 2 5 % ) w e r e m a s t e r ' s , 1 5 0 ( 5 % ) w e r e f i r s t p r o f e s s i o n a l , a n d 1 2 0 ( 4 % ) w e r e d o c t o r ' s d e g r e e s . 4 ) E m p l o y e d 7 0 0 f u l l - t i m e i n s t r u c t i o n a l f a c u l t y , o f w h i c h a b o u t 5 0 0 ( 6 6 % ) w e r e t e n u r e d ( 2 5 0 o r 5 3 % P r o f e s s o r s , 1 6 0 o r 3 4 % A s s o c i a t e P r o f e s s o r s , a n d 2 0 o r 4 % A s s i s t a n t P r o f e s s o r s ) . 5 ) G r a n t e d c o m p e n s a t i o n ( s a l a r y a n d b e n e f i t s ) o f a p p r o x i m a t e l y $ 4 3 , 0 0 0 t o P r o f e s s o r s , $ 3 2 , 0 0 0 t o A s s o c i a t e P r o f e s s o r s , a n d $ 2 6 , 0 0 0 t o A s s i s t a n t P r o f e s s o r s . 6 ) M a n a g e d a n e n d o w m e n t o f $ 1 7 . 5 m i l l i o n , b u i l d i n g a s s e t s o f $ 1 3 4 m i l l i o n , e q u i p m e n t a s s e t s o f $ 4 8 m i l l i o n , a n d a l i b r a r y o f 1 . 3 m i l l i o n v o l u m e s a n d 1 2 , 0 0 0 p e r i o d i c a l s . 3 1 7 7 ) R e c e i v e d $ 1 5 2 m i l l i o n i n t o t a l r e v e n u e ( $ 2 0 m i l l i o n f r o m g o v e r n m e n t g r a n t s a n d c o n t r a c t s ; $ 6 m i l l i o n f r o m p r i v a t e g i f t s , g r a n t s , a n d c o n t r a c t s ; $ 2 7 m i l l i o n f r o m t u i t i o n a n d f e e s ; a n d $ 4 2 m i l l i o n f r o m a p p r o p r i a t i o n s ) . 8 ) S p e n t $ 4 5 m i l l i o n f o r i n s t r u c t i o n , $ 1 0 - m i l l i o n f o r a c a d e m i c s u p p o r t , $ 1 1 m i l l i o n f o r p l a n t m a i n t e n a n c e , $ 1 8 m i l l i o n f o r r e s e a r c h , $ 4 . 5 m i l l i o n f o r s t u d e n t s e r v i c e s , a n d $ 5 m i l l i o n f o r s c h o l a r s h i p s a n d f e l l o w s h i p s . 9 ) H a d 1 4 g r a d u a t e p r o g r a m s r a t e d b y t h e A s s o c i a t e d R e s e a r c h C o u n c i l s ( A R C ) a t 3 , 2 0 0 q u a l i t y p o i n t s f o r f a c u l t y a n d 2 , 1 0 0 q u a l i t y p o i n t s f o r p r o g r a m s a n d G o u r m a n i n s t i t u t i o n a l q u a l i t y r a t i n g s o f 3 . 6 6 f o r g r a d u a t e a n d 4 . 0 3 f o r u n d e r g r a d u a t e e d u c a t i o n . H o w e v e r , a s w a s n o t e d i n C h a p t e r I V , t h e s e a v e r a g e s , w h i c h a r e b a s e d o n t h e m e d i a n , d o n o t g i v e a n a c c u r a t e p i c t u r e o f t h e p o p u l a t i o n , s i n c e t h e s t a n d a r d d e v i a t i o n s a n d r a n g e s a r e v e r y l a r g e a s w a s d e m o n s t r a t e d b y t h e s u m m a r y s t a t i s t i c s . R a n k i n g s - - I n t e r m s o f r a n k i n g s , n o c l e a r p i c t u r e e m e r g e d f r o m t h e f u l l s e t o f r a n k o r d e r e d l i s t i n g s . T h a t i s , t h e s a m e d o c t o r a l i n s t i t u t i o n s w e r e n o t r a n k e d s i m i l a r l y o n a l l t h i r t y - e i g h t o f t h e q u a n t i t a t i v e v a r i a b l e s . S o m e e x c e p t i o n s t o t h i s w e r e t h e r a n k i n g s b a s e d o n t h e f o l l o w i n g v a r i a b l e s : f u l l - t i m e g r a d u a t e s t u d e n t h e a d c o u n t ( S G H D C T F T ) , d o c t o r ' s d e g r e e s g r a n t e d ( D E G S D O C ) , t o t a l a c a d e m i c y e a r i n s t r u c t i o n a l a n d t e n u r e d f a c u l t y h e a d c o u n t s ( F A C T O T a n d F A C T E N ) , l i b r a r y 3 1 8 v o l u m e s ( A L V O L S ) a n d l i b r a r y s u b s c r i p t i o n s ( A L S U B S ) , t o t a l r e v e n u e ( R T O T ) , e x p e n d i t u r e s o n i n s t r u c t i o n ( E I N S T R ) , a n d f a c u l t y q u a l i t y ( Q A R C F A C ) o n w h i c h m a n y o f t h e d o c t o r a l i n s t i t u t i o n s w e r e r a n k e d s i m i l a r l y . T h i s w a s e v i d e n c e d b y t h e h i g h i n t e r - c o r r e l a t i o n s o f t h e s e v a r i a b l e s . I n s h o r t , a l t h o u g h t h e r a n k i n g s s h o w e d m a n y s i m i l a r i t i e s a m o n g t h e d o c t o r a l i n s t i t u t i o n s , t h e y a l s o s h o w e d t h a t d o c t o r a l i n s t i t u t i o n s a r e a l s o h i g h l y d i v e r s e a s a g r o u p . T o e x a m i n e t h e t y p e s o f d e c i s i o n s w h i c h c a n b e s u p p o r t e d b y t h e r a n k i n g s o n v a r i a b l e s , l e t u s l o o k a t t h r e e e x a m p l e p r o b l e m s i n w h i c h a q u e s t i o n i s a s k e d , a s o l u t i o n i s a t t e m p t e d u s i n g t h e r a n k i n g l i s t s , a n d a c o m m e n t i s m a d e r e g a r d i n g t h e a d e q u a c y o f t h e fl a n k i n g l i s t i n a n s w e r i n g t h e q u e s t i o n . P R O B L E M 1 . H o w d o e s M S U r a n k i n r e l a t i o n t o o t h e r d o c t o r a l i n s t i t u t i o n s o n t h e n u m b e r o f P r o f e s s o r s a n d o n t h e i r q u a l i t y ? A n s w e r . M S U r a n k s s e c o n d a m o n g d o c t o r a l i n s t i t u t i o n s o n t h e n u m b e r o f t e n u r e d P r o f e s s o r s ( F T E N P R F ) a n d t w e n t y - n i n t h o n t h e i r q u a l i t y ( Q A R C F A C ) . C o m m e n t . T h i s t y p e o f q u e s t i o n i s e a s i l y a n s w e r e d . P R O B L E M 2 . H o w a d e q u a t e i s t h e p a y o f M S U P r o f e s s o r s i n c o m p a r i s o n t o t h a t o f P r o f e s s o r s a t o t h e r d o c t o r a l i n s t i t u t i o n s ? 3 1 9 A n s w e r . M S U r a n k s s e v e n t y - s e c o n d t h a m o n g d o c t o r a l i n s t i t u t i o n s o n t h e c o m p e n s a t i o n o f P r o f e s s o r s . A s t o c o m p e n s a t i o n a d e q u a c y , o n e a n s w e r m i g h t b e , " M S U P r o f e s s o r s e a r n o n l y a b o u t $ 4 0 0 l e s s t h a n P r o f e s s o r s a t I n d i a n a U n i v e r s i t y B l o o m i n g t o n , a s i m i l a r s c h o o l i n t h e " B i g T e n . " A n o t h e r a n s w e r m i g h t b e , “ M S U P r o f e s s o r s e a r n o v e r $ 5 , 7 0 0 l e s s p e r y e a r t h a n P r o f e s s o r s a t N o r t h w e s t e r n U n i v e r s i t y , a s i m i l a r s c h o o l i n t h e " B i g T e n . " C o m m e n t . C o m p a r a t i v e r a n k i n g s h a v e n o b a s e l i n e f o r c o m p a r i s o n . P R O B L E M 3 . I n g e n e r a l , h o w d o e s M S U " s t a c k u p " a g a i n s t o t h e r d o c t o r a l i n s t i t u t i o n s ? A n s w e r . O n e a n s w e r m i g h t b e , " M S U r a n k s f i r s t i n t o t a l d e g r e e s g r a n t e d a n d i n t h e n u m b e r o f t e n u r e d p r o f e s s o r s a n d s i x t h i n b u i l d i n g a s s e t s . ” A s e c o n d a n s w e r m i g h t b e , “ M S U r a n k s t w e n t y - n i n t h i n f a c u l t y q u a l i t y , s e v e n t y - s e c o n d t h i n f a c u l t y c o m p e n s a t i o n , a n d e i g h t y - n i n t h i n e n d o w m e n t s . " C o m m e n t . I n a n o p e n - e n d e d q u e s t i o n , t h e r e i s n o s e t o f c o m m o n v a r i a b l e s o n w h i c h t o b a s e t h e a n a l y s i s . I n s u m m a r y , f o r d e c i s i o n p r o b l e m s i n v o l v i n g o n l y s i n g l e v a r i a b l e s s e l e c t e d b y t h e p r o b l e m s o l v e r , t h e r a n k i n g l i s t s e e m s a d e q u a t e a s l o n g a s n o a t t e m p t i s m a d e t o e v a l u a t e t h e l i s t i n g a g a i n s t c o m p a r i s o n u n i v e r s i t i e s o r g r o u p s o f u n i v e r s i t i e s . F o r d e c i s i o n p r o b l e m s i n v o l v i n g r e l a t i v e r a n k i n g , i n c l u d i n g u n d e r s t a n d i n g o f t h e r e l a t i v e i m p o r t a n c e o f a s i n g l e u n i v a r i a t e r a n k , r a n k i n g s d o n o t p r o v i d e a f i x e d a n s w e r . R e s u l t s d e p e n d o n t h e p a r t i c u l a r c o m p a r i s o n m a d e . F u r t h e r , t h e l a r g e r t h e n u m b e r o f v a r i a b l e s t o b e t a k e n i n t o a c c o u n t , t h e m o r e d i f f i c u l t t h e p r o b l e m . S t u d y R e s u l t s - - R e d u c t i o n o f t h e D a t a B a s e O b j e c t i v e 2 : T o r e d u c e t h e n u m b e r o f t h i r t y - e i g h t o b s e r v a b l e q u a n t i t a t i v e v a r i a b l e s u s e d t o d e s c r i b e t h e p o p u l a t i o n o f d o c t o r a l i n s t i t u t i o n s t o a s m a l l e r s e t o f e i g h t " k e y v a r i a b l e s . " R 2 . C a n t h e l a r g e s e t o f t h i r t y - e i g h t q u a n t i t a t i v e v a r i a b l e s u s e d t o d e s c r i b e d o c t o r a l i n s t i t u t i o n s b e r e p l a c e d w i t h a s m a l l e r s e t o f e i g h t k e y v a r i a b l e s w i t h o u t a m a j o r l o s s o f i n f o r m a t i o n ? T h e t h i r t y - e i g h t q u a n t i t a t i v e v a r i a b l e s w e r e o r g a n i z e d o n a n a p r i o r i b a s i s i n t o e i g h t c l u s t e r s o r d o m a i n s a n d t e s t e d f o r s i m i l a r i t y t h r o u g h c o r r e l a t i o n a n d f a c t o r a n a l y s i s . R e s u l t s f o r a l l d o m a i n s i n d i c a t e d h i g h w i t h i n d o m a i n s i m i l a r i t y a n d o n l y o n e f a c t o r p e r d o m a i n . T h u s , i n a l l o f t h e e i g h t d o m a i n s , o n e c o m m o n f a c t o r w a s s u f f i c i e n t t o e x h a u s t a l m o s t 1 0 0 % o f t h e c o m m o n a l i t y — - i n d i c a t i n g t h a t a l l o f t h e v a r i a b l e s c o u l d b e r e p l a c e d w i t h o n e o f t h e v a r i a b l e s l o a d e d v e r y h i g h l y o n t h e f a c t o r ( t h a t i s , c o r r e l a t i o n w i t h t h e f a c t o r ) o r b y a s i n g l e l a t e n t f a c t o r . O f c o u r s e , t h i s d o e s n o t p r e c l u d e t h e f a c t t h a t o t h e r s p e c i f i c f a c t o r s m a y a l s o u n d e r l i e t h e v a r i a b l e s , a s w e l l , a n d t h a t t h i s s p e c i f i c i t y i s i n d e e d l o s t . H o w e v e r , t h e i n t e n t o f t h e p r e s e n t s t u d y w a s t o d e t e r m i n e t h e s h a r e d a t t r i b u t e s o f t h e t h i r t y - e i g h t q u a n t i t a t i v e v a r i a b l e s f r o m t h e o n e h u n d r e d a n d s e v e n t y - o n e d o c t o r a l i n s t i t u t i o n s d e f i n i n g t h e p o p u l a t i o n , n o t t o d e t e r m i n e a t t r i b u t e s u n i q u e t o e a c h v a r i a b l e . S t u d y R e s u l t s - - P r e d i c t i n g A c a d e m i c Q u a l i t y w i t h K e y V a r i a b l e s O b j e c t i v e 3 : T o d e t e r m i n e t h e d e g r e e t o w h i c h t h e k e y a c a d e m i c q u a l i t y v a r i a b l e c a n b e p r e d i c t e d f r o m t h e o t h e r s e v e n k e y q u a n t i t a t i v e v a r i a b l e s . ' R 3 . C a n t h e k e y q u a l i t y v a r i a b l e b e p r e d i c t e d w i t h o u t l o s s f r o m t h e o t h e r s e v e n k e y v a r i a b l e s ? T w o d i f f e r e n t s e t s o f e i g h t k e y v a r i a b l e s o r i n d i c a t o r s w e r e a n a l y z e d i n r e g r e s s i o n a n a l y s e s i n o r d e r t o d e t e r m i n e t h e p r e d i c t a b i l i t y o f a c a d e m i c q u a l i t y . T h e f i r s t s e t o f k e y v a r i a b l e s w a s s e l e c t e d o n t h e b a s i s o f h i g h f a c t o r l o a d i n g a l o n e . T h e s e c o n d s e t w a s b a s e d o n d u a l c r i t e r i a , h i g h f a c t o r l o a d i n g a n d h i g h i n t e r - c o r r e l a t i o n o f t h e d o m a i n v a r i a b l e s w i t h t h e f a c u l t y q u a l i t y v a r i a b l e , Q A R C F A C . R e s u l t s i n d i c a t e d t h a t f a c u l t y q u a l i t y ( t h e d e p e n d e n t v a r i a b l e ) c o u l d b e p r e d i c t e d w i t h 7 9 % a c c u r a c y , u s i n g t h e f i r s t s e t o f k e y v a r i a b l e s a n d w i t h 8 3 % a c c u r a c y , u s i n g t h e s e c o n d s e t . T h u s , t h e s e c o n d s e t o f e i g h t k e y v a r i a b l e s ( t h a t i s , 3 2 2 S G H D C T F T , D E G S D O C , F T E N P R F , C O M P P R F A , A L V O L S , R T O T , E I N S T R , a n d Q A R C F A C ) w a s u s e d i n a l l s u b s e q u e n t a n a l y s e s . S t u d y R e s u l t s - - G r a p h i c D i s p l a y s o f t h e D a t a B a s e O b j e c t i v e 4 : T o g e n e r a t e g r a p h i c d i s p l a y s o r " p r o f i l e s " o f d o c t o r a l i n s t i t u t i o n s a n d g r o u p s o f d o c t o r a l i n s t i t u t i o n s b a s e d u p o n t h e e i g h t k e y v a r i a b l e s . R 4 . N h a t f i n d i n g s c a n b e o b t a i n e d w i t h p r o f i l e , r a t h e r t h a n r a n k i n g , r e p o r t s ? G r a p h i c d i s p l a y s o f t h e D o c t o r a l I n s t i t u t i o n D a t a B a s e ( D I D B ) i n t h e f o r m o f " s t a n d a r d i z e d p r o f i l e s “ w e r e u s e d f o r a n a l y s i s a n d r e p o r t i n g . A c o m p l e t e a n a l y s i s o f t h e p o t e n t i a l f o r p r o f i l e s a n d i m p l i c a t i o n s f o r h i g h e r e d u c a t i o n p o l i c y w e r e b e y o n d t h e l i m i t s o f t h e p r e s e n t s t u d y . H o w e v e r , i t w a s p o s s i b l e t o d e t e r m i n e a n d d e m o n s t r a t e s o m e o f t h e t y p e s o f p r o b l e m s i n h i g h e r e d u c a t i o n f o r w h i c h p r o f i l e s a r e e s p e c i a l l y u s e f u l . I n t h i s r e g a r d , h o w e v e r , i t s h o u l d b e r e m e m b e r e d t h a t m u l t i v a r i a t e q u a l i t y i s d e f i n e d a s a s e t o f v a r i a b l e s o r c h a r a c t e r i s i t c s w h i c h a i d s i n d e c i s i o n m a k i n g a b o u t a c a d e m i c q u a l i t y i n d o c t o r a l i n s t i t u t i o n s . T h e m o s t s i g n i f i c a n t r e s u l t s f r o m t h e s a m p l e p r o f i l e s p r e s e n t e d w e r e : 1 ) t h e h i g h e r q u a l i t y r a t i n g o f f a c u l t y i n l a n d g r a n t v e r s u s n o n - l a n d g r a n t d o c t o r a l i n s t i t u t i o n s , 2 ) t h e s t r o n g r e g i o n a l d i f f e r e n c e s 3 2 3 d i s p l a y e d i n t h e G r e a t L a k e s a n d F a r W e s t p r o f i l e s , a n d 3 ) t h e a l m o s t m i r r o r - i m a g e p r o f i l e s o f p u b l i c l y a n d p r i v a t e l y c o n t r o l l e d d o c t o r a l i n s t i t u t i o n s . T h e s e r e s u l t s s t r o n g l y s u g g e s t m a j o r p o l i c y d i f f e r e n c e s i n t h e g o v e r n a n c e o f A m e r i c a n d o c t o r a l i n s t i t u t i o n s . T o f u r t h e r c o n s i d e r t h e r o l e o f p r o f i l e s i n i n s t i t u t i o n a l d e c i s i o n m a k i n g , l e t u s a g a i n c o n s i d e r t h e s a m e t h r e e p r o b l e m s p r e v i o u s l y a d d r e s s e d t o t h e r a n k i n g r e p o r t s , b u t u s e p r o f i l e s t o a n s w e r t h e q u e s t i o n s . P R O B L E M 1 . H o w d o e s M S U r a n k i n r e l a t i o n t o o t h e r d o c t o r a l i n s t i t u t i o n s o n t h e n u m b e r o f P r o f e s s o r s a n d o n t h e i r q u a l i t y ? A n s w e r . U s i n g t h e P r o f i l e i n F i g u r e 1 0 b e l o w t o a n s w e r t h e q u e s t i o n , w e c a n s a y t h a t i n r e l a t i o n t o t h e n a t i o n a l a v e r a g e ( t h e a v e r a g e s c o r e o f 5 0 ) , M S U r a n k s a b o u t f o u r s t a n d a r d d e v i a t i o n s a b o v e o n t h e n u m b e r o f t e n u r e d P r o f e s s o r s a n d a b o u t o n e s t a n d a r d d e v i a t i o n a b o v e o n t h e i r q u a l i t y . C o m m e n t . O n e g e t s q u i t e a d i f f e r e n t p e r s p e c t i v e o n t h e p r o b l e m u s i n g t h e p r o f i l e , r a t h e r t h a n t h e r a n k i n g s . 3 2 4 9 0 - 0 2 ” - 9 8 6 9 - 9 5 5 9 - 9 2 - ‘ M i c h i g a n S t a t e U I n . ” , ' U . s . 8 D . F C E R I I ' 0 F i g u r e 1 0 . P r o f i l e o f M i c h i g a n S t a t e U n i v e r s i t y a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 P R O B L E M 2 . H o w a d e q u a t e i s t h e p a y o f M S U P r o f e s s o r s i n c o m p a r i s o n t o t h a t o f P r o f e s s o r s a t o t h e r d o c t o r a l i n s t i t u t i o n s ? A n s w e r . A g a i n u s i n g F i g u r e 1 0 ( s e e a b o v e ) t o a n s w e r t h e q u e s t i o n , w e n o t e t h a t M S U r a n k s s l i g h t l y b e l o w t h e n a t i o n a l a v e r a g e o f d o c t o r a l i n s t i t u t i o n s o n c o m p e n s a t i o n o f P r o f e s s o r s . C o m m e n t . O n l y o n e a n s w e r i s p o s s i b l e h e r e , s i n c e t h e n a t i o n a l a v e r a g e i s a l w a y s u s e d a s t h e b a s e l i n e . P R O B L E M 3 . I n g e n e r a l , h o w d o e s M S U " s t a c k u p " a g a i n s t o t h e r d o c t o r a l i n s t i t u t i o n s ? A n s w e r 1 . O n c e a g a i n u s i n g F i g u r e 1 0 a b o v e , w e n o t e t h a t c o m p a r e d t o t h e 3 2 5 n a t i o n a l a v e r a g e d o c t o r a l i n s t i t u t i o n , M S U h a s m o r e f u l l - t i m e g r a d u a t e s t u d e n t s , g r a n t s f a r m o r e d o c t o r ' s d e g r e e s , a n d h a s s u b s t a n t i a l l y m o r e t e n u r e d P r o f e s s o r s , w h o a r e r a t e d s o m e w h a t h i g h e r i n q u a l i t y , b u t w h o a r e c o m p e n s a t e d a b o u t t h e s a m e a s t h e n a t i o n a l a v e r a g e . M S U a l s o h a s h i g h e r t o t a l r e v e n u e , s p e n d s f a r m o r e o n i n s t r u c t i o n , a n d h a s s l i g h t l y m o r e l i b r a r y v o l u m e s t h a n t h e n a t i o n a l a v e r a g e . C o m m e n t . M o r e t h a n o n e a n s w e r i s p o s s i b l e h e r e a s c a n b e s e e n f r o m A n s w e r 2 b a s e d o n F i g u r e 1 1 b e l o w . 9 0 - 0 2 7 9 - ' 1 7 6 8 - 9 3 - 5 8 - 3 8 ' - M y fl u s a n i n m t e t l M fl fl u g m n ‘ 1 7 - 8 ‘ ! F i g u r e 1 1 . P r o f i l e o f M i c h i g a n S t a t e U n i v e r s i t y a n d t h e S t a t e o f M i c h i g a n A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 A n s w e r 2 . C o m p a r e d t o t h e a v e r a g e M i c h i g a n d o c t o r a l i n s t i t u t i o n , M S U h a s a b o u t t h e s a m e n u m b e r o f f u l l - t i m e g r a d u a t e s t u d e n t s , g r a n t s 3 2 6 m o r e d o c t o r ' s d e g r e e s , h a s f a r m o r e t e n u r e d P r o f e s s o r s w h o a r e r a t e d s o m e w h a t h i g h e r i n q u a l i t y , b u t w h o a r e p a i d a b o u t t h e s a m e . M S U a l s o h a s s o m e w h a t h i g h e r r e v e n u e , b u t f e w e r l i b r a r y v o l u m e s t h a n t h e a v e r a g e M i c h i g a n d o c t o r a l i n s t i t u t i o n . C o m m e n t . A l t h o u g h w e c a n o b t a i n a m o r e p r e c i s e a n s w e r r e g a r d i n g t h e k e y c h a r a c t e r i s t i c s f r o m a p r o f i l e , i t i s s t i l l n e c e s s a r y t o b e s p e c i f i c a b o u t t h e p o p u l a t i o n o r g r o u p a b o u t w h i c h i n f e r e n c e s a r e t o b e m a d e . I n s u m m a r y , i t i s c l e a r t h a t a p r o f i l e a n a l y s i s d o e s u n c o v e r i m p o r t a n t f i n d i n g s w h i c h a r e m a s k e d b y r a n k i n g r e p o r t s . P r o f i l e s s e e m t o y i e l d t h e m o s t i m p r o v e m e n t w h e n : 1 ) a m u l t i v a r i a t e p r o b l e m i s p r e s e n t e d , t h a t i s , t h e p r o b l e m r e q u i r e s t h e a n a l y s i s o f m o r e t h a n a s i n g l e v a r i a b l e a n d 2 ) a c o m p a r i s o n b e t w e e n i n s t i t u t i o n s o r g r o u p s o f i n s t i t u t i o n s i s n e c e s s a r y . T o c o m p l e t e t h e d i s c u s s i o n , l e t u s , b r i e f l y , r e - e x a m i n e t h e p r o b l e m p o s e d i n t h e o r i g i n a l s t a t e m e n t o f t h e r e s e a r c h p r o b l e m ( s e e C h a p t e r 1 , p a g e s 5 - 6 ) . S u p p o s e a s t a t e , f o r e x a m p l e , A r i z o n a , i s t r y i n g t o d e t e r m i n e i t s a n n u a l f u n d a l l o c a t i o n f o r e a c h o f i t s t w o d o c t o r a l i n s t i t u t i o n s . H o w w o u l d a p r o f i l e h e l p ? T o b e g i n w i t h , s t a t e d e c i s i o n m a k e r s w o u l d n e e d t o g e n e r a t e a p r o f i l e c o m p a r i n g t h e t w o d o c t o r a l 3 2 7 i n s t i t u t i o n s o n t h e k e y q u a l i t y i n d i c a t o r s . S u c h a p r o f i l e i s s h o w n i n F i g u r e 1 2 b e l o w ) . 8 6 - 2 8 6 0 - 9 6 U o f A r i z o n a 5 5 - 6 5 r w " 5 0 . 3 4 . . _ _ " { ‘ 1 5 - 8 3 1 - A r i z o n a - S t a t e U 8 D F C E R 8 8 F i g u r e 1 2 . P r o f i l e o f A r i z o n a S t a t e U n i v e r s i t y a n d t h e U n i v e r s i t y o f A r i z o n a , 1 9 8 1 - 1 9 8 2 N e x t , d e c i s i o n m a k e r s w o u l d n e e d t o a n a l y z e t h e p r o f i l e , n o t i n g s u c h t h i n g s a s t h e f o l l o w i n g : 1 ) A r i z o n a S t a t e U n i v e r s i t y r a n k s s l i g h t l y a b o v e t h e n a t i o n a l a v e r a g e o n t w o o f t h e e i g h t k e y q u a l i t y i n d i c a t o r s ( F T E N P R F a n d E I N S T R ) , a p p r o x i m a t e l y a v e r a g e o n f o u r i n i d i c a t o r s ( D E G S D O C , C O M P P R F A , R T O T , a n d A L V O L S ) , a n d b e l o w a v e r a g e o n o n e i n d i c a t o r ( Q A R C F A C ) . 2 ) T h e U n i v e r s i t y o f A r i z o n a r a n k s a b o v e t h e n a t i o n a l a v e r a g e o n a l l e i g h t o f t h e k e y i n d i c a t o r s . F T E N P R F i s a p p r o x i m a t e l y 1 . 5 s t a n d a r d d e v i a t i o n s a b o v e a v e r a g e ; S G H D C T F T , D E G S D O C , E I N S T R , R T O T , a n d Q A R C F A C a r e f r o m 0 . 5 t o 1 . 0 s t a n d a r d d e v i a t i o n s a b o v e a v e r a g e , a n d C O M P P R F A a n d A L V O L S a r e v e r y c l o s e t o a v e r a g e . 3 ) T h e U n i v e r s i t y o f A r i z o n a r a n k s h i g h e r t h a n A r i z o n a S t a t e o n a l l i n d i c a t o r s e x c e p t A L V O L S , o n w h i c h t h e y r a n k a p p r o x i m a t e l y t h e s a m e . T h e t w o i n s t i t u t i o n s a r e a b o u t 0 . 5 s t a n d a r d d e v i a t i o n s a p a r t o n S G H D C T F T , D E G S D O C , a n d E I N S T R , a b o u t 1 . 0 s t a n d a r d d e v i a t i o n s a p a r t o n F T E N P R F a n d R T O T , a n d a b o u t 1 . 5 s t a n d a r d d e v i a t i o n s a p a r t o n Q A R C F A C . A d d i t i o n a l l y , t h e y p a y t h e i r t e n u r e d P r o f e s s o r s ( F T E N P R F ) a b o u t t h e s a m e . 3 ) A r i z o n a S t a t e ' s p r o f i l e , o v e r a l l , i s r e l a t i v e l y c o n s i s t e n t i n r e l a t i o n t o t h e n a t i o n a l a v e r a g e , e x c e p t , p e r h a p s , f o r g r a d u a t i n g t w o f e w d o c t o r a l s t u d e n t s , a n d h a v i n g a h i g h e r t h a n a v e r a g e f a c u l t y / s t u d e n t r a t i o . T h e m o s t s e r i o u s p r o b l e m a p p e a r s t o b e f a c u l t y q u a l i t y . 4 ) T h e U n i v e r s i t y o f A r i z o n a , h a s a s o m e w h a t l e s s c o n s i s t e n t p r o f i l e . P r o b l e m a r e a s s e e m t o b e a h i g h e r t h a n a v e r a g e n u m b e r o f t e n u r e d P r o f e s s o r s , a n d p o t e n t i a l l y v e r y s e r i o u s f a c u l t y c o m p e n s a t i o n a n d l i b r a r y r e s o u r c e p r o b l e m s , w h i c h , i f n o t c o r r e c t e d , c o u l d p o t e n t i a l l y a f f e c t i t s f a c u l t y q u a l i t y r a t i n g . I t i s c l e a r t h a t A r i z o n a s t a t e d e c i s i o n m a k e r s w o u l d w a n t t o s e e k o u t m o r e i n f o r m a t i o n t h a n t h a t g i v e n i n t h i s e x a m p l e p r o f i l e b u t , g i v e n t h e r i g h t v a r i a b l e s , a p r o f i l e s e e m s t o s e r v e b e t t e r t h a n a s i m p l e r a n k l i s t i n g o f i n s t i t u t i o n s b y p r o v i d i n g a m o r e c o m p r e h e n s i v e b a s i s f o r d e c i s i o n m a k i n g . F u r t h e r , a p r o f i l e c a n t r i g g e r " p o t e n t i a l p r o b l e m a r e a s " w h i c h c a n b e f u r t h e r r e s e a r c h e d a n d , p e r h a p s , s a t i s f a c t o r i l y r e s o l v e d . 3 2 9 T h u s f a r , c o n s i d e r a t i o n h a s o n l y b e e n g i v e n t o u n i v e r s i t y s p e c i f i c q u e s t i o n s a d d r e s s e d m a i n l y t o t h e u n d e r s t a n d i n g o f p a r t i c u l a r d o c t o r a l i n s t i t u t i o n s . T h e p r o f i l e a n a l y s e s c a n a l s o b e u s e d a s a v a l u a b l e r e s e a r c h t o o l . T h e f o l l o w i n g t w o e x a m p l e s a r e i n d i c a t i v e o f t h i s p o t e n t i a l u s e . 1 ) W h a t a r e t h e i m p o r t a n t d i f f e r e n c e s b e t w e e n t h e " C o m e r " u n i v e r s i t i e s a n d t h e " L o s e r " u n i v e r s i t i e s ? D e t e r m i n i n g t h e k e y c h a r a c t e r i s t i c s w h i c h d i f f e r e n t i a t e t h o s e u n i v e r s i t i e s w h i c h i m p r o v e d t h e i r s t a n d i n g d u r i n g t h e f i f t y - s e v e n y e a r p e r i o d f r o m 1 9 2 5 - 1 9 8 2 v e r s u s t h o s e w h i c h l o s t s t a n d i n g m i g h t p r o v i d e s o m e i m p o r t a n t i n f o r m a t i o n t o a s s i s t u n i v e r s i t i e s i n q u a l i t y i m p r o v e m e n t . S t e p s r e q u i r e d f o r s o l v i n g t h i s r e s e a r c h p r o b l e m w o u l d c o n s i s t o f s e l e c t i n g t h e u n i v e r s i t i e s c o m p r i s i n g t h e t w o g r o u p s , c a l c u l a t i n g a v e r a g e s f o r e a c h g r o u p , p l o t t i n g t h e P - s c o r e s o n a p r o f i l e , a n d t h e n a n a l y z i n g t h e p r o f i l e r e s u l t s . 2 ) W h a t c h a r a c t e r i z e s u n i v e r s i t i e s w i t h l a r g e f e d e r a l r e s e a r c h g r a n t s a n d c o n t r a c t s f r o m t h o s e w i t h l o w l e v e l s o f g o v e r n m e n t f u n d i n g ? T h i s r e s e a r c h q u e s t i o n m i g h t b e u s e d b y f u n d i n g a g e n c i e s t o d e t e r m i n e a l l o c a t i o n s o r b y u n i v e r s i t i e s w a n t i n g t o i m p r o v e t h e i r " g r a n t - g e t t i n g “ a b i l i t y . I n 3 3 0 t h i s c a s e , t h e t o p a n d b o t t o m g r o u p o f u n i v e r s i t i e s w o u l d f i r s t b e s e l e c t e d f r o m t h e R G V T G C v a r i a b l e . A v e r a g e s w o u l d t h e n b e c a l c u l a t e d f o r e a c h g r o u p a n d t h e P - s c o r e s f o r e a c h g r o u p p l o t t e d o n a p r o f i l e . F i n a l l y , t h e r e s u l t s w o u l d b e a n a l y z e d a s b e f o r e . S t u d y R e s u l t s — — T h e U n d e r l y i n g S t r u c t u r e o f t h e D a t a B a s e O b j e c t i v e 5 : T o e x a m i n e m o r e c l o s e l y t h e u n d e r l y i n g s t r u c t u r e o f d o c t o r a l i n s t i t u t i o n s w h i c h m i g h t a c c o u n t f o r t h e i n t e r - c o r r e l a t i o n s a m o n g t h e o b s e r v a b l e q u a n t i t a t i v e v a r i a b l e s u s e d i n t h e s t u d y . R 5 . W h a t t h e o r y o f a c a d e m i c q u a l i t y i s s u p p o r t e d b y f a c t o r a n a l y t i c s t u d y o f t h e d a t a c h a r a c t e r i s t i c s o f d o c t o r a l i n s t i t u t i o n s ? E m p i r i c a l R e s e a r c h S t u d y H y p o t h e s i s T h e n u m b e r o f c o m m o n f a c t o r s u n d e r l y i n g t h e o b s e r v a b l e q u a n t i t a t i v e c h a r a c t e r i s t i c s o f A m e r i c a n d o c t o r a l i n s t i t u t i o n s i s g r e a t e r t h a n o n e ( t h e u n i v a r i a t e c a s e ) a n d l e s s t h a n ~ o r e q u a l t o e i g h t ( t h e n u m b e r o f d o m a i n s u s e d i n t h e o r i g i n a l d e s c r i p t i o n ) . I f o n e a c c e p t s t h e u n i v a r i a t e a c a d e m i c q u a l i t y a p p r o a c h , t h e n c l e a r l y t h e s e c o n d f a c t o r ( Q u a l i t y ) i n t h e f a c t o r a n a l y s i s o f t h e t h i r t y q u a n t i t a t i v e v a r i a b l e s i s t h a t f a c t o r . H o w e v e r , n o t e ( s e e T a b l e 3 3 , p a g e 2 8 7 ) t h a t v a r i a b l e s s e l e c t e d t o d e f i n e o t h e r f a c t o r s , f o r e x a m p l e , g o v e r n m e n t g r a n t a n d c o n t r a c t r e v e n u e ( R G V T G C ) , f u l l - t i m e g r a d u a t e s t u d e n t h e a d c o u n t ( S G H D C T F T ) , a n d c o m p e n s a t i o n o f P r o f e s s o r s ( C O M P P R F A ) 3 3 1 a l s o h a v e r e a s o n a b l y h i g h l o a d i n g s o n t h i s f a c t o r . H e n c e , i t w o u l d a p p e a r t h a t t h i s f a c t o r i s o n l y p a r t o f t h e b e s t d e f i n i t i o n o f a c a d e m i c q u a l i t y . T h e m u l t i v a r i a t e a c a d e m i c q u a l i t y a p p r o a c h i s c l e a r l y s u p p o r t e d i f o n e i s w i l l i n g t o c o n s i d e r v a r i a b l e s o t h e r t h a n a c a d e m i c q u a l i t y r a t i n g s a s a b a s i s f o r d e f i n i n g a c a d e m i c q u a l i t y . I n t h i s c a s e , a t l e a s t t h r e e f a c t o r s a r e n e c e s s a r y t o d e f i n e a c a d e m i c q u a l i t y : 1 ) t h e s i z e o f t h e i n s t i t u t i o n , a s i n d i c a t e d , p r i m a r i l y , b y t h e n u m b e r o f s t u d e n t s , d e g r e e s , a n d f a c u l t y : 2 ) t h e q u a l i t y f a c t o r : a n d 3 ) t h e c o m p e n s a t i o n o f f a c u l t y . A f o u r t h f a c t o r ( G r a d u a t e E d u c a t i o n ) m a y a l s o b e i m p o r t a n t . I n s u m m a r y , t h e n , t h e m u l t i v a r i a t e a p p r o a c h s e e m s t o b e t h e m o s t p l a u s i b l e t h e o r y u n d e r l y i n g a c a d e m i c q u a l i t y i n A m e r i c a n d o c t o r a l i n s t i t u t i o n s w h e n a c a d e m i c q u a l i t y i s d e f i n e d a s i n f o r m a t i o n n e c e s s a r y t o m a k e d e c i s i o n s a b o u t a n i n s t i t u t i o n ' s a c a d e m i c q u a l i t y . T h u s , t h e s t u d y h y p o t h e s i s w a s c l e a r l y s u p p o r t e d i n t h e s t u d y i n t h a t f o u r c o m m o n f a c t o r s ( r a t h e r t h a n o n e ) w e r e f o u n d t o u n d e r l i e t h e t h i r t y - e i g h t o b s e r v a b l e q u a n t i t a t i v e v a r i a b l e s . 3 3 2 I M P L I C A T I O N S O F T H E S T U D Y T h i s s t u d y h a s m a n y c l e a r p r a c t i c a l , t h e o r e t i c a l , r e s e a r c h , a n d p u b l i c p o l i c y i m p l i c a t i o n s f o r e d u c a t i o n , a s w e l l a s f o r o t h e r f i e l d s . I n t e r m s o f m e t h o d o l o g y , t h i s s t u d y c l e a r l y d e m o n s t r a t e d , t h r o u g h t h e u s e o f a C o m p u t e r - B a s e d I n f o r m a t i o n S y s t e m , e x t a n t d a t a b a s e s , a n d i n d i c a t o r s a h i g h l y c o s t - e f f e c t i v e m e t h o d o l o g y f o r i n d i v i d u a l r e s e a r c h e r s , p o l i c y a n a l y s t s , d e c i s i o n m a k e r s , a n d s t u d e n t s . I n t e r m s o f h i g h e r e d u c a t i o n p r a c t i c e , t h e s t u d y d e m o n s t r a t e d t h a t m u l t i v a r i a t e a s s e s s m e n t o f a c a d e m i c q u a l i t y i s n o t o n l y e a s i l y a n d i n e x p e n s i v e l y p o s s i b l e , b u t t h a t s u c h a s s e s s m e n t a l s o h a s a s o u n d t h e o r e t i c a l b a s e a n d i s h i g h l y r e l i a b l e , v a l i d , a n d p r e d i c t a b l e . I t a l s o d e m o n s t r a t e d t h a t t h e r e a r e m a n y d i f f e r e n t w a y s f o r a n i n s t i t u t i o n t o a c h i e v e a c a d e m i c q u a l i t y . T h a t a c a d e m i c q u a l i t y , o r t h e l a c k t h e r e o f , i s d e t e r m i n e d b y n u m e r o u s d a y - t o - d a y d e c i s i o n s , w h i c h t o g e t h e r c r e a t e g g f a c t o i n s t i t u t i o n a l p o l i c i e s w h i c h a r e r e f l e c t e d a s m e a s u r e a b l e c h a r a c t e r i s t i c s w h i c h d e s c r i b e a n i n s t i t u t i o n . T h e s t u d y a l s o d e m o n s t r a t e d t h a t a l l i n s t i t u t i o n a l c h a r a c t e r i s t i c s a r e n o t o f e q u a l i m p o r t a n c e . T h a t o n l y a v e r y s m a l l n u m b e r o f c h a r a c t e r i s t i c s o r " k e y i n d i c a t o r s “ ( p r o b a b l y o n l y t h r e e o r f o u r ) d r a m a t i c a l l y 3 3 3 i m p a c t a c a d e m i c q u a l i t y a n d , t h u s , s h o u l d b e g i v e n p r i m a r y a t t e n t i o n . T h i s s h o u l d g r e a t l y a s s i s t r e f o r m e f f o r t s i n h i g h e r e d u c a t i o n b e c a u s e , a c c o r d i n g t o J o h n D i B i a g g i o ( 1 9 8 6 ) , P r e s i d e n t o f M i c h i g a n S t a t e U n i v e r s i t y , c o m p l e x i s s u e s a n d s h a l l o w n o t i o n s r e c e i v e e q u a l t i m e t o o o f t e n . I n t e r m s o f t h e o r e t i c a l i m p l i c a t i o n s , t h e s t u d y p r e s e n t e d a s t r o n g r e a s o n e d a r g u m e n t f o r a m u l t i v a r i a t e t h e o r y o f a c a d e m i c q u a l i t y w h i c h w a s s u p p o r t e d b y p a s t r e s e a r c h i n t h e f i e l d , a s w e l l a s b y t h e f i n d i n g s i n t h e p r e s e n t s t u d y . I n t e r m s o f p u b l i c p o l i c y , t h i s s t u d y a l s o h a s s e v e r a l i m p l i c a t i o n s . F i r s t , i t d e m o n s t r a t e d t h a t , i n t h e p a s t h a l f - c e n t u r y , p u b l i c g r a d u a t e i n s t i t u t i o n s h a v e m a d e d r a m a t i c g a i n s i n a c a d e m i c q u a l i t y i n r e l a t i o n t o p r i v a t e g r a d u a t e i n s t i t u t i o n s . S e c o n d , i t d e m o n s t r a t e d t h a t a s m a l l n u m b e r o f k e y p o l i c y d e c i s i o n s a r e n e c e s s a r y f o r a c a d e m i c q u a l i t y . F i n a l l y , i t d e m o n s t r a t e d t h a t p e r i o d i c a s s e s s m e n t o f g r a d u a t e e d u c a t i o n i s a f i r s t , b u t v e r y n e c e s s a r y s t e p , i n t h e i m p r o v e m e n t o f g r a d u a t e e d u c a t i o n a n d , t h u s , s h o u l d b e c o n t i n u e d . 3 3 4 R E C O M M E N D A T I O N S F O R F U R T H E R R E S E A R C H T h e p r e s e n t s t u d y w a s v i e w e d , n o t a s a n e n d i n i t s e l f , b u t , r a t h e r , a s a f o u n d a t i o n f o r m a n y i m p o r t a n t f u t u r e r e s e a r c h s t u d i e s . T h e f o l l o w i n g s t u d i e s , p r e s e n t e d i n n o s p e c i a l o r d e r , w o u l d q p p e a r t o b e t h e f i r s t p r i o r i t i e s . P r o f i l e s o f t h e R e m a i n i n g § V a r i a b l e s O n l y e i g h t o f t h e t h i r t y - e i g h t o b s e r v a b l e q u a n t i t a t i v e v a r i a b l e s w e r e g r a p h i c a l l y p r e s e n t e d i n t h e p r o f i l e s d u e t o t h e s t u d y ' s f o c u s o n t h e " k e y " q u a l i t y i n d i c a t o r s . T h e r e m a i n i n g t h i r t y v a r i a b l e s , h o w e v e r , w o u l d b e o f g r e a t i m p o r t a n c e i n u n d e r s t a n d i n g i n s t i t u t i o n a l f u n c t i o n i n g , a s w e l l a s i n d i a g n o s i n g a n d r e m e d i a t i n g i n s t i t u t i o n a l p r o b l e m s . T h e v a r i a b l e s c o u l d b e p r e s e n t e d i n s e v e r a l d i f f e r e n t w a y s , s u c h a s b y d o m a i n o r r e l a t i o n s h i p g r o u p i n g s ( f o r e x a m p l e , b y : s i z e v a r i a b l e s , f a c u l t y - r e l a t e d o r s t u d e n t - r e l a t e d v a r i a b l e s , o r f i n a n c i a l v a r i a b l e s ) . R e p l i c a t i o n o f t h e P r e s e n t S t u d y A r e p l i c a t i o n o f t h i s m u l t i v a r i a t e s t u d y s h o u l d b e p e r f o r m e d u s i n g u p d a t e d ( p r o b a b l y 1 9 8 4 - 8 5 ) d a t a v a l u e s f o r t h i r t y - f i v e o f t h e t h i r t y - e i g h t o b s e r v a b l e q u a n t i t a t i v e v a r i a b l e s u s e d i n t h e s t u d y . S i n c e u p d a t e d d a t a v a l u e s w o u l d n o t b e a v a i l a b l e f o r t h e t h r e e 1 9 8 2 A R C q u a l i t y v a r i a b l e s , t h e s a m e 1 9 8 2 v a l u e s u s e d i n t h e p r e s e n t s t u d y c o u l d o n c e a g a i n b e u s e d . T h i s r e p l i c a t e d s t u d y w o u l d n o t o n l y g i v e i n c r e a s e d c r e d i b i l i t y t o e x i s t i n g r e l i a b i l i t y a n d v a l i d i t y d a t a r e l a t i n g t o q u a l i t y a s s e s s m e n t s t u d i e s , b u t , m o r e i m p o r t a n t l y , i t w o u l d p r o v i d e s u p p o r t i n g e v i d e n c e f o r t h e p r e s e n t s t u d y m e t h o d o l o g y a n d r e s u l t s . P r e d i c t i v e . S t u d y T h i s p r o p o s e d s t u d y w o u l d u s e 1 9 8 4 - 8 5 u p d a t e d d a t a v a l u e s f o r t h e t h r e e k e y v a r i a b l e s , D E G S T O T , C O M P P R F A , a n d A L V O L S , o b t a i n e d i n t h e f i n a l r e g r e s s i o n a n a l y s i s ( s e e T a b l e 3 4 ) , a l o n g w i t h t h e i r a s s o c i a t e d B e t a - w e i g h t s , t o p r e d i c t 1 9 8 4 - 8 5 f a c u l t y q u a l i t y ( Q A R C F A C ) v a l u e s f o r A m e r i c a n d o c t o r a l i n s t i t u t i o n s . S t u d y o f I n s i t i t u t i o n a l S i z e A s w a s o b v i o u s f r o m t h e s t u d y r e s u l t s p r e s e n t e d i n C h a p t e r I V , s o m e d o c t o r a l i n s t i t u t i o n s h a v e m a n y m o r e s t u d e n t s t h a n o t h e r d o c t o r a l i n s t i t u t i o n s . C o r r e s p o n d i n g l y , i t w o u l d b e e x p e c t e d , t h a t t h e s e i n s t i t u t i o n s w o u l d a l s o h a v e m o r e f a c u l t y m e m b e r s , g r a n t m o r e d e g r e e s , h a v e m o r e b u i l d i n g s , s p e n d m o r e m o n e y , a n d s o f o r t h t h a n w o u l d d o c t o r a l i n s t i t u t i o n s w i t h f e w e r s t u d e n t s . T h u s , o n e w a y o f a n a l y z i n g t h e d a t a w o u l d b e t o t r y t o e l i m i n a t e i n s t i t u t i o n a l s i z e b y d i v i d i n g t h e r a w d a t a v a r i a b l e s b y s o m e a p p r o p r i a t e b a s e v a r i a b l e , f o r e x a m p l e , t o t a l s t u d e n t h e a d c o u n t ( S T D H D C T ) . A v e r a g i n g w a s n o t u s e d i n t h i s i n i t a l s t u d y f o r s e v e r a l r e a s o n s . F i r s t , s i z e i s a n i m p o r t a n t c h a r a c t e r i s t i c o f d o c t o r a l i n s t i t u t i o n s . I f a l a r g e d o c t o r a l i n s t i t u t i o n h a s m o r e q u a l i t y p o i n t s a s s i g n e d t o i t b e c a u s e i t h a s a l a r g e r p o o l o f f a c u l t y f r o m w h i c h d i s t i n g u i s h e d f a c u l t y c a n b e i d e n t i f i e d , t h i s s h o u l d n o t d e t r a c t f r o m i t s q u a l i t y r a t i n g . F o r e x a m p l e , s u p p o s e t h a t i n s t i t u t i o n A h a s t e n d e p a r t m e n t s , e a c h o f w h i c h i s g i v e n a r a t i n g o f 4 0 0 p o i n t s , w h i l e i n s t i t u t i o n B h a s o n l y o n e d e p a r t m e n t , w h i c h i s a l s o g i v e n a r a t i n g o f 4 0 0 p o i n t s . I f s i z e i s e l i m i n a t e d b y d i v i d i n g t h e n u m b e r o f q u a l i t y p o i n t s b y s o m e m e a s u r e o f i n s t i t u t i o n a l s i z e , s u c h a s n u m b e r o f d e p a r t m e n t s , t h e n b o t h i n s t i t u t i o n s A a n d B w o u l d a p p e a r i d e n t i c a l i n f a c u l t y q u a l i t y , a s i s d e m o n s t r a t e d b e l o w : D o c t o r a l N u m b e r o f T o t a l A v e r a g e I n s t i t u t i o n D e p a r t m e n t s O P o i n t s O P o i n t s A 1 0 4 0 0 0 4 0 0 B ' 1 4 0 0 4 0 0 T h u s , i n t h i s e x a m p l e w e h a v e l o s t t h e f a c t t h a t i n s t i t u t i o n A i s b o t h v e r y g o o d a n d v e r y l a r g e . S e c o n d , i t i s v e r y d i f f i c u l t t o d e t e r m i n e t h e b e s t a v e r a g i n g b a s e t o b e u s e d a s t h e m e a s u r e o f 3 3 7 i n s t i t u t i o n a l s i z e f o r e a c h v a r i a b l e . T h a t i s , f o r s o m e v a r i a b l e s , s u c h a s t o t a l n u m b e r o f d e g r e e s g r a n t e d ( D E G S T O T ) o r t o t a l r e v e n u e ( R T O T ) , s t u d e n t h e a d c o u n t ( S T D H D C T ) m i g h t b e t h e m o s t a p p r o p r i a t e b a s e , w h i l e f o r o t h e r s , s u c h a s n u m b e r o f t e n u r e d P r o f e s s o r s ( F T E N P R F ) , t h e t o t a l n u m b e r o f t e n u r e d f a c u l t y ( F A C T E N ) m i g h t b e t h e m o s t a p p r o p r i a t e b a s e . H o w e v e r , u s i n g d i f f e r e n t b a s e s m i g h t i n t r o d u c e a r t i f a c t s i n t o t h e d a t a . T h i r d , t h e p r e s e n t s t u d y i s o n l y t h e i n i t i a l i n v e s t i g a t i o n o f t h e d a t a . O t h e r s t u d i e s a r e a l r e a d y u n d e r w a y , i n c l u d i n g o n e d e a l i n g w i t h " a v e r a g e d " d a t a . T h e r e s e a r c h e r j u d g e d t h a t t h e i n i t i a l s t u d y s h o u l d b e " c l o s e " t o t h e o r i g i n a l e m p i r i c a l r e s u l t s w i t h o u t u s i n g t r a n s f o r m a t i o n s w h i c h m i g h t y i e l d h i g h l y q u e s t i o n a b l e f i n d i n g s . O - A n a l y s i s A n o t h e r p o t e n t i a l s t u d y , a n d p r o b a b l y t h e m o s t d i f f i c u l t a n d s i g n i f i c a n t o f a l l , w o u l d b e t o p e n f o r m a n O - A n a l y s i s ( t h a t i s , a n o b j e c t o r e n t i t y a n a l y s i s ) o f t h e d a t a b a s e . I t m a y b e r e m e m b e r e d f r o m C h a p t e r I I I t h a t t h e d a t a m a t r i x u s e d i n t h e p r e s e n t s t u d y c o n s i s t e d o f o b s e r v a t i o n s o n t h i r t y - e i g h t o b s e r v a b l e q u a n t i t a t i v e v a r i a b l e s o n o n e h u n d r e d a n d s e v e n t y - o n e d o c t o r a l i n s t i t i t u t i o n s ( o b j e c t s o r e n t i t i e s ) . T h e r e s u l t i n g d a t a m a t r i x h a d t h e o n e h u n d r e d a n d 3 3 8 s e v e n t y - o n e i n s t i t u t i o n s ( o b j e c t s ) i n t h e r o w s a n d t h e t h i r t y — e i g h t q u a n t i t a t i v e v a r i a b l e s i n t h e c o l u m n s . T h i s w a s t h e f o r m o f t h e V a r i a b l e o r V — A n a l y s i s p e r f o r m e d i n t h e p r e s e n t s t u d y . R e v e r s i n g t h e m a t r i x , t h a t i s , h a v i n g t h e t h i r t y - e i g h t q u a n t i t a t i v e v a r i a b l e s i n t h e r o w s a n d t h e o n e h u n d r e d a n d s e v e n t y - o n e i n s t i t u t i o n s ( o b j e c t s ) i n t h e c o l u m n s w o u l d b e a n O b j e c t o r O - A n a l y s i s . T h i s t y p e o f a n a l y s i s E g g l g g g o u p s i m i l a r d o c t o r a l i n s t i t u t i o n s , r a t h e r t h a n s i m i l a r v a r i a b l e v a l u e s , a s w a s d o n e i n t h e V — A n a l y s i s . A m a j o r d i f f i c u l t y p r e s e n t e d i n t h e O - A n a l y s i s w o u l d b e t h e h i g h l y d i s c r e p a n t s i z e d i f f e r e n c e b e t w e e n t h e n u m b e r o f d a t a e l e m e n t s i n t h e h o r i z o n t a l ( 3 8 ) a n d v e r t i c a l ( 1 7 1 ) a x e s . H o w e v e r , t h i s p r o b l e m i s s o l v a b l e , b u t w o u l d r e q u i r e c o n s i d e r a b l e s t u d y a n d e f f o r t . T h e v a l u e o f s u c h a s t u d y , h o w e v e r , w o u l d b e i m m e a s u r e a b l e - - i t w o u l d l a y t h e f o u n d a t i o n f o r a t r u e c l a s s i f i c a t i o n o f d o c t o r a l i n s t i t u t i o n s b a s e d o n s i m i l a r i t i e s w h i c h w o u l d g r e a t l y a i d b o t h o u r u n d e r s t a n d i n g o f t h e m a n d a l s o o u r d e c i s i o n m a k i n g r e l a t e d t o t h e m . A P P E N D I C E S A P P E N D I X A A M E N D E D A L P H A P E T I C A L L I S T I N G O F D O C T O R A L I N S T I T U T I O N S , 1 9 8 1 - 1 9 8 2 3 3 9 A p p e n d i x A . A m e n d e d A l p h a b e t i c a l L i s t i n g o f D o c t o r a l I n s t i t u t i o n s , 1 9 8 1 - 1 9 8 2 * D o c t o r a l I n s t i t u t i o n A d e l p h i U A k r o n M C U o f A l a b a m a i n B i r m i n g h a m U o f A l a b a m a t h e U o f A m e r i c a n U A r i z o n a S t a t e U A r i z o n a U o f A r k a n s a s M C U , o f A u b u r n U M C B a l l S t a t e U B o s t o n C o l l e g e B o s t o n U B o w l i n g G r e e n S t a t e U M C B r a n d e i s U B r i g h a m Y o u n g U M C B r o w n U B r y n M a w r C o l l e g e C a l i f o r n i a I n s t i t u t e o f T e c h n o l o g y C a l i f o r n i a - B e r k e l e y U o f C a l i f o r n i a - D a v i s U o f C a l i f o r n i a - I r v i n e U o f C a l i f o r n i a - L o s A n g e l e s U o f C a l i f o r n i a - R i v e r s i d e U o f C a l i f o r n i a - S a n D i e g o U o f C a l i f o r n i a - S a n t a B a r b a r a U o f C a l i f o r n i a - S a n t a C r u z U o f C a r n e g i e - M e l l o n U C a s e W e s t e r n R e s e r v e U C a t h o l i c U o f A m e r i c a C h i c a g o U o f C i n c i n n a t i M C U o f C i t y U o f N e w Y o r k G r a d u a t e S c h o o l & U C e n t e r C l a r e m o n t G r a d u a t e S c h o o l C l a r k U C l e m s o n U C o l o r a d o a t B o u l d e r U o f C o l o r a d o S t a t e U C o l u m b i a U M a i n D i v i s i o n C o n n e c t i c u t U o f C o r n e l l U E n d o w e d C o l l e g e s C o r n e l l U S t a t u t o r y C o l l e g e s 3 4 0 A p p e n d i x A ( C o n t ' d . ) . D o c t o r a l I n s t i t u t i o n D a r t m o u t h C o l l e g e D e l a w a r e U o f D e n v e r U o f D e t r o i t U o f D r e w U D u k e U E m o r y U F l o r i d a S t a t e U F l o r i d a U o f F o r d h a m U G e o r g e W a s h i n g t o n U G e o r g e t o w n U G e o r g i a S t a t e U G e o r g i a U o f H a r v a r d U H a w a i i a t M a n o a U o f H o u s t o n - U P a r k U o f H o w a r d U I d a h o U o f I l l i n o i s a t C h i c a g o U o f I l l i n o i s I n s t i t u t e o f T e c h n o l o g y I l l i n o i s S t a t e U I l l i n o i s - U r b a n a C a m p u s U o f I n d i a n a U B l o o m i n g t o n I n t e r n a t i o n a l C o l l e g e I o w a S t a t e U o f S c i e n c e a T e c h n o l o g y I o w a U o f J o h n s H o p k i n s U K a n s a s M C U o f K a n s a s S t a t e U o f A g r i c u l t u r e & A p p l i e d S c i e n c e K e n t S t a t e U M C K e n t u c k y U o f L e h i g h U L o u i s i a n a S t a t e U & A & M C o l l e g e B a t o n R o u g e L o u i s v i l l e U o f L o y o l a U o f C h i c a g o 3 4 1 A p p e n d i x A ( C o n t ' d . ) . D o c t o r a l I n s t i t u t i o n M a r q u e t t e U M a r y l a n d C o l l e g e P a r k C a m p u s U o f M a s s a c h u s e t t s A m h e r s t C a m p u s U o f M a s s a c h u s e t t s I n s t i t u t e o f T e c h n o l o g y M e m p h i s S t a t e U M i a m i U o f M i a m i U O x f o r d C a m p u s M i c h i g a n S t a t e U M i c h i g a n - A n n A r b o r U o f 0 M i n n e s o t a o f M i n n e a p o l i s S a i n t P a u l U o f M i s s i s s i p p i M C U o f M i s s i s s i p p i S t a t e U M i s s o u r i - C o l u m b i a U o f M i s s o u r i - K a n s a s C i t y U o f N e b r a s k a - L i n c o l n U o f N e v a d a - R e n o U o f N e w H a m p s h i r e U o f N e w M e x i c o M C U o f N e w M e x i c o S t a t e U M C N e w S c h o o l f o r S o c i a l R e s e a r c h N e w Y o r k U N o r t h C a r o l i n a a t C h a p e l H i l l U o f N o r t h C a r o l i n a a t G r e e n s b o r o U o f N o r t h C a r o l i n a S t a t e U a t R a l e i g h N o r t h D a k o t a M C U o f N o r t h T e x a s S t a t e U N o r t h e r n C o l o r a d o U o f N o r t h e r n I l l i n o i s U N o r t h w e s t e r n U N o t r e D a m e U o f O h i o S t a t e U M C O h i o U M C O k l a h o m a N o r m a n C a m p u s U o f O k l a h o m a S t a t e U M C O r e g o n S t a t e U O r e g o n U o f P a c i f i c U o f t h e P e n n s y l v a n i a S t a t e U M C P e n n s y l v a n i a U o f P i t t s b u r g h M C U o f P r i n c e t o n U P u r d u e U M C 3 4 2 A p p e n d i x A ( C o n t ' d . ) . D o c t o r a l I n s t i t u t i o n R a n d G r a d u a t e I n s t i t u t e o f P o l i c y S t u d i e s R e n s s e l a e r P o l y t e c h n i c I n s t i t u t e R h o d e I s l a n d U o f R i c e U R o c h e s t e r U o f R o c k e f e l l e r U R u t g e r s t h e S t a t e U o f N e w J e r s e y N e w B r u n s w i c k C a m p u s S a i n t J o h n ' s U S a i n t L o u i s U M C S o u t h C a r o l i n a a t C o l u m b i a U o f S o u t h D a k o t a M C U o f S o u t h F l o r i d a U o f S o u t h e r n C a l i f o r n i a U o f S o u t h e r n I l l i n o i s U a t C a r b o n d a l e S o u t h e r n M e t h o d i s t U S o u t h e r n M i s s i s s i p p i U o f S t a n f o r d U S t a t e U o f N e w Y o r k a t A l b a n y S t a t e U o f N e w Y o r k a t B i n g h a m t o n S t a t e U o f N e w Y o r k a t B u f f a l o M C S t a t e U o f N e w Y o r k a t S t o n y B r o o k M C S y r a c u s e U M C T e m p l e U T e n n e s s e e a t K n o x v i l l e U o f T e x a s A & M U M C T e x a s a t A u s t i n U o f T e x a s a t D a l l a s U o f T e x a s T e c h U T e x a s W o m a n ' s U T o l e d o U o f T u f t s U T u l a n e U o f L o u i s i a n a U n i o n f o r E x p e r i m e n t i n g C o l l e g e s & U n i v e r s i t i e s U n i t e d S t a t e s I n t e r n a t i o n a l U U t a h S t a t e U U t a h U o f V a n d e r b i l t U V e r m o n t & S t a t e A g r i c u l t u r a l C o l l e g e U o f V i r g i n i a C o m m o n w e a l t h U V i r g i n i a M C U o f V i r g i n i a P o l y t e c h n i c I n s t i t u t e a S t a t e U 3 4 3 A p p e n d i x A ( C o n t ' d . ) . D o c t o r a l I n s t i t u t i o n W a s h i n g t o n S t a t e U W a s h i n g t o n U W a s h i n g t o n U o f W a y n e S t a t e U W e s t V i r g i n i a U W e s t e r n M i c h i g a n U W i s c o n s i n - M a d i s o n U o f W i s c o n s i n - M i l w a u k e e U o f W y o m i n g U o f Y a l e U Y e s h i v a U * T h e N C E S 1 9 8 1 - 8 2 l i s t i n g o f d o c t o r a l i n s t i t u t i o n s i s a m e n d e d a s o f 1 9 8 3 - 8 4 t o r e f l e c t n e c e s s a r y a d j u s t m e n t s m a d e t o t h e n e w l y i m p l e m e n t e d N C E S c l a s s i f i c a t i o n s t r u c t u r e o f 1 9 8 1 - 8 2 . ( S o u r c e : B r o y l e s , S u s a n G . a n d F e r n a n d e z , R o s a M . 1 9 8 3 - 8 4 E d u c a t i o n D i r e c t o r y : C o l l e g e s a n d U n i v e r s i t i e s . W a s h i n g t o n , D . C . : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s , 1 9 8 4 . ) A P P E N D I X B L I S T I N G O F D A T A V A R I A B L E S W I T H D E F I N I T I O N S A N D D A T A S O U R C E S 3 4 4 A p p e n d i x B . L i s t i n g o f D a t a V a r i a b l e s w i t h D e f i n i t i o n s a n d D a t a S o u r c e s I d e n t i f i c a t i o n V a r i a b l e s I N S T . N a m e o f i n s t i t u t i o n o r b r a n c h . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . “ F a l l E n r o l l m e n t i n I n s t i t u t i o n s o f H i g h e r E d u c a t i o n , 1 9 8 1 , " F e S u r v e y , H E G I S X V I , i n u n p a c k e d f o r m a t . ) F I C E . U n i q u e F e d e r a l I n t e r a g e n c y C o m m i t t e e o n E d u c a t i o n c o d e f o r e a c h i n s t i t u t i o n . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . ” F a l l E n r o l l m e n t i n I n s t i t u t i o n s o f H i g h e r E d u c a t i o n , 1 9 8 1 , " F e S u r v e y , H E G I S X V I , i n u n p a c k e d f o r m a t . ) C a t e g g r i c a l V a r i a b l e s S T A T E . S t a t e i n w h i c h i n s t i t u t i o n i s l o c a t e d . I n c l u d e s 5 0 s t a t e s a n d t h e D i s t r i c t o f C o l u m b i a . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . " F a l l E n r o l l m e n t i n I n s t i t u t i o n s o f H i g h e r E d u c a t i o n , 1 9 8 1 , " F e S u r v e y , H E G I S X V I , i n u n p a c k e d f o r m a t . ) R E G I O N . D e p a r t m e n t o f C o m m e r c e , O f f i c e o f B u s i n e s s E c o n o m i c s R e g i o n s : 1 ) N e w E n g l a n d ( C o n n e c t i c u t , M a i n e , M a s s a c h u s e t t s , N e w H a m p s h i r e , R h o d e I s l a n d , V e r m o n t ) , 2 ) M i d E a s t ( D e l a w a r e , D i s t r i c t o f C o l u m b i a , M a r y l a n d , N e w J e r s e y , N e w Y o r k , P e n n s y l v a n i a ) , 3 ) G r e a t L a k e s ( I l l i n o i s , I n d i a n a , M i c h i g a n , O h i o , W i s c o n s i n ) , 4 ) P l a i n s ( I o w a , K a n s a s , M i n n e s o t a , M i s s o u r i , N e b r a s k a , N o r t h D a k o t a , S o u t h D a k o t a ) , 5 ) S o u t h e a s t ( A l a b a m a , A r k a n s a s , F l o r i d a , G e o r g i a , K e n t u c k y , L o u i s i a n a , M i s s i s s i p p i , N o r t h C a r o l i n a , S o u t h C a r o l i n a , T e n n e s s e e , V i r g i n i a , W e s t V i r g i n i a ) , 6 ) S o u t h w e s t ( A r i z o n a , N e w M e x i c o , O k l a h o m a , T e x a s ) , 7 ) R o c k y M o u n t a i n s ( C o l o r a d o , I d a h o , M o n t a n a , U t a h , W y o m i n g ) , a n d 8 ) F a r W e s t ( A l a s k a , C a l i f o r n i a , H a w a i i , N e v a d a , O r e g o n , W a s h i n g t o n ) . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . " F a l l E n r o l l m e n t i n I n s t i t u t i o n s o f H i g h e r E d u c a t i o n , 1 9 8 1 , " F e S u r v e y , H E G I S X V I , i n u n p a c k e d f o r m a t . ) C O N T R O L . I n d i c a t e s t y p e o f c o n t r o l o r a f f i l i a t i o n a s r e p o r t e d b y t h e i n s t i t u t i o n . P u b l i c i n s t i t u t i o n s a r e t h o s e u n d e r S t a t e , S t a t e - R e l a t e d , o r S t a t e a n d L o c a l ( S t a t e / L o c a l ) c o n t r o l . P r i v a t e i n s t i t u t i o n s a r e r e p o r t e d a s I n d e p e n d e n t N o n - P r o f i t o r b y R e l i g i o u s A f f i l i a t i o n ( t h a t i s , L a t t e r D a y S a i n t s , R o m a n C a t h o l i c , o r U n i t e d M e t h o d i s t ) . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . " F a l l E n r o l l m e n t i n 3 4 5 A p p e n d i x B ( C o n t ' d . ) . I n s t i t u t i o n s o f H i g h e r E d u c a t i o n , 1 9 8 1 , ” F e S u r v e y , H E G I S X V I , i n u n p a c k e d f o r m a t . ) S T A T U S . I d e n t i f i e s t h e t y p e o f i n s t i t u t i o n : 1 ) I n d i v i d u a l I n s t i t u t i o n , 2 ) I n s t i t u t i o n a l S y s t e m ( I n d i v i d u a l I n s t i t u t i o n o r M a i n C a m p u s ) , o r 3 ) a M u l t i - C a m p u s I n s t i t u t i o n ( M a i n C a m p u s , D e s i g n a t e d M a i n C a m p u s , o r O t h e r C a m p u s ) . A n I n s t i t u t i o n a l S y s t e m i s a c o m p l e x o f t w o o r m o r e i n s t i t u t i o n s o f h i g h e r e d u c a t i o n , e a c h s e p a r a t e l y o r g a n i z e d o r i n d e p e n d e n t l y a d m i n i s t e r e d , u n d e r t h e c o n t r o l o f a s i n g l e a d m i n i s t r a t i v e b o d y . A M u l t i - C a m p u s I n s t i t u t i o n i s a n o r g a n i z a t i o n r e s e m b l i n g a n i n s t i t u t i o n a l s y s t e m , b u t c l e a r l y d e s i g n a t e d a s a s i n g l e i n s t i t u t i o n w i t h e i t h e r o f t w o o r g a n i z a t i o n a l s t r u c t u r e s : a ) a n i n s t i t u t i o n h a v i n g t w o o r m o r e c a m p u s e s r e s p o n s i b l e t o a c e n t r a l a d m i n i s t r a t i o n ( w h i c h m a y o r m a y n o t b e l o c a t e d o n o n e o f t h e a d m i n i s t r a t i v e l y e q u a l c a m p u s e s ) o r b ) a n i n s t i t u t i o n h a v i n g a m a i n c a m p u s ( M C ) w i t h o n e o r m o r e b r a n c h c a m p u s e s ( O t h e r o r O C ) . I n t h o s e i n s t i t u t i o n s c o m p o s e d o f a m a i n c a m p u s a n d o n e o r m o r e b r a n c h c a m p u s e s , t h e m a i n c a m p u s ( s o m e t i m e s c a l l e d t h e p a r e n t i n s t i t u t i o n ) i s u s u a l l y t h e l o c a t i o n o f t h e c o r e , p r i m a r y , o r m o s t c o m p r e h e n s i v e p r o g r a m . ( T h e m a i n c a m p u s i s u n d e r s t o o d t o b e t h e l o c a t i o n o f t h e c e n t r a l a d m i n i s t r a t i v e o f f i c e u n l e s s t h e i n s t i t u t i o n - w i d e o r c e n t r a l a d m i n i s t r a t i v e o f f i c e i s r e p o r t e d t o b e a t a d i f f e r e n t l o c a t i o n . ) W h e n a n i n s t i t u t i o n i n d i c a t e s t h a t a l l b r a n c h c a m p u s e s a r e e q u a l , o n e c a m p u s ( u s u a l l y t h e l a r g e s t ) i s d e s i g n a t e d a s t h e m a i n c a m p u s ( D M C ) . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . " F a l l E n r o l l m e n t i n I n s t i t u t i o n s o f H i g h e r E d u c a t i o n , 1 9 8 1 , “ F e S u r v e y , H E G I S X V I , i n u n p a c k e d f o r m a t . ) L N D G R N T . I n d i c a t e s w h e t h e r i n s t i t u t i o n i s a l a n d g r a n t i n s t i t u t i o n o r n o t a n d w h e t h e r i t i s a m e m b e r o f t h e N a t i o n a l A s s o c i a t i o n o f L a n d - G r a n t C o l l e g e s a n d U n i v e r s i t i e s ( N A S U L G C ) o r n o t . T h e L N D G R N T c a t e g o r i e s a r e : L a n d g r a n t a n d N o n - L a n d g r a n t . T h e f o u r c a t e g o r i e s o f N A S U L G C a r e : N A S U L G C / L a n d g r a n t , N A S U L G C / N o n - L a n d g r a n t , A l l N A S U L G C , a n d N o n - N A S U L G C . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . " F a l l E n r o l l m e n t i n I n s t i t u t i o n s o f H i g h e r E d u c a t i o n , 1 9 8 1 , " F e S u r v e y , H E G I S X V I , i n u n p a c k e d f o r m a t a n d N a t i o n a l A s s o c i a t i o n o f S t a t e U n i v e r s i t i e s a n d L a n d - G r a n t C o l l e g e s , " M e m b e r s , " W a s h i n g t o n , D . C . , 1 9 8 6 , 2 7 - 2 9 . ) 3 4 6 A p p e n d i x B ( C o n t ' d . ) . A A U Y R . I n d i c a t e s w h e t h e r i n s t i t u t i o n i s a m e m b e r o f t h e A m e r i c a n A s s o c i a t i o n o f U n i v e r s i t i e s ( A A U ) o r n o t . " Y e a r " i n d i c a t e s A A U m e m b e r s h i p a n d t h e y e a r o f m e m b e r s h i p : " N o ” i n d i c a t e s n o n - m e m b e r s h i p . ( S o u r c e : A m e r i c a n A s s o c i a t i o n o f U n i v e r s i t i e s , M e m b e r s h i p L i s t i n g , 1 9 8 2 . ) C A L N D R . I n d i c a t e s m a j o r c a l e n d a r s y s t e m o f a n i n s t i t u t i o n . C a l e n d a r s y s t e m c a t e g o r i e s a r e : S e m e s t e r , Q u a r t e r , T r i m e s t e r , 4 / 1 / 4 ( m o n t h s ) , a n d O t h e r ( t h a t i s , t h e c a l e n d a r s y s t e m i s n o t c l a s s i f i a b l e b y t h e f o u r d e s i g n a t e d c a t e g o r i e s ) . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . ” F a l l E n r o l l m e n t i n I n s t i t u t i o n s o f H i g h e r E d u c a t i o n , 1 9 8 1 , “ F e S u r v e y , H E G I S X V I , i n u n p a c k e d f o r m a t . ) S E X . I n d i c a t e s s e x d e s i g n a t i o n o f t h e s t u d e n t b o d y : M a l e , F e m a l e , C o e d ( m a l e a n d f e m a l e ) , o r C o o r d i n a t e ( s e p a r a t e c o l l e g e s f o r m a l e s a n d f e m a l e s ) . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . " F a l l E n r o l l m e n t i n I n s t i t u t i o n s o f H i g h e r E d u c a t i o n , 1 9 8 1 , " F e S u r v e y , H E G I S X V I , i n u n p a c k e d f o r m a t . ) R A C E / E T H . I n d i c a t e s t h e p r e d o m i n a n t r a c e / e t h n i c d e s i g n a t i o n o f t h e s t u d e n t b o d y . C a t e g o r i e s B ( B l a c k N o n - H i s p a n i c ) , A / P I ( A s i a n o r P a c i f i c I s l a n d e r ) , a n d W ( W h i t e N o n - H i s p a n i c O t h e r ) i n d i c a t e t h a t t h e d e s i g n a t e d m i n o r i t y g r o u p ( B , A / P I , o r W ) i s t h e p r e d o m i n a n t r a c e / e t h n i c g r o u p o n c a m p u s a n d t h a t t h e g r o u p i s 5 0 % o r g r e a t e r o f t h e t o t a l e n r o l l m e n t . C a t e g o r y W < 5 0 % i n d i c a t e s t h a t t h e p r e d o m i n a n t g r o u p ( W h i t e N o n - H i s p a n i c O t h e r ) i s t h e l a r g e s t s i n g l e g r o u p , b u t t h a t i t i s l e s s t h a n 5 0 % o f t h e t o t a l e n r o l l m e n t . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . " F a l l E n r o l l m e n t i n I n s t i t u t i o n s o f H i g h e r E d u c a t i o n , 1 9 8 1 , " F e S u r v e y , H E G I S X V I , i n u n p a c k e d f o r m a t . ) Q u a n t i t a t i v e V a r i a b l e s S T D H D C T . I n d i c a t e s t h e F a l l 1 9 8 1 t o t a l s t u d e n t h e a d c o u n t ( u n d e r g r a d u a t e , f i r s t - p r o f e s s i o n a l , g r a d u a t e , a n d u n c l a s s i f i e d ) . I n c l u d e s b o t h f u l l - t i m e ( t h a t i s , s t u d e n t s w h o s e a c a d e m i c l o a d o f c o u r s e w o r k o r o t h e r r e q u i r e d a c i t i v i t y i s a t l e a s t 7 5 % o f t h e i n s t i t u t i o n ' s n o r m a l f u l l - t i m e l o a d ) a n d p a r t — t i m e e n r o l l e d s t u d e n t s . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . 3 4 7 A p p e n d i x B ( C o n t ' d . ) . " F a l l E n r o l l m e n t i n I n s t i t u t i o n s o f H i g h e r E d u c a t i o n , 1 9 8 1 , “ F e S u r v e y , H E G I S X V I , i n u n p a c k e d f o r m a t . ) S T D F T E . I n d i c a t e s t h e F a l l 1 9 8 1 t o t a l f u l l - t i m e e q u i v a l e n t ( F T E ) s t u d e n t s . I n c l u d e s a l l f u l l - t i m e s t u d e n t s ( a s d e f i n e d i n S T D H D C T a b o v e ) a n d p a r t - t i m e s t u d e n t s c o n v e r t e d i n t o f u l l - t i m e e q u i v a l e n t s b y o n e o f t h e f o l l o w i n g m e t h o d s : 1 ) a m e t h o d a l r e a d y e m p l o y e d i n a n i n s t i t u t i o n t o c o m p u t e F T E ' s f o r s o m e o t h e r p u r p o s e ; 2 ) s u m m i n g t h e c r e d i t h o u r s f o r p a r t - t i m e s t u d e n t s a n d d i v i d i n g b y t h e n o r m a l f u l l - t i m e c r e d i t h o u r l o a d , u s u a l l y d e t e r m i n e d b y d i v i d i n g t h e t o t a l n u m b e r o f c r e d i t s r e q u i r e d f o r c o m p l e t i n g t h e p r o g r a m b y t h e n u m b e r o f t e r m s n o r m a l l y r e q u i r e d t o o b t a i n t h e m ( f o r m o s t i n s t i t u t i o n s , t h i s i s 1 5 c r e d i t - h o u r s ) : o r 3 ) a s s i g n i n g a f r a c t i o n a l v a l u e o f f u l l - t i m e t o e a c h p a r t - t i m e s t u d e n t a p p r o p r i a t e t o t h e i n s t i t u t i o n , s u c h a s , 1 / 4 , 1 / 3 , o r 1 / 2 . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . " F a l l E n r o l l m e n t i n I n s t i t u t i o n s o f H i g h e r E d u c a t i o n , 1 9 8 1 , " F e S u r v e y , H E G I S X V I , i n u n p a c k e d f o r m a t . ) S G H D C T . I n d i c a t e s t h e F a l l 1 9 8 1 t o t a l g r a d u a t e s t u d e n t h e a d c o u n t . G r a d u a t e s t u d e n t s i n c l u d e : ( 1 ) f i r s t - p r o f e s s i o n a l s t u d e n t s ( t h a t i s , s t u d e n t s w h o a r e e n r o l l e d i n a p r o f e s s i o n a l s c h o o l o r p r o g r a m , s u c h a s , m e d i c i n e , l a w , o r t h e o l o g y , w h i c h r e q u i r e s a t l e a s t t w o a c a d e m i c y e a r s o f c o l l e g e w o r k f o r e n t r a n c e a n d a t o t a l o f a t l e a s t s i x y e a r s f o r a d e g r e e ) : ( 2 ) a l l e n r o l l e d s t u d e n t s w h o a l r e a d y h o l d t h e b a c h e l o r ' s o r f i r s t - p r o f e s s i o n a l d e g r e e , o r t h e e q u i v a l e n t , a n d w h o a r e w o r k i n g t o w a r d a m a s t e r ' s o r d o c t o r ' s d e g r e e : a n d ( 3 ) U n c l a s s i f i e d p o s t - b a c c a l a u r e a t e l e v e l s t u d e n t s , i n c l u d i n g , b u t n o t l i m i t e d t o , " s p e c i a l ” a n d o t h e r s t u d e n t s w h o a r e n o t c a n d i d a t e s f o r a d e g r e e o r o t h e r f o r m a l a w a r d , b u t w h o a r e t a k i n g f i r s t - p r o f e s s i o n a l o r g r a d u a t e c o u r s e s f o r c r e d i t i n r e g u l a r c l a s s e s w i t h o t h e r s t u d e n t s . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . " F a l l E n r o l l m e n t i n I n s t i t u t i o n s o f H i g h e r E d u c a t i o n , 1 9 8 1 , " F e S u r v e y , H E G I S X V I , i n u n p a c k e d f o r m a t . ) S G H D C T F T . I n d i c a t e s t h e F a l l 1 9 8 1 t o t a l g r a d u a t e s t u d e n t h e a d c o u n t ( a s d e f i n e d i n S G H D C T a b o v e ) , w h o a r e f u l l - t i m e ( t h a t i s , w h o s e a c a d e m i c c o u r s e l o a d i s a t l e a s t 7 5 % o f a n i n s t i t u t i o n ' s n o r m a l f u l l - t i m e l o a d ) . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . 3 4 8 A p p e n d i x B ( C o n t ' d . ) . " F a l l E n r o l l m e n t i n I n s t i t u t i o n s o f H i g h e r E d u c a t i o n , 1 9 8 1 , " F e S u r v e y , H E G I S X V I , i n u n p a c k e d f o r m a t . ) D E G S T O T . I n d i c a t e s t h e t o t a l n u m b e r o f m a s t e r ' s , f i r s t - p r o f e s s i o n a l , a n d d o c t o r ’ s d e g r e e s c o n f e r r e d b e t w e e n J u l y 1 , 1 9 8 1 a n d J u n e 3 0 , 1 9 8 2 . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . " D e g r e e s a n d O t h e r F o r m a l A w a r d s C o n f e r r e d B e t w e e n J u l y 1 , 1 9 8 1 a n d J u n e 3 0 , 1 9 8 2 , " E D S u r v e y , H E G I S X V I I . ) D E G S M A S . I n d i c a t e s t h e t o t a l n u m b e r o f m a s t e r ' s d e g r e e s c o n f e r r e d b e t w e e n J u l y 1 , 1 9 8 1 a n d J u n e 3 0 , 1 9 8 2 i n l i b e r a l a r t s a n d s c i e n c e s . T h e d e g r e e i s c u s t o m a r i l y g r a n t e d u p o n s u c c e s s f u l c o m p l e t i o n o f a t l e a s t o n e , b u t n o t m o r e t h a n t w o , y e a r s o f w o r k b e y o n d t h e b a c h e l o r ' s d e g r e e . I n c l u d e s t h o s e d e g r e e s r e q u i r e d i n f i e l d s , s u c h a s L i b r a r y S c i e n c e , H o s p i t a l A d m i n i s t r a t i o n , a n d S o c i a l W o r k a n d f o r e m p l o y m e n t a t t h e p r o f e s s i o n a l l e v e l , a s w e l l a s , t h e E d u c a t i o n S p e c i a l i s t d e g r e e . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . " D e g r e e s a n d O t h e r F o r m a l A w a r d s C o n f e r r e d B e t w e e n J u l y 1 , 1 9 8 1 a n d J u n e 3 0 , 1 9 8 2 , " E D S u r v e y , H E G I S X V I I . ) D E G S F P . I n d i c a t e s t h e t o t a l n u m b e r o f f i r s t - p r o f e s s i o n a l d e g r e e s c o n f e r r e d b e t w e e n J u l y 1 , 1 9 8 1 a n d J u n e 3 0 , 1 9 8 2 i n t h e f o l l o w i n g t e n N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s ( N C E S ) r e c o g n i z e d f i e l d s : D e n t i s t r y ( D . D . S . o r D . M . D . ) , M e d i c i n e ( M . D . ) , O p t o m e t r y ( O . D . ) , O s t e o p a t h i c m e d i c i n e ( D . O . ) , P h a r m a c y ( D . P h a r . ) , P o d i a t r y ( P o d . D . o r D . P . ) o r p o d i a t r i c m e d i c i n e ( D . P . M . ) , V e t e r i n a r y m e d i c i n e ( D . V . M . ) , C h i r o p r a c t i c , ( D . C . o r D . C . M . ) , L a w ( L L . B . o r J . D . ) , a n d T h e o l o g y ( B . D . , M . D i v . , M . H . L . , o r o t h e r g e n e r a l t h e o l o g i c a l d e g r e e s ) . S u c h d e g r e e s m e e t t h e f o l l o w i n g c r i t e r i a : 1 ) s i g n i f y t h e c o m p l e t i o n o f t h e a c a d e m i c r e q u i r e m e n t s t o b e g i n p r a c t i c e i n t h e p r o f e s s i o n : 2 ) a r e b a s e d o n a p r o g r a m w h i c h r e q u i r e s a t l e a s t t w o y e a r s o f c o l l e g e w o r k p r i o r t o e n t r a n c e : a n d 3 ) r e q u i r e a t o t a l o f a t l e a s t s i x y e a r s o f c o l l e g e w o r k t o c o m p l e t e t h e p r o g r a m , i n c l u d i n g p r i o r r e q u i r e d c o l l e g e w o r k p l u s t h e l e n g t h o f t h e p r o f e s s i o n a l c u r r i c u l u m i t s e l f . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . " D e g r e e s a n d O t h e r F o r m a l A w a r d s C o n f e r r e d B e t w e e n J u l y 1 , 1 9 8 1 a n d J u n e 3 0 , 1 9 8 2 , “ E D S u r v e y , H E G I S X V I I . ) 3 4 9 A p p e n d i x B ( C o n t ' d . ) . D E G S D O C . I n d i c a t e s t h e t o t a l n u m b e r o f d o c t o r ' s d e g r e e s ( f o r e x a m p l e , D o c t o r o f E d u c a t i o n , D o c t o r o f J u r i d i c a l S c i e n c e , D o c t o r o f P u b l i c H e a l t h , a n d t h e P h . D . d e g r e e i n a n y f i e l d ( f o r e x a m p l e , A g r o n o m y , F o o d T e c h n o l o g y , E d u c a t i o n , E n g i n e e r i n g , P u b l i c A d m i n i s t r a t i o n , O p h t h a l m o l o g y , a n d R a d i o l o g y ) c o n f e r r e d b e t w e e n J u l y 1 , 1 9 8 1 a n d J u n e 3 0 , 1 9 8 2 . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . " D e g r e e s a n d O t h e r F o r m a l A w a r d s C o n f e r r e d B e t w e e n J u l y 1 , 1 9 8 1 a n d J u n e 3 0 , 1 9 8 2 , " E D S u r v e y , H E G I S X V I I . ) F A C T O T . I n d i c a t e s t h e t o t a l n u m b e r o f f u l l - t i m e 1 9 8 1 - 8 2 a c a d e m i c y e a r i n s t r u c t i o n a l f a c u l t y ( t h a t i s , f a c u l t y w h o s e m a j o r r e g u l a r a s s i g n m e n t i s i n s t r u c t i o n ) , a s d e f i n e d b y e a c h i n s t i t u t i o n . F u l l - t i m e d e n o t e s b o t h f a c u l t y w h o t e a c h o n a 9 — m o n t h ( t h a t i s , t w o s e m e s t e r s , t h r e e q u a r t e r s , t w o t r i m e s t e r s , t w o f o u r - m o n t h s e s s i o n s , o r t h e e q u i v a l e n t ) o r 1 2 - m o n t h ( t h a t i s , t h e e n t i r e y e a r w h i c h u s u a l l y c o n s i s t s o f e l e v e n m o n t h s o f t e a c h i n g a n d o n e m o n t h o f v a c a t i o n ) b a s i s . I n c l u d e s f a c u l t y w h o a r e o n r e l e a s e d t i m e f o r r e s e a r c h , o n s a b b a t i c a l l e a v e ( b u t , n o t t h e i r r e p l a c e m e n t s ) , o r o n l e a v e w i t h o u t p a y a n d c h a i r m e n o f d e p a r t m e n t s ( i f t h e y h a v e n o o t h e r a d m i n i s t r a t i v e t i t l e a n d h o l d a f a c u l t y r a n k ) . D o e s n o t i n c l u d e i n s t r u c t i o n a l f a c u l t y : w h o a r e i n p r e c l i n i c a l a n d c l i n i c a l m e d i c i n e : w h o s e s e r v i c e s a r e v a l u e d b y b o o k k e e p i n g e n t r i e s ( r a t h e r t h a n b y f u l l c a s h t r a n s a c t i o n s , s u c h a s m e m b e r s o f r e l i g i o u s o r d e r s ) : w h o a r e m e m b e r s o f m i l i t a r y o r g a n i z a t i o n s a n d w h o a r e p a i d o n a d i f f e r e n t s a l a r y s c a l e t h a n c i v i l i a n e m p l o y e e s ; w h o a r e a d m i n i s t r a t i v e o f f i c e r s ( f o r e x a m p l e , D e a n o f I n s t r u c t i o n , A c a d e m i c D e a n , D e a n o f F a c u l t y , D e a n o f S t u d e n t s , L i b r a r i a n , R e g i s t r a r , a n d C o a c h ) , e v e n t h o u g h t h e y m a y d e v o t e p a r t o f t h e i r t i m e t o c l a s s r o o m i n s t r u c t i o n : o r w h o a r e u n d e r g r a d u a t e o r g r a d u a t e s t u d e n t s a s s i s t i n g i n t h e i n s t r u c t i o n o f c o u r s e s ( f o r e x a m p l e , t e a c h i n g a s s i s t a n t s , t e a c h i n g a s s o c i a t e s , a n d t e a c h i n g f e l l o w s ) . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . " S a l a r i e s , T e n u r e , a n d F r i n g e B e n e f i t s o f F u l l - T i m e I n s t r u c t i o n a l F a c u l t y , 1 9 8 1 - 8 2 , " S a l . S u r v e y , H E G I S X V I , U n p a c k e d - d a t a n o t s u p p r e s s e d . ) F A C T E N . I n d i c a t e s t h e t o t a l n u m b e r o f f u l l - t i m e 1 9 8 1 - 8 2 a c a d e m i c y e a r i n s t r u c t i o n a l f a c u l t y ( a s d e f i n e d i n F A C T O T a b o v e ) w h o a r e t e n u r e d . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . " S a l a r i e s , T e n u r e , 3 5 0 A p p e n d i x B ( C o n t ' d . ) . a n d F r i n g e B e n e f i t s o f F u l l - T i m e I n s t r u c t i o n a l F a c u l t y , 1 9 8 1 — 8 2 , " S a l . S u r v e y , H E G I S X V I , U n p a c k e d - d a t a n o t s u p p r e s s e d . ) F T E N P R F . I n d i c a t e s t h e t o t a l n u m b e r o f f u l l - t i m e 1 9 8 1 - 8 2 a c a d e m i c y e a r t e n u r e d i n s t r u c t i o n a l f a c u l t y ( a s d e f i n e d i n F A C T E N a b o v e ) w h o h o l d t h e a c a d e m i c r a n k o f P r o f e s s o r . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . " S a l a r i e s , T e n u r e , a n d F r i n g e B e n e f i t s o f F u l l - T i m e I n s t r u c t i o n a l F a c u l t y , 1 9 8 1 - 8 2 , " S a l . S u r v e y , H E G I S X V I , U n p a c k e d - d a t a n o t s u p p r e s s e d . ) F T E N A S C . I n d i c a t e s t h e t o t a l n u m b e r o f f u l l - t i m e 1 9 8 1 - 8 2 a c a d e m i c y e a r t e n u r e d i n s t r u c t i o n a l f a c u l t y ( a s d e f i n e d i n F A C T E N a b o v e ) w h o h o l d t h e a c a d e m i c r a n k o f A s s o c i a t e P r o f e s s o r . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . “ S a l a r i e s , T e n u r e , a n d F r i n g e B e n e f i t s o f F u l l - T i m e I n s t r u c t i o n a l F a c u l t y , 1 9 8 1 - 8 2 , " S a l . S u r v e y , H E G I S X V I , U n p a c k e d - d a t a n o t s u p p r e s s e d . ) F T E N A S T . I n d i c a t e s t h e t o t a l n u m b e r o f f u l l - t i m e 1 9 8 1 - 8 2 a c a d e m i c y e a r t e n u r e d i n s t r u c t i o n a l f a c u l t y ( a s d e f i n e d i n F A C T E N a b o v e ) w h o h o l d t h e a c a d e m i c r a n k o f A s s i s t a n t P r o f e s s o r . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . “ S a l a r i e s , T e n u r e , a n d F r i n g e B e n e f i t s o f F u l l - T i m e I n s t r u c t i o n a l F a c u l t y , 1 9 8 1 - 8 2 , ” S a l . S u r v e y , H E G I S X V I , U n p a c k e d - d a t a n o t s u p p r e s s e d . ) C O M P P R F A . I n d i c a t e s t h e a v e r a g e 1 9 8 1 - 8 2 a c a d e m i c y e a r ( 9 - m o n t h ) c o m p e n s a t i o n ( s a l a r y p l u s b e n e f i t s ) o f t e n u r e d p r o f e s s o r s . ( S o u r c e : A m e r i c a n A s s o c i a t i o n o f U n i v e r s i t y P r o f e s s o r s . " T h e A n n u a l R e p o r t o n t h e E c o n o m i c S t a t u s o f t h e P r o f e s s i o n , 1 9 8 1 - 8 2 , “ A c a d e m e S p e c i a l I s s u e , J u l y - A g g u s t , 1 9 8 2 . ) C O M P A S C A . I n d i c a t e s t h e a v e r a g e 1 9 8 1 - 8 2 a c a d e m i c y e a r ( 9 - m o n t h ) c o m p e n s a t i o n ( s a l a r y p l u s b e n e f i t s ) o f t e n u r e d A s s o c i a t e P r o f e s s o r s . ( S o u r c e : A m e r i c a n A s s o c i a t i o n o f U n i v e r s i t y P r o f e s s o r s . " T h e A n n u a l R e p o r t o n t h e E c o n o m i c S t a t u s o f t h e P r o f e s s i o n , 1 9 8 1 - 8 2 , " A c a d e m e , S p e c i a l I s s u e , J u l y - A u g u s t , 1 9 8 2 . ) C O M P A S T A . I n d i c a t e s t h e a v e r a g e 1 9 8 1 - 8 2 a c a d e m i c y e a r ( 9 - m o n t h ) c o m p e n s a t i o n ( s a l a r y p l u s b e n e f i t s ) o f t e n u r e d A s s i s t a n t P r o f e s s o r s . ( S o u r c e : A m e r i c a n A s s o c i a t i o n o f U n i v e r s i t y P r o f e s s o r s . " T h e A n n u a l A ! ( U H A p p e n d i x B ( C o n t ' d . ) . R e p o r t o n t h e E c o n o m i c S t a t u s o f t h e P r o f e s s i o n , 1 9 8 1 - 8 2 , " A c a d e m e , S p e c i a l I s s u e , J u l y - A u g u s t , 1 9 8 2 . ) e g g . I n d i c a t e s t h e a g e ( i n y e a r s ) o f a n i n s t i t u t i o n a s c a l c u l a t e d b y s u b t r a c t i n g t h e y e a r a n i n s t i t u t i o n w a s e s t a b l i s h e d f r o m t h e y e a r , 1 9 8 2 . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . “ F a l l E n r o l l m e n t i n I n s t i t u t i o n s o f H i g h e r E d u c a t i o n , 1 9 8 1 , " F e S u r v e y , H E G I S X V I , i n u n p a c k e d f o r m a t . ) A E N D O W . I n d i c a t e s t h e m a r k e t v a l u e , o r , i f u n a v a i l a b l e , t h e v a l u e a s s i g n e d b y a n i n s t i t u t i o n i n r e p o r t i n g m a r k e t v a l u e s i n t h e a n n y a l f i n a n c i a l r e p o r t , o f a l l e n d o w m e n t a s s e t s a t t h e e n d o f F i s c a l Y e a r 1 9 8 1 - 8 2 . E n d o w m e n t a s s e t s a r e t h e a m o u n t s o f g r o s s i n v e s t m e n t s o f e n d o w m e n t , t e r m e n d o w m e n t , a n d q u a s i - e n d o w m e n t ( f u n d s f u n c t i o n i n g a s e n d o w m e n t ) . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . " F i n a n c i a l S t a t i s t i c s o f I n s t i t u t i o n s o f H i g h e r E d u c a t i o n f o r F i s c a l Y e a r E n d i n g 1 9 8 2 , " F i n . S u r v e y , H E G I S X V I I , S i g n e d V e r s i o n , F i n a l T a p e . ) A B L D G . I n d i c a t e s t h e t o t a l b o o k v a l u e ( t h a t i s , t h e d o l l a r a m o u n t o f v a l u e a s s h o w n o n i n s t i t u t i o n a l a c c o u n t i n g r e c o r d s ) o f a l l b u i l d i n g s o w n e d , r e n t e d , o r u t i l i z e d b y a n i n s t i t u t i o n a t t h e e n d o f F i s c a l Y e a r 1 9 8 1 - 8 2 . I n c l u d e s a m o u n t s f o r b u i l d i n g s , n o t k e p t o n t h e b o o k s o f a c c o u n t o f t h e i n s t i t u t i o n , b u t w h i c h a r e k e p t i n t h e r e c o r d s o f a n o t h e r o r g a n i z a t i o n o r a g e n c y f o r t h e i n s t i t u t i o n ( f o r e x a m p l e , w h e n b u i l d i n g r e c o r d s o f a s t a t e s c h o o l a r e m a i n t a i n e d b y a s t a t e a g e n c y ) . D o e s n o t i n c l u d e b u i l d i n g v a l u e s w h i c h a r e a p a r t o f e n d o w m e n t o r o t h e r c a p i t a l f u n d i n v e s t m e n t s i n r e a l e s t a t e o r c o n s t r u c t i o n i n p r o g r e s s ( c o m p l e t e d b u i l d i n g s a r e a d d e d w h e n a c c e p t e d ) . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . “ F i n a n c i a l S t a t i s t i c s o f I n s t i t u t i o n s o f H i g h e r E d u c a t i o n f o r F i s c a l Y e a r E n d i n g 1 9 8 2 , “ F i n . S u r v e y , H E G I S X V I I , S i g n e d V e r s i o n , F i n a l T a p e . ) A E Q U I P . I n d i c a t e s t h e t o t a l b o o k v a l u e ( t h a t i s , t h e d o l l a r a m o u n t o f v a l u e a s s h o w n o n i n s t i t u t i o n a l a c c o u n t i n g r e c o r d s ) o f a l l e q u i p m e n t o w n e d , r e n t e d , o r u t i l i z e d b y a n i n s t i t u t i o n a t t h e e n d o f F i s c a l Y e a r 1 9 8 1 - 8 2 . I n c l u d e s a m o u n t s f o r e q u i p m e n t , n o t k e p t o n t h e b o o k s o f a c c o u n t o f t h e i n s t i t u t i o n , b u t w h i c h a r e k e p t i n t h e r e c o r d s o f a n o t h e r o r g a n i z a t i o n o r a g e n c y 3 5 2 A p p e n d i x B ( C o n t ' d . ) . f o r t h e i n s t i t u t i o n ( f o r e x a m p l e , w h e n e q u i p m e n t r e c o r d s o f a s t a t e s c h o o l a r e m a i n t a i n e d b y a s t a t e a g e n c y ) . D o e s n o t i n c l u d e b u i l d i n g v a l u e s w h i c h a r e a p a r t o f e n d o w m e n t o r o t h e r c a p i t a l f u n d i n v e s t m e n t s i n r e a l e s t a t e . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . " F i n a n c i a l S t a t i s t i c s o f I n s t i t u t i o n s o f H i g h e r E d u c a t i o n f o r F i s c a l Y e a r E n d i n g 1 9 8 2 , ” F i n . S u r v e y , H E G I S X V I I , S i g n e d V e r s i o n , F i n a l T a p e . ) A L V O L S . I n d i c a t e s t h e t o t a l n u m b e r o f l i b r a r y v o l u m e s o r b o o k s t o c k h e l d b y a n i n s t i t u t i o n a t t h e e n d o f F i s c a l Y e a r 1 9 8 1 - 8 2 . I n c l u d e s g o v e r n m e n t d o c u m e n t s ( n o t i n s e p a r a t e c o l l e c t i o n s ) a n d b o u n d p e r i o d i c a l s . D o e s n o t i n c l u d e m i c r o f o r m s . ( S o u r c e : A s s o c i a t i o n o f C o l l e g e & R e s e a r c h L i b r a r i e s . A C R L U n i v e r s i t y L i b r a r y S t a t i s t i c s 1 9 8 1 - 1 9 8 2 , C h i c a g o , I l l i n o i s , 1 9 8 3 . ) A L S U B S . I n d i c a t e s t h e t o t a l n u m b e r o f t i t l e s o f c u r r e n t p e r i o d i c a l s u b s c r i p t i o n s h e l d b y a n i n s t i t u t i o n i n F a l l 1 9 8 2 . ( S o u r c e : A s s o c i a t i o n o f C o l l e g e & R e s e a r c h L i b r a r i e s . A C R L U n i v e r s i t y L i b r a r y S t a t i s t i c s 1 9 8 1 - 1 9 8 2 , C h i c a g o , I l l i n o i s , 1 9 8 3 . ) R T O T . I n d i c a t e s a l l c u r r e n t f u n d s r e v e n u e s , i n c l u d i n g a l l u n r e s t r i c t e d g i f t s a n d o t h e r u n r e s t r i c t e d r e v e n u e s e a r n e d d u r i n g F i s c a l Y e a r 1 9 8 1 - 8 2 a n d r e s t r i c t e d c u r r e n t f u n d s ( t o t h e e x t e n t t h a t s u c h f u n d s w e r e e x p e n d e d f o r F i s c a l Y e a r 1 9 8 1 - 8 2 o p e r a t i n g p u r p o s e s ) . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . ” F i n a n c i a l S t a t i s t i c s o f I n s t i t u t i o n s o f H i g h e r E d u c a t i o n f o r F i s c a l Y e a r E n d i n g 1 9 8 2 , " F i n . S u r v e y , H E G I S X V I I , S i g n e d V e r s i o n , F i n a l T a p e . ) R G V T G C . I n d i c a t e s a l l r e v e n u e r e c e i v e d ( i n c l u d i n g r e i m b u r s a b l e e x p e n d i t u r e a m o u n t s ) d u r i n g F i s c a l Y e a r 1 9 8 1 - 8 2 f o r s p e c i f i c r e s e a r c h p r o j e c t s o r o t h e r t y p e s o f p r o g r a m s ( f o r e x a m p l e , t r a i n i n g p r o g r a m s a n d s i m i l a r a c t i v i t i e s ) f r o m r e s t r i c t e d a n d u n r e s t r i c t e d f e d e r a l , s t a t e , a n d l o c a l g o v e r n m e n t g r a n t s a n d c o n t r a c t s . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . " F i n a n c i a l S t a t i s t i c s o f I n s t i t u t i o n s o f H i g h e r E d u c a t i o n f o r F i s c a l Y e a r E n d i n g 1 9 8 2 , " F i n . S u r v e y , H E G I S X V I I , S i g n e d V e r s i o n , F i n a l T a p e . ) R P R V G G C . I n d i c a t e s a l l r e v e n u e r e c e i v e d d u r i n g F i s c a l Y e a r 1 9 8 1 - 8 2 f r o m p r i v a t e r e s t r i c t e d a n d u n r e s t r i c t e d g i f t s , g r a n t s , a n d c o n t r a c t s t h a t a r e d i r e c t l y r e l a t e d 3 5 3 A p p e n d i x B ( C o n t ' d . ) . t o i n s t r u c t i o n , r e s e a r c h , a n d p u b l i c s e r v i c e ( f o r e x a m p l e , m o n e y s f r o m a f o r e i g n g o v e r n m e n t ) . P r i v a t e g i f t s a n d g r a n t s i n c l u d e r e v e n u e s f r o m p r i v a t e d o n o r s f o r w h i c h n o l e g a l c o n s i d e r a t i o n i s i n v o l v e d . P r i v a t e c o n t r a c t s i n c l u d e t h o s e f u n d s f o r w h i c h s p e c i f i c g o o d s a n d s e r v i c e s m u s t b e p r o v i d e d t o t h e f u n d e r a s s t i p u l a t i o n f o r r e c e i p t o f t h e f u n d s . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . “ F i n a n c i a l S t a t i s t i c s o f I n s t i t u t i o n s o f H i g h e r E d u c a t i o n f o r F i s c a l Y e a r E n d i n g 1 9 8 2 , " F i n . S u r v e y , H E G I S X V I I , S i g n e d V e r s i o n , F i n a l T a p e . ) R T U I T F E . I n d i c a t e s a l l r e v e n u e e a r n e d f r o m t u i t i o n a n d f e e s a s s e s s e d a g a i n s t s t u d e n t s f o r F i s c a l Y e a r 1 9 8 1 - 8 2 o p e r a t i n g p u r p o s e s . I n c l u d e s t u i t i o n a n d f e e r e m i s s i o n s o r e x e m p t i o n s , e v e n t h o u g h t h e r e i s n o i n t e n t i o n o f c o l l e c t i n g t h e m f r o m t h e s t u d e n t , a n d t u i t i o n s a n d f e e s w h i c h a r e r e m i t t e d t o s t a t e s a s a n o f f s e t t o s t a t e a p p r o p r i a t i o n s . D o e s n o t i n c l u d e c h a r g e s f o r r o o m , b o a r d , a n d o t h e r s e r v i c e s r e n d e r e d b y a u x i l i a r y e n t e r p r i s e s . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . " F i n a n c i a l S t a t i s t i c s o f I n s t i t u t i o n s o f H i g h e r E d u c a t i o n f o r F i s c a l Y e a r E n d i n g 1 9 8 2 , ” F i n . S u r v e y , H E G I S X V I I , S i g n e d V e r s i o n , F i n a l T a p e . ) R A P P R O P . I n d i c a t e s a l l r e v e n u e ( i n c l u d i n g r e v e n u e r e c e i v e d t h r o u g h s t a t e c h a n n e l s ) r e c e i v e d d u r i n g F i s c a l Y e a r 1 9 8 1 - 8 2 f r o m F e d e r a l S t a t e , a n d L o c a l g o v e r n m e n t a p p r o p r i a t i o n s . I n c l u d e s a l l a m o u n t s r e c e i v e d f r o m o r m a d e a v a i l a b l e t o a n i n s t i t u t i o n t h r o u g h a c t s o f a l e g i s l a t i v e b o d y ( e x c e p t g r a n t s o r c o n t r a c t s ) w h i c h a r e f o r t h e p u r p o s e o f m e e t i n g c u r r e n t o p e r a t i n g e x p e n s e s a n d n o t f o r s p e c i f i c p r o j e c t s o r p r o g r a m s ( f o r e x a m p l e , F e d e r a l l a n d - g r a n t a p p r o p r i a t i o n s a n d F e d e r a l r e v e n u e s h a r i n g ) . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . " F i n a n c i a l S t a t i s t i c s o f I n s t i t u t i o n s o f H i g h e r E d u c a t i o n f o r F i s c a l Y e a r E n d i n g 1 9 8 2 , ” F i n . S u r v e y , H E G I S X V I I , S i g n e d V e r s i o n , F i n a l T a p e . ) E I N S T R . I n d i c a t e s a l l F i s c a l Y e a r 1 9 8 1 - 8 2 u n r e s t r i c t e d a n d r e s t r i c t e d c u r r e n t f u n d s e x p e n d i t u r e s f o r i n s t r u c t i o n ( t h a t i s , f o r b o t h c r e d i t a n d n o n - c r e d i t a c t i v i t i e s ) . I n c l u d e s e x p e n d i t u r e s o f c o l l e g e s , s c h o o l s , d e p a r t m e n t s , a n d o t h e r i n s t r u c t i o n a l d i v i s i o n s o f a n i n s t i t u t i o n a n d e x p e n d i t u r e s f o r d e p a r t m e n t a l r e s e a r c h a n d p u b l i c s e r v i c e w h i c h a r e n o t s e p a r a t e l y 3 5 4 A p p e n d i x B ( C o n t ' d . ) . b u d g e t e d . E x a m p l e s a r e e x p e n d i t u r e s f o r g e n e r a l a c a d e m i c i n s t r u c t i o n , o c c u p a t i o n a l a n d v o c a t i o n a l i n s t r u c t i o n , s p e c i a l s e s s i o n i n s t r u c t i o n , c o m m u n i t y e d u c a t i o n , p r e p a r a t o r y a n d a d u l t b a s i c e d u c a t i o n , a n d r e m e d i a l a n d t u t o r i a l i n s t r u c t i o n c o n d u c t e d b y a t e a c h i n g f a c u l t y f o r a n i n s t i t u t i o n ' s s t u d e n t s . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . " F i n a n c i a l S t a t i s t i c s o f I n s t i t u t i o n s o f H i g h e r E d u c a t i o n f o r F i s c a l Y e a r E n d i n g 1 9 8 2 , “ F i n . S u r v e y , H E G I S X V I I , S i g n e d V e r s i o n , F i n a l T a p e . ) E A C A D S P . I n d i c a t e s a l l F i s c a l Y e a r 1 9 8 1 - 8 2 u n r e s t r i c t e d a n d r e s t r i c t e d c u r r e n t f u n d s e x p e n d i t u r e s f o r a c a d e m i c s u p p o r t ( t h a t i s , f o r s u p p o r t s e r v i c e s t h a t a r e a n i n t e g r a l p a r t o f t h e i n s t i t u t i o n ' s p r i m a r y m i s s i o n s o f i n s t r u c t i o n , r e s e a r c h , a n d p u b l i c s e r v i c e ) . I n c l u d e s e x p e n d i t u r e s f o r m u s e u m s , g a l l e r i e s , a u d i o / v i s u a l s e r v i c e s , a c a d e m i c c o m p u t i n g s u p p o r t , a n c i l l a r y s u p p o r t , a c a d e m i c a d m i n i s t r a t i o n , p e r s o n n e l d e v e l o p m e n t , a n d c o u r s e a n d c u r r i c u l u m d e v e l o p m e n t . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . " F i n a n c i a l S t a t i s t i c s o f I n s t i t u t i o n s o f H i g h e r E d u c a t i o n f o r F i s c a l Y e a r E n d i n g 1 9 8 2 , " F i n . S u r v e y , H E G I S X V I I , S i g n e d V e r s i o n , F i n a l T a p e . ) E P L N T . I n d i c a t e s a l l F i s c a l Y e a r 1 9 8 1 - 8 2 u n r e s t r i c t e d a n d r e s t r i c t e d c u r r e n t f u n d s e x p e n d i t u r e s f o r o p e r a t i o n a n d m a i n t e n a n c e o f a n i n s t i t u t i o n ' s p l a n t ( t h a t i s , e x p e n d i t u r e s f o r o p e r a t i o n s e s t a b l i s h e d t o p r o v i d e s e r v i c e a n d m a i n t e n a n c e r e l a t e d t o c a m p u s g r o u n d s a n d f a c i l i t i e s u s e d f o r e d u c a t i o n a l a n d g e n e r a l p u r p o s e s ) . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . " F i n a n c i a l S t a t i s t i c s o f I n s t i t u t i o n s o f H i g h e r E d u c a t i o n f o r F i s c a l Y e a r E n d i n g 1 9 8 2 , “ F i n . S u r v e y , H E G I S X V I I , S i g n e d V e r s i o n , F i n a l T a p e . ) E R E S . I n d i c a t e s a l l F i s c a l Y e a r 1 9 8 1 - 8 2 u n r e s t r i c t e d a n d r e s t r i c t e d c u r r e n t f u n d s e x p e n d i t u r e s f o r r e s e a r c h ( t h a t i s , e x p e n d i t u r e s f o r a c t i v i t i e s s p e c i f i c a l l y o r g a n i z e d t o p r o d u c e r e s e a r c h o u t c o m e s a n d c o m m i s s i o n e d b y a n a g e n c y , e i t h e r e x t e r n a l t o a n i n s t i t u t i o n , o r s e p a r a t e l y b u d g e t e d b y a n o r g a n i z a t i o n a l u n i t w i t h i n a n i n s t i t u t i o n ) . D o e s n o t i n c l u d e r e s e a r c h s p o n s o r e d p r o g r a m s , s u c h a s t r a i n i n g p r o g r a m s . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . " F i n a n c i a l S t a t i s t i c s o f I n s t i t u t i o n s o f H i g h e r E d u c a t i o n f o r 3 5 5 A p p e n d i x B ( C o n t ' d . ) . F i s c a l Y e a r E n d i n g 1 9 8 2 , “ F i n . S u r v e y , H E G I S X V I I , S i g n e d V e r s i o n , F i n a l T a p e . ) E S T D S V C . I n d i c a t e s a l l F i s c a l Y e a r 1 9 8 1 - 8 2 u n r e s t r i c t e d a n d r e s t r i c t e d c u r r e n t f u n d s e x p e n d i t u r e s f o r s t u d e n t s e r v i c e s . I n c l u d e s e x p e n d i t u r e s f o r a d m i s s i o n s , r e g i s t r a r a c t i v i t i e s , a n d a c t i v i t i e s w h o s e p r i m a r y p u r p o s e i s t o c o n t r i b u t e t o s t u d e n t s ' e m o t i o n a l a n d p h y s i c a l w e l l - b e i n g a n d t o t h e i r i n t e l l e c t u a l , c u l t u r a l , a n d s o c i a l d e v e l o p m e n t o u t s i d e t h e c o n t e x t o f t h e f o r m a l i n s t r u c t i o n p r o g r a m . E x a m p l e s a r e c a r e e r g u i d a n c e , c o u n s e l i n g , f i n a n c i a l a i d a d m i n i s t r a t i o n , s t u d e n t h e a l t h s e r v i c e s ( i f n o t o p e r a t e d a s a s e l f - s u p p o r t i n g a u x i l i a r y e n t e r p r i s e ) a n d t h e a d m i n i s t r a t i v e a l l o w a n c e f o r P e l l G r a n t s . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . " F i n a n c i a l S t a t i s t i c s o f I n s t i t u t i o n s o f H i g h e r E d u c a t i o n f o r F i s c a l Y e a r E n d i n g 1 9 8 2 , " F i n . S u r v e y , H E G I S X V I I , S i g n e d V e r s i o n , F i n a l T a p e . ) E S C H F E L . I n d i c a t e s a l l F i s c a l Y e a r 1 9 8 1 - 8 2 u n r e s t r i c t e d a n d r e s t r i c t e d c u r r e n t f u n d s e x p e n d i t u r e s f o r s c h o l a r s h i p s a n d f e l l o w s h i p s ( t h a t i s , m o n e y s g i v e n i n t h e f o r m o f o u t r i g h t g r a n t s a n d t r a i n e e s t i p e n d s t o i n d i v i d u a l s e n r o l l e d i n f o r m a l c o u r s e w o r k , e i t h e r f o r c r e d i t o r n o t ) . I n c l u d e s a i d t o s t u d e n t s i n t h e f o r m o f t u i t i o n o r f e e r e m i s s i o n s a n d P e l l G r a n t s . E x c l u d e s r e m i s s i o n s g r a n t e d b e c a u s e o f f a c u l t y o r s t a f f s t a t u s ( w h i c h a r e c h a r g e d t o s t a f f b e n e f i t s ) a n d C o l l e g e W o r k S t u d y p r o g r a m e x p e n s e s ( w h i c h a r e r e p o r t e d w h e r e t h e s t u d e n t s e r v e s , f o r e x a m p l e , i n t h e d i n i n g h a l l s ) . ( S o u r c e : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . " F i n a n c i a l S t a t i s t i c s o f I n s t i t u t i o n s o f H i g h e r E d u c a t i o n f o r F i s c a l Y e a r E n d i n g 1 9 8 2 , " F i n . S u r v e y , H E G I S X V I I , S i g n e d V e r s i o n , F i n a l T a p e . ) Q A R C F A C . I n d i c a t e s t h e 1 9 8 1 f a c u l t y q u a l i t y r a t i n g o f a n i n s t i t u t i o n o b t a i n e d b y a g g r e g a t i n g A s s o c i a t e d R e s e a r c h C o u n c i l s ( A R C ) d i s c i p l i n a r y p r o g r a m r a w d a t a v a l u e s . T h e v a l u e s a r e a m e a s u r e o f s c h o l a r l y c o m p e t e n c e a n d a c h i e v e m e n t b a s e d o n t h e f o l l o w i n g s c a l e : 5 D i s t i n g u i s h e d 4 S t r o n g 3 G o o d 2 A d e q u a t e “ M H O 3 5 6 A p p e n d i x B ( C o n t ' d . ) . 1 M a r g i n a l 0 N o t s u f f i c i e n t f o r d o c t o r a l e d u c a t i o n ( S o u r c e : C o n f e r e n c e B o a r d o f A s s o c i a t e d R e s e a r c h C o u n c i l s . " A n A s s e s s m e n t o f Q u a l i t y - R e l a t e d C h a r a c t e r i s t i c s o f R e s e a r c h - D o c t o r a t e P r o g r a m s i n t h e U n i t e d S t a t e s , " S u r v e y o f P r o g r a m E v a l u a t o r s , M e a s u r e 0 8 , H a r d c o p y o f C o m p u t e r T P 1 4 8 - 1 5 0 , 1 9 8 1 . ) Q A R C P R G . I n d i c a t e s t h e 1 9 8 1 p r o g r a m q u a l i t y r a t i n g o f a n i n s t i t u t i o n o b t a i n e d b y a g g r e g a t i n g A s s o c i a t e d R e s e a r c h C o u n c i l s ( A R C ) d i s c i p l i n a r y p r o g r a m e f f e c t i v e n e s s r a w d a t a v a l u e s . T h e v a l u e s a r e a m e a s u r e o f t h e e f f e c t i v e n e s s o f a p r o g r a m i n e d u c a t i n g r e s e a r c h s c h o l a r s / s c i e n t i s t s b a s e d o n t h e f o l l o w i n g s c a l e : E x t r e m e l y e f f e c t i v e R e a s o n a b l y e f f e c t i v e M i n i m a l l y e f f e c t i v e N o t e f f e c t i v e ( S o u r c e : C o n f e r e n c e B o a r d o f A s s o c i a t e d R e s e a r c h C o u n c i l s . " A n A s s e s s m e n t o f Q u a l i t y - R e l a t e d C h a r a c t e r i s t i c s o f R e s e a r c h - D o c t o r a t e P r o g r a m s i n t h e U n i t e d S t a t e s , ” S u r v e y o f P r o g r a m E v a l u a t o r s , M e a s u r e 0 9 , H a r d c o p y o f C o m p u t e r T P 1 5 9 - 1 6 1 , 1 9 8 1 . ) O A R C N . I n d i c a t e s t h e t o t a l n u m b e r o f d i s c i p l i n a r y p r o g r a m s o f a n i n s t i t u t i o n r a t e d i n t h e 1 9 8 1 A s s o c i a t e d R e s e a r c h C o u n c i l s ( A R C ) s t u d y o b t a i n e d b y a g g r e g a t i n g t h e i n d i v i d u a l d i s c i p l i n a r y p r o g r a m s i n Q A R C P R G a b o v e . Q G R M N G . I n d i c a t e s t h e 1 9 8 2 G o u r m a n g r a d u a t e q u a l i t y r a t i n g o f a n i n s t i t u t i o n b a s e d o n t h e f o l l o w i n g s c a l e : 4 . 5 1 - 4 . 9 9 V e r y S t r o n g 4 . 0 1 - 4 . 4 9 S t r o n g 3 . 6 1 - 3 . 9 9 G o o d 3 . 0 1 - 3 . 5 9 A c c e p t a b l e P l u s 2 . 5 1 - 2 . 9 9 A d e q u a t e 2 . 0 1 - 2 . 4 9 M a r g i n a l 1 . 0 1 - 1 . 9 9 N e e d s t o i m p r o v e ( S o u r c e : G o u r m a n , J a c k . T h e G o u r m a n R e p o r t : A R a t i n g o f G r a d u a t e a n d P r o f e s s i o n a l P r o g r a m s i n A m e r i c a n a n d I n t e r n a t i o n a l U n i v e r s i t i e s , S e c o n d E d i t i o n ( R e v i s e d ) . 3 5 7 \ J A p p e n d i x B ( C o n t ' d . ) . N o r t h r i d g e , C a l i f o r n i a : N a t i o n a l E d u c a t i o n S t a n d a r d s , 1 9 8 3 ) . Q G R M N U G . I n d i c a t e s t h e 1 9 8 2 G o u r m a n u n d e r g r a d u a t e q u a l i t y r a t i n g o f a n i n s t i t u t i o n b a s e d o n t h e f o l l o w i n g s c a l e : 4 . 4 1 - 4 . 9 9 S t r o n g 4 . 0 1 - 4 . 4 0 G o o d 3 . 5 1 - 3 . 9 9 A c c e p t a b l e P l u s 3 . 0 1 - 3 . 5 0 A d e q u a t e 2 . 0 1 - 2 . 9 9 M a r g i n a l ( S o u r c e : G o u r m a n , J a c k . T h e G o u r m a n R e p o r t : A R a t i n g o f U n d e r g r a d u a t e P r o g r a m s i n A m e r i c a n a n d I n t e r n a t i o n a l U n i v e r s i t i e s , F o u r t h E d i t i o n ( R e v i s e d ) . N o r t h r i d g e , C a l i f o r n i a : N a t i o n a l E d u c a t i o n S t a n d a r d s , 1 9 8 3 . ) A P P E N D I X C R A N K I N G S O F T H E E I G H T K E Y V A R I A B L E S A p p e n d i x C 1 . 3 5 8 H e a d c o u n t , 1 9 8 1 - 1 9 8 2 R a n k i n g o f F u l l - T i m e G r a d u a t e S t u d e n t R a n k D o c t o r a l I n s t i t u t i o n N u m b e r 1 . M i n n e s o t a o f M i n n e a p o l i s S a i n t P a u l U o f 1 1 6 8 7 2 . C a l i f o r n i a - L o s A n g e l e s U o f 1 1 2 5 8 3 . M i c h i g a n - A n n A r b o r U o f 1 0 3 0 6 4 . W i s c o n s i n - M a d i s o n U o f 9 0 5 8 5 . O h i o S t a t e U M C 9 0 4 3 6 . H a r v a r d U 9 0 2 4 7 . C a l i f o r n i a - B e r k e l e y U o f 8 8 7 3 8 . T e x a s a t A u s t i n U o f 8 5 2 7 9 . C o l u m b i a U M a i n D i v i s i o n 8 2 7 5 1 0 . P e n n s y l v a n i a U o f 7 9 4 4 1 1 . N e w Y o r k U 7 6 5 0 1 2 . W a s h i n g t o n U o f 7 3 3 9 1 3 . I l l i n o i s - U r b a n a C a m p u s U o f 6 3 2 3 1 4 . F l o r i d a U o f 5 7 0 8 1 5 . B o s t o n U 5 3 7 2 1 6 . P i t t s b u r g h M C U o f 5 2 6 1 1 7 . I o w a U o f 5 2 0 9 1 8 . S t a n f o r d U 4 9 7 0 1 9 . C a l i f o r n i a - D a v i s U o f 4 9 5 9 2 0 . S o u t h e r n C a l i f o r n i a U o f 4 7 6 1 2 1 . N o r t h w e s t e r n U ' 4 7 1 4 2 2 . M i c h i g a n S t a t e U 4 6 8 1 2 3 . V i r g i n i a M C U o f 4 6 4 8 2 4 . Y a l e U 4 6 1 4 2 5 . W a y n e S t a t e U 4 5 9 2 2 6 . I n d i a n a U B l o o m i n g t o n 4 5 6 0 2 7 . T e m p l e U 4 5 2 4 2 8 . C h i c a g o U o f 4 4 4 0 2 9 . M a s s a c h u s e t t s I n s t i t u t e o f T e c h n o l o g y 4 4 0 6 3 0 . N o r t h C a r o l i n a a t C h a p e l H i l l U o f 4 3 5 5 3 1 . G e o r g e t o w n U 4 2 7 3 3 2 . A r i z o n a U o f 3 9 9 6 3 3 . P e n n s y l v a n i a S t a t e U M C 3 9 0 0 3 4 . G e o r g e W a s h i n g t o n U 3 7 1 0 3 5 . P u r d u e U M C 3 6 7 1 3 6 . G e o r g i a U o f 3 6 1 8 3 7 . S t a t e U o f N e w Y o r k a t B u f f a l o M C 3 5 9 9 3 8 . C i n c i n n a t i M C U o f 3 5 8 4 3 9 . T e x a s A & M U M C 3 5 7 8 4 0 . C a s e W e s t e r n R e s e r v e U 3 4 5 2 4 1 . M i s s o u r i - C o l u m b i a U o f 3 4 4 6 4 2 . H o w a r d U 3 4 4 2 4 3 . T e n n e s s e e a t K n o x v i l l e U o f 3 4 2 9 4 4 . D u k e U 3 3 7 1 4 5 . C o r n e l l U E n d o w e d C o l l e g e s 3 1 9 2 3 5 9 A p p e n d i x C 1 ( C o n t ' d . ) . R a n k D o c t o r a l I n s t i t u t i o n N u m b e r 4 6 . L o u i s i a n a S t a t e U & A a M C o l l e g e B a t o n R o u g e 3 1 6 2 4 7 . C o l o r a d o a t B o u l d e r U o f 3 1 2 7 4 8 . H o u s t o n - U P a r k U o f 3 1 2 6 4 9 . A r i z o n a S t a t e U 3 0 6 1 5 0 . O r e g o n U o f 3 0 2 1 5 1 . K a n s a s M C U o f 2 9 4 8 5 2 . S o u t h C a r o l i n a a t C o l u m b i a U o f 2 8 9 1 5 3 . T u l a n e U o f L o u i s i a n a 2 8 7 0 5 4 . C o n n e c t i c u t U o f 2 8 5 8 5 5 . M i a m i U o f 2 8 2 4 5 6 . E m o r y U 2 8 1 6 5 7 . V a n d e r b i l t U 2 8 0 9 5 8 . S y r a c u s e U M C 2 8 0 1 5 9 . W a s h i n g t o n U 2 7 9 8 6 0 . M a r y l a n d C o l l e g e P a r k C a m p u s U o f 2 7 8 6 6 1 . K e n t u c k y U o f 2 7 8 3 6 2 . F l o r i d a S t a t e U 2 7 0 0 6 3 . L o u i s v i l l e U o f 2 6 6 0 6 4 . H a w a i i a t M a n o a U o f 2 6 4 8 6 5 . V i r g i n i a P o l y t e c h n i c I n s t i t u t e & S t a t e U 2 6 2 1 6 6 . J o h n s H o p k i n s U 2 6 1 1 6 7 . C i t y U o f N e w Y o r k G r a d u a t e S c h o o l & U C e n t e r 2 5 9 9 6 8 . C a l i f o r n i a - I r v i n e U o f 2 4 6 9 6 9 . V i r g i n i a C o m m o n w e a l t h U 2 4 5 8 7 0 . Y e s h i v a U 2 4 5 6 7 1 . M a s s a c h u s e t t s A m h e r s t C a m p u s U o f 2 4 2 6 7 2 . C a l i f o r n i a - S a n D i e g o U o f 2 4 0 8 7 3 . B r i g h a m Y o u n g U M C 2 4 0 6 7 4 . R u t g e r s T h e S t a t e U o f N e w J e r s e y N e w B r u n s w i c k C a m p u s 2 3 7 7 7 5 . I o w a S t a t e U o f S c i e n c e & T e c h n o l o g y 2 3 7 2 7 6 . L o y o l a U o f C h i c a g o 2 3 3 1 7 7 . G e o r g i a S t a t e U 2 2 7 3 7 8 . C o l o r a d o S t a t e U 2 2 7 1 7 9 . A l a b a m a i n B i r m i n g h a m U o f 2 1 9 8 8 0 . T e x a s T e c h U 2 1 7 9 8 1 . W e s t V i r g i n i a U ~ 2 1 6 4 8 2 . S a i n t L o u i s U M C 2 1 1 8 8 3 . N e w M e x i c o M C U o f 2 0 8 4 8 4 . R o c h e s t e r U o f 2 0 8 4 8 5 . N e b r a s k a - L i n c o l n U o f 2 0 8 2 8 6 . O k l a h o m a N o r m a n C a m p u s U o f 2 0 7 8 8 7 . C a l i f o r n i a - S a n t a B a r b a r a U o f 2 0 7 7 8 8 . M i s s o u r i - K a n s a s C i t y U o f 2 0 3 8 8 9 . T u f t s U 2 0 2 2 3 6 0 A p p e n d i x C 1 ( C o n t ' d . ) . R a n k D o c t o r a l I n s t i t u t i o n N u m b e r 9 0 . U t a h U o f 1 9 7 6 9 1 . W a s h i n g t o n S t a t e U 1 9 7 2 9 2 . B o s t o n C o l l e g e 1 8 9 2 9 3 . N o r t h T e x a s S t a t e U 1 8 1 8 9 4 . F o r d h a m U 1 8 1 0 9 5 . O r e g o n S t a t e U 1 7 9 6 9 6 . A m e r i c a n U 1 7 9 0 9 7 . O h i o U M C 1 7 8 4 9 8 . C a t h o l i c U . o f A m e r i c a 1 7 7 2 9 9 . S t a t e U o f N e w Y o r k a t S t o n y B r o o k M C 1 7 6 1 1 0 0 . C o r n e l l U S t a t u t o r y C o l l e g e s 1 7 5 3 1 0 1 . O k l a h o m a S t a t e U M C 1 7 4 5 1 0 2 . P a c i f i c U o f t h e 1 7 2 7 1 0 3 . S t a t e U o f N e w Y o r k a t A l b a n y 1 6 9 3 1 0 4 . A l a b a m a T h e U o f 1 6 2 0 1 0 5 . N o t r e D a m e U o f 1 6 0 9 1 0 6 . A r k a n s a s M C U o f 1 5 4 9 1 0 7 . A k r o n M C U o f 1 5 4 3 1 0 8 . K a n s a s S t a t e U o f A g r i c u l t u r e & A p p l i e d S c i e n c e 1 5 3 1 1 0 9 . K e n t S t a t e U M C 1 5 2 8 1 1 0 . S o u t h e r n M e t h o d i s t U 1 5 2 7 1 1 1 . D e n v e r U o f 1 5 1 2 1 1 2 . P r i n c e t o n U 1 4 8 5 1 1 3 . I l l i n o i s a t C h i c a g o U o f 1 4 7 3 1 1 4 . M a r q u e t t e U 1 4 3 3 1 1 5 . R e n s s e l a e r P o l y t e c h n i c I n s t i t u t e 1 3 5 3 1 1 6 . S o u t h e r n I l l i n o i s U a t C a r b o n d a l e 1 3 4 7 1 1 7 . S o u t h F l o r i d a U o f 1 3 3 8 1 1 8 . B r o w n U 1 3 3 1 1 1 9 . C a l i f o r n i a - R i v e r s i d e U o f 1 3 2 5 1 2 0 . W i s c o n s i n - M i l w a u k e e U O F 1 2 5 4 1 2 1 . I l l i n o i s I n s t i t u t e o f T e c h n o l o g y 1 1 8 3 1 2 2 . B o w l i n g G r e e n S t a t e U M C 1 1 8 1 1 2 3 . S t a t e U o f N e w Y o r k a t B i n g h a m t o n 1 1 7 3 1 2 4 . N o r t h C a r o l i n a S t a t e U a t R a l e i g h 1 1 6 7 1 2 5 . D e t r o i t U o f 1 1 2 9 1 2 6 . C a r n e g i e - M e l l o n U 1 1 2 4 1 2 7 . W e s t e r n M i c h i g a n U 1 1 2 4 1 2 8 . D e l a w a r e U o f 1 1 0 6 1 2 9 . S a i n t J o h n ' s U 1 1 0 4 1 3 0 . T e x a s W o m a n ' s U 1 0 9 5 1 3 1 . R i c e U 1 0 9 2 1 3 2 . A u b u r n U M C 1 0 8 8 1 3 3 . R h o d e I s l a n d U o f 1 0 7 9 1 3 4 . T o l e d o U o f 1 0 7 9 1 3 5 . A d e l p h i U 1 0 6 0 3 6 1 A p p e n d i x C 1 ( C o n t ' d . ) . R a n k D o c t o r a l I n s t i t u t i o n N u m b e r 1 3 6 . W y o m i n g U o f 1 0 3 2 1 3 7 . M i s s i s s i p p i M C U o f 9 9 3 1 3 8 . M e m p h i s S t a t e U 9 4 9 1 3 9 . N o r t h D a k o t a M C U o f 9 3 0 1 4 0 . C a l i f o r n i a I n s t i t u t e o f T e c h n o l o g y 8 8 8 1 4 1 . I d a h o U o f 8 7 6 1 4 2 . N e w M e x i c o S t a t e U M C 8 6 4 1 4 3 . M i s s i s s i p p i S t a t e U 8 3 3 1 4 4 . T e x a s a t D a l l a s U o f 8 3 2 1 4 5 . U n i t e d S t a t e s I n t e r n a t i o n a l U 8 3 0 1 4 6 . C l e m s o n U 8 2 9 1 4 7 . D a r t m o u t h C o l l e g e 8 0 3 1 4 8 . S o u t h e r n M i s s i s s i p p i U o f 8 0 3 1 4 9 . S o u t h D a k o t a M C U o f 7 8 6 1 5 0 . M i a m i U O x f o r d C a m p u s 7 8 3 1 5 1 . V e r m o n t & S t a t e A g r i c u l t u r a l C o l l e g e U o f 7 7 8 1 5 2 . N o r t h e r n C o l o r a d o U o f 7 6 3 1 5 3 . N o r t h e r n I l l i n o i s U 6 9 8 1 5 4 . N o r t h C a r o l i n a a t G r e e n s b o r o U o f 6 9 0 1 5 5 . U t a h S t a t e U 6 8 5 1 5 6 . B a l l S t a t e U 6 7 6 1 5 7 . B r a n d e i s U 6 6 2 1 5 8 . N e w H a m p s h i r e U o f 6 1 0 1 5 9 . N e v a d a - R e n o U o f 5 7 7 1 6 0 . L e h i g h U 5 7 6 1 6 1 . C a l i f o r n i a — S a n t a C r u z U o f 4 8 4 1 6 2 . N e w S c h o o l f o r S o c i a l R e s e a r c h 4 5 7 1 6 3 . U n i o n f o r E x p e r i m e n t i n g C o l l e g e s & U n i v e r s i t i e s 4 3 3 1 6 4 . I l l i n o i s S t a t e U 3 8 9 1 6 5 . C l a r e m o n t G r a d u a t e S c h o o l 3 8 6 1 6 6 . I n t e r n a t i o n a l C o l l e g e 3 1 8 1 6 7 . B r y n M a w r C o l l e g e 3 0 9 1 6 8 . C l a r k U 2 7 9 1 6 9 . D r e w U 1 8 6 1 7 0 . R o c k e f e l l e r U 9 6 1 7 1 . R a n d G r a d u a t e I n s t i t u t e o f P o l i c y S t u d i e s 4 9 3 6 2 A p p e n d i x C 2 . R a n k i n g o f D o c t o r ’ s D e g r e e s C o n f e r r e d , 1 9 8 1 - 1 9 8 2 R a n k D o c t o r a l I n s t i t u t i o n N u m b e r 1 . C a l i f o r n i a - B e r k e l e y U o f 7 1 2 2 . W i s c o n s i n - M a d i s o n U o f 6 9 0 3 . M i c h i g a n - A n n A r b o r U o f 6 0 5 4 . O h i o S t a t e U M C 5 8 6 5 . I l l i n o i s - U r b a n a C a m p u s U o f 5 6 7 6 . M i c h i g a n S t a t e U 4 8 8 7 . C a l i f o r n i a - L o s A n g e l e s U o f 4 8 1 8 . S t a n f o r d U 4 6 9 9 . H a r v a r d U 4 6 2 1 0 . M i n n e s o t a o f M i n n e a p o l i s S a i n t P a u l U o f 4 5 9 1 1 . I n d i a n a U B l o o m i n g t o n 4 4 8 1 2 . N e w Y o r k U 4 3 5 1 3 . P i t t s b u r g h M C U o f 4 2 6 1 4 . T e x a s a t A u s t i n U o f 4 1 8 1 5 . M a s s a c h u s e t t s I n s t i t u t e o f T e c h n o l o g y 4 1 6 1 6 . P e n n s y l v a n i a U o f 3 9 6 1 7 . P e n n s y l v a n i a S t a t e U M C 3 8 9 1 8 . P u r d u e U M C 3 7 7 1 9 . C o l u m b i a U M a i n D i v i s i o n , 3 7 1 2 0 . W a s h i n g t o n U o f 3 6 8 2 1 . S o u t h e r n C a l i f o r n i a U o f 3 6 5 2 2 . M a r y l a n d C o l l e g e P a r k C a m p u s U o f 3 6 4 2 3 . C h i c a g o U o f 3 4 9 2 4 . R u t g e r s T h e S t a t e U o f N e w J e r s e y N e w B r u n s w i c k C a m p u s 3 4 0 2 5 . F l o r i d a S t a t e U 3 1 6 2 6 . I o w a U o f 3 1 5 2 7 . B o s t o n U 3 1 4 2 8 . M a s s a c h u s e t t s A m h e r s t C a m p u s U o f 2 9 8 2 9 . Y a l e U 2 9 2 3 0 . N o r t h w e s t e r n U 2 8 7 3 1 . G e o r g i a U o f 2 8 2 3 2 . N o r t h C a r o l i n a a t C h a p e l H i l l U o f 2 8 0 3 3 . A r i z o n a U o f 2 7 0 3 4 . V a n d e r b i l t U ' 2 6 7 3 5 . T e x a s A & M U M C 2 5 3 3 6 . I o w a S t a t e U o f S c i e n c e & T e c h n o l o g y 2 4 9 3 7 . S t a t e U o f N e w Y o r k a t B u f f a l o M C . 2 3 8 3 8 . W a y n e S t a t e U 2 3 8 3 9 . F l o r i d a U o f 2 3 7 4 0 . T e m p l e U 2 3 7 4 1 . K a n s a s M C U o f 2 3 6 4 2 . T e n n e s s e e a t K n o x v i l l e U o f 2 3 4 4 3 . P r i n c e t o n U 2 3 0 4 4 . M i s s o u r i - C o l u m b i a U o f 2 2 9 4 5 . V i r g i n i a P o l y t e c h n i c I n s t i t u t e a S t a t e U 2 2 7 3 6 3 A p p e n d i x C 2 ( C o n t ' d . ) . R a n k D o c t o r a l I n s t i t u t i o n N u m b e r 4 6 . U n i t e d S t a t e s I n t e r n a t i o n a l U 2 2 6 4 7 . C o l o r a d o a t B o u l d e r U o f 2 1 8 4 8 . C o r n e l l U E n d o w e d C o l l e g e s 2 1 7 4 9 . O r e g o n U o f 2 1 5 5 0 . C a l i f o r n i a - D a v i s U O F 2 0 4 5 1 . C i t y U o f N e w Y o r k G r a d u a t e S c h o o l & U C e n t e r 2 0 3 5 2 . V i r g i n i a M C U o f 2 0 2 5 3 . N e b r a s k a - L i n c o l n U o f 2 0 1 5 4 . N o r t h C a r o l i n a S t a t e U a t R a l e i g h 1 9 1 5 5 . J o h n s H o p k i n s U 1 8 7 5 6 . O k l a h o m a S t a t e U M C 1 8 7 5 7 . D u k e U 1 8 2 5 8 . C i n c i n n a t i M C U o f 1 8 1 5 9 . U t a h U o f 1 8 1 6 0 . C a t h o l i c U o f A m e r i c a 1 6 9 6 1 . C o n n e c t i c u t U o f 1 6 8 6 2 . C o r n e l l U S t a t u t o r y C o l l e g e s 1 6 6 6 3 . R o c h e s t e r U o f 1 6 4 6 4 . G e o r g e W a s h i n g t o n U 1 6 3 6 5 . C a l i f o r n i a - S a n D i e g o U o f 1 5 9 6 6 . C o l o r a d o S t a t e U 1 5 6 6 7 . S o u t h C a r o l i n a a t C o l u m b i a U o f 1 5 5 6 8 . B r i g h a m Y o u n g U M C 1 5 3 6 9 . S o u t h e r n I l l i n o i s U a t C a r b o n d a l e 1 5 2 7 0 . A r i z o n a S t a t e U 1 5 1 7 1 . S y r a c u s e U M C 1 5 1 7 2 . W a s h i n g t o n U 1 5 1 7 3 . S t a t e U o f N e w Y o r k a t S t o n y B r o o k M C 1 5 0 7 4 . K a n s a s S t a t e U o f A g r i c u l t u r e & A p p l i e d S c i e n c e 1 4 8 7 5 . C a s e W e s t e r n R e s e r v e U 1 4 4 7 6 . W a s h i n g t o n S t a t e U 1 4 1 7 7 . A l a b a m a T h e U o f 1 3 9 7 8 . C a l i f o r n i a - S a n t a B a r b a r a U o f 1 3 8 7 9 . B r o w n U 1 3 7 8 0 . K e n t S t a t e U M C 1 3 7 8 1 . N o r t h T e x a s S t a t e U 1 3 6 8 2 . O r e g o n S t a t e U 1 3 6 8 3 . H o u s t o n - U P a r k U o f 1 3 4 8 4 . W e s t V i r g i n i a U 1 3 0 8 5 . A r k a n s a s M C U o f 1 2 2 8 6 . L o u i s i a n a S t a t e U & A & M C o l l e g e B a t o n R o u g e 1 2 2 8 7 . S a i n t L o u i s U M C 1 2 2 8 8 . C a l i f o r n i a I n s t i t u t e o f T e c h n o l o g y 1 2 1 8 9 . F o r d h a m U 1 2 1 3 6 4 A p p e n d i x C 2 ( C o n t ' d . ) . R a n k D o c t o r a l I n s t i t u t i o n N u m b e r 9 0 . O k l a h o m a N o r m a n C a m p u s U o f 1 2 0 9 1 . D r e w U 1 1 7 9 2 . N e w M e x i c o M C U o f 1 1 4 9 3 . C l a r e m o n t G r a d u a t e S c h o o l 1 1 2 9 4 . K e n t u c k y U o f 1 1 2 9 5 . H a w a i i a t M a n o a U o f 1 1 1 9 6 . N o r t h e r n C o l o r a d o U o f 1 1 1 9 7 . S t a t e U o f N e w Y o r k a t A l b a n y 1 1 1 9 8 . G e o r g i a S t a t e U 1 0 6 9 9 . D e l a w a r e U o f 1 0 5 1 0 0 . U n i o n f o r E x p e r i m e n t i n g C o l l e g e s & U n i v e r s i t i e s 1 0 5 1 0 1 . A u b u r n U M C 1 0 1 1 0 2 . C a l i f o r n i a - R i v e r s i d e U o f 1 0 0 1 0 3 . C a r n e g i e - M e l l o n U 9 9 1 0 4 . C a l i f o r n i a - I r v i n e U o f ‘ 9 2 1 0 5 . S o u t h e r n M i s s i s s i p p i U o f 9 2 1 0 6 . M i a m i U o f 9 1 1 0 7 . M i s s i s s i p p i S t a t e U 9 1 1 0 8 . T e x a s T e c h U 9 1 1 0 9 . O h i o U M C 9 0 1 1 0 . A m e r i c a n U 8 6 1 1 1 . E m o r y U 8 6 1 1 2 . N o r t h e r n I l l i n o i s U 8 5 1 1 3 . B o s t o n C o l l e g e 8 4 1 1 4 . D e n v e r U o f 8 4 1 1 5 . L o y o l a U o f C h i c a g o 8 3 1 1 6 . Y e s h i v a U 8 2 1 1 7 . R e n s s e l a e r P o l y t e c h n i c I n s t i t u t e 8 1 1 1 8 . M i s s i s s i p p i M C U o f 8 0 1 1 9 . B r a n d e i s U 7 6 1 2 0 . R i c e U 7 5 1 2 1 . U t a h S t a t e U 7 4 1 2 2 . G e o r g e t o w n U 7 2 1 2 3 . N o t r e D a m e U o f 7 0 1 2 4 . T e x a s W o m a n ’ s U 6 7 1 2 5 . R h o d e I s l a n d U o f 6 5 1 2 6 . W y o m i n g U o f 6 4 1 2 7 . I l l i n o i s a t C h i c a g o U o f 6 1 1 2 8 . V i r g i n i a C o m m o n w e a l t h U 6 1 1 2 9 . A k r o n M C U o f 6 0 1 3 0 . B o w l i n g G r e e n S t a t e U M C 6 0 1 3 1 . I n t e r n a t i o n a l C o l l e g e 6 0 1 3 2 . S t a t e U o f N e w Y o r k a t B i n g h a m t o n 6 0 1 3 3 . B a l l S t a t e U 5 8 1 3 4 . N o r t h C a r o l i n a a t G r e e n s b o r o U o f 5 7 1 3 5 . S a i n t J o h n ' s U 5 6 4 ~ ? I . l ( l U A p p e n d i x C 2 ( C o n t ' d . ) . R a n k D o c t o r a l I n s t i t u t i o n N u m b e r 1 3 6 . H o w a r d U 5 4 1 3 7 . T u l a n e U o f L o u i s i a n a 5 0 1 3 8 . M i a m i U O x f o r d C a m p u s 4 6 1 3 9 . I d a h o U o f 4 4 1 4 0 . N e w S c h o o l f o r S o c i a l R e s e a r c h 4 4 1 4 1 . B r y n M a w r C o l l e g e 4 3 1 4 2 . C a l i f o r n i a - S a n t a C r u z U o f 4 3 1 4 3 . M e m p h i s S t a t e U 4 3 1 4 4 . S o u t h e r n M e t h o d i s t U 4 2 1 4 5 . L e h i g h U 4 1 1 4 6 . S o u t h F l o r i d a U o f 4 1 1 4 7 . W e s t e r n M i c h i g a n U 4 1 1 4 8 . T o l e d o U o f 4 0 1 4 9 . I l l i n o i s I n s t i t u t e o f T e c h n o l o g y 3 9 1 5 0 . M a r q u e t t e U 3 9 1 5 1 . T u f t s U 3 8 1 5 2 . A d e l p h i U 3 7 1 5 3 . L o u i s v i l l e U o f 3 5 1 5 4 . N e w H a m p s h i r e U o f 3 5 1 5 5 . W i s c o n s i n - M i l w a u k e e U 0 F 3 5 1 5 6 . C l a r k U 3 3 1 5 7 . C l e m s o n U 3 3 1 5 8 . N e w M e x i c o S t a t e U M C 3 1 1 5 9 . N o r t h D a k o t a M C U o f 3 1 1 6 0 . S o u t h D a k o t a M C U o f 3 1 1 6 1 . T e x a s a t D a l l a s U o f 3 1 1 6 2 . D a r t m o u t h C o l l e g e 3 0 1 6 3 . I l l i n o i s S t a t e U 3 0 1 6 4 . A l a b a m a i n B i r m i n g h a m U o f 2 8 1 6 5 . M i s s o u r i - K a n s a s C i t y U o f 2 6 1 6 6 . N e v a d a - R e n o U o f 2 4 1 6 7 . V e r m o n t & S t a t e A g r i c u l t u r a l C o l l e g e U o f 2 1 1 6 8 . P a c i f i c U o f t h e 2 0 1 6 9 . D e t r o i t U o f 1 9 1 7 0 . R o c k e f e l l e r U 1 5 _ 1 7 1 . R a n d G r a d u a t e I n s t i t u t e o f P o l i c y S t u d i e s 1 3 6 6 A p p e n d i x C 3 . R a n k i n g o f F u l l - T i m e A c a d e m i c Y e a r T e n u r e d P r o f e s s o r s , 1 9 8 1 - 1 9 8 2 R a n k D o c t o r a l I n s t i t u t i o n N u m b e r 1 . M i c h i g a n S t a t e U 1 0 9 1 2 . I l l i n o i s — U r b a n a C a m p u s U o f 1 0 1 1 3 . W i s c o n s i n - M a d i s o n U o f 8 8 8 4 . M i c h i g a n - A n n A r b o r U o f 8 8 1 5 . M i n n e s o t a o f M i n n e a p o l i s S a i n t P a u l U o f 8 6 0 6 . C a l i f o r n i a - B e r k e l e y U o f 8 1 4 7 . W a s h i n g t o n U o f 7 8 1 8 . O h i o S t a t e U M C 7 6 8 9 . T e x a s a t A u s t i n U o f ' 7 2 5 1 0 . F l o r i d a U o f 7 1 3 1 1 . C a l i f o r n i a - L o s A n g e l e s U o f 7 0 4 1 2 . A r i z o n a U o f 6 1 7 1 3 . M a s s a c h u s e t t s A m h e r s t C a m p u s U o f 5 7 0 1 4 . I n d i a n a U B l o o m i n g t o n 5 5 6 1 5 . N o r t h C a r o l i n a a t C h a p e l H i l l U o f 5 3 6 1 6 . P u r d u e U M C . 5 2 8 1 7 . M a s s a c h u s e t t s I n s t i t u t e o f T e c h n o l o g y 5 1 6 1 8 . P e n n s y l v a n i a S t a t e U M C 4 9 3 1 9 . S t a n f o r d U 4 8 9 2 0 . P e n n s y l v a n i a U o f 4 8 8 2 1 . C o l o r a d o a t B o u l d e r U o f 4 8 0 2 2 . C o n n e c t i c u t U o f 4 7 8 2 3 . H a r v a r d U 4 7 2 2 4 . K a n s a s M C U o f 4 6 9 2 5 . R u t g e r s T h e S t a t e U o f N e w J e r s e y N e w B r u n s w i c k C a m p u s 4 6 6 2 6 . N e b r a s k a - L i n c o l n U o f 4 5 9 2 7 . T e m p l e U 4 5 8 2 8 . N e w Y o r k U 4 4 8 2 9 . C o l u m b i a U M a i n D i v i s i o n 4 4 4 3 0 . I o w a S t a t e U o f S c i e n c e & T e c h n o l o g y 4 4 1 3 1 . I o w a U o f 4 2 7 3 2 . G e o r g i a U o f 4 2 5 3 3 . C h i c a g o U o f 4 1 9 3 4 . H a w a i i a t M a n o a U o f 4 1 3 3 5 . L o u i s i a n a S t a t e U & A & M C o l l e g e B a t o n R o u g e 4 1 1 3 6 . K e n t u c k y U o f 4 1 0 3 7 . C o l o r a d o S t a t e U 4 0 8 3 8 . M a r y l a n d C o l l e g e P a r k C a m p u s U o f 4 0 6 3 9 . A r i z o n a S t a t e U 4 0 3 4 0 . T e x a s A & M U M C 4 0 3 4 1 . P i t t s b u r g h M C U o f 4 0 1 4 2 . T e n n e s s e e a t K n o x v i l l e U o f 4 0 0 4 3 . N o r t h w e s t e r n U 3 9 3 4 4 . F l o r i d a S t a t e U 3 8 6 3 6 7 A p p e n d i x C 3 ( C o n t ' d . ) . R a n k D o c t o r a l I n s t i t u t i o n N u m b e r 4 5 . C a l i f o r n i a - D a v i s U O F 3 8 5 4 6 . M i s s o u r i - C o l u m b i a U o f 3 8 4 4 7 . U t a h U o f 3 8 0 4 8 . C o r n e l l U E n d o w e d C o l l e g e s 3 7 8 4 9 . S y r a c u s e U M C 3 7 4 5 0 . Y a l e U 3 6 7 5 1 . V i r g i n i a P o l y t e c h n i c I n s t i t u t e & S t a t e U 3 6 5 5 2 . B a l l S t a t e U 3 5 4 5 3 . C i n c i n n a t i M C U o f 3 4 7 5 4 . O k l a h o m a S t a t e U M C 3 3 7 5 5 . W a y n e S t a t e U 3 3 7 5 6 . N o r t h e r n I l l i n o i s U 3 3 4 5 7 . A r k a n s a s M C U o f 3 2 4 5 8 . B r i g h a m Y o u n g U M C 3 2 4 5 9 . S t a t e U o f N e w Y o r k a t B u f f a l o M C 3 2 4 6 0 . C a l i f o r n i a - S a n t a B a r b a r a U o f 3 1 7 6 1 . K a n s a s S t a t e U o f A g r i c u l t u r e & A p p l i e d S c i e n c e 3 1 4 6 2 . S o u t h e r n C a l i f o r n i a U o f 3 1 0 6 3 . N o r t h C a r o l i n a S t a t e U a t R a l e i g h 3 0 6 6 4 . H o u s t o n - U P a r k U o f . 3 0 4 6 5 . P r i n c e t o n U 3 0 4 6 6 . S o u t h F l o r i d a U o f 3 0 1 6 7 . V i r g i n i a M C U o f 2 9 7 6 8 . B o s t o n U 2 9 6 6 9 . W e s t e r n M i c h i g a n U 2 9 0 7 0 . W a s h i n g t o n S t a t e U 2 8 9 7 1 . W e s t V i r g i n i a U 2 8 7 7 2 . T e x a s T e c h U 2 8 4 7 3 . R h o d e I s l a n d U o f 2 7 6 7 4 . O k l a h o m a N o r m a n C a m p u s U o f 2 7 2 7 5 . O r e g o n U o f 2 7 0 7 6 . I l l i n o i s a t C h i c a g o U o f 2 6 9 7 7 . B r o w n U 2 6 8 7 8 . M i s s i s s i p p i S t a t e U 4 2 6 7 7 9 . O r e g o n S t a t e U 2 6 4 8 0 . S o u t h e r n I l l i n o i s U a t C a r b o n d a l e 2 6 3 8 1 . S t a t e U o f N e w Y o r k a t S t o n y B r o o k M C 2 6 2 8 2 . C a l i f o r n i a - S a n D i e g o U o f 2 5 8 8 3 . I l l i n o i s S t a t e U 2 5 3 8 4 . W a s h i n g t o n U 2 5 3 8 5 . S o u t h C a r o l i n a a t C o l u m b i a U o f 2 5 1 8 6 . N e w M e x i c o M C U o f 2 4 8 8 7 . O h i o U M C 2 4 8 8 8 . W y o m i n g U o f 2 4 7 8 9 . J o h n s H o p k i n s U 2 4 5 9 0 . B o w l i n g G r e e n S t a t e U M C 2 4 4 3 6 8 A p p e n d i x 3 ( C o n t ' d . ) . R a n k D o c t o r a l I n s t i t u t i o n N u m b e r 9 1 . K e n t S t a t e U M C 2 4 4 9 2 . G e o r g e W a s h i n g t o n U 2 4 1 9 3 . D e l a w a r e U o f 2 4 0 9 4 . M i a m i U o f 2 4 0 9 5 . W i s c o n s i n - M i l w a u k e e U O F 2 3 9 9 6 . A u b u r n U M C 2 3 7 9 7 . C l e m s o n U 2 3 7 9 8 . S t a t e U o f N e w Y o r k a t A l b a n y 2 3 7 9 9 . N o r t h T e x a s S t a t e U 2 3 5 1 0 0 . A l a b a m a T h e U o f 2 3 4 1 0 1 . G e o r g i a S t a t e U 2 1 8 1 0 2 . L o u i s v i l l e U o f 2 1 7 1 0 3 . V a n d e r b i l t U 2 1 3 1 0 4 . H o w a r d U 2 0 9 1 0 5 . C a s e W e s t e r n R e s e r v e U 2 0 6 1 0 6 . N o r t h e r n C o l o r a d o U o f 2 0 1 1 0 7 . R o c h e s t e r U o f 2 0 1 1 0 8 . M i a m i U O x f o r d C a m p u s 1 9 9 1 0 9 . M e m p h i s S t a t e U 1 9 2 1 1 0 . N e w M e x i c o S t a t e U M C 1 8 5 1 1 1 . U t a h S t a t e U ' 1 8 4 1 1 2 . C a r n e g i e - M e l l o n U 1 8 1 1 1 3 . C a l i f o r n i a I n s t i t u t e o f T e c h n o l o g y 1 7 6 1 1 4 . N o t r e D a m e U o f 1 7 6 1 1 5 . R i c e U 1 7 1 1 1 6 . C o r n e l l U S t a t u t o r y C o l l e g e s 1 6 9 1 1 7 . L e h i g h U 1 6 9 1 1 8 . M i s s o u r i - K a n s a s C i t y U o f 1 6 9 1 1 9 . S t a t e U o f N e w Y o r k a t B i n g h a m t o n 1 6 5 1 2 0 . C a l i f o r n i a - I r v i n e U o f 1 6 4 1 2 1 . A k r o n M C U o f 1 6 2 1 2 2 . V e r m o n t & S t a t e A g r i c u l t u r a l C o l l e g e U o f 1 6 2 1 2 3 . S o u t h e r n M e t h o d i s t U 1 6 1 1 2 4 . A m e r i c a n U 1 5 6 1 2 5 . I d a h o U o f 1 5 3 1 2 6 . P a c i f i c U o f t h e 1 5 2 1 2 7 . R e n s s e l a e r P o l y t e c h n i c I n s t i t u t e 1 5 2 1 2 8 . D a r t m o u t h C o l l e g e 1 5 1 1 2 9 . T u l a n e U o f L o u i s i a n a 1 4 9 1 3 0 . S a i n t L o u i s U M C 1 4 7 1 3 1 . E m o r y U 1 4 6 1 3 2 . N e w H a m p s h i r e U o f 1 4 3 1 3 3 . V i r g i n i a C o m m o n w e a l t h U 1 3 9 1 3 4 . C a l i f o r n i a - R i v e r s i d e U o f 1 3 8 1 3 5 . D e n v e r U o f 1 3 7 1 3 6 . N o r t h C a r o l i n a a t G r e e n s b o r o U o f 1 3 0 1 3 7 . C a l i f o r n i a - S a n t a C r u z U o f 1 2 7 3 6 9 A p p e n d i x C 3 ( C o n t ' d . ) . R a n k D o c t o r a l I n s t i t u t i o n N u m b e r 1 3 8 . L o y o l a U o f C h i c a g o 1 2 3 1 3 9 . M i s s i s s i p p i M C \ U o f 1 2 3 1 4 0 . F o r d h a m U 1 2 2 1 4 1 . B r a n d e i s U 1 2 1 1 4 2 . S a i n t J o h n ' s U 1 1 9 1 4 3 . A l a b a m a i n B i r m i n g h a m U o f 1 1 8 1 4 4 . G e o r g e t o w n U 1 1 8 1 4 5 . B o s t o n C o l l e g e 1 1 6 1 4 6 . N o r t h D a k o t a M C U o f ‘ 1 1 2 1 4 7 . N e v a d a - R e n o U o f 1 1 0 1 4 8 . T u f t s U 1 0 7 1 4 9 . M a r q u e t t e U 1 0 3 1 5 0 . S o u t h e r n M i s s i s s i p p i U o f 9 3 1 5 1 . A d e l p h i U 9 0 1 5 2 . D u k e U 8 9 1 5 3 . S o u t h D a k o t a M C U o f 8 5 1 5 4 . I l l i n o i s I n s t i t u t e o f T e c h n o l o g y 7 9 1 5 ‘ . D e t r o i t U o f 7 4 1 5 6 . C a t h o l i c U o f A m e r i c a 7 2 1 5 7 . Y e s h i v a U 6 1 1 5 8 . T e x a s W o m a n ' s U 5 9 1 5 9 . B r y n M a w r C o l l e g e 5 1 1 6 0 . R o c k e f e l l e r U 5 1 1 6 1 . T e x a s a t D a l l a s U o f 5 1 1 6 2 . C l a r k U 4 8 1 6 3 . D r e w U . 4 6 1 6 4 . C i t y U o f N e w Y o r k G r a d u a t e S c h o o l & U C e n t e r 4 0 1 6 5 . C l a r e m o n t G r a d u a t e S c h o o l 2 7 1 6 6 . N e w S c h o o l f o r S o c i a l R e s e a r c h 2 0 1 6 7 . U n i t e d S t a t e s I n t e r n a t i o n a l U 1 2 1 6 8 . T o l e d o U o f 0 1 6 9 . U n i o n f o r E x p e r i m e n t i n g C o l l e g e s & U n i v e r s i t i e s 0 1 7 0 . I n t e r n a t i o n a l C o l l e g e N a 1 7 1 . R a n d G r a d u a t e I n s t i t u t e o f P o l i c y S t u d i e s N a 3 7 0 A p p e n d i x C 4 . R a n k i n g o f A v e r a g e A c a d e m i c Y e a r C o m p e n s a t i o n o f P r o f e s s o r s , 1 9 8 1 - 1 9 8 2 R a n k D o c t o r a l I n s t i t u t i o n D o l l a r s 1 . R o c k e f e l l e r U 6 4 0 0 0 2 . H a r v a r d U 5 9 2 0 0 3 . C a l i f o r n i a I n s t i t u t e o f T e c h n o l o g y 5 6 5 0 0 4 . S t a n f o r d U 5 5 3 0 0 5 . M a s s a c h u s e t t s I n s t i t u t e o f T e c h n o l o g y 5 4 2 0 0 6 . C a l i f o r n i a - B e r k e l e y U o f 5 4 0 0 0 7 . P e n n s y l v a n i a U o f 5 3 5 0 0 8 . C a l i f o r n i a - L o s A n g e l e s U o f 5 2 8 0 0 9 . C o l u m b i a U M a i n D i v i s i o n 5 2 3 0 0 1 0 . Y a l e U 5 2 3 0 0 1 1 . J o h n s H o p k i n s U 5 2 2 0 0 1 2 . C i t y U o f N e w Y o r k G r a d u a t e S c h o o l & U C e n t e r 5 2 1 0 0 1 3 . C h i c a g o U o f 5 1 7 0 0 1 4 . C a l i f o r n i a - S a n D i e g o U o f 5 1 4 0 0 1 5 . S t a t e U o f N e w Y o r k a t B u f f a l o M C 5 1 2 0 0 1 6 . P r i n c e t o n U 5 1 1 0 0 1 7 . S t a t e U o f N e w Y o r k a t A l b a n y 5 1 0 0 0 1 8 . S t a t e U o f N e w Y o r k a t S t o n y B r o o k M C 5 0 9 0 0 1 9 . C a l i f o r n i a - I r v i n e U o f 5 0 5 0 0 2 0 . C a l i f o r n i a - S a n t a B a r b a r a U o f 5 0 2 0 0 2 1 . N e w S c h o o l f o r S o c i a l R e s e a r c h 5 0 2 0 0 2 2 . C a l i f o r n i a - D a v i s U o f 4 9 8 0 0 2 3 . N e w Y o r k U 4 9 8 0 0 2 4 . S t a t e U o f N e w Y o r k a t B i n g h a m t o n 4 9 6 0 0 2 5 . C a l i f o r n i a - R i v e r s i d e U o f 4 9 5 0 0 2 6 . C l a r e m o n t G r a d u a t e S c h o o l 4 9 4 0 0 2 7 . V i r g i n i a M C U o f 4 9 4 0 0 2 8 . C a l i f o r n i a - S a n t a C r u z U o f 4 9 2 0 0 2 9 . N o r t h w e s t e r n U 4 8 9 0 0 3 0 . S o u t h e r n C a l i f o r n i a U o f 4 8 8 0 0 3 1 . T u f t s U 4 8 7 0 0 3 2 . G e o r g e t o w n U 4 8 6 0 0 3 3 . C o r n e l l U E n d o w e d C o l l e g e s 4 8 2 0 0 3 4 . C o r n e l l U S t a t u t o r y C o l l e g e s 4 8 2 0 0 3 5 . L e h i g h U 4 8 2 0 0 3 6 . P i t t s b u r g h M C U o f 4 8 2 0 0 3 7 . M i c h i g a n - A n n A r b o r U o f 4 8 1 0 0 3 8 . B r o w n U 4 7 3 0 0 3 9 . N o r t h C a r o l i n a a t C h a p e l H i l l U o f 4 7 3 0 0 4 0 . T e x a s A & M U M C 4 7 3 0 0 4 1 . D e l a w a r e U o f 4 7 1 0 0 4 2 . D a r t m o u t h C o l l e g e 4 7 0 0 0 4 3 . D u k e U 4 6 9 0 0 4 4 . R e n s s e l a e r P o l y t e c h n i c I n s t i t u t e 4 6 7 0 0 4 5 . P u r d u e U M C 4 6 6 0 0 3 7 1 A p p e n d i x C 4 ( C o n t ' d . ) . R a n k D o c t o r a l I n s t i t u t i o n D o l l a r s 4 6 . T e x a s a t A u s t i n U o f 4 5 6 0 0 4 7 . O h i o S t a t e U M C - 4 5 4 0 0 4 8 . G e o r g e W a s h i n g t o n U 4 5 1 0 0 4 9 . C o n n e c t i c u t U o f 4 4 8 0 0 5 0 . W a s h i n g t o n U 4 4 8 0 0 5 1 . A r i z o n a U o f 4 4 7 0 0 5 2 . C i n c i n n a t i M C U o f 4 4 7 0 0 5 3 H o u s t o n - U P a r k U o f 4 4 7 0 0 5 4 . I l l i n o i s - U r b a n a C a m p u s U o f 4 4 7 0 0 5 5 . N o t r e D a m e U o f 4 4 7 0 0 5 6 . B o s t o n C o l l e g e 4 4 5 0 0 5 7 . C a s e W e s t e r n R e s e r v e U 4 4 5 0 0 5 8 . N o r t h C a r o l i n a S t a t e U a t R a l e i g h 4 4 4 0 0 5 9 . T e x a s a t D a l l a s U o f 4 4 4 0 0 6 0 . I l l i n o i s I n s t i t u t e o f T e c h n o l o g y 4 4 3 0 0 6 1 . W a s h i n g t o n U o f 4 4 2 0 0 6 2 . M a r y l a n d C o l l e g e P a r k C a m p u s U o f 4 4 1 0 0 6 3 . R i c e U 4 4 1 0 0 6 4 . W a y n e S t a t e U 4 4 0 0 0 6 5 . C l a r k U 4 3 8 0 0 6 6 . P e n n s y l v a n i a S t a t e U M C 4 3 6 0 0 6 7 . I o w a U o f 4 3 5 0 0 6 8 . S y r a c u s e U M C 4 3 5 0 0 6 9 . V a n d e r b i l t U 4 3 4 0 0 7 0 . A r i z o n a S t a t e U 4 3 3 0 0 7 1 . E m o r y U 4 3 2 0 0 7 2 . M i c h i g a n S t a t e U 4 3 2 0 0 7 3 . N o r t h C a r o l i n a a t G r e e n s b o r o U o f 4 3 2 0 0 7 4 . T e m p l e U 4 3 2 0 0 7 5 . V i r g i n i a P o l y t e c h n i c I n s t i t u t e & S t a t e U 4 3 2 0 0 7 6 . I l l i n o i s a t C h i c a g o U o f 4 3 0 0 0 7 7 . W i s c o n s i n - M i l w a u k e e U 0 F 4 3 0 0 0 7 8 . U t a h U o f . 4 2 9 0 0 7 9 . W y o m i n g U o f 4 2 9 0 0 8 0 . I n d i a n a U B l o o m i n g t o n 4 2 8 0 0 8 1 . W i s c o n s i n - M a d i s o n U o f 4 2 6 0 0 8 2 . C l e m s o n U 4 2 5 0 0 8 3 . M a r q u e t t e U 4 2 3 0 0 8 4 . G e o r g i a U o f 4 2 0 0 0 8 5 . O r e g o n U o f 4 1 9 0 0 8 6 . S o u t h e r n M e t h o d i s t U 4 1 9 0 0 8 7 . A m e r i c a n U 4 1 8 0 0 8 8 . S o u t h C a r o l i n a a t C o l u m b i a U o f 4 1 8 0 0 8 9 . A d e l p h i U 4 1 7 0 0 9 0 . M i n n e s o t a o f M i n n e a p o l i s S a i n t P a u l U o f 4 1 7 0 0 9 1 . B o s t o n U _ 4 1 5 0 0 9 2 . H a w a i i a t M a n o a U o f 4 1 5 0 0 4 l . ( \ N A p p e n d i x C 4 ( C o n t ' d . ) . R a n k D o c t o r a l I n s t i t u t i o n D o l l a r s 9 3 . H o w a r d U 4 1 4 0 0 9 4 . A l a b a m a i n B i r m i n g h a m U o f 4 1 2 0 0 9 5 . G e o r g i a S t a t e U 4 1 2 0 0 9 6 . ( e n t u c k y U o f 4 1 0 0 0 9 7 . A k r o n M C U o f 4 0 9 0 0 9 8 . L o u i s i a n a S t a t e U & A & M C o l l e g e B a t o n R o u g e 4 0 9 0 0 9 9 . O k l a h o m a N o r m a n C a m p u s U o f 4 0 9 0 0 1 0 0 . O r e g o n S t a t e U 4 0 9 0 0 1 0 1 . D r e w U 4 0 6 0 0 1 0 2 . M i a m i U O x f o r d C a m p u s 4 0 4 0 0 1 0 3 . I o w a S t a t e U o f S c i e n c e & T e c h n o l o g y 4 0 3 0 0 1 0 4 . O k l a h o m a S t a t e U M C 4 0 1 0 0 1 0 5 . A u b u r n U M C 3 9 8 0 0 1 0 6 . B o w l i n g G r e e n S t a t e U M C 3 9 8 0 0 1 0 7 . T o l e d o U o f 3 9 8 0 0 1 0 8 . N e w M e x i c o S t a t e U M C 3 9 7 0 0 1 0 9 . L o u i s v i l l e U o f 3 9 6 0 0 1 1 0 . N e v a d a - R e n o U o f 3 9 4 0 0 1 1 1 . T u l a n e U o f L o u i s i a n a 3 9 4 0 0 1 1 2 . W a s h i n g t o n S t a t e U 3 9 4 0 0 1 1 3 . B r y n M a w r C o l l e g e 3 9 3 0 0 1 1 4 . N e w M e x i c o M C U o f 3 9 2 0 0 1 1 5 . T e x a s W o m a n ' s U 3 9 0 0 0 1 1 6 . R h o d e I s l a n d U o f 3 8 9 0 0 1 1 7 . V e r m o n t & S t a t e A g r i c u l t u r a l C o l l e g e U o f 3 8 9 0 0 1 1 8 . L o y o l a U o f C h i c a g o 3 8 8 0 0 1 1 9 . N o r t h T e x a s S t a t e U 3 8 8 0 0 1 2 0 . M i a m i U o f 3 8 7 0 0 1 2 1 . T e x a s T e c h U . 3 8 7 0 0 1 2 2 . N e w H a m p s h i r e U o f 3 8 5 0 0 1 2 3 . K a n s a s M C U o f 3 8 4 0 0 1 2 4 . U t a h S t a t e U 3 8 4 0 0 1 2 5 . C o l o r a d o S t a t e U 3 8 1 0 0 1 2 6 . N e b r a s k a - L i n c o l n U o f 3 8 0 0 0 1 2 7 . A r k a n s a s M C U o f 3 7 8 0 0 1 2 8 . W e s t e r n M i c h i g a n U 3 7 8 0 0 1 2 9 . F l o r i d a U o f 3 7 7 0 0 1 3 0 . M i s s o u r i - C o l u m b i a U o f 3 7 7 0 0 1 3 1 . N o r t h e r n I l l i n o i s U 3 7 7 0 0 1 3 2 . S o u t h e r n I l l i n o i s U a t C a r b o n d a l e 3 7 6 0 0 1 3 3 . W e s t V i r g i n i a U 3 7 5 0 0 1 3 4 . M a s s a c h u s e t t s A m h e r s t C a m p u s U o f 3 7 3 0 0 1 3 5 . P a c i f i c U o f t h e 3 7 3 0 0 1 3 6 . A l a b a m a T h e U o f 3 7 2 0 0 1 3 7 . D e t r o i t U o f 3 7 1 0 0 3 7 3 A p p e n d i x C 4 ( C o n t ’ d . ) . R a n k D o c t o r a l I n s t i t u t i o n D o l l a r s 1 3 8 . F l o r i d a S t a t e U 3 7 1 0 0 1 3 9 . C o l o r a d o a t B o u l d e r U o f 3 7 0 0 0 1 4 0 . M i s s o u r i — K a n s a s C i t y U o f 3 7 0 0 0 1 4 1 . N o r t h D a k o t a M C U o f 3 6 9 0 0 1 4 2 . K a n s a s S t a t e U o f A g r i c u l t u r e & A p p l i e d S c i e n c e 3 6 8 0 0 1 4 3 . O h i o U M C 3 6 8 0 0 1 4 4 . V i r g i n i a C o m m o n w e a l t h U 3 6 7 0 0 1 4 5 . K e n t S t a t e U M C 3 6 4 0 0 1 4 6 . I l l i n o i s S t a t e U 3 6 1 0 0 1 4 7 . B a l l S t a t e U 3 5 9 0 0 1 4 8 . S a i n t L o u i s U M C 3 5 9 0 0 1 4 9 . I d a h o U o f 3 5 8 0 0 1 5 0 . T e n n e s s e e a t K n o x v i l l e U o f 3 5 8 0 0 1 5 1 . M i s s i s s i p p i M C U o f 3 5 5 0 0 1 5 2 . S o u t h F l o r i d a U o f 3 5 3 0 0 1 5 3 . S o u t h e r n M i s s i s s i p p i U o f 3 4 8 0 0 1 5 4 . M i s s i s s i p p i S t a t e U 3 4 4 0 0 1 5 5 . M e m p h i s S t a t e U 3 3 7 0 0 1 5 6 . N o r t h e r n C o l o r a d o U o f 3 3 3 0 0 1 5 7 . S o u t h D a k o t a M C U o f 3 2 3 0 0 1 5 8 . B r a n d e i s U N a 1 5 9 . B r i g h a m Y o u n g U M C N a 1 6 0 . C a r n e g i e - M e l l o n U N a 1 6 1 . C a t h o l i c U o f A m e r i c a N a 1 6 2 . D e n v e r U o f N a 1 6 3 . F o r d h a m U N a 1 6 4 . I n t e r n a t i o n a l C o l l e g e N a 1 6 5 . R a n d G r a d u a t e I n s t i t u t e o f P o l i c y S t u d i e s N a 1 6 6 . R o c h e s t e r U o f - N a 1 6 7 . R u t g e r s T h e S t a t e U o f N e w J e r s e y N e w B r u n s w i c k C a m p u s N a 1 6 8 . S a i n t J o h n ' s U N a 1 6 9 . U n i o n f o r E x p e r i m e n t i n g C o l l e g e s & U n i v e r s i t i e s N a 1 7 0 . U n i t e d S t a t e s I n t e r n a t i o n a l U N a 1 7 1 . Y e s h i v a U N a A p p e n d i x C 5 . 3 7 4 R a n k i n g o f L i b r a r y V o l u m e A s s e t s , 1 9 8 1 - 1 9 8 2 R a n k D o c t o r a l I n s t i t u t i o n N u m b e r 1 . H a r v a r d U 1 0 4 0 9 2 2 8 2 . Y a l e U 8 1 7 8 7 4 1 3 . M i c h i g a n - A n n A r b o r U o f 6 5 6 1 4 2 7 4 . I l l i n o i s - U r b a n a C a m p u s U o f 6 2 4 0 6 1 5 5 . C a l i f o r n i a - B e r k e l e y U o f 6 1 1 7 4 2 4 6 . C a l i f o r n i a - L o s A n g e l e s U o f 5 2 6 9 6 6 7 7 . C o l u m b i a U M a i n D i v i s i o n 5 1 9 2 4 4 8 8 . T e x a s a t A u s t i n U o f 4 8 4 6 7 6 4 9 . S t a n f o r d U 4 6 5 8 0 3 3 1 0 . C h i c a g o U o f 4 5 6 5 5 9 1 1 1 . W i s c o n s i n - M a d i s o n U o f 4 1 8 4 0 3 8 1 2 . M i n n e s o t a o f M i n n e a p o l i s S a i n t P a u l U o f 3 9 4 5 3 9 7 1 3 . O h i o S t a t e U M C 3 5 5 4 2 1 7 1 4 . C o r n e l l U E n d o w e d C o l l e g e s 3 5 5 2 4 5 2 1 5 . P r i n c e t o n U 3 4 3 0 2 4 2 1 6 . I n d i a n a U B l o o m i n g t o n 3 4 0 3 3 0 9 1 7 . D u k e U 3 1 0 6 2 5 9 1 8 . P e n n s y l v a n i a U o f 3 0 5 4 2 3 4 1 9 . W a s h i n g t o n U o f 3 0 3 5 2 2 9 2 0 . N o r t h C a r o l i n a a t C h a p e l H i l l U o f 3 0 3 2 5 0 9 2 1 . N o r t h w e s t e r n U 2 8 8 9 4 0 2 2 2 . N e w Y o r k U 2 6 9 8 8 7 9 2 3 . V i r g i n i a M C U o f 2 4 6 6 7 7 3 2 4 . I o w a U o f 2 4 1 2 5 7 7 2 5 . J o h n s H o p k i n s U 2 2 6 0 2 1 9 2 6 . F l o r i d a U o f 2 2 3 1 5 0 9 2 7 . S o u t h e r n C a l i f o r n i a U o f 2 1 8 0 5 8 0 2 8 . G e o r g i a U o f 2 1 4 1 6 1 7 2 9 . K a n s a s M C U o f 2 1 1 7 1 8 7 3 0 . M i s s o u r i - C o l u m b i a U o f 2 1 1 7 1 5 6 3 1 . M i c h i g a n S t a t e U 2 0 9 9 0 9 9 3 2 . P i t t s b u r g h M C U o f 2 0 2 6 1 3 5 3 3 . S y r a c u s e U M C 2 0 1 0 0 0 9 3 4 . L o u i s i a n a S t a t e U & A a M C o l l e g e B a t o n R o u g e 1 9 6 5 3 1 1 3 5 . H a w a i i a t M a n o a U o f 1 9 4 7 4 8 1 3 6 . C o l o r a d o a t B o u l d e r U o f 1 9 2 7 6 9 9 3 7 . S t a t e U o f N e w Y o r k a t B u f f a l o M C 1 9 1 7 6 5 6 3 8 . W a y n e S t a t e U 1 9 0 4 2 0 7 3 9 . M a s s a c h u s e t t s I n s t i t u t e o f T e c h n o l o g y 1 8 6 9 1 7 3 4 0 . A r i z o n a U o f 1 8 2 1 1 2 0 4 1 . B r o w n U 1 8 0 4 9 8 2 4 2 . S o u t h e r n I l l i n o i s U a t C a r b o n d a l e 1 7 9 2 2 6 6 4 3 . A r i z o n a S t a t e U 1 7 7 1 2 0 4 4 4 . W a s h i n g t o n U 1 7 6 9 4 0 9 ( 4 | \ l U ' l A p p e n d i x C 5 ( C o n t ' d . ) . R a n k D o c t o r a l I n s t i t u t i o n N u m b e r 4 5 . C o n n e c t i c u t U o f 1 7 6 8 9 4 3 4 6 . C a s e W e s t e r n R e s e r v e U 1 7 6 4 2 1 3 4 7 . O k l a h o m a N o r m a n C a m p u s U o f 1 7 5 8 0 9 6 4 8 . C a l i f o r n i a - D a v i s U D P 1 7 5 3 2 1 4 4 9 . T e m p l e U 1 7 1 3 8 9 0 5 0 . P e n n s y l v a n i a S t a t e U M C 1 6 9 1 7 2 7 5 1 . R o c h e s t e r U o f 1 6 5 9 0 7 6 5 2 . T u l a n e U o f L o u i s i a n a 1 6 2 4 2 5 5 5 3 . N e b r a s k a - L i n c o l n U o f ‘ 1 6 0 2 6 7 1 5 4 . T e n n e s s e e a t K n o x v i l l e U o f 1 5 8 5 2 5 0 5 5 . R u t g e r s T h e S t a t e U o f N e w J e r s e y N e w B r u n s w i c k C a m p u s 1 5 7 3 3 6 1 5 6 . O r e g o n U o f 1 5 4 0 3 4 0 5 7 . F l o r i d a S t a t e U 1 5 2 4 1 9 6 5 8 . B r i g h a m Y o u n g U M C 1 5 2 1 0 1 0 5 9 . M a r y l a n d C o l l e g e P a r k C a m p u s U o f 1 5 1 6 9 9 0 6 0 . C a l i f o r n i a - S a n D i e g o U o f 1 5 0 7 8 7 5 6 1 . P u r d u e U M C 1 5 0 3 0 9 8 6 2 . N o t r e D a m e U o f 1 4 9 9 2 5 2 6 3 . D e l a w a r e U o f 1 4 9 5 0 3 5 6 4 . E m o r y U 1 4 9 2 0 2 8 6 5 . V a n d e r b i l t U 1 4 8 3 4 3 8 6 6 . D a r t m o u t h C o l l e g e 1 4 7 5 6 5 4 6 7 . C a l i f o r n i a - S a n t a B a r b a r a U o f 1 4 7 3 3 0 8 6 8 . S o u t h C a r o l i n a a t C o l u m b i a U o f 1 4 6 6 5 4 8 6 9 . I o w a S t a t e U o f S c i e n c e & T e c h n o l o g y 1 4 4 7 3 5 0 7 0 . K e n t S t a t e U M C 1 4 3 7 4 5 7 7 1 . M i a m i U o f 1 4 1 1 2 9 7 7 2 . M a s s a c h u s e t t s A m h e r s t C a m p u s U o f 1 4 0 7 1 4 7 7 3 . B o s t o n U 1 3 9 5 9 6 4 7 4 . K e n t u c k y U o f 1 3 8 7 0 2 7 7 5 . W i s c o n s i n - M i l w a u k e e U o f 1 3 6 2 6 3 5 7 6 . N o r t h T e x a s S t a t e U 1 3 5 9 0 4 4 7 7 . F o r d h a m U 1 3 4 9 3 6 2 7 8 . T e x a s A & M U M C 1 3 4 6 1 8 1 7 9 . G e o r g e t o w n U 1 3 4 3 9 7 1 8 0 . V i r g i n i a P o l y t e c h n i c I n s t i t u t e & S t a t e U 1 3 3 4 9 7 9 8 1 . C o l o r a d o S t a t e U 1 3 1 5 5 2 0 8 2 . H o u s t o n - U P a r k U o f 1 3 1 1 1 7 4 8 3 . O k l a h o m a S t a t e U M C 1 3 0 7 7 3 2 8 4 . W a s h i n g t o n S t a t e U 1 3 0 4 5 0 0 8 5 . H o w a r d U 1 2 4 2 5 5 3 8 6 . A l a b a m a T h e U o f 1 2 2 0 0 0 0 8 7 . S o u t h e r n M e t h o d i s t U 1 2 0 6 8 2 7 8 8 . C i n c i n n a t i M C U o f 1 1 9 7 6 4 7 8 9 . A u b u r n U M C 1 1 6 7 3 2 4 3 7 6 A p p e n d i x C 5 ( C o n t ' d . ) . R a n k D o c t o r a l I n s t i t u t i o n N u m b e r 9 0 . S t a t e U o f N e w Y o r k a t S t o n y B r o o k M C 1 1 3 7 0 9 8 9 1 . R i c e U 1 1 0 9 7 9 7 9 2 . B a l l S t a t e U 1 1 0 8 6 6 3 9 3 . C a t h o l i c U o f A m e r i c a 1 1 0 6 3 8 1 9 4 . N e w M e x i c o M C U o f 1 0 8 6 5 2 9 9 5 . C a l i f o r n i a - R i v e r s i d e U o f 1 0 7 5 1 2 3 9 6 . N o r t h e r n I l l i n o i s U 1 0 7 0 1 4 9 9 7 . D e n v e r U o f 1 0 5 6 0 3 7 9 8 . N o r t h C a r o l i n a S t a t e U a t R a l e i g h 1 0 4 7 9 8 0 9 9 . S t a t e U o f N e w Y o r k a t B i n g h a m t o n 1 0 3 6 4 4 0 1 0 0 . T e x a s T e c h U 1 0 2 4 8 1 6 1 0 1 . C a l i f o r n i a - I r v i n e U o f 1 0 2 3 5 1 8 1 0 2 . A r k a n s a s M C U o f 1 0 2 2 6 6 5 1 0 3 . W e s t V i r g i n i a U 1 0 1 2 9 8 4 1 0 4 . S t a t e U o f N e w Y o r k a t A l b a n y 9 9 4 9 0 1 1 0 5 . G e o r g e W a s h i n g t o n U 9 5 3 4 8 5 1 0 6 . O r e g o n S t a t e U 9 3 8 6 4 3 1 0 7 . L o u i s v i l l e U o f 9 3 2 0 6 0 1 0 8 . S a i n t L o u i s U M C 9 2 4 6 6 5 1 0 9 . S o u t h F l o r i d a U o f 9 2 2 3 1 6 1 1 0 . M i a m i U O x f o r d C a m p u s 9 2 1 3 0 4 1 1 1 . B o s t o n C o l l e g e 9 1 4 8 0 4 1 1 2 . I l l i n o i s S t a t e U 9 1 2 4 4 4 1 1 3 . K a n s a s S t a t e U o f A g r i c u l t u r e & A p p l i e d S c i e n c e 8 9 1 1 0 8 1 1 4 . Y e s h i v a U 8 8 4 7 2 9 1 1 5 . O h i o U M C 8 7 6 7 9 4 1 1 6 . W e s t e r n M i c h i g a n U 8 3 8 7 6 1 1 1 7 . M e m p h i s S t a t e U 8 2 7 5 5 7 1 1 8 . N e w H a m p s h i r e U o f 8 1 8 9 4 9 1 1 9 . V e r m o n t & S t a t e A g r i c u l t u r a l C o l l e g e U o f 7 9 3 7 7 1 1 2 0 . I l l i n o i s a t C h i c a g o U o f 7 9 2 2 3 9 1 2 1 . L e h i g h U 7 7 2 2 6 0 1 2 2 . C o r n e l l U S t a t u t o r y C o l l e g e s 7 6 7 7 8 6 1 2 3 . L o y o l a U o f C h i c a g o 7 6 7 5 8 3 1 2 4 . A l a b a m a i n B i r m i n g h a m U o f 7 5 2 2 6 9 1 2 5 . W y o m i n g U o f 7 3 7 9 8 5 1 2 6 . R h o d e I s l a n d U o f 7 3 1 4 8 9 1 2 7 . B o w l i n g G r e e n S t a t e U M C 7 1 0 6 1 4 1 2 8 . M i s s o u r i - K a n s a s C i t y U o f 7 0 9 2 0 1 1 2 9 . N e v a d a - R e n o U o f 7 0 5 5 3 3 1 3 0 . N e w M e x i c o S t a t e U M C 7 0 1 9 6 0 1 3 1 . S a i n t J o h n ' s U 7 0 0 8 8 4 1 3 2 . M a r q u e t t e U 6 9 9 8 0 1 1 3 3 . G e o r g i a S t a t e U 6 9 8 3 0 5 1 3 4 . C a l i f o r n i a - S a n t a C r u z U o f 6 7 8 7 2 5 3 7 7 A p p e n d i x C 5 ( C o n t ' d . ) . R a n k D o c t o r a l I n s t i t u t i o n N u m b e r 1 3 5 . B r a n d e i s U 6 7 4 2 9 0 1 3 6 . M i s s i s s i p p i S t a t e U 6 5 1 5 6 0 1 3 7 . U t a h S t a t e U 6 3 8 1 0 0 1 3 8 . V i r g i n i a C o m m o n w e a l t h U 6 3 4 4 2 6 1 3 9 . I d a h o U o f 6 2 5 8 3 3 1 4 0 . T u f t s U 6 1 9 6 1 6 1 4 1 . N o r t h D a k o t a M C U o f 6 1 5 5 2 7 1 4 2 . N o r t h C a r o l i n a a t G r e e n s b o r o U o f 6 1 2 4 4 8 1 4 3 . B r y n M a w r C o l l e g e 5 8 5 8 7 8 1 4 4 . T o l e d o U o f 5 7 2 5 8 0 1 4 5 . T e x a s W o m a n ' s U 5 6 6 2 6 0 1 4 6 . M i s s i s s i p p i M C U o f 5 6 5 4 8 5 1 4 7 . C l e m s o n U 5 6 0 9 0 6 1 4 8 . S o u t h e r n M i s s i s s i p p i U o f 5 4 8 6 6 0 1 4 9 . A m e r i c a n U 5 3 1 6 1 0 1 5 0 . S o u t h D a k o t a M C U o f 4 9 0 1 4 6 1 5 1 . D e t r o i t U o f 4 6 6 2 2 4 1 5 2 . ‘ N o r t h e r n C o l o r a d o U o f 4 4 7 6 8 1 1 5 3 . C l a r k U 4 1 0 3 6 5 1 5 4 . D r e w U 4 0 7 9 2 4 1 5 5 . A d e l p h i U 3 9 1 2 3 0 1 5 6 . P a c i f i c U o f t h e 3 6 2 1 1 5 1 5 7 . C a l i f o r n i a I n s t i t u t e o f T e c h n o l o g y 3 5 4 7 0 1 1 5 8 . R a n d G r a d u a t e I n s t i t u t e o f P o l i c y S t u d i e s 3 3 2 0 7 6 1 5 9 . T e x a s a t D a l l a s U o f 3 2 8 3 6 6 1 6 0 . R e n s s e l a e r P o l y t e c h n i c I n s t i t u t e 3 1 0 4 0 8 1 6 1 . C a r n e g i e - M e l l o n U 2 8 9 3 4 0 1 6 2 . R o c k e f e l l e r U 2 0 3 1 4 9 1 6 3 . I l l i n o i s I n s t i t u t e o f T e c h n o l o g y 1 8 9 4 4 1 1 6 4 . U n i t e d S t a t e s I n t e r n a t i o n a l U 1 8 8 6 5 6 1 6 5 . C i t y U o f N e w Y o r k G r a d u a t e S c h o o l & U C e n t e r 1 5 9 7 8 0 1 6 6 . N e w S c h o o l f o r S o c i a l R e s e a r c h 1 2 9 1 9 1 1 6 7 . I n t e r n a t i o n a l C o l l e g e 0 1 6 8 . U n i o n f o r E x p e r i m e n t i n g C o l l e g e s & U n i v e r s i t i e s 0 1 6 9 . A k r o n M C U o f N a 1 7 0 . C l a r e m o n t G r a d u a t e S c h o o l N a 1 7 1 . U t a h U o f N a A p p e n d i x C 6 . 3 7 8 R a n k i n g o f T o t a l C u r r e n t F u n d s R e v e n u e s , 1 9 8 1 - 1 9 8 2 R a n k D o c t o r a l I n s t i t u t i o n D o l l a r s 1 . C a l i f o r n i a - L o s A n g e l e s U o f 7 9 5 3 8 9 4 9 0 2 . M i n n e s o t a o f M i n n e a p o l i s S a i n t P a u l U o f 7 0 2 5 6 2 6 7 5 3 . C h i c a g o U o f 6 6 9 1 2 2 3 0 3 4 . S t a n f o r d U 6 3 7 8 6 0 0 0 0 5 . M i c h i g a n - A n n A r b o r U o f 6 3 5 8 5 2 6 1 4 6 . O h i o S t a t e U M C 5 7 6 5 1 2 4 9 3 7 . P e n n s y l v a n i a U o f 5 7 5 3 1 8 3 6 6 8 . N e w Y o r k U 5 4 4 2 4 1 0 0 0 9 . W i s c o n s i n - M a d i s o n U o f 5 3 9 9 0 4 5 6 3 1 0 . M a s s a c h u s e t t s I n s t i t u t e o f T e c h n o l o g y 5 1 8 6 7 6 0 0 0 1 1 . H a r v a r d U 4 9 3 4 2 8 0 0 0 1 2 . C a l i f o r n i a I n s t i t u t e o f T e c h n o l o g y 4 7 9 5 7 6 0 4 6 1 3 . J o h n s H o p k i n s U 4 7 4 0 0 6 0 3 2 1 4 . W a s h i n g t o n U o f 4 5 6 6 7 6 7 0 4 1 5 . F l o r i d a U o f 4 2 5 2 5 8 3 8 8 1 6 . C a l i f o r n i a - D a v i s U 0 F 4 1 8 4 6 5 3 2 7 1 7 . C a l i f o r n i a - B e r k e l e y U o f 4 1 6 5 2 2 0 0 1 1 8 . C a l i f o r n i a - S a n D i e g o U o f 4 0 7 2 8 4 2 0 7 1 9 . I l l i n o i s - U r b a n a C a m p u s U o f 4 0 5 4 4 9 0 0 2 2 0 . C o l u m b i a U M a i n D i v i s i o n 4 0 4 0 7 7 0 0 0 2 1 . T e x a s A & M U M C 4 0 2 0 1 7 4 3 9 2 2 . T e x a s a t A u s t i n U o f 3 9 4 2 2 8 5 0 5 2 3 . M i c h i g a n S t a t e U 3 9 3 7 5 4 7 4 1 2 4 . I o w a U o f 3 8 7 3 3 7 1 7 0 2 5 . A r i z o n a U o f 3 6 6 9 8 6 1 2 5 2 6 . P e n n s y l v a n i a S t a t e U M C 3 5 3 8 0 8 8 4 5 2 7 . N o r t h C a r o l i n a a t C h a p e l H i l l U o f 3 5 0 8 4 0 2 6 3 2 8 . S o u t h e r n C a l i f o r n i a U o f 3 4 8 8 3 6 5 7 6 2 9 . C i n c i n n a t i M C U o f 3 3 4 7 4 1 3 4 4 3 0 . Y a l e U 3 3 4 6 3 4 4 9 5 3 1 . T e m p l e U 3 2 5 8 4 4 1 4 2 3 2 . A l a b a m a i n B i r m i n g h a m U o f 3 1 6 0 7 9 1 2 7 3 3 . V i r g i n i a M C U o f 3 0 9 1 0 2 8 5 1 3 4 . R o c h e s t e r U o f 3 0 4 1 1 4 6 3 4 3 5 . P u r d u e U M C 3 0 0 9 0 9 4 4 3 3 6 . K e n t u c k y U o f 2 9 4 2 3 6 6 3 9 3 7 . P i t t s b u r g h M C U o f 2 9 1 7 3 3 8 9 4 3 8 . E m o r y U 2 8 9 3 5 9 2 6 9 3 9 . M i s s o u r i - C o l u m b i a U o f 2 8 8 6 9 3 2 8 7 4 0 . I n d i a n a U B l o o m i n g t o n 2 8 3 2 3 2 3 1 2 4 1 . V i r g i n i a C o m m o n w e a l t h U 2 8 2 0 2 9 1 3 9 4 2 . I o w a S t a t e U o f S c i e n c e & T e c h n o l o g y 2 7 7 9 3 3 2 0 6 4 3 . C a l i f o r n i a - I r v i n e U o f 2 7 2 5 0 5 6 1 3 4 4 . U t a h U o f 2 7 0 6 4 1 6 1 7 4 5 . H o w a r d U 2 6 8 5 6 3 3 1 2 3 7 9 A p p e n d i x C 6 ( C o n t ' d . ) . R a n k D o c t o r a l I n s t i t u t i o n D o l l a r s 4 6 . D u k e U 2 6 4 9 7 1 2 8 6 4 7 . G e o r g e t o w n U 2 6 1 1 3 2 0 0 0 4 8 . V a n d e r b i l t U 2 5 4 9 9 8 9 7 1 4 9 . W a s h i n g t o n U 2 5 4 5 6 9 5 1 3 5 0 . B o s t o n U 2 5 3 5 6 8 0 4 2 5 1 . P r i n c e t o n U 2 5 3 2 9 9 0 0 0 5 2 . G e o r g i a U o f 2 5 2 8 9 7 3 6 5 5 3 . M i a m i U o f 2 5 2 3 2 0 5 0 4 5 4 . L o u i s i a n a S t a t e U & A & M C o l l e g e B a t o n R o u g e 2 4 7 6 9 2 6 0 6 5 5 . G e o r g e W a s h i n g t o n U 2 4 5 4 8 5 7 3 9 5 6 . C o r n e l l U E n d o w e d C o l l e g e s 2 4 3 7 2 2 7 0 3 5 7 . M a r y l a n d C o l l e g e P a r k C a m p u s U o f 2 4 0 8 6 1 3 3 2 5 8 . N o r t h w e s t e r n U 2 3 2 8 1 3 0 5 5 5 9 . ’ R u t g e r s T h e S t a t e U o f N e w J e r s e y N e w B r u n s w i c k C a m p u s 2 2 1 6 9 4 1 5 0 6 0 . V i r g i n i a P o l y t e c h n i c I n s t i t u t e & S t a t e U 2 1 2 9 5 1 9 4 1 6 1 . W e s t V i r g i n i a U 2 1 2 0 3 1 0 0 0 6 2 . N o r t h C a r o l i n a S t a t e U a t R a l e i g h 2 0 5 5 6 2 7 4 3 6 3 . L o y o l a U o f C h i c a g o 2 0 3 1 0 9 4 4 4 6 4 . W a y n e S t a t e U 2 0 0 3 0 9 9 7 8 6 5 . M a s s a c h u s e t t s A m h e r s t C a m p u s U o f 1 9 8 7 2 7 6 1 0 6 6 . A r i z o n a S t a t e U 1 9 7 2 0 6 1 2 1 6 7 . H a w a i i a t M a n o a U o f 1 8 8 8 5 6 7 1 2 6 8 . S y r a c u s e U M C 1 8 4 7 3 4 8 7 5 6 9 . S t a t e U o f N e w Y o r k a t B u f f a l o M C 1 8 3 0 6 1 8 4 4 7 0 . N e b r a s k a - L i n c o l n U o f 1 8 1 7 0 5 4 4 4 7 1 . O k l a h o m a N o r m a n C a m p u s U o f 1 8 0 5 9 1 5 0 8 7 2 . T e n n e s s e e a t K n o x v i l l e U o f 1 7 8 2 9 1 1 0 8 7 3 . W a s h i n g t o n S t a t e U 1 7 6 7 9 8 2 7 9 7 4 . C o l o r a d o a t B o u l d e r U o f 1 7 5 5 6 0 0 2 2 7 5 . S o u t h e r n I l l i n o i s U a t C a r b o n d a l e 1 7 4 7 9 7 2 6 9 7 6 . T u l a n e U o f L o u i s i a n a 1 7 4 7 7 9 8 0 9 7 7 . S t a t e U o f N e w Y o r k a t S t o n y B r o o k M C 1 7 4 1 7 8 1 3 6 7 8 . C o l o r a d o S t a t e U 1 7 2 0 0 9 0 7 0 7 9 . Y e s h i v a U 1 6 8 2 4 1 8 1 8 8 0 . O r e g o n S t a t e U 1 6 6 1 8 7 1 2 4 8 1 . O k l a h o m a S t a t e U M C 1 6 5 0 9 3 7 3 4 8 2 . C o n n e c t i c u t U o f 1 5 8 5 9 2 7 9 4 8 3 . A u b u r n U M C 1 5 5 8 3 8 8 2 6 8 4 . C a l i f o r n i a - S a n t a B a r b a r a U o f 1 5 3 0 3 9 2 6 8 8 5 . H o u s t o n - U P a r k U o f 1 5 2 5 6 6 7 9 9 8 6 . D e l a w a r e U o f 1 5 2 2 0 9 7 7 9 8 7 . S a i n t L o u i s U M C 1 4 6 0 7 4 3 7 9 8 8 . L o u i s v i l l e U o f 1 4 2 8 9 7 7 3 3 3 8 0 A p p e n d i x C 6 ( C o n t ' d . ) . R a n k D o c t o r a l I n s t i t u t i o n D o l l a r s 8 9 . K a n s a s S t a t e U o f A g r i c u l t u r e & A p p l i e d S c i e n c e 1 4 2 1 8 5 4 7 2 9 0 . S o u t h C a r o l i n a a t C o l u m b i a U o f 1 3 9 8 6 5 9 8 5 9 1 . S o u t h F l o r i d a U o f 1 3 9 6 4 5 5 1 7 9 2 . C a s e W e s t e r n R e s e r v e U 1 3 8 3 9 2 4 3 0 9 3 . F l o r i d a S t a t e U 1 3 8 3 5 0 6 4 5 9 4 . C o r n e l l U S t a t u t o r y C o l l e g e s 1 3 5 0 8 2 0 3 1 9 5 . T e x a s T e c h U 1 3 4 0 4 8 0 5 0 9 6 . M i s s i s s i p p i S t a t e U 1 3 3 5 4 8 7 5 9 9 7 . K a n s a s M C U o f 1 3 3 5 0 5 7 9 8 9 8 . C l e m s o n U 1 3 3 3 2 7 3 4 2 9 9 . B r i g h a m Y o u n g U M C 1 3 1 2 4 3 8 3 2 1 0 0 . N e w M e x i c o M C U o f 1 3 0 5 6 1 0 4 7 1 0 1 . N e w M e x i c o S t a t e U M C 1 2 3 5 1 0 6 2 6 1 0 2 . A r k a n s a s M C U o f 1 2 2 7 3 3 1 7 1 1 0 3 . N o t r e D a m e U o f 1 2 0 3 2 2 6 1 9 1 0 4 . N o r t h e r n I l l i n o i s U 1 1 9 6 6 7 8 3 6 1 0 5 . W i s c o n s i n - M i l w a u k e e U 0 F 1 1 3 1 9 6 8 4 0 1 0 6 . A l a b a m a T h e U o f 1 1 3 1 9 0 2 5 7 1 0 7 . T u f t s U 1 1 2 4 7 7 1 7 0 1 0 8 . B r o w n U 1 1 2 2 9 2 2 5 8 1 0 9 . D a r t m o u t h C o l l e g e 1 1 1 9 7 2 0 0 0 1 1 0 . S t a t e U o f N e w Y o r k a t A l b a n y 1 1 1 1 1 6 9 5 7 1 1 1 . V e r m o n t & S t a t e A g r i c u l t u r a l C o l l e g e U o f 1 1 0 8 2 4 0 0 0 1 1 2 . R h o d e I s l a n d U o f 1 1 0 7 1 8 9 2 7 1 1 3 . I l l i n o i s a t C h i c a g o U o f 1 0 7 8 5 0 4 2 7 1 1 4 . W e s t e r n M i c h i g a n U 1 0 6 5 0 1 0 0 0 1 1 5 . C a r n e g i e - M e l l o n U 1 0 6 4 1 3 0 4 6 1 1 6 . U t a h S t a t e U 1 0 4 7 5 2 0 3 4 1 1 7 . B o s t o n C o l l e g e 1 0 3 5 8 2 8 0 2 1 1 8 . K e n t S t a t e U M C 1 0 1 6 8 2 9 1 0 1 1 9 . O r e g o n U o f 1 0 1 2 5 0 5 8 2 1 2 0 . B a l l S t a t e U 9 9 7 4 9 4 1 0 1 2 1 . O h i o U M C 9 9 4 5 1 8 5 4 1 2 2 . N e w H a m p s h i r e U o f 9 8 3 4 4 4 2 6 1 2 3 . B o w l i n g G r e e n S t a t e U M C 9 8 0 5 7 5 8 5 1 2 4 . I l l i n o i s S t a t e U 9 8 0 1 0 5 9 1 1 2 5 . N o r t h D a k o t a M C U o f 9 4 1 3 8 8 4 4 1 2 6 . M i a m i U O x f o r d C a m p u s 9 3 4 0 7 6 8 3 1 2 7 . N o r t h T e x a s S t a t e U 9 2 5 9 7 3 6 1 1 2 8 . C a l i f o r n i a - R i v e r s i d e U o f 9 1 8 1 1 5 6 2 1 2 9 . A k r o n M C U o f 8 4 3 1 9 1 3 6 1 3 0 . W y o m i n g U o f 8 3 1 8 4 7 7 3 1 3 1 . R e n s s e l a e r P o l y t e c h n i c I n s t i t u t e 8 3 0 0 5 0 0 0 1 3 2 . S o u t h e r n M e t h o d i s t U 8 2 8 7 8 8 4 6 1 3 3 . I d a h o u o f 7 9 8 2 0 3 8 1 3 8 1 A p p e n d i x C 6 ( C o n t ’ d . ) . R a n k D o c t o r a l I n s t i t u t i o n D o l l a r s 1 3 4 . C a l i f o r n i a - S a n t a C r u z U o f 7 8 8 5 7 0 1 7 1 3 5 . G e o r g i a S t a t e U 7 4 9 1 2 1 8 8 1 3 6 . M e m p h i s S t a t e U 7 4 8 9 8 3 9 2 1 3 7 . D e n v e r U o f 7 4 6 9 3 2 5 9 1 3 8 . S t a t e U o f N e w Y o r k a t B i n g h a m t o n 7 4 1 4 2 6 7 6 1 3 9 . T o l e d o U o f 7 3 1 8 8 4 9 2 1 4 0 . M a r q u e t t e U 7 3 0 6 3 7 9 5 1 4 1 . L e h i g h U 7 1 2 1 1 7 5 1 1 4 2 . R i c e U 6 9 3 5 5 0 0 0 1 4 3 . N e v a d a - R e n o U o f 6 9 2 9 5 1 6 1 1 4 4 . A m e r i c a n U 6 8 5 5 3 0 0 0 1 4 5 . M i s s o u r i - K a n s a s C i t y U o f 6 8 0 4 8 4 0 3 1 4 6 . M i s s i s s i p p i M C U o f 6 7 8 8 5 0 3 8 1 4 7 . S o u t h e r n M i s s i s s i p p i U o f 6 6 8 8 5 6 7 5 1 4 8 . B r a n d e i s U 6 5 6 5 9 1 3 8 1 4 9 . S a i n t J o h n ' s U 6 5 4 9 8 2 7 8 1 5 0 . R o c k e f e l l e r U 6 5 4 6 6 6 6 4 1 5 1 . F o r d h a m U 6 3 0 2 7 3 1 2 1 5 2 . P a c i f i c U o f t h e 5 8 0 3 4 0 0 0 1 5 3 . A d e l p h i U 5 5 3 3 1 4 0 6 1 5 4 . N o r t h e r n C o l o r a d o U o f 5 4 9 5 7 7 7 6 1 5 5 . C a t h o l i c U o f A m e r i c a 5 2 9 5 0 8 9 8 1 5 6 . N o r t h C a r o l i n a a t G r e e n s b o r o U o f 5 1 6 1 6 5 2 6 1 5 7 . I l l i n o i s I n s t i t u t e o f T e c h n o l o g y 5 0 5 6 1 2 3 3 1 5 8 . T e x a s W o m a n ' s U 4 5 0 4 3 7 4 1 1 5 9 . T e x a s a t D a l l a s U o f 3 9 8 7 8 6 0 1 1 6 0 . D e t r o i t U o f 3 9 0 9 8 9 3 1 1 6 1 . S o u t h D a k o t a M C U o f 3 8 1 1 8 8 3 0 1 6 2 . C i t y U o f N e w Y o r k G r a d u a t e S c h o o l a U C e n t e r 3 1 3 8 0 0 6 5 1 6 3 . B r y n M a w r C o l l e g e 2 5 2 8 8 5 9 0 1 6 4 . C l a r k U 2 5 0 2 7 2 7 1 1 6 5 . N e w S c h o o l f o r S o c i a l R e s e a r c h 2 1 8 0 0 5 3 4 1 6 6 . D r e w U 2 0 7 8 6 3 5 5 1 6 7 . U n i t e d S t a t e s I n t e r n a t i o n a l U 1 2 9 3 1 2 3 0 1 6 8 . C l a r e m o n t G r a d u a t e S c h o o l 9 2 8 3 0 9 3 1 6 9 . U n i o n f o r E x p e r i m e n t i n g C o l l e g e s & U n i v e r s i t i e s 2 7 4 7 0 3 6 1 7 0 . I n t e r n a t i o n a l C o l l e g e 1 8 5 3 8 1 8 1 7 1 . R a n d G r a d u a t e I n s t i t u t e o f P o l i c y S t u d i e s 3 1 1 3 9 0 3 8 2 A p p e n d i x C 7 . R a n k i n g o f E x p e n d i t u r e s f o r I n s t r u c t i o n , 1 9 8 1 - 1 9 8 2 R a n k D o c t o r a l I n s t i t u t i o n D o l l a r s 1 . C a l i f o r n i a - L o s A n g e l e s U o f 2 1 2 1 7 0 9 4 1 2 . M i n n e s o t a o f M i n n e a p o l i s S a i n t P a u l U o f 1 9 2 4 4 2 2 1 0 3 . O h i o S t a t e U M C 1 6 5 1 7 7 5 6 5 4 . C o l u m b i a U M a i n D i v i s i o n 1 6 2 3 7 0 0 0 0 5 . M i c h i g a n - A n n A r b o r U o f 1 5 6 5 1 4 7 7 8 6 . N e w Y o r k U 1 5 4 9 0 5 0 0 0 7 . F l o r i d a U o f 1 5 2 1 8 6 0 6 2 8 . S o u t h e r n C a l i f o r n i a U o f 1 4 6 0 8 6 7 2 4 9 . W a s h i n g t o n U o f 1 4 4 2 0 8 4 1 6 1 0 . C a l i f o r n i a - B e r k e l e y U o f 1 3 8 8 8 6 0 4 5 1 1 . M i c h i g a n S t a t e U 1 3 3 1 0 8 7 2 0 1 2 . H a r v a r d U 1 3 1 0 7 9 0 0 0 1 3 . W i s c o n s i n - M a d i s o n U o f 1 3 0 9 8 6 6 4 1 1 4 . J o h n s H o p k i n s U 1 2 6 9 3 5 5 5 0 1 5 . N o r t h C a r o l i n a a t C h a p e l H i l l U o f 1 1 9 7 3 1 3 6 9 1 6 . T e x a s a t A u s t i n U o f 1 1 9 3 4 7 0 3 4 1 7 . W a s h i n g t o n U ' ' 1 1 1 4 3 7 4 6 1 1 8 . Y a l e U 1 1 0 6 8 5 4 9 9 1 9 . P e n n s y l v a n i a U o f 1 0 9 9 1 2 4 7 6 2 0 . T e x a s A & M U M C 1 0 5 0 0 3 7 3 4 2 1 . C a l i f o r n i a - D a v i s U 0 F 1 0 4 0 1 0 8 9 5 2 2 . I l l i n o i s - U r b a n a C a m p u s U o f 1 0 1 3 2 6 8 9 1 2 3 . C h i c a g o U o f 1 0 1 1 3 4 2 0 5 2 4 . P u r d u e U M C 1 0 0 6 6 9 9 1 9 2 5 . T e m p l e U _ 9 8 9 6 3 4 5 1 2 6 . P e n n s y l v a n i a S t a t e U M C 9 8 5 7 4 7 5 1 2 7 . S t a n f o r d U 9 6 8 0 9 0 0 0 2 8 . N o r t h w e s t e r n U 9 5 8 1 0 2 9 3 2 9 . P i t t s b u r g h M C U o f 9 5 2 9 4 7 3 7 3 0 . I o w a U o f 9 4 2 6 1 3 4 6 3 1 . A r i z o n a U o f 9 2 9 3 3 5 3 3 3 2 . C i n c i n n a t i M C U o f 8 8 0 4 9 3 1 3 3 3 . I n d i a n a U B l o o m i n g t o n 8 6 2 5 0 3 6 1 3 4 . W a y n e S t a t e U 8 4 2 0 3 1 2 5 3 5 . B o s t o n U 8 1 1 4 5 7 7 5 3 6 . C a l i f o r n i a - S a n D i e g o U o f 7 8 9 2 1 0 9 7 3 7 . S t a t e U o f N e w Y o r k a t B u f f a l o M C 7 8 7 6 8 4 5 0 3 8 . R u t g e r s T h e S t a t e U o f N e w J e r s e y N e w B r u n s w i c k C a m p u s 7 8 6 0 3 2 3 7 3 9 . M a r y l a n d C o l l e g e P a r k C a m p u s U o f 7 7 5 7 2 0 1 8 4 0 . M i s s o u r i - C o l u m b i a U o f 7 5 9 1 4 8 3 7 4 1 . K e n t u c k y U o f 7 5 3 1 5 0 0 0 4 2 . H o w a r d U 7 5 1 8 9 7 8 3 4 3 . G e o r g i a U o f 7 5 1 0 1 2 2 6 4 4 . A r i z o n a S t a t e U 7 4 6 1 7 0 0 9 A p p e n d i x C 7 ( C o n t ' d . ) . R a n k D o c t o r a l I n s t i t u t i o n D o l l a r s 4 5 . M i a m i U o f ’ 7 4 5 8 6 9 9 5 4 6 . S o u t h e r n I l l i n o i s U a t C a r b o n d a l e 7 3 4 4 6 7 9 5 4 7 . A l a b a m a i n B i r m i n g h a m U o f 7 2 5 9 5 3 4 8 4 8 . V i r g i n i a P o l y t e c h n i c I n s t i t u t e & S t a t e U 6 5 5 5 0 7 4 2 4 9 . C a l i f o r n i a - I r v i n e U o f 6 5 1 6 3 7 0 5 5 0 . T e n n e s s e e a t K n o x v i l l e U o f 6 4 6 9 4 3 8 0 5 1 . C o r n e l l U E n d o w e d C o l l e g e s 6 3 8 3 3 1 0 3 5 2 . M a s s a c h u s e t t s I n s t i t u t e o f T e c h n o l o g y 6 3 7 4 9 0 0 0 5 3 . H a w a i i a t M a n o a U o f 6 2 6 2 9 6 5 7 5 4 . S t a t e U o f N e w Y o r k a t S t o n y B r o o k M C 6 2 4 4 5 2 1 4 5 5 . I o w a S t a t e U o f S c i e n c e & T e c h n o l o g y 6 2 3 4 5 5 3 5 5 6 . U t a h U o f 6 2 3 2 8 2 3 8 5 7 . S o u t h F l o r i d a U o f 6 1 8 1 9 0 9 3 5 8 . V i r g i n i a M C U o f 6 0 8 4 6 8 6 9 5 9 . D e l a w a r e U o f 6 0 8 3 6 9 0 6 6 0 . V i r g i n i a C o m m o n w e a l t h U 6 0 8 3 0 0 0 0 6 1 . S y r a c u s e U M C 6 0 4 4 3 0 8 3 6 2 . N o r t h C a r o l i n a S t a t e U a t R a l e i g h 5 7 5 8 2 6 6 3 6 3 . M a s s a c h u s e t t s A m h e r s t C a m p u s U o f 5 7 3 3 4 3 6 5 6 4 . E m o r y U 5 7 1 1 3 8 5 3 6 5 . F l o r i d a S t a t e U 5 6 6 8 3 3 0 8 6 6 . S o u t h C a r o l i n a a t C o l u m b i a U o f 5 6 3 1 1 1 3 6 6 7 . D u k e U 5 5 7 4 8 1 4 4 6 8 . H o u s t o n - U P a r k U o f 5 5 7 0 0 2 4 7 6 9 . G e o r g e t o w n U 5 5 0 5 3 0 0 0 7 0 . L o u i s i a n a S t a t e U & A & M C o l l e g e B a t o n R o u g e 5 4 7 0 6 3 8 9 7 1 . R o c h e s t e r U o f 5 1 8 6 8 6 9 0 7 2 . C o l o r a d o a t B o u l d e r U o f * 5 1 6 9 4 2 5 9 7 3 . G e o r g e W a s h i n g t o n U 5 1 4 1 3 0 1 1 7 4 . L o u i s v i l l e U o f 5 1 1 9 3 3 2 9 7 5 . W e s t V i r g i n i a U 5 0 9 8 2 0 0 0 7 6 . C a l i f o r n i a - S a n t a B a r b a r a U o f 5 0 3 8 2 1 4 4 7 7 . N e b r a s k a - L i n c o l n U o f 4 9 9 1 7 7 0 7 7 8 . K a n s a s M C U o f 4 9 5 8 2 6 9 6 7 9 . W i s c o n s i n - M i l w a u k e e U o f 4 9 3 4 5 2 5 2 8 0 . C a s e W e s t e r n R e s e r v e U 4 9 1 4 3 2 2 3 8 1 . C o l o r a d o S t a t e U 4 9 0 9 5 9 5 7 8 2 . C o n n e c t i c u t U o f 4 8 6 8 9 3 7 7 8 3 . T u l a n e U o f L o u i s i a n a 4 8 5 2 6 9 7 1 8 4 . B r i g h a m Y o u n g U M C 4 6 5 5 7 5 5 1 8 5 . W a s h i n g t o n S t a t e U 4 6 4 6 4 0 8 1 8 6 . S t a t e U o f N e w Y o r k a t A l b a n y 4 4 8 7 6 2 7 9 8 7 . O k l a h o m a N o r m a n C a m p u s U o f 4 4 8 6 8 7 7 1 8 8 . A u b u r n U M C 4 4 3 4 6 0 4 3 8 9 . A l a b a m a T h e U o f 4 3 7 9 4 6 4 4 3 8 4 A p p e n d i x C 7 ( C o n t ' d . ) . R a n k D o c t o r a l I n s t i t u t i o n D o l l a r s 9 0 . O k l a h o m a S t a t e U M C 4 2 7 2 8 8 9 3 9 1 . O r e g o n S t a t e U 4 2 4 6 3 8 7 9 9 2 . L o y o l a U o f C h i c a g o 4 2 1 6 5 7 2 8 9 3 . N o r t h e r n I l l i n o i s U 4 1 6 0 3 5 2 7 9 4 . O h i o U M C 4 1 2 6 1 3 1 8 9 5 . S a i n t L o u i s U M C 4 0 9 5 0 5 8 9 9 6 . K a n s a s S t a t e U o f A g r i c u l t u r e & A p p l i e d S c i e n c e 3 9 3 3 6 1 0 7 9 7 . W e s t e r n M i c h i g a n U 3 9 1 9 4 0 0 0 9 8 . N e w M e x i c o M C U o f 3 8 5 9 6 7 7 9 9 9 . Y e s h i v a U 3 7 7 1 4 5 0 6 1 0 0 . B o w l i n g G r e e n S t a t e U M C 3 7 6 3 0 4 2 2 1 0 1 . A k r o n M C U o f 3 7 5 4 8 3 0 0 1 0 2 . G e o r g i a S t a t e U 3 7 5 0 9 6 9 5 1 0 3 . W y o m i n g U o f 3 7 4 0 9 6 4 6 1 0 4 . O r e g o n U o f 3 7 0 9 8 8 9 7 1 0 5 . I l l i n o i s a t C h i c a g o U o f 3 6 1 6 5 0 1 0 1 0 6 . , B a l l S t a t e U 3 6 0 9 4 8 9 4 1 0 7 . N o r t h D a k o t a M C U o f 3 5 8 9 7 7 6 6 1 0 8 . K e n t S t a t e U M C 3 5 6 5 3 8 3 6 1 0 9 . T e x a s T e c h U 3 5 6 2 3 5 5 7 1 1 0 . N o r t h T e x a s S t a t e U 3 5 6 0 7 5 8 3 1 1 1 . P r i n c e t o n U 3 5 3 6 2 4 2 5 1 1 2 . B o s t o n C o l l e g e 3 5 2 5 1 3 6 3 1 1 3 . M i a m i U O x f o r d C a m p u s 3 4 9 6 8 2 4 7 1 1 4 . C l e m s o n U 3 4 4 3 7 1 9 6 1 1 5 . M e m p h i s S t a t e U 3 4 1 1 0 7 6 1 1 1 6 . T o l e d o U o f 3 3 1 1 8 0 0 2 1 1 7 . I l l i n o i s S t a t e U 3 2 9 4 3 7 5 1 1 1 8 . T u f t s U 3 2 8 7 9 2 8 3 1 1 9 . B r o w n U 3 2 6 5 3 8 7 6 1 2 0 . V a n d e r b i l t U 3 2 5 3 0 0 8 1 1 2 1 . N o t r e D a m e U o f 3 2 3 2 2 0 9 6 1 2 2 . V e r m o n t & S t a t e A g r i c u l t u r a l C o l l e g e U o f 3 1 9 1 8 0 0 0 1 2 3 . R h o d e I s l a n d U o f 3 1 4 5 1 0 9 7 1 2 4 . C a l i f o r n i a I n s t i t u t e o f T e c h n o l o g y 3 1 4 2 6 1 7 5 1 2 5 . D a r t m o u t h C o l l e g e 3 1 0 1 1 0 0 0 1 2 6 . M i s s o u r i - K a n s a s C i t y U o f 3 0 9 3 4 8 2 3 1 2 7 . C a r n e g i e - M e l l o n U 3 0 9 0 1 2 7 1 1 2 8 . S t a t e U o f N e w Y o r k a t B i n g h a m t o n 3 0 1 9 1 3 1 2 1 2 9 . C o r n e l l U S t a t u t o r y C o l l e g e s 2 9 3 7 7 2 5 5 1 3 0 . A r k a n s a s M C U o f 2 8 1 7 6 3 0 6 1 3 1 . A d e l p h i U 2 7 2 7 1 4 1 8 1 3 2 . S o u t h e r n M i s s i s s i p p i U o f 2 7 1 2 3 2 8 6 1 3 3 . M i s s i s s i p p i S t a t e U 2 6 1 5 7 8 4 0 1 3 4 . S a i n t J o h n ' s U 2 5 8 1 9 2 0 6 A p p e n d i x C 7 ( C o n t ' d . ) . R a n k D o c t o r a l I n s t i t u t i o n D o l l a r s 1 3 5 . C a l i f o r n i a - S a n t a C r u z U o f 2 5 7 3 9 3 3 5 1 3 6 . C a l i f o r n i a - R i v e r s i d e U o f 2 5 4 7 5 7 2 6 1 3 7 . N e w M e x i c o S t a t e U M C 2 4 9 9 6 2 2 2 1 3 8 . A m e r i c a n U 2 4 9 9 5 0 0 0 1 3 9 . U t a h S t a t e U 2 4 8 7 6 9 3 8 1 4 0 . R e n s s e l a e r P o l y t e c h n i c I n s t i t u t e 2 4 5 7 4 0 0 0 1 4 1 . M a r q u e t t e U 2 4 0 7 1 6 7 8 1 4 2 . D e n v e r U o f 2 3 6 7 9 6 5 4 1 4 3 . F o r d h a m U 2 3 3 1 7 7 1 4 1 4 4 . S o u t h e r n M e t h o d i s t U 2 3 2 7 3 0 8 1 1 4 5 . N e w H a m p s h i r e U o f 2 3 2 2 4 2 8 6 1 4 6 . N o r t h C a r o l i n a a t G r e e n s b o r o U o f 2 2 9 1 6 2 7 2 1 4 7 . P a c i f i c U o f t h e 2 2 3 4 9 0 0 0 1 4 8 . I d a h o U o f 2 2 3 2 0 9 0 9 1 4 9 . R i c e U 2 1 3 3 9 0 0 0 1 5 0 . N e v a d a - R e n o U o f 2 0 3 0 0 7 7 1 1 5 1 . M i s s i s s i p p i M C U o f 2 0 1 8 6 2 8 3 1 5 2 . C a t h o l i c U o f A m e r i c a 2 0 0 4 9 7 9 6 1 5 3 . N o r t h e r n C o l o r a d o U o f 2 0 0 1 5 5 8 5 1 5 4 . T e x a s W o m a n ' s U 1 9 9 5 0 3 5 8 1 5 5 . C i t y U o f N e w Y o r k G r a d u a t e S c h o o l & U C e n t e r 1 9 5 5 9 7 0 2 1 5 6 . L e h i g h U 1 8 1 4 8 9 9 8 1 5 7 . B r a n d e i s U 1 7 6 9 2 3 3 5 1 5 8 . T e x a s a t D a l l a s U o f 1 5 8 2 1 2 9 2 1 5 9 . I l l i n o i s I n s t i t u t e o f T e c h n o l o g y 1 4 0 7 7 2 2 1 1 6 0 . S o u t h D a k o t a M C U o f 1 3 0 8 1 9 6 9 1 6 1 . D e t r o i t U o f 1 2 3 0 4 7 0 7 1 6 2 . N e w S c h o o l f o r S o c i a l R e s e a r c h 9 1 4 7 9 0 2 1 6 3 . C l a r k U 8 7 8 1 8 8 2 1 6 4 . B r y n M a w r C o l l e g e 7 2 6 4 3 9 5 1 6 5 . D r e w U 4 7 0 1 6 2 7 1 6 6 . C l a r e m o n t G r a d u a t e S c h o o l 4 2 6 3 1 3 4 1 6 7 . U n i t e d S t a t e s I n t e r n a t i o n a l U 3 3 1 4 8 1 8 1 6 8 . R o c k e f e l l e r U 1 0 9 1 2 3 3 1 6 9 . U n i o n f o r E x p e r i m e n t i n g C o l l e g e s & U n i v e r s i t i e s 8 3 3 8 4 9 1 7 0 . I n t e r n a t i o n a l C o l l e g e 7 8 2 9 4 8 1 7 1 . R a n d G r a d u a t e I n s t i t u t e o f P o l i c y S t u d i e s 2 0 2 4 0 4 — — — — — — — - — — — — I - . . “ _ _ ; . a . _ . A p p e n d i x C 8 . 3 8 6 R a n k i n g o f F a c u l t y Q u a l i t y R a t i n g , 1 9 8 1 - 1 9 8 2 R a n k D o c t o r a l I n s t i t u t i o n P o i n t s 1 . C a l i f o r n i a - B e r k e l e y U o f 1 5 8 9 0 2 . S t a n f o r d U 1 3 7 3 2 3 . W i s c o n s i n - M a d i s o n U o f 1 2 5 1 1 4 . Y a l e U 1 2 4 7 5 5 . C h i c a g o U o f 1 2 3 1 9 6 . C a l i f o r n i a — L o s A n g e l e s U o f 1 2 2 4 5 7 . I l l i n o i s - U r b a n a C a m p u s U o f 1 2 2 0 8 8 . M i n n e s o t a o f M i n n e a p o l i s S a i n t P a u l U o f 1 1 9 4 1 9 . M i c h i g a n - A n n A r b o r U o f 1 1 3 6 0 1 0 . C o r n e l l U E n d o w e d & S t a t u t o r y C o l l e g e s 1 1 3 2 9 * 1 1 . P r i n c e t o n U 1 0 8 5 8 1 2 . W a s h i n g t o n U o f 1 0 6 6 3 1 3 . C o l u m b i a U M a i n D i v i s i o n 1 0 6 0 1 1 4 . H a r v a r d U 1 0 5 7 6 1 5 . P e n n s y l v a n i a U o f 1 0 5 3 7 1 6 . O h i o S t a t e U M C 1 0 4 6 6 1 7 . T e x a s a t A u s t i n U o f 1 0 3 2 3 1 8 . N o r t h C a r o l i n a a t C h a p e l H i l l U o f 9 5 0 9 1 9 . N o r t h w e s t e r n U 8 9 4 8 2 0 . P i t t s b u r g h M C U o f 8 8 2 1 2 1 . I n d i a n a U B l o o m i n g t o n 8 6 3 1 2 2 . P e n n s y l v a n i a S t a t e U M C 8 6 2 5 2 3 . R u t g e r s T h e S t a t e U o f N e w J e r s e y N e w B r u n s w i c k C a m p u s 8 0 1 9 2 4 . J o h n s H o p k i n s U 7 9 9 2 2 5 . M a s s a c h u s e t t s I n s t i t u t e o f T e c h n o l o g y 7 9 2 5 2 6 . B r o w n U 7 8 6 7 2 7 . C a l i f o r n i a - D a v i s U O F 7 7 5 0 2 8 . C a l i f o r n i a - S a n D i e g o U o f 7 7 0 1 2 9 . M i c h i g a n S t a t e U 7 6 3 1 3 0 . V i r g i n i a M C U o f 7 5 8 3 3 1 . D u k e U 7 4 2 2 3 2 . I o w a U o f 7 3 5 8 3 3 . M a s s a c h u s e t t s A m h e r s t C a m p u s U o f 7 2 0 8 3 4 . K a n s a s M C U o f 7 0 7 4 3 5 . S t a t e U o f N e w Y o r k a t B u f f a l o M C 7 0 6 2 3 6 . S o u t h e r n C a l i f o r n i a U o f 7 0 6 0 3 7 . W a s h i n g t o n U 7 0 5 9 3 8 . M a r y l a n d C o l l e g e P a r k C a m p u s U o f 6 9 6 8 3 9 . A r i z o n a U o f 6 7 9 4 4 0 . N e w Y o r k U 6 7 5 8 4 1 . C o l o r a d o a t B o u l d e r U o f 6 5 0 5 4 2 . C o n n e c t i c u t U o f 6 3 0 7 4 3 . R o c h e s t e r U o f 6 2 5 7 4 4 . P u r d u e U M C 6 2 4 2 4 5 . O r e g o n U o f 6 1 4 2 3 8 7 A p p e n d i x C 8 ( C o n t ' d . ) . R a n k D o c t o r a l I n s t i t u t i o n P o i n t s 4 6 . C i t y U o f N e w Y o r k G r a d u a t e S c h o o l a U C e n t e r 6 1 0 2 4 7 . V a n d e r b i l t U 6 0 3 6 4 8 . C a l i f o r n i a - S a n t a b a r b a r a U o f 5 9 8 1 4 9 . F l o r i d a U o f 5 7 4 3 5 0 . K e n t u c k y U o f 5 6 7 1 5 1 . I o w a S t a t e U o f S c i e n c e & T e c h n o l o g y 5 6 2 5 5 2 . M i s s o u r i - C o l u m b i a U o f 5 6 1 8 5 3 . C a l i f o r n i a - I r v i n e U o f 5 6 1 2 5 4 . S y r a c u s e U M C 5 5 0 5 5 5 . B o s t o n U 5 2 9 0 5 6 . R i c e U 5 0 8 7 5 7 . S t a t e U o f N e w Y o r k a t S t o n y B r o o k M C 5 0 5 3 5 8 . O k l a h o m a N o r m a n C a m p u s U o f 4 8 6 6 5 9 . C i n c i n n a t i M C U o f 4 6 8 0 6 0 . C a l i f o r n i a I n s t i t u t e o f T e c h n o l o g y 4 5 8 9 6 1 . T e x a s A & M U M C 4 5 3 4 6 2 . T e n n e s s e e a t K n o x v i l l e U o f 4 5 1 8 6 3 . G e o r g i a U o f 4 5 0 4 6 4 . U t a h U o f 4 4 7 4 6 5 . N o r t h C a r o l i n a S t a t e U a t R a l e i g h 4 4 5 9 6 6 . C a s e W e s t e r n R e s e r v e U 4 4 3 5 6 7 . V i r g i n i a P o l y t e c h n i c I n s t i t u t e & S t a t e U 4 1 9 0 6 8 . H a w a i i a t M a n o a U o f 4 1 7 7 6 9 . F l o r i d a S t a t e U 4 0 8 0 7 0 . C a r n e g i e - M e l l o n U 4 0 5 4 7 1 . T u l a n e U o f L o u i s i a n a 4 0 2 6 7 2 . C a l i f o r n i a - R i v e r s i d e U o f 4 0 2 1 7 3 . N e b r a s k a - L i n c o l n U o f 3 9 2 3 7 4 . W a y n e S t a t e U 3 8 6 6 7 5 . N o t r e D a m e U o f 3 8 0 8 7 6 . B r a n d e i s U 3 7 9 2 7 7 . O r e g o n S t a t e U 3 5 9 6 7 8 . C o l o r a d o S t a t e U 3 4 6 4 7 9 . L o u i s i a n a S t a t e U & A & M C o l l e g e B a t o n R o u g e 3 4 2 6 8 0 . O k l a h o m a S t a t e U M C 3 3 3 0 8 1 . T e m p l e U 3 1 5 6 8 2 . W a s h i n g t o n S t a t e U 3 1 3 2 8 3 . D e l a w a r e U o f 3 1 2 6 8 4 . S t a t e U o f N e w Y o r k a t A l b a n y ' 2 9 2 8 8 5 . N e w M e x i c o M C U o f 2 8 4 0 8 6 . H o u s t o n - U P a r k U o f 2 7 2 1 8 7 . E m o r y U 2 6 1 8 8 8 . R e n s s e l a e r P o l y t e c h n i c I n s t i t u t e 2 6 0 8 8 9 . K a n s a s S t a t e U o f A g r i c u l t u r e & A p p l i e d S c i e n c e 2 5 2 7 3 8 8 A p p e n d i x C S ( C o n t ' d . ) . R a n k D o c t o r a l I n s t i t u t i o n P o i n t s 9 0 . S o u t h e r n I l l i n o i s U a t C a r b o n d a l e 2 4 8 9 9 1 . C a t h o l i c U o f A m e r i c a 2 4 8 3 9 2 . A r i z o n a S t a t e U 2 4 4 4 9 3 . B r y n M a w r C o l l e g e 2 4 4 4 9 4 . I l l i n o i s a t C h i c a g o U o f 2 4 0 4 9 5 . W e s t V i r g i n i a U 2 3 4 2 9 6 . W i s c o n s i n - M i l w a u k e e U o f 2 2 9 1 9 7 . S t a t e U o f N e w Y o r k a t B i n g h a m t o n 2 2 8 8 9 8 . R o c k e f e l l e r U 2 2 4 8 9 9 . A u b u r n U M C 2 1 9 2 1 0 0 . G e o r g e t o w n U 2 1 3 0 1 0 1 . M i a m i U o f 2 0 8 5 1 0 2 . R h o d e I s l a n d U o f 2 0 2 1 1 0 3 . C l a r e m o n t G r a d u a t e S c h o o l 1 9 3 7 1 0 4 . S o u t h C a r o l i n a a t C o l u m b i a U o f 1 7 6 4 1 0 5 . I l l i n o i s I n s t i t u t e o f T e c h n o l o g y 1 6 1 4 1 0 6 . G e o r g e W a s h i n g t o n U 1 6 0 0 1 0 7 . ( e n t S t a t e U M C 1 5 9 2 1 0 8 . L o y o l a U o f C h i c a g o 1 5 6 5 1 0 9 . T e x a s T e c h U 1 5 3 9 1 1 0 . S a i n t L o u i s U M C 1 4 9 4 1 1 1 . N e w H a m p s h i r e U o f 1 4 1 8 1 1 2 . C l e m s o n U 1 3 6 6 1 1 3 . T u f t s U 1 3 5 4 1 1 4 . S o u t h e r n M e t h o d i s t U 1 3 4 1 1 1 5 . L e h i g h U 1 2 7 6 1 1 6 . F o r d h a m U 1 2 6 6 1 1 7 . B r i g h a m Y o u n g U M C 1 2 2 6 1 1 8 . D e n v e r U o f 1 2 0 1 1 1 9 . W y o m i n g U o f 1 1 9 8 1 2 0 . M i a m i U O x f o r d C a m p u s 1 1 9 1 1 2 1 . O h i o U M C 1 1 4 0 1 2 2 . V i r g i n i a C o m m o n w e a l t h U 1 1 2 1 1 2 3 . L o u i s v i l l e U o f 1 1 1 7 1 2 4 . U t a h S t a t e U 1 1 0 6 1 2 5 . B o s t o n C o l l e g e 1 0 9 4 1 2 6 . N o r t h D a k o t a M C U o f 1 0 7 6 1 2 7 . H o w a r d U 9 9 7 1 2 8 . N o r t h T e x a s S t a t e U 9 8 6 1 2 9 . A m e r i c a n U 9 7 8 1 3 0 . A l a b a m a i n B i r m i n g h a m U o f 9 6 4 1 3 1 . N e w S c h o o l f o r S o c i a l R e s e a r c h 9 5 0 1 3 2 . S o u t h F l o r i d a U o f 9 3 9 1 3 3 . V e r m o n t & S t a t e A g r i c u l t u r a l C o l l e g e U o f 9 2 3 1 3 4 . B o w l i n g G r e e n S t a t e U M C 7 9 9 1 3 5 . C l a r k U 7 9 2 1 3 6 . A k r o n M C U o f 7 7 8 3 8 9 A p p e n d i x C 8 ( C o n t ' d . ) . R a n k D o c t o r a l I n s t i t u t i o n P o i n t s 1 3 7 . C a l i f o r n i a - S a n t a C r u z U o f 7 7 8 1 3 8 . N o r t h e r n I l l i n o i s U 7 5 4 3 9 . D a r t m o u t h C o l l e g e 7 1 9 1 4 0 . A r k a n s a s M C U o f 7 0 6 1 4 1 . T e x a s a t D a l l a s U o f 6 8 8 1 4 2 . A l a b a m a T h e U o f 6 6 6 1 4 3 . M a r q u e t t e U 6 6 0 1 4 4 . I d a h o U o f 6 1 9 1 4 5 . M i s s i s s i p p i S t a t e U 5 9 2 1 4 6 . W e s t e r n M i c h i g a n U 5 1 9 1 4 7 . G e o r g i a S t a t e U 3 7 4 1 4 8 . M i s s i s s i p p i M C U o f 3 1 8 1 4 9 . B a l l S t a t e U 2 9 9 1 5 0 . T o l e d o U o f 2 9 2 1 5 1 . M i s s o u r i - K a n s a s C i t y U o f 2 7 7 1 5 2 . S o u t h D a k o t a M C U o f 2 7 3 1 5 3 . A d e l p h i U 2 1 6 1 5 4 . N o r t h C a r o l i n a a t G r e e n s b o r o U o f 2 0 8 1 5 5 . S o u t h e r n M i s s i s s i p p i U o f 1 6 3 1 5 6 . Y e s h i v a U 1 5 8 1 5 7 . N e v a d a - R e n o U o f 9 1 1 5 8 . D e t r o i t U o f 8 4 1 5 9 . N o r t h e r n C o l o r a d o U o f 8 1 1 6 0 . T e x a s W o m a n ' s U 6 4 1 6 1 . N e w M e x i c o S t a t e U M C 0 1 6 2 . D r e w U N a 1 6 3 . I l l i n o i s S t a t e U N a 1 6 4 . I n t e r n a t i o n a l C o l l e g e N a 1 6 5 . M e m p h i s S t a t e U N a 1 6 6 . P a c i f i c U o f t h e N a 1 6 7 . R a n d G r a d u a t e I n s t i t u t e o f P o l i c y S t u d i e s N a 1 6 8 . S a i n t J o h n ' s U N a 1 6 9 . U n i o n f o r E x p e r i m e n t i n g C o l l e g e s & U n i v e r s i t i e s N a 1 7 0 . U n i t e d S t a t e s I n t e r n a t i o n a l U N a * C o r n e l l U E n d o w e d C o l l e g e s a n d C o r n e l l U S t a t u t o r y C o l l e g e s w e r e n o t s e p a r a t e l y r a t e d i n t h e A R C S t u d y . T h e r e f o r e , t h e y a r e s h o w n c o m b i n e d i n t h e A R C f a c u l t y q u a l i t y r a t i n g . A P P E N D I X D O T H E R P R O F I L E S O F I N T E R E S T W 8 N F D 8 E W I 0 ‘ 8 ° I I 8 3 9 0 A p p e n d i x D . O t h e r P r o f i l e s o f I n t e r e s t “ - 2 8 6 2 - 2 1 5 8 - 1 H U a f l h d z o n a S M - O ? 5 0 - x — n — n — n — H — H U . s , 8 D F 8 E R 0 8 F i g u r e 1 3 . P r o f i l e o f t h e U n i v e r s i t y o f A r i z o n a a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 8 9 - 8 2 7 9 - 2 6 U c u n j . . 6 9 . 5 1 O f C a l i f a 1 . 0 3 A n g e l e s 5 9 - 7 5 5 0 - F i g u r e 1 4 . P r o f i l e o f t h e U n i v e r s i t y o f C a l i f o r n i a - L o s A n g e l e s a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 5 " M H “ 0 7 H - l - - - 1 Z - H 5 6 q . Z H 8 — H — D F 8 E n I w 0 - 5 - U o f D e t r o i t I I 8 3 9 1 A p p e n d i x D ( C o n t ' d . ) . 5 9 - 3 2 5 6 - 3 3 I l o f l k m m m m d c u t U } S . 8 D . F C E 8 l l 8 F i g u r e 1 5 . P r o f i l e o f t h e U n i v e r s i t y o f C o n n e c t i c u t a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 F i g u r e 1 6 . P r o f i l e o f t h e U n i v e r s i t y o f D e t r o i t a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 3 9 2 A p p e n d i x D ( C o n t ' d . ) . I ' D - l 9 9 5 - 1 " 8 0 - 8 9 6 5 - 0 8 D e fi n e d ! ) 5 0 - W I 3 - 5 - 8 D F 8 E R 8 8 F i g u r e 1 7 . P r o f i l e o f H a r v a r d U n i v e r s i t y a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 6 2 - 0 5 ” ' 0 3 u o f 1 m “ - 8 2 5 3 . 0 1 5 0 - u . s . S D F 8 E R 8 8 F i g u r e 1 8 . P r o f i l e o f t h e U n i v e r s i t y o f I o w a a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 3 9 3 A p p e n d i x D ( C o n t ' d . ) . 6 7 - 6 8 6 2 - 6 ? 5 7 - 6 ? U . 8 . F i g u r e 1 9 . P r o f i l e o f J o h n s H o p k i n s U n i v e r s i t y a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 5 8 - 8 7 l l o f l u n m u n fl c 9 ' 1 - 5 5 0 0 1 . 1 u . s . ‘ 1 5 - ' 1 7 ‘ 1 1 - ' 1 1 8 D F c E I 8 ‘ 8 F i g u r e 2 0 . P r o f i l e o f t h e U n i v e r s i t y o f K a n s a s M C a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 3 9 4 A p p e n d i x D ( C o n t ' d . ) . “ - 8 7 3 3 . 5 5 { t l o f l h e n u k y 5 1 - 0 3 U . 8 . F i g u r e 2 1 . P r o f i l e o f t h e U n i v e r s i t y o f K e n t u c k y a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 b m z ‘ n T E D - 6 8 6 ? . 1 2 U o f m c h i g a n - A n n A r b o r 5 8 - 5 6 5 0 - x — W — n — H : U . s . 8 D F 8 E 8 1 | 8 F i g u r e 2 2 . P r o f i l e o f t h e U n i v e r s i t y o f M i c h i g a n - A n n A r b o r a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 8 8 F 8 E R 8 8 3 9 5 A p p e n d i x D ( C o n t ' d . ) . ‘ 2 . . 7 I b r d h n w t e n I U 5 9 - 6 5 3 3 - 2 1 F i g u r e 2 3 . P r o f i l e o f N o r t h w e s t e r n U n i v e r s i t y a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 7 9 - 1 ' 1 7 1 - 8 5 ( fi n n 1 h a t s t l fl c 0 1 - 5 ? 5 7 - 2 8 8 I F 8 E I I I 8 F i g u r e 2 4 . P r o f i l e o f O h i o S t a t e U n i v e r s i t y M C a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 3 9 6 A p p e n d i x D ( C o n t ' d . ) . 7 8 ' : 4 S t a n f o r d u 7 1 - 1 6 ' 1 - 8 7 5 7 - 0 3 3 0 - x — — x — x — n — n — u — n — x U . 5 - F i g u r e 2 5 . P r o f i l e o f S t a n f o r d U n i v e r s i t y a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 6 8 - 6 6 8 8 - 8 2 8 % ” ” . ' q u . ' 0 S t a t e U o f 1 1 . ! Y o r k a t A l b a n y ' 1 ‘ 1 - 8 1 t o r e a - n s o F i g u r e 2 6 . P r o f i l e o f t h e S t a t e U n i v e r s i t y o f N e w Y o r k a t A l b a n y a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 6 1 - 1 9 “ - 3 7 6 9 - 0 1 3 9 7 A p p e n d i x D ( C o n t ' d . ) . U . S - - S t a t e U o f N e w Y o r k a t B i n g h a m t o n S D F C E I I O F i g u r e 2 7 . P r o f i l e o f t h e S t a t e U n i v e r s i t y o f N e w Y o r k a t B i n g h a m t o n a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 v s S t a t e U o f n o w Y o r k a t B u f f a l o H E I L 8 . 8 D F 8 E 8 8 F i g u r e 2 8 . P r o f i l e o f t h e S t a t e U n i v e r s i t y o f N e w Y o r k a t B u f f a l o M C a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 3 9 8 A p p e n d i x D ( C o n t ' d . ) . G fi h d w 8 5 9 - 1 1 — S t a t e U o f N e w Y o r k a t S t o n y B r o o k M C F i g u r e 2 9 . P r o f i l e o f t h e S t a t e U n i v e r s i t y o f N e w Y o r k a t S t o n y B r o o k M C a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 U o f T e n n e s s e e a t K n o x v i l l e U . S . 8 I ) F 1 : E l 8 : I I 1 1 F i g u r e 3 0 . P r o f i l e o f t h e U n i v e r s i t y o f T e n n e s s e e a t K n o x v i l l e a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 3 9 9 A p p e n d i x D ( C o n t ' d . ) . 7 6 - 2 9 6 9 - 7 1 U ’ m f l h s a s l n : A s c h I 6 3 - 1 ‘ 1 “ - 5 ? 5 0 - x — n — — o ¢ — — n — — n — n — N — x 0 - 8 - 8 D F 8 E . 8 8 8 F i g u r e 3 1 . P r o f i l e o f t h e U n i v e r s i t y o f T e x a s a t A u s t i n a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 6 8 - 8 ? I l o f l h u E U u n o n 5 0 - [ W " ' 8 ‘ 8 I F C E I 1 1 8 F i g u r e 3 2 . P r o f i l e o f t h e U n i v e r s i t y o f W a s h i n g t o n a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 4 0 0 A p p e n d i x D ( C o n t ' d . ) . 5 8 - 6 9 5 6 - 2 5 5 3 - 8 1 5 1 - 3 7 U . 1 L i n , ” U a y n e S t a t e U 8 D F 8 E I I I 0 F i g u r e 3 3 . P r o f i l e o f W a y n e S t a t e U n i v e r s i t y a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 5 0 - 1 n . s . ‘ 1 7 - ‘ 1 3 ‘ 1 ‘ ) - 8 ? n . . ‘ 1 2 - 3 1 " 3 9 . 1 5 . . u I . . , l u s t m n i n m d u a s n t l S I F C E R M O F i g u r e 3 4 . P r o f i l e o f W e s t e r n M i c h i g a n U n i v e r s i t y a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 4 0 1 A p p e n d i x D ( C o n t ' d . ) . 8 6 - 9 - 7 7 . “ - s " ' t l o f l fl a c m m d n d w u fl m o n 6 7 ' “ f a a “ 5 8 - 2 2 “ 8 ' 8 3 a s - U s S e 8 D F 8 E R 8 0 F i g u r e 3 5 . P r o f i l e o f t h e U n i v e r s i t y o f W i s c o n s i n - M a d i s o n a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 9 ‘ 1 - 9 ? 0 3 - 7 2 7 3 " ” m . u “ - 2 1 5 0 - H — n — H — H — K U . 5 ' s o t o E R o n F i g u r e 3 6 . P r o f i l e o f Y a l e U n i v e r s i t y a n d t h e U n i t e d S t a t e s A v e r a g e D o c t o r a l I n s t i t u t i o n , 1 9 8 1 - 1 9 8 2 B I B L I O G R A P H Y 4 0 2 B I B L I O G R A P H Y A n d e r s o n , T . W . I n t r o d u c t i o n t o M u l t i v a r i a t e S t a t i s t i c a l A n a l y s i s . N e w Y o r k : J o h n W i l e y a n d S o n s , I n c . , 1 9 5 8 . A n d r e w , L o y d D . " U s i n g t h e H i g h e r E d u c a t i o n G e n e r a l I n f o r m a t i o n S u r v e y . ” I n D . J . B o w e r i n g ( E d . ) . S e c o n d a r y A n a l y s i s o f A v a i l a b l e D a t a B a s e s . N e w D i r e c t i o n s f o r P r o g r a m E v a l u a t i o n , n o . 2 2 , S a n F r a n c i s c o : J o s s e y - B a s s , I n c . , 1 9 8 4 , 5 1 - 7 2 . A s h w o r t h , H . M . A m e r i c a n H i g h e r E d u c a t i o n i n D e c l i n e . C o l l e g e S t a t i o n , T e x a s : A & M P r e s s , 1 9 7 9 . A s s o c i a t i o n o f C o l l e g e a n d R e s e a r c h L i b r a r i e s . L i b r a r y S t a t i s t i c s o f C o l l e g e s a n d U n i v e r s i t i e s , 1 9 8 2 I n s t i t u t i o n a l D a t a . C h i c a g o : A m e r i c a n , L i b r a r y A s s o c i a t i o n , 1 9 8 4 . A s t i n , A l e x a n d e r W . A c h i e v i n g E d u c a t i o n a l E x c e l l e n c e . S a n F r a n c i s c o : J o s s e y - B a s s , I n c . , 1 9 8 5 . , A l e x a n d e r W . " W h e n D o e s A C o l l e g e D e s e r v e T o B e C a l l e d ' H i g h O u a l i t y ' ? " C u r r e n t I s s u e s i n H i g h e r E d u c a t i o n , 1 9 8 0 , n o . 1 , 1 - 9 . , A l e x a n d e r W . , C h r i s t i a n , C . E . , a n d H e n s o n , J . W . T h e I m p a c t o f S t u d e n t F i n a n c i a l P r o g r a m s o n S t u d e n t C h o i c e . L o s A n g e l e s : H i g h e r E d u c a t i o n R e s e a r c h I n s t i t u t e , 1 9 7 8 . . , A l e x a n d e r W . a n d S o l m o n , L e w i s C . " A r e R e p u t a t i o n a l R a t i n g s N e e d e d t o M e a s u r e Q u a l i t y ? " C h a n g e , O c t o b e r 1 9 8 1 , 1 4 - 1 9 . , A l e x a n d e r W . a n d S o l m o n , L e w i s C . " M e a s u r i n g A c a d e m i c Q u a l i t y : A n I n t e r i m R e p o r t . " C h a n g e , 1 9 7 9 , 1 1 ( 6 ) , 4 8 - 5 1 . B e n n e t t , W i l l i a m J . I " T o R e c l a i m a L e g a c y : T e x t o f R e p o r t o n H u m a n i t i e s i n E d u c a t i o n . " T h e C h r o n i c l e o f H i g h e r E d u c a t i o n , 1 9 8 4 , 2 9 ( 1 1 ) , 1 6 - 2 1 . 4 0 3 B e y e r , J . a n d S h i p p e r , R . " O b j e c t i v e v e r s u s S u b j e c t i v e I n d i c a t o r s o f Q u a l i t y i n G r a d u a t e E d u c a t i o n . " S o c i o l g g y o f E d u c a t i o n , 1 9 7 4 , 4 7 , 5 1 1 - 5 5 7 . B h a t t a c h a r y y a , G . K . a n d J o h n s o n , R . A . S t a t i s t i c a l C o n c e p t s a n d M e t h o d s . N e w Y o r k : J o h n W i l e y a n d S o n s , 1 9 7 7 . B l a c k b u r n , R o b e r t T . a n d L i n g e n f e l t e r , P a u l E . A s s e s s i n g Q u a l i t y i n D o c t o r a l P r o g g a m s : C r i t e r i a a n d C o r r e l a t e s o f E x c e l l e n c e . A n n A r b o r , M i c h i g a n : C e n t e r f o r t h e S t u d y o f H i g h e r E d u c a t i o n , U n i v e r s i t y o f M i c h i g a n , 1 9 7 3 . B l a u , P e t e r M . a n d M a r g u l i e s , R e b e c c a 2 . “ T h e R e p u t a t i o n s o f A m e r i c a n P r o f e s s i o n a l S c h o o l s . " C h a n g e , W i n t e r 1 9 7 4 - 7 5 , 4 2 - 4 7 . B o n h a m , G e o r g e W . " M e a s u r i n g I n d i c a t o r s o f Q u a l i t y . " N e w D i r e c t i o n s f o r I n s t i t u t i o n a l R e s e a r c h : Q u a l i t y M e t h o d s f o r I n s t i t u t i o n a l R e s e a r c h . S a n F r a n c i s c o : J o s s e y — B a s s , I n c . , 1 9 8 2 . B o r g , W a l t e r R . a n d G a l l , M e r e d i t h D . E d u c a t i o n a l R e s e a r c h : A n I n t r o d u c t i o n . N e w Y o r k : D a v i d M c K a y C o . , I n c . , 1 9 7 1 . B o w e n , H o w a r d R . a n d G l e n n y , L . A . U n c e r t a i n t y i n P u b l i c H i g h e r E d u c a t i o n . S a c r a m e n t o , C a l i f o r n i a : C a l i f o r n i a P o s t S e c o n d a r y E d u c a t i o n C o m m i s s i o n , 1 9 8 0 . , H o w a r d R . ” W h a t ' s A h e a d f o r H i g h e r E d u c a t i o n ? O p p o r t u n i t i e s f o r O p t i m i s m . ” C h a n e , A p r i l 1 9 8 4 , 8 - 1 3 . B o w e n , W i l l i a m G . " G r a d u a t e E d u c a t i o n i n t h e A r t s a n d S c i e n c e s : P r o s p e c t s f o r t h e F u t u r e . " C h a n g e , J u l y / A u g u s t 1 9 8 1 , 4 0 - 4 4 . B o w e r i n g , D a v i d J . " I m p a c t A n a l y s i s U s i n g a n I n t e g r a t e d D a t a B a s e : A C a s e S t u d y . " I n D . J . B o w e r i n g , ( E d . ) . S e c o n d a r y A n a l y s i s o f A v a i l a b l e D a t a B a s e s . N e w D i r e c t i o n s f o r P r o g r a m E v a l u a t i o n , n o . 2 2 , S a n F r a n c i s c o : J o s s e y - B a s s , I n c . , 1 9 8 4 , 7 3 - 1 1 0 . , D a v i d J . ( E d . ) . S e c o n d a r y A n a l y s i s o f A v a i l a b l e D a t a B a s e s . N e w D i r e c t i o n s f o r P r o g r a m E v a l u a t i o n , n o . 2 2 , S a n F r a n c i s c o : J o s s e y - B a s s , I n c . , 1 9 8 4 , 1 - 3 . 4 0 4 B o w k e r , A . ” Q u a l i t y a n d Q u a n t i t y i n H i g h e r E d u c a t i o n . " J o u r n a l o f t h e A m e r i c a n S t a t i s t i c a l A s s o c i a t i o n , M a r c h 1 9 6 5 , 1 - 1 5 . B r i n k m a n , P a u l T . " T h e C h a n g i n g N a t u r e o f C o m p u t e r - B a s e d I n f o r m a t i o n S y s t e m s . " I n W . L . T e t l o w , ( E d . ) . U s i n g M i c r o c o m p u t e r s f o r P l a n n i n g a n d M a n a g e m e n t S u p p o r t . N e w D i r e c t i o n s f o r I n s t i t u t i o n a l R e s e a r c h , n o . 4 4 , S a n F r a n c i s c o : J o s s e y - B a s s , I n c . , 1 9 8 4 , 1 1 - 2 5 . B r o y l e s , S u s a n G . a n d F e r n a n d e z , R o s a M . 1 9 8 3 - 8 4 E d u c a t i o n D i r e c t o r y : C o l l e g e s a n d U n i v e r s i t i e s . W a s h i n g t o n , D . C . : N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s , 1 9 8 4 . B r y a n t , F r e d B . a n d W o r t m a n , P . M . “ S e c o n d a r y A n a l y s i s T h e C a s e f o r D a t a A r c h i v e s . " A m e r i c a n P s y c h o l g g i s t , 1 9 7 8 , 3 3 , 3 8 1 - 3 8 7 . , F r e d B . a n d W o r t m a n P a u l M . " M e t h o d o l o g i c a l I s s u e s i n t h e M e t a - A n a l y s i s o f Q u a s i E x p e r i m e n t s . " I n W . H . Y e a t o n a n d P . M . W o r t m a n ( E d s . ) . I s s u e s i n D a t a S y n t h e s i s . N e w D i r e c t i o n s f o r P r o g r a m E v a l u a t i o n , n o . 2 4 , S a n F r a n c i s c o : J o s s e y - B a s s , I n c . , 1 9 8 4 . C a r t t e r , A l l a n M . A n A s s e s s m e n t o f Q u a l i t y i n G r a d u a t e E d u c a t i o n . W a s h i n g t o n , D . C . : A m e r i c a n C o u n c i l o n E d u c a t i o n , 1 9 6 6 . C h a c h r a , V i n o d . " M i c r o s , M i n i s , a n d M a i n f r a m e s . " I n W . L . T e t l o w ( E d . ) . U s i n n g i c r o c o m p u t e r s f o r P l a n n i n g v a n d M a n a g e m e n t S u p p o r t . N e w D i r e c t i o n s f o r I n s t i t u t i o n a l R e s e a r c h , n o . 4 4 , S a n F r a n c i s c o : J o s s e y - B a s s , I n c . , 1 9 8 4 , 6 3 - 7 5 . C h a p m a n , R o n a l d G . a n d J a c k s o n , R e x . " C o l l e g e C h o i c e N o t A f f e c t e d B y M o n e y . " H i g h e r E d u c a t i o n a n d N a t i o n a l A f f a i r s , 1 9 8 4 , 3 3 ( 2 1 ) . C h e l i m s k y , E l e a n o r a n d M o r r a , L i n d a S . " E v a l u a t i o n S y n t h e s i s f o r t h e L e g i s l a t i v e U s e r . “ I n W . H . Y e a t o n a n d P . M . W o r t m a n ( E d s . ) . I s s u e s i n D a t a S y n t h e s i s . N e w D i r e c t i o n s f o r P r o g r a m E v a l u a t i o n , n o . 2 4 , S a n F r a n c i s c o : J o s s e y - B a s s I n c . , 1 9 8 4 . 4 0 5 C h r o n i c l e D a t a S e r v i c e . " A N e w I n f o r m a t i o n T o o l f o r C h r o n i c l e R e a d e r s w i t h A c c e s s t o I B M P C ' s . “ I D S C h r o n i c l e o f H i g h e r E d u c a t i o n , 1 9 8 4 , 2 7 ( 1 8 ) , 1 5 — 1 7 . C l a r k , M a r y J o . “ A c a d e m i c P r o g r a m E v a l u a t i o n . " I n N . P . U h l ( E d . ) . U s i n g R e s e a r c h f o r S t r a t e g i c P l a n n i n g . N e w D i r e c t i o n s f o r I n s t i t u t i o n a l R e s e a r c h , n o . 3 7 , S a n F r a n c i s c o : J o s s e y - B a s s , 1 9 8 3 , 1 - 5 . C o l e , J . R . a n d C o l e , S . " M e a s u r i n g t h e Q u a l i t y o f S o c i o l o g y R e s e a r c h : P r o b l e m s i n t h e U s e o f t h e S c i e n c e C i t a t i o n I n d e x . " A m e r i c a n S o c i o l g g i s t , 1 9 7 1 , 6 , 2 3 - 3 0 . , J . R . a n d C o l e , S . " S c i e n t i f i c O u t p u t a n d R e c o g n i t i o n : A S t u d y i n t h e O p e r a t i o n o f t h e R e w a r d S y s t e m i n S c i e n c e . " A m e r i c a n S o c i o l o g i c a l R e v i e w , 1 9 6 7 , 3 2 , 3 7 7 - 3 9 0 . , J . R . a n d C o l e , S . S o c i a l S t r a t i f i c a t i o n i n S c i e n c e . C h i c a g o : U n i v e r s i t y o f C h i c a g o P r e s s , 1 9 7 4 . , J . R . a n d C o l e , S . " T h e O r t e g a H y p o t h e s i s . " S c i e n c e , 1 9 7 2 , 1 7 8 , 3 6 8 - 3 7 5 . C u s i c k , P h i l i p , e t . a 1 . " R i g o r o u s A c a d e m i c s A v o i d e d i n M o s t H i g h S c h o o l s . " I R T C o m m u n i c a t i o n s Q u a r t e r l y , S u m m e r 1 9 8 4 , 7 ( 1 ) , 1 - 2 . D a v i s , R a l p h M . ( E d . ) . " L e a d e r s h i p a n d I n s t i t u t i o n a l R e n e w a l . " N e w D i r e c t i o n s f o r H i g h e r E d u c a t i o n , n o . 4 9 , S a n F r a n c i s c o : J o s s e y - B a s s , I n c . , 1 9 8 5 . D i B i a g g i o , J o h n A . ” E d u c a t i o n : T h e r e ' s N o Q u i c k F i x . " T h e D e t r o i t N e w s , J u n e 6 , 1 9 8 6 . D r e w , D a v i d E . a n d K a r p f , R o n a l d S . E v a l u a t i n g S c i e n c e D e p a r t m e n t s : A N e w I n d e x . S a n t a M o n i c a , C a l i f o r n i a : T h e R a n d C o r p o r a t i o n , 1 9 7 5 . , D a v i d E . a n d K a r p f , R o n a l d . " R a n k i n g A c a d e m i c D e p a r t m e n t s : E m p i r i c a l F i n d i n g s a n d a T h e o r e t i c a l P e r s p e c t i v e . ” R e s e a r c h i n H i g h e r E d u c a t i o n , 1 9 8 1 , 1 4 ( 4 ) , A g a t h o n P r e s s , I n c . , 3 0 5 - 3 2 0 . E d g e r t o n , R u s s e l l . " A s s e s s m e n t I s C o m i n g : S h o u l d W e R e t r e a t o r C h a n g e ? “ H i g h e r E d u c a t i o n a n d N a t i o n a l A f f a i r s , 1 9 8 6 , 3 5 ( 3 ) , 1 1 . 4 0 6 E l t o n , C . a n d R o d g e r s , S . " P h y s i c s D e p a r t m e n t R a t i n g s : A n o t h e r E v a l u t i o n . " S c i e n c e , 1 9 7 1 , 1 7 4 , 5 6 5 — 5 6 8 . E y l e r , J a n e t . " T h e P o l i t i c s o f Q u a l i t y i n H i g h e r E d u c a t i o n . " I n J . F o l g e r ( E d . ) . F i n a n c i a l I n c e n t i v e s f o r A c a d e m i c Q u a l i t y . N e w D i r e c t i o n s f o r H i g h e r E d u c a t i o n , n o . 4 8 , S a n F r a n c i s c o : J o s s e y - B a s s , I n c . , 1 9 8 4 . F i n n , J r . , C h e s t e r E . " T h e D r i v e f o r E d u c a t i o n a l E x c e l l e n c e : M o v i n g T o w a r d a P u b l i c C o n s e n s u s . " C h a n g e , A p r i l 1 9 8 3 , 1 4 - 2 2 . , C h e s t e r E . " T r y i n g H i g h e r E d u c a t i o n : A n E i g h t C o u n t I n d i c t m e n t . " C h a n g e , M a y / J u n e 1 9 8 4 , 2 9 - 5 1 . F o l g e r , J o h n ( E d . ) . F i n a n c i a l I n c e n t i v e s f o r A c a d e m i c Q u a l i t y . N e w D i r e c t i o n s f o r H i g h e r E d u c a t i o n , n o . 4 8 , S a n F r a n c i s c o : J o s s e y - B a s s , I n c . , 1 9 8 4 . F o r t u n e , J i m C . a n d M c B e e , J a n i c e K . " C o n s i d e r a t i o n s a n d M e t h o d o l o g y f o r t h e P r e p a r a t i o n o f D a t a F i l e s . " I n D . J . B o w e r i n g ( E d . ) . S e c o n d a r y A n a l y s i s o f A v a i l a b l e D a t a B a s e s . N e w D i r e c t i o n s f o r P r o g r a m E v a l u a t i o n , n o . 2 2 , S a n F r a n c i s c o : J o s s e y - B a s s , I n c . , 1 9 8 4 , 2 7 - 4 9 . F r y e , B i l l y E . “ L e t ' s N o t S u b s t i t u t e A m e r i c a n R e s e a r c h C o u n c i l R a t i n g f o r o u r O w n V a l u e s . " R a c k h a m R e g o r t s , S p r i n g 1 9 8 3 , 3 . G l a s s , G e n e V . a n d S t a n l e y , J u l i a n C . S t a t i s t i c a l M e t h o d s i n E d u c a t i o n a n d P s y c h o l o g y . E n g l e w o o d C l i f f s , N e w J e r s e y : P r e n t i c e - H a l l , I n c . , 1 9 7 0 . G l o v e r , R o b e r t H . a n d H o l m e s , J e f f r e y . " A s s e s s i n g t h e E x t e r n a l E n v i r o n m e n t . " I n N . P . U h l ( E d . ) . U s i n g R e s e a r c h f o r S t r a t e g i c P l a n n i n g . N e w D i r e c t i o n s f o r I n s t i t u t i o n a l R e s e a r c h , n o . 3 7 , S a n F r a n c i s c o : J o s s e y — B a s s , I n c . , 1 9 8 3 , 1 - 5 . G o u r m a n , J a c k . T h e G o u r m a n R e p o r t : A R a t i n g o f A m e r i c a n a n d I n t e r n a t i o n a l U n i v e r s i t i e s . N o r t h r i d g e , C a l i f o r n i a : N a t i o n a l E d u c a t i o n S t a n d a r d s , 1 9 7 7 . 4 0 7 , J a c k . T h e G o u r m a n R e p o r t : A R a t i n g o f G r a d u a t e a n d P r o f e s s i o n a l P r g g r a m s i n A m e r i c a n a n d I n t e r n a t i o n a l U n i v e r s i t i e s . N o r t h r i d g e , C a l i f o r n i a : N a t i o n a l E d u c a t i o n S t a n d a r d s , 1 9 8 0 . , J a c k . T h e G o u r m a n R e p o r t : A R a t i n g o f G r a d u a t e a n d P r o f e s s i o n a l n g g r a m s i n A m e r i c a n a n d I n t e r n a t i o n a l U n i v e r s i t i e s . N o r t h r i d g e , C a l i f o r n i a : N a t i o n a l E d u c a t i o n S t a n d a r d s , 1 9 8 2 . , J a c k . T h e G o u r m a n R e p o r t : A R a t i n g o f G r a d u a t e a n d P r o f e s s i o n a l P r o g g a m s i n A m e r i c a n a n d I n t e r n a t i o n a l U n i v e r s i t i e s , S e c o n d E d i t i o n ( R e v i s e d ) . N o r t h r i d g e , C a l i f o r n i a : N a t i o n a l E d u c a t i o n S t a n d a r d s , 1 9 8 3 . , J a c k . T h e G o u r m a n R e p o r t : A R a t i n g o f U n d e r g r a d u a t e P r fl r a m s i n A m e r i c a n a n d I n t e r n a t i o n a l U n i v e r s i t i e s . N o r t h r i d g e , C a l i f o r n i a : N a t i o n a l E d u c a t i o n S t a n d a r d s , 1 9 8 0 . , J a c k . T h e G o u r m a n R e p o r t : A R a t i n g o f U n d e r g r a d u a t e P r o g r a m s i n A m e r i c a n a n d I n t e r n a t i o n a l U n i v e r s i t i e s , T h i r d L E d i t i o n . N o r t h r i d g e , C a l i f o r n i a : N a t i o n a l E d u c a t i o n S t a n d a r d s , 1 9 8 2 . , J a c k . T h e G o u r m a n R e p o r t : A R a t i n g o f U n d e r g r a d u a t e P r o g r a m s i n A m e r i c a n a n d I n t e r n a t i o n a l U n i v e r s i t i e s , F o u r t h E d i t i o n ( R e v i s e d ) . N o r t h r i d g e , C a l i f o r n i a : N a t i o n a l E d u c a t i o n S t a n d a r d s , 1 9 8 3 . , J a c k . T h e G o u r m g n R e p o r t : R a t i n g s o f fi g e r i c a n C o l l e g e s . P h o e n i x , A r i z o n a : C o n t i n u i n g E d u c a t i o n I n s t i t u t e , 1 9 6 7 . B r a n d o n , G a r y M . A - S t a t 8 3 U s e r ' s G u i d e f o r A p p l e M i c r o c o m p u t e g g . T a m p a , F l o r i d a : R o s e n B r a n d o n A s s o c i a t e s , 1 9 8 3 . G r a n t , W . V a n c e a n d S n y d e r , T h o m a s D . D i g e s t o f E d u c a t i o n S t a t i s t i c s 1 9 8 3 — 8 4 . N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s , W a s h i n g t o n , D . C . : U n i t e d S t a t e s G o v e r n m e n t P r i n t i n g O f f i c e , 1 9 8 3 . G r e e n w a l d , J o h n . " E c o n o m i c s : E l e g a n t N u m b e r s . " T i m e M a g a z i n e , O c t o b e r 2 9 , 1 9 8 4 ; 6 4 . 4 0 8 G u s k i n , A l a n E . a n d B a s s i s , M i c h a e l A . " L e a d e r s h i p S t y l e s a n d I n s t i t u t i o n a l R e n e w a l . " I n R . M . D a v i s ( E d . ) . L e a d e r s h i p a n d I n s t i t u t i o n a l R e n e w a l . N e w D i r e c t i o n s f o r H i g h e r E d u c a t i o n , n o . 4 9 , S a n F r a n c i s c o : J o s s e y - B a s s , I n c . , 1 9 8 5 , 1 2 - 2 2 . H a r m a n , H a r r y H . M o d e r n F a c t o r A n a l y s i s , S e c o n d E d i t i o n ( R e v i s e d ) . C h i c a g o : U n i v e r s i t y o f C h i c a g o P r e s s , 1 9 6 7 . H a r r i s , S . A S t a t i s t i c a l P o r t r a i t o f H i g h e r E d u c a t i o n . N e w Y o r k : M c G r a w - H i l l , 1 9 7 2 . H a r t n E t t , R a T a g ‘ C l a r k , M s J - g a n d B a i r d , L a L a " R e p u t a t i o n a l R a t i n g s o f D o c t o r a l P r o g r a m s . " S c i e n c e , 1 9 7 8 , 1 9 9 , 1 3 1 0 - 1 3 1 4 . H e d g e s , L a r r y V . " A d v a n c e s i n S t a t i s t i c a l M e t h o d s f o r M e t a - A n a l y s i s . " I n D . J . B o w e r i n g ( E d . ) . S e c o n d a r y A n a l y s i s o f A v a i l a b l e D a t a B a s e s . N e w D i r e c t i o n s f o r P r o g r a m E v a l u a t i o n , n o . 2 2 , S a n F r a n c i s c o : J o s s e y - B a s s , I n c . , 1 9 8 4 , 2 5 - 4 2 . H e r r a m a n , C . " S u m s o f S q u a r e s a n d P r o d u c t s M a t r i x . " A p p l i e d S t a t i s t i c s , 1 9 6 8 , 1 7 ( 3 ) , 2 8 9 - 2 9 2 . H o l z i n g e r , K a r l J . a n d H a r m a n , H a r r y H . F a c t o r A n a l y s i s . C h i c a g o : U n i v e r s i t y o f C h i c a g o P r e s s , 1 9 4 1 . H o r s t , P a u l . F a c t o r A n a l y s i s o f D a t a M a t r i c e s . N e w Y o r k : H o l t , R i n e h a r t , a n d W i n s t o n , 1 9 6 5 . H u g h e s , R a y m o n d M . A S t u d y o f G r a d u a t e S c h o o l s i n A m e r i c a . O x f o r d , O h i o : M i a m i U n i v e r s i t y P r e s s , 1 9 2 5 . , R a y m o n d M . " R e p o r t o f t h e C o m m i t t e e o n G r a d u a t e I n s t r u c t i o n . " E d u c a t i o n a l R e c o r d . 1 9 3 4 , 1 5 ( 2 ) , 1 9 2 - 2 3 4 . H u t t e n , L e a h R . " M i c r o w a r e : H a r d , S o f t , a n d F i r m . " I n W . L . T e t l o w ( E d . ) . U s i n g M i c r o c o m p u t e r s f o r P l a n n i n g a n d M a g a g e m e n t S u p p o r t . N e w D i r e c t i o n s f o r I n s t i t u t i o n a l R e s e a r c h , n o . 4 4 , S a n F r a n c i s c o : J o s s e y - B a s s , I n c . , 1 9 8 4 , 3 9 - 5 2 . 4 0 9 J a m i e s o n , D e r e k M . a n d M a c K a y , K e n n e t h H . " U s i n g M i c r o c o m p u t e r s f o r D i s t r i b u t e d I n f o r m a t i o n P r o c e s s i n g . " I n W . L . T e t l o w ( E d . ) . U s i n g M i c r o c o m p u t e r s f o r P l a n n i n g a n d M a n a g e m e n t S u g g o r t . N e w D i r e c t i o n s f o r I n s t i t u t i o n a l R e s e a r c h , n o . 4 4 , S a n F r a n c i s c o : J o s s e y ~ B a s s , I n c . , 1 9 8 4 , 5 3 - 6 2 . J e d a m u s , P a u l . ” T h e C a s e f o r D e c i s i o n S u p p o r t M a n a g e m e n t . " I n W . L . T e t l o w ( E d . ) . U s i n g M i c r o c o m p u t e r s f o r P l a n n i n g fi a n d M a n a g e m e n t S u g g o r t . N e w D i r e c t i o n s f o r I n s t i t u t i o n a l R e s e a r c h , n o . 4 4 , S a n F r a n c i s c o : J o s s e y - B a s s , I n c . , 1 9 8 4 , 7 7 - 8 5 . J o n e s , L y l e V . , L i n d z e y , G a r d n e r , a n d C o g g e s h a l l , P o r t e r E . ( E d s . ) . A n A s s e s s m e n t o f R e s e a r c h - D o c t o r a t e P r o g r a m s i n t h e U n i t e d S t a t e s : B i o l o g i c a l S c i e n c e s . T h e C o n f e r e n c e B o a r d o f A s s o c i a t e d R e s e a r c h C o u n c i l s , W a s h i n g t o n , D . C . : N a t i o n a l A c a d e m y P r e s s , 1 9 8 2 . , L y l e V . , L i n d z e y , G a r d n e r , a n d C o g g e s h a l l , P o r t e r E . ( E d s . ) . A n A s s e s s m e n t o f R e s e a r c h - D o c t o r a t e P r o g r a m s i n t h e U n i t e d S t a t e s : E n g i n e e r i n g . T h e C o n f e r e n c e B o a r d o f A s s o c i a t e d R e s e a r c h C o u n c i l s , W a s h i n g t o n , D . C . : N a t i o n a l A c a d e m y P r e s s , 1 9 8 2 . , L y l e V . , L i n d z e y , G a r d n e r , a n d C o g g e s h a l l , P o r t e r E . ( E d s . ) . A n A s s e s s m e n t o f R e s e a r c h - D o c t o r a t e P r o g r a m s i n t h e U n i t e d S t a t e s : H u m a n i t i e s . T h e C o n f e r e n c e B o a r d o f A s s o c i a t e d R e s e a r c h C o u n c i l s , W a s h i n g t o n , D . C . : N a t i o n a l A c a d e m y P r e s s , 1 9 8 2 . , L y l e V . , L i n d z e y , G a r d n e r , a n d C o g g e s h a l l , P o r t e r E . ( E d s . ) . A n A s s e s s m e n t o f R e s e a r c h - D o c t o r a t e P r o g r a m s i n t h e U n i t e d S t a t e s : M a t h e m a t i c a l & P h y s i c a l S c i e n c e s . T h e C o n f e r e n c e B o a r d o f A s s o c i a t e d R e s e a r c h C o u n c i l s , W a s h i n g o n , D . C . : N a t i o n a l A c a d e m y P r e s s , 1 9 8 2 . , L y l e V . , L i n d z e y , G a r d n e r , a n d C o g g e s h a l l , P o r t e r E . ( E d s . ) . A n A s s e s s m e n t o f R e s e a r c h D o c t o r a t e P r o g r a m s i n t h e U n i t e d S t a t e s : S o c i a l & B e h a v i o r a l S c i e n c e s . T h e C o n f e r e n c e B o a r d o f A s s o c i a t e d R e s e a r c h C o u n c i l s , W a s h i n g t o n , D . C . : N a t i o n a l A c a d e m y P r e s s , 1 9 8 2 . 4 1 0 K e a n , T h o m a s H . " W h a t S t a t e s S h o u l d D o ( a n d N o t D o ) t o I m p r o v e U n d e r g r a d u a t e E d u c a t i o n . " T h e C h r o n i c l e o f H i g h e r E d u c a t i o n , 3 1 ( 2 ) , 1 9 8 5 , 1 2 8 . K e n d a l l , M . G . a n d B r i c k l a n d , W . R . A D i c t i o n a r y o f S t a t i s t i c a l T e r m s . N e w Y o r k : H a f n e r P u b l i s h i n g C o . , 1 9 5 7 . K e n i s t o n , H a y w a r d . G r a d u a t e S t u d y a n d R e s e a r c h i n t h e A r t s a n d S c i e n c e s a t t h e U n i v e r s i t y o f P e n n s y l v a n i a . P h i l a d e l p h i a : U n i v e r s i t y o f P e n n s y l v a n i a P r e s s , 1 9 5 9 . K e r r , C l a r k . " T h e U s e s o f t h e U n i v e r s i t y T w o D e c a d e s L a t e r . P o s t s c r i p t 1 9 8 2 . " C h a n e , O c t o b e r 1 9 8 2 , 2 3 - 3 1 . K l i n g e n s t e i n , K e n n e t h . " A c a d e m i c S u p p o r t S y s t e m s : A N e t w o r k A p p r o a c h . “ C a u s e / E f f e c t . 1 9 8 4 , 7 ( 5 ) , 1 4 - 1 9 . K r a m e r , M a r t i n . " W h a t t h e N e w I n d i c a t o r s C a n n o t T e l l U s . " C h a n g e , A p r i l 1 9 8 1 , 1 2 - 1 7 . L a d d , J r . , E v e r e t t C . a n d L i p s e t , S e y m o u r M . " H o w P r o f e s s o r s R a t e d F a c u l t y i n 1 9 F i e l d s . " T h e C h r o n i c l e o f H i g h e r E d u c a t i o n , 1 7 ( 1 8 ) , 1 9 7 9 , 6 . L a w r e n c e , G . B e n a n d S e r v i c e , A l l a n L . ( E d s . ) . Q u a n t i t a t i v e A p p r o a c h e s t o H i g h e r E d u c a t i o n M a n a g e m e n t . E R I C / H i g h e r E d u c a t i o n R e s e a r c h R e p o r t , n o . 4 , W a s h i n g t o n , D . C . : . T h e A m e r i c a n A s s o c i a t i o n f o r H i g h e r E d u c a t i o n , 1 9 7 7 . L a w r e n c e , J . D . a n d G r e e n , K . C . A Q u e s t i o n o f Q u a l i t y : T h e H i g h e r E d u c a t i o n R a t i n g s G a m e . A A H E - E R I C H i g h e r E d u c a t i o n R e s e a r c h R e p o r t , n o . 5 , W a s h i n g t o n , D . C . : A m e r i c a n A s s o c i a t i o n o f H i g h e r E d u c a t i o n , 1 9 8 0 . L e v i n e , A r t h u r . ” O p p o r t u n i t y i n A d v e r s i t y : T h e C a s e o f B r a d f o r d C o l l e g e . " I n R . M . D a v i s ( E d . ) L e a d e r s h i p a n d I n s t i t u t i o n a l R e n e w a l . N e w D i r e c t i o n s f o r H i g h e r E d u c a t i o n , n o . 4 9 , S a n F r a n c i s c o : J o s s e y - B a s s I n c . , 1 9 8 5 , 7 - 1 2 . 4 1 1 L i g h t , R i c h a r d , J . " S i x E v a l u a t i o n I s s u e s T h a t S y n t h e s i s C a n R e s o l v e B e t t e r T h a n S i n g l e S t u d i e s . " I n W . H . Y e a t o n a n d P . M . W o r t m a n ( E d s . ) . I s s u e s i n D a t a S y n t h e s i s . N e w D i r e c t i o n s f o r P r o g r a m E v a l u a t i o n , n o . 2 4 , S a n F r a n c i s c o : J o s s e y - B a s s , I n c . , 1 9 8 4 , 5 7 - 7 3 . L i p s h u t z , S u s a n S . " L e a d e r s h i p a n d t h e R e s e a r c h U n i v e r s i t y . " I n R . M . D a v i s ( E d . ) . L e a d e r s h i p a n d I n s t i t u t i o n a l R e n e w a l . N e w D i r e c t i o n s f o r H i g h e r E d u c a t i o n , n o . 4 9 , S a n F r a n c i s c o : \ J o s s e y - B a s s , I n c . , 1 9 8 5 , 4 9 - 5 5 . ' L o n g , T . J . , C o n v e y , J . J . , a n d C h w a l e k , A . ' R . C o m p l e t i n g D i s s e r t a t i o n s i n t h e B e h a v i o r a l S c i e n c e s a n d E d u c a t i o n . S a n F r a n c i s c o : J o s s e y - B a s s , I n c . , 1 9 8 5 . L o r r , M a u r i c e . C l u s t e r A n a l y s i s f o r S o c i a l S c i e n t i s t s . S a n F r a n c i s c o : J o s s e y - B a s s , I n c . , 1 9 8 3 . L u c a s , J o h n A . " R e s e a r c h S u p p o r t f o r M a r k e t i n g . " I n N . P . U h l ( E d . ) . U s i n g R e s e a r c h f o r S t r a t e g i g P l a n n i n g . N e w D i r e c t i o n s f o r I n s t i t u t i o n a l R e s e a r c h , n o . 3 7 , S a n F r a n c i s c o : J o s s e y - B a s s , 1 9 8 3 , 1 9 - 2 6 . M a g o u n , H . W . " T h e C a r t t e r R e p o r t o n Q u a l i t y i n G r a d u a t e E d u c a t i o n . " J o u r n a l o f H i g h e r E d u c a t i o n , 1 9 6 6 , 3 7 ( 9 ) , 4 8 1 - 4 9 2 . M a r t i n , J a m e s . P r i n c i p l e s o f D a t a - B a s e M a n a g e m e n t . E n g l e w o o d C l i f f s , N e w J e r s e y : P r e n t i c e - H a l l , I n c . , 1 9 7 6 . M c N e m a r , Q u i n n . P s y c h o l o g i c a l S t a t i s t i c s . T h i r d E d i t i o n . N e w Y o r k : J o h n W i l e y a n d S o n s , 1 9 6 2 . M c P h e r s o n , M i c h a e l . " Q u a l i t y a n d C o m p e t i t i o n i n P u b l i c a n d P r i v a t e H i g h e r E d u c a t i o n . " C h a n g e , A p r i l 1 9 8 1 , 1 8 - 2 3 . M e h r e n s , W i l l i a m A . a n d L e h m a n n , I r w i n J . M e a s u r e m e n t a n d E v a l u a t i o n i n E d u c a t i o n a n d P s y c h o l g g y . S e c o n d E d i t i g g . N e w Y o r k : H o l t , R i n e h a r t a n d W i n s t o n , 1 9 7 5 . 4 1 2 M e r e d i t h , M a r k . " A J u m p A h e a d . . . I n W h i c h D i r e c t i o n ? " I n W . L . T e t l o w ( E d . ) . U s i n g fi M i c r o c o m p u t e r s f o r P l a n n i n g g a n d M a n a g e m e n t S u p p o r t . N e w D i r e c t i o n s f o r I n s t i t u t i o n a l R e s e a r c h , n o . 4 4 , S a n F r a n c i s c o : J o s s e y - B a s s , I n c . , 1 9 8 4 , 8 7 - 9 1 . M o o r e , L a u r e n c e J . a n d G r e e n w o o d , A l l e n B . " D e c i s i o n S u p p o r t S y s t e m s f o r A c a d e m i c A d m i n i s t r a t i o n . " T h e A I R P r o f e s s i o n a l F i l e , T h e A s s o c i a t i o n f o r I n s t i t u t i o n a l R e s e a r c h , n o . 1 8 , S u m m e r 1 9 8 4 , 1 - 9 . M o r g a n , D . R . , K e a r n e y , R . C . , a n d R e g e n s , J . L . " A s s e s s i n g Q u a l i t y A m o n g G r a d u a t e I n s t i t u t i o n s o f H i g h e r E d u c a t i o n i n t h e U n i t e d S t a t e s . " S o c i a l S c i e n c e Q u a r t e r l y , 1 9 7 6 , 5 7 , 6 7 1 - 6 7 9 . M y e r s , D a v i d E . a n d R o c k w e l l , R i c h a r d C . " L a r g e - S c a l e D a t a B a s e s : W h o P r o d u c e s T h e m , H o w t o O b t a i n T h e m , W h a t T h e y C o n t a i n . " I n D . J . B o w e r i n g ( E d . ) . S e c o n d a r y A n a l y s i s o f A v a i l a b l e D a t a B a s e s . N e w D i r e c t i o n s f o r P r o g r a m E v a l u a t i o n , n o . 2 2 , S a n F r a n c i s c o : J o s s e y - B a s s , I n c . , 1 9 8 4 , 5 - 2 5 . ‘ M u l a i k , S t a n l e y A . T h e F o u n d a t i o n s o f F a c t o r A n a l y s i s . N e w Y o r k : M c G r a w - H i l l B o o k C o . , 1 9 7 2 . i N a i s b i t t , J o h n . M e g a t r e n d s . N e w Y o r k : W a r n e r B o o k s , I n c . , 1 9 8 4 . , J o h n a n d A b u r d e n e , P a t r i c i a . R e - i n v e n t i n g t h e C o r p o r a t i o n . N e w Y o r k : W a r n e r B o o k s , I n c . , 1 9 8 5 . , J o h n a n d T h e N a i s b i t t G r o u p . T h e Y e a r A h e a d 1 9 8 6 . W a s h i n g t o n , D . C . : W a r n e r B o o k s , I n c . , 1 9 8 5 . N a t i o n a l C e n t e r f o r E d u c a t i o n S t a t i s t i c s . H i g h e r E d u c a t i o n G e n e r a l I n f o r m a t i o n S u r v e y : F a l l E n r o l l m e n t i n H i g h e r E d u c a t i o n . W a s h i n g t o n , D . C . : U n i t e d S t a t e s G o v e r n m e n t P r i n t i n g O f f i c e , 1 9 8 1 . C e n t e r f o r E d u c a t i o n S t a t i s t i c s . H i g h e r E d u c a t i o n G e n e r a l I n f o r m a t i o n S u r v e y : F i n a n c i a l S t a t i s t i c s o f H i g h e r E d u c a t i o n . W a s h i n g t o n , D . C . : U n i t e d S t a t e s G o v e r n m e n t P r i n t i n g O f f i c e , 1 9 8 2 . 4 1 3 C e n t e r f o r E d u c a t i o n S t a t i s t i c s . T h e C o n d i t i o n o f H i g h e r E d u c a t i o n . W a s h i n g t o n , D . C . : U n i t e d S t a t e s G o v e r n m e n t P r i n t i n g O f f i c e , 1 9 8 3 . N a t i o n a l C e n t e r f o r H i g h e r E d u c a t i o n M a n a g e m e n t S y s t e m s . ” T h r e e Y e a r s o f O r g a n i z a t i o n a l S t u d i e s . " T h e N C H E M S N e w s l e t t e r , n o . 8 7 , 1 9 8 4 , 4 - 7 . N a t i o n a l C o m m i s s i o n o n E x c e l l e n c e i n E d u c a t i o n . A N a t i o n a t R i s k : T h e I m p e r a t i v e f o r E d u c a t i o n a l R e f o r m . W a s h i n g t o n , D . C . : U . S . D e p a r t m e n t o f E d u c a t i o n , 1 9 8 3 . N a t i o n a l D a t a S e r v i c e . N o t e s . B o u l d e r , C o l o r a d o , , 1 9 8 5 . N C H E M S I n f o r m a t i o n S e r v i c e s . C a t a l o g o f A v a i l a b l e R e p o r t s . W i n t e r 1 9 8 2 . N e w m a n , F r a n k ( E d . ) . “ E x c e r p t s F r o m H i g h e r E d u c a t i o n a n d t h e A m e r i c a n R e s u r g e n c e . " T h e C a r n e g i e F o u n d a t i o n f o r t h e A d v a n c e m e n t o f T e a c h i n g . [ p g C h r o n i c l e o f H i g h e r E d u c a t i o n , 1 9 5 5 , 3 0 ( 3 ) , 1 7 - 2 9 . O r o m a n e r , M a r k . " T h e Q u a l i t y o f S c i e n t i f i c S c h o l a r s h i p a n d t h e ' G r a y i n g ' o f t h e A c a d e m i c P r o f e s s i o n : A S k e p t i c a l V i e w . " R e s e a r c h i n H i g h e r E d u c a t i o n , 1 9 8 1 , 1 5 ( 3 ) , A g a t h o n P r e s s , 2 3 1 - 2 3 9 . P a l m e r , S t a c y E . " B e n n e t t B a c k s a ' T r u t h - i n - A d v e r t i s i n g ' L a w f o r C o l l e g e s . " T h e C h r o n i c l e o f H i g h e r E d u c a t i o n , 1 9 8 6 , 3 1 ( 2 1 ) , 1 2 - 2 2 e , S t a c y E . " B e n n e t t ' s N e w C o l l e g e A i d e t o E m p h a s i z e P r o b l e m s o f ' E l i t e ' I n s t i t u t i o n s . " T h e C h r o n i c l e o f H i g h e r E d u c a t i o n , 1 9 8 5 , 3 0 ( 2 4 ) , 2 1 . P e a t m a n , J o h n G . I n t r o d u c t i o n t o A p p l i e d S t a t i s t i c s . N e w Y o r k : H a r p e r a n d R o w , 1 9 6 3 . P e t e r s , T o m a n d A u s t i n , N a n c y . A P a s s i o n f o r E x c e l l e n c e . , N e w Y o r k : R a n d o m H o u s e , I n c . , 1 9 8 5 . 4 1 4 P e t e r s , T h o m a s J . a n d W a t e r m a n , J r . , R o b e r t H . l g S e a r c h o f E x c e l l e n c e . N e w Y o r k : W a r n e r B o o k s , I n c . , 1 9 8 4 . P r a t t , L i n d a K . a n d R i c h a r d , D o n a l d L . " A s s e s s i n g I n s t i t u t i o n a l G o a l s . " I n N . P . U h l ( E d . ) . U s i n g y fi e s e a r c h f o r S t r a t e g i c P l a n n i n g . N e w D i r e c t i o n s f o r I n s t i t u t i o n a l R e s e a r c h , n o . 3 7 , S a n F r a n c i s c o : J o s s e y - B a s s , 1 9 8 3 , 5 3 - 6 6 . Q u a y , R i c h a r d H . a n d O l e v n i k , P e t e r P . T h e F i n a n c i n g o f A m e r i c a n H i g h e r E d u c a t i o n : A B i b l i o g r a p h i c H a n d b o o k . P h o e n i x , A r i z o n a : O r y x P r e s s , 1 9 8 4 . R o o s e , K e n n e t h D . a n d A n d e r s e n , C h a r l e s J . A R a t i n g o f G r a d u a t e P r o g r a m s . W a s h i n g t o n , D . C . : A m e r i c a n C o u n c i l o n E d u c a t i o n , 1 9 7 0 . S c u l l y , M a l c o l m G . “ M a n y C o u n t r i e s S t r e s s i n g Q u a l i t y i n U n i v e r s i t i e s . “ T h e C h r o n i c l e o f H i g h e r E d u c a t i o n , 1 9 8 4 , 2 9 ( 1 1 ) , 1 - 1 6 . , M a l c o l m G . " U . S . C o l l e g e s N o t R e a l i z i n g T h e i r F u l l P o t e n t i a l , P a n e l S a y s ; U r g e s a N a t i o n a l D e b a t e o n Q u a l i t y . " T h e C h r o n i c l e o f H p g h e r E d u c a t i o n , 1 9 8 4 , 2 9 ( 9 ) , 1 - 3 4 . S m i t h , G l y n t o n . " I n s t i t u t i o n a l F a c t B o o k : C a t a l y s t f o r a n I n t e g r a t e d I n s t i t u t i o n a l R e s e a r c h P r o g r a m . " I n N . P . U h l ( E d . ) . U s i n g R e s e a r c h f o r S t r a t e g i c P l a n n i n g . N e w D i r e c t i o n s f o r I n s t i t u t i o n a l R e s e a r c h , n o . 3 7 , S a n F r a n c i s c o : J o s s e y - B a s s , I n c . , 1 9 8 3 , 6 7 - 8 0 . S o l m o n , L e w i s C . a n d A s t i n , A l e x a n d e r W . " D e p a r t m e n t s W i t h o u t D i s t i n g u i s h e d G r a d a u a t e P r o g r a m s . " C h a n e , S e p t e m b e r 1 9 8 1 , 2 2 - 2 8 . S o m i t , A l f r e d a n d T a n e n h a u s , J o s e p h . A m e r i c a n P o l i t i c a l S c i e n c e : A P r o f i l e o f a D i s c i p l i n e . N e w Y o r k : A t h e r t o n P r e s s , 1 9 6 4 . S o v e r n , M i c h a e l I . " G r a d u a t e E d u c a t i o n a t R i s k . " H i g h e r E d u c a t i o n a n d N a t i o n a l A f f a i r s , A p r i l 8 , 1 9 8 5 , 7 . S t a r k , J o a n S . a n d L o w t h e r , M a l c o l m A . " M e a s u r i n g H i g h e r E d u c a t i o n Q u a l i t y . ” R e s e a r c h i n H i g h e r E d g c a t i o n , 1 9 8 0 , 1 3 ( 3 ) , 2 8 3 - 2 8 7 . 4 1 5 S u s s m a n , A l f r e d S . " A n A s s e s s m e n t o f G r a d u a t e P r o g r a m R a t i n g s . " R a c k h a m R e p o r t s , S p r i n g 1 9 8 3 , 1 - 3 . S u t t l e , J . L l o y d . " U s i n g M i c r o c o m p u t e r s f o r I n s t i t u t i o n a l R e s e a r c h . " I n W . L . T e t l o w ( E d . ) . U s i n g M i c r o c o m p u t e r s f o r P l a n n i n g a n d M a n a g e m e n t S u p p o r t . N e w D i r e c t i o n s f o r I n s t i t u t i o n a l R e s e a r c h , n o . 4 4 , S a n F r a n c i s c o : J o s s e y - B a s s , I n c . , 1 9 8 4 , 2 7 - 3 8 . T a t s u o k a , M a u r i c e M . M u l t i v a r i a t e A n a l y s i s : T e c h n i q u e s f o r E d u c a t i o n a l a n d P s y c h o l o g i c a l R e s e a r c h . N e w Y o r k : J o h n W i l e y a n d S o n s , I n c . , 1 9 7 1 . T e t l o w , W . L . “ C o n c l u s i o n : U s i n g M i c r o c o m p u t e r s f o r P l a n n i n g a n d M a n a g e m e n t S u p p o r t . " I n W . L . T e t l o w . ( E d . ) . U s i n g M i c r o c o m p u t e r s f o r P l a n n i n g i a n d M a n a g e m e n t S u p p o r t . N e w D i r e c t i o n s f o r I n s t i t u t i o n a l R e s e a r c h , n o . 4 4 , S a n F r a n c i s c o : J o s s e y - B a s s , I n c . , 1 9 8 4 , 9 3 - 9 7 . , W . L . " T h e S e c o n d W a v e o f C a m p u s C o m p u t e r i z a t i o n . " I n W . L . T e t l o w ( E d . ) . U s i n g M i c r o c o m p u t e r s f o r P l a n n i n g a n d M a n a g e m e n t S u p p o r t . N e w D i r e c t i o n s f o r I n s t i t u t i o n a l R e s e a r c h , n o . 4 4 , S a n F r a n c i s c o : J o s s e y - B a s s , I n c . , 1 9 8 4 , 5 - 1 0 . , W . L . ( E d . ) . U s i n g M i c r o c o m p u t e r s f o r P l a n n i n g _ a n d M a n a g e m e n t S u p p o r t . N e w D i r e c t i o n s f o r I n s t i t u t i o n a l R e s e a r c h , n o . 4 4 , S a n F r a n c i s c o : J o s s e y - B a s s , I n c . , 1 9 8 4 . T h e C h r o n i c l e o f H i g h e r E d u c a t i o n . " 1 9 8 4 N o b e l P r i z e s i n C h e m i s t r y a n d P h y s i c s A w a r d e d " . T h e C h r o n i c l e o f H i g p e r E d u c a t i o n , 1 9 8 4 , 2 9 ( 9 ) , 1 0 . T h e S t u d y G r o u p o n t h e C o n d i t i o n s o f E x c e l l e n c e i n A m e r i c a n E d u c a t i o n . " I n v o l v e m e n t i n L e a r n i n g : R e a l i z i n g t h e P o t e n t i a l o f A m e r i c a n H i g h e r E d u c a t i o n . " T h e C h r o n i c l e o f H i g h e r E d u c a t i o n , 2 9 ( 9 ) , 1 9 8 4 , 3 5 - 4 9 . T r y o n , R o b e r t C . a n d B a i l e y , D a n i e l E . C l u s t e r A n a l y s i s . N e w Y o r k : M c G r a w - H i l l B o o k C o . , 1 9 7 0 . T u r n e r , C . F . a n d M a r t i n , E . ( E d s . ) S u r v e y s o f S u b j e c t i v e P h e n o m e n a : S u m m a r y R e p o r t . W a s h i n g t o n , D . C . : N a t i o n a l A c a d e m y P r e s s , 1 9 8 1 . 4 1 6 U h l , N o r m a n P . ( E d . ) . U s i n g R e s e a r c h f o r S t r a t e g i c P l a n n i n g . N e w D i r e c t i o n s f o r I n s t i t u t i o n a l R e s e a r c h , n o . 3 7 , S a n F r a n c i s c o : J o s s e y - B a s s , I n c . , 1 9 8 3 , 1 - 5 . , N o r m a n . P . " U s i n g t h e D e l p h i T e c h n i q u e i n I n s t i t u t i o n a l P l a n n i n g . ” I n N . P . U h l ( E d . ) . U s i n g R e s e a r c h f o r S t r a t e g i c P l a n n i n g . N e w D i r e c t i o n s f o r I n s t i t u t i o n a l R e s e a r c h , n o . 3 7 , S a n F r a n c i s c o : J o s s e y - B a s s , I n c . , 1 9 8 3 , 8 1 - 9 4 . , N o r m a n P . a n d M a c K i n n o n , A n n e M a r i e . " C o n c l u s i o n s a n d A d d i t i o n a l S o u r c e s . " I n N . P . U h l ( E d . ) . U s i n g R e s e a r c h f o r S t r a t e g i p P l a n n i n g . N e w D i r e c t i o n s f o r I n s t i t u t i o n a l R e s e a r c h , n o . 3 7 , S a n F r a n c i s c o : J o s s e y - B a s s , I n c . , 1 9 8 3 , 9 5 - 9 9 . W a l k e r , H e l e n M . a n d L e v , J o s e p h . E l e m e n t a r y . S t a t i s t i c a l M e t h o d s . N e w Y o r k : H e n r y H o l t a n d C o m p a n y , 1 9 5 8 . W e b s t e r , D a v i d S . " A d v a n t a g e s a n d D i s a d v a n t a g e s o f M e t h o d s o f A s s e s s i n g Q u a l i t y . " C h a n g e , O c t o b e r 1 9 8 1 , 2 0 - 2 4 . , D a v i d S . " A m e r i c a ' s H i g h e s t R a n k e d G r a d u a t e S c h o o l s , 1 9 2 5 - 1 9 8 2 . " C h a n e , M a y / J u n e 1 9 8 3 , 1 4 - 2 4 s W h e e l e r , C h a r l e s L . " F a c i l i t i e s A n a l y s i s : A T o o l i n S t r a t e g i c P l a n n i n g . " I n N . P . U h l ( E d . ) . U s i n g fi R e s e a r c h f o r S t r a t e g i c P l a n n i n g . N e w D i r e c t i o n s f o r I n s t i t u t i o n a l R e s e a r c h , n o . 3 7 , S a n F r a n c i s c o : J o s s e y - B a s s , I n c . , 1 9 8 3 , 3 9 - 5 1 . W e i n b e r g , S h a r o n L . a n d G o l d b e r g , K e n n e t h P . B a s i c S t a t i s t i c s f o r E d u c a t i o n a n d t h e B e h a v i o r a l S c i e n c e s . B o s t o n , M a s s a c h u s e t t s : H o u g h t o n M i f f l i n C o . , 1 9 7 9 . W h i t c h e r , A n n a n d B u c h n o w s k i , J o y c e . " W h e r e W e S t a n d . " R e p o r t e r , 1 4 ( 2 1 ) , 1 9 8 3 . W h i t e , D a v i d . S t a t i s t i c s f o r E d u c a t i o n w i t h D a t a P r o c e s s i n g . N e w Y o r k : H a r p e r & R o w , P u b l i s h e r s , 1 9 7 3 . 4 1 7 W i t t s t r u c k , J o h n R . C o m p a r a t i v e D a t a A b o u t H i g h e r E d u c a t i o n : A R e s o u r c e D i r e c t o r y . D e n v e r , C o l o r a d o : S t a t e H i g h e r E d u c a t i o n E x e c u t i v e O f f i c e r s , 1 9 8 6 . W o o l f , H e n r y B o s l e y ( E d . ) . W e b s t e r ' s N e w C o l l e g i a t e D i c t i o n a r y . S p r i n g f i e l d , M a s s a c h u s e t t s : G & C M e r r i a m C o m p a n y , 1 9 7 7 , 4 4 6 . Y e a t o n , W . H . a n d W o r t m a n , P . M . “ E v a l u a t i o n I s s u e s i n M e d i c a l R e s e a r c h S y n t h e s i s . " I n W . H . Y e a t o n a n d P . M . W o r t m a n ( E d s . ) . I s s u e s i n D a t a S y n t h e s i s . N e w D i r e c t i o n s f o r P r o g r a m E v a l u a t i o n , n o . 2 4 , S a n F r a n c i s c o : J o s s e y - B a s s , I n c . , 1 9 8 4 , 4 3 - 5 6 . , W . H . a n d W o r t m a n , P . M . ( E d s . ) . i n D a t a S y n t h e s i s . E v a l u a t i o n , n o . 2 4 , I n c . , 1 9 8 4 , 1 - 4 . I s s u e s N e w D i r e c t i o n s f o r P r o g r a m S a n F r a n c i s c o : J o s s e y - B a s s ,