L I B R A R Y M l c h l g a n S t a t e U n l v e r s l t y n . - L P L A C E N R E T U R N i n " T O A V O I D F I N E S m u m o n o r b a t o n d u o d u o . y o u r m o o d . D A T E D U E D A T E D U E D A T E D U E A P R — 2 T 1 0 ' 0 ' 7 n 9 9 “ V A Q U A L I T A T I V E S T U D Y O F N E E D S A S S E S S M E N T : T H E G U L F B E T W E E N T H E O R Y A N D P R A C T I C E V o l u m e I B y J o s e p h i n e M a r i e C s e t e A D I S S E R T A T I O N S u b m i t t e d t o M i c h i g a n S t a t e U n i v e r s i t y i n p a r t i a l f u l fi l l m e n t o f t h e r e q u i r e m e n t s f o r t h e d e g r e e o f D O C T O R O F P H I L O S O P H Y D e p a r t m e n t o f C o u n s e l i n g , E d u c a t i o n a l P s y c h o l o g y a n d S p e c i a l E d u c a t i o n 1 9 9 4 A B S T R A C T A Q U A L I T A T I V E S T U D Y O F N E E D S A S S E S S M E N T : T H E G U L F B E T W E E N T H E O R Y A N D P R A C T I C E B y J o s e p h i n e M a r i e C s e t e N e e d s a s s e s s m e n t i s a m e a n s o f i d e n t i f y i n g a n d d e s c r i b i n g " r e a l w o r l d " p r o b l e m s w h i c h r e s u l t i n p r i o r i t i e s f o r a c t i o n . A c o m p r e h e n s i v e l i t e r a t u r e r e v i e w i n d i c a t e d t h a t l i t t l e a c t u a l r e s e a r c h o n t h e n e e d s a s s e s s m e n t p r o c e s s e x i s t s . T h e l i t e r a t u r e r e v i e w y i e l d e d 1 ) a g e n e r a l d e s c r i p t i o n o f n e e d s a s s e s s m e n t a n d i t s e v o l u t i o n , 2 ) a d e t a i l e d l o o k a t t h e p r o c e s s a n d t e r m i n o l o g y o f n e e d s a s s e s s m e n t t o i l l u s t r a t e u n c l e a r a n d c o n t e s t e d c o m p o n e n t s , 3 ) v a r i o u s d e fi n i t i o n s o f " n e e d , " 4 ) a n e x a m i n a t i o n o f h o w t h e p r o c e s s a n d r e s u l t s a r e i n fl u e n c e d b y t h e p e o p l e c o n d u c t i n g n e e d s a s s e s s m e n t s , a n d 5 ) a c l e a r i n d i c a t i o n t h a t r e s e a r c h o n t h e a p p l i e d p r o c e s s o f n e e d s a s s e s s m e n t w o u l d b e v a l u a b l e . T h e p u r p o s e o f t h i s q u a l i t a t i v e s t u d y w a s t o d e s c r i b e h o w n o v i c e s c o n d u c t n e e d s a s s e s s m e n t s a n d e x p l a i n t h e r e s u l t a n t o u t c o m e s . P a r t i c i p a n t s w e r e f o u r t e e n p h y s i c i a n s c o n d u c t i n g n e e d s a s s e s s m e n t s i n p r e p a r a t i o n f o r c r e a t i n g a m e d i c a l c u r r i c u l u m . D a t a w e r e c o l l e c t e d o v e r a t e n - m o n t h p e r i o d t h r o u g h o b s e r v a t i o n s , i n t e r v i e w s , a n d e x a m i n i n g d o c u m e n t s g e n e r a t e d b y t h e p a r t i c i p a n t s b e f o r e , d u r i n g , a n d a f t e r t h e y r e c e i v e d t r a i n i n g f o r , a n d c o n d u c t e d , t h e i r fi r s t n e e d s a s s e s s m e n t s . A n i n d u c t i v e a p p r o a c h w a s u s e d t o a n a l y z e t h e d a t a ; r e s u l t s w e r e r e p o r t e d i n c a s e s t u d y f o r m a t . T w e n t y fi n d i n g s a r e s u p p o r t e d w i t h q u o t e s , d e s c r i p t i o n s , a n d s u m m a r i z i n g t a b l e s . F i n d i n g s d o c u m e n t 1 ) t y p e s o f a c t i v i t i e s c o n d u c t e d a n d s o u r c e s c o n t a c t e d f o r a n e e d s a s s e s s m e n t , 2 ) f a c t o r s t h a t f a c i l i t a t e d o r h i n d e r e d t h e s e n o v i c e a s s e s s o r s . 3 ) w h a t p a r t i c i p a n t s l e a r n e d a b o u t t h e p r o c e s s o f n e e d s a s s e s s m e n t , a n d 4 ) c h a n g e s t o t h e p r o d u c t ( a c u r r i c u l u m ) a s a r e s u l t o f t h e n e e d s a s s e s s m e n t . A r m - l s & S c h t i n ' s l . 2 c o n c e p t u a l f r a m e w o r k f o r t h e o r i e s o f a c t i o n w a s u s e d t o d e r i v e f o u r c o n c l u s i o n s : 1 ) t h e p r o c e d u r e s p r e s c r i b e d i n t h e l i t e r a t u r e a r e d i f f e r e n t f r o m t h o s e c a r r i e d o u t i n t h e r e a l w o r l d ; 2 ) t h e l i t e r a t u r e a n d f o r m a l t r a i n i n g c o n c e n t r a t e d o n t h e i d e a l , r a t h e r t h a n a c o m p r e h e n s i v e s e t o f p r a c t i c a l p r o c e d u r e s t h a t c o u l d b e u s e d t o c o p e w i t h c o n s t r a i n t s i n r e a l s e t t i n g s ; 3 ) t h e b e n e fi t s p e r c e i v e d b y t h e p a r t i c i p a n t s d i f f e r e d f r o m t h o s e d e s c r i b e d i n t h e l i t e r a t u r e ; a n d 4 ) t h e r e s u l t s w e r e n o t a s c h a n g e s t i m u l a t i n g a s s u g g e s t e d i n t h e l i t e r a t u r e . T h e d i s c u s s i o n o f s t u d y r e s u l t s s u g g e s t s m e t h o d s p r a c t i t i o n e r s c a n u s e t o c o n d u c t n e e d s a s s e s s m e n t s m o r e e f f e c t i v e l y a n d e f fi c i e n t l y . l A r g y fi s . C . & S c h o n . D . A . ( 1 9 7 4 ) . W W 3 . S a n F r a n c i s c o : J o s s e y - B a s s P u b l i s h e r s . 2 A r g y fi s . C . & S c h d n . D . A . ( 1 9 7 8 ) . W m R e a d i n g . M A : A d d i s o n - W e s l e y . C o p y r i g h t b y J O S E P H I N E M . C S E T E 1 9 9 4 F o r M a r g a r e t a n d T i m A C K N O W L E D G M E N T S A d i s s e r t a t i o n s t u d y i s b o t h a h u m b l i n g a n d e x h i l a r a t i n g e x p e r i e n c e f o r a n o v i c e r e s e a r c h e r / s c h o l a r . T h r o u g h o u t t h e p l a n n i n g , e x e c u t i o n , a n d w r i t i n g o f t h i s s t u d y I h a v e c o n t i n u a l l y b e e n a m a z e d a t t h e a s s i s t a n c e r e c e i v e d f r o m a v a r i e t y o f i n d i v i d u a l s . I a m i n d e b t e d t o m y c o m m i t t e e : S t e p h e n Y e l o n , m y c h a i r , a n d C a s t e l l e G e n t r y , H o w a r d H i c k e y a n d P a u l M u n s e l l f o r g e n t l y ( a n d s o m e t i m e s r e p e a t e d l y ) r a i s i n g a v a r i e t y o f i s s u e s a n e w c o m e r o v e r l o o k s , w i t h o u t e v e r b e c o m i n g d i s c o u r a g i n g . E a c h p r o v i d e d a d i f f e r e n t p e r s p e c t i v e t h a t c o n t r i b u t e d s u b s t a n t i a l l y t o t h i s w o r k ; a l l h a v e s e r v e d a s d e v o t e d p r o f e s s i o n a l s t h a t b e l i e v e i n t h e i m p o r t a n c e o f w h a t t h e y a r e d o i n g . T h e y h a v e b e e n m y m e n t o r s a n d w i l l c o n t i n u e t o b e m y m o d e l s . O v e r t h e c o u r s e o f t h i s p r o j e c t , i a l s o b e n e fi t e d f r o m t h e s u p p o r t o f a w i d e r c o m m u n i t y o f s c h o l a r s . T h i s c o m m u n i t y i n c l u d e d m y p l a c e o f w o r k . B i l l A n d e r s o n s u p p o r t e d m y e f f o r t s o n t h i s p r o j e c t , e v e n w h e n i t w e n t a g a i n s t h i s o w n s e l f i n t e r e s t s a s m y e m p l o y e r . K a r e n L i e n h a r t o p e n e d t h e d o o r s o f h e r n e e d s a s s e s s m e n t w o r k s h o p t o m e , a n d w a s c o n s i s t e n t l y t h e r e t o l i s t e n a n d p r o v i d e f e e d b a c k . S h e t h i n k s I a m j o k i n g w h e n I s a y a t l e a s t a p o r t i o n o f t h e t i t l e " P h D . " i s r i g h t f t u h e r s . v i M y c o m m u n i t y o f s c h o l a r s a l s o i n c l u d e s p e e r s w h o w e r e t h o s e f e w p a c e s a h e a d o f m e , k n e w w h a t I w a s e x p e r i e n c i n g , a n d o f f e r e d u s e f u l i d e a s a n d m o r a l s u p p o r t . I w i l l a l w a y s r e m e m b e r a n d a p p r e c i a t e t h e h e l p o f J i l l ( B a l d w i n ) C a n o n o a n d R i c k A l b r e c h t . I w a s a l s o s t m c k a t t h e o u t p o u r i n g o f s u p p o r t r e c e i v e d f r o m c o m p l e t e s t r a n g e r s c o n t a c t e d d u r i n g t h e p r o j e c t . D a n i e l R i c k e t t b e c a m e a c o n s u l t a n t o n q u a l i t a t i v e m e t h o d o l o g r , v a r i o u s " f a m o u s " a u t h o r s s p e n t t i m e o n t h e p h o n e a n d s e n t r e s o u r c e s . A l l w i l l i n g l y s h a r e d t h e i r k n o w l e d g e . T h e n t h e r e i s t h e g r o u p o f p e o p l e w h o a l w a y s s e e m t o b e m e n t i o n e d l a s t , b u t p r o v i d e e n c o u r a g e m e n t a n d m a k e s a c r i fi c e s t h a t a l l o w a n y l a r g e s c a l e p r o j e c t t o b e c o m e a r e a l i t y - - f a m i l y a n d f r i e n d s . M y m o t h e r , M a r g a r e t A r n o l d , m y e a r l i e s t r o l e m o d e l o f a p r o f e s s i o n a l w o m a n , e n c o u r a g e d h i g h a s p i r a t i o n s , s i n g l e - h a n d e d l y f u n d e d m y u n d e r g r a d u a t e e d u c a t i o n , a n d r e a d t h e r e a l l y r o u g h e a r l y d r a f t s o f t h i s d i s s e r t a t i o n . M y " s e c o n d f a m i l y , " J o h n a n d C o l e n e C h i l d s , i n fl u e n c e d m y c a r e e r c h o i c e b y s h o w i n g m e t h e i m p o r t a n c e o f t h i s fi e l d a n d h o w m u c h t h e y e n j o y e d i t ( w h e n t h e y w e r e n ' t t o o b u s y j u s t d o i n g i t ) . A n d C y n t h i a C h i l d s , m y c l o s e f r i e n d , l i s t e n e d . B u t , u n d o u b t e d l y , t h e g r e a t e s t s a c r i fi c e s a n d m o s t s u p p o r t c a m e f r o m t h e t w o m e n I a m c l o s e s t t o . M y h u s b a n d T i m a n d s o n N i c h o l a s a c c e p t e d t h a t t h e r e w e r e t h i n g s I d i d n ' t h a v e t i m e t o d o w i t h o r f o r t h e m w i t h o u t q u e s t i o n i n g m y a b i d i n g l o v e . I t i s h u m b l i n g t o r e a l i z e h o w m a n y p e o p l e h e l p e d m a k e t h i s w o r k p o s s i b l e . A n d i t i s e x h i l a r a t i n g t o h a v e s h a r e d i n s t i m u l a t i n g e x c h a n g e s w i t h o t h e r s a n d t o r e a l i z e h o w i n t r i c a t e l y i n t e r t w i n e d m y l i f e i s w i t h s o m a n y o t h e r p e o p l e . T A B L E O F C O N T E N T S I E T o r T A K E S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . x i L I S T O F F I G U R E S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . x i i i C H A P T E R I I N T R O D U C T I O N T O T H E S T U D Y N e e d s A s s e s s m e n t : A P a r t o f a S y s t e m a t i c A p p r o a c h t o P r o b l e m S o l v i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 S t a t e m e n t o f t h e P r o b l e m . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 P u r p o s e o f t h e S t n d y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 R e s e a r c h Q u e s t i o n s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 m u g a t o r s P e r s p e c t i v e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 R a t i o n a l e a n d S i g n i fi c a n c e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 0 S t u d y C o n t e x t a n d M e t h o d s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . l 3 S c o p e a n d l i m i t a t i o n s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . l 4 S u m m a r y a n d O v e r v i e w o f t h e S t u d y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . I 9 C H A P T E R 1 1 R E V I E W O F T H E L I T E R A T U R E I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 W h y D o W e H a v e N e e d s A s s e s s m e n t ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4 W h a t I s N e e d s A s s e s s m e n t ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 7 W h a t D o e s " N e e d " M e a n i n " N e e d s A s s e s s m e n t " ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 3 H o w D o e s t h e A n a l y s t A f f e c t t h e N e e d s A s s e s s m e n t ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 8 W h a t D o W e C u r r e n t l y K n o w A b o u t N e e d s A s s e s s m e n t ? . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 6 S u m m a r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1 v i i i C H A P T E R I I I M E T H O D O L O G Y I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2 A n O v e r v i e w o f Q u a l i t a t i v e R e s e a r c h . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 4 C r i t e r i a f o r E v a l u a t i n g Q u a l i t a t i v e R e s e a r c h . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 8 R e s e a r c h S i t e a n d S a m p l e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2 D a t a C o l l e c t i o n G u i d e s a n d P r o c e d u r e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 4 C o d i n g a n d A n a l y s i s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 8 S u m m a r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 4 C H A P T E R I V T H E P A R T I C I P A N T S A N D S E T T I N G I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 5 W h o A r e t h e P a r t i c i p a n t s a n d W h a t A r e T h e i r D a i l y L i v e s L i k e a t ' T h e i r H o m e O r g a n i z a t i o n s ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 6 W h a t A r e t h e P r i m a r y C h a r a c t e r i s t i c s o f t h e F e l l o w s h i p ? . . . . . . . . . . . . . . . . . . . . . . . . 1 0 0 W h a t A r e t h e P r i m a r y C h a r a c t e r i s t i c s o f t h e C u r r i c u l u m T r a c k ? . . . . . . . . . . 1 0 4 H o w D o e s t h e F e l l o w s h i p S t r u c t u r e t h e P a r t i c i p a n t s ' N e e d s A s s e s s m e n t s ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 2 S u m m a r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 2 C H A P T E R V R E S E A R C H F I N D I N G S I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 3 W h a t D o t h e P a r t i c i p a n t s D o i n C o n d u c t i n g a N e e d s A s s e s s m e n t ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 5 W h a t F a c t o r s F a c i l i t a t e a n d / o r H i n d e r t h e N e e d s A s s e s s m e n t P r o c e s s ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 0 W h a t D o P a r t i c i p a n t s L e a r n A b o u t t h e P r o c e s s a n d P r o d u c t s o f N e e d s A s s e s s m e n t ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 9 0 S u m m a r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1 2 C H A P T E R V I C O N C L U S I O N S A N D D I S C U S S I O N I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1 5 A C o n c e p t u a l F r a m e w o r k f o r U n d e r s t a n d i n g N e e d s A s s e s s m e n t : T h e o r y I n t o P r a c t i c e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 l 7 L i m i t a t i o n s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 9 C o n c l u s i o n s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3 6 D i s c u s s i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3 7 I m p l i c a t i o n s o f t h e S t u d y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 6 0 S u m m a r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 6 8 i x A P P E N D I C E S A P P E N D I X A : C h a n g e s t o t h e S t u d y : T h e C o n c e p t u a l F r a m e w o r k a n d R e s e a r c h Q u e s t i o n s . . . . . . . . . . . . . . . . . . . . . . . 2 6 9 A P P E N D I X B : C o m p a r i s o n o f F o u r M a j o r D i s c r e p a n c y M o d e l s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 7 5 A P P E N D I X C : S a m p l e F e l l o w s h i p S c h e d u l e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 8 3 A P P E N D I X D : C o n s e n t F o r m s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 8 7 A P P E N D I X E : I n t e r v i e w G u i d e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 9 1 A P P E N D I X F : P e e r O b s e r v e r ' s D e s c r i p t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 0 3 A P P E N D I X G : W o r k s h o p H a n d o u t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 8 A P P E N D I X H : D e fi n i t i o n s o f T e r m s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 4 6 L I S T O F R E F E R E N C E S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 4 8 L I S T O F T A B L E S T a b l e 1 : C o m p a r i s o n o f F o u r M a j o r D i s c r e p a n c y M o d e l s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2 T a b l e 2 : S i x ' I y p e s o f D i s c r e p a n c y N e e d s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 6 T a b l e 3 : C r i t e r i a f o r E s t a b l i s h i n g T m s t w o r t h i n e s s o f R e s e a r c h . . . . . . . . . . . . . . . . . . . . . 5 9 T a b l e 4 : P h a s e s o f t h e S t u d y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 6 T a b l e 5 : D e m o g r a p h i c C h a r a c t e r i s t i c s o f S t u d y P a r t i c i p a n t s . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1 T a b l e 6 : W h y I n t e r e s t e d , B e n e fi t s o f C u r r i c u l u m D e v e l o p m e n t P r o j e c t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 5 T a b l e 7 : C u r r i c u l u m ' I r a c k A s s i g n m e n t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 0 6 T a b l e 8 : N e e d A s s e s s m e n t R e l a t e d A c t i v i t i e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 6 T a b l e 9 : S t a k e h o l d e r s : " W h o I s A f f e c t e d ? " . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 7 T a b l e 1 0 : S o u r c e s C o n s u l t e d . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 8 T a b l e 1 1 : T i m e C o n c e r n s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 5 T a b l e 1 2 : L e a r n i n g f r o m t h e P R O C E S S o f N e e d s A s s e s s m e n t . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 9 2 T a b l e 1 3 : E f f e c t o f N e e d s A s s e s s m e n t o n P R O D U C T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0 2 x i T a b l e 1 4 : C h a n g e s t o P r o j e c t T o p i c O v e r T i m e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0 7 T a b l e 1 5 : M o d e l I T h e o r y - i n - u s e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 5 T a b l e 1 6 : M o d e l 1 1 T h e o r y - i n - u s e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 7 T a b l e 1 7 : F e l l o w s h i p F a c t o r s A f f e c t i n g T r a n s f e r a b i l i t y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3 1 T a b l e 1 8 : P a r t i c i p a n t F a c t o r s A f f e c t i n g T r a n s f e r a b i l i t y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3 2 T a b l e 1 9 : S t u d y R e s e a r c h Q u e s t i o n s a n d C o n c l u s i o n s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3 6 T a b l e 2 0 : S a m p l e C o m p a r i s o n o f E s p o u s e d T h e o r y a n d T h e o r y ~ i n - u s e o f N e e d s A s s e s s m e n t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4 4 T a b l e 2 1 : E x a m p l e s o f E s p o u s e d T h e o r y v s . T h e o r y - i n - u s e C o n fl i c t i n g . . . . . . . . 2 4 9 T a b l e 2 2 : G e n e r a l R e c o m m e n d a t i o n s f o r t h e T e a c h i n g a n d P r a c t i c e o f N e e d s A s s e s s m e n t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 6 2 x i i L I S T O F F I G U R E S F i g u r e 1 : D e c i s i o n M a k i n g M a t r i x . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 0 F i g u r e 2 : T h e R e l a t i o n s h i p B e t w e e n F o c u s a n d L e v e l i n N e e d s A s s e s s m e n t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 5 I ? i g ; r 1 r 1 3 5 3 : P r i o r T r a i n i n g a n d E x p e r i e n c e i n C u r r i c u l u m D e v e l o p m e n t . . . . . . . . . 8 9 F i g u r e 4 : E x c e r p t f r o m W o r k s h o p H a n d o u t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 3 l i i g g t r r r a E S : M a g e r ' s P e r f o r m a n c e A n a l y s i s F l o w c h a r t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 7 7 l i i g g t r r r a £ 5 : R o s s e t t ' s M o d e l o f N e e d s A s s e s s m e n t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 7 8 : { i i i \ 1 C H A P T E R I I N T R O D U C T I O N T O T H E S T U D Y W ‘ 1 _ . _ ' i _ i 1 . , ‘ - 6 1 1 0 : I , i _ _ ' _ _ ' i . g ‘ _ t o " 0 . : _ _ u 0 . 1 T h e fi e l d o f H u m a n P e r f o r m a n c e T e c h n o l o g r ( H P T ) p r o v i d e s a m e a n s t o i m p r o v e p e r f o r m a n c e i n t h e w o r k p l a c e . A f o u r - p h a s e d s y s t e m a t i c a p p r o a c h t o p r o b l e m s o l v i n g i s u s e d : a n a l y s i s , d e v e l o p m e n t , i m p l e m e n t a t i o n , a n d i m p r o v e m e n t ( M a g e r , 1 9 8 8 ) . A n a l y s i s i s c o n c e i v e d a n d t e r m e d d i f f e r e n t l y b y e x p e r t s , b u t t h e y w o u l d a g r e e t h a t i t s p u r p o s e i s t o i d e n t i f y a n d d e s c r i b e " r e a l w o r l d " p r o b l e m s w h i c h r e s u l t i n p r i o r i t i e s f o r a c t i o n . I n t h i s s t u d y , t h e a n a l y s i s p h a s e w a s t e r m e d " n e e d s a s s e s s m e n t . " A m o r e s p e c i fi c d e fi n i t i o n o f n e e d s a s s e s s m e n t i s " a p r o c e s s f o r i d e n t i f y i n g a n d m e a s u r i n g g a p s b e t w e e n w h a t i s a n d w h a t o u g h t t o b e , p r i o r i t i z i n g t h e g a p s , a n d d e t e r m i n i n g w h i c h o f t h e g a p s t o w o r k o n t o g a i n c l o s u r e " ( T r i m b y , 1 9 7 9 ) . T h i s d e fi n i t i o n p o i n t s o u t t h a t : 1 ) s o m e f o r m o f d a t a c o l l e c t i o n a n d a n a l y s i s i s r e q u i r e d , 2 ) " n e e d s " a r e d i s c r e p a n c i e s b e t w e e n t h e c u r r e n t s t a t e i n t h e r e a l w o r l d a n d s o m e d e fi n e d d e s i r e d s t a t e , 3 ) b e c a u s e m a n y n e e d s m a y b e i d e n t i fi e d , t h e y m u s t b e o r d e r e d f o r i m p o r t a n c e o r v a l u e a c c o r d i n g t o s o m e c r i t e r i a , a n d 4 ) t h e p r o c e s s r e s u l t s i n a d e s c r i p t i o n o f w h a t n e e d t o w o r k o n , p r i o r t o d e c i d i n g h o w i t s h o u l d b e w o r k e d o n . 2 T h e p r i o r i t y n e e d i d e n t i f i e d a n d d e s c r i b e d i n a n e e d s a s s e s s m e n t i n fl u e n c e s t h e s u b s e q u e n t p h a s e s o f d e v e l o p m e n t , i m p l e m e n t a t i o n , a n d i m p r o v e m e n t . I n t h e d e v e l o p m e n t p h a s e , t h e i n f o r m a t i o n c o l l e c t e d i n t h e n e e d s a s s e s s m e n t i s u s e d t o g e n e r a t e g o a l s a n d o b j e c t i v e s , t h e b l u e p r i n t s f o r c r e a t i n g t h e s o l u t i o n . T h e s o l u t i o n i s t h e n i m p l e m e n t e d a n d e v a l u a t e d t o d e t e r m i n e h o w e f f e c t i v e l y a n d e f fi c i e n t l y i t m e e t s t h e n e e d . I m p r o v e m e n t s a r e m a d e t o f u r t h e r a m e l i o r a t e t h e n e e d , o r t o s a v e r e s o u r c e s w h i l e m e e t i n g t h e n e e d . T h u s , n e e d s a s s e s s m e n t i s t h e c o n s e q u e n t i a l fi r s t p h a s e i n i m p r o v i n g h u m a n p e r f o r m a n c e . 3 1 A : T E M E N T Q F T H E P R Q B L E M N o w h e r e i s t h e p r e s e n c e o f f e r v o r a n d t h e a b s e n c e o f p r e s c r i p t i v e d e t a i l m o r e o b v i o u s t h a n i n t h e t o p i c o f n e e d s a s s e s s m e n t . ( R o s s e t t , 1 9 8 2 , p . 2 8 ) A l t h o u g h t h e i m p o r t a n c e o f n e e d s a s s e s s m e n t i s u n d i s p u t e d , i t c o n t i n u e s t o b e o n e o f t h e m o s t i n c o n s i s t e n t l y p r a c t i c e d a n d p o o r l y r e s e a r c h e d a r e a s w i t h i n H u m a n P e r f o r m a n c e T e c h n o l o g . A p e r s o n m a y w i s h t o c a r r y o u t a n e e d s a s s e s s m e n t , a n d e v e n b e f a m i l i a r w i t h a v a i l a b l e t e c h n i q u e s , b u t n o t b e a b l e t o c o n d u c t o n e e f f e c t i v e l y . M u c h o f w h a t i s w r i t t e n a b o u t n e e d s a s s e s s m e n t i n b o o k s a n d a r t i c l e s , a n d " p h i l o s o p h i z e d " a b o u t i n c o u r s e s , b e c o m e s r e m a r k a b l y h a r d t o i m p l e m e n t i n a c t u a l s i t u a t i o n s / F o r e x a m p l e , h o w d o e s a p r a c t i t i o n e r t r a n s f e r t h e i d e a o f " c o l l e c t i n g ! ! ! d a t a f r o m a v a r i e t y o f s o u r c e s " i n t o p r a c t i c e ? H o w m a n y s o u r c e s a r e n e e d e d ? W h i c h s o u r c e s ? W h a t d a t a s h o u l d b e c o l l e c t e d f r o m t h e m ? W h a t i f i t c o s t s m o r e t o d o i t o n e w a y / _ _ . _ , _ l 1 L 3 t h a n a n o t h e r ? A n d h o w d o e s t h e p r a c t i t i o n e r c o n v i n c e t h e p e r s o n h o l d i n g t h e p u r s e s t r i n g s t h a t t h i s s h o u l d b e d o n e ? _ T h e r e a r e m a n y o b s t a c l e s f o r p r a c t i t i o n e r s a t t e m p t i n g t o c o n d u c t n e e d s a s s e s s m e n t s . F i r s t , a p e r s o n i n t e r e s t e d i n l e a r n i n g a b o u t n e e d s a s s e s s m e n t m u s t s o r t t h r o u g h l i t e r a t u r e t h a t d i s p l a y s t h e l o n g - s t a n d i n g c o n f u s i o n o v e r w h a t n e e d s a s s e s s m e n t i s a n d w h a t p a r t i c u l a r t e r m i n o l o g r t o u s e ( K a u f m a n , 1 9 7 7 a , 1 9 8 2 , 1 9 8 6 : R o d r i g u e z , 1 9 8 8 : R o s s e t t , 1 9 8 2 , 1 9 8 6 , 1 9 8 7 : S a r t h o r y , 1 9 7 7 : W i t k i n 1 9 7 7 ) . L a c k o f a g r e e m e n t o n w h a t c o n s t i t u t e s n e e d s a s s e s s m e n t i s f u r t h e r c o m p l i c a t e d b y t h e p l e t h o r a o f w i d e l y d i v e r g e n t m o d e l s c r e a t e d i n t h e l a s t s e v e r a l d e c a d e s ( T r i m b y 1 9 7 9 ; W a n a m a k e r , 1 9 8 6 : W i t k i n 1 9 7 7 , 1 9 8 4 ) . S e c o n d , m u c h o f t h e l i t e r a t u r e o n n e e d s a s s e s s m e n t f o c u s e s o n t h e o r y a n d p r o v i d e s l i t t l e p r a c t i c a l a d v i c e o n h o w t o a c t u a l l y c a r r y o n e o u t ( L e w i s 8 1 B j o r k q u i s t , 1 9 9 2 ; R o s s e t t , 1 9 8 2 ; W a n a m a k e r , 1 9 8 6 ) . A s a r e s u l t , a l l t o o o f t e n t h e a s p i r i n g p r a c t i t i o n e r i s u n s u r e o f h o w t o fi n d o r d e s i g n a n d d e v e l o p t h e t o o l s f o r c o l l e c t i n g i n f o r m a t i o n , h o w t o a n a l y z e t h a t i n f o r m a t i o n o n c e i t i s c o l l e c t e d , a n d h o w t o m a n a g e t h e l o g i s t i c a l a n d i n t e r p e r s o n a l c o m p l i c a t i o n s t h a t a r i s e d u r i n g t h e p r o c e s s . F i n a l l y , e v e n a f t e r h a v i n g e x p e n d e d t i m e a n d e n e r g y o n c o l l e c t i n g a n d a n a l y z i n g i n f o r m a t i o n , t h e p r a c t i t i o n e r m a y w o n d e r i f t h e n e e d s a s s e s s m e n t h a s b e e n t r u l y u s e f u l . H a s t h e " r e a l " p r o b l e m b e e n i d e n t i fi e d ? W i l l i t m a k e a d i f f e r e n c e i n w h a t h a p p e n s i n t h e r e s t o f t h e p e r f o r m a n c e t e c h n o l o g y p r o c e s s ? T h e p r a c t i t i o n e r m a y b e l e f t w i t h a v a g u e f e e l i n g t h a t s o m e v i t a l i n f o r m a t i o n t h a t c o u l d h a v e c h a n g e d e v e r y t h i n g h a s b e e n m i s s e d - - o r t h a t h e r o w n o r a n o t h e r ' s p e r s o n a l v i e w p o i n t u n d u l y i n fl u e n c e d t h e fi n a l r e s u l t s . E v e n w o r s e , t h e p r a c t i t i o n e r m a y d o u b t t h a t t h e r e s u l t s o f t h e n e e d s a s s e s s m e n t w i l l 4 a c t u a l l y b e u s e d . A s e a r c h o f t h e l i t e r a t u r e o f f e r s l i t t l e c o m f o r t o n t h i s l a s t p o i n t . A l t h o u g h t h e i d e a o f " p r o b l e m i d e n t i fi c a t i o n " p r i o r t o b e g i n n i n g a p r o c e s s o f p r o b l e m s o l v i n g i s l o g i c a l l y a p p e a l i n g , t h e r e c o n t i n u e s t o b e r e m a r k a b l y l i t t l e r e s e a r c h o n n e e d s a s s e s s m e n t . T o d a t e , t h e r e i s n o " p r o o f " t h a t n e e d s a s s e s s m e n t p r o d u c e s v a l i d a n d r e l i a b l e r e s u l t s ( B u r t o n 8 : M e r r i l l , 1 9 9 1 ; W i t k i n , 1 9 7 6 ) . F u r t h e r m o r e , t h e i n f o r m a t i o n g a t h e r e d i n a n e e d s a s s e s s m e n t m a y n o t b e a p p l i e d i n l a t e r s t a g e s o f t h e p e r f o r m a n c e t e c h n o l o g y p r o c e s s ( B e n j a m i n , 1 9 8 9 : W a n a m a k e r , 1 9 8 6 ) . P U Q Q S E Q F T H E S I D D Y T h e fi r s t s t e p i n p r o m o t i n g t h e e f f e c t i v e n e s s a n d e f fi c i e n c y o f n e e d s a s s e s s m e n t i s t o d o c u m e n t c u r r e n t p r a c t i c e . T h e r e f o r e , t h e p u r p o s e o f t h i s s t u d y w a s t o d e s c r i b e h o w n o v i c e s c o n d u c t n e e d s a s s e s s m e n t s a n d e x p l a i n r e s u l t a n t o u t c o m e s . T h e c o n t e x t w a s a 1 0 - m o n t h l o n g f e l l o w s h i p i n m e d i c a l e d u c a t i o n , i n w h i c h p r i m a r y c a r e p h y s i c i a n s f r o m a c r o s s t h e U S a n d P u e r t o R i c o d e v e l o p e d t h e i r s k i l l s i n t e a c h i n g , r e s e a r c h , c u r r i c u l u m d e v e l o p m e n t , a n d a d m i n i s t r a t i o n . T h e s u b j e c t s o f t h i s s t u d y w e r e f o u r t e e n p h y s i c i a n s c o n d u c t i n g n e e d s a s s e s s m e n t s i n p r e p a r a t i o n f o r c r e a t i n g a m e d i c a l c u r r i c u l u m . I n t h i s q u a l i t a t i v e s t u d y , d a t a w a s c o l l e c t e d t h r o u g h o b s e r v a t i o n s , i n t e r v i e w s , a n d b y e x a m i n i n g d o c u m e n t s g e n e r a t e d b y t h e p a r t i c i p a n t s b e f o r e , d u r i n g , a n d a f t e r t h e y r e c e i v e d t r a i n i n g f o r a n d c o n d u c t e d t h e i r fi r s t n e e d s a s s e s s m e n t s . A n i n d u c t i v e a p p r o a c h w a s u s e d t o a n a l y z e t h e d a t a a n d r e s u l t s w e r e r e p o r t e d i n c a s e s t u d y f o r m a t . 5 T h r e e g o a l s w e r e i d e n t i fi e d t o a c h i e v e t h e p u r p o s e o f t h e s t u d y . T h e fi r s t g o a l w a s t o d e v e l o p a n u n d e r s t a n d i n g o f h o w n e e d s a s s e s s m e n t i s p r a c t i c e d b y d e s c r i b i n g t h e n e e d s a s s e s s m e n t p r o c e s s p e o p l e u s e . T h e p r o c e s s c a n b e u n d e r s t o o d i n t e r m s o f t h e t y p e s a n d n u m b e r s o f a c t i v i t i e s c o n d u c t e d . a s w e l l a s t h e t y p e s a n d n u m b e r s o f s o u r c e s i n v o l v e d . A s e c o n d g o a l w a s t o i d e n t i f y w h a t p h e n o m e n a f a c i l i t a t e a n d / o r h i n d e r p e o p l e a s t h e y p e r f o r m n e e d s a s s e s s m e n t s . N e e d s a s s e s s m e n t s c a n n o t b e c a r r i e d o u t i n i s o l a t i o n . N e e d s a s s e s s o r s m u s t i n t e r a c t w i t h o t h e r p e o p l e a n d d e a l w i t h e n v i r o n m e n t a l p r e s s u r e s t o fi n d v a l u a b l e d a t a , t o a n a l y z e i n f o r m a t i o n , a n d , m o s t i m p o r t a n t , t o u s e t h e r e s u l t s . A t h i r d g o a l w a s t o i d e n t i f y w h a t p e o p l e l e a r n a s a r e s u l t o f c o n d u c t i n g t h e n e e d s a s s e s s m e n t . " L e a r n i n g " w a s d e fi n e d b o t h i n t e r m s o f t h e r e s u l t s o b t a i n e d f r o m t h e n e e d s a s s e s s m e n t ( t h e " p r o d u c t s " ) , a s w e l l a s w h a t w a s l e a r n e d a b o u t n e e d s a s s e s s m e n t i t s e l f ( t h e " p r o c e s s " ) . W I n o r d e r t o a d d r e s s t h i s p u r p o s e , t h e b r o a d r e s e a r c h q u e s t i o n s w e r e : H o w i s t h e t h e o r y o f n e e d s a s s e s s m e n t i m p l e m e n t e d i n p r a c t i c e ? a n d W h a t a r e t h e o u t c o m e s o f h a v i n g c o n d u c t e d a n e e d s a s s e s s m e n t ? T h e s e s p e c i fi c q u e s t i o n s a d d r e s s e d e a c h o f t h e g o a l s : 1 . W h a t d o t h e p a r t i c i p a n t s d o i n c o n d u c t i n g a n e e d s a s s e s s m e n t ? 2 . W h a t f a c t o r s f a c i l i t a t e a n d / o r h i n d e r t h e n e e d s a s s e s s m e n t p r o c e s s ? 3 . W h a t d o p a r t i c i p a n t s l e a r n i n d o i n g a n e e d s a s s e s s m e n t ? a . a b o u t t h e p r o c e s s b . a b o u t t h e p r o d u c t s A l t h o u g h t h e p u r p o s e o f t h e s t u d y r e m a i n e d t h e s a m e , t h e r e s e a r c h q u e s t i o n s w e r e m o d i fi e d d u r i n g t h e c o u r s e o f t h e s t u d y . T h i s h a p p e n e d b e c a u s e a n i n d u c t i v e a p p r o a c h w a s u s e d i n w h i c h l a t e r p h a s e s o f t h e s t u d y w e r e d i r e c t e d b y d i s c o v e r i e s i n e a r l i e r p h a s e s o f d a t a c o l l e c t i o n a n d a n a l y s i s . I t i s n o t u n u s u a l f o r t h e f o c u s o f q u a l i t a t i v e r e s e a r c h t o c h a n g e a s t h e s t u d y p r o g r e s s e s ( M a r s h a l l a n d R o s s m a n , 1 9 8 9 : P e s h k i n , 1 9 8 5 : T e s c h , 1 9 9 0 ) . T h i s p r o c e s s w i l l b e f u r t h e r d e s c r i b e d i n C h a p t e r 1 1 1 . S e e A p p e n d i x A f o r a l i s t i n g o f t h e r e s e a r c h q u e s t i o n s t h a t l a u n c h e d t h i s s t u d y a n d a d i s c u s s i o n o f t h e c h a n g e s t h a t o c c u r r e d . I A R ' P E R P E . . . a s I i n c r e a s i n g l y c o m e u n d e r c o n v i c t i o n a b o u t t h e r e l a t i o n s h i p b e t w e e n w h o I a m , w h a t I s e e . a n d w h a t I c o n c l u d e a b o u t w h a t I s e e , I f e e l i n c r e a s i n g l y i n c l i n e d t o r e v e a l e n o u g h a b o u t m y s e l f s o t h a t r e a d e r s c a n m a k e t h e i r o w n j u d g m e n t s a b o u t w h a t I s a w , w h a t I m i s s e d . a n d w h a t I m i s c o n s t r u e d . ( A l a n P e s h k i n , 1 9 8 6 , p . 1 5 ) A d e s c r i p t i o n o f h o w t h e i n v e s t i g a t o r w a s t h e p r i m a r y d a t a - g a t h e r i n g i n s t r u m e n t f o r t h i s s t u d y a n d a d i s c u s s i o n o f t h e t e c h n i q u e s u s e d f o r h e l p i n g r e a d e r s d e t e r m i n e h o w c o n fi d e n t t h e y a r e i n t h e r e s u l t s o f a q u a l i t a t i v e s t u d y , a n d h o w t h e y m a y u s e s u c h a s t u d y , a r e p r e s e n t e d i n C h a p t e r I I I , " M e t h o d o l o g y . " A b r i e f o r i e n t a t i o n t o t h e i n v e s t i g a t o r ' s p e r s p e c t i v e o n n e e d s a s s e s s m e n t a n d a s s u m p t i o n s a t t h e b e g i n n i n g t h i s s t u d y m a y h e l p r e a d e r s d e t e r m i n e t h e s t r e n g t h s a n d w e a k n e s s e s o f t h i s s t u d y a n d w h a t i n f o r m a t i o n m a y b e a p p r o p r i a t e l y t r a n s f e r r e d t o o t h e r 7 c o n t e x t s . T h e f o l l o w i n g i t a l i c i z e d t e x t i s a d e s c r i p t i o n o f t h e i n v e s t i g a t o r ' s b a c k g r o u n d a n d v i e w s r e l a t e d t o n e e d s a s s e s s m e n t . I h a v e b e e n w o r k i n g t o w a r d a P h D . d e g r e e i n E d u c a t i o n a l S y s t e m s D e v e l o p m e n t f o r t h e p a s t f o u r a n d a h a l f y e a r s . A l t h o u g h I w a s n o t e x p o s e d t o t h e f o r m a l c o n c e p t o f n e e d s a s s e s s m e n t u n t i l e a r l y i n m y P h D . c o u r s e w o r k , I i n s t a n t l y r e c o g n i z e d a n d v a l u e d i t a s t h e l o g i c a l e a r l y s t e p i n a s y s t e m a t i c a p p r o a c h t o p r o b l e m s o l v i n g i n a n y a r e a : c l e a r l y i d e n t i f y t h e p r o b l e m b a s e d o n t h e e x a m i n a t i o n o f d a t a b e f o r e e x p e n d i n g t i m e a n d e n e r g y o n a t t e m p t i n g t o s o l v e i t . I t i s e v e n f a i r t o s a y t h a t I e n t e r e d t h e p r o g r a m i n E d u c a t i o n a l S y s t e m s D e v e l o p m e n t b e c a u s e t h e p r o c e s s o f n e e d s a s s e s s m e n t h a d s o i m p r e s s e d m e . S e v e r a l y e a r s e a r l i e r , I w o r k e d f o r a s m a l l c o m p a n y t h a t d e s i g n e d t r a i n i n g m a t e r i a l s f o r b u s i n e s s a n d i n d u s t r y . I w a s f a s c i n a t e d b y a s u c c e s s f u l c a s e w h e r e a c l i e n t a s k e d m y c o l l e a g u e s t o s o l v e a p r o b l e m ( " O u r t e c h n i c i a n s d o n ' t r e f e r t o t h e r e p a i r m a n u a l s ” ) . A f t e r g o i n g t o t h e s i t e a n d i n t e r v i e w i n g a n d o b s e r v i n g , m y c o l l e a g u e s d i s c o v e r e d h o w l a r g e a p r o b l e m t h i s w a s a n d t h e y f o u n d a m u l t i t u d e o f r e a s o n s f o r i t . T h e y r e p o r t e d o n t h e i m p o r t a n c e o f t h e p r o b l e m ( " X 9 6 o f t h e t i m e y o u r t e c h n i c i a n s a r e u n a b l e t o m a k e t h e r e p a i r o r u n i n t e n t i o n a l l y d a m a g e s o m e t h i n g e l s e i n t h e p r o c e s s . . . . Y % o f y o u r c u s t o m e r s s a i d t h e y w o u l d n o t b u y y o u r p r o d u c t s a g a i n d u e t o r e p a i r p r o b l e m s ” ) T h e n t h e y p r o p o s e d a s o l u t i o n t o t h e p r o b l e m t o a d d r e s s a l l t h e f a c t o r s i d e n t i fi e d i n t h e n e e d s a s s e s s m e n t . T h e i r a n s w e r i n c l u d e d d e s i g n s o l u t i o n s ( " o r g a n i z e t h e m a n u a l s b y r e p a i r p r o c e s s , l o w e r t h e r e a d i n g l e v e l , a d d m o r e l i n e d r a w i n g s . u s e c o l o r c o d i n g a n d t a b s t o m a k e t h e m a n u a l s e a s i e r f o r t e c h n i c i a n s t o f o l l o w . . . " ) , a s w e l l a s c h a n g e s t o o v e r c o m e o r g a n i z a t i o n a l a n d m o t i v a t i o n a l b a r r i e r s t o s o l v i n g t h e p r o b l e m ( " t a k e t h e m a n u a l s o u t o f 8 t h e s u p e r v i s o r ' s o f fi c e a n d p u t t h e m o n a w h e e l e d c a r t o n t h e s h o p fl o o r s o t e c h n i c i a n s c a n r e f e r t o t h e m w h i l e d o i n g t h e r e p a i r s w i t h o u t f e e l i n g t h a t t h e y ' r e s h o w i n g t h e b o s s t h a t t h e y d o n ' t k n o w s o m e t h i n g e v e r y t i m e t h e y l o o k a t t h e b o o k . . . ” ) . A t r e m e n d o u s a m o u n t o f m o n e y w o u l d b e s p e n t t o s o l v e t h i s p r o b l e m a n d a l a r g e n u m b e r o f p e o p l e w o u l d b e a f f e c t e d b y t h e s u c c e s s o f t h e s o l u t i o n . T h o u s a n d s o f c u s t o m e r s c o u l d p o t e n t i a l l y i n c u r l e s s f r u s t r a t i o n a n d fi n a n c i a l l o s s d u e t o c o r r e c t r e p a i r s o f t h e i r e q u i p m e n t , t h u s i m p r o v i n g t h e m a n u f a c t u r e r ’ s f u t u r e s a l e s v o l u m e s . W i t h o u t t h e n e e d s a s s e s s m e n t , t h e i n v e s t i g a t o r s w o u l d n o t h a v e i d e n t i fi e d a l l o f t h e s e f a c t o r s . H a d a n y p r _ i _ e o f t h e f a c t o r s b e e n o v e r l o o k e d , t h e s o l u t i o n p r o b a b l y w o u l d n o t h a v e w o r k e d - - n o m a t t e r h o w w e l l t h e o t h e r f a c t o r s w e r e a d d r e s s e d . T h e s y s t e m a t i c a p p r o a c h e s t o p r o b l e m s o l v i n g I s t u d i e d i n g r a d u a t e s c h o o l a l l i n c o r p o r a t e d s o m e f o r m o f n e e d s a s s e s s m e n t , a n d f o r v e r y l o g i c a l r e a s o n s . C o n v i n c e d o f t h e i m p o r t a n c e o f n e e d s a s s e s s m e n t , I r e a d a b o u t m o d e l s a n d t e c h n i q u e s a n d w r o t e t e r m p a p e r s . T h e n , I h a d a c h a n c e t o c o n d u c t m y o w n fi r s t n e e d s a s s e s s m e n t f o r a c l i e n t i n i n d u s t r y . I q u i c k l y d i s c o v e r e d h o w d i f fi c u l t i t w a s t o t a k e a p r o c e s s t h a t s e e m e d s o i m p o r t a n t a n d l o g i c a l a n d m a k e i t a r e a l i t y . A l t h o u g h I k n e w a b o u t n e e d s a s s e s s m e n t , I f e l t i l l p r e p a r e d t o d o o n e . I c o m p l e t e d t h e p r o j e c t a n d t h e c l i e n t e x p r e s s e d s a t i s f a c t i o n , b u t I w a s l e f t w i t h n a g g i n g q u e s t i o n s t h a t w e r e t o b e c o m e t h e s e e d s o f t h i s s t u d y . I w a s n ’ t s u r e I h a d d o n e t h e b e s t j o b p o s s i b l e . I w o n ' i e d t h a t I h a d m i s s e d s o m e t h i n g . I d e c i d e d I w o u l d d o m y d i s s e r t a t i o n o n t h e t o p i c o f n e e d s a s s e s s m e n t . F o r t h e n e x t y e a r , I r e a d b o o k s a n d a r t i c l e s , a t t e n d e d n a t i o n a l c o n f e r e n c e s , a n d t a l k e d t o p e o p l e w h o c o n d u c t e d n e e d s 9 a s s e s s m e n t s . B a s e d o n t h e s e e x p e r i e n c e s , I g e n e r a t e d t h r e e p r i m a r y a s s u m p t i o n s a b o u t n e e d s a s s e s s m e n t : 1 ) I t i s d i fl i c u l t f o r p e o p l e t o c o n t r o l t h e i r o w n b i a s e s w h i l e c o n d u c t i n g n e e d s a s s e s s m e n t s . T h e r e a r e s o m a n y d e c i s i o n s t h a t m u s t b e m a d e q u i c k l y r e g a r d i n g s o u r c e s . d a t a g a t h e r i n g a n d a n a l y s i s t e c h n i q u e s , a n d o n - s i t e t r o u b l e s h o o t i n g t h a t a p e r s o n c o u l d u n c o n s c i o u s l y i n fl u e n c e t h e c o u r s e o f t h e p r o c e s s a n d t h e r e s u l t s o b t a i n e d . I t s e e m s a l l t o o e a s y t o h a v e t h e r e s u l t s o f t h e n e e d s a s s e s s m e n t s u p p o r t t h e p r a c t i t i o n e r ’ s f a v o r e d s o l u t i o n . N e e d s a s s e s s m e n t m a y b e s u s c e p t i b l e t o " t h e h a m m e r p r i n c i p l e " i n w h i c h a p e r s o n w i t h a h a m m e r s e e k s o u t t h i n g s t h a t n e e d h a m m e r i n g . S i m i l a r l y , t r a i n i n g s p e c i a l i s t s c o u l d c o n d u c t n e e d s a s s e s s m e n t s a n d d i s c o v e r p r o b l e m s t o b e s o l v e d b y t r a i n i n g . I w e n t s o f a r a s t o w o n d e r w h e t h e r d i f f e r e n t p e r s o n a l i t y t y p e s w o u l d c o n d u c t d i f f e r e n t t y p e s o f n e e d s a s s e s s m e n t s a n d w i n d u p w i t h d i f f e r e n t r e s u l t s . 2 ) A l t h o u g h n e e d s a s s e s s m e n t i s a n i m p o r t a n t a n d i n t e g r a l c o m p o n e n t o f s y s t e m a t i c a p p r o a c h e s t o p r o b l e m s o l v i n g , i t d o e s n o t s e e m t o b e u s e d i n e v e r y d a y p r a c t i c e . F i r s t . c o m p r e h e n s i v e n e e d s a s s e s s m e n t s a s d e s c r i b e d i n t h e l i t e r a t u r e d o n ’ t o f t e n h a p p e n . I n f a c t . n e e d s a s s e s s m e n t s a r e o f t e n s k i p p e d a l t o g e t h e r . o r d o n e i n a v e r y f o r e s h o r t e n e d m a n n e r . P e o p l e h a v e t r o u b l e j u s t i f y i n g t h e t i m e a n d m o n e y i n v o l v e d i n d o i n g a n e e d s a s s e s s m e n t . S e c o n d , t h e r e s u l t s o f n e e d s a s s e s s m e n t s s e e m t o b e u n e v e n l y a p p l i e d . I t i s c o m m o n f o r n e e d s a s s e s s m e n t s t o b e u s e d t o g a i n c r e d i b i l i t y a n d t o j u s t i f y a p a r t i c u l a r c o u r s e o f a c t i o n - - e s p e c i a l l y w h e n p e r m i s s i o n o r f u n d s a r e b e i n g r e q u e s t e d . B u t i t i s m u c h r a r e r t o s e e e v i d e n c e o f c o n s i s t e n t l y u s i n g t h e i n f o r m a t i o n g a i n e d fi o m t h e n e e d s a s s e s s m e n t t o d e s i g n , i m p l e m e n t a n d e v a l u a t e t h e n e w p r o d u c t o r p r o c e s s . I t s e e m s t h a t w h e n ( a n d i f ) a n e v a l u a t i o n i s c o n d u c t e d , p e o p l e n e g l e c t t o m e a s u r e t h e i r s u c c e s s a g a i n s t t h e s t a n d a r d s t h a t w e r e s e t a t t h e b e g i n n i n g o f t h e p r o c e s s b y t h e n e e d s a s s e s s m e n t . I f e l t t h a t fi n d i n g o u t w h y n e e d s a s s e s s m e n t s a r e n ’ t d o n e o r a r e n ’ t u s e d c o u l d b e t h e fi r s t s t e p i n f a c i l i t a t i n g t h e i r u s e . 3 ) T h e p o t e n t i a l i m p a c t o f n e e d s a s s e s s m e n t i s t r e m e n d o u s , . y e t r e m a i n s u n p r o v e n . I n s p i t e o f t h e c o n c e r n s o f b i a s o r l a c k o f u s e . n e e d s a s s e s s m e n t c o n t i n u e s t o h o l d g r e a t p r o m i s e . I f w e c o u l d j u s t fi g u r e o u t t o w h a t e x t e n t , a n d h o w a n d w h e r e b i a s e n t e r s i n t o n e e d s a s s e s s m e n t , w e c o u l d r e d u c e b i a s . I f w e c o u l d g e t a b e t t e r g r a s p o f w h a t t h e b e n e fi t s o f c o n d u c t i n g a n e e d s a s s e s s m e n t a r e , w e w o u l d b e b e t t e r p r e p a r e d t o j u s t i f y t h e u s e o f r e s o u r c e s t o c o n d u c t t h e m a n d t o d e t e r m i n e h o w e x t e n s i v e t h e e f f o r t s h o u l d b e . I f w e c o u l d d i s c o v e r w h e r e o p p o r t u n i t i e s f o r u s i n g n e e d s a s s e s s m e n t d a t a a r e m i s s e d , w e c o u l d d e v e l o p g u i d e l i n e s f o r r e f e r r i n g b a c k t o t h e d a t a i n t h e l a t e r p h a s e s o f d e v e l o p m e n t , i m p l e m e n t a t i o n a n d 1 0 i m p r o v e m e n t . W e n e e d t o c o n d u c t r e s e a r c h t o d i s c o v e r w h a t a d i f f e r e n c e n e e d s a s s e s s m e n t c a n m a k e . T h r o u g h o u t t h i s s t u d y I w a s i n t e n s e l y a w a r e t h a t I w a s e s s e n t i a l l y c o n d u c t i n g a " n e e d s a s s e s s m e n t o f n e e d s a s s e s s m e n t . " T h e r e f o r e , m y o w n s t u d y r u n s t h e r i s k o f c o m m i t t i n g t h e t r e s p a s s e s I h a v e a s s u m e d o t h e r s c o m m i t . I n C h a p t e r 1 1 1 , I w i l l d e s c r i b e h o w I h a v e a t t e m p t e d t o u s e m e t h o d o l o g y t o c o n t r o l f o r t h e s e a s s u m p t i o n s . T h i s s e c t i o n o n t h e i n v e s t i g a t o r ' s p e r s p e c t i v e h a s b e e n o f f e r e d a s a k i n d o f " p e r s o n a l r a t i o n a l e a n d s i g n i fi c a n c e o f t h e s t u d y . " T h e r e a d e r c a n u s e t h i s s e c t i o n t o b e t t e r d e t e r m i n e h o w t h e i n v e s t i g a t o r ' s p e r s p e c t i v e i n t e r a c t e d w i t h t h e s t u d y a s i t u n f o l d e d . T h e f o l l o w i n g r a t i o n a l e a n d s i g n i fi c a n c e s e c t i o n i s i n t e n d e d t o p r e s e n t a n a r g u m e n t s u p p o r t i n g t h e s t u d y b a s e d o n p e r s p e c t i v e s o f o t h e r s . E T I Q N A L E A N D S I G N I F I C A N C E T h e r e i s n o m o r e i m p o r t a n t g o a l f o r a d e v e l o p e r t h a n t o h o n e t h e t o o l s w e u s e t o u n d e r s t a n d p e r f o r m a n c e p r o b l e m s ( R o s s e t t , 1 9 8 2 , p . 3 3 ) T h i s s t u d y w a s d e s i g n e d t o c o n t r i b u t e t o t h e fi e l d o f H u m a n P e r f o r m a n c e T e c h n o l o g y a s w e l l a s t h e i m m e d i a t e c o n t e x t a n d p e o p l e s t u d i e d . T h e fi n d i n g s o f t h i s s t u d y s h o u l d c o n t r i b u t e t o t h e r e s e a r c h b a s e o n n e e d s a s s e s s m e n t . A l t h o u g h n e e d s a s s e s s m e n t i s w i d e l y a c k n o w l e d g e d a s a n i m p o r t a n t c o m p o n e n t o f t h e d e v e l o p m e n t p r o c e s s , t h e r e i s l i t t l e r e s e a r c h o n i t s e f f e c t i v e n e s s ( B e n j a m i n , 1 9 8 9 ; B u r t o n 8 r M e r r i l l , 1 9 9 1 ; S l e e z e r , 1 9 9 1 ; W i t k i n , 1 9 7 6 ) . T h e l a r g e s t p r o p o r t i o n o f w h a t h a s b e e n w r i t t e n a b o u t n e e d s a s s e s s m e n t c o n s i s t s o f e x p e r t s ' o p i n i o n s o n t h e o r e t i c a l c o n s t r u c t s a n d d e s c r i p t i o n s o f m o d e l s o r s p e c i fi c l l t e c h n i q u e s . W h a t i s l a c k i n g i s r e s e a r c h i n w h i c h t h e c o n c e p t s a n d t e c h n i q u e s t h a t h a v e b e e n w r i t t e n a b o u t a r e t e s t e d f o r e f f e c t i v e n e s s . T h e d e s c r i p t i o n o f t h e p r o c e s s a n d o u t c o m e s o f 1 4 n e e d s a s s e s s m e n t s i n t h i s q u a l i t a t i v e s t u d y w i l l s e r v e a s a s t a r t i n g p o i n t f o r v a l i d a t i n g t h e b e n e fi t s o f p e r f o r m i n g n e e d s a s s e s s m e n t . T h e fi n d i n g s o f t h i s s t u d y m a y a l s o c o n t r i b u t e t o u n d e r s t a n d i n g n e e d s a s s e s s m e n t s a s t h e y a c t u a l l y o c c u r . A r g y r l s a n d S c h d n ( 1 9 7 4 ) d e m o n s t r a t e t h a t i n c o n s i s t e n c y b e t w e e n a t h e o r y a s i t i s e s p o u s e d a n d a s i t i s a c t u a l l y p u t t o u s e c a n l e a d t o l a c k o f e f f e c t i v e n e s s . R e s o l v i n g p o i n t s o f i n c o n s i s t e n c y r e q u i r e s 1 ) c h a n g i n g t h e e s p o u s e d t h e o r y s o t h a t i t m o r e a c c u r a t e l y r e p r e s e n t s a c t u a l p r a c t i c e o r 2 ) a l t e r i n g p r a c t i c e s o t h a t i t c o n f o r m s w i t h t h e t h e o r y . T h i s s t u d y ' s d e s c r i p t i o n o f w h y a n d h o w n e e d s a s s e s s m e n t s a r e p e r f o r m e d w i l l b e c o m p a r e d t o t h e o r y . F u r t h e r r e s e a r c h c o u l d r e s u l t i n e i t h e r 1 ) m o d i fi c a t i o n o f t h e t h e o r y o f n e e d s a s s e s s m e n t s o t h a t i t m o r e a c c u r a t e l y r e p r e s e n t s h o w n e e d s a s s e s s m e n t i s p r a c t i c e d a n d / o r 2 ) g u i d e l i n e s f o r m a k i n g c h a n g e s i n h o w n e e d s a s s e s s m e n t i s p r a c t i c e d . M e d i c a l e d u c a t i o n s h o u l d a l s o b e n e fi t f r o m t h i s s t u d y . N e e d s a s s e s s m e n t i s r e c o g n i z e d a s t h e c r u c i a l fi r s t s t e p t o i m p r o v i n g p e r f o r m a n c e i n m e d i c a l s e t t i n g s ( F i n n e g a n , 1 9 9 1 ) . A r e v i e w o f c u r r i c u l u m d e v e l o p m e n t e f f o r t s i n t h e h e a l t h p r o f e s s i o n s r e v e a l e d t h a t i n t h e v a s t m a j o r i t y o f c a s e s , s u b j e c t m a t t e r e x p e r t s ( e . g . p h y s i c i a n s , n u r s e s ) w i t h l i m i t e d e x p e r i e n c e i n p e r f o r m a n c e t e c h n o l o g y c o n c e p t s w e r e r e s p o n s i b l e f o r d e s i g n i n g a n d i m p l e m e n t i n g n e w c u r r i c u l a ( S h e e t s 8 r A n d e r s o n , 1 9 9 1 ) . B e c a u s e t h e s t u d y p a r t i c i p a n t s w e r e p h y s i c i a n s c o n d u c t i n g n e e d s a s s e s s m e n t s a s p a r t o f d e v e l o p i n g a m e d i c a l c u r r i c u l u m , i t s h o u l d e n h a n c e o u r u n d e r s t a n d i n g o f h o w n e e d s 1 2 a s s e s s m e n t s a r e c o n d u c t e d i n m e d i c a l s e t t i n g s b y p e o p l e w i t h l i m i t e d e x p e r i e n c e i n p e r f o r m a n c e t e c h n o l o g y c o n c e p t s . I n a d d i t i o n . t h e r e s u l t s c e r t a i n l y w i l l b e a p p l i c a b l e i n t h e s p e c i fi c c o n t e x t o f t h i s s t u d y - - a f e l l o w s h i p f o r a c a d e m i c p h y s i c i a n s . P l a n s a r e a l r e a d y i n p l a c e t o i n c o r p o r a t e t h i s s t u d y ' s s u g g e s t i o n s o n h o w t o b e t t e r p r e p a r e p e o p l e t o c o n d u c t n e e d s a s s e s s m e n t s . F i n a l l y , t h e " s u b j e c t s " o f t h e s t u d y m a y h a v e b e n e fi t e d f r o m t h e r e s e a r c h p r o c e s s a s w e l l a s t h e r e s u l t s , a s t h e y w e r e a n i n t e g r a l p a r t o f t h e d a t a c o l l e c t i o n a n d a n a l y s i s p r o c e s s . T h e 1 4 p a r t i c i p a n t s w e r e e n c o u r a g e d i n i n t e r v i e w s t o r e fl e c t o n w h a t t h e y d i d a n d w h a t t h e y h a d l e a r n e d . A s p a r t o f t h e r e s e a r c h p r o c e s s . t h e i n v e s t i g a t o r a s k e d p a r t i c i p a n t s f o r t h e i r o p i n i o n s o f h e r i n s i g h t s . P a r t i c i p a n t s h a d t h e o p p o r t u n i t y f o r f u r t h e r r e fl e c t i o n u p o n t h e i r o w n b e h a v i o r , h o w t h e n e e d s a s s e s s m e n t p r o c e s s m i g h t b e h e l p e d a n d h i n d e r e d , a n d w h a t t h e o u t c o m e s o f t h e p r o c e s s m i g h t b e . T h i s s t u d y m a y a l s o h a v e h e l p e d t h e p a r t i c i p a n t s b y b o l s t e r i n g t h e i r e s t e e m . T h r o u g h o u t t h e s t u d y , m a n y p a r t i c i p a n t s e x p r e s s e d f r u s t r a t i o n a n d s e l f d o u b t i n a t t e m p t i n g t h e i r fi r s t n e e d s a s s e s s m e n t . W h e n t h e i n v e s t i g a t o r a s k e d w h e t h e r b e i n g s t u d i e d h a d a d d e d t o t h e i r f r u s t r a t i o n , t h e r e s p o n s e w a s a l w a y s t h e o p p o s i t e . P a r t i c i p a n t s m a d e s t a t e m e n t s l i k e " Y o u s h o w e d i n t e r e s t i n w h a t w e w e r e d o i n g . F o r o n e , i t m a d e m e f e e l m o r e i m p o r t a n t " a n d " Y o u r s t u d y i n g t h i s a c t u a l l y h e l p e d . . . i t s e r v e d a s a r e m i n d e r t h a t [ n e e d s a s s e s s m e n t ] i s n o t c o m p l e t e l y u n d e r s t o o d . " 1 3 S T U D Y C O N T E X T A N D M E T H O D S T h e c o n t e x t o f t h e s t u d y w a s a t e n - m o n t h f e l l o w s h i p i n m e d i c a l e d u c a t i o n w h i c h p r o v i d e s t r a i n i n g f o r a p p r o x i m a t e l y 2 0 p h y s i c i a n s ( M . D . ' s a n d D . O . ' s l ) a y e a r . T h e y l e a r n a b o u t t o p i c s t h a t w i l l e n h a n c e t h e i r p e r f o r m a n c e a s a c a d e m i c p h y s i c i a n s , i n c l u d i n g t e a c h i n g , a d m i n i s t r a t i o n , r e s e a r c h , a n d c u r r i c u l u m d e v e l o p m e n t . T h e s a m p l e f o r t h i s s t u d y w a s d r a w n f r o m t h e p h y s i c i a n s a t t e n d i n g t h e f e l l o w s h i p i n a r e c e n t y e a r . A t t h e b e g i n n i n g o f t h e y e a r . t h e i n v e s t i g a t o r t o l d t h e p h y s i c i a n s w h o i n t e n d e d t o c o m p l e t e a c u r r i c u l u m d e v e l o p m e n t p r o j e c t a b o u t t h e s t u d y a n d i n v i t e d t h e m t o p a r t i c i p a t e . A l l 1 4 p o t e n t i a l s u b j e c t s a g r e e d t o p a r t i c i p a t e i n t h e s t u d y . F e l l o w s h i p f a c u l t y p r e s e n t e d a w o r k s h o p o n n e e d s a s s e s s m e n t c o n c e p t s a n d t e c h n i q u e s b a s e d o n t h e w o r k o f A l l i s o n R o s s e t t ( 1 9 8 7 ) . S u b j e c t s w e r e t h e n r e q u i r e d t o d e s i g n a n d c o n d u c t a n e e d s a s s e s s m e n t i n t h e i r w o r k e n v i r o n m e n t a n d p r e p a r e w r i t t e n a n d o r a l r e p o r t s w i t h i n a s i x - a n d - h a l f w e e k p e r i o d . S e e C h a p t e r I V , " T h e P a r t i c i p a n t s a n d S e t t i n g , " f o r a m o r e d e t a i l e d d e s c r i p t i o n o f t h e s u b j e c t s a n d c o n t e x t . T h e m e t h o d s f o r t h i s s t u d y w e r e d r a w n f r o m q u a l i t a t i v e r e s e a r c h t r a d i t i o n s . T h e i n v e s t i g a t o r c o l l e c t e d d a t a t h r o u g h o b s e r v a t i o n s , i n t e r v i e w s , a n d e x a m i n a t i o n o f d o c u m e n t s . A n i n d u c t i v e a p p r o a c h w a s u s e d t o a n a l y z e t h e d a t a . T h i s a p p r o a c h o f a l l o w i n g t h e o r y t o b e g e n e r a t e d f r o m t h e d a t a ( r a t h e r t h a n p r e c e d i n g t h e d a t a a s i n t r a d i t i o n a l h y p o t h e s i s t e s t i n g ) i s k n o w n a s g r o u n d e d t h e o r y ( G l a s e r 8 : S t r a u s s , 1 9 6 7 ) . D a t a w e r e c o d e d a n d a n a l y z e d f o r p a t t e r n s a n d t r e n d s . a n d t e n t a t i v e fi n d i n g s w e r e t e s t e d i n l a t e r c y c l e s o f d a t a c o l l e c t i o n a n d 1 M D . a n d D O . s t a n d f o r " D o c t o r o f M e d i c i n e " a n d " D o c t o r o f O s t e o p a t h y . " r e s p e c t i v e l y . 1 4 a n a l y s i s . R e s e a r c h fi n d i n g s a r e r e p o r t e d i n a c a s e s t u d y f o r m a t ( Y i n , 1 9 8 9 ) . C h a p t e r I I I , " M e t h o d o l o g r , " p r o v i d e s a m o r e d e t a i l e d d e s c r i p t i o n o f t h e m e t h o d s . S C O P E A N D L I M I T A T I O N S T h e s c o p e a n d l i m i t a t i o n s o f t h i s s t u d y d e r i v e f r o m t h e c h o i c e o f a p p r o a c h , s e t t i n g a n d s u b j e c t s . T h e r e a r e e l e v e n l i m i t a t i o n s . S t e m m i n g f r o m t h e c h o i c e o f a q u a l i t a t i v e a p p r o a c h , t h i s s t u d y : 1 ) i n v o l v e s o n l y a f e w p e o p l e , 2 ) h a s r e s u l t s w h i c h c a n n o t b e t e s t e d f o r s t a t i s t i c a l s i g n i fi c a n c e , 3 ) i s r e l i a n t u p o n p a r t i c i p a n t s ' r e c a l l , a n d 4 ) i s r e l i a n t u p o n a s i n g l e i n v e s t i g a t o r t o a c c u r a t e l y c o l l e c t a n d a n a l y z e d a t a . S t e m m i n g f r o m t h e c h o i c e o f s e t t i n g , t h i s s t u d y ' s r e s u l t s m a y b e l i m i t e d b e c a u s e : 5 ) t h e s t u d y t o o k p l a c e i n t h e fi e l d o f m e d i c a l e d u c a t i o n , 6 ) t h e n e e d s a s s e s s m e n t s w e r e f o r t h e s p e c i fi c p u r p o s e o f c u r r i c u l u m d e v e l o p m e n t , a n d 7 ) t h e n e e d s a s s e s s m e n t s w e r e r e q u i r e d . T h e c h o i c e o f s u b j e c t s m a y a l s o l i m i t t h e s t u d y a s t h e n e e d s a s s e s s m e n t s w e r e c o n d u c t e d b y : 8 ) i n d i v i d u a l s r a t h e r t h a n g r o u p s , 9 ) ' r e l a t i v e n o v i c e s t o h u m a n p e r f o r m a n c e t e c h n o l o g y 1 0 ) s u b j e c t m a t t e r e x p e r t s , a n d 1 1 ) p e o p l e w h o w e r e c o n d u c t i n g n e e d s a s s e s s m e n t s i n t h e i r o w n w o r k e n v i r o n m e n t . E a c h o f t h e s e l i m i t a t i o n s w i l l b e d i s c u s s e d i n t u r n . L i m i t a t i o n s f r o m A p p r o a c h Q u a l i t a t i v e s t u d i e s h a v e l i m i t a t i o n s a s w e l l a s s t r e n g t h s . F i r s t , t h e s m a l l e r n u m b e r s o f n o n - r a n d o m l y c h o s e n s u b j e c t s i n q u a l i t a t i v e s t u d i e s t e n d t o l i m i t t h e t r a d i t i o n a l n o t i o n o f g e n e r a l i z a b i l i t y t o a w i d e r o r m o r e d i v e r s e p o p u l a t i o n . B u t , a s G l a s e r a n d S t r a u s s ( 1 9 6 7 ) p o i n t o u t , 1 5 t h e o r e t i c a l s a m p l i n g i s v a l i d i n a t h e o r y b u i l d i n g s t u d y . T h e p u r p o s e o f t h i s s t u d y w a s t o g e n e r a t e i n s i g h t s o n h o w p e o p l e c o n d u c t n e e d s a s s e s s m e n t s a n d w h a t t h e y l e a r n f r o m t h e m . N o a t t e m p t w a s m a d e t o a s s i g n m a g n i t u d e o r d i r e c t i o n t o t h e s e i n s i g h t s , w h i c h w o u l d r e q u i r e l a r g e r n u m b e r s a n d s t a t i s t i c a l ( r a n d o m ) s a m p l i n g . S e c o n d , t h e d a t a a r e c o m p r i s e d p r i m a r i l y o f t e x t a n d w e r e n o t r e d u c e d t o n u m b e r s a n d s u b j e c t e d t o s t a t i s t i c a l t e s t s o f s i g n i fi c a n c e . T h e i n v e s t i g a t o r c o l l e c t e d m a n y f o r m s o f d e s c r i p t i v e d a t a i n i n t e r v i e w s , o b s e r v a t i o n s a n d d o c u m e n t s . W h e r e p o s s i b l e , a n a l y s i s i n c l u d e d n u m e r i c a l s u m m a r i e s . H o w e v e r , a s a p r i m a r y g o a l o f q u a l i t a t i v e r e s e a r c h i s t o p r e s e n t v i v i d a n d a c c u r a t e d e s c r i p t i o n s o f c o m p l e x p h e n o m e n a , t h e q u a l i t a t i v e a p p r o a c h i s p a r t i c u l a r l y s u i t e d t o g e n e r a t i n g a n u n d e r s t a n d i n g o f t h e c o m p l e x p r o c e s s o f n e e d s a s s e s s m e n t . K e y " v a r i a b l e s " i d e n t i fi e d i n t h i s q u a l i t a t i v e s t u d y c o u l d b e q u a n t i t a t i v e l y s t u d i e d i n f u t u r e r e s e a r c h o n n e e d s a s s e s s m e n t . T h i r d , t h i s q u a l i t a t i v e s t u d y w a s l i m i t e d t o t h e e x t e n t t h a t i t r e l i e d o n t h e p e r c e p t i o n s a n d r e c a l l o f s t u d y p a r t i c i p a n t s . P e r c e p t i o n s w e r e c h e c k e d a g a i n s t o b s e r v a t i o n s o f b e h a v i o r a n d d o c u m e n t s c r e a t e d b y t h e p a r t i c i p a n t s . D i s t o r t i o n i n p a r t i c i p a n t s ' r e c a l l w a s , i n p a r t . c o n t r o l l e d b y a s k i n g f o r s i m i l a r i n f o r m a t i o n t h r o u g h a n u m b e r o f o p e n - e n d e d q u e s t i o n s o v e r a n e x t e n d e d p e r i o d o f t i m e . T h e f o u r t h a n d m o s t p r o b l e m a t i c l i m i t a t i o n r e l a t e d t o t h e c h o i c e o f a q u a l i t a t i v e a p p r o a c h i s t h e r e l i a n c e u p o n a n i n d i v i d u a l r e s e a r c h e r t o c o l l e c t a n d a n a l y z e t h e d a t a . T w o m a j o r c o n c e r n s a r e t h e p r e s e n c e o f t h e r e s e a r c h e r a l t e r i n g t h e p h e n o m e n a b e i n g s t u d i e d a n d r e s e a r c h e r b i a s . T h e i n t e r a c t i o n o f t h e i n v e s t i g a t o r w i t h t h e p a r t i c i p a n t s r e p r e s e n t s a p o t e n t i a l l i m i t a t i o n o f t h e p r e s e n t s t u d y . T r a d i t i o n a l m e t h o d o l o g y d e r i v e d f r o m t h e n a t u r a l s c i e n c e s a s s e r t s t h a t o b s e r v a t i o n a l t e r s w h a t i s 1 6 b e i n g o b s e r v e d a n d u r g e s a s l i t t l e i n t e r a c t i o n b e t w e e n r e s e a r c h e r a n d s u b j e c t s a s p o s s i b l e . I n c o n t r a s t , B l u m e r ' s t h e o r y o f s y m b o l i c i n t e r a c t i o n ( 1 9 6 2 ) c o g e n t l y a r g u e s t h a t t h e o n l y w a y t o u n d e r s t a n d a s i t u a t i o n i s f r o m a p a r t i c i p a n t ' s p e r s p e c t i v e , w h i c h i s b e s t a p p r o x i m a t e d b y i n t e r a c t i n g w i t h t h e p a r t i c i p a n t s a n d l e a r n i n g t o s e e t h i n g s t h e w a y t h e y d o . A c c o r d i n g t o B l u m e r , d i s t a n c i n g o n e s e l f f r o m t h e s u b j e c t s i n a s t u d y i s l i k e l y t o i n t r o d u c e a m u c h m o r e d a n g e r o u s f o r m o f b i a s t h a n t h a t i n t r o d u c e d b y i n t e r a c t i n g w i t h t h e m . A n o t h e r a r e a o f c o n c e r n r e l a t e s t o r e s e a r c h e r b i a s . A s a s i n g l e i n v e s t i g a t o r w a s o b s e r v i n g b e h a v i o r s , c o n d u c t i n g i n t e r v i e w s , a n d c o l l e c t i n g d o c u m e n t s . i t i s r e a s o n a b l e t o b e c o n c e r n e d t h a t t h e i n v e s t i g a t o r ' s f e e l i n g s a n d b i a s e s a f f e c t e d t h e c o l l e c t i o n a n d a n a l y s i s o f d a t a i n t h e p r e s e n t s t u d y . H o w e v e r , t h e i n v e s t i g a t o r a p p l i e d a v a r i e t y o f c o n t r o l s f o r r e s e a r c h e r b i a s . T h i s i s d i s c u s s e d i n d e t a i l i n C h a p t e r I I I , " M e t h o d o l o g y , " a s w e l l a s t h e e f f e c t o f t h e c h o i c e o f a q u a l i t a t i v e m e t h o d o l o g n W T h e c h o i c e o f s e t t i n g a l s o d e t e r m i n e s a n u m b e r o f l i m i t a t i o n s a s w e l l a s s t r e n g t h s f o r t h e s t u d y . F i r s t , b e c a u s e t h e n e e d s a s s e s s m e n t s w e r e c o n d u c t e d i n m e d i c a l e d u c a t i o n , fi n d i n g s w i l l n o t n e c e s s a r i l y g e n e r a l i z e t o o t h e r fi e l d s . A n d s e c o n d , b e c a u s e t h e n e e d s a s s e s s m e n t s w e r e b e i n g c o n d u c t e d a s p a r t o f a c u r r i c u l u m d e v e l o p m e n t e f f o r t , t h e fi n d i n g s m a y n o t g e n e r a l i z e t o n e e d s a s s e s s m e n t s c o n d u c t e d f o r o t h e r p u r p o s e s . H o w e v e r , E r i c k s o n ( 1 9 8 6 ) a n d o t h e r s w r i t i n g o n q u a l i t a t i v e r e s e a r c h p o i n t o u t t h a t p h e n o m e n a m u s t fi r s t b e u n d e r s t o o d w i t h r e f e r e n c e t o t h e l o c a l s e t t i n g a n d a c t o r s b e f o r e a n y a t t e m p t c a n b e m a d e t o d e v e l o p c o m p a r a t i v e u n d e r s t a n d i n g i n o t h e r s e t t i n g s . I n o t h e r w o r d s , 1 7 p h e n o m e n a n e e d t o fi r s t b e d e s c r i b e d a n d e x p l a i n e d i n a p a r t i c u l a r s e t t i n g ( s u c h a s m e d i c a l e d u c a t i o n f o r t h e p u r p o s e o f c u r r i c u l u m d e v e l o p m e n t ) t o g e n e r a t e fi n d i n g s w h i c h c a n t h e n b e c h e c k e d f o r a p p l i c a b i l i t y t o o t h e r s e t t i n g s i n o t h e r s t u d i e s . A n d t h i r d , b e c a u s e s u b j e c t s w e r e r e q u i r e d t o c o n d u c t a n e e d s a s s e s s m e n t a n d r e p o r t o n t h e r e s u l t s , t h e g e n e r a l i z a b i l i t y t o p e o p l e c o n d u c t i n g n e e d s a s s e s s m e n t s w i t h o u t r e q u i r e m e n t s i s l i m i t e d . H o w e v e r , t h i s l i m i t a t i o n i s b a l a n c e d b e c a u s e t h e s u b j e c t s ' s t r u c t u r e d e x p e r i e n c e g e n e r a t e d t a n g i b l e p r o d u c t s t h a t c o u l d b e e a s i l y s t u d i e d . F o r e x a m p l e , w o r k s h o p e x e r c i s e s y i e l d e d v a l u a b l e d a t a o n s u b j e c t s ' t h i n k i n g a n d l e a r n i n g t h a t w o u l d n o t h a v e b e e n a v a i l a b l e i n s t u d y i n g u n s t r u c t u r e d " r e a l w o r l d " n e e d s a s s e s s m e n t s . A l s o , h a v i n g a c e n t r a l w o r k s h o p e x p e r i e n c e w a s i m p o r t a n t t o a c c o m p l i s h i n g t h e p u r p o s e o f t h i s s t u d y b e c a u s e i t p r o v i d e d a " s t a n d a r d i z e d " s t a r t i n g p o i n t f r o m w h i c h e a c h o f t h e s u b j e c t s c o u l d d e v i a t e . L i m i n f r m u T h e t h i r d a r e a o f l i m i t a t i o n i s r e l a t e d t o t h e t y p e o f s u b j e c t s i n t h e s t u d y ; t h e n e e d s a s s e s s m e n t s r e p o r t e d i n t h e s t u d y w e r e c o n d u c t e d b y n e e d s a s s e s s o r s w h o w e r e : 1 ) w o r k i n g a l o n e , 2 ) n o v i c e s t o n e e d s a s s e s s m e n t , 3 ) a l r e a d y e x p e r t s i n t h e s u b j e c t m a t t e r a r e a , a n d 4 ) m e m b e r s o f t h e o r g a n i z a t i o n i n w h i c h t h e n e e d s a s s e s s m e n t w a s c o n d u c t e d . T h e s e f o u r c h a r a c t e r i s t i c s o f t h e s u b j e c t s m a y l i m i t t h e t r a n s f e r a b i l i t y o f s t u d y fi n d i n g s t o o t h e r p o p u l a t i o n s . B u t , a s w i l l b e d e s c r i b e d , t h e s e c h a r a c t e r i s t i c s w e r e a l s o p r e s e n t i n m a n y o t h e r n e e d s a s s e s s m e n t s i t u a t i o n s a n d y i e l d e d d a t a t h a t w a s k e y t o a n s w e r i n g t h e p r e s e n t s t u d y ' s r e s e a r c h q u e s t i o n s . 1 8 F i r s t , e a c h n e e d s a s s e s s m e n t w a s c o n d u c t e d b y a s i n g l e i n d i v i d u a l s o t h e fi n d i n g s m a y n o t a p p l y t o n e e d s a s s e s s m e n t s c o n d u c t e d b y g r o u p s . H o w e v e r , i t a p p e a r s t h a t t h e v a s t m a j o r i t y o f n e e d s a s s e s s m e n t s a r e c o n d u c t e d b y a s i n g l e p e r s o n a n d c o m p r e h e n s i v e n e e d s a s s e s s m e n t s c o n d u c t e d b y t e a m s o f p e o p l e a r e r a r e ( A . R o s s e t t , p e r s o n a l c o m m u n i c a t i o n , M a y 5 , 1 9 9 3 ) . S e c o n d , t h i s s t u d y w a s a l s o l i m i t e d t o s u b j e c t s w h o a r e r e l a t i v e n o v i c e s t o p e r f o r m a n c e t e c h n o l o g r . A l t h o u g h t h e s t u d y r e s u l t s m a y n o t b e r e a d i l y t r a n s f e r a b l e t o e x p e r t n e e d s a s s e s s o r s , t h e r e a r e t w o i m p o r t a n t b e n e fi t s o f s t u d y i n g n o v i c e s . O n e b e n e fi t i s t h a t r e s e a r c h o n n o v i c e s s u g g e s t s t h a t n o v i c e s s h o u l d b e b e t t e r a b l e t o d e s c r i b e w h a t t h e y a r e d o i n g , a n d w h y , t h a n w o u l d e x p e r t s ( E r i c s s o n & S i m o n , 1 9 8 4 ) . A n o t h e r b e n e fi t i s t h a t b y s t u d y i n g n o v i c e s ' fi r s t a t t e m p t s a t n e e d s a s s e s s m e n t s , m o r e c o u l d b e l e a r n e d a b o u t h o w t o b e t t e r p r e p a r e p e o p l e t o e f f e c t i v e l y a n d e f fi c i e n t l y c o n d u c t n e e d s a s s e s s m e n t s . T h i r d , t h e s u b j e c t s o f t h i s s t u d y w e r e s u b j e c t m a t t e r e x p e r t s i n m e d i c i n e . T h e r e f o r e , t h e i r a c t i v i t i e s m a y n o t t r a n s l a t e t o s i t u a t i o n s i n w h i c h t h e n e e d s a s s e s s o r h a s l i t t l e o r n o k n o w l e d g e i n t h e s u b j e c t m a t t e r a r e a a n d i s c o n s e q u e n t l y m u c h m o r e d e p e n d e n t u p o n o t h e r s t o a c t a s s u b j e c t m a t t e r e x p e r t s . A n d fi n a l l y , t h e s u b j e c t s w e r e c o n d u c t i n g n e e d s a s s e s s m e n t s i n t h e i r o w n w o r k e n v i r o n m e n t a n d w o u l d b e r e s p o n s i b l e f o r t h e i m p l e m e n t a t i o n a n d m a i n t e n a n c e o f t h e c u r r i c u l u m t h e y d e s i g n e d . T h e s u b j e c t s w e r e , t h e r e f o r e , d i f f e r e n t f r o m e x p e r i e n c e d e x t e r n a l c o n s u l t a n t s w h o c o u l d c o n d u c t t h e n e e d s a s s e s s m e n t , m a k e a r e p o r t , t h e n l e a v e t h e o r g a n i z a t i o n . T h e s u b j e c t s h a d m o r e i n c o m m o n w i t h i n t e r n a l c o n s u l t a n t s , s u c h a s m e m b e r s o f a H u m a n R e s o u r c e s D e p a r t m e n t , b u t s t i l l d i f f e r e d f r o m t h e m i n t h a t i n t e r n a l c o n s u l t a n t s 1 9 w o u l d n o t b e t h o r o u g h l y f a m i l i a r w i t h t h e s u b j e c t m a t t e r a n d w o u l d n o t b e r e s p o n s i b l e f o r i m p l e m e n t i n g a n d m a i n t a i n i n g t h e p r o p o s e d s o l u t i o n . A s u b s t a n t i a l p o r t i o n o f n e e d s a s s e s s m e n t s a r e c o n d u c t e d b y p e o p l e s h a r i n g t h e c h a r a c t e r i s t i c s o f t h e s t u d y s u b j e c t s , h o w e v e r , s t u d y fi n d i n g s s h o u l d b e m o s t r e a d i l y t r a n s f e r a b l e i n s i m i l a r c a s e s . A n d fi n a l l y , a s m e n t i o n e d e a r l i e r , p h e n o m e n a m u s t fi r s t b e u n d e r s t o o d f o r t h e s p e c i fi c s e t t i n g a n d a c t o r s b e f o r e c o m p a r a t i v e u n d e r s t a n d i n g s f o r o t h e r s e t t i n g s a n d p e o p l e s c a n b e g e n e r a t e d ( E r i c k s o n , 1 9 8 6 ) . I n C h a p t e r I V , ' T h e P a r t i c i p a n t s a n d S e t t i n g , " t h e s t u d y s e t t i n g a n d s u b j e c t s a r e d e s c r i b e d i n d e t a i l s o t h a t r e a d e r s m a y d e t e r m i n e t h e t r a n s f e r a b i l i t y o f s t u d y fi n d i n g s f o r t h e m s e l v e s . S U M M A R Y A N D Q V E R V I E W Q F T H E S I I Q D Y T h e c o n c e p t o f n e e d s a s s e s s m e n t w a s i n t r o d u c e d i n W , a l o n g w i t h a b r i e f d e s c r i p t i o n o f t h e p r o b l e m s o f n e e d s a s s e s s m e n t b e i n g i n c o n s i s t e n t l y p r a c t i c e d a n d p o o r l y r e s e a r c h e d . A s a n e a r l y s t e p i n b e t t e r u n d e r s t a n d i n g h o w n e e d s a s s e s s m e n t i s p r a c t i c e d , t h i s s t u d y w a s d e s i g n e d t o d e s c r i b e a n d e x p l a i n h o w p e o p l e i m p l e m e n t a n d w h a t t h e y l e a r n f r o m a fi r s t n e e d s a s s e s s m e n t . T h e r e s e a r c h q u e s t i o n s , i n v e s t i g a t o r ' s p e r s p e c t i v e , r a t i o n a l e a n d s i g n i fi c a n c e , c o n t e x t a n d m e t h o d s , a n d s c o p e a n d l i m i t a t i o n s o f t h e s t u d y w e r e a l s o i n t r o d u c e d . I n Q h a p t e r I I , a " R e v i e w o f t h e L i t e r a t u r e " i s p r e s e n t e d t o e s t a b l i s h t h e b a s i s f o r t h e r e s e a r c h q u e s t i o n s . I t c o v e r s m a j o r t h e o r i e s a n d c o n c e p t s o f n e e d s a s s e s s m e n t i n c l u d i n g t h e c o n t r o v e r s i e s o v e r h o w n e e d s a s s e s s m e n t i s d e fi n e d , t h e m a n y t y p e s o f " n e e d , " h o w t h e a n a l y s t 2 0 c o n d u c t i n g t h e n e e d s a s s e s s m e n t m a y i n fl u e n c e t h e p r o c e s s a n d r e s u l t s , a n d a v a i l a b l e r e s e a r c h o n n e e d s a s s e s s m e n t i s r e v i e w e d . I n Q h a p t e r I l l , " M e t h o d o l o g y , " m e t h o d s u s e d i n t h e s t u d y a r e p r e s e n t e d a l o n g w i t h a n o v e r v i e w o f q u a l i t a t i v e r e s e a r c h , a b r i e f d e s c r i p t i o n o f t h e r e s e a r c h s i t e a n d s a m p l e , a n d m o r e d e t a i l e d i n f o r m a t i o n o n d a t a c o l l e c t i o n g u i d e s a n d p r o c e d u r e s , c o d i n g , a n d a n a l y s i s . I t c o n c l u d e s w i t h a d e s c r i p t i o n o f h o w L i n c o l n & G u b a ' s ( 1 9 8 5 ) c r i t e r i a o f t r u s t w o r t h i n e s s w e r e i m p l e m e n t e d t o e s t a b l i s h t h e v a l i d i t y a n d r e l i a b i l i t y o f t h e s t u d y . " T h e P a r t i c i p a n t s a n d S e t t i n g " o f t h e s t u d y a r e p r e s e n t e d i n C h a p t e r I V . T h i s i n c l u d e s a d e s c r i p t i o n o f t h e p a r t i c i p a n t s a s a g r o u p a n d a s i n d i v i d u a l s , t h e f a c u l t y d e v e l o p m e n t f e l l o w s h i p w h i c h i s t h e s e t t i n g o f t h e s t u d y . a n d t h e n e e d s a s s e s s m e n t a s s i g n m e n t . I n C h a p t e r V , t h e t w e n t y " R e s e a r c h F i n d i n g s " t h a t a n s w e r t h e t h r e e r e s e a r c h q u e s t i o n s a r e p r e s e n t e d . T h e p a t t e r n s a n d t r e n d s w h i c h b e c a m e e v i d e n t t h r o u g h a n a l y s i s o f t h e i n t e r v i e w s , o b s e r v a t i o n s , a n d e x a m i n a t i o n o f d o c u m e n t s a r e r e p o r t e d i n m u l t i p l e - c a s e s t u d y f o r m a t . T h e " C o n c l u s i o n s a n d D i s c u s s i o n " a r e p r e s e n t e d i n Q h a p t e r V I . T h e c o n c e p t u a l f r a m e w o r k u s e d t o i n t e r p r e t t h e s t u d y r e s u l t s , a r e v i e w o f m a j o r c o n c l u s i o n s o n t h e p r o c e s s a n d o u t c o m e s o f n e e d s a s s e s s m e n t , a n o u t l i n e o f t h e i m p l i c a t i o n s f o r t h e f u t u r e p r a c t i c e o f n e e d s a s s e s s m e n t a n d t h e u s e o f t h i s m e t h o d o l o g y i n H u m a n P e r f o r m a n c e T e c h n o l o g y , a n d s u g g e s t i o n s f o r f u t u r e r e s e a r c h a r e d i s c u s s e d . A p p e n d i c e s c o n t a i n i t e m s w h i c h p r o v i d e a d d i t i o n a l i n f o r m a t i o n t h a t : 1 ) s u p p o r t s t h e c h a p t e r t e x t . s u c h a s t h e c o m p a r i s o n o f t h e f o u r m a j o r d i s c r e p a n c y m o d e l s o f n e e d s a s s e s s m e n t ; 2 ) d e s c r i b e s t h e p a r t i c i p a n t s a n d s e t t i n g , s u c h a s s a m p l e f e l l o w s h i p s c h e d u l e s a n d t h e 2 1 p e e r o b s e r v e r ' s d e s c r i p t i o n o f t h e p a r t i c i p a n t s a n d s e t t i n g ; a n d 3 ) p r e s e n t s r e s e a r c h t o o l s a n d i n s t r u m e n t s , s u c h a s t h e c o n s e n t f o r m s a n d i n t e r v i e w g u i d e s . F o r t h e r e a d e r ' s c o n v e n i e n c e , m a j o r t e r m s u s e d i n t h e s t u d y h a v e b e e n c o m p i l e d w i t h t h e i r d e fi n i t i o n s i n A p p e n d i x H . T h e L i s t o f R e f e r e n c e s i n c l u d e s b o o k s , a r t i c l e s , p a p e r p r e s e n t a t i o n s , a n d d i s s e r t a t i o n s o n t h e t o p i c s o f n e e d s a s s e s s m e n t , t h e c o n c e p t u a l f r a m e w o r k , a n d q u a l i t a t i v e r e s e a r c h . C H A P T E R I I R E V I E W O F T H E L I T E R A T U R E I N T R D N T h e p a t t e r n i n o u r fi e l d i s s i m i l a r t o a n y e m e r g i n g t e c h n o l o g y . F i r s t c o m e s t h e ' b i g i d e a , ’ t h e n t h e p a i n fi r l w o r k i n g o u t o f t h e h o w - t o ' s . ( H a r l e s s , 1 9 8 3 . p . 6 ) T h e p u r p o s e o f t h i s s t u d y w a s t o d e s c r i b e a n d e x p l a i n h o w p e o p l e b e c o m e f a m i l i a r w i t h , i m p l e m e n t , a n d w h a t t h e y l e a r n f r o m h a v i n g c o m p l e t e d a n e e d s a s s e s s m e n t . L i t e r a t u r e o n t h e t o p i c o f n e e d s a s s e s s m e n t i s r e v i e w e d h e r e t o i l l u s t r a t e t h e a r e a s o f c o n t r o v e r s y i n t h e b o d y o f k n o w l e d g e w h i c h i n s p i r e d t h i s s t u d y . T h i s d i s c u s s i o n o f n e e d s a s s e s s m e n t h a s b e e n s u b - d i v i d e d i n t o fi v e a r e a s . F i r s t , a g e n e r a l d e s c r i p t i o n o f n e e d s a s s e s s m e n t a n d h o w i t c a m e i n t o e x i s t e n c e i s p r e s e n t e d . N e x t , a m o r e d e t a i l e d l o o k a t t h e t e r m i n o l o g y a n d p r o c e s s o f n e e d s a s s e s s m e n t i l l u s t r a t e s h o w t h e s p e c i fi c c o m p o n e n t s a r e u n c l e a r a n d c o n t e s t e d . T h e n , t h e v a r i o u s d e fi n i t i o n s o f t h e c e n t r a l t e r m " n e e d " a r e p r e s e n t e d , f o l l o w e d b y a n e x a m i n a t i o n o f h o w t h e p e o p l e c o n d u c t i n g n e e d s a s s e s s m e n t s i m p a c t t h e p r o c e s s a n d r e s u l t s . A n d fi n a l l y , r e s e a r c h p e r t i n e n t t o t h e p u r p o s e o f t h i s s t u d y i s r e v i e w e d h i g h l i g h t i n g i t s i m p a c t o n t h e p r e s e n t s t u d y . M o s t o f t h e l i t e r a t u r e r e f e r e n c e d i n t h i s c h a p t e r r e l a t e s t o t h e s t u d y ' s s e t t i n g . A l t h o u g h n e e d s a s s e s s m e n t s a r e c o n d u c t e d i n b u s i n e s s , 2 2 [ ( 1 2 3 i n d u s t r y , g o v e r n m e n t , a n d e d u c a t i o n , l i t e r a t u r e i n t h e fi e l d o f e d u c a t i o n w a s p r i m a r i l y c o n s u l t e d . I n a d d i t i o n , a s t h e s t u d y p a r t i c i p a n t s w e r e c o n d u c t i n g a n e e d s a s s e s s m e n t p r i o r t o c r e a t i n g a c u r r i c u l u m , s p e c i a l a t t e n t i o n w a s g i v e n t o l i t e r a t u r e o n n e e d s a s s e s s m e n t f o r i n s t r u c t i o n a l d e s i g n o r c u r r i c u l u m d e v e l o p m e n t p u r p o s e s . A s d e s c r i b e d i n t h e s c o p e a n d l i m i t a t i o n s o f t h e s t u d y , p h e n o m e n a m u s t fi r s t b e u n d e r s t o o d w i t h r e f e r e n c e t o t h e l o c a l s e t t i n g a n d a c t o r s b e f o r e a n y a t t e m p t c a n b e m a d e t o d e v e l o p c o m p a r a t i v e u n d e r s t a n d i n g i n o t h e r s e t t i n g s ( E r i c k s o n , 1 9 8 6 ) . T h e r e f o r e , n e e d s a s s e s s m e n t a s d e s c r i b e d h e r e f o r m e d i c a l e d u c a t i o n m a y b e l a r g e l y t r a n s f e r a b l e t o o t h e r s e t t i n g s i n w h i c h t h e r e a d e r i s i n t e r e s t e d . S e v e r a l t e r m s m u s t b e d e fi n e d b e f o r e p r o c e e d i n g . F i r s t , n e e d s a s s e s s m e n t s m a y i d e n t i f y m a n y " n e e d s , " b u t o n l y t h o s e s e l e c t e d a s p r i o r i t i e s f o r a c t i o n a r e r e f e r r e d t o a s " p r o b l e m s " o r " g o a l s . " P r o b l e m s o r g o a l s d e s c r i b e t h e e n d s t h a t a r e d e s i r e d a n d m u s t n o t b e c o n f u s e d w i t h " s o l u t i o n s " w h i c h a r e t h e m e a n s o f a c c o m p l i s h i n g t h e e n d s y A s a n e x a m p l e , a s c h o o l m a y c o n d u c t a n e e d s a s s e s s m e n t a n d i d e n t i f y s e v e r a l " n e e d s " i n c l u d i n g : 1 ) s t u d e n t s ' m a t h s k i l l s a r e t w o o r m o r e y e a r s b e l o w t h e n a t i o n a l n o r m , 2 ) t h e b u i l d i n g ' s fi r e a l a r m s y s t e m i s n o t u p t o c o d e , a n d 3 ) t h e d r o p o u t r a t e i s X % a n d h a s b e e n s t e a d i l y r i s i n g f o r t h e l a s t d e c a d e . T h e s c h o o l d o e s n o t h a v e e n o u g h r e s o u r c e s t o t a c k l e a l l o f t h e s e n e e d s a t o n c e , s o t h r o u g h s o m e c r i t e r i a t h e y d e c i d e t o w o r k o n t h e d r o p o u t r a t e fi r s t . T h e " p r o b l e m " i s n o w t h e i n c r e a s i n g d r o p o u t r a t e , a n d t h e i r " g o a l " i s t o r e d u c e i t t o Y % w i t h i n a c e r t a i n a m o u n t o f t i m e . T h e s c h o o l c a n n o w b e g i n t o c o n s i d e r t h e " c a u s e s " o f t h e p r o b l e m w h i c h w i l l l e a d t o " s o l u t i o n s " f o r a c c o m p l i s h i n g t h e g o a l s u c h a s l ) h i r i n g a s o c i a l w o r k e r t o i d e n t i f y a n d w o r k w i t h " a t r i s k " s t u d e n t s , 2 ) c r e a t i n g a w o r k 2 4 s t u d y p r o g r a m t h a t w i l l a l l o w s t u d e n t s t o c o n t i n u e s c h o o l p a r t — t i m e w h i l e w o r k i n g , o r e v e n 3 ) e s t a b l i s h i n g a n e n d o w m e n t t h a t w i l l p a y e v e r y g r a d u a t e a s i z a b l e a m o u n t o f m o n e y u p o n g r a d u a t i o n . W H Y D Q W E H A V E N E E D S A S S E S S M E N I Z N e e d s a s s e s s m e n t s a r e t o o l s f o r c o n s t r u c t i v e a n d p o s i t i v e c h a n g e - - n o t c h a n g e d r i v e n s o l e l y b y c o n t r o v e r s y , ’ q u i c k - fi x e s . ’ a n d s i t u a t i o n a l c r i s e s , b u t r a t i o n a l . l o g i c a l , fi r n c t i o n a l c h a n g e w h i c h m e e t s t h e n e e d s o f c i t i z e n s . e d u c a t o r s , a n d l e a r n e r s . T h e y r e p r e s e n t f o r m a l . s y s t e m a t i c a t t e m p t s t o d e t e r m i n e a n d c l o s e t h e m o r e i m p o r t a n t g a p s b e t w e e n ' w h a t i s ' a n d ' w h a t s h o u l d b e . ’ ( K a u f m a n & E n g l i s h . 1 9 7 9 . p . 8 1 W i t k i n ( 1 9 8 4 ) d e fi n e s n e e d s a s s e s s m e n t v e r y g e n e r a l l y a s " a n y s y s t e m a t i c a p p r o a c h t o s e t t i n g p r i o r i t i e s f o r f u t u r e a c t i o n " ( p . i x ) . T h e i n t e n t o f n e e d s a s s e s s m e n t i s t o m a k e d e c i s i o n s o n t h e b a s i s o f d a t a t o p r e v e n t t h e p r e m a t u r e f o r m u l a t i o n o f a s o l u t i o n . N e e d s a s s e s s m e n t i s a s y s t e m a t i c f o r m o f p l a n n i n g i n w h i c h d a t a a r e c o l l e c t e d i n o r d e r t o i d e n t i f y a n d d e s c r i b e n e e d s , a n d n e e d s a r e p r i o r i t i z e d p r i o r t o l a u n c h i n g a p r o b l e m s o l v i n g v e n t u r e . I t s c o u n t e r p a r t i n p e r f o r m a n c e t e c h n o l o g y i s e v a l u a t i o n ( T r i m b y , 1 9 7 9 ) . N e e d s a s s e s s m e n t i s t h e fi r s t s t a g e i n p e r f o r m a n c e t e c h n o l o g y a n d d e s i g n a t e s w h a t s h o u l d b e a c c o m p l i s h e d . F o r m a t i v e e v a l u a t i o n i s a n i n t e r i m s t a g e t o i d e n t i f y i n g i m p r o v e m e n t s t o t h e s o l u t i o n . S u m m a t i v e e v a l u a t i o n i s t h e fi n a l s t a g e t h a t v a l i d a t e s t h e d e g r e e t o w h i c h t h e s o l u t i o n h a s a c c o m p l i s h e d t h e g o a l s i d e n t i fi e d i n t h e n e e d s a s s e s s m e n t a n d d e t e r m i n e s w h e t h e r o r n o t t o c o n t i n u e t h e s o l u t i o n . T h e t o p i c o f n e e d s a s s e s s m e n t i s i m p o r t a n t f o r t h r e e r e a s o n s . F i r s t , n e e d s a s s e s s m e n t i s w i d e l y u s e d . T h e c o n c e p t s a n d t e c h n i q u e s o f 2 5 n e e d s a s s e s s m e n t a r e a p p l i c a b l e i n m a n y s e t t i n g s i n c l u d i n g e d u c a t i o n , b u s i n e s s , i n d u s t r y , a n d p u b l i c a n d p r i v a t e s e r v i c e a g e n c i e s ( W i t k i n , 1 9 8 4 : K a u f m a n 8 1 E n g l i s h , 1 9 7 9 ) . S e c o n d , n e e d s a s s e s s m e n t i s i m p o r t a n t b e c a u s e i t i d e n t i fi e s t h e " p r o b l e m " t h a t t h e r e s t o f t h e p e r f o r m a n c e t e c h n o l o g y p r o c e s s a t t e m p t s t o s o l v e ( B u r t o n 8 1 M e r r i l l , 1 9 9 1 ; G e i s , 1 9 8 6 : M a g e r , 1 9 8 8 ) . A n d t h i r d , t h e p a r a m e t e r s u s e d i n t h e n e e d s a s s e s s m e n t t o i d e n t i f y a n d s e l e c t t h e p r o b l e m i n fl u e n c e t h e r e s t o f t h e p r o c e s s ( G u b a & L i n c o l n , 1 9 8 2 : K a u f m a n , 1 9 7 7 a ) . A s s u c h , n e e d s a s s e s s m e n t i s a n i n d i s p e n s a b l e c o m p o n e n t o f t h e p e r f o r m a n c e t e c h n o l o g y p r o c e s s a n d c a n e n h a n c e o r i m p e d e t h e l i k e l i h o o d t h a t a s o l u t i o n w i l l y i e l d s u b s t a n t i v e p o s i t i v e c h a n g e . Q r i g i n e p f N e e d e A e e e e e m e n t N e e d s a s s e s s m e n t h a s e v o l v e d o v e r t h e c o u r s e o f t h e t w e n t i e t h c e n t u r y . F i r s t , a f e w k e y c o n c e p t s c r e a t e d t h e " n e e d " a n d p l a c e f o r n e e d s a s s e s s m e n t . D e w e y ( 1 9 3 3 ) a r g u e d t h a t e d u c a t i o n s h o u l d f o c u s o n m e e t i n g l e a r n e r s ' n e e d s r a t h e r t h a n o n t r a n s m i t t i n g s u b j e c t m a t t e r . S o m e p r o c e s s w a s r e q u i r e d t o d e t e r m i n e l e a r n e r s ' n e e d s . T y l e r ( 1 9 4 9 ) a n d M a g e r ( 1 9 7 0 ) p r o p o s e d t h a t b e h a v i o r a l o b j e c t i v e s , m e a s u r e d f r o m l e a r n e r ' s p e r f o r m a n c e , p r o v i d e d t h e b a s i s f o r d e v e l o p i n g a n d e v a l u a t i n g c u r r i c u l a . S o m e f o r m o f a n a l y s i s h a d t o b e p e r f o r m e d t o d e t e r m i n e w h a t w e n t i n t o t h e s e o b j e c t i v e s . } I G e n e r a l S y s t e m T h e o r y a s d e s c r i b e d b y B e r t a l a n n f y ( 1 9 6 8 ) i d e n t i fi e d t h e c h a r a c t e r i s t i c s o f s y s t e m s . N e e d s a s s e s s m e n t c o u l d t h e n b e r e c o g n i z e d a s a n i n t e g r a l c o m p o n e n t o f a s y s t e m f o r p e r f o r m a n c e i m p r o v e m e n t . I n a d d i t i o n , t h e s c o p e o f n e e d s a s s e s s m e n t s e x p a n d e d o n t h e b a s i s o f G e n e r a l S y s t e m T h e o r y c o n c e p t s . S i n c e e v e r y p a r t i n a - ~ ~ ~ . _ _ _ - « . . / / 2 6 s y s t e m i s i n t e r d e p e n d e n t w i t h t h e w h o l e a n d c a n n o t b e s t u d i e d i n i s o l a t i o n , e f f e c t i v e n e e d s a s s e s s m e n t s h a d t o c o n s i d e r a l l t h e c o m p o n e n t s i n t h e s y s t e m o f i n t e r e s t t o i d e n t i f y t h e a p p r o p r i a t e p r o b l e m . I n t h e l a s t t h r e e d e c a d e s , m a n y o t h e r c o n c e p t s a n d e v e n t s h a v e f u r t h e r s h a p e d t h e d e v e l o p i n g a r e a o f n e e d s a s s e s s m e n t . K a u f m a n ( 1 9 7 7 a ; 1 9 7 7 b ; 1 9 7 9 : & E n g l i s h , 1 9 7 9 ) a r g u e d t h a t t h e r e a r e d i f f e r e n t l e v e l s o f p e r f o r m a n c e i m p r o v e m e n t , a n d e f f o r t s s h o u l d i m p r o v e s o c i e t y a s a w h o l e - - n o t j u s t i m p r o v e t h e p r o fi t s o r t h e s u r v i v a l o f a s i n g l e o r g a n i z a t i o n . G i l b e r t ( 1 9 7 8 ) p r o v i d e d t o o l s t o d e t e r m i n e w h i c h p r o b l e m s , i f s o l v e d , a r e l i k e l y t o s u b s t a n t i a l l y i m p r o v e p e r f o r m a n c e . M a g e r & P i p e ( 1 9 8 4 ) , H a r l e s s ( 1 9 7 5 ) a n d o t h e r s h a v e p o i n t e d o u t t h a t t h e s o l u t i o n t o t h e p r o b l e m i s n o t a l w a y s i n s t r u c t i o n . T h e s c o p e o f p r o b l e m s t h a t c o u l d b e i d e n t i fi e d i n n e e d s a s s e s s m e n t s e x p a n d e d t o i n c l u d e l a c k o f s k i l l , k n o w l e d g e o r m o t i v a t i o n i n t h e i n d i v i d u a l , o r o r g a n i z a t i o n a l b a r r i e r s t o p e r f o r m a n c e . N e e d s a s s e s s m e n t w a s t i e d t o t h e m o v e m e n t f o r a c c o u n t a b i l i t y i n e d u c a t i o n i n t h e 1 9 6 0 ' s a n d 7 0 ' s ( M i l e s , 1 9 7 9 : W i t k i n , 1 9 7 7 , 1 9 8 4 ) . S t a t e a n d f e d e r a l l e g i s l a t i o n s u c h a s t h e E l e m e n t a r y a n d S e c o n d a r y E d u c a t i o n A c t o f 1 9 6 5 r e q u i r e d s c h o o l s y s t e m s t o c o n d u c t n e e d s a s s e s s m e n t s t o q u a l i f y f o r g o v e r n m e n t f u n d i n g . S i m i l a r f e d e r a l r e q u i r e m e n t s i n h u m a n s e r v i c e s w e r e c r e a t e d i n t h e s a m e t i m e p e r i o d ( K i r n m e l , 1 9 7 7 ) . T h e n u m b e r o f m o d e l s a n d t e c h n i q u e s f o r c o n d u c t i n g n e e d s a s s e s s m e n t s g r e w r a p i d l y a s a r e s u l t . T h u s , n e e d s a s s e s s m e n t h a s g r o w n i n t o a c o m p l e x p r o c e s s t h a t i s r e p r e s e n t e d b y a v a r i e t y o f m o d e l s . / x ? l 2 7 W H A T I S N E E D S fl E S S M E N T ? A l t h o u g h t h e l i t e r a t w ' e s h o w s a c e r t a i n c o n s e n s u s o n t h e d e fi n i t i o n o f a n e e d s a s s e s s m e n t , e s p e c i a l l y i n t h e c o n c e p t o f a d i s c r e p a n c y , t h e r e i s m u c h l e s s a g r e e m e n t o n w h a t e l e m e n t s o r c o m p o n e n t s c o m p r i s e t h e a s s e s s m e n t i t s e l f . W i t k i n 1 9 8 4 , p . 1 4 ) T h e r e i s a g r e a t d e a l o f d i s a g r e e m e n t r e g a r d i n g t h e i n i t i a l p h a s e o f a n a l y s i s i n p e r f o r m a n c e t e c h n o l o g y . F i r s t , t e r m i n o l o g y i s d e b a t e d . S e c o n d , t h e c o m p o n e n t s o f t h e p r o c e s s a r e c o n t e s t e d . A n d fi n a l l y , t h e r e a r e m a n y m o d e l s f o r a n a l y s i s t h a t f u l fi l l d i f f e r e n t p u r p o s e s a n d u s e d i f f e r e n t t e c h n i q u e s . E a c h o f t h e s e c o n t r o v e r s i e s w i l l b e b r i e fl y d e s c r i b e d i n t u r n . T h e D e b a t e o v e r T e r m i n o l o g y T e r m i n o l o g y d e s c r i b i n g t h e i n i t i a l s t a g e o f a n a l y s i s i n p e r f o r m a n c e t e c h n o l o g y d i f f e r s d r a s t i c a l l y a m o n g a u t h o r s ( R o d r i g u e z , 1 9 8 8 ; R o s s e t t , 1 9 8 6 ; S a r t h o r y , 1 9 7 7 ; S l e e z e r , 1 9 9 2 : T r i m b y , 1 9 7 9 ) . A s u b s t a n t i a l p o r t i o n o f t h e l i t e r a t u r e a r g u e s t h e d e fi n i t i o n s a n d u s e s o f " n e e d s a s s e s s m e n t , n e e d s a n a l y s i s , " " f r o n t - e n d a n a l y s i s , " " g o a l a n a l y s i s , " " t a s k a n a l y s i s , " " j o b a n a l y s i s , " " s t r a t e g i c p l a n n i n g , " " q u a s i - n e e d s a s s e s s m e n t , " " a l p h a n e e d s a s s e s s m e n t , " a n d s o f o r t h . A u t h o r s c o i n e d e a c h o f t h e s e t e r m s t o d e s c r i b e t h e i r p r e f e r r e d f o r m o f a n a l y s i s , w h i c h w a s f o r a s l i g h t l y d i f f e r e n t c o n t e x t a n d f o l l o w e d a d i f f e r e n t p r o c e s s f r o m t h e r e s t . 1 A s a n e x a m p l e , a d i s p u t e h a s b e e n w a g i n g i n t h e l i t e r a t u r e o v e r t h e d i s t i n c t i o n b e t w e e n n e e d s a s s e s s m e n t a n d n e e d s a n a l y s i s . O n e v i e w p o i n t i s t h a t t h e t w o a r e e n t i r e l y d i f f e r e n t - n e e d s a s s e s s m e n t i s t h e i d e n t i fi c a t i o n a n d p r i o r i t i z a t i o n o f n e e d s , a n d n e e d s a n a l y s i s i s t h e 1 E x a m p l e s o f c o n t e x t s i n c l u d e : b u s i n e s s , i n d u s t r y , e d u c a t i o n a n d g o v e r n m e n t . 2 8 d e t e r m i n a t i o n o f t h e c a u s e s o f t h e p r i o r i t i z e d n e e d s a n d s e l e c t i o n o f a s o l u t i o n ( K a u f m a n , 1 9 8 5 : K a u f m a n & B o w e r s , 1 9 9 0 ; K a u f m a n & V a l e n t i n e , 1 9 8 9 ) . A n o t h e r v i e w p o i n t i s t h a t t h e t w o p r o c e s s e s c a n a n d s h o u l d o c c u r t o g e t h e r ( B e n j a m i n , 1 9 8 9 ; H a r l e s s , 1 9 7 5 : R o s s e t t 1 9 8 7 ) . T h e u n f o r t u n a t e r e s u l t o f t h e s e d i s a g r e e m e n t s o v e r t e r m i n o l o g y i s t h a t c o m m u n i c a t i o n i s h a m p e r e d a n d e n e r g y i s d i v e r t e d f r o m t h e m o r e i m p o r t a n t t a s k o f h e l p i n g p e o p l e d o t h e i n i t i a l p h a s e o f a n a l y s i s w e l l . I n t h i s s t u d y , t h e t e r m " n e e d s a s s e s s m e n t " w a s c h o s e n t o r e f e r t o t h e g e n e r a l s t e p o f a n a l y s i s i n p e r f o r m a n c e t e c h n o l o g r . T h e p u r p o s e o f t h e s t u d y r e q u i r e d t h a t n e e d s a s s e s s m e n t b e b r o a d l y d e fi n e d t o i n c l u d e t h e i d e n t i fi c a t i o n a n d p r i o r i t i z a t i o n o f n e e d s a s w e l l a s t h e s e a r c h f o r c a u s e s a n d s o l u t i o n s . O t h e r t e r m i n o l o g y w i l l b e u s e d o n l y i n r e f e r e n c e t o t h e p a r t i c u l a r m e t h o d o l o g y i t d e s c r i b e s . T h e D e b a t e m e r P r e c e e e m e p e n e n t e U n f o r t u n a t e l y , c o n f u s i o n o v e r t e r m i n o l o g y i s o n l y t h e fi r s t h u r d l e t o u n d e r s t a n d i n g w h a t n e e d s a s s e s s m e n t i s . M o d e l s p r e s e n t w i d e l y d i v e r g e n t r e p r e s e n t a t i o n s o f t h e p r o c e s s . I n f a c t , t h e r e a r e s o m a n y m o d e l s f o r c o n d u c t i n g a n e e d s a s s e s s m e n t t h a t a p o r t i o n o f t h e l i t e r a t u r e i s d e v o t e d e x c l u s i v e l y t o c o m p a r i n g a n d c o n t r a s t i n g m o d e l s ( T r i m b y , 1 9 7 9 ; W a n a m a k e r , 1 9 8 6 ; W i t k i n , 1 9 7 7 , 1 9 8 4 ) o r p r e s e n t i n g d e c i s i o n a i d s t o g u i d e t h e s e l e c t i o n o f a n a p p r o p r i a t e m o d e l ( C o h e n , 1 9 8 1 : W i t k i n , 1 9 7 8 a , 1 9 7 8 b l O n t h e m o s t g e n e r a l l e v e l , t h e p r o c e s s o f n e e d s a s s e s s m e n t m a y b e c o n c e p t u a l i z e d a s fi v e a c t i v i t i e s : 1 ) p r e p a r i n g f o r t h e n e e d s a s s e s s m e n t , 2 ) c o l l e c t i n g t h e i n f o r m a t i o n , 3 ) a n a l y z i n g t h e i n f o r m a t i o n , 4 ) r e p o r t i n g o n t h e i n f o r m a t i o n , a n d 5 ) u s i n g t h e i n f o r m a t i o n ( S t u f fl e b e a m , M c C o r m i c k , 2 9 B r i n k e r h o f f , & N e l s o n , 1 9 8 4 ) . T h e s e a c t i v i t i e s r a r e l y o c c u r i n s t e p - l i k e f a s h i o n . I n s t e a d , a c t i v i t i e s m a y o c c u r s i m u l t a n e o u s l y o r b e c y c l e d t h r o u g h s e v e r a l t i m e s . E a c h o f t h e m a n y m o d e l s a v a i l a b l e e m p h a s i z e s t h e s e a c t i v i t i e s t o d i f f e r i n g d e g r e e s . M o s t a t t e n t i o n i s u s u a l l y g i v e n t o h o w t h e i n f o r m a t i o n i s a n a l y z e d ( R o s s e t t , 1 9 8 2 ) , a n d t h e a c t i v i t i e s o f r e p o r t i n g o n a n d u s i n g t h e i n f o r m a t i o n m a y b e s k i p p e d a l t o g e t h e r ( W a n a m a k e r , 1 9 8 6 ) . I n p a r t i c u l a r , t h e r e i s a g r e a t d e a l o f d i s a g r e e m e n t o v e r h o w t h e a c t i v i t i e s o f d a t a c o l l e c t i o n a n d a n a l y s i s s h o u l d o c c u r . W i t k i n ( 1 9 7 7 ) p r o p o s e s a " c 1 a s s i c a l " m e t h o d o f a s s e s s i n g n e e d s t h a t c o n s i s t s o f f o u r c o m p o n e n t s : ( 1 ) g e n e r a t e g o a l s a n d r a n k t h e m f o r i m p o r t a n c e - - t h a t i s , d e t e r m i n e d e s i r e d c o n d i t i o n s ; ( 2 ) d e t e r m i n e t h e p r e s e n t s t a t u s o f e a c h g o a l , o r e x i s t i n g c o n d i t i o n s ; ( 3 ) i d e n t i f y a n d a n a l y z e d i s c r e p a n c i e s b e t w e e n t h e g o a l s a n d t h e p r e s e n t s t a t u s : a n d ( 4 ) a s s i g n p r i o r i t i e s t o t h e d i s c r e p a n c i e s . ( ) p . 5 H o w e v e r , W i t k i n q u a l i fi e s h e r m e t h o d , a c k n o w l e d g i n g t h a t a n y p a r t i c u l a r m o d e l f o r c o n d u c t i n g a n e e d s a s s e s s m e n t m a y o r d e r t h e s t e p s d i f f e r e n t l y a n d i n c o r p o r a t e a d d i t i o n a l s t e p s . T h e D e b a t e m e r M p d e l e M o s t m o d e l s f a l l i n t o o n e o f f o u r g r o u p s b a s e d o n t h e i r a p p r o a c h t o i d e n t i f y i n g n e e d s : d i s c r e p a n c y , d e m o c r a t i c , a n a l y t i c , a n d d i a g n o s t i c ( S t u fl l e b e a m , 1 9 7 7 ) . E a c h g r o u p p o s s e s s e s d i s t i n c t s t r e n g t h s a n d w e a k n e s s e s . A c c o r d i n g t o S t u fi l e b e a m , t h e " d i s c r e p a n c y v i e w " i s t h e m o s t w i d e l y u s e d . I t d e fi n e s a " n e e d " a s a g a p b e t w e e n t h e d e s i r e d a n d \ / l 3 0 a c t u a l p e r f o r m a n c e . B e c a u s e t h e d i s c r e p a n c y v i e w e m p h a s i z e s m e a s u r a b l e d a t a , i t m a y r e l y t o o h e a v i l y o n a v a i l a b l e d a t a s o u r c e s s u c h a s t e s t s w i t h o u t q u e s t i o n i n g t h e i r v a l i d i t y . O t h e r s c r i t i c i z e t h e d i s c r e p a n c y v i e w f o r o v e r e m p h a s i z i n g t h e s i z e o f t h e g a p a t t h e e x p e n s e o f s m a l l e r g a p s w h i c h m a y b e m o r e i m p o r t a n t ( R o t h , 1 9 7 8 ; W i t k i n , 1 9 8 4 ) . T h e " d e m o c r a t i c v i e w " d e fi n e s a n e e d a s s o m e t h i n g t h a t t h e m a j o r i t y o f a p a r t i c u l a r g r o u p d e s i r e . A l t h o u g h t h e d e m o c r a t i c v i e w t e n d s t o i n v o l v e m a n y p e o p l e ' s p e r s p e c t i v e s a n d p r o m o t e p o s i t i v e p u b l i c r e l a t i o n s , t h e " n e e d s " i d e n t i fi e d a r e d e p e n d e n t u p o n h o w w e l l i n f o r m e d t h e p e o p l e a r e a n d m a y t u r n o u t t o b e p r e f e r e n c e s t h a t w o u l d n o t l e a d t o s u b s t a n t i v e c h a n g e . T h e " a n a l y t i c v i e w " d e fi n e s a n e e d a s " t h e d i r e c t i o n i n w h i c h i m p r o v e m e n t c a n b e p r e d i c t e d t o o c c u r , g i v e n i n f o r m a t i o n a b o u t c u r r e n t s t a t u s " ( S t u f fl e b e a m , e t a l . , 1 9 8 4 , p . 8 ) . T h i s v e r y f u t u r e - o r i e n t e d v i e w a s k s q u e s t i o n s l i k e " W h a t s k i l l s m u s t o u r g r a d u a t e s h a v e t o c o m p e t e s u c c e s s f u l l y i n t h e w o r k s e t t i n g ? " ( S t u f f l e b e a m e t a l . , 1 9 8 4 , p . 8 ) t o e l i c i t b r o a d g o a l s f o r i m p r o v e m e n t . I t r e q u i r e s h i g h l y s k i l l e d c o n t r i b u t o r s a n d m a y r e s u l t i n a b s t r a c t g o a l s t h a t a r e d i f f i c u l t t o i m p l e m e n t . A n d fi n a l l y , t h e " d i a g n o s t i c v i e w " d e fi n e s a n e e d a s s o m e t h i n g t h a t , w h e n a b s e n t o r l a c k i n g , c a u s e s h a r m - - a n d w h e n p r e s e n t i s b e n e fi c i a l . T h i s v i e w t e n d s t o e m p h a s i z e b a s i c s u r v i v a l n e e d s b e c a u s e i t i s d i f fi c u l t t o d e t e r m i n e t h e c a u s e s o f m o r e c o m p l e x n e e d s . T h e m e t h o d s u s e d t o c o n d u c t a n e e d s a s s e s s m e n t v a r y d e p e n d i n g u p o n t h e t y p e o f m o d e l c h o s e n . F o r e x a m p l e , a p e r s o n c o n d u c t i n g . a n e e d s a s s e s s m e n t f o r a s c h o o l s y s t e m m o r e l i k e l y w i l l I ) c o l l e c t a n d a n a l y z e d a t a r e l a t e d t o s t u d e n t s ' c u r r e n t a n d d e s i r e d p e r f o r m a n c e f o r a d i s c r e p a n c y - b a s e d n e e d s a s s e s s m e n t ; 2 ) f m d o u t w h a t t e a c h e r s , a d m i n i s t r a t o r s , a n d p e r h a p s m e m b e r s o f t h e c o m m u n i t y t h i n k t h e s c h o o l 3 1 s h o u l d b e d o i n g f o r s t u d e n t s i n a d e m o c r a t i c - b a s e d n e e d s a s s e s s m e n t ; 3 ) a s k e x p e r t s t o p r o g n o s t i c a t e w h a t s t u d e n t s w i l l n e e d m o s t i n t h e f u t u r e i n a n a n a l y t i c - b a s e d n e e d s a s s e s s m e n t : a n d 4 ) l o o k f o r t h e c a u s e s o f a s p e c i fi e d p r o b l e m i n a d i a g n o s t i c - b a s e d n e e d s a s s e s s m e n t . T h e d i s c r e p a n c y v i e w o f n e e d s a s s e s s m e n t i s t h e m o s t p o p u l a r i n p e r f o r m a n c e t e c h n o l o g y . I t i s p r e s e n t e d i n t h e w r i t i n g s o f H a r l e s s ( 1 9 7 5 ) , M a g e r 8 : P i p e ( 1 9 8 4 ) a n d M a g e r ( 1 9 8 8 ) , R o s s e t t ( 1 9 8 7 ) , a n d K a u fi n a n ( 1 9 7 2 , 1 9 7 9 , & H e r m a n 1 9 9 1 ) . O n c e a g a i n , e v e n b e t w e e n t h e s e f o u r w e l l - k n o w n d i s c r e p a n c y m o d e l s , t h e r e i s d i s a g r e e m e n t o n t h e t e r m i n o l o g y , m a j o r e m p h a s e s , a n d p r e c i s e s t a r t i n g a n d e n d i n g p o i n t s o f n e e d s a s s e s s m e n t ( s e e T a b l e l o r r e f e r t o A p p e n d i x B f o r a m o r e d e t a i l e d c o m p a r i s o n o f t h e f o u r m o d e l s ) . I n t h e p r e s e n t s t u d y , t h e p a r t i c i p a n t s w e r e e x p o s e d t o t h e d i s c r e p a n c y v i e w o f n e e d s a s s e s s m e n t a s d e s c r i b e d b y R o s s e t t ( 1 9 8 7 ) i n a w o r k s h o p a n d p r o v i d e d w i t h h a n d o u t s t o h e l p t h e m p l a n t h e i r n e e d s a s s e s s m e n t s a c c o r d i n g t o R o s s e t t ' s m o d e l . 3 2 T a b l e 1 C o m p a r i s o n o f F o u r M a j o r D i s c r e p a n c y M o d e l s 2 P r e f e r r e d S t a r t i n g C r e a t o r T e r m i n o l o g E m p h a s i s P o i n t E n d i n g P o i n t H a r l e s s F r o n t — e n d ‘ T y p e s o f A s s u m e s n e e d T h r o u g h a n a l y s i s p o s s i b l e c a u s e s a r e a a l r e a d y s e l e c t i n g b e s t i d e n t i fi e d s o l u t i o n " ' H o w t o s e l e c t b e s t s o l u t i o n M a g e r P e r f o r m a n c e ' l e e s o f A s s u m e s n e e d T h r o u g h a n a l y s i s p o s s i b l e c a u s e s a r e a a l r e a d y s e l e c t i n g a n d . i d e n t i fi e d i m p l e m e n t i n g H o w t o s e l e c t s o l u t i o n b e s t s o l u t i o n R o s s e t t T r a i n i n g N e e d s " H o w t o c o l l e c t A s s u m e s n e e d T h r o u g h ' A s s e s s m e n t d a t a a r e a a l r e a d y s e l e c t i n g ( u s e s " n e e d s . i d e n t i fi e d s o l u t i o n a n d a S S C S f S I t n h e n t " f o r F i v e p u r p o s e s r e p o r t i n g o n o n e 0 r e c t e c h n i q u e s ) I S e l e c t i n g r e s u l t s a p p r o p r i a t e d a t a g a t h e r i n g a c t i v i t y K a u f m a n N e e d s " L e v e l o f S t a r t s w i t h N e e d s a s s e s s m e n t p l a n n i n g e f f o r t : d e t e r m i n i n g a s s e s s m e n t : i n d i v i d u a l , n e e d a r e a ( s t o p s a t p r o b l e m N e e d s a n a l y s i s o r g a n i z a t i o n o r s o c i e t y " I n v o l v i n g o t h e r s i n p r o c e s s i d e n t i fi c a t i o n a n d p r i o r i t i z a t i o n ) N e e d s a n a l y s i s : ( t h r o u g h d e t e r m i n i n g c a u s e s a n d s e l e c t i n g s o l u t i o n s ) 2 T h e i n v e s t i g a t o r w i s h e s t o a c k n o w l e d g e S l e e z e r ( 1 9 9 2 ) . H e r d e s c r i p t i o n o f t h e v a r i e d s t a r t i n g a n d e n d i n g p o i n t s a m o n g n e e d s a s s e s s m e n t m o d e l s c o n t r i b u t e d t o t h e c r e a t i o n o f t h i s t a b l e . 3 3 W H A " N E D " N " E E M E ' ? N e e d s a s s e s s m e n t s h a v e b e e n f o r s o m e t i m e t h e m o s t l u d i c r o u s s p e c t a c l e i n e v a l u a t i o n . T h e u s u a l ' m o d e l s ' a r e f a r c i c a l a n d d e c i s i o n s b a s e d o n t h e m a r e b u i l t o n s o l u b l e s a n d . O n e s i g n o f t h e e x t e n t o f t h e p r o b l e m i s t h e f a i l u r e t o b e g i n w i t h a t o l e r a b l e d e fi n i t i o n o f n e e d . ( S c r i v e n & R o t h . 1 9 7 7 , p . 2 5 ) T h e T e r m " N e e d " I s V a g u e M u c h o f t h e d i s p a r i t y b e t w e e n m o d e l s o f n e e d s a s s e s s m e n t c a n b e a t t r i b u t e d t o a s s u m p t i o n s a b o u t w h a t c o n s t i t u t e s a " n e e d . " A s d e s c r i b e d i n t h e p r e v i o u s s e c t i o n , S t u f fi e b e a m ( 1 9 7 7 ) p l a c e d m o d e l s i n t o f o u r c a t e g o r i e s b a s e d o n h o w t h e y c o n c e p t u a l i z e d " n e e d . " A l t h o u g h p e o p l e a r e o f t e n n o t e v e n a w a r e o f h o w t h e y a r e d e fi n i n g " n e e d , " t h e s e a s s u m p t i o n s p r o f o u n d l y i n fl u e n c e t h e n e e d s a s s e s s m e n t p r o c e s s a n d r e s u l t s ( R o t h , 1 9 7 7 , 1 9 7 8 ; S l e e z e r , 1 9 9 2 ) . K a u f m a n ( 1 9 8 6 ) d e s c r i b e s a " n e e d " a s " t h e g a p b e t w e e n w h a t i s a n d w h a t s h o u l d b e " ( p . 5 3 ) a n d e m p h a s i z e s t h a t " n e e d " s h o u l d b e u s e d a s a n o u n a n d n o t a s a v e r b . T h i s p r e v e n t s c o n f u s i n g d o c u m e n t e d n e e d s w i t h " w a n t s " a n d j u m p i n g t o s o l u t i o n s . F o r e x a m p l e , a n e e d e x p r e s s e d a s a n o u n w o u l d b e " T h i s g r o u p i s r e a d i n g t h r e e y e a r s b e l o w g r a d e l e v e l , " w h e r e a s a n e e d e x p r e s s e d a s a v e r b w o u l d b e " W e n e e d t o i m p r o v e t h e i r r e a d i n g s k i l l s . " A n e e d e x p r e s s e d a s a v e r b c o u l d e a s i l y s l i p g i n t o w a y s o f f u l fi l l i n g t h e n e e d s u c h a s " W e n e e d a r e m e d i a t i o n p r o g r a m ' " W e w a n t m o r e m o n e y t o h i r e t e a c h e r s t o r e d u c e c l a s s s i z e a n d i n c r e a s e i n d i v i d u a l a t t e n t i o n , " o r e v e n " W e n e e d a f r e e h o t l u n c h p r o g r a m s o t h e s e s t u d e n t s c a n c o n c e n t r a t e o n t h e i r s t u d i e s i n s t e a d o f t h e i r h u n g e r . " i f f ‘ “ ' ‘ " / ‘ 2 i ! 3 4 A " N " I D n n n W h I D fi n i n I A c c o r d i n g t o K i m m e l ( 1 9 7 7 ) , " N e e d s d o n o t s h o w t h e m s e l v e s . S o m e o n e m u s t e s t a b l i s h w h a t c o n s t i t u t e s a n e e d " ( p . 1 2 ) . F o r e x a m p l e , K a u f m a n ' s d e fi n i t i o n o f a n e e d i s b a s e d o n t h e d i s c r e p a n c y v i e w ( t h e g a p b e t w e e n a c t u a l a n d d e s i r e d s t a t e s ) . " N e e d " c a n b e c o n c e p t u a l i z e d m a n y w a y s w h e n e s t a b l i s h i n g t h e d e s i r e d s t a t e i n t h e d i s c r e p a n c y . I t i s r e l a t i v e l y e a s y t o c o l l e c t d a t a o n t h e a c t u a l s t a t e , b u t s o m e r e f e r e n t g r o u p s ' o p i n i o n s a r e t h e o n l y s o u r c e o f " w h a t s h o u l d b e " ( W i t k i n , 1 9 8 4 ) . N e e d s a s s e s s m e n t s c a n b e d i s t i n g u i s h e d a c c o r d i n g t o w h o s e n e e d s a r e f o c u s e d u p o n . K a u f m a n ( 1 9 7 7 a , 1 9 7 7 b , 1 9 8 9 ) d e s c r i b e s a s s e s s m e n t s w h i c h f o c u s o n t h e n e e d s o f t h e s p o n s o r i n g o r g a n i z a t i o n a s " i n t e r n a l " o r " b e t a " n e e d s a s s e s s m e n t s . I n c o n t r a s t , a s s e s s m e n t s t h a t f o c u s o n n e e d s i n s o c i e t y o u t s i d e t h e o r g a n i z a t i o n a r e " e x t e r n a l " o r " a l p h a " n e e d s a s s e s s m e n t s . W i t k i n ( 1 9 8 4 ) d e s c r i b e s a s i m i l a r s y s t e m i n w h i c h " p r i m a r y n e e d s " f o c u s o n t h e c l i e n t s o f t h e o r g a n i z a t i o n a n d , . . “ ' L s e c o n d a r y n e e d s " f o c u s o n t h e o r g a n i z a t i o n i t s e l f . E v e r y o n e w h o m a k e s t h i s d i s t i n c t i o n u r g e s t h a t t h e f o c u s s h o u l d b e o u t s i d e t h e o r g a n i z a t i o n . A c c o r d i n g t o K a u f m a n , n e e d s a s s e s s m e n t s w h i c h f o c u s o n t h e n e e d s o f t h e o r g a n i z a t i o n t e n d t o p e r p e t u a t e t h e s t a t u s q u o , a n d m a y h a r m o t h e r s i n o r d e r t o e n s u r e t h e o r g a n i z a t i o n ' s s u r v i v a l . O n t h e o t h e r h a n d , n e e d s a s s e s s m e n t s w h i c h f o c u s o n t h e n e e d s o f s o c i e t y a s a w h o l e a r e m o r e l i k e l y t o l e a d t o s i g n i fi c a n t c h a n g e s t h a t b e n e fi t m a n y . E v e n a f t e r a r e f e r e n t g r o u p h a s b e e n c h o s e n . t h e r e a r e m a n y w a y s " n e e d s " c a n b e d e fi n e d ( B u r t o n & M e r r i l l , 1 9 9 1 ; M o r o n e y , 1 9 7 7 ; R o t h , 1 9 7 8 ) . B u r t o n & M e r r i l l e n u m e r a t e s i x t y p e s o f n e e d s , a l l b a s e d o n s o m e f o r m o f d i s c r e p a n c y . E x a m p l e s o f e a c h o f t h e s i x t y p e s o f n e e d a r e s h o w n 2 [ / 3 7 4 4 ) “ ) . 1 , , ) L . Z . . . ) . . . k r i k 3 5 i n T a b l e 2 . D e p e n d i n g u p o n t h e d e fi n i t i o n o f n e e d e m p l o y e d b y t h o s e c o n d u c t i n g a n e e d s a s s e s s m e n t , a d i f f e r e n t p r o c e s s w o u l d l i k e l y r e s u l t i n a d i f f e r e n t p r o d u c t . i n u i B n W T h e a b o v e d i s c u s s i o n d e s c r i b e s h o w n e e d s m a y b e d e r i v e d , b u t d o e s n o t a d d r e s s w h e t h e r t h e s e n e e d s a r e a u t h e n t i c o r a c t u a l l y " n e c e s s a r y . " S c r i v e n a n d R o t h ( 1 9 7 7 ) a n d R o t h ( 1 9 7 7 ) a r g u e t h a t t h e d i s c r e p a n c y - b a s e d d e fi n i t i o n o f a n e e d , w h e r e a n e e d = t a r g e t s t a t e - a c t u a l s t a t e , s t i l l f a i l s t o d i s t i n g u i s h b e t w e e n n e e d s a n d w a n t s . T h e y a d d t h e c r i t e r i a t h a t 1 ) o n l y a n e e d w i l l r e s u l t i n a n u n s a t i s f a c t o r y c o n d i t i o n i f l e f t u n f u l fi l l e d : 2 ) a l l n e e d s a r e c o n t e x t d e p e n d e n t , a s n o t e v e r y o n e n e e d s t h e s a m e t h i n g s ; a n d 3 ) n e e d s t h a t a r e c u r r e n t l y f u l fi l l e d m u s t n o t b e o v e r l o o k e d . G u b a a n d L i n c o l n ( 1 9 8 2 ) d e v e l o p a d e fi n i t i o n o f n e e d t h a t a t t e m p t s t o c o m b i n e t h e d i s c r e p a n c y f o r m u l a w i t h S c r i v e n a n d R o t h ' s c r i t e r i a f o r d i s t i n g u i s h i n g b e t w e e n n e e d s a n d w a n t s . T h e y p r e s e n t t h e d i s c r e p a n c y d e fi n i t i o n o f " n e e d " a s t h e f o r m u l a : N c = T - A w h e r e N ; = a n e e d c a n d i d a t e , T = s o m e t a r g e t s t a t e , a n d A = s o m e c o r r e s p o n d i n g a c t u a l s t a t e ( p . 3 1 2 ) a n d t h e n r e c o u n t S c r i v e n a n d R o t h ' s ( 1 9 7 7 ) a t t a c k o n t h i s d e fi n i t i o n o f n e e d a s b e i n g e a s i l y m a n i p u l a t e d a c c o r d i n g t o a s u b j e c t ' s d e t e r m i n a t i o n o f w h a t i s d e s i r a b l e a n d t h e r e f o r e " n e e d e d . " F o r e x a m p l e , a p e r s o n m a y w i s h t o b e a m i l l i o n a i r e a n d , t h e r e f o r e , d e s i g n a t e " b e i n g a m i l l i o n a i r e " a s 3 6 T a b l e 2 S i x T y p e s o f D i s c r e p a n c y N e e d s w e o f " N e e d " D e s c r i p t i o n E x a m p l e 1 ) N o r m a t i v e n e e d A n i n d i v i d u a l o r g r o u p N o t r e c e i v i n g t h e d o e s n o t r e a c h " s o m e R e c o m m e n d e d D a i l y e s t a b l i s h e d s t a n d a r d " A l l o w a n c e o f v i t a m i n s a n d m i n e r a l s 2 ) F e l t n e e d A w a n t b a s e d o n w h a t t h e T h e A m e r i c a n p o p u l a t i o n ' s g r o u p p e r c e i v e s a s d e s i r e f o r u n r e s t r i c t e d p o s s i b l e a n d s o c i a l l y a c c e s s t o t h e m e d i c a l a c c e p t a b l e s y s t e m 3 ) E x p r e s s e d n e e d o r M o r e p e o p l e a r e w i l l i n g t o L o n g l i n e s a t t h e g a s d e m a n d e x p e n d r e s o u r c e s t o g e t p u m p s o m e t h i n g t h a n c a n b e s u p p l i e d 4 ) C o m p a r a t i v e n e e d O n e g r o u p r e c e i v e s a O n e s c h o o l h a v i n g a l a r g e s e r v i c e a n d a n o t h e r g r o u p a n d w e l l f u n d e d s p o r t s w i t h s i m i l a r p r o g r a m w h i l e a n o t h e r c h a r a c t e r i s t i c s d o e s n o t s c h o o l i n t h e s a m e s y s t e m d o e s n o t 5 ) A n t i c i p a t e d o r T h e d i f f e r e n c e b e t w e e n T h e s c h o o l s i z e f o r t h e f u t u r e n e e d w h a t i s c u r r e n t l y a v a i l a b l e c u r r e n t n u m b e r o f a n d w h a t w i l l b e r e q u i r e d s t u d e n t s i n a d i s t r i c t a n d i n t h e f u t u r e t h e s i z e r e q u i r e d t o a c c o m m o d a t e t h e p r e d i c t e d n u m b e r i n t h e f u t u r e 6 ) C r i t i c a l - i n c i d e n t E x i s t s i n t h e p r e s e n c e o f T h e n e e d f o r i n s u r a n c e n e e d f a i l u r e s t h a t m a y r a r e l y o c c u r , b u t h a s d i r e c o n s e q u e n c e s w h e n t h e y d o a g a i n s t fi r e , fl o o d . o r e a r t h q u a k e i n t h e u n l i k e l y e v e n t t h a t t h e y m a y h a p p e n 3 7 t h e d e s i r e d t a r g e t s t a t e ; b u t t h i s d o e s n o t m e a n t h a t t h e p e r s o n t r u l y " n e e d s " t o b e a m i l l i o n a i r e . O n t h e o t h e r h a n d , a p e r s o n ' s d e s i r e t o h a v e e n o u g h m o n e y t o b u y f o o d i n o r d e r t o s u r v i v e c o u l d b e c o n s i d e r e d a n e e d b e c a u s e w i t h o u t i t , t h e p e r s o n w o u l d s u f f e r d i r e c o n s e q u e n c e s . G u b a & L i n c o l n p r e s e n t a r e v i s e d d e fi n i t i o n o f n e e d w h i c h a t t e m p t s t o fi l t e r o u t t h e m o r e o b v i o u s w a n t s a t t a c k e d b y S c r i v e n a n d R o t h : A n e e d i s a r e q u i s i t e o r d e s i d e r a t u m g e n e r a t e d a s a d i s c r e p a n c y b e t w e e n a t a r g e t s t a t e a n d a n a c t u a l s t a t e , i f a n d o n l y i f t h e p r e s e n c e o f t h e c o n d i t i o n s d e fi n e d b y t h e t a r g e t s t a t e c a n b e s h o w n s i g n i fi c a n t l y t o b e n e fi t a n S [ s u b j e c t ] a n d t h e a b s e n c e o f t h o s e c o n d i t i o n s c a n b e s h o w n s i g n i fi c a n t l y t o h a r m , i n d i s p o s e , o r c o n s t r a i n a n S . ( p . 3 1 3 ) T h i s d e fi n i t i o n w o u l d m o d i f y t h e o r i g i n a l f o r m u l a t o l o o k s o m e t h i n g l i k e : N c = T - A w h e r e N c = a n e e d c a n d i d a t e , T = s o m e t a r g e t s t a t e , a n d A = s o m e c o r r e s p o n d i n g a c t u a l s t a t e i f a n d o n l y i f : a ) T s i g n i fi c a n t l y b e n e fi t s S ( s u b j e c t ) , a n d b ) t h e a b s e n c e o f T w o u l d p o s e s i g n i fi c a n t h a r d s h i p o n S . S t u f fl e b e a m e t a 1 . ( 1 9 8 4 ) a t t e m p t e d t o s i m p l i f y t h e c o n c e p t i o n o f " n e e d . " T h e y d r e w f r o m t h e d i c t i o n a r y t o p r o p o s e t h e f o l l o w i n g d e fi n i t i o n : A n e e d i s s o m e t h i n g t h a t i s n e c e s s a r y o r u s e f u l f o r t h e f u l fi l l m e n t o f a d e f e n s i b l e p u r p o s e . ( p . 1 2 ) T h i s d e fi n i t i o n h a s t w o s t r e n g t h s . F i r s t , i t i s fl e x i b l e i n t h a t i t d o e s n o t r e q u i r e a d i s c r e p a n c y c o n c e p t u a l i z a t i o n o f " n e e d . " S e c o n d , i t p o i n t s o u t t h a t n e e d s d o n o t e x i s t i n d e p e n d e n t l y . B e c a u s e i t i s u p t o p e o p l e t o 3 8 d e c i d e w h a t c o n s t i t u t e s a " d e f e n s i b l e p u r p o s e , " n e e d s a r e t h e o u t c o m e s o f p e o p l e ' s b e l i e f s a n d v a l u e s i n a s p e c i fi c c o n t e x t . A s a n e x a m p l e , n o t e v e n f o o d a n d w a t e r a u t o m a t i c a l l y q u a l i f y a s n e e d s . F o o d a n d w a t e r o n l y q u a l i f y a s n e e d s u n d e r t h e a s s u m p t i o n t h a t l i f e s h o u l d b e s u s t a i n e d , a n d t h i s w o u l d n o t b e t r u e i n c a s e s o f e u t h a n a s i a . I t i s o b v i o u s f r o m t h e a b o v e d i s c u s s i o n t h a t " n e e d s " a r e d i f fi c u l t t o d e s c r i b e . T h e t e r m " n e e d " i s v a g u e . T h e r e a r e m a n y d e fi n i t i o n s o f n e e d , a n d i t i s e a s y t o c o n f u s e n e e d s w i t h w a n t s . H o w e v e r , i t i s v e r y i m p o r t a n t t o r e c o g n i z e t h a t t h e t y p e o f n e e d s e l e c t e d p r o f o u n d l y i n fl u e n c e s t h e n e e d s a s s e s s m e n t p r o c e s s a n d r e s u l t s , r e g a r d l e s s o f w h e t h e r t h e p e o p l e c o n d u c t i n g t h e n e e d s a s s e s s m e n t a r e a w a r e o f h o w t h e y a r e d e fi n i n g n e e d . H O O W D T H E A N ‘ 1 A F F E T H E E E D ‘ i i M I f y o u a s k o n e h u n d r e d t r a i n i n g a n d d e v e l o p m e n t p r o f e s s i o n a l s t o r e c o m m e n d h o w t o c a r r y o u t a n e e d s a s s e s s m e n t f o r a g i v e n p r o b l e m , y o u w i l l r e c e i v e o n e h u n d r e d v e r y d i fi ' e r e n t s u g g e s t i o n s . ( R o s s e t t , 1 9 8 7 , b o o k c o v e r ) T h e a b o v e d i s c u s s i o n o f " n e e d " i l l u s t r a t e s h o w p e o p l e ' s a s s u m p t i o n s s h a p e t h e s p e c i fi c s o f h o w a n e e d s a s s e s s m e n t i s c o n d u c t e d a n d t h e t y p e o f p r o b l e m s a n d s o l u t i o n s i d e n t i fi e d . P e o p l e a r e m a k i n g a d e c i s i o n a s t o w h a t c o n s t i t u t e s a n e e d . I t s t a n d s t o r e a s o n t h a t t h e p r o c e s s a n d o u t c o m e s o f n e e d s a s s e s s m e n t s a r e a fi ' e c t e d b y t h e v i e w p o i n t o f t h e p a r t i c u l a r p e r s o n c o n d u c t i n g t h e n e e d s a s s e s s m e n t . A b r i e f e x p l o r a t i o n o f h o w p e o p l e ' s d e c i s i o n s a n d v a l u e s i n fl u e n c e n e e d s a s s e s s m e n t s f o l l o w s . 3 9 N e e d s A s s e s s m e n t I s a F o r m o f D e c i s i o n M a k i n g N e e d s a s s e s s m e n t c a n b e c o n c e i v e d o f a s a t l e a s t t w o l e v e l s o f d e c i s i o n m a k i n g . F i r s t , n e e d s a s s e s s m e n t s r e s u l t i n d e c i s i o n s a s t o t h e p r o d u c t s : t h e p r i o r i t y p r o b l e m s , c a u s e s a n d s o l u t i o n s . S e c o n d , e a c h c h o i c e m a d e b y t h e p e r s o n d e s i g n i n g a n d c o n d u c t i n g t h e n e e d s a s s e s s m e n t r e g a r d i n g m e t h o d s t o u s e , t y p e s o f d a t a t o c o l l e c t , w h o t o c o n s u l t , a n d i n w h a t o r d e r , c a n b e c o n s i d e r e d d e c i s i o n s w h i c h m a k e u p t h e n e e d s a s s e s s m e n t p r o c e s s . S i m o n ( 1 9 4 5 ) fi r s t d r e w a t t e n t i o n t o t h e i m p o r t a n c e o f a d m i n i s t r a t i o n a s a p r o c e s s o f d e c i s i o n m a k i n g r a t h e r t h a n s i m p l y t h e c a r r y i n g o u t o f a l r e a d y m a d e d e c i s i o n s . S i m i l a r l y , t h i s s e c o n d l e v e l o f d e c i s i o n m a k i n g w i t h i n t h e n e e d s a s s e s s m e n t p r o c e s s i s i m p o r t a n t a n d s h o u l d b e s t u d i e d . S i m o n ( 1 9 4 5 ) a s s e r t s t h a t d e c i s i o n s a r e c o m p o s e d o f b o t h f a c t u a l a n d e t h i c a l e l e m e n t s . T h e f a c t u a l e l e m e n t s c a n b e j u d g e d f o r c o r r e c t n e s s b a s e d u p o n s o m e m e a s u r a b l e " t r u t h . " F o r e x a m p l e , t h e r e e i t h e r a r e , o r a r e n o t , fi f t y s t u d e n t s e n r o l l e d i n a c o u r s e . H o w e v e r , e t h i c a l e l e m e n t s i n d e c i s i o n s a r e j u d g e d f o r c o r r e c t n e s s b a s e d o n p e r s o n a l v a l u e s . T h e a s s e s s o r m a y f e e l t h a t fi f t y s t u d e n t s a r e f a r t o o m a n y f o r o n e i n s t r u c t o r t o e f f e c t i v e l y t e a c h ; s / h e m a y f e e l t h e e n r o l l m e n t i s t o o l o w t o j u s t i f y t h e u s e o f s c a r c e r e s o u r c e s ; o r s / h e m a y c o n s i d e r t h e n u m b e r o f s t u d e n t s u n i m p o r t a n t . T h u s , a c c o r d i n g t o S i m o n , t h e e t h i c a l e l e m e n t i s w h e r e p e r s o n a l v a l u e s e n t e r i n t o d e c i s i o n s . G u b a & L i n c o l n ( 1 9 8 2 ) h a v e a d e fi n i t i o n o f d e c i s i o n t h a t i s m o r e d e t a i l e d t h a n S i m o n ' s . W h e r e a s S i m o n s p o k e o f d e c i s i o n s b e i n g m a d e u p o f f a c t u a l a n d e t h i c a l e l e m e n t s , G u b a & L i n c o l n d e s c r i b e d e c i s i o n s a s b e i n g a f u n c t i o n o f v a r y i n g d e g r e e s o f f a c t s a n d v a l u e s . T h e i r t w o b y t w o 4 0 m a t r i x i l l u s t r a t i n g t h e f o r c e s p r e s e n t i n a d e c i s i o n i s d i s p l a y e d i n F i g u r e 1 . A v a i l a b l e F a c t s V a l u e ‘ H i g h L o w C o m m i t m e n t H i g h L o w G u b a & L i n c o l n ( 1 9 8 2 ) p . 3 1 8 F i g u r e 1 D e c i s i o n M W g M a t r i x T h u s , a l t h o u g h t h e d e c i s i o n s m a d e i n n e e d s a s s e s s m e n t s m a y b e p a r t l y b a s e d o n f a c t , e v e r y d e c i s i o n i s a l s o i n fl u e n c e d t o s o m e d e g r e e b y t h e v a l u e s o f t h e i n d i v i d u a l s m a k i n g t h e d e c i s i o n . P e o p l e i n fl u e n c e d e c i s i o n s b y t h e p r e s e n c e o f t h e i r v a l u e s i n t h e e l e m e n t s b e i n g c o n s i d e r e d , a s i l l u s t r a t e d a b o v e . P e o p l e ' s c h o i c e s a l s o i n fl u e n c e t h e p r o c e s s i n a n y s e r i e s o f d e c i s i o n s . S i m o n ( 1 9 4 5 ) d e s c r i b e s t h e t h r e e s t e p s i n d e c i s i o n m a k i n g a s f o l l o w s : 1 ) t h e l i s t i n g o f a l l t h e a l t e r n a t i v e s t r a t e g i e s : 2 ) t h e d e t e r m i n a t i o n o f a l l t h e c o n s e q u e n c e s t h a t f o l l o w u p o n e a c h o f t h e s e s t r a t e g i e s : 3 ) t h e c o m p a r a t i v e e v a l u a t i o n o f t h e s e s e t s o f c o n s e q u e n c e s . ( p . 6 7 ) H e i s a l s o q u i c k t o p o i n t o u t t h a t a s i n g l e p e r s o n c a n n o t p o s s i b l y c o n s i d e r a l l c o n s e q u e n c e s o f a l l s t r a t e g i e s . T h e r e a r e l i m i t s t o h o w m u c h a n i n d i v i d u a l c a n t h i n k a b o u t a t a n y o n e t i m e . 4 1 S i m o n d e s c r i b e s h o w p o i n t i n t i m e , k n o w l e d g e , a n d g r o u p b e h a v i o r l i m i t t h e o p t i o n s e x a m i n e d i n a r r i v i n g a t a d e c i s i o n . T h e p o i n t i n t i m e a t w h i c h a d e c i s i o n i s m a d e a f f e c t s t h e a l t e r n a t i v e s t h a t a r e c o n s i d e r e d . F o r e x a m p l e , T u e s d a y ' s o p t i o n s a r e l i m i t e d b y M o n d a y ' s d e c i s i o n s : o r a s R o s s e t t ( 1 9 8 2 ) p o i n t s o u t , t h e t e m p o r a l o r d e r i n w h i c h d a t a a r e c o l l e c t e d i n a n e e d s a s s e s s m e n t a f f e c t s t h e t y p e o f d a t a c o l l e c t e d . O n t h e m o s t s i m p l e l e v e l , e v e n t h e p r e s e n c e o r a b s e n c e o f r e q u i s i t e k n o w l e d g e l i m i t s t h e a v a i l a b l e c h o i c e s . F o r e x a m p l e , a p e r s o n c a n ' t c o n s i d e r a n a l t e r n a t i v e t h a t h a s n ' t e v e n c o m e t o m i n d . A n d fi n a l l y , g r o u p b e h a v i o r i m p a c t s d e c i s i o n s i n t h a t p e o p l e t e n d t o b a s e t h e i r d e c i s i o n s u p o n g u e s s e s a b o u t o t h e r p e o p l e ' s b e h a v i o r . A s a n e x a m p l e , a p e r f o r m a n c e t e c h n o l o g i s t i s l i k e l y t o p r o p o s e a s o l u t i o n h e t h i n k s t h e c l i e n t i s l i k e l y t o a c c e p t . I n d e s c r i b i n g d e c i s i o n m a k i n g a s l i m i t e d b y n o r m a l h u m a n c a p a c i t i e s , S i m o n c o n c l u d e s : " I t a p p e a r s , t h e n , t h a t i n a c t u a l b e h a v i o r . . . d e c i s i o n i s i n i t i a t e d b y s t i m u l i w h i c h c h a n n e l a t t e n t i o n i n d e fi n i t e d i r e c t i o n s , a n d t h a t t h e r e s p o n s e t o t h e s t i m u l i i s p a r t l y r e a s o n e d , b u t i n l a r g e p a r t h a b i t u a l " ( p . 9 1 ) . I n i v i u ' V u i n N e s A s r u n T h i s b r i e f e x a m i n a t i o n o f d e c i s i o n m a k i n g i l l u s t r a t e s h o w p e o p l e ' s v a l u e s e a s i l y a n d n a t u r a l l y e n t e r i n t o b o t h t h e e l e m e n t s c o n s i d e r e d i n e v e r y s i n g l e d e c i s i o n a n d t h e p r o c e s s o f a n y s e r i e s o f d e c i s i o n s . N u m e r o u s a u t h o r s i n t h e fi e l d o f p e r f o r m a n c e t e c h n o l o g r h a v e a c k n o w l e d g e d t h e e x i s t e n c e o f v a l u e s i n t h e n e e d s a s s e s s m e n t p r o c e s s . I n d e s c r i b i n g n e e d s a s s e s s m e n t i n c u r r i c u l u m d e v e l o p m e n t , E n g l i s h a n d K a u f m a n ( 1 9 7 5 ) s t a t e : " N o p r o c e s s i n e d u c a t i o n c a n b e “ v a l u e f r e e , ‘ f o r e v e n p r o f e s s i n g n o v a l u e i s i n i t s e l f a v a l u e " ( p . 6 ) . H a r l e s s ( 1 9 8 5 ) g o e s 4 2 e v e n f u r t h e r t o s u g g e s t t h a t t h e i n d i v i d u a l ' s v a l u e s s o d i r e c t l y i m p a c t n e e d s a s s e s s m e n t t h a t t h e o u t c o m e i s o f t e n p r e d i c t a b l e : " I n f a c t , t e l l m e t h e j o b t i t l e a n d I ' l l t e l l y o u t h e m o s t p r o b a b l e s o l u t i o n w h i c h w i l l b e s p e c i fi e d " ( p . 5 ) . C u b a a n d L i n c o l n ( 1 9 8 2 ) d i r e c t l y a d d r e s s t h e e x i s t e n c e o f v a l u e s i n n e e d s a s s e s s m e n t i n a n a t t e m p t t o c o n t r o l t h e m . T h e y a s s e r t t h a t , l i k e s c i e n c e , n e e d s a s s e s s m e n t i s n o t v a l u e f r e e : " n e e d s c a n n o t b e d e t e r m i n e d e x c e p t i n t e r m s o f s o m e v a l u e s y s t e m ( p . 3 1 2 ) " a n d u r g e t h a t t h e v a l u e s e x p r e s s e d i n n e e d s b e i d e n t i fi e d , d i f f e r e n t i a t e d f r o m f a c t s , a n d a c c o u n t e d f o r i n n e e d s a s s e s s m e n t m e t h o d o l o g y . B a s e d u p o n t h e i r d e fi n i t i o n o f n e e d , C u b a 8 1 L i n c o l n p r o p o s e t h a t " v a l u e s e n t e r i n t o t h e p r o c e s s o f n e e d s a s s e s s m e n t i n a t l e a s t s i x p l a c e s " : 1 . T h e i d e n t i fi c a t i o n o f t h e d o m a i n o f t a r g e t s t a t e s . ( P h y s i c a l , p s y c h o l o g i c a l a n d s o c i o l o g i c a l a r e e x a m p l e s . ] 2 . T h e d e s i g n a t i o n o f t h e p a r t i c u l a r t a r g e t s t a t e t o b e u s e d i n d e t e r m i n i n g t h e d i s c r e p a n c y b e t w e e n T [ a r g e t ] a n d A l c t u a l ] . [ C u b a 8 : . L i n c o l n p r o p o s e s i x p o s s i b l e t a r g e t s t a t e s r e s u l t i n g fi o m c r o s s i n g t h r e e l e v e l s : i d e a l , n o m z . a n d m i n i m u m : w i t h t w o p e r s p e c t i v e s : p e r s o n a l a n d i n s t i t u t i o n a l . ] T h e o p e r a t i o n a l i z a t i o n o f T a n d A . [ T h a t i s , h o w T a r g e t a n d A c t u a l s t a t e s a r e d e fi n e d ] T h e d e s i g n a t i o n o f t h e d i f f e r e n c e T - A t h a t w i l l b e r e g a r d e d a s s i g n i fi c a n t . T h e d e t e r m i n a t i o n o f w h a t s h a l l c o n s t i t u t e a " b e n e fi t " u n d e r t h e fi r s t o f t w o t e s t s f o r N c s [ n e e d c a n d i d a t e s ] . T h e d e t e r m i n a t i o n o f w h a t s h a l l c o n s t i t u t e a n " u n s a t i s f a c t o r y " s t a t e u n d e r t h e s e c o n d o f t h e t w o t e s t s f o r N c s . ( p p . 3 1 3 - 3 1 6 ) 9 5 9 ‘ ? ? ? C u b a & L i n c o l n m a k e a n u m b e r o f s u g g e s t i o n s f o r i m p r o v i n g t h e n e e d s a s s e s s m e n t p r o c e s s b y c o n t r o l l i n g v a l u e s . T h e i r s u g g e s t i o n s i n c l u d e c h o o s i n g t o u s e t h e v a l u e s o f t h e s t a k e h o l d i n g a u d i e n c e w h e n e v e r p o s s i b l e ; f o l l o w i n g a p r o c e s s o f i d e n t i f y i n g a n d t h e n t e s t i n g e a c h n e e d s 4 3 c a n d i d a t e a c c o r d i n g t o t h e r e v i s e d f o r m u l a ; a v o i d i n g s t a n d a r d i z e d i n s t r u m e n t a t i o n : a n d t h e n e e d s a s s e s s o r e m p l o y i n g s p e c i a l c o m m u n i c a t i o n , t e a c h i n g a n d n e g o t i a t i o n s k i l l s i n a d d i t i o n t o t h e t r a d i t i o n a l t e c h n i c a l s k i l l s . H o w e v e r , l i k e m o s t o f t h e l i t e r a t u r e o n n e e d s a s s e s s m e n t , G u b a & L i n c o l n ' s w o r k e m a n a t e s f r o m i n t r o s p e c t i o n a n d c o n j e c t u r e r a t h e r t h a n b e i n g b a s e d o n r e s e a r c h . T h e s i x p o i n t s a t w h i c h v a l u e s e n t e r i n t o t h e n e e d s a s s e s s m e n t p r o c e s s m a y s e e m c r e d i b l e , a n d s u g g e s t i o n s f o r i m p r o v i n g t h e p r o c e s s a p p e a r t o l o g i c a l l y f o l l o w f r o m t h e s i x p o i n t s , b u t , t o d a t e , n o o n e h a s o b s e r v e d h o w a c t u a l n e e d s a s s e s s m e n t s a r e c o n d u c t e d t o t e s t t h e a c c u r a c y o f C u b a a n d L i n c o l n ' s l i s t o r t h e v a l i d i t y o f t h e i r s o l u t i o n s . I n i v i u N n R e c e n t l i t e r a t u r e i n p e r f o r m a n c e t e c h n o l o g y h a s b e g u n t o a l l u d e t o t h e i n fl u e n c e o f t h e a n a l y s t ' s p e r s p e c t i v e u p o n t h e n e e d s a s s e s s m e n t p r o c e s s . S l e e z e r ( i n p r e s s ) c o n c e p t u a l i z e s n e e d s a s s e s s m e n t a s a " n e g o t i a t e d p r o c e s s " t h a t i s a f f e c t e d i n p a r t b y t h e c h a r a c t e r i s t i c s o f t h e p e r s o n c o n d u c t i n g t h e n e e d s a s s e s s m e n t . N i c k o l s ( 1 9 9 0 ) a r g u e s t h a t t h e " s e a r c h s p a c e " o f t h e a n a l y s t d i r e c t s a n d f o c u s e s t h e n e e d s a s s e s s m e n t p r o c e s s . U s i n g r e a s o n i n g s i m i l a r t o S i m o n ( 1 9 4 5 ) , N i c k o l s s t a t e s t h a t " t h e s e a r c h f o r a s o l u t i o n m u s t t a k e p l a c e w i t h i n s o m e s e t o f b o u n d a r y c o n d i t i o n s . w i t h i n w h a t m i g h t b e t e r m e d a s e a r c h s p a c e " ( p . 1 3 ) a n d a s s e r t s t h a t t h e s e a r c h s p a c e " d e t e r m i n e [ s ] w h e r e t h e a n a l y s t w i l l l o o k a n d f o r w h a t " ( p . 1 3 ) . I n h i s m o r e r e c e n t w r i t i n g s , K a u f m a n h a s c i t e d N i c k o l s a n d p r o p o s e d t h a t p e o p l e c a n c h o o s e b e t w e e n t w o a p p r o a c h e s t o c o n d u c t i n g 4 4 n e e d s a s s e s s m e n t s ( K a u f m a n 1 9 9 0 ; K a u f m a n & B o w e r s , 1 9 9 0 : K a u f m a n & S t o l o v i t c h , 1 9 9 1 ) . H e d e s c r i b e s t h e r e a c t i v e a n d p r o a c t i v e a p p r o a c h e s a s " m i n d s e t s " t h a t a f f e c t w h a t p e r f o r m a n c e t e c h n o l o g i s t s d o a n d , t h e r e f o r e . t h e r e s u l t s t h e y g e t . H e a s s e r t s t h a t t h e p r o a c t i v e a n d r e a c t i v e a p p r o a c h e s a f f e c t c h o i c e s a s t o w h i c h n e e d s a s s e s s m e n t t o o l s a r e u s e d , w h e n t h e y a r e d e p l o y e d , a n d u l t i m a t e l y t h e n a t u r e o f t h e r e s u l t s o b t a i n e d . K a u f m a n 8 : S t o l o v i t c h ( 1 9 9 1 ) d e s c r i b e t h e s e t w o a p p r o a c h e s i n g r e a t e r d e t a i l a n d a s s e r t t h a t t h e y d e t e r m i n e t h e i n t e n d e d b e n e fi c i a r y a s w e l l a s t h e p r i m a r y f o c u s o f t h e n e e d s a s s e s s m e n t . T h e y b e g i n t h e a r t i c l e s t a t i n g : " S c r a t c h a n y p l a n ( o r i t s p l a n n e r ) a n d y o u fi n d a d i r e c t i o n s e t t i n g v i e w p o i n t . T h e s e p e r s p e c t i v e s - ~ u s u a l l y u n e x a m i n e d — - d i c t a t e w h a t t h e p l a n w i l l d e l i v e r " ( p . 5 1 ) . T h e l e s s d e s i r a b l e r e a c t i v e a p p r o a c h i s d e s c r i b e d a s a t t e m p t i n g t o " m a k e c u r r e n t t h i n g s w o r k b e t t e r . " T h e r e a c t i v e a p p r o a c h a t t e m p t s t o d e t e r m i n e t h e b e s t p o s s i b l e r e s u l t w i t h t h e g i v e n c o n s t r a i n t s a n d o b s t a c l e s i n t h e s i t u a t i o n . I n c o n t r a s t , t h e m o r e d e s i r a b l e p r o a c t i v e a p p r o a c h a t t e m p t s t o c h a n g e t h i n g s b e f o r e t h e y b r e a k d o w n a n d d o e s n o t a l l o w t h e c o n s t r a i n t s i n t h e c u r r e n t s i t u a t i o n t o l i m i t t h e s e a r c h f o r t h e a p p r o p r i a t e g o a l . K a u f m a n 8 1 S t o l o v i t c h t h e n i n t r o d u c e t h r e e l e v e l s o f s t r a t e g i c p l a n n i n g f r o m K a u f m a n ' s O r g a n i z a t i o n a l E l e m e n t s M o d e l : t h e m e g a - l e v e l , c o n c e r n e d w i t h b e n e fi t s t o s o c i e t y ; m a c r o - l e v e l , c o n c e r n e d w i t h b e n e fi t s t o t h e o r g a n i z a t i o n i t s e l f : a n d t h e m i c r o - l e v e l , c o n c e r n e d w i t h t h e p e r f o r m a n c e o f i n d i v i d u a l s a n d s m a l l g r o u p s w i t h i n t h e o r g a n i z a t i o n . T h e y s u g g e s t t h a t t h e l e v e l o f p l a n n i n g ( o r t h e i n t e n d e d b e n e fi c i a r y o f t h e n e e d s a s s e s s m e n t ) w i l l d e t e r m i n e t h e p r i m a r y f o c u s o f t h e p r o b l e m i d e n t i fi e d a n d s o l u t i o n p r o p o s e d . A c c o r d i n g t o t h i s m o d e l , a p r o a c t i v e 4 5 m e g a — r e f e r e n t w i l l b e m o s t c r e a t i v e a n d e m p h a s i z e o p p o r t u n i t i e s . A m o r e r e a c t i v e m a c r o - l e v e l a p p r o a c h w i l l f o c u s o n p r o b l e m s a l r e a d y e x i s t i n g w i t h i n t h e o r g a n i z a t i o n , a n d t h e d e c i d e d l y r e a c t i v e m i c r o - l e v e l a p p r o a c h w i l l e m p h a s i z e c o n t r o l a n d i m p l e m e n t a t i o n s a t t h e l e v e l o f t h e i n d i v i d u a l a n d s m a l l g r o u p s . F i g u r e 2 g r a p h i c a l l y d i s p l a y s t h e r e l a t i o n s h i p b e t w e e n t h e p e r s o n ' s d e c i s i o n a s t o l e v e l o f p l a n n i n g a n d t h e f o c u s a n d e m p h a s i s t h a t a r e l i k e l y t o r e s u l t . D E G R E E O F R E L A T I V E E M P H A S I S F O C U S ! F O C I O p p o r t u n i t i e s ] C r e a t i v e P r o a c t i v e P r o b l e m s R e a c t i v e C o n t r o l & ' I m p l e m e n t a t i o n M i c r o M a c r o M e g a S C O P E / L E V E L K E Y " H e a v y E m p h a s i s M o d e r a t e E m p h a s i s E M i n i m a l E m p h a s i s K a u f m a n & S t o l o v i t c h ( 1 9 9 1 ) p . 5 3 F i g u r e 2 T h e R e l a t i o n s h i p B e t w e e n F o c u s a n d L e v e l i n N e e d s A s s e s s m e n t s O n c e a g a i n , a s p l a u s i b l e a s N i c k o l s , ‘ K a u f m a n ' s a n d K a u f m a n & S t o l o v i t c h ' s t h e o r i e s o n t h e r e l a t i o n s h i p b e t w e e n t h e i n d i v i d u a l 4 6 c o n d u c t i n g t h e n e e d s a s s e s s m e n t a n d t h e p r o c e s s a n d r e s u l t s o f t h e n e e d s a s s e s s m e n t m a y s o u n d , t h e r e i s n o r e s e a r c h t o b a c k t h e m u p . S t u d i e s o f p e o p l e c o n d u c t i n g n e e d s a s s e s s m e n t s a r e n e e d e d t o t e s t G u b a & L i n c o l n ' s t h e o r y o n w h e r e v a l u e s e n t e r i n t o t h e n e e d s a s s e s s m e n t p r o c e s s a n d s u b s t a n t i a t e o r r e f u t e K a u f m a n & S t o l o v i t c h ' s t h e o r y o n t h e t w o m i n d s e t s a n d t h e i r r e l a t i o n s h i p t o n e e d s a s s e s s m e n t r e s u l t s . h - ‘ D O W E 1 L 1 N T L Y K N O W ‘ 3 0 1 E E D L i L l ! - ‘ f D e s p i t e t h e b e s t o f i n t e n t i o n s , n e e d s a s s e s s m e n t i s s t i l l m o r e a g o a l t h a n a r e a l i t y . ( R o s s e t t , 1 9 9 0 . p . 3 6 ) N e e d s A s s e s s m e n t I s U n e v e n l y P r a c t i c e d a n d U n d e r - R e s e a r c h e d A m a j o r p r e o c c u p a t i o n i n t h e l i t e r a t u r e i s t h e c o n t i n u i n g f a i l u r e o f n e e d s a s s e s s m e n t t o f u l fi l l i t s p r o m i s e . I t a p p e a r s t h a t n e e d s a s s e s s m e n t s a r e o f t e n n o t w e l l d o n e o r s k i p p e d e n t i r e l y ( R o s s e t t , 1 9 9 0 , 1 9 9 2 ; R o t h , 1 9 7 8 ; W a n a m a k e r , 1 9 8 6 ) . A n d e v e n w h e n d o n e , t h e r e s u l t s a r e r a r e l y u s e d i n t h e l a t e r s t a g e s o f t h e p e r f o r m a n c e t e c h n o l o g y p r o c e s s ( B e n j a m i n , 1 9 8 9 : W a n a m a k e r . 1 9 8 6 : W i t k i n , 1 9 8 4 ) . I n p a r t . t h e q u a l i t y o f n e e d s a s s e s s m e n t s s u f f e r s b e c a u s e p e o p l e e x p e r i e n c e a v a r i e t y o f o b s t a c l e s w h e n t r y i n g t o c o n d u c t t h e m ( C a r r o n , 1 9 7 7 ; L e w i s , 1 9 7 8 : R o s s e t t , 1 9 9 0 : S a r t h o r y , 1 9 7 7 ) . M o s t o f t h e r e a s o n s g i v e n i n t h e l i t e r a t u r e f o r w h y n e e d s a s s e s s m e n t s a r e n o t d o n e w e l l c a n b e p l a c e d i n o n e o f t h r e e c a t e g o r i e s . F i r s t , f a c t o r s i n t h e e n v i r o n m e n t i n h i b i t t h e n e e d s a s s e s s m e n t . L o c a l p o l i t i c s c a n s e r i o u s l y c u r t a i l w h a t d a t a m a y b e c o l l e c t e d a n d t h e t y p e s o f p r o b l e m s a n d s o l u t i o n s t h a t m a y b e c h o s e n ( C a r r o n , 1 9 7 7 ; E n g l i s h , 1 9 7 7 ; S a r t h o r y , 1 9 7 7 ; S t u fl l e b e a m e t a l . , 1 9 8 4 ) . O r g a n i z a t i o n s m a y n o t ’ v - u b . f ” a ” _ “ 4 7 b e w i l l i n g t o s u p p l y t h e r e s o u r c e s t o c o n d u c t a n e e d s a s s e s s m e n t o r s u p p o r t t h e r e s u l t s ( R o s s e t t , 1 9 9 0 , 1 9 9 2 ; W i t k i n , 1 9 8 4 ) . E v e n a w e l l f u n d e d a n d s u p p o r t e d n e e d s a s s e s s m e n t c o u l d s u f f e r f r o m t h e c o m m u n i c a t i o n g a p b e t w e e n t h e n e e d s a s s e s s o r s a n d t h e p o l i c y m a k e r s w h o m u s t m a k e u s e o f t h e r e s u l t s W i t k i n , 1 9 8 4 ) . S e c o n d , t h e p o o r q u a l i t y o f n e e d s a s s e s s m e n t s i s o f t e n a t t r i b u t e d t o t h e l a c k o f s k i l l o r k n o w l e d g e o f t h e p e o p l e c o n d u c t i n g t h e m ( R o s s e t t , 1 9 9 0 : S a r t h o r y , 1 9 7 7 : W i t k i n , 1 9 8 4 ) . P a r t i c u l a r e x a m p l e s i n c l u d e s u r v e y s w h i c h a r e p o o r l y d e s i g n e d a n d t h e s o l e m e a n s o f c o l l e c t i n g d a t a ( W i t k i n , 1 9 8 4 : R o t h , 1 9 7 8 ) - - a n d t h e f a i l u r e o f t h e a s s e s s o r s t o d e fi n e " n e e d " ( R o t h . 1 9 7 8 ) . T h i r d , e x i s t i n g m o d e l s c o n t a i n w e a k n e s s e s w h e n i t c o m e s t o m a k i n g t h e l e a p f r o m t h e o r y t o p r a c t i c a l a p p l i c a t i o n . M a n y m o d e l s s k i p o r g l o s s o v e r i m p o r t a n t s t e p s s u c h a s h o w t o r e p o r t r e s u l t s a n d t a k e m e a s u r e s t o e n c o u r a g e a p p l i c a t i o n o f t h e r e s u l t s ( W a n a m a k e r , 1 9 8 6 ) . O t h e r m o d e l s a r e h i g h l y t h e o r e t i c a l a n d l a c k e x p l i c i t " h o w - t o " a d v i c e f o r c o n d u c t i n g n e e d s a s s e s s m e n t s ( R o s s e t t , 1 9 8 7 ; W a n a m a k e r . 1 9 8 6 ) . A s p e c i fi c e x a m p l e i s t h e l a c k o f a t t e n t i o n t o h o w i t e m s a r e c r e a t e d f o r s u r v e y s a n d i n t e r v i e w s ( R o s s e t t . 1 9 8 2 ) . W R e m a r k a b l y l i t t l e r e s e a r c h h a s b e e n c o n d u c t e d t o s u b s t a n t i a t e t h e s e c r i t i c i s m s o r t o fi n d w a y s t o i m p r o v e t h e p r o c e s s . A s B u r t o n & M e r r i l l ( 1 9 9 1 ) p o i n t o u t , m o s t o f t h e l i t e r a t u r e o n n e e d s a s s e s s m e n t i s d i s c u r s i v e i n n a t u r e . T h i s l i t e r a t u r e m a y c o n t a i n v a l u a b l e i n s i g h t s f r o m t h e a u t h o r s ' o w n e x p e r i e n c e s a n d o b s e r v a t i o n s , b u t i t i s n o t b a s e d o n r e s e a r c h w h i c h h a s t e s t e d t h e i n s i g h t s o r v a l i d a t e d r e c o m m e n d a t i o n s . O n l y a f e w m o d e l s c a n r e p o r t a n y f o r m o f r e s e a r c h h a v i n g b e e n 4 8 c o n d u c t e d : t h e m o s t u s u a l f o r m o f " r e s e a r c h " w a s fi e l d t e s t i n g d u r i n g d e v e l o p m e n t ( W a n a m a k e r , 1 9 8 6 ; W i t k i n , 1 9 7 6 ) . C o m p r e h e n s i v e s e a r c h e s h a v e f a i l e d t o t u r n u p a s i n g l e s t u d y d o c u m e n t i n g t h e r e l i a b i l i t y a n d v a l i d i t y o f a p a r t i c u l a r m o d e l o r a n e m p i r i c a l c o m p a r i s o n b e t w e e n m o d e l s ( B u r t o n & M e n i l l , 1 9 9 1 ; W i t k i n , 1 9 7 6 ) . 3 T h e r e f o r e , t h e r e w e r e n o t m a n y r e s e a r c h s t u d i e s w h i c h c o u l d s e r v e a s a b a s i s f o r t h i s o n e . T h e v e r y l a c k o f r e s e a r c h o n n e e d s a s s e s s m e n t p r o v i d e s t h e i m p e t u s f o r a q u a l i t a t i v e s t u d y o f n e e d s a s s e s s m e n t s a s t h e y a r e a c t u a l l y c o n d u c t e d . T h r e e d i s s e r t a t i o n s t u d i e s c o n t r i b u t e d t o d e v e l o p i n g t h e p u r p o s e o f t h e p r e s e n t s t u d y . A b r i e f d e s c r i p t i o n o f t h e s e t h r e e w o r k s f o l l o w s . R o t h ( 1 9 7 8 ) r e v i e w e d 1 0 8 n e e d s a s s e s s m e n t c a s e s a s d e s c r i b e d i n s t u d i e s , m o d e l s , a n d p a p e r s a n d i n t e r v i e w e d t e n e x p e r t s t o d e v e l o p a c o n c e p t u a l f r a m e w o r k f o r n e e d s a s s e s s m e n t i n h i g h e r e d u c a t i o n . S h e c o n c l u d e d t h a t n e e d s a s s e s s m e n t s w e r e r a r e l y w e l l t h o u g h t o u t a n d d e s i g n e d . T h e m o d e l s a n d e x a m p l e s o f n e e d s a s s e s s m e n t s s h e s t u d i e d w e r e f a i r l y e v e n l y d i v i d e d b e t w e e n a n i n d u c t i v e a p p r o a c h w h i c h a l l o w e d p a r t i c i p a n t s t o d e t e r m i n e t h e n e e d , a n d a d e d u c t i v e a p p r o a c h w h i c h s o l i c i t e d p a r t i c i p a n t s ' o p i n i o n s o n a p r e s p e c i fi e d n e e d o r p r o b l e m . S o m e o f t h e l i m i t a t i o n s s h e i d e n t i fi e d i n c l u d e : t h e l a c k o f a c l e a r d e fi n i t i o n o f n e e d , a f o c u s a l m o s t e n t i r e l y u p o n t h e n e e d s o f t h o s e p a r t i c i p a t i n g i n t h e n e e d s a s s e s s m e n t , f a i l u r e t o t a k e e x i s t i n g a s s e t s a n d r e s o u r c e s i n t o a c c o u n t , a n d o v e r - r e l i a n c e u p o n n o n i n t e r a c t i v e s u r v e y s t o g a t h e r d a t a . R o t h a l s o f o u n d t h a t m o r e o f t h e m o d e l s t e n d e d t o f o c u s o n " p e r f o r m a n c e l e v e l n e e d s a s s e s s m e n t " ( i d e n t i f y i n g t h e p r o b l e m a r e a ) t h a n o n " t r e a t m e n t 3 T h e i n v e s t i g a t o r l o c a t e d a s i n g l e s t u d y t h a t c o n d u c t e d r e s e a r c h t o v a l i d a t e a n e e d s a s s e s s m e n t m o d e l ( S l e e z e r , 1 9 9 0 ) . H o w e v e r . a s t h e s t u d y w a s l o c a t e d a f t e r t h e p r e s e n t s t u d y h a d b e e n c o m p l e t e d , i t w a s n o t u s e d t o d e s i g n t h e p r e s e n t s t u d y . 4 9 l e v e l n e e d s a s s e s s m e n t " ( h o w t o m e e t t h e i d e n t i fi e d n e e d ) , o r e v e n c o n f u s e d t h e t w o . W a n a m a k e r ( 1 9 8 6 ) c o l l e c t e d 2 0 e x t a n t n e e d s a s s e s s m e n t m o d e l s a n d u s e d a s u r v e y t o e l i c i t p r a c t i t i o n e r s ' c o m p a r i s o n s a n d u s e s o f t h e s e m o d e l s . A l t h o u g h h e l i m i t e d t h e m o d e l s s t u d i e d t o s p e c i fi c t y p e s ( A l p h a a n d B e t a a c c o r d i n g t o K a u f m a n ' s 1 9 7 7 t a x o n o m y ) , h e s t i l l f o u n d g r e a t d i s p a r i t y a m o n g t h e m o d e l s ' a s s u m p t i o n s , p u r p o s e s a n d p r o c e d u r e s . H e g e n e r a t e d a " U n i fi e d N e e d s A s s e s s m e n t M o d e l " w h o s e e i g h t m a j o r s u b c o m p o n e n t s w e r e f u r t h e r s u b d i v i d e d i n t o 4 7 d e c i s i o n s o r a c t i v i t i e s . T h e r e w a s w i d e d i s p a r i t y i n h o w e a c h o f t h e m o d e l s m a t c h e d h i s i d e a l i z e d o n e . H e c o n c l u d e d t h a t a l t h o u g h t h e r e w a s p r e s c r i p t i v e i n f o r m a t i o n a v a i l a b l e o n h o w t o c o n d u c t a n e e d s a s s e s s m e n t , i t w a s " p i e c e m e a l a n d s c a t t e r e d " ( p p . 2 1 1 - 1 2 ) a n d , t h e r e f o r e , i n a c c e s s i b l e t o m o s t p e o p l e . M o s t o f t h e m o d e l s f a i l e d t o a d d r e s s h o w t h e i n f o r m a t i o n g a t h e r e d w a s t o b e a p p l i e d i n l a t e r s t a g e s o f t h e d e v e l o p m e n t p r o c e s s . H e r e p o r t s t h a t " v e r y l i t t l e r e s e a r c h e v i d e n c e e x i s t s a s t o t h e a b i l i t y o f e x t a n t n e e d s a s s e s s m e n t m o d e l s t o p r o d u c e t h e i n f o r m a t i o n t h e y w e r e d e s i g n e d t o a c q u i r e " ( p . 2 1 3 ) . O n l y 5 o f t h e 2 0 m o d e l s s t u d i e d c o u l d r e p o r t a n y f o r m o f r e s e a r c h h a v i n g b e e n c o n d u c t e d i n c o n n e c t i o n w i t h t h e m . N g ( 1 9 8 8 ) i n t e r v i e w e d i n s t r u c t i o n a l d e s i g n s t u d e n t s w h o h a d c o n d u c t e d n e e d s a s s e s s m e n t s a s a c o u r s e p r o j e c t . H e w a s c o n c e r n e d a b o u t t h e g a p b e t w e e n n e e d s a s s e s s m e n t t h e o r y a n d p r a c t i c e a n d h a d t h e g o a l o f d e v e l o p i n g a " g e n e r a l i z e d m o d e l . " N g m a d e a c o n t r i b u t i o n t o u n d e r s t a n d i n g h o w n e e d s a s s e s s m e n t i s a c t u a l l y p r a c t i c e d ( a l b e i t b y s t u d e n t s ) b y c o l l e c t i n g d a t a o n h o w 4 6 n e e d s a s s e s s m e n t s w e r e c o n d u c t e d a s w e l l a s w h a t i n fl u e n c e d h o w t h e y w e r e c o n d u c t e d . N g 5 0 p r e s e n t s h o w t h e s u b j e c t s c o n d u c t e d t h e i r n e e d s a s s e s s m e n t s i n f r e q u e n c i e s a n d s e q u e n c e s o f a c t i v i t i e s o r " a c t i o n c o m p o n e n t s . " H e r e v i e w e d t h e l i t e r a t u r e a n d c o m p i l e d a l i s t o f c o n t e x t u a l , s i t u a t i o n a l , a n d p e r s o n a l v a r i a b l e s t h o u g h t t o a f f e c t t h e n e e d s a s s e s s m e n t p r o c e s s . H e t h e n t a b u l a t e d t h e f r e q u e n c y o f t h e s e v a r i a b l e s i n e a c h c a s e a n d d r e w g e n e r a l i z a t i o n s o n h o w t h e v a r i a b l e s i n fl u e n c e d t h e n e e d s a s s e s s m e n t p r o c e s s . A l t h o u g h e a c h o f t h e s e s t u d i e s c o n t r i b u t e d u s e f u l i n f o r m a t i o n a n d i d e a s , t h e i r l i m i t a t i o n s a l s o p l a y e d a m a j o r r o l e i n d e v e l o p i n g t h e p u r p o s e s o f t h e p r e s e n t s t u d y . I t i s i n t e r e s t i n g t o n o t e t h a t a l l t h r e e s t u d i e s d e v e l o p e d s o m e t y p e o f g e n e r a l i z e d m o d e l o f n e e d s a s s e s s m e n t , y e t e a c h d e m o n s t r a t e s h o w e x i s t i n g n e e d s a s s e s s m e n t m o d e l s d e v i a t e f r o m t h e g e n e r a l i z e d i d e a l . I t , t h e r e f o r e , s e e m e d a p p r o p r i a t e t o u s e a r e s e a r c h m e t h o d o l o g y t h a t c o u l d b e m o r e fl e x i b l e i n a c c o m m o d a t i n g d i s p a r a t e c a s e s a n d e x p l a i n w h y t h e s e d e v i a t i o n s o c c u r . A l l t h r e e s t u d i e s c o l l e c t e d d a t a a f t e r n e e d s a s s e s s m e n t s h a d b e e n c o m p l e t e d a n d r e l i e d u p o n t h e s u b j e c t s ' r e c a l l . R o t h a n d W a n a m a k e r a s s u m e d t h a t m o d e l s a n d p u b l i s h e d d o c u m e n t s w e r e a c c u r a t e d e s c r i p t i o n s o f h o w n e e d s a s s e s s m e n t s w e r e a c t u a l l y c o n d u c t e d . I t s e e m e d m o r e a p p r o p r i a t e i n t h i s s t u d y t o f o l l o w a n u m b e r o f n e e d s a s s e s s m e n t c a s e s , a s t h e y w e r e a c t u a l l y b e i n g c o n d u c t e d , t o o b s e r v e t h e d e g r e e t o w h i c h m o d e l s w e r e f o l l o w e d a n d t o c o m p a r e o b s e r v a t i o n s a g a i n s t d o c u m e n t s a n d s u b j e c t s ' r e c a l l . 5 1 S U M M A R Y T h i s r e v i e w o f t h e l i t e r a t u r e o n n e e d s a s s e s s m e n t h a s r e v e a l e d t h a t 1 ) t h e r e i s n o t a c o m m o n l y h e l d u n d e r s t a n d i n g o f w h a t n e e d s a s s e s s m e n t i s ( a s d e m o n s t r a t e d b y c o n f u s i o n o v e r t e r m i n o l o g y a n d c o m p o n e n t s ) a n d t h e p l e t h o r a o f c o m p e t i n g m o d e l s f o r c o n d u c t i n g n e e d s a s s e s s m e n t s ; 2 ) n e e d s a s s e s s m e n t s a r e h e a v i l y d e p e n d e n t u p o n t h e d e fi n i t i o n o f " n e e d , " w h i c h i s d i f f i c u l t t o d e fi n e ; 3 ) t h e a n a l y s t ( s ) c o n d u c t i n g t h e n e e d s a s s e s s m e n t i n fl u e n c e b o t h t h e p r o c e s s a n d p r o d u c t s o f n e e d s a s s e s s m e n t s ; a n d 4 ) e v e n t h o u g h t h e r e a r e s o m a n y p r o b l e m a r e a s r e l a t e d t o n e e d s a s s e s s m e n t , m o s t o f t h e l i t e r a t u r e i s n o t b a s e d o n r e s e a r c h . T h e r e f o r e , t h i s r e v i e w o f t h e l i t e r a t u r e o n n e e d s a s s e s s m e n t w a s c o n s u l t e d t o d e s i g n a s t u d y t h a t a t t e m p t e d t h e f o l l o w i n g : 1 ) R a t h e r t h a n d e v e l o p a n o t h e r m o d e l f r o m w h i c h r e a l l i f e n e e d s a s s e s s m e n t s d e v i a t e , t h e p r e s e n t s t u d y w a s t o u s e a n i n d u c t i v e a p p r o a c h t o d e s c r i b e a c t u a l n e e d s a s s e s s m e n t s i n o r d e r t o u n d e r s t a n d t h e c u r r e n t s t a t e o f n e e d s a s s e s s m e n t i n p r a c t i c e . T h i s r e s u l t e d i n r e s e a r c h q u e s t i o n 1 : " W h a t d o p a r t i c i p a n t s d o i n c o n d u c t i n g a n e e d s a s s e s s m e n t ? " 2 ) B e c a u s e t h e l i t e r a t u r e o n n e e d s a s s e s s m e n t i s f u l l o f n o n - r e s e a r c h e d l a m e n t s o v e r h o w n e e d s a s s e s s m e n t s a r e p o o r l y d o n e , s k i p p e d , o r n o t u s e d l a t e r i n t h e p e r f o r m a n c e t e c h n o l o g y p r o c e s s , t h e p r e s e n t s t u d y w a s t o p r e s e n t r e s e a r c h - b a s e d d e s c r i p t i o n o f h o w t h e s e t h i n g s m i g h t h a p p e n . T h i s r e s u l t e d i n r e s e a r c h q u e s t i o n 2 : " W h a t f a c t o r s f a c i l i t a t e a n d / o r h i n d e r t h e n e e d s a s s e s s m e n t p r o c e s s ? " 3 ) A n d s i m i l a r l y , b e c a u s e t h e l i t e r a t u r e i s l a r g e l y d i s c u r s i v e o n t h e l a c k o f u s e o f n e e d s a s s e s s m e n t a n d t h e r e c o n t i n u e s t o b e n o r e s e a r c h " p r o o f " o f t h e u s e f u l n e s s o f n e e d s a s s e s s m e n t , t h e p r e s e n t s t u d y w a s t o p r o v i d e r e s e a r c h - b a s e d d e s c r i p t i o n s o f t h e o u t c o m e s o f n e e d s a s s e s s m e n t . T h i s r e s u l t e d i n r e s e a r c h q u e s t i o n 3 : " W h a t d o p a r t i c i p a n t s l e a r n i n d o i n g a n e e d s a s s e s s m e n t a b o u t t h e p r o c e s s a n d a b o u t t h e p r o d u c t s ? " T h e m e t h o d o l o g y f o r a c c o m p l i s h i n g t h e s e g o a l s w i l l b e d i s c u s s e d i n C h a p t e r I I I . C H A P T E R I I I M E T H O D O L O G Y W I n g e n e r a l , c a s e s t u d i e s a r e t h e p r e f e r r e d s t r a t e g i e s w h e n ' h o w ' o r ' w h y ’ q u e s t i o n s a r e b e i n g p o s e d , w h e n t h e i n v e s t i g a t o r h a s l i t t l e c o n t r o l o v e r e v e n t s . a n d w h e n t h e f o c u s i s o n a c o n t e m p o r a r y p h e n o m e n o n w i t h i n s o m e r e a l - l i f e c o n t e x t . ( Y i n , 1 9 8 9 , p . 1 3 ) T h e l i t e r a t u r e o n n e e d s a s s e s s m e n t i s fi l l e d w i t h c o n t r o v e r s i e s o v e r r i v a l m o d e l s a n d t e c h n i q u e s , e v e n d e fi n i t i o n s , b u t t h e r e i s l i t t l e r e s e a r c h o n n e e d s a s s e s s m e n t t h a t d e m o n s t r a t e s t h e p r a c t i c a l e f f e c t i v e n e s s a n d e f fi c i e n c y o f a n y o f t h e c l a i m s . T h i s w a s d o c u m e n t e d i n t h e p r e v i o u s c h a p t e r . A s i g n i fi c a n t c o n t r i b u t i o n c a n b e m a d e t o t h e fi e l d o f H u m a n P e r f o r m a n c e T e c h n o l o g y b y r e s e a r c h t h a t l e a d s t o a b e t t e r u n d e r s t a n d i n g o f h o w n e e d s a s s e s s m e n t s a c t u a l l y o c c u r . T h e r e f o r e , t h e i n v e s t i g a t o r d r e w l a r g e l y f r o m q u a l i t a t i v e r e s e a r c h t r a d i t i o n s t o d e s i g n a n e x p l o r a t o r y s t u d y f o r t h e p u r p o s e o f d e s c r i b i n g a n d e x p l a i n i n g h o w n e e d s a s s e s s m e n t s a r e c o n d u c t e d a n d w h a t i s l e a r n e d f r o m t h e m . 1 T h i s p u r p o s e w a s b e s t s e r v e d b y a m u l t i p l e - c a s e s t u d y a p p r o a c h w h i c h a l l o w e d t h e i n v e s t i g a t o r t o c o l l e c t d i v e r s e k i n d s o f d a t a o n a c t u a l n e e d s 1 T o a v o i d c o n f u s i o n . t h e t e r m " r e s e a r c h e r " w i l l b e u s e d t o r e f e r t o a l l p e o p l e c o n d u c t i n g q u a l i t a t i v e s t u d i e s . T h e t e r m " i n v e s t i g a t o r " w i l l r e f e r t o t h e r e s e a r c h e r f o r t h e p r e s e n t s t u d y . 5 2 5 3 a s s e s s m e n t s a n d t o a n a l y z e t h e c a s e s t o g e n e r a t e fi n d i n g s . I n t h e s t u d y , d a t a w e r e c o l l e c t e d f r o m f o u r t e e n p e o p l e t h r o u g h o b s e r v a t i o n s , i n t e r v i e w s , a n d e x a m i n i n g d o c u m e n t s b e f o r e , d u r i n g , a n d a f t e r t h e y c o n d u c t e d n e e d s a s s e s s m e n t s . D a t a w e r e a n a l y z e d i n s e v e r a l p h a s e s b y l o o k i n g f o r p a t t e r n s a n d t r e n d s w i t h i n a n d a m o n g t h e c a s e s . T h i s c h a p t e r b e g i n s w i t h a n o v e r v i e w o f q u a l i t a t i v e r e s e a r c h w h i c h g u i d e d t h e d e s i g n a n d i m p l e m e n t a t i o n o f t h i s s t u d y . T h e o v e r v i e w i s f o l l o w e d b y a d i s c u s s i o n o f " t r u s t w o r t h i n e s s , " t h e c r i t e r i a b y w h i c h q u a l i t a t i v e s t u d i e s m a y b e j u d g e d o n t h e i r a c c u r a c y a n d v a l u e . T h e n , t h e r e s e a r c h s i t e a n d s a m p l e a r e b r i e fl y i n t r o d u c e d . T h e c h a p t e r c o n c l u d e s w i t h a d e s c r i p t i o n o f t h e p h a s e s o f d a t a c o l l e c t i o n a n d a n a l y s i s u s e d t o g a i n i n s i g h t o n t h e p r o c e s s a n d o u t c o m e s o f n e e d s a s s e s s m e n t . M u c h o f t h e f o l l o w i n g d i s c u s s i o n o f k e y c h a r a c t e r i s t i c s o f q u a l i t a t i v e r e s e a r c h a n d d e s c r i p t i o n s o f d a t a c o l l e c t i o n a n d a n a l y s i s t e c h n i q u e s i s d r a w n f r o m B e c k e r ( 1 9 5 8 ) , B o g d a n 8 r B i k l e n ( 1 9 8 2 ) , L i n c o l n & C u b a ( 1 9 8 5 ) , M i l e s 8 : H u b e r m a n ( 1 9 8 4 ) , P a t t o n ( 1 9 9 0 ) , T e s c h ( 1 9 9 0 ) , a n d Y i n ( 1 9 8 9 ) . " ! 9 9 ‘ 9 5 4 A N O V E R V I E W O F Q U A L I T A T I V E R E S E A R C H F i e l d w o r k r e f e r s t o b e i n g o u t i n t h e s u b j e c t s ’ w o r l d . i n t h e w a y w e h a v e d e s c r i b e d - - n o t a s a p e r s o n w h o p a u s e s w h i l e p a s s i n g b y , b u t a s a p e r s o n w h o h a s c o m e f o r a v i s i t : n o t a s a p e r s o n w h o k n o w s e v e r y t h i n g , b u t a s a p e r s o n w h o h a s c o m e t o l e a r n : n o t a s a p e r s o n w h o w a n t s t o b e l i k e t h e m , b u t a s a p e r s o n w h o w a n t s t o k n o w w h a t i t i s l i k e t o b e t h e m . ( G e e r t z , 1 9 7 9 , p . 2 4 1 ) B o g d a n & B i k l e n ( 1 9 8 2 ) i d e n t i f y fi v e m a j o r c h a r a c t e r i s t i c s o f q u a l i t a t i v e r e s e a r c h : 1 . Q u a l i t a t i v e r e s e a r c h h a s t h e n a t u r a l s e t t i n g a s t h e d i r e c t s o u r c e o f d a t a a n d t h e r e s e a r c h e r i s t h e k e y i n s t r u m e n t . Q u a l i t a t i v e r e s e a r c h i s d e s c r i p t i v e . Q u a l i t a t i v e r e s e a r c h e r s a r e c o n c e r n e d w i t h p r o c e s s r a t h e r t h a n s i m p l y w i t h o u t c o m e s o r p r o d u c t s . Q u a l i t a t i v e r e s e a r c h e r s t e n d t o a n a l y z e t h e i r d a t a i n d u c t i v e l y . " M e a n i n g " i s o f e s s e n t i a l c o n c e r n t o t h e q u a l i t a t i v e a p p r o a c h . ( p p . 2 7 - 3 0 ) T h e f o l l o w i n g i s a d e s c r i p t i o n o f t h e k e y c h a r a c t e r i s t i c s o f q u a l i t a t i v e r e s e a r c h a n d h o w e a c h w a s i m p l e m e n t e d i n t h e s t u d y . u r t t i n A q u a l i t a t i v e a p p r o a c h a s s u m e s t h a t p a r t i c i p a n t s ' a c t i o n s a r e b e s t u n d e r s t o o d w h e n o b s e r v e d i n t h e n a t u r a l c o n t e x t . T h u s , r e s e a r c h e r s p u t t h e m s e l v e s i n t h e n a t u r a l e n v i r o n m e n t w i t h i n w h i c h t h e e v e n t o r b e h a v i o r o f i n t e r e s t o c c u r s . A q u a l i t a t i v e r e s e a r c h e r i s w i l l i n g t o g i v e u p a s e n s e o f c o n t r o l o v e r c o n d i t i o n s a n d v a r i a b l e s i n o r d e r t o b e i n a p o s i t i o n t o u n d e r s t a n d a s i t u a t i o n f r o m t h e p a r t i c i p a n t ' s p e r s p e c t i v e . T h i s s t u d y w a s n o t c o m p l e t e l y n a t u r a l i s t i c i n t h e s e n s e t h a t t h e p a r t i c i p a n t s w e r e r e q u i r e d t o c o n d u c t a n e e d s a s s e s s m e n t , r e c e i v e d g u i d a n c e , a n d w e r e p r i m a r i l y o b s e r v e d d u r i n g f e l l o w s h i p o n - c a m p u s 5 5 s e s s i o n s r a t h e r t h a n i n t h e i r h o m e i n s t i t u t i o n s . H o w e v e r , i t i s n a t u r a l t o t h e d e g r e e t h a t t h e y w e r e d e s i g n i n g , c o n d u c t i n g , a n d a p p l y i n g t h e n e e d s a s s e s s m e n t r e s u l t s f o r t h e i r a c t u a l w o r k e n v i r o n m e n t s a s p a r t o f a f e l l o w s h i p t h e y h a d j o i n e d f o r t h a t p u r p o s e . T h e R e e e e g e h e r e s t h e K e y I n e t r u m e n t B o g d a n 8 r B i k l e n ' s r e f e r e n c e t o t h e r e s e a r c h e r a s t h e " k e y i n s t r u m e n t " i s a n a c k n o w l e d g m e n t t h a t t h e r e s e a r c h d e s i g n , d a t a c o l l e c t i o n , a n d a n a l y s i s c a n b e i n fl u e n c e d b y t h e r e s e a r c h e r . A s a n e x a m p l e , t h e d a t a c o l l e c t i o n i n t h i s s t u d y w a s d e p e n d e n t u p o n w h a t t h e i n v e s t i g a t o r p e r c e i v e d a n d r e c o r d e d . Q u a l i t a t i v e r e s e a r c h e r s m u s t b e a b l e t o r e c o g n i z e a n d , a s m u c h a s p o s s i b l e , fi l t e r o u t p e r s o n a l a s s u m p t i o n s a n d b i a s e s i n o r d e r t o u n d e r s t a n d a n e v e n t f r o m t h e p a r t i c i p a n t s ' p o i n t s o f v i e w . A s p a r t o f t h e c o n t r o l o v e r t h e r e s e a r c h e r ' s i n t e r a c t i o n w i t h t h e d a t a , t h e r e s e a r c h e r a l s o s h o u l d c o l l e c t d a t a o n t h o u g h t s a n d f e e l i n g s d u r i n g t h e s t u d y . T h e r e f o r e , t h e d a t a c o l l e c t e d f r o m p a r t i c i p a n t s a n d t h e i n v e s t i g a t o r ' s o w n t h o u g h t s a n d f e e l i n g s w e r e c o n s i d e r e d w h e n a n a l y z i n g d a t a i n t h e p r e s e n t s t u d y . u 1 v R e e r h I s D e s c r i t i v e B o g d a n & B i k l e n ' s s e c o n d p o i n t , t h a t q u a l i t a t i v e r e s e a r c h i s d e s c r i p t i v e , w a s c l e a r l y u s e f u l i n a c c o m p l i s h i n g t h e p u r p o s e o f t h i s s t u d y . V e r b a l d e s c r i p t i o n s w e r e t h e b e s t a v a i l a b l e m e d i u m f o r c a p t u r i n g t h e p a r t i c i p a n t s ' b e h a v i o r s a n d p e r c e p t i o n s a s t h e y w e n t t h r o u g h t h e n e e d s a s s e s s m e n t p r o c e s s . M o s t o f t h e d a t a o n t h e p a r t i c i p a n t s a n d t h e c o n t e x t w e r e c a p t u r e d i n w o r d s . I n s o m e q u a l i t a t i v e s t u d i e s , p o r t i o n s o f t h e i n f o r m a t i o n m a y b e s u m m a r i z e d i n s i m p l e n u m e r i c a l f o r m s ( i n s y n o p s e s ) s u c h a s f r e q u e n c y c o u n t s , t i m e p e r c e n t a g e s , a n d 5 6 q u e s t i o n n a i r e r e s u l t s . B u t i n q u a l i t a t i v e r e s e a r c h , n u m b e r s a r e u s e d p r i m a r i l y t o s u p p o r t n a r r a t i v e d e s c r i p t i o n s o f e v e n t s a n d b e h a v i o r s . T h e u n d e r s t a n d i n g s t h a t h a v e b e e n g e n e r a t e d f r o m t h i s s t u d y m o s t o f t e n w i l l b e r e p o r t e d i n q u o t a t i o n s a n d d e s c r i p t i o n s o f b e h a v i o r r a t h e r t h a n b e i n g r e d u c e d t o n u m b e r s . W h e n a p p r o p r i a t e , s y n o p s e s i n c l u d i n g f r e q u e n c i e s a n d p e r c e n t a g e s w i l l b e p r e s e n t e d . C e n e e r n w i t h P r o e e s s T h e t h i r d c h a r a c t e r i s t i c , t h e c o n c e r n i n q u a l i t a t i v e r e s e a r c h w i t h p r o c e s s o v e r o u t c o m e s o r p r o d u c t s . i s s u i t a b l e f o r s t u d y i n g t h e p r o c e s s o f n e e d s a s s e s s m e n t . A l t h o u g h t h e o u t c o m e s o f n e e d s a s s e s s m e n t w e r e a n i m p o r t a n t e l e m e n t o f t h e s t u d y , a m a j o r c o n c e r n w a s t h e p r o c e s s e s b y w h i c h t h e o u t c o m e s w e r e d e t e r m i n e d . M a n y q u a l i t a t i v e s t u d i e s h a v e d e m o n s t r a t e d t h a t f o c u s i n g o n p r o c e s s c a n g e n e r a t e a n u n d e r s t a n d i n g o f h o w t h e o u t c o m e o c c u r s , s u c h a s t h e q u a l i t a t i v e s t u d i e s o f s e l f - f u l fi l l i n g p r o p h e s i e s ( B o g d a n & B i k l e n , 1 9 8 2 ) . D a t e , A r e A n a l y z e d I n d u c t i v e l y B o g d a n & B i k l e n ' s f o u r t h c h a r a c t e r i s t i c o f a n a l y z i n g d a t a i n d u c t i v e l y i s p a r t i c u l a r l y s u i t e d t o t h e p u r p o s e o f t h i s s t u d y w h i c h r e q u i r e d a r e s e a r c h a p p r o a c h c a p a b l e o f g e n e r a t i n g t h e o r y . N u m e r o u s a u t h o r s d e s c r i b e q u a l i t a t i v e r e s e a r c h a s b e i n g fl e x i b l e , a l l o w i n g a r e s e a r c h e r t o a d j u s t r e s e a r c h d e s i g n a n d m e t h o d o l o g r i n t h e p r o c e s s o f c o n s t r u c t i n g t h e o r y . T h i s i n v e s t i g a t o r f e e l s t h a t t h e r e i s n o t e n o u g h e x i s t i n g r e s e a r c h o n t h e n e e d s a s s e s s m e n t p r o c e s s t o g e n e r a t e h y p o t h e s e s w h i c h c o u l d b e p r o v e d o r d i s p r o v e d i n t h i s s t u d y . I n s t e a d , a " b o t t o m u p " a p p r o a c h , i n w h i c h t h e o r y i s d e v e l o p e d a n d a d j u s t e d a s d a t a a r e c o l l e c t e d , i s a p p r o p r i a t e . G l a s e r a n d S t r a u s s ' ( 1 9 6 7 ) " g r o u n d e d 5 7 t h e o r y " i n w h i c h d a t a c o l l e c t e d e a r l i e r i n t h e r e s e a r c h d i r e c t t h e l a t e r c o u r s e o f t h e r e s e a r c h p r o v i d e s j u s t i fi c a t i o n f o r t h i s a p p r o a c h . M e e g i n g I s e f E s s e n t i a l C o n c e r n F i n a l l y , B o g d a n & B i k l e n ' s fi f t h c h a r a c t e r i s t i c , t h e p r i m a r y c o n c e r n w i t h " m e a n i n g , " r e l a t e s t o t h e h e a r t o f t h e i n t e n d e d s t u d y . Q u a l i t a t i v e r e s e a r c h i s b a s e d i n t h e p h e n o m e n o l o g i c a l a p p r o a c h w h i c h s t r i v e s t o c a p t u r e p a r t i c i p a n t p e r s p e c t i v e s a s a c c u r a t e l y a s p o s s i b l e . T h e q u a l i t a t i v e r e s e a r c h e r i s i n t e r e s t e d i n u n d e r s t a n d i n g h o w p a r t i c i p a n t s t h i n k a n d d e v e l o p t h e p e r s p e c t i v e s t h a t t h e y h o l d - - o r t h e " m e a n i n g " p e o p l e g i v e t o t h e i r e x p e r i e n c e s . T h i s i s i m p o r t a n t t o a l l q u a l i t a t i v e r e s e a r c h e r s b e c a u s e t h e y b e l i e v e h u m a n s d o n o t r e a c t d i r e c t l y t o s t i m u l i , b u t t h a t p a r t i c i p a n t s fi l t e r s t i m u l i a n d c h o o s e r e s p o n s e s a c c o r d i n g t o t h e i r p e r c e p t i o n s . Q u a l i t a t i v e r e s e a r c h e r s a c c e p t W e b e r ' s p r e m i s e t h a t " t h e s i g n i fi c a n c e o f c u l t u r a l e v e n t s p r e s u p p o s e s a v a l u e - o r i e n t a t i o n t o w a r d s t h e s e e v e n t s " [ 1 9 4 9 , p . 7 6 ] a n d a t t e m p t t o u n d e r s t a n d w h a t i s s i g n i fi c a n t f r o m t h e p a r t i c i p a n t ' s " v a l u e - o r i e n t a t i o n " o r p e r s p e c t i v e . T h i s a p p r o a c h i s s u p p o r t e d b y B l u m e r ' s ( 1 9 6 2 ) c o n c e p t o f s y m b o l i c i n t e r a c t i o n w h i c h a r g u e s t h a t p a r t i c i p a n t o b s e r v a t i o n i s b e t t e r t h a n d e t a c h m e n t f o r c o n t r o l l i n g b i a s , a n d u n d e r s t a n d i n g w h a t i s r e a l l y g o i n g o n i n a g i v e n s i t u a t i o n . S i n c e t h e p u r p o s e o f t h i s s t u d y w a s t o b e t t e r u n d e r s t a n d t h e p r o c e s s a n d o u t c o m e s o f n e e d s a s s e s s m e n t s i n a c t u a l p r a c t i c e , a q u a l i t a t i v e a p p r o a c h w h i c h a i m e d t o d e s c r i b e a n d e x p l a i n t h e " m e a n i n g " o f w h a t w a s g o i n g o n f r o m t h e p r a c t i t i o n e r ' s p e r s p e c t i v e w a s m o s t a p p r o p r i a t e . A s d e m o n s t r a t e d a b o v e , e a c h o f t h e fi v e k e y c h a r a c t e r i s t i c s o f t h e q u a l i t a t i v e a p p r o a c h a r e s u i t e d t o t h i s s t u d y . T h e i n v e s t i g a t o r s t u d i e d 5 8 t h e p a r t i c i p a n t s i n a n a t u r a l s e t t i n g a n d u s e d h e r s e l f a s t h e k e y d a t a c o l l e c t i o n i n s t r u m e n t . T h e r e s u l t s a r e r e p o r t e d i n n a r r a t i v e f o r m . T h e m a j o r f o c u s o f t h e s t u d y ' s r e s e a r c h q u e s t i o n s i s w i t h p r o c e s s r a t h e r t h a n o u t c o m e s o r p r o d u c t s . S o l i t t l e h a s b e e n c o n d u c t e d o n t h i s r e s e a r c h t o p i c t h a t i n d u c t i v e a n a l y s i s i s p r e f e r r e d o v e r h y p o t h e s i s t e s t i n g . F i n a l l y , a n d p e r h a p s m o s t i m p o r t a n t , t h e c o n c e r n w i t h m e a n i n g ( f r o m t h e q u a l i t a t i v e a p p r o a c h ) i s d i r e c t l y r e l a t e d t o t h e p u r p o s e o f t h e s t u d y . I n o r d e r t o t r u l y u n d e r s t a n d h o w i n d i v i d u a l s c o n d u c t n e e d s a s s e s s m e n t s a n d w h a t t h e y g e t o u t o f t h e e x p e r i e n c e , i t i s n e c e s s a r y t o u n d e r s t a n d w h a t t h e p r o c e s s m e a n s t o t h o s e i n d i v i d u a l s . Q fl i l f fl fl m F Q R E V A L U A T I N G Q U A L I T A T I V E R E § E A R Q H B u t b a s i c a l l y , t h e r e i s o n l y o n e r e q u i r e m e n t f o r r e s e a r c h : t h a t y o u c a n p e r s u a d e o t h e r s t h a t y o u h a v e i n d e e d m a d e a c r e d i b l e d i s c o v e r y w o r t h p a y i n g a t t e n t i o n t o . T e s c h ( 1 9 9 0 , p . 7 1 ) V a r i o u s a u t h o r s d e s c r i b e h o w q u a l i t a t i v e r e s e a r c h d i f f e r s f r o m m o r e q u a n t i t a t i v e f o r m s o f r e s e a r c h . L i n c o l n & C u b a ( 1 9 8 5 ) a s s e r t t h a t b e c a u s e t h e t w o r e s e a r c h t r a d i t i o n s o p e r a t e o n d i f f e r e n t p a r a d i g m s , i t i s n o t a p p r o p r i a t e t o j u d g e q u a l i t a t i v e r e s e a r c h b y t r a d i t i o n a l l y q u a n t i t a t i v e s t a n d a r d s . T h e r e f o r e , t h e y p r o p o s e f o u r c r i t e r i a f o r e s t a b l i s h i n g t h e " t r u s t w o r t h i n e s s " o f a l l r e s e a r c h , t h e n d e s c r i b e h o w t h e s e c r i t e r i a a r e a c c o m p l i s h e d d i f f e r e n t l y i n q u a l i t a t i v e r e s e a r c h . T a b l e 3 l i s t s e a c h o f t h e f o u r c r i t e r i a o f t m s t w o r t h i n e s s a n d c o m p a r e s h o w t h e y a r e e s t a b l i s h e d i n q u a n t i t a t i v e a n d q u a l i t a t i v e r e s e a r c h . 5 9 T a b l e 3 C r i t e r i a f o r E s t a b l i s h i n g T r u s t w o r t h i n e s s o f R e s e a r c h Q g g g t i t e t i v e R e g e a r c h , 9 _ v e r a r c h i n g Q r i t e r i e Q u a l i t e t i v e R e e e g e h I n t e r n a l v a l i d i t y T r u t h v a l u e C r e d i b i l i t y E x t e r n a l v a l i d i t y A p p l i c a b i l i t y T Y a n s f e r a b i l i t y R e p l i c a b i l i t y C o n s i s t e n c y D e p e n d a b i l i t y O b j e c t i v i t y N e u t r a l i t y C o n fi r m a b i l i t y I n t h i s q u a l i t a t i v e s t u d y , t h e d e s i g n , d a t a c o l l e c t i o n , a n d a n a l y s i s p r o c e s s e s w e r e g u i d e d b y m e t h o d s f o r e s t a b l i s h i n g t r u s t w o r t h i n e s s . A d e s c r i p t i o n o f h o w e a c h o f t h e c r i t e r i a w e r e i m p l e m e n t e d i n t h i s s t u d y f o l l o w s . Q r e g i b i l i t y C r e d i b i l i t y r e f e r s t o t h e d e g r e e t o w h i c h t h e r e a d e r c a n t r u s t t h a t t h e s t u d y i s a " t r u t h f u l " r e p r e s e n t a t i o n o f t h e p h e n o m e n a o f i n t e r e s t . I n t h i s s t u d y , t h e t e c h n i q u e s o f p r o l o n g e d e n g a g e m e n t , t r i a n g u l a t i o n , n e g a t i v e c a s e a n a l y s i s , p e e r d e b r i e fi n g s , a n d m e m b e r c h e c k s w e r e u s e d t o e s t a b l i s h c r e d i b i l i t y . F i r s t , t h e s t u d y w a s c o n d u c t e d o v e r a p r o l o n g e d p e r i o d o f t i m e s o t h a t t h e i n v e s t i g a t o r c o u l d l e a r n a b o u t t h e c o n t e x t a n d b u i l d t r u s t w i t h t h e p a r t i c i p a n t s . T h i s p r a c t i c e m a d e i t l e s s l i k e l y t h a t r e s p o n d e n t s d i s t o r t e d t h e i r b e h a v i o r i n t h e i n v e s t i g a t o r ' s p r e s e n c e . T r i a n g u l a t i o n w a s a c c o m p l i s h e d b y c o m p a r i n g d a t a c o l l e c t e d f r o m d i f f e r e n t s o u r c e s a n d t h r o u g h d i f f e r e n t m e t h o d s . N e g a t i v e c a s e a n a l y s i s o c c u r r e d w h e n fi n d i n g s g e n e r a t e d f r o m s o m e p o r t i o n o f t h e d a t a w e r e t h e n c o m p a r e d t o d i f f e r e n t c a s e s . I n t h i s w a y , t h e fi n d i n g s w e r e r e fi n e d 6 0 u n t i l t h e y c o u l d a c c o u n t f o r a l l t h e c a s e s . P e e r d e b r i e f ‘ m g s t e s t e d w o r k i n g fi n d i n g s o n o t h e r p e o p l e , w o r k e d o u t s o m e o f t h e m e t h o d o l o g i c a l c h a l l e n g e s t h a t a r o s e , a n d v e n t e d f e e l i n g s t h a t c o u l d i m p a i r j u d g m e n t . A n d fi n a l l y , m e m b e r c h e c k s i n w h i c h p a r t i c i p a n t s r e s p o n d e d t o w h a t w a s b e i n g d i s c o v e r e d o c c u r r e d t h r o u g h o u t t h e s t u d y . m m T h e c r i t e r i a o f t r a n s f e r a b i l i t y h e l p s t h e r e a d e r d e t e r m i n e h o w a p p l i c a b l e t h e fi n d i n g s o f a p a r t i c u l a r s t u d y m a y b e t o a n o t h e r c o n t e x t o r g r o u p o f s u b j e c t s . I n q u a l i t a t i v e r e s e a r c h , t h i s i s a c c o m p l i s h e d b y p r o v i d i n g " t h i c k d e s c r i p t i o n , " v i v i d p r o s e p a s s a g e s , a n d s y n o p s e s t o d e s c r i b e b o t h t h e p h e n o m e n a o f i n t e r e s t a n d t h e c o n t e x t a n d s u b j e c t s . I n t h i s w a y , q u a l i t a t i v e r e s e a r c h e r s a r e n o t r e q u i r e d t o s a y h o w t h e i n f o r m a t i o n i n a s t u d y m a y b e u s e d ( e x t e r n a l v a l i d i t y ) . R a t h e r , t h e y a r e r e s p o n s i b l e f o r s u p p l y i n g a d a t a b a s e t h a t i s r i c h e n o u g h i n d e t a i l s s o t h a t r e a d e r s m a y d e t e r m i n e f o r t h e m s e l v e s w h a t m a y b e t r a n s f e r a b l e . T h e p r e s e n t s t u d y s u p p o r t s fi n d i n g s w i t h t h i c k d e s c r i p t i o n s o t h a t r e a d e r s m a y d e t e r m i n e t r a n s f e r a b i l i t y f o r t h e m s e l v e s . D e p e n d a b i l i t y D e p e n d a b i l i t y r e f e r s t o t h e l i k e l i h o o d t h a t t h e s t u d y i s c o n s i s t e n t : i n o t h e r w o r d s . s i m i l a r fi n d i n g s w o u l d b e g e n e r a t e d f r o m s i m i l a r r e s p o n d e n t s i n a s i m i l a r c o n t e x t . E s t a b l i s h i n g d e p e n d a b i l i t y f o r q u a l i t a t i v e r e s e a r c h d i f f e r s f r o m e s t a b l i s h i n g r e l i a b i l i t y i n q u a n t i t a t i v e r e s e a r c h b e c a u s e t h e q u a l i t a t i v e a p p r o a c h a s s u m e s t h a t r e s p o n d e n t s a n d c o n t e x t a r e c o n s t a n t l y c h a n g i n g ; t h e r e f o r e , n o s t u d y c a n b e r e p e a t e d e x a c t l y . ( T h i s i s m u c h l i k e " Y o u c a n n o t s t e p i n t o t h e s a m e r i v e r t w i c e " ) D e p e n d a b i l i t y w a s a d d r e s s e d i n t h i s s t u d y b y l e a v i n g a d a t a t r a i l w h i c h 6 1 c o u l d b e u s e d t o c o n d u c t a n i n q u i r y a u d i t o f b o t h t h e p r o c e s s e s a n d p r o d u c t s o f t h e s t u d y . Q e n fi r m e b i l i t y F i n a l l y , c o n fi r m a b i l i t y r e f e r s t o t h e d e g r e e t o w h i c h a s t u d y ' s fi n d i n g s a r e t h e r e s u l t s o f t h e p a r t i c i p a n t s a n d t h e c o n t e x t a n d n e t i n fl u e n c e d b y t h e r e s e a r c h e r ' s b i a s e s . C o n fi r m a b i l i t y w a s e s t a b l i s h e d i n t h i s s t u d y t h r o u g h c o n fi r m a b i l i t y a u d i t s , t r i a n g u l a t i o n , a n d a r e fl e c t i o n j o u r n a l . T h e i n v e s t i g a t o r m a i n t a i n e d a d a t a t r a i l w h i c h c o u l d b e c l o s e l y e x a m i n e d t o d e t e r m i n e w h e r e a n d h o w b i a s e s w e r e i n t r o d u c e d . P o r t i o n s o f t h e d a t a w e r e r e v i e w e d b y p e o p l e n o t i n v o l v e d i n t h e s t u d y t o s e e i f t h e y c o n c u r r e d w i t h t h e i n v e s t i g a t o r ' s i n s i g h t s . T r i a n g u l a t i o n , m e n t i o n e d a b o v e a s t h e c o l l e c t i o n o f d a t a f r o m m u l t i p l e s o u r c e s t h r o u g h m u l t i p l e m e t h o d s t o e s t a b l i s h c r e d i b i l i t y , a l s o o p e r a t e d a s a c o n t r o l o n b i a s . A s p e c i fi c e x a m p l e o f t r i a n g u l a t i o n i s t h e c o m p a r i s o n o f t h e i n v e s t i g a t o r ' s p e r c e p t i o n s o f t h e p a r t i c i p a n t s a n d s e t t i n g w i t h t h a t o f a p e e r o b s e r v e r a s d e s c r i b e d i n C h a p t e r I V , ' T h e P a r t i c i p a n t s a n d S e t t i n g . " T h e i n v e s t i g a t o r k e p t a c o l l e c t i o n o f h e r t h o u g h t s . f e e l i n g s a n d f r u s t r a t i o n s d u r i n g t h e c o u r s e o f t h e s t u d y i n a r e fl e c t i o n j o u r n a l . T h i s j o u r n a l n o t o n l y f o r m e d p a r t o f t h e d a t a t r a i l , i t w a s a l s o u s e d b y t h e i n v e s t i g a t o r a s a n i n d i c a t o r o f w h e r e f e e l i n g s o r p e r s p e c t i v e s m a y h a v e t h r e a t e n e d t h e n e u t r a l i t y o f t h e r e s e a r c h . T h e d e s i g n a n d i m p l e m e n t a t i o n o f t h e p r e s e n t s t u d y a r e p r e s e n t e d i n t h e r e m a i n d e r o f t h i s c h a p t e r . 6 2 m E A R Q H S I T E A N D S A M P L E T h e fi t t i n g e n d P e m e i p a n t s T h i s s t u d y w a s d e s i g n e d t o p r o v i d e a d e s c r i p t i o n a n d e x p l a n a t i o n o f t h e p r o c e s s a n d o u t c o m e s o f n e e d a s s e s s m e n t s a s t h e y o c c u r i n a c t u a l p r a c t i c e . T h e f o c u s w a s o n t h e n e e d s a s s e s s m e n t s o f 1 4 p h y s i c i a n s c o n d u c t e d a s p a r t o f a c u r r i c u l u m d e v e l o p m e n t e f f o r t i n a m e d i c a l e d u c a t i o n s e t t i n g . T h e s e t t i n g o f t h e s t u d y w a s a f a c u l t y d e v e l o p m e n t f e l l o w s h i p f o r p r i m a r y c a r e p h y s i c i a n s e m p l o y e d i n m e d i c a l e d u c a t i o n . A p p r o x i m a t e l y t w e n t y p h y s i c i a n s i n p r i m a r y c a r e ( p e d i a t r i c s , f a m i l y m e d i c i n e , o r i n t e r n a l m e d i c i n e ) p a r t i c i p a t e i n t h e f e l l o w s h i p e a c h y e a r . T h e s e p h y s i c i a n s ( t o b e r e f e r r e d t o a s " f e l l o w s " ) a r e f r o m a l l o v e r t h e U n i t e d S t a t e s a s w e l l a s P u e r t o R i c o . T h e f e l l o w s h i p c o n s i s t s o f t w o c o m p o n e n t s . F o r t h e fi r s t c o m p o n e n t , t h e f e l l o w s a t t e n d fi v e w e e k s o f o n — c a m p u s t r a i n i n g i n f o u r s e s s i o n s s p a c e d b e t w e e n S e p t e m b e r a n d J u n e ( R e f e r t o A p p e n d i x C f o r s a m p l e s c h e d u l e s ) . F o r t h e s e c o n d c o m p o n e n t , i n b e t w e e n t h e f o u r s e s s i o n s . f e l l o w s c o m p l e t e a s s i g n m e n t s a n d a m a j o r p r o j e c t a t t h e i r h o m e i n s t i t u t i o n w h i l e c a r r y i n g o n t h e i r u s u a l r o l e s a t w o r k . F e l l o w s a t t e n d w o r k s h o p s a n d c o m p l e t e a s s i g n m e n t s a c c o r d i n g t o w h i c h o f t h r e e a v a i l a b l e f e l l o w s h i p t r a c k s t h e y s e l e c t . T h e e l i g i b l e s u b j e c t s f o r t h i s s t u d y w e r e t h e 1 4 f e l l o w s w h o s e l e c t e d t h e " c u r r i c u l u m t r a c k . " T h e s e " c u r r i c u l u m f e l l o w s " a t t e n d e d a h a l f - d a y w o r k s h o p o n n e e d s a s s e s s m e n t , d e s i g n e d a n d c o n d u c t e d a n e e d s a s s e s s m e n t a s a n a s s i g n m e n t , t h e n i n c o r p o r a t e d n e e d s a s s e s s m e n t r e c o m m e n d a t i o n s i n t o t h e i r r e q u i r e d fi n a l p r o j e c t , a c u r r i c u l u m d o c u m e n t w i t h a n o v e r v i e w o f t h e e n t i r e c u r r i c u l u m a n d a d e t a i l e d d e s c r i p t i o n o f a s i n g l e u n i t o f i n s t r u c t i o n . 6 3 T h e f e l l o w s w e r e i n f o r m e d o f t h e s t u d y i n a p r e s e n t a t i o n a n d i n v i t e d t o p a r t i c i p a t e . A l l o f t h e f e l l o w s a g r e e d t o p a r t i c i p a t e i n t h i s s t u d y ( r e f e r t o A p p e n d i x D f o r s a m p l e c o n s e n t f o r m s ) . T h i s a l l o w e d t h e i n v e s t i g a t o r t o c o l l e c t d a t a o n a l l f o u r t e e n f e l l o w s w h o h a d s e l e c t e d t h e c u r r i c u l u m t r a c k ( t o b e r e f e r r e d t o a s " p a r t i c i p a n t s " ) a s w e l l a s t h e s e v e n f e l l o w s i n t h e r e s e a r c h t r a c k w h o w o u l d o f t e n b e i n t e r a c t i n g w i t h t h e p a r t i c i p a n t s . D a t a w e r e c o l l e c t e d t h r o u g h o b s e r v a t i o n s , i n t e r v i e w s , a n d d o c u m e n t s , a n d a l l 1 4 c a s e s w e r e c o m p a r e d f o r c o n fi r m i n g a n d d i s c o n fi r m i n g e v i d e n c e o f fi n d i n g s . § e l e e g e g Q e n e i d e r a t i o n s T h e c o n t e x t w a s c o n s i d e r e d a p p r o p r i a t e f o r t h e s t u d y b e c a u s e i t p r e s e n t e d t h e r e l a t i v e l y r a r e o p p o r t u n i t y t o s t u d y i n d i v i d u a l s l e a r n i n g a b o u t , c o n d u c t i n g , a n d a p p l y i n g r e s u l t s o f t h e i r fi r s t n e e d s a s s e s s m e n t s . T h e c o n t e x t a n d p a r t i c i p a n t s a l s o w e r e c h o s e n f o r t h e s t u d y b a s e d o n t h e m o r e p r a g m a t i c c r i t e r i a o f a c c e s s . H a m m e r s l e y & A t k i n s o n ( 1 9 8 3 ) i d e n t i f y t h r e e m a i n a c c e s s i s s u e s f o r q u a l i t a t i v e r e s e a r c h : 1 ) n e g o t i a t i n g e n t r y t o t h e s i t e w i t h g a t e k e e p e r s , 2 ) m a i n t a i n i n g u n o b t r u s i v e p r e s e n c e a t t h e s i t e t h r o u g h a p p r o p r i a t e a c t i v i t y , a n d 3 ) b e i n g t r u s t e d b y t h e s u b j e c t s . T h e i n v e s t i g a t o r h a d r e a d y a c c e s s t o t h e p r o p o s e d s i t e a n d s u b j e c t s a s s h e w a s e m p l o y e d b y t h e f e l l o w s h i p i n t h e r o l e o f g r a d u a t e a s s i s t a n t . S i t e g a t e k e e p e r s i n d i c a t e d t h a t s h e w o u l d b e a l l o w e d t o o b s e r v e f e l l o w s h i p a c t i v i t i e s , i n t e r v i e w p a r t i c i p a n t s w i t h t h e i r p e r m i s s i o n , a n d u s e d o c u m e n t s g e n e r a t e d b y p a r t i c i p a n t s f o r h e r s t u d y . T h e r o l e o f g r a d u a t e a s s i s t a n t j u s t i fi e d t h e i n v e s t i g a t o r ' s p r e s e n c e w h e n m a k i n g o b s e r v a t i o n s a n d p r o v i d e d o p p o r t u n i t i e s f o r i n f o r m a l i n t e r a c t i o n s w i t h t h e p a r t i c i p a n t s . A n d , fi n a l l y , t h e i n v e s t i g a t o r h a d r e a s o n t o s u p p o s e 6 4 t h a t h e r r e l a t i o n s h i p w i t h p a r t i c i p a n t s w a s b a s e d u p o n t r u s t a n d w o u l d f a c i l i t a t e c o l l e c t i o n o f a c c u r a t e d a t a . T h e i n v e s t i g a t o r ' s d u a l r o l e a s b o t h a s s i s t a n t a n d o b s e r v e r p r e s e n t e d a m a j o r t h r e a t t o t h e v a l i d i t y o f t h e s t u d y . H o w e v e r , t h i s t h r e a t i s c o m m o n i n q u a l i t a t i v e s t u d i e s e m p l o y i n g p a r t i c i p a n t o b s e r v a t i o n . A s m e n t i o n e d e a r l i e r , B l u m e r ' s ( 1 9 6 2 ) t h e o r y o f s y m b o l i c i n t e r a c t i o n a s s e r t s t h a t t h e p o t e n t i a l b e n e fi t s f r o m w o r k i n g w i t h a n d a m o n g t h e p a r t i c i p a n t s a r e w e l l w o r t h t h e r i s k s t o v a l i d i t y ( a n d , i n f a c t , p r e v e n t s a f a r w o r s e f o r m o f b i a s ) . I n m o s t i n s t a n c e s , t h e i n v e s t i g a t o r ' s p a i d r o l e a s a h e l p e r b l e n d e d w e l l w i t h h e r d e s i r e a s a r e s e a r c h e r t o n o n - j u d g e m e n t a l l y u n d e r s t a n d w h a t w a s g o i n g o n f r o m t h e p a r t i c i p a n t s ' p e r s p e c t i v e s . 2 T h e i n v e s t i g a t o r u s e d a n u m b e r o f t e c h n i q u e s t o c o n t r o l t h e t h r e a t t o v a l i d i t y a n d e s t a b l i s h t r u s t a n d o p e n c o m m u n i c a t i o n w i t h t h e p a r t i c i p a n t s . A T A L L E I N U I D E S A N D P R E D U R E I n q u a l i t a t i v e s t u d i e s , d a t a c o l l e c t i o n i s i n t e r t w i n e d w i t h a n a l y s i s . T h i s s t u d y w a s c o m p r i s e d o f a s e r i e s o f d a t a c o l l e c t i o n a n d a n a l y s i s p h a s e s . E a c h p h a s e w a s g u i d e d b y t h e o r y t h a t e m e r g e d i n p r e v i o u s p h a s e s . C o m p a r a t i v e a n a l y s i s , i n w h i c h fi n d i n g s a r e g e n e r a t e d b y e x a m i n i n g a n d c o m p a r i n g d a t a f r o m a n u m b e r o f c a s e s , w a s u s e d ( G l a s e r a n d S t r a u s s , 1 9 6 7 ; L i n c o l n 8 r C u b a , 1 9 8 5 ) . I n o r d e r t o r e s p o n d a p p r o p r i a t e l y t o t h e i n s i g h t s t h a t e m e r g e d f r o m t h e d a t a , a d j u s t m e n t s w e r e m a d e t o d a t a c o l l e c t i o n a n d a n a l y s i s t o o l s a n d t h e r e s e a r c h 2 S e e A p p e n d i x F . " P e e r O b s e r v e r ' s D e s c r i p t i o n " , f o r m o r e d e t a i l s . T h e p e e r o b s e r v e r c o r r o b o r a t e s t h e i n v e s t i g a t o r ' s o w n p e r c e p t i o n t h a t . w i t h a f e w e x c e p t i o n s . t h e i n v e s t i g a t o r ' s p r e s e n c e d i d n o t s i g n i f i c a n t l y a l t e r t h e p a r t i c i p a n t s ' b e h a v i o r s . 6 5 q u e s t i o n s a n d c o n c e p t u a l f r a m e w o r k w e r e r e v i s e d o v e r t h e c o u r s e o f t h e s t u d y ( S e e a p p e n d i x A f o r a d i s c u s s i o n o f t h e c h a n g e s ) . I n o r d e r t o e s t a b l i s h t h e t r u s t w o r t h i n e s s o f t h i s s t u d y , t h e d a t a c o l l e c t i o n p r o c e s s i n c l u d e d t h e c r e a t i o n o f a n a u d i t t r a i l d o c u m e n t i n g t h e s e c h a n g e s . T h e s t u d y i n v o l v e d c o l l e c t i n g d a t a f r o m a v a r i e t y o f s o u r c e s o v e r a p e r i o d o f t i m e . I n t h e n e x t s e c t i o n s , a n o v e r v i e w o f t h e t i m e s e q u e n c e a n d t h e m e t h o d o f c o m p a r a t i v e a n a l y s i s a r e f o l l o w e d b y a d e t a i l e d d e s c r i p t i o n o f t h e d a t a c o l l e c t i o n a n d a n a l y s i s t e c h n i q u e s . R e f e r t o T a b l e 4 f o r a v i s u a l d i s p l a y o f t h e p h a s e s o f t h e s t u d y . m u n c T h i s s t u d y w a s d e s i g n e d t o c o l l e c t a n d a n a l y z e d a t a i n fi v e p h a s e s s p a n n i n g a t e n m o n t h p e r i o d . T h e fi r s t p h a s e b e g a n w i t h d a t a c o l l e c t i o n i n t h e p e r i o d o f S e p t e m b e r 8 - 1 5 , 1 9 9 2 w h e n t h e p a r t i c i p a n t s a r r i v e d f o r t h e i r fi r s t o n - c a m p u s f e l l o w s h i p s e s s i o n . T h e m o s t g e n e r a l f o r m s o f d a t a c o l l e c t e d a t t h i s t i m e i n c l u d e d b a c k g r o u n d s o f t h e p a r t i c i p a n t s a n d d e s c r i p t i o n s o f t h e c o n t e x t . M o r e f o c u s e d d a t a w e r e c o l l e c t e d b e t w e e n S e p t e m b e r 1 6 a n d 1 8 i n t h e s e c o n d d a t a c o l l e c t i o n p h a s e , w h e n t h e p a r t i c i p a n t s w e r e e x p o s e d t o n e e d s a s s e s s m e n t c o n c e p t s a n d m e t h o d s i n a w o r k s h o p a n d b e g a n d e s i g n i n g t h e i r n e e d s a s s e s s m e n t s . T h e t h i r d p h a s e o f t h e s t u d y o c c u r r e d b e t w e e n m i d - S e p t e m b e r a n d e a r l y N o v e m b e r w h e n p a r t i c i p a n t s c o n d u c t e d n e e d s a s s e s s m e n t s a t t h e i r h o m e i n s t i t u t i o n s . D a t a f r o m P h a s e s I a n d I I w e r e e x a m i n e d a n d i n t e r v i e w g u i d e s w e r e c o n s t r u c t e d t o c o l l e c t m o r e f o c u s e d i n f o r m a t i o n f r o m f a c u l t y a n d p a r t i c i p a n t s . P a r t i c i p a n t s w e r e c o n t a c t e d a t l e a s t o n c e d u r i n g t h i s t i m e p e r i o d t o c o l l e c t d a t a o n t h e i r p e r c e p t i o n s d u r i n g t h e 6 6 T a b l e 4 P h a s e s o f t h e S t u d y m e u r p o s e l n t e e r e w s O b s e r v a t i o n D o c u m e n t s " m - ' = W e . . . s c h i s m s t e m ” . . . . . . . W . . . o r s e : . 3 . . . . g e n e r a l d a t a o n c o n t e x t , S l l e v i s i t ” 9 ° " o n 1 E m p h a s i s o n r e l a t i o n s h p W o r k s h o p s , S e p t e m b e r a n d b a c k g n d 0 ‘ b u i l d i n g a n d d e v e l o p i n g ' L u n c h p e r i o d s N e e d s A s s e s s m e r l W ) I 1 5 p a r t l c p a n t s ( P S ) t r u s t . A l t e r h o u r s q u e s t i o n n a l r e t o a l P a ' M a j o r p r o j e c t d r a l t ' C o p i e s o f s o m e w o r k s h o p e x e r c i s e s n a t u r a l i s t s : R e a d t h r o u m e a r l y d a t a t o b e c o m e t a m l l l a r w i t h P a a n d c o n t e x t . a n d t o d l s c o v e r ' h o l e s ' w h e r e m o r e d a t a t o n e e d e d p h m n ; W : ° I n f o r m a l “ e r e c t i o n s ' N A w o r k s h o p ' 0 : 5 1 : 3 0 : ( fi r m i n g : P 3 . 0 g I M A s k i n g e l a b o r a t i o n o n P s ' ' F e e c b a c k s e s s i o n I n 9 ‘ ” : t h n g S e s s l o n 1 ° P s d e s i g n h g N A c o m m e n t s a n d b e h a v i o r s w h i c h N A w o r k s h o p l s S e p t e m b e r r e l a t e d t o N A e v a l u a t e d 1 6 ' 1 8 ' O t h e r t i m e s d u r i n g s e s s i o n Q a i a A n a t y s i s : P h a s e I I I ; ‘ E x a m i n e P h a s e I a t I I d a t a t o c o n s t r u c t l n t e r v l e w g u i d e s T u “ . W : ' P h o n e I n t e r v i e w w i t h M ” W h i t e P s a r e i t p r o c e s s a t p a r t i c i p a n t s b . n c o n d u c t i n g N A a t h o m e , m e l o n s m m “ I n t e r v i e w s w i t h I e l l o w s h i p t a c u l t y w h o a r e m e n t o r s a t P 3 W : ' P o s t I n t e r v i e w s l b e g l g t o c o n s t r u c t c a s e s a n d c o m p a r e t h e m t o g e n e r a t e t e n t a t l v e h y p o t h e s e s P h a e e I V : W a t ' I n f o r m a l I n t e r a c t i o n s . : 1 S t e m ? $ s ‘ p : ) > : ‘ n t s I n t i m e ' W r i t t e n N A r e p o r t p r o c e s s 0 c o m e s , A n n o t a t e d B b l l o g r w h y S e s s i o n 2 0 ' n o w c o m p l e t e d M ' T a p e m e n t o r g r o u p a s s t g n r n e m N o v e m b e r m e e t i n g d i s c u s s i n g n e e d s 2 ‘ a s s e s s m e n t p r o c e s s a n d o u t c o m e s T l m e W : ' P h o n e c o n v e r s a t i o n s ‘ F i n a l p r o j e c t c o n t r a c t T h r o u g h I n t o r m a l w i t h P s 3 3 : “ : I n t e r a c t i o n w i t h P 3 a n d , C I t w i t h l e l l o w s h ' p l a c u l t y t o a d d o n v e r s a o n s d e t a i l s , c l e a r u p t e l l o w s h t p l a c u l t y c o n f u s i o n s W i s : ' C o n s t r u c t I n d l v l d u a l c a s e s t o r i e s a n d c o n p a r e t o r p a t t e r n s a n d t r e n d s ' I d e n t i t y h y p o t h e s e s t o b e c h e c k e d I r t t i n a l p h a s e a t d a t a c o l l e c t i o n p m ” v : W : ' I n f o r m a l l m e r a c t l o n s ' W o r k s h o p o n p e r s o n a l i t y ' C u r r i c u l u m d o c u m e r l ' S e e k c o n fi r m i n g a . . t y p e s ' E x i t l n t e r v u e w ' P e r s o n a l i t y t y p e h d c a t o r S e e e l o n 3 : l s c o ' n r t l r m l i n g i e v i d e n c e 0 ' ' S e l e c t e d t i m e s d u r i n g r e s u l t s F m ” y p o s e s s i o n 1 - s 1 9 9 3 ' O n p e r s o n a l i t y t y p e s T h r o u g h W W ' P h o n e c o n v e r s a t i o n s ' C o m e r e g c e J u n . 1 9 9 3 ° I n d i v i d u a l m e n b e r p r e s e n a n s c h e c k s ( J u n e , 1 9 9 3 ) ' P r e s e n t a t i o n o f s t u d y h y p o t h e s e s t o P 5 ( J u n e . 1 9 9 3 ) ( J u n e , 1 9 9 3 ) 0 3 1 3 m m : ' F u l l b l o w n a n a l y s i s w i t h m e m b e r c h e c k s 6 7 a c t u a l n e e d s a s s e s s m e n t p r o c e s s . I n t h e l a t e r s t a g e s o f P h a s e I I I , d a t a f r o m P h a s e s 1 a n d I I w e r e c o m b i n e d w i t h d a t a c o l l e c t e d f r o m P h a s e 1 1 1 i n t e r v i e w s t o b e g i n t o c o n s t r u c t c a s e s t u d i e s a n d c o m p a r e t h e m t o g e n e r a t e t e n t a t i v e fi n d i n g s . T h e f o u r t h p h a s e b e g a n d u r i n g t h e w e e k o f N o v e m b e r 2 - 6 w h e n t h e p a r t i c i p a n t s w e r e a g a i n a t t e n d i n g a n o n - c a m p u s s e s s i o n . M u c h m o r e d e t a i l e d d a t a w e r e g a t h e r e d o n h o w t h e p a r t i c i p a n t s c o n d u c t e d t h e i r n e e d s a s s e s s m e n t s ( w h i c h h a d b e e n r e c e n t l y c o m p l e t e d ) . P h a s e I V c o n t i n u e d t h r o u g h t h e t w o - a n d - a - h a l f m o n t h t i m e p e r i o d b e t w e e n t h e N o v e m b e r a n d F e b r u a r y o n - c a m p u s s e s s i o n s . T h i s p e r i o d w a s p r i m a r i l y u s e d t o a n a l y z e d a t a , b u t p a r t i c i p a n t s w e r e c o n t a c t e d t o c l e a r u p d i s c r e p a n c i e s i n t h e d a t a o r s o l i c i t f e e d b a c k o n e m e r g i n g i n s i g h t s a s n e c e s s a r y . T h e fi f t h a n d fi n a l p h a s e o f t h e s t u d y b e g a n w i t h t h e w e e k o f F e b r u a r y 1 - 5 w h e n t h e p a r t i c i p a n t s r e t u r n e d f o r t h e i r t h i r d o n - c a m p u s s e s s i o n . E x i t i n t e r v i e w s w e r e c o n d u c t e d t o fi n d c o n fi r m i n g a n d d i s c o n fi r m i n g e v i d e n c e o f t h e fi n d i n g s t h a t h a d b e e n d e v e l o p e d f r o m a n a l y z i n g d a t a c o l l e c t e d d u r i n g e a r l i e r p h a s e s . D a t a w e r e a l s o g a t h e r e d i n t h e f o r m o f a n i n s t r u m e n t t o m e a s u r e p e r s o n a l i t y t y p e . I n t h e p e r i o d b e t w e e n F e b r u a r y a n d J u n e , a c o m p r e h e n s i v e a n a l y s i s w a s p e r f o r m e d i n w h i c h a l l f o r m s o f d a t a w e r e a g a i n e x a m i n e d t o d e v e l o p c a s e s t u d i e s w h i c h w e r e t h e n c o m p a r e d a n d c o n t r a s t e d . I n J u n e , w h e n t h e a n a l y s i s w a s a l m o s t c o m p l e t e d , t h e i n v e s t i g a t o r c o n d u c t e d m e m b e r c h e c k s t o c l e a r u p d i s c r e p a n c i e s i n t h e d a t a a n d s o l i c i t f e e d b a c k o n fi n d i n g s a n d c o n c l u s i o n s . 6 8 § a m p l i n g W i t h i n C a s e s T h i s s t u d y w a s d e s i g n e d t o c o l l e c t v a r i o u s t y p e s o f d a t a i n a m a n n e r t h a t a l l o w e d f o r s a m p l i n g w i t h i n t h e c a s e . H a m m e r s l e y & A t k i n s o n ( 1 9 8 3 ) d e s c r i b e t h e d e c i s i o n o f w h e r e a n d w h e n t o c o l l e c t d a t a , a s w e l l a s w h o m t o o b s e r v e o r a s k q u e s t i o n s a s " s a m p l i n g f r o m t h e d a t a a v a i l a b l e i n t h e c a s e . " T h e y g o o n t o s a y , " v e r y o f t e n t h i s s a m p l i n g i s u n w i t t i n g , b u t i t i s i m p o r t a n t t o m a k e t h e c r i t e r i a e m p l o y e d a s e x p l i c i t a n d a s s y s t e m a t i c a s p o s s i b l e . s o a s t o t r y t o e n s u r e t h a t t h e c a s e h a s b e e n a d e q u a t e l y s a m p l e d " ( p . 4 6 ) . T h e y i d e n t i f y t h e t h r e e m a j o r a r e a s t o b e s a m p l e d a s t i m e , p e o p l e . a n d c o n t e x t s . T i m e . I n o r d e r t o s a m p l e a c r o s s t i m e . a s d e s c r i b e d a b o v e , d a t a w e r e c o l l e c t e d d u r i n g fi v e t i m e p e r i o d s o v e r a t e n m o n t h p e r i o d c o v e r i n g b e f o r e , d u r i n g , a n d a f t e r t h e n e e d s a s s e s s m e n t s w e r e c o n d u c t e d . T i m e w i t h i n e a c h o f t h e s e p e r i o d s w a s a l s o s a m p l e d b y s e l e c t i n g a l i m i t e d n u m b e r o f e v e n t s t o o b s e r v e ( s u c h a s w o r k s h o p s , l u n c h p e r i o d s , o r b r e a k s ) . T h e r e w a s a n a t t e m p t t o c o l l e c t d a t a o n b o t h r o u t i n e a c t i v i t i e s a n d p a r t i c u l a r l y s a l i e n t e v e n t s d u r i n g t h i s t i m e s a m p l i n g . l i e g p l e . T h e r e w a s a l s o s a m p l i n g o f p e o p l e i n t h e s e t t i n g . M o r e d a t a w e r e c o l l e c t e d o n t h r e e s p e c i fi c p a r t i c i p a n t s w h o s e c o n n e c t i o n w i t h t h e i n v e s t i g a t o r a s t h e i r m e n t o r c r e a t e d m o r e o p p o r t u n i t i e s f o r i n t e r a c t i o n . H o w e v e r , t a b u l a t i o n s o f d a t a c o l l e c t e d w e r e m a i n t a i n e d t o i n s u r e t h a t t h e r e w a s e n o u g h d a t a c o l l e c t e d t h r o u g h i n t e r v i e w s , o b s e r v a t i o n s , a n d d o c u m e n t s o n a l l f o u r t e e n p a r t i c i p a n t s t o b e a b l e t o a d e q u a t e l y c o n s t r u c t t h e i r c a s e s t u d i e s . T h i s s a m p l i n g o f p e o p l e a l l o w e d a n i n s i g h t t h a t d e v e l o p e d f r o m o n e p a r t i c i p a n t t o b e t e s t e d a g a i n s t d a t a c o l l e c t e d o n t h e r e m a i n i n g p a r t i c i p a n t s , a t e c h n i q u e w i t h i n t h e m e t h o d c a l l e d c o m p a r a t i v e a n a l y s i s . S a m p l i n g o f p e o p l e a l s o e x t e n d e d t o 6 9 i n d i v i d u a l s i n t e r a c t i n g w i t h p a r t i c i p a n t s i n t h e s t u d y . T h i s i n c l u d e d c o l l e c t i n g d a t a f r o m o t h e r f e l l o w s w h o w e r e n o t i n t h e c u r r i c u l u m t r a c k , a s w e l l a s f r o m f e l l o w s h i p f a c u l t y a n d s t a f f . Q o n t e x t s . S a m p l i n g a c r o s s c o n t e x t s i s n e c e s s a r y b e c a u s e p e o p l e m a y b e h a v e d i f f e r e n t l y i n w h a t t h e y p e r c e i v e t o b e d i f f e r e n t c o n t e x t s . T h e s t u d y w a s d e s i g n e d t o s a m p l e a c r o s s c o n t e x t s b y c o l l e c t i n g d a t a i n a v a r i e t y o f f o r m a l a n d i n f o r m a l s i t u a t i o n s d u r i n g t h e o n - c a m p u s s e s s i o n s o f t h e f e l l o w s h i p , a s w e l l a s f r o m p a r t i c i p a n t s a t t h e i r h o m e i n s t i t u t i o n s . I n a d d i t i o n , d o c u m e n t s w e r e a l s o c o l l e c t e d a c r o s s a v a r i e t y o f c o n t e x t s i n c l u d i n g i n - p r o c e s s w o r k s h o p e x e r c i s e s a n d f o r m a l fi n a l r e p o r t s . m v A n s i S a m p l i n g w i t h i n c a s e s a c r o s s t i m e , p e o p l e , a n d c o n t e x t s y i e l d s d a t a t h a t m u s t t h e n b e a n a l y z e d i n o r d e r t o a r r i v e a t t h e k e y f a c t o r s w h i c h d e s c r i b e t h e p h e n o m e n a o f i n t e r e s t , o r s t u d y fi n d i n g s . I n t h e p r e s e n t s t u d y , fi n d i n g s w e r e g e n e r a t e d a n d v e r i fi e d b y a p r o c e s s o f c o m p a r a t i v e a n a l y s i s w h i c h i n v o l v e s c a t e g o r i z i n g d a t a t h r o u g h c o n v e r g e n t a n d d i v e r g e n t p r o c e s s e s . F i r s t , d a t a a r e c o n v e r g e d i n t o c a t e g o r i e s . T h e s e c a t e g o r i e s d e s c r i b e t h e p h e n o m e n a t h a t a r e r e l e v a n t t o a l l t h e d a t a c o n t a i n e d w i t h i n t h e c a t e g o r y . T h e n , i n a d i v e r g e n t p r o c e s s , t h e d a t a a r e r e v i e w e d a n d e a c h o f t h e c a t e g o r i e s a r e r e fi n e d u n t i l t h e y a c c o u n t f o r a l l t h e r e l e v a n t d a t a a n d e x c l u d e a l l o t h e r d a t a i n o t h e r c a t e g o r i e s . I n t h e p r e s e n t s t u d y , c o m p a r a t i v e a n a l y s i s w a s p e r f o r m e d p r i m a r i l y t h r o u g h t w o a c t i v i t i e s . F i r s t , t h e e n t i r e d a t a s e t f o r e a c h p a r t i c i p a n t w a s s e a r c h e d f o r i n s t a n c e s o f s u p p o r t i n g a n d c o n t r a d i c t o r y e v i d e n c e p r i o r t o a t t r i b u t i n g a d i s c o v e r y t o t h a t i n d i v i d u a l . T h i s m e a n s 7 0 t h a t o n t h e t a b l e s i n C h a p t e r V , " R e s e a r c h F i n d i n g s , " e v e r y i t e m a t t r i b u t e d t o a n i n d i v i d u a l ( u s u a l l y i n d i c a t e d b y a c h e c k m a r k ) i s b a s e d o n a m i n i m u m o f o n e s o u r c e o f e v i d e n c e f r o m o b s e r v a t i o n s , i n t e r v i e w s a n d d o c u m e n t s w i t h n o c o n t r a d i c t o r y e v i d e n c e f r o m t h e s e s o u r c e s . 3 S e c o n d , i n a d i v e r g e n t a c t i v i t y , d i s c o v e r i e s f o r e a c h p a r t i c i p a n t w e r e c o m p a r e d a c r o s s a l l p a r t i c i p a n t s . T h i s a c t i v i t y 1 ) d e t e r m i n e d w h e t h e r t h e r e w a s a n y e v i d e n c e f r o m o n e o r m o r e p a r t i c i p a n t s t h a t c o n t r a d i c t e d t h e d i s c o v e r y f o r t h e r e s t o f t h e p a r t i c i p a n t s , 2 ) r e q u i r e d t h a t t h e d i s c o v e r y b e b e t t e r d e fi n e d i n o r d e r t o a c c o u n t f o r a l l i n s t a n c e s b e f o r e i t c o u l d b e c o n s i d e r e d a " fi n d i n g " , a n d 3 ) e s t a b l i s h e d t h e p r e v a l e n c e o f e a c h fi n d i n g . I n m o s t o f t h e C h a p t e r V t a b l e s , c a t e g o r i e s o f r e l a t e d p h e n o m e n a ( o r " d i s c o v e r i e s " ) a r e p r e s e n t e d a s c o l u m n s , p a r t i c i p a n t s a r e l i s t e d i n r o w s t o i n d i c a t e i n d i v i d u a l e v i d e n c e f o r e a c h c a t e g o r y . m a t u r e g f F i e l d n o t e s a n d fi l y p e s o f D a t a C o l l e c t e d T h e s t u d y w a s d e s i g n e d t o c o l l e c t d a t a f r o m t h r e e p r i m a r y s o u r c e s : o b s e r v a t i o n s , d o c u m e n t s . a n d i n t e r v i e w s . A l l t h r e e f o r m s o f d a t a w e r e c o l l e c t e d a s fi e l d n o t e s o f t h e s t u d y . T h e t y p e s a n d f o r m a t s o f fi e l d n o t e s a r e d i s c u s s e d b e l o w . T h e g e n e r a l a p p r o a c h o f e a c h d a t a c o l l e c t i o n m e t h o d w i l l t h e n b e d e s c r i b e d , f o l l o w e d b y a n e x p l a n a t i o n o f h o w i t w a s s p e c i fi c a l l y i m p l e m e n t e d i n t h i s s t u d y . E i e l d n g t e s . D a t a w e r e r e c o r d e d i n t h e f o r m o f fi e l d n o t e s . B o g d a n 8 : B i k l e n ( 1 9 8 2 ) d e s c r i b e fi e l d n o t e s a s : " t h e w r i t t e n a c c o u n t o f w h a t t h e r e s e a r c h e r h e a r s , s e e s , e x p e r i e n c e s , a n d t h i n k s i n t h e c o u r s e o f 3 T a b l e s w h i c h c o m p i l e d e v i d e n c e f r o m a s m a l l e r p o r t i o n o f t h e d a t a s e t ( f o r e x a m m e , o n l y w r i t t e n a n s w e r s o n a p a r t i c u l a r w o r k s h e e t ) a r e c l e a r l y i d e n t i f i e d a s s u c h . 7 1 c o l l e c t i n g a n d r e fl e c t i n g o n t h e d a t a i n a q u a l i t a t i v e s t u d y " ( p . 7 4 ) . A s t h i s q u o t a t i o n s u g g e s t s , t h e d a t a r e c o r d e d i n t h e fi e l d n o t e s n o t o n l y i n c l u d e d d e s c r i p t i o n s o f t h e c o n t e x t a n d t h e p a r t i c i p a n t s ' b e h a v i o r s . b u t a l s o d e t a i l e d t h e i n v e s t i g a t o r ' s t h o u g h t s a n d f e e l i n g s w h i l e c o n d u c t i n g t h e s t u d y . T h e fi e l d n o t e s fi t t h e c a t e g o r i e s o f d e s c r i p t i v e a n d r e fl e c t i v e fi e l d n o t e s d i s c u s s e d b y B o g d a n & B i k l e n ( 1 9 8 2 ) . D e s c r i p t i v e f i e l d n o t e s a r e d e t a i l e d a c c o u n t s o f w h a t t h e r e s e a r c h e r o b s e r v e s a b o u t t h e e n v i r o n m e n t a s w e l l a s w h a t t h e p a r t i c i p a n t s d o a n d s a y . E v e r y e f f o r t w a s m a d e t o c o l l e c t o n l y d e s c r i p t i v e d e t a i l a n d a v o i d s u m m a r i z i n g a n d e v a l u a t i n g w h a t w a s o b s e r v e d . S u m m a r i z i n g a n d e v a l u a t i n g w a s , i n p a r t , c o n t r o l l e d b y q u o t i n g r a t h e r t h a n s u m m a r i z i n g t h e w o r d s o f p a r t i c i p a n t s , a n d b y s t r i v i n g t o u s e c o n c r e t e r a t h e r t h a n a b s t r a c t w o r d s i n d e s c r i p t i o n s . E x a m p l e s o f t h e t y p e s o f e n t r i e s r e c o r d e d i n t h e d e s c r i p t i v e fi e l d n o t e s i n c l u d e : p h y s i c a l d e s c r i p t i o n s o f t h e e n v i r o n m e n t a n d p a r t i c i p a n t s ( i n c l u d i n g d r a w i n g s o f t h e e n v i r o n m e n t , s u c h a s r o o m a n d s e a t i n g a r r a n g e m e n t s ) ; r e c o n s t r u c t i o n s o f p a r t i c i p a n t s ' c o n v e r s a t i o n s , i n c l u d i n g g e s t u r e s a n d f a c i a l e x p r e s s i o n s ; a c c o u n t s o f p a r t i c i p a n t s ' b e h a v i o r s ; a n d o b s e r v a t i o n s o f t h e i n v e s t i g a t o r ' s b e h a v i o r w i t h i n t h e c o n t e x t a s a c o n t r o l o f h o w t h e i n v e s t i g a t o r ' s p r e s e n c e m i g h t a f f e c t t h e d a t a g a t h e r e d . C o l l e c t i n g d e t a i l e d d e s c r i p t i v e d a t a w a s i n t e n d e d t o r e s u l t i n c a p t u r i n g a " s l i c e o f l i f e " i n r i c h d e t a i l t h a t c o u l d b e c o m b i n e d w i t h r e fl e c t i v e fi e l d n o t e s t o b e a n a l y z e d . R e fl e c t i v e f i e l d n o t e s c a n t a k e a n u m b e r o f f o r m s a n d h a v e t h e p u r p o s e s o f r e c o r d i n g 1 ) t h e r e s e a r c h e r ' s f e e l i n g s a n d b i a s e s . 2 ) t h e c h r o n o l o g i c a l a c c o u n t o f t h e m e t h o d o l o g y o f t h e s t u d y , a n d 3 ) t h e t h e o r y a s i t i s e v o l v i n g o v e r t h e c o u r s e o f t h e s t u d y . R e fl e c t i v e fi e l d n o t e s a r e 7 2 p a r t i c u l a r l y h e l p f u l i n i n t e r p r e t i n g d e s c r i p t i v e d a t a i n l i g h t o f t h e r e s e a r c h e r ' s f e e l i n g s o r t h e s t a t e o f t h e t h e o r y a t t h e t i m e t h e d a t a a r e c o l l e c t e d . T y p e s o f r e fl e c t i v e fi e l d n o t e s g e n e r a t e d i n t h i s s t u d y i n c l u d e : i n - p r o c e s s a n a l y s e s a n d t h e o r y g e n e r a t i o n r e fl e c t i n g w h a t t h e i n v e s t i g a t o r h a d b e e n l e a r n i n g ; c o m m e n t s o n m e t h o d o l o g y a n d s t u d y d e s i g n ; r e p o r t s o f e t h i c a l d i l e m m a s ; d e s c r i p t i o n s o f t h e i n v e s t i g a t o r ' s m o o d s a n d a s s u m p t i o n s d u r i n g t h e s t u d y ; a n d n o t e s o n i n c o n s i s t e n c i e s o r p o i n t s o f c o n f u s i o n t o b e r e c t i fi e d l a t e r i n t h e s t u d y . R e fl e c t i v e fi e l d n o t e s o f t h e s e t y p e s p r o v i d e d a b a s i s f o r i n t e r p r e t i n g t h e d e s c r i p t i v e d a t a c o l l e c t e d i n o b s e r v a t i o n s , i n t e r v i e w s , a n d d o c u m e n t s . P r o c e d u r e s f o r r e c o r d i n g d e s c r i p t i v e a n d r e fl e c t i v e fi e l d n o t e s w e r e d e v e l o p e d f o r t h i s s t u d y . F i r s t , t h e i n v e s t i g a t o r k e p t t w o j o u r n a l s t h r o u g h o u t t h e c o u r s e o f t h e s t u d y . T h e " fi e l d j o u r n a l " c o n t a i n e d a l l d e s c r i p t i v e fi e l d n o t e s a n d r e fl e c t i v e fi e l d n o t e s w h i c h o c c u r r e d t o t h e i n v e s t i g a t o r w h i l e i n t h e fi e l d . T h e fi e l d j o u r n a l w a s c o n s t a n t l y c a r r i e d b y t h e i n v e s t i g a t o r d u r i n g t h e s t u d y . T h e r e fl e c t i v e p o r t i o n s o f t h e fi e l d j o u r n a l w e r e c l e a r l y l a b e l e d t o d i f f e r e n t i a t e t h e m f r o m t h e d e s c r i p t i v e n o t e s . T h e s e c o n d j o u r n a l , c a l l e d t h e " r e fl e c t i o n j o u r n a l . " w a s u s e d t o r e c o r d t h o u g h t s o n t h e s t u d y w h i l e a w a y f r o m t h e fi e l d . T h i s j o u r n a l c o n t a i n e d m o r e e x t e n d e d t h o u g h t p i e c e s w h i c h w e r e e n t e r e d a f t e r p r o c e s s i n g e a c h d a y ' s fi e l d n o t e s a s w e l l a s a t t i m e s w h e n t h e i n v e s t i g a t o r w a s n o t a c t i v e l y i n t h e fi e l d . E x a m p l e s o f i t e m s i n t h e r e fl e c t i o n j o u r n a l i n c l u d e d " t h e o r y m e m o s , " w h i c h w e r e c h r o n o l o g i c a l s n a p s h o t s o f t h e i n v e s t i g a t o r ' s d e v e l o p i n g u n d e r s t a n d i n g o f t h e p h e n o m e n a o f i n t e r e s t , d e c i s i o n s a s t o n e x t s t e p s i n m e t h o d o l o g y a n d c h a n g e s i n r e s e a r c h d e s i g n , a n d p e r s o n a l d i a r y e n t r i e s w h i c h r e c o r d e d t h e i n v e s t i g a t o r ' s f e e l i n g s a n d a s s u m p t i o n s d u r i n g t h e s t u d y . 7 3 T h e f o r m a t o f t h e s e t w o j o u r n a l s w a s d e v e l o p e d t o f a c i l i t a t e a n a l y s i s o f t h e d a t a . T h e r e w e r e w i d e m a r g i n s t o l e a v e s p a c e f o r c o d i n g d u r i n g t h e a n a l y s i s p h a s e s . E a c h n e w i d e a o r a c t i o n w a s a s e p a r a t e p a r a g r a p h s o t h e n o t e s c o u l d l a t e r b e e a s i l y s e p a r a t e d . c o d e d , a n d s o r t e d b y c o d i n g c a t e g o r y . E a c h fi e l d n o t e h a d a h e a d i n g t o i n d i c a t e d a t e , t i m e a n d p l a c e , c l e a r l a b e l i n g o f t y p e o f n o t e , a n d a l i s t o f w h o w a s p r e s e n t . A n u m b e r o f p r o c e d u r e s w e r e i m p l e m e n t e d t o i m p r o v e t h e a c c u r a c y o f t h e d a t a e n t e r e d i n t o fi e l d n o t e s . F i r s t , a l l fi e l d n o t e s w e r e g e n e r a t e d a s s o o n a f t e r o b s e r v a t i o n s a s p o s s i b l e - - a n d d u r i n g t h e o b s e r v a t i o n s . i f p o s s i b l e . S e c o n d , t h e i n v e s t i g a t o r m a d e e v e r y a t t e m p t t o p r o c e s s fi e l d n o t e s w i t h o u t fi r s t d i s c u s s i n g t h e m w i t h o t h e r s . T h r o u g h o u t t h e s t u d y , d i s c u s s i o n s o f t h e s t u d y w i t h o t h e r p e o p l e w e r e a l s o e n t e r e d i n t h e a p p r o p r i a t e j o u r n a l . T h i r d , o b s e r v a t i o n s , i n t e r v i e w s . a n d r e s u l t s o f d o c u m e n t e x a m i n a t i o n s w e r e p r o c e s s e d i n t o t h e c o m p u t e r a s s o o n a f t e r c o l l e c t i o n a s p o s s i b l e . W o r d p r o c e s s i n g o f t h e d a t a a l l o w e d f o r a s e c o n d e x a m i n a t i o n a t a t i m e w h e n t h e i n v e s t i g a t o r ' s m e m o r y w a s l i k e l y t o r e c a l l p h e n o m e n a w i t h g r e a t e r d e t a i l a n d a c c u r a c y . T h i s a l s o a l l o w e d a s e c o n d o p p o r t u n i t y t o r e m o v e s u m m a r i e s a n d i n t e r p r e t a t i o n s f r o m d e s c r i p t i v e d a t a . T h e w o r d p r o c e s s i n g p r o c e s s a l s o f a c i l i t a t e d p h y s i c a l m a n i p u l a t i o n o f t h e d a t a d u r i n g a n a l y s i s a n d c r e a t e d b a c k u p c o p i e s . O b s e r v a t i o n s . A s i n d i c a t e d i n T a b l e 4 , t h e i n v e s t i g a t o r o b s e r v e d t h e p a r t i c i p a n t s i n a v a r i e t y o f c o n t e x t s d u r i n g t h e i r o n - c a m p u s s e s s i o n s . I n t h e b e g i n n i n g , t h e i n v e s t i g a t o r n e e d e d t o a d j u s t h e r m e t h o d o f r e c o r d i n g o b s e r v a t i o n s a c c o r d i n g t o t h e p a r t i c i p a n t s ' l e v e l o f c o m f o r t w i t h b e i n g o b s e r v e d . F o r e x a m p l e , d u r i n g w o r k s h o p s , t h e i n v e s t i g a t o r ' s e x t e n s i v e n o t e - t a k i n g w a s n o t p a r t i c u l a r l y n o t i c e d b y f e l l o w s i n t h e 7 4 c l a s s r o o m s e t t i n g . B u t w h e n t h e i n v e s t i g a t o r o b t a i n e d d a t a i n a n o f f - h a n d c o m m e n t f r o m a p a r t i c i p a n t w h i l e w a l k i n g d o w n t h e h a l l . i t w a s m o r e a p p r o p r i a t e t o k e e p t h e w o r d s a n d o t h e r d e t a i l s i n m i n d u n t i l s h e r e a c h e d a p r i v a t e a r e a t o r e c o r d t h e d a t a i n h e r fi e l d j o u r n a l . T h e s e o b s e r v a t i o n s c o l l e c t e d d a t a b e f o r e . d u r i n g , a n d a f t e r t h e n e e d s a s s e s s m e n t h a d b e e n c o n d u c t e d ( S e e A p p e n d i x C f o r s a m p l e f e l l o w s h i p s c h e d u l e s ) . I n P h a s e I o f d a t a c o l l e c t i o n . t h e m o s t g e n e r a l f o r m s o f i n f o r m a t i o n w a s g a t h e r e d o n t h e p a r t i c i p a n t s a n d t h e c o n t e x t a c r o s s a v a r i e t y o f s i t u a t i o n s , a n d a l l w o r k s h o p s e s s i o n s w e r e o b s e r v e d . T h e e m p h a s i s o f P h a s e I I w a s c o l l e c t i n g d a t a a b o u t h o w t h e p a r t i c i p a n t s fi r s t l e a r n e d a b o u t a n d d e s i g n e d t h e i r n e e d s a s s e s s m e n t s . T h e n e e d s a s s e s s m e n t w o r k s h o p o n W e d n e s d a y m o r n i n g o f S e p t e m b e r 1 6 w a s a k e y o b s e r v a t i o n p e r i o d . O b s e r v a t i o n p e r i o d s f o r P h a s e s I V a n d V o f t h e s t u d y w e r e s e l e c t e d a f t e r a n a l y z i n g d a t a f r o m P h a s e s 1 , I I , & I I I . I n P h a s e I V . w h e n t h e p a r t i c i p a n t s h a d c o m p l e t e d t h e i r n e e d s a s s e s s m e n t s , o b s e r v a t i o n s w e r e s e l e c t e d w h i c h w o u l d l i k e l y y i e l d t h e m o s t d a t a o n p a r t i c i p a n t s ' n e e d s a s s e s s m e n t p r o c e s s e s a n d t h e r e s u l t s o b t a i n e d . F o r e x a m p l e , t h e w o r k s h o p s o n " D e t e r m i n i n g C u r r i c u l a r G o a l s a n d C o n t e n t " a n d " I n s t r u c t i o n a l O b j e c t i v e s 8 1 E n a b l i n g C o n t e n t " w e r e o b s e r v e d t o s e e h o w p a r t i c i p a n t s w e r e a p p l y i n g w h a t h a d b e e n l e a r n e d f r o m t h e n e e d s a s s e s s m e n t s t o t h e i r c u r r i c u l a . A k e y a c t i v i t y f o r o b s e r v a t i o n w a s t h e h a l f - d a y m e n t o r g r o u p m e e t i n g s i n w h i c h p a r t i c i p a n t s d i s c u s s e d t h e i r n e e d s a s s e s s m e n t p r o c e s s a n d r e s u l t s i n s m a l l g r o u p s . T h i s s e s s i o n w a s t a p e d a n d t r a n s c r i b e d a n d c o n t a i n e d d e t a i l e d d e s c r i p t i o n s o f h o w e a c h p a r t i c i p a n t c o n d u c t e d h i s o r h e r o w n n e e d s a s s e s s m e n t a s w e l l a s t h e q u e s t i o n s t h e y a s k e d a n d t h e a d v i c e t h e y g a v e i n r e a c t i n g t o o t h e r ' s n e e d s a s s e s s m e n t s . I n P h a s e V , t h e m a j o r e m p h a s i s w a s o n c o l l e c t i n g 7 5 c o n fi r m i n g a n d d i s c o n fi r m i n g e v i d e n c e o f fi n d i n g s g e n e r a t e d f r o m a n a l y s i s o f e a r l i e r d a t a . D o c u m e n t s . B o t h p e r s o n a l a n d o f fi c i a l d o c u m e n t s w e r e c o l l e c t e d . B o g d a n & B i k l e n ( 1 9 8 2 ) d e fi n e p e r s o n a l d o c u m e n t s a s " a n y fi r s t - p e r s o n n a r r a t i v e b y a n i n d i v i d u a l w h i c h d e s c r i b e s h i s o r h e r o w n a c t i o n s , e x p e r i e n c e s , a n d b e l i e f s " ( p . 9 7 ) . T h e m a j o r t y p e o f p e r s o n a l d o c u m e n t s c o l l e c t e d i n t h e s t u d y w e r e c o p i e s o f p a r t i c i p a n t s ' e x e r c i s e s d u r i n g w o r k s h o p s . A s t h e s e p e r s o n a l d o c u m e n t s w e r e c r e a t e d w i t h o u t m u c h t i m e f o r r e fl e c t i o n o r s c r e e n i n g f o r a n o u t s i d e a u d i e n c e , t h e y w e r e m o r e l i k e l y t o a c c u r a t e l y r e fl e c t t h e p a r t i c i p a n t s ' o w n t h o u g h t s . T h e s e c o n d t y p e o f d o c u m e n t c o l l e c t e d y i e l d e d a v e r y d i f f e r e n t t y p e o f d a t a . B o g d a n & B i k l e n ( 1 9 8 2 ) c a u t i o n t h a t o f fi c i a l d o c u m e n t s a r e " v i e w e d b y m a n y r e s e a r c h e r s a s e x t r e m e l y s u b j e c t i v e , r e p r e s e n t i n g t h e b i a s e s o f t h e p r o m o t e r s a n d , w h e n w r i t t e n f o r e x t e r n a l c o n s u m p t i o n , p r e s e n t i n g a n u n r e a l i s t i c a l l y g l o w i n g p i c t u r e o f h o w t h e o r g a n i z a t i o n f u n c t i o n s " ( p . 1 0 0 ) . K e e p i n g i n m i n d t h e d i c t u m f r o m W e b e r , " t h e s i g n i fi c a n c e o f c u l t u r a l e v e n t s p r e s u p p o s e s a v a l u e - o r i e n t a t i o n t o w a r d s t h e s e e v e n t s " [ 1 9 4 9 , p . 7 6 ] . t h e i n v e s t i g a t o r b e l i e v e d t h e s e o f fi c i a l d o c u m e n t s w e r e v a l u a b l e f o r t h e v e r y b i a s e s t h e y p r e s e n t e d . E x a m p l e s o f o f f i c i a l d o c u m e n t s g a t h e r e d f o r t h i s s t u d y i n c l u d e f e l l o w s h i p a p p l i c a t i o n s a n d p a r t i c i p a n t s ' n e e d s a s s e s s m e n t r e p o r t s a n d c u r r i c u l u m d o c u m e n t s . T h e s e o f fi c i a l d o c u m e n t s w e r e n o t r e l i e d u p o n t o d e v e l o p d e s c r i p t i o n s o f p a r t i c i p a n t s ' n e e d s a s s e s s m e n t p r o c e s s e s . I n s t e a d , g r e a t e r r e l i a n c e w a s p l a c e d o n i n f o r m a t i o n g a i n e d i n o b s e r v a t i o n s a n d i n t e r v i e w s t o r e c o n s t r u c t p a r t i c i p a n t s ' n e e d s a s s e s s m e n t p r o c e s s e s , a n d 7 6 t h e o f fi c i a l d o c u m e n t s p r o v i d e d d a t a o n w h a t t h e p a r t i c i p a n t s f e l t w a s m o s t i m p o r t a n t t o e m p h a s i z e f o r e x t e r n a l c o n s u m p t i o n . I n t e r v i e w s . I n t h i s s t u d y , i n t e r v i e w s r e s u l t e d i n d a t a t h a t w e r e u s e d i n c o n j u n c t i o n w i t h o b s e r v a t i o n a n d d o c u m e n t a n a l y s i s . A c c o r d i n g t o H a m m e r s l e y 8 1 A t k i n s o n ( 1 9 8 3 ) , i n t e r v i e w s a r e i n t e n d e d t o g a t h e r d e s c r i p t i v e d a t a i n t h e p a r t i c i p a n t ' s o w n w o r d s f o r t w o p u r p o s e s : fi r s t , t o o b t a i n i n f o r m a t i o n o n p a r t i c u l a r p h e n o m e n a , w h i c h c a n b e g a t h e r e d a s p a r t i c i p a n t s d e s c r i b e t h e s i t u a t i o n a n d t h e i r o w n a c t i o n s ; a n d s e c o n d , f o r i n d i c a t i o n s o f t h e p a r t i c i p a n t ' s p e r s p e c t i v e o n t h e p h e n o m e n a b e i n g s t u d i e d . F o r t h e p u r p o s e o f t h i s s t u d y , i t w a s i m p o r t a n t t h a t i n t e r v i e w s w e r e c o n d u c t e d n o t o n l y t o g a t h e r i n f o r m a t i o n o n t h e n e e d s a s s e s s m e n t p r o c e s s , b u t a l s o t o b e t t e r u n d e r s t a n d t h e p a r t i c i p a n t s ' v i e w p o i n t s o n n e e d s a s s e s s m e n t . B o g d a n & B i k l e n ( 1 9 8 2 ) d e fi n e a n i n t e r v i e w a s " a p u r p o s e f u l c o n v e r s a t i o n , u s u a l l y b e t w e e n t w o p e o p l e ( b u t s o m e t i m e s i n v o l v i n g m o r e ) t h a t i s d i r e c t e d b y o n e i n o r d e r t o g e t i n f o r m a t i o n " ( p . 1 3 5 ) . T h i s d e fi n i t i o n i s p u r p o s e f u l l y b r o a d t o a l l o w f o r d a t a c o l l e c t i o n a c r o s s a w i d e s e l e c t i o n o f i n t e r v i e w i n g s i t u a t i o n s . I n t e r v i e w s c a n b e c o n d u c t e d w i t h o n e o r m a n y p a r t i c i p a n t s , b e s c h e d u l e d o r o c c u r s p o n t a n e o u s l y , c o n t i n u e o v e r a s h o r t o r l o n g p e r i o d o f t i m e , i n i n f o r m a l o r f o r m a l s i t u a t i o n s , d e p e n d i n g u p o n w h a t i s a v a i l a b l e w i t h i n t h e c o n t e x t a n d s u i t s t h e p u r p o s e s o f t h e s t u d y . I n t h i s s t u d y , i n t e r v i e w s w e r e f o c u s e d o n t o p i c s r e l a t e d t o n e e d s a s s e s s m e n t . A l l i n t e r v i e w s w e r e c o m p r i s e d o f o p e n - e n d e d q u e s t i o n s o f a n o n - d i r e c t i v e n a t u r e . I n e a c h i n t e r v i e w , t h e i n v e s t i g a t o r e n d e a v o r e d t o fi r s t p u t t h e p a r t i c i p a n t a t c a s e b e f o r e p r o b i n g f o r d e t a i l s a n d e x a m p l e s . t h e n a v o i d e d e v a l u a t i n g , i n t e r r u p t i n g , o r 7 7 c h a n g i n g t h e t o p i c , s o t h a t d a t a u n a n t i c i p a t e d b y t h e i n v e s t i g a t o r c o u l d e m e r g e . A s i n d i c a t e d i n T a b l e 4 , t h e m a j o r i t y o f i n t e r v i e w s w e r e o f a n i n f o r m a l a n d i m p r o m p t u n a t u r e , o c c u r r i n g s p o n t a n e o u s l y w h i l e t h e i n v e s t i g a t o r w a s i n t e r a c t i n g w i t h p a r t i c i p a n t s . T h e s e i n f o r m a l i n t e r v i e w s u s u a l l y b e g a n i n o n e o f t w o w a y s . F i r s t , w h e n p a r t i c i p a n t s s p o n t a n e o u s l y o f f e r e d c o m m e n t s t h a t t h e i n v e s t i g a t o r f e l t w e r e r e l a t e d t o t h e s t u d y , t h e i n v e s t i g a t o r r e s p o n d e d w i t h o p e n - e n d e d q u e s t i o n s a s k i n g t h e p a r t i c i p a n t t o e l a b o r a t e , c l a r i f y , o r e x p l a i n t h e c o m m e n t . S e c o n d , t h e i n v e s t i g a t o r i n i t i a t e d i n f o r m a l i n t e r v i e w s b y a p p r o a c h i n g a p a r t i c i p a n t a n d a s k i n g f o r t h e p a r t i c i p a n t ' s v i e w p o i n t o n s o m e i s s u e , o r b y a s k i n g f o r c l a r i fi c a t i o n o n s o m e o b s e r v e d b e h a v i o r . I n P h a s e s I , 1 1 , I V , a n d V , i n t e r v i e w s o f t h e t y p e s d e s c r i b e d a b o v e w e r e r e f e r r e d t o a s o c c u r r i n g " t h r o u g h i n f o r m a l i n t e r a c t i o n s . " T h i s s t u d y a l s o i n c l u d e d t w o f o r m a l i n t e r v i e w s . I n t e r v i e w g u i d e s w e r e d e v e l o p e d a n d i n t e r v i e w s w e r e c o n d u c t e d a c c o r d i n g t o t h e g u i d e l i n e s o f P a t t o n ( 1 9 9 0 ) , R o s s e t t ( 1 9 8 7 ) , a n d Z e m k e & K r a m l i n g e r ( 1 9 8 2 ) . T h e i n t e r v i e w g u i d e s a n d p r o c e d u r e s w e r e p i l o t e d a n d r e v i s e d b e f o r e b e i n g u s e d w i t h p a r t i c i p a n t s ( r e f e r t o A p p e n d i x E f o r c o p i e s o f t h e i n t e r v i e w g u i d e s ) . B o t h o f t h e f o r m a l i n t e r v i e w s w e r e s c h e d u l e d i n a d v a n c e w i t h t h e p a r t i c i p a n t s . N o t e s w e r e t a k e n d u r i n g t h e i n t e r v i e w s a n d e x p a n d e d w i t h i n 2 4 h o u r s . T h e fi r s t f o r m a l i n t e r v i e w , w h i c h w a s c o n d u c t e d o v e r t h e p h o n e , o c c u r r e d i n P h a s e I I I o f d a t a c o l l e c t i o n w h e n p a r t i c i p a n t s w e r e b a c k a t t h e i r h o m e i n s t i t u t i o n s . T h i s i n t e r v i e w , c o n d u c t e d w h i l e t h e p a r t i c i p a n t s w e r e i n t h e m i d s t o f t h e n e e d s a s s e s s m e n t p r o c e s s , w a s d e s i g n e d t o y i e l d d e t a i l e d i n f o r m a t i o n a b o u t t h e p a r t i c i p a n t s ' d e c i s i o n s a n d c o n c e r n s t h a t c o u l d h a v e b e e n s k i p p e d w h e n 7 8 p a r t i c i p a n t s r e c o u n t e d w h a t t h e y h a d d o n e a f t e r t h e n e e d s a s s e s s m e n t w a s c o m p l e t e d . A s e c o n d f o r m a l i n t e r v i e w w a s c o n d u c t e d w i t h a l l o f t h e p a r t i c i p a n t s d u r i n g P h a s e V o f d a t a c o l l e c t i o n . T h i s f o r m a l i n t e r v i e w s o u g h t c o n fi r m i n g a n d d i s c o n fi r m i n g e v i d e n c e o f fi n d i n g s t h a t h a d b e e n g e n e r a t e d b y e a r l i e r d a t a a n a l y s i s , a n d e l i c i t e d i n d i v i d u a l p a r t i c i p a n t s ' p e r s p e c t i v e s o n w h a t c a n b e l e a r n e d f r o m d o i n g a n e e d s a s s e s s m e n t . Q Q D I N Q A N D A N A L Y § I § D a t a a n a l y s i s i s t h e p r o c e s s o f b r i n g i n g o r d e r , s t r u c t u r e , a n d m e a n i n g t o t h e m a s s o f c o l l e c t e d d a t a . I t i s a m e s s y . a m b i g u o u s , t i m e - c o n s u m i n g , c r e a t i v e , a n d f a s c i n a t i n g p r o c e s s . I t d o e s n o t p r o c e e d i n a l i n e a r f a s h i o n : i t i s n o t n e a t . Q u a l i t a t i v e d a t a a n a l y s i s i s a s e a r c h f o r g e n e r a l s t a t e m e n t s a b o u t r e l a t i o n s h i p s a m o n g c a t e g o r i e s o f d a t a : i t b u i l d s g r o u n d e d t h e o r y . M a r s h a l l 8 t . R o s s m a n , 1 9 8 9 , p . 1 1 2 I L : g e n e r a l A p p r g a g h t o A n a l y s i s Q u a l i t a t i v e r e s e a r c h i s i n t e n t i o n a l l y fl e x i b l e i n i t s d e s i g n a n d m e t h o d s s o t h a t d a t a c o l l e c t i o n a n d a n a l y s i s p r o c e d u r e s d o n o t c o n s t r a i n w h a t c a n b e u n d e r s t o o d f r o m t h e p a r t i c i p a n t s a n d t h e c o n t e x t . H o w e v e r , t h i s fl e x i b i l i t y c a n c r e a t e a g r e a t d e a l o f a n x i e t y f o r t h e n o v i c e q u a l i t a t i v e r e s e a r c h e r b e c a u s e t h e r e i s n o p r e s c r i p t i v e m o d e l t o b e f o l l o w e d f o r a n a l y z i n g t h e d a t a . I n s t e a d , d a t a a r e i n t e n d e d t o b e a n a l y z e d i n a w a y t h a t r e s u l t s i n a n a c c u r a t e d e p i c t i o n o f t h e p h e n o m e n a o f i n t e r e s t . T h e d a t a a n a l y s i s p r o c e d u r e s f o l l o w e d i n t h i s s t u d y w e r e l a r g e l y d r a w n f r o m L i n c o l n & G u b a ( 1 9 8 5 ) , M i l e s & H u b e r m a n ( 1 9 8 4 ) , T e s c h ( 1 9 9 0 ) , a n d Y i n ( 1 9 8 9 ) . ” . ” 5 9 ‘ 9 3 9 3 9 3 5 9 9 7 9 T e s c h ( 1 9 9 0 ) p e r f o r m e d a c o m p r e h e n s i v e r e v i e w o f a n a l y s i s d e s c r i p t i o n s o f a w i d e v a r i e t y o f t y p e s o f q u a l i t a t i v e r e s e a r c h a n d i d e n t i fi e d t e n p r i n c i p l e s a n d p r a c t i c e s o f q u a l i t a t i v e a n a l y s i s : 1 . A n a l y s i s i s n o t t h e l a s t p h a s e i n t h e r e s e a r c h p r o c e s s ; i t i s c o n c u r r e n t w i t h d a t a c o l l e c t i o n o r c y c l i c . T h e a n a l y s i s p r o c e s s i s s y s t e m a t i c a n d c o m p r e h e n s i v e , b u t n o t r i g i d . A t t e n d i n g t o d a t a i n c l u d e s a r e fl e c t i v e a c t i v i t y t h a t r e s u l t s i n a s e t o f a n a l y t i c a l n o t e s t h a t g u i d e t h e p r o c e s s . D a t a a r e ' s e g m e n t e d , ’ i . e . , d i v i d e d i n t o r e l e v a n t a n d m e a n i n g f u l ' u n i t s . ‘ T h e d a t a s e g m e n t s a r e c a t e g o r i z e d a c c o r d i n g t o a n o r g a n i z i n g s y s t e m t h a t i s p r e d o m i n a n t l y d e r i v e d f r o m t h e d a t a t h e m s e l v e s . T h e m a i n i n t e l l e c t u a l t o o l i s c o m p a r i s o n . C a t e g o r i e s f o r s o r t i n g s e g m e n t s a r e t e n t a t i v e a n d p r e l i m i n a r y i n t h e b e g i n n i n g ; t h e y r e m a i n fl e x i b l e . M a n i p u l a t i n g q u a l i t a t i v e d a t a i s a n e c l e c t i c a c t i v i t y ; t h e r e i s n o o n e ' r i g h t ' w a y . T h e p r o c e d u r e s a r e n e i t h e r ' s c i e n t i fi c ' n o r ' m e c h a n i s t i c . ‘ T h e r e s u l t o f t h e a n a l y s i s i s s o m e h i g h e r - l e v e l s y n t h e s i s . ( p p . 9 5 - 9 7 ) T h e s e t e n p r i n c i p l e s a n d p r a c t i c e s w e r e a p p l i e d i n t h e a n a l y s i s c o n d u c t e d f o r t h i s s t u d y . A s d e s c r i b e d i n t h e d a t a c o l l e c t i o n s e c t i o n , g r e a t c a r e w a s t a k e n i n h o w d a t a w e r e s e l e c t e d a s w e l l a s h o w d a t a w e r e c o l l e c t e d . T h i s w a s d o n e t o h e l p e s t a b l i s h t h e t r u s t w o r t h i n e s s o f t h e s t u d y a n d t o f a c i l i t a t e a n a l y s i s . T h e d a t a c o l l e c t i o n a n d a n a l y s i s p r o c e s s i s d o c u m e n t e d i n t h e a u d i t t r a i l f o r t h e s t u d y , w h i c h c o n s i s t s o f a l l o r i g i n a l f o r m s o f d a t a , t h e w o r d p r o c e s s e d d a t a , i n d e x c a r d s c r e a t e d f o r t h e s o r t i n g p r o c e s s , a n d t h e fi n a l c a s e r e p o r t a s r e p r e s e n t e d b y t h i s d i s s e r t a t i o n . T h r o u g h o u t t h e s t u d y , h a n d w r i t t e n fi e l d n o t e s f r o m o b s e r v a t i o n s a n d n o t e s f r o m i n t e r v i e w s w e r e p r o c e s s e d i n t o t h e c o m p u t e r . R e fl e c t i v e j o u r n a l e n t r i e s a n d t h e o r y m e m o s w e r e c o m p o s e d o n t h e c o m p u t e r . A s t h e p i l e s o f d a t a g r e w , a s y s t e m o f fi l e s w a s d e v e l o p e d . F i r s t , e a c h s o u r c e 8 0 o f d a t a w a s k e p t i n i t s o w n fi l e . T h e r e w e r e fi l e s f o r e a c h o f t h e o b s e r v a t i o n s e s s i o n s , i n t e r v i e w s , t y p e s o f d o c u m e n t s c o l l e c t e d , a n d n o t e s o n d e v e l o p i n g t h e o r y . A t w o v o l u m e n o t e b o o k w a s c r e a t e d o f a l l t h e w o r k s h o p h a n d o u t s a n d c o m m u n i c a t i o n s t h e f e l l o w s r e c e i v e d f r o m t h e f e l l o w s h i p f a c u l t y . S e c o n d , d a t a s o u r c e s w e r e a l s o c o m b i n e d t o f o r m fi l e s f o r i n d i v i d u a l p a r t i c i p a n t s . T h e s e i n d i v i d u a l fi l e s c o n t a i n e d c o p i e s o f d o c u m e n t s b y a n d a b o u t t h e p a r t i c i p a n t , t r a n s c r i p t i o n s o f a l l i n t e r v i e w s c o n d u c t e d w i t h t h e p a r t i c i p a n t , a n d p o r t i o n s o f o b s e r v a t i o n s e s s i o n s a n d r e fl e c t i v e n o t e s g e n e r a t e d b y t h e i n v e s t i g a t o r r e l a t i n g t o t h e i n d i v i d u a l . T h i s d u a l fi l i n g s y s t e m f a c i l i t a t e d t h e a n a l y s i s p r o c e s s a s i n f o r m a t i o n c o u l d b e e a s i l y r e t r i e v e d a n d r e v i e w e d e i t h e r f o r a l l p a r t i c i p a n t s f o r a s i n g l e e v e n t , o r f o r a s i n g l e p a r t i c i p a n t a c r o s s a l l e v e n t s . L a v e l s Q f A n a l y s i s L e v e l 1 . T h r e e l e v e l s o f d a t a a n a l y s i s w e r e c o n d u c t e d o v e r t h e fi v e p h a s e s o f t h e s t u d y . T h e fi r s t a n d s i m p l e s t f o r m o f a n a l y s i s o c c u r r e d d u r i n g t h e e a r l y p h a s e s o f t h e s t u d y . T h e fi r s t l e v e l o f d a t a a n a l y s i s c o n s i s t e d o f r e p e a t e d l y r e a d i n g t h r o u g h t h e d a t a i n s e a r c h o f p o s s i b l e t r e n d s o r c a t e g o r i e s . T h e s e i n i t i a l i n s i g h t s w e r e t h e n t u r n e d i n t o c o d e s w h i c h w e r e a p p l i e d t o t h e d a t a . C o d e s t h a t d i d n o t s e e m t o fi t w e r e m o d i fi e d ; o t h e r s t h a t w e r e o v e r u s e d w e r e s p l i t i n t o s m a l l e r c o m p o n e n t s d u r i n g t h e p r o c e s s o f m a t c h i n g t h e e m e r g i n g c o d e s t o t h e d a t a s e t . W h a t w a s l e a r n e d f r o m t h i s e a r l y c o d i n g e f f o r t c o n t r i b u t e d t o t h e c o n s t r u c t i o n o f t h e i n t e r v i e w g u i d e u s e d i n P h a s e I I I o f t h e s t u d y . l g L e L l l . T h e s e c o n d l e v e l o f a n a l y s i s o c c u r r e d p r i m a r i l y d u r i n g P h a s e s I I I 8 : N o f t h e s t u d y a n d c o n s i s t e d o f c o n s t r u c t i n g i n d i v i d u a l c a s e s t u d i e s a n d c o m p a r i n g t h e m t o g e n e r a t e t e n t a t i v e fi n d i n g s a n s w e r i n g t h e 8 1 t h r e e r e s e a r c h q u e s t i o n s . P i e c e s o f i n f o r m a t i o n f r o m t h e i n t e r v i e w s c o n d u c t e d i n t h e m i d s t o f t h e n e e d s a s s e s s m e n t p r o c e s s w e r e w r i t t e n o n c a r d s , s o r t e d f o r t h e m e s , t h e n t r a n s f e r r e d t o g r i d s o n l a r g e s h e e t s o f p a p e r . T h e g r i d w a s f o r m a t t e d s o t h a t a r o w r e p r e s e n t e d a s i n g l e i n d i v i d u a l ; a c o l u m n r e p r e s e n t e d a l l o f t h e e v i d e n c e f o r a p a r t i c u l a r i n s i g h t . T h e l a t e r p o r t i o n o f t h i s s e c o n d l e v e l o f d a t a a n a l y s i s i n c l u d e d t h e ‘ c o m p i l a t i o n o f d e t a i l e d c a s e s t u d i e s o n t h r e e o f t h e p a r t i c i p a n t s . T h e s e d e t a i l e d c a s e s t u d i e s w e r e c o n s t r u c t e d b y c o m p i l i n g a l l a v a i l a b l e d a t a o n a p a r t i c i p a n t a n d c o n s t r u c t i n g a c h r o n o l o g i c a l s t o r y . E a c h c a s e s t u d y r e s u l t e d i n m o r e t h a n 3 0 p a g e s o f t e x t . I n L e v e l T w o , t h e a n a l y s i s i d e n t i fi e d m o r e w o r k i n g fi n d i n g s a n d a r e a s w h e r e a d d i t i o n a l i n f o r m a t i o n w a s n e e d e d . L e v e l I I I . T h e t h i r d l e v e l o f a n a l y s i s o c c u r r e d d u r i n g t h e l a t e r p o r t i o n o f P h a s e I V a n d t h r o u g h o u t P h a s e V . I t c o n s i s t e d o f a c o m p r e h e n s i v e r e v i e w a n d c o m p a r i s o n o f a l l d a t a c o l l e c t e d i n t h e s t u d y a c c o r d i n g t o t h e c o n s t a n t c o m p a r a t i v e m e t h o d o f d a t a a n a l y s i s . L e v e l T h r e e a n a l y s i s c l o s e l y f o l l o w e d t h e o p e r a t i o n s o f u n i t i z i n g , c a t e g o r i z i n g , s u m m a r i z i n g , a n d c o n d u c t i n g m e m b e r c h e c k s a s d e s c r i b e d b y L i n c o l n 8 r C u b a ( 1 9 8 5 ) a n d M i l e s & H u b e r m a n ( 1 9 8 4 ) . U n i t i z i n g . F i r s t , a l l d a t a w e r e b r o k e n i n t o u n i t s c o n t a i n i n g s i n g l e i d e a s . S e v e r a l p a s s e s w e r e m a d e t h r o u g h a l l fi e l d n o t e s t o i d e n t i f y t h e u n i t s . T h e s e u n i t s w e r e c o d e d t o i d e n t i f y , a t a m i n i m u m , t h e s o u r c e o f i n f o r m a t i o n , p a r t i c i p a n t r e f e r r e d t o , a n d c o n t e x t . F o r e x a m p l e , a p a r t i c i p a n t ' s r e s p o n s e i n a n i n t e r v i e w w o u l d b e c o d e d w i t h t h e p a r t i c i p a n t ' s i n i t i a l s , a c o d e i n d i c a t i n g t h e d a t a s o u r c e a s t h e i n t e r v i e w , t h e q u e s t i o n b e i n g r e s p o n d e d t o , t h e o r d e r o f t h i s c o m m e n t i n t h e i n t e r v i e w , t h e o r d e r n u m b e r , a n d d a t e o f t h e i n t e r v i e w . C o l o r s a l s o w e r e 8 2 u s e d t o d i f f e r e n t i a t e d a t a s o u r c e s . T h i s t y p e o f i d e n t i fi c a t i o n c o d i n g a v o i d e d c o n f u s i o n w h e n t h e d a t a w e r e l a t e r s e p a r a t e d a n d s o r t e d . E a c h i d e n t i fi e d u n i t w a s t h e n p r i n t e d o f f o n t o a 4 " x 6 " c a r d . T h e u n i t i z i n g p r o c e s s r e s u l t e d i n a p p r o x i m a t e l y 2 5 0 0 c a r d s . C a t e g o r i z i n g . T h e c a r d s w e r e t h e n s o r t e d t o c r e a t e c a t e g o r i e s . T h e y w e r e fi r s t s o r t e d i n t o p i l e s c o r r e s p o n d i n g t o t h e t h r e e r e s e a r c h q u e s t i o n s . T h e t h r e e p i l e s w e r e f u r t h e r s u b d i v i d e d b y c o m b i n i n g c a r d s t h a t d e s c r i b e d s i m i l a r p h e n o m e n a . E a c h o f t h e s e s m a l l e r p i l e s o f r e l a t e d c a r d s w a s r e v i e w e d t o d e t e r m i n e t h e n a t u r e o f t h e " c a t e g o r y " t h e y d e s c r i b e d . T h e i n v e s t i g a t o r t h e n w r o t e " r u l e s " t h a t d e s c r i b e d t h e c a t e g o r i e s i n s u c h a w a y t h a t a l l t h e r e l a t e d c a r d s w o u l d b e i n c l u d e d . W h e n e v e r a c a r d a p p l i e d t o m o r e t h a n o n e c a t e g o r y , a d d i t i o n a l c 0 p i e s w e r e m a d e a n d a d d e d t o e a c h c a t e g o r y . C o l o r c o d i n g o f t h e d a t a s o u r c e s p r o v e d e s p e c i a l l y b e n e fi c i a l a t t h i s s t a g e o f a n a l y s i s , b e c a u s e i t t o o k o n l y a g l a n c e t o d e t e r m i n e w h e t h e r t h e c a t e g o r y w a s r e l i a n t u p o n a s i n g l e c o l l e c t i o n m e t h o d . F o r e x a m p l e , i f a l l t h e c a r d s i n a p a r t i c u l a r p i l e w e r e w h i t e , i t m e a n t t h a t a l l t h e u n i t s o f r e l a t e d d a t a c a m e f r o m t h e e x i t i n t e r v i e w . T h e i n v e s t i g a t o r w o u l d t h e n l o o k t o s e e w h e t h e r t h e r e w a s s u p p o r t f o r t h e c a t e g o r y f r o m o t h e r s o u r c e s , a s w e l l a s w h e t h e r s o m e o t h e r s o u r c e h e l d c o n t r a d i c t o r y e v i d e n c e . E a c h o f t h e p i l e s c o u l d a l s o b e c h e c k e d f o r t h e n u m b e r o f p a r t i c i p a n t s t h a t h a d c o n t r i b u t e d d a t a t o t h e c a t e g o r y . F o r e x a m p l e , i n s o m e i n s t a n c e s , o n l y o n e o r t w o p a r t i c i p a n t s h a d c o n t r i b u t e d d a t a t o a p a r t i c u l a r c a t e g o r y . T h e i n v e s t i g a t o r w o u l d t h e n l o o k f o r s u p p o r t i n g a n d c o n t r a d i c t o r y e x a m p l e s f r o m o t h e r p a r t i c i p a n t s . I n t h i s s t a g e o f t h e p r o c e s s , c a t e g o r i e s w e r e s u b d i v i d e d a n d m e r g e d a s a p p r o p r i a t e , a n d r u l e s d e s c r i b i n g t h e c a t e g o r i e s w e r e r e fi n e d . 8 3 O v e r c o n t i n u e d c y c l e s o f s o r t i n g , t h e c a t e g o r i e s s t a b i l i z e d a n d a p a t t e r n b e g a n t o e m e r g e a s r e l a t e d c a t e g o r i e s w e r e a r r a n g e d n e a r e a c h o t h e r . S u m m a r i z i n g . T h e t h i r d o p e r a t i o n i n t h i s t h i r d l e v e l o f a n a l y s i s c o n s i s t e d o f s u m m a r i z i n g t h e d a t a i n t o a f o r m a t t h a t w o u l d b e r e a d i l y c o m p r e h e n s i b l e t o o t h e r s . D a t a d i s p l a y s a s d e s c r i b e d b y M i l e s & H u b e r m a n ( 1 9 8 4 ) w e r e c o n s t r u c t e d f r o m t h e c a t e g o r i z e d c a r d s . T h e i n t e n t o f t h e s e d i s p l a y s w a s t o s h o w t h e a m o u n t o f d a t a s u p p o r t f o r t h e d e s c r i p t i o n o f h o w t h e n e e d s a s s e s s m e n t s w e r e c o n d u c t e d a n d w h a t t h e p a r t i c i p a n t s h a d l e a r n e d f r o m d o i n g t h e m . P r e l i m i n a r y v e r s i o n s o f t h e s e d a t a d i s p l a y s w e r e s h a r e d w i t h t h e p a r t i c i p a n t s i n t h e m e m b e r c h e c k s t h a t w e r e c o n d u c t e d i n J u n e . D a t a d i s p l a y s w e r e a l s o s h a r e d w i t h o t h e r s w h o h a d n o t p a r t i c i p a t e d i n t h e s t u d y f o r i n p u t o n h o w t o m a k e t h e d i s p l a y s e a s i e r t o i n t e r p r e t a n d w h e t h e r t h e y s u p p o r t e d t h e a c c o m p a n y i n g w r i t t e n t e x t . T h e fi n a l v e r s i o n o f t h e d a t a d i s p l a y s i s p r e s e n t e d a s t a b l e s i n C h a p t e r s I V , V a n d V I . C o n d u c t i n g m e m b e r c h e c k s . T h e f o u r t h o p e r a t i o n , c o n d u c t i n g m e m b e r c h e c k s , a c t u a l l y o c c u r r e d t h r o u g h o u t t h e s t u d y - - b u t w a s m o s t c o m p r e h e n s i v e i n t h e fi n a l s t a g e s o f a n a l y s i s . T h r o u g h o u t t h e c y c l e s o f d a t a c o l l e c t i o n a n d a n a l y s i s , t h e i n v e s t i g a t o r o f t e n t a l k e d w i t h p a r t i c i p a n t s t o c o r r e c t e r r o r s o r c o l l e c t a d d i t i o n a l i n f o r m a t i o n . I n l a t e r s t a g e s o f t h e s t u d y , i n s i g h t s w e r e i n c r e a s i n g l y s h a r e d w i t h p a r t i c i p a n t s a n d t h e i r f e e d b a c k w a s s o l i c i t e d . I n J u n e , w h e n t h e a n a l y s i s w a s a l m o s t c o m p l e t e d , t h e i n v e s t i g a t o r c o n d u c t e d m e m b e r c h e c k s t o c l e a r u p d i s c r e p a n c i e s i n t h e d a t a a n d s o l i c i t f e e d b a c k o n fi n d i n g s a n d c o n c l u s i o n s . T h e s e m e m b e r c h e c k s w e r e p e r f o r m e d i n t w o w a y s . F i r s t , t h e i n v e s t i g a t o r g a v e a p r e s e n t a t i o n o f t h e s t u d y fi n d i n g s t o t h e p a r t i c i p a n t s a n d s o l i c i t e d g r o u p r e a c t i o n s . S e c o n d , 8 4 t h e i n v e s t i g a t o r s p o k e w i t h e a c h o f t h e p a r t i c i p a n t s i n d i v i d u a l l y . P a r t i c i p a n t s ' f e e d b a c k a n d c o r r e c t i o n s w e r e t h e n i n c o r p o r a t e d t o d e v e l o p t h e fi n a l s t u d y fi n d i n g s a n d c o n c l u s i o n s . F i n a l l y , t h e a n a l y s i s w a s c o n c l u d e d w i t h t h e w r i t i n g o f t h e r e p o r t a s r e p r e s e n t e d b y t h i s d i s s e r t a t i o n . 4 I n C h a p t e r V , t h e s t u d y fi n d i n g s a r e p r e s e n t e d b y r e f e r r i n g t o t h e d a t a d i s p l a y s a n d s u p p o r t i n g t h e m w i t h m o r e d e t a i l e d e x a m p l e s i n t h e f o r m o f i l l u s t r a t i v e v i g n e t t e s a n d q u o t e s f r o m t h e p a r t i c i p a n t s . I n C h a p t e r V I , " C o n c l u s i o n s a n d D i s c u s s i o n , " t h e i n v e s t i g a t o r p r e s e n t s h e r i n t e r p r e t a t i o n o f t h e fi n d i n g s , r e l a t i n g t h e m t o t h e c o n c e p t u a l f r a m e w o r k o f A r g y r i s a n d S c h o n ' s T h e o r y i n t o P r a c t i c e ( 1 9 7 4 ) . M A n o v e r v i e w o f t h e r e s e a r c h d e s i g n a n d m e t h o d o l o g y w a s p r e s e n t e d i n t h i s c h a p t e r . A d e s c r i p t i o n o f t h e q u a l i t a t i v e a p p r o a c h a s w e l l a s a d i s c u s s i o n o f i t s s u i t a b i l i t y t o t h e p u r p o s e o f t h e s t u d y w a s p r e s e n t e d . A n u m b e r o f t e c h n i q u e s e m p l o y e d i n q u a l i t a t i v e s t u d i e s t o e s t a b l i s h t h e t r u s t w o r t h i n e s s o f t h e s t u d y w e r e d i s c u s s e d . T h e p a r t i c i p a n t s , c o n t e x t , d a t a c o l l e c t i o n , a n d a n a l y s i s p r o c e d u r e s w e r e a l s o d e s c r i b e d . T h e m e t h o d s d e s c r i b e d i n t h i s s e c t i o n w e r e i n t e n d e d t o a c c o m p l i s h t h i s s t u d y ' s p u r p o s e o f d e s c r i b i n g a n d e x p l a i n i n g w h a t p e o p l e d o i n n e e d s a s s e s s m e n t s a n d w h a t t h e y l e a r n f r o m h a v i n g d o n e t h e m . I n C h a p t e r I V , t h e p a r t i c i p a n t s a n d s e t t i n g a r e d e s c r i b e d i n d e t a i l s o t h a t r e a d e r s m a y d e t e r m i n e t h e t r a n s f e r a b i l i t y o f fi n d i n g s f o r t h e m s e l v e s . 4 P s e u d o n y m s h a v e b e e n u s e d t o m a i n t a i n c o n f i d e n t i a l i t y . C H A P T E R I V T H E P A R T I C I P A N T S A N D S E T T I N G I N T R D N T h e p u r p o s e o f t h i s s t u d y w a s t o d e s c r i b e a n d e x p l a i n h o w p e o p l e w h o a r e fi r s t e x p o s e d t o n e e d s a s s e s s m e n t c o n c e p t s c o n d u c t n e e d s a s s e s s m e n t s a n d t o r e p o r t t h e s u b s e q u e n t o u t c o m e s . P a r t i c i p a n t s i n t h e s t u d y w e r e f o u r t e e n p h y s i c i a n s w h o c o n d u c t e d n e e d s a s s e s s m e n t s a s p a r t o f a c u r r i c u l u m d e v e l o p m e n t p r o j e c t . 1 T h e p a r t i c i p a n t s a n d s e t t i n g a r e d e s c r i b e d i n t h i s c h a p t e r s o t h a t r e a d e r s c a n d e t e r m i n e t h e i r o w n m e a n i n g s o f t h e fi n d i n g s a n d d i s c u s s i o n p r e s e n t e d i n t h e fi n a l t w o c h a p t e r s . T h i s d e s c r i p t i o n o f t h e p a r t i c i p a n t s a n d t h e s e t t i n g h a s b e e n d r a w n f r o m t w o s o u r c e s . F i r s t , t h e i n v e s t i g a t o r o b s e r v e d , i n t e r v i e w e d , a n d e x a m i n e d d o c u m e n t s t o c o n s t r u c t t h i s d e s c r i p t i o n . S e c o n d , a n o t h e r p e r s o n c o l l a b o r a t e d t o e s t a b l i s h t h a t t h e i n v e s t i g a t o r w a s n o t s y s t e m a t i c a l l y m i s c o n s t r u i n g w h a t s h e s a w , h e a r d , a n d r e a d . A p e e r i n f o r m a n t , w h o a l s o i s a f a c u l t y m e m b e r o f t h e f e l l o w s h i p , p r o v i d e d w r i t t e n o b s e r v a t i o n s t h a t t h e i n v e s t i g a t o r h a s c h e c k e d a g a i n s t h e r i n s i g h t s . P a r t s o f t h e p e e r i n f o r m a n t ' s o b s e r v a t i o n s a r e q u o t e d t h r o u g h o u t t h i s c h a p t e r . P l e a s e r e f e r t o A p p e n d i x F f o r t h e f u l l t e x t . 1 T h e t e r m " f e l l o w " i s u s e d t h r o u g h o u t t h i s s t u d y t o r e f e r t o t h e 2 1 p h y s i c i a n s e n r o l l e d i n t h e f e l l o w s h i p i n t h e y e a r s t u d i e d . T h e t e r m " p a r t i c i p a n t " r e f e r s o n l y t o t h e f o u r t e e n f e l l o w s w h o w e r e i n t h e c u r r i c u l u m t r a c k a n d , t h e r e f o r e , p e r f o r m e d a n e e d s a s s e s s m e n t . 8 5 8 6 T h e p a r t i c i p a n t s a n d s e t t i n g a r e d e s c r i b e d b y a n s w e r i n g f o u r q u e s t i o n s : 1 . W h o a r e t h e p a r t i c i p a n t s a n d w h a t a r e t h e i r d a i l y l i v e s l i k e a t t h e i r h o m e o r g a n i z a t i o n s ? 2 . W h a t a r e t h e p r i m a r y c h a r a c t e r i s t i c s o f t h e f e l l o w s h i p ? 3 . W h a t a r e t h e p r i m a r y c h a r a c t e r i s t i c s o f t h e c u r r i c u l u m t r a c k ? 4 . H o w d o e s t h e f e l l o w s h i p s t r u c t u r e t h e p a r t i c i p a n t s ' n e e d s a s s e s s m e n t s ? W H O . . T H E P ' I P A N D W H A " T H E I R D A I L I K E A T T H E I R H M E R A N I Z A T I N ? W W . T h e p a r t i c i p a n t s a r e p r a c t i c i n g p h y s i c i a n s i n t h e fi e l d o f " p r i m a r y c a r e " ( g e n e r a l i n t e r n i s t s , p e d i a t r i c i a n s , o r f a m i l y p h y s i c i a n s ) w h o a r e a l s o a c t i v e l y i n v o l v e d i n t e a c h i n g . I n g e n e r a l , p r i m a r y c a r e p h y s i c i a n s a r e e x p e c t e d t o h a v e t h e w i d e s t r a n g e o f k n o w l e d g e a s t h e y s e e p a t i e n t s fi r s t a n d s e n d t h e m o n t o " s p e c i a l i s t s " o n l y w h e n n e c e s s a r y . T h e y a r e t h e p h y s i c i a n s w h o s e e " w e l l " p e o p l e f o r p h y s i c a l s a n d c h e c k - u p s , s e e p a t i e n t s f o r r e l a t i v e l y m i n o r c o m m o n p r o b l e m s s u c h a s c o l d s , s p r a i n s , a n d h e a d a c h e s . T h e y a l s o m o n i t o r p a t i e n t s w i t h o n g o i n g c o n d i t i o n s s u c h a s h i g h b l o o d p r e s s u r e o r d i a b e t e s . P r i m a r y c a r e p h y s i c i a n s a r e l e s s w e l l p a i d a n d n o t a s w e l l r e s p e c t e d i n t h e h e a l t h c a r e s y s t e m a s a r e s p e c i a l i s t s s u c h a s c a r d i o l o g i s t s o r s u r g e o n s . T h r o u g h o u t t h e s t u d y , p a r t i c i p a n t s a c k n o w l e d g e d t h i s d i s p a r i t y , o f t e n i n a t o n e o f p e r p l e x e d r e s i g n a t i o n . 8 7 M o s t c h o s e t h i s fi e l d f o r t h e p a t i e n t c o n t a c t a n d f e e l t h e y a r e t h e i m p o r t a n t " f r o n t l i n e " o f h e a l t h c a r e . B u t i n t h e w o r d s o f o n e p a r t i c i p a n t , " H o w i s i t t h a t t h e r e s t o f t h e s y s t e m w h i c h i s s o d e p e n d e n t u p o n o n u s g e n e r a l i s t s [ t o d o t h e p r e p a r a t o r y w o r k a n d s e n d t h e m p a t i e n t s ] l o o k s d o w n t h e i r n o s e s a t u s ? " B e c a u s e t h e y h a v e c h o s e n a c a r e e r i n a c a d e m i c m e d i c i n e , t h e y a r e e x p e c t e d n o t o n l y t o " b e d o c t o r s , " b u t a l s o t o p r e p a r e o t h e r s t o b e c o m e d o c t o r s . T h e i r w o r k l i f e u s u a l l y e n c o m p a s s e s t h e t h r e e s e t t i n g s o f c l i n i c o r " d o c t o r ' s o f fi c e , " h o s p i t a l , a n d m e d i c a l s c h o o l . T h e i r b u s y c a r e e r s a r e d i v i d e d i n t o h a l f - d a y p o r t i o n s . M o s t a r e e x p e c t e d t o s e e t h e i r o w n p a t i e n t s fi v e o r m o r e h a l f d a y s a w e e k i n t h e o f fi c e . M a n y s p e n d a n o t h e r h a l f d a y o r t w o i n t h e o f f i c e s u p e r v i s i n g r e s i d e n t s ( m e d i c a l s c h o o l g r a d u a t e s i n t r a i n i n g a s " a p p r e n t i c e p h y s i c i a n s " ) . T h e y a l s o h a v e v a r i o u s r e s p o n s i b i l i t i e s i n t h e h o s p i t a l s u c h a s " r o u n d i n g " - - t a k i n g p r i m a r y r e s p o n s i b i l i t y f o r p a t i e n t c a r e a n d s u p e r v i s i n g r e s i d e n t s a n d m e d i c a l s t u d e n t s i n t h e h o s p i t a l , s e v e r a l w e e k s a y e a r . O t h e r h o s p i t a l d u t i e s i n c l u d e c o n d u c t i n g b e d s i d e t e a c h i n g o r " m o r n i n g r o u n d s " o f p a t i e n t s , a n d p r e s e n t i n g a n d a t t e n d i n g c o n f e r e n c e s o n m e d i c a l t o p i c s i n a d d i t i o n t o t h e " u s u a l " p h y s i c i a n r e s p o n s i b i l i t i e s i n h o s p i t a l s s u c h a s c h e c k i n g o n t h e i r o w n p a t i e n t s a n d s e r v i n g o n h o s p i t a l c o m m i t t e e s . D e p e n d i n g u p o n t h e l o c a l s y s t e m , e v e r y f e w n i g h t s o r w e e k s , t h e y a r e " o n c a l l , " b a c k i n g u p r e s i d e n t s i n c a s e s w h e r e o f f i c e o r h o s p i t a l p a t i e n t s n e e d i m m e d i a t e a t t e n t i o n i n t h e m i d d l e o f t h e n i g h t . T h e i r r e s p o n s i b i l i t i e s t o t h e m e d i c a l s c h o o l i n c l u d e g i v i n g l e c t u r e s t o l a r g e c l a s s e s a s w e l l a s l e a d i n g s m a l l e r d i s c u s s i o n g r o u p s f o r m e d i c a l s t u d e n t s . M o s t a l s o h a v e s o m e a d d i t i o n a l a r e a s o f r e s p o n s i b i l i t y w h i c h t a k e t i m e , s u c h a s " m e d i c a l d i r e c t o r " o f t h e o f fi c e , o r " a s s i s t a n t p r o g r a m 8 8 d i r e c t o r " o f a n e d u c a t i o n a l p r o g r a m . T h e y a r e c o n s t a n t l y u n d e r p r e s s u r e t o " k e e p u p o n t h e i r r e a d i n g " s o t h a t w h a t t h e y a r e t e a c h i n g a n d p r a c t i c i n g i s u p t o d a t e . A s t h e y a r e i n a n a c a d e m i c s e t t i n g , s o m e a r e a l s o e x p e c t e d t o c o n d u c t r e s e a r c h a n d p u b l i s h . T h e y h a v e a d m i n i s t r a t i v e r e s p o n s i b i l i t i e s a n d t h e a c c o m p a n y i n g p a p e r w o r k i n a l l t h r e e s e t t i n g s . I n t h e o f fi c e a n d h o s p i t a l s e t t i n g s t h e y m u s t k e e p t h e i r o w n p a t i e n t s ' c h a r t s u p t o d a t e , o r d e r l a b t e s t s a n d e x a m i n e r e s u l t s , a s w e l l a s c h e c k o v e r a n d s i g n o f f o n r e s i d e n t s ' p a p e r w o r k . I n t h e m e d i c a l s c h o o l , t h e y h a v e f o r m a l l e c t u r e s t o p r e p a r e w i t h a c c o m p a n y i n g s l i d e s , h a n d o u t s , a n d t e s t q u e s t i o n s . A t e v e r y t u r n , t h e y h a v e t o p r o v i d e w r i t t e n f e e d b a c k o n t h e i r l e a r n e r s . T h e y c o m p l e t e e v a l u a t i o n s o n r e s i d e n t s a n d a d v a n c e d m e d i c a l s t u d e n t s i n t h e o f fi c e a n d t h e h o s p i t a l , r a t e s t u d e n t s ' c a s e p r e s e n t a t i o n s a n d d i s c u s s i o n p a r t i c i p a t i o n , a n d a s s i g n g r a d e s i n c o u r s e s . T h e c u s t o m a r y w o r k l o a d w e l l e x c e e d s t h e a l l o t t e d 1 0 h a l f d a y s p e r w e e k . A n d a t c e r t a i n p o i n t s i n t h e y e a r , a d d i t i o n a l d e m a n d s a r e m a d e . E v e r y y e a r t h e r e i s a n i n t e r v i e w i n g s e a s o n w h e n a c a d e m i c p h y s i c i a n s m u s t m a k e t i m e t o r e v i e w a p p l i c a t i o n s , c o n d u c t i n t e r v i e w s , a n d a t t e n d m e e t i n g s t o r a n k p r o s p e c t i v e n e w r e c r u i t s i n t o t h e i r m e d i c a l s c h o o l a n d / o r r e s i d e n c y p r o g r a m . E v e r y f e w y e a r s t h e i r o r g a n i z a t i o n c o m e s u n d e r t h e s c r u t i n y o f a n a t i o n a l b o a r d a n d t h e r e a r e r e p o r t s t o w r i t e , fi l e s t o s t r a i g h t e n o u t , a n d g a p s i n t h e i r p r o g r a m s t o b e fi l l e d b y c r e a t i n g n e w c u r r i c u l a o r r e s t r u c t u r i n g t h e w o r k e n v i r o n m e n t . T h e p a r t i c i p a n t s a l s o h a v e b u s y l i v e s o u t s i d e o f t h e i r c a r e e r s . A t l e a s t e l e v e n o f t h e f o u r t e e n a r e i n l o n g t e r m r e l a t i o n s h i p s a n d t e n h a v e c h i l d r e n . M o s t o f t e n t h e p a r t n e r a l s o w o r k s o u t s i d e t h e h o m e . T h e y a r e b u s y h a v i n g b a b i e s , r a i s i n g c h i l d r e n , a n d p u r s u i n g o u t s i d e i n t e r e s t s 8 9 s u c h a s r e s t o r i n g o l d h o m e s o r a n t i q u e c a r s , t r a i n i n g f o r t r i a t h l o n s , a n d a t t e n d i n g p o l i t i c a l r a l l i e s . P r i o r e x p e r i e n g e i n c u r r i c u l u m d e v e l o p m e n t . A f t e r b e i n g a c c e p t e d t o t h e f e l l o w s h i p , a n d b e f o r e a t t e n d i n g t h e fi r s t o n - c a m p u s s e s s i o n , t h e f e l l o w s c o m p l e t e d a q u e s t i o n n a i r e c o l l e c t i n g i n f o r m a t i o n o n t h e i r b a c k g r o u n d i n a v a r i e t y o f a r e a s . F i g u r e 3 p r e s e n t s t h e p a r t i c i p a n t s ' r e s p o n s e s t o a q u e s t i o n o n c u r r i c u l u m d e v e l o p m e n t : 2 W h a t a m o u n t o f t r a i n i n g o r e x p e r i e n c e h a v e y o u r e c e i v e d i n c u r r i c u l u m d e v e l o p m e n t ? 4 O 1 2 3 4 5 N o n e L i t t l e S o m e E x t e n s i v e F i g u r e 3 P r i o r T r a i n i n g a n d E x p e r i e n c e i n C u r r i c u l u m D e v e l o p m e n t A s s h o w n i n t h e fi g u r e , t h e p a r t i c i p a n t s w e r e f a i r l y e v e n l y s p r e a d i n t h e i r s e l f a s s e s s m e n t s o f a m o u n t o f t r a i n i n g o r e x p e r i e n c e i n c u r r i c u l u m d e v e l o p m e n t . I n a s e p a r a t e q u e s t i o n , a l l n i n e o f t h e p a r t i c i p a n t s r e p o r t i n g a n y d e g r e e o f p r i o r e x p e r i e n c e ( o n e t h r o u g h fi v e o n t h e s c a l e ) i n d i c a t e d t h a t t h e y h a d o b t a i n e d t h e e x p e r i e n c e t h r o u g h " o n t h e j o b o r s e l f i n s t r u c t i o n . " I n f o u r o f t h e n i n e i n s t a n c e s , t h i s w a s t h e s o l e s o u r c e o f e x p e r i e n c e . T h r e e p a r t i c i p a n t s a l s o i n d i c a t e d t h a t t h e y h a d a t t e n d e d 2 O n l y t h i r t e e n r e s p o n s e s a r e p r e s e n t e d i n F i g u r e 3 a s o n e p a r t i c i p a n t l e f t t h i s q u e s t i o n b l a n k . H o w e v e r . o n a s e p a r a t e q u e s t i o n . t h e s a m e p a r t i c i p a n t r e s p o n d e d t h a t e x p e r i e n c e h a d b e e n g a i n e d " o n t h e j o b . " 9 0 C o n t i n u i n g M e d i c a l E d u c a t i o n ( C M E ) c o u r s e s r e l a t e d t o c u r r i c u l u m d e v e l o p m e n t , a n d a n o t h e r t h r e e r e p o r t e d c u r r i c u l u m d e v e l o p m e n t e x p e r i e n c e f r o m t h e i r r e s i d e n c i e s . F e l l p w s h i p f a p u l g g p e r p e p t i p n s p f t h e p a r t i c i p a n t s . T h i s w a s t h e fi f t e e n t h y e a r t h a t t h e f e l l o w s h i p h a d b e e n o f f e r e d . T W O f e l l o w s h i p f a c u l t y w h o h a d b e e n w i t h t h e p r o g r a m s i n c e i t s i n c e p t i o n a n d , t h e r e f o r e , h a d a b a s i s f o r c o m p a r i s o n , r e m a r k e d t h a t t h i s y e a r ' s g r o u p w a s m u c h m o r e " o u t g o i n g " a n d " r e a c t i v e " t h a n p r e v i o u s y e a r s . T h e e n t i r e f a c u l t y a l s o f e l t t h a t t h i s c l a s s w a s " o l d e r " a n d " t h e y h a d t o t h i n k f a r t h e r b a c k t o r e c a l l t h e i r m e d i c a l s c h o o l d a y s . " T h e f a c u l t y w e r e a l s o s l i g h t l y s u r p r i s e d b e c a u s e , f o r t h e fi r s t t i m e i n t h e f e l l o w s h i p , t h e n u m b e r o f f e l l o w s e l e c t i n g t o d o a c u r r i c u l u m d e v e l o p m e n t p r o j e c t ( 1 4 ) e x c e e d e d t h e n u m b e r o p t i n g f o r a r e s e a r c h p r o j e c t ( 7 ) . 3 P i n i v i U W . I n T a b l e 5 , a f e w d e m o g r a p h i c c h a r a c t e r i s t i c s o f t h e f o u r t e e n p a r t i c i p a n t s a r e d e s c r i b e d . ( I n T a b l e 5 , a s t h r o u g h o u t t h i s r e p o r t , p s e u d o n y m s h a v e b e e n u s e d t o p r e s e r v e c o n fi d e n t i a l i t y . ) T h e r e w e r e s l i g h t l y m o r e f e m a l e t h a n m a l e p a r t i c i p a n t s ( 8 : 6 ) . T h e y r a n g e d i n a g e f r o m 2 8 t o 5 4 w i t h m o s t i n t h e i r m i d - t h i r t i e s . A l l p a r t i c i p a n t s w e r e e m p l o y e d f u l l t i m e a n d f o u r w e r e i n t e n u r e t r a c k p o s i t i o n s . W i t h o n e e x c e p t i o n , a l l h a d b e e n w o r k i n g i n a c a d e m i c m e d i c i n e f o r t h r e e o r f e w e r y e a r s . T h e i r a v e r a g e t i m e o n t h e j o b w a s t w o y e a r s . 3 T h i s t r e n d w a s t o c o n t i n u e i n t h e f o l l o w i n g y e a r . F e l l o w s h i p f a c u l t y b e l i e v e i n c r e a s i n g i n t e r e s t i n t h e c u r r i c u l u m t r a c k m a y b e d u e t o i n c r e a s i n g l y s t r i n g e n t n a t i o n a l r e q u i r e m e n t s r e g a r d i n g t h e q u a l i t y o f c u r r i c u l a t o k e e p p r o g r a m s c e r t i fi e d . 2 3 5 5 3 5 9 4 s e 7 I e / / 3 r ] / 3 / 9 / 9 o 1 e T r 2 5 1 9 / l c 1 1 3 5 s a c 3 / 3 1 / 6 1 B / s 1 / / 4 o / [ / c J 3 / 5 P 5 3 d P M P 4 9 J J / e 1 7 / P 2 / 2 9 1 5 S T 1 F 3 2 9 / T / N 7 N 1 E I 3 3 e ? r k u c n a e r T t s e Y r J T / 3 3 T / 5 / / T T e N f 9 T / / 3 5 3 / f N S N N i / 9 1 3 I E 3 4 E 7 | E d 5 E 5 4 s e Y s e Y s t n a p i c i t 1 r b s a o r P a J e Y n O y d u t S f o 5 s c e i l t b s a i s s s s s e e e e e Y Y Y Y Y s s s s s s s s s e e e e e e e e e Y Y Y Y Y Y Y Y Y y y y y y y d e t a u ) I T B M ( y r o t y y y y c c a n c c c c m m m a a a c c c c n n n n n n r n n n n e e e e e e g e e e e d d d d d d r d d d d i i i i i i e T r r r r i i i i s s s s s s d e t c a r g g g o o o r r r P P P s s s s e e e e e e n e e e e R R R R R R U R R R R d d d d d d d d d d d e e e e e e e n a e e g e e e e e s s s s s g s s o n t t t s s s s a a a a a a a i a a a a a a a B B B B B B B t u u u B B B B i i s r s B e - t d d d y y y y y y y s y y y y t t t t t t t e a a a t t t t S r r r i i i i i i i i e i i s p r i i m n n a h y s M g g g s s s s n n n n n p r k r r r r u u u u r r u u u r w a r e e e e e e e v v v v m m m m m m m g o f l o r o i i i i m m m m m m m o l d d d n n n n n o o n n o o o e o o r n o W U U U U U U U f C C C C C C P C i h C c i h g o m e v n i e p y T s g r t p e i b r S m c e s D e t d E p P o r e S f f 4 o e s t a o n b t 7 2 3 3 o o J o f n o d n s a r a 4 e - Y 3 9 d . n p l p a e n e e x g e e t y D l a i c e p S 1 S D E F P P e 2 7 8 7 g 2 3 3 3 A e s a m i m e x m e h i e i y a e l k c b l v a m l a l u i N E A E S J M B i a u a A S M R R M 1 2 S e x F u l l T i m e ? I M 2 F P F P 3 2 N N C ’ ) F P I M F P E N T P 3 7 / 5 1 / 1 7 / 9 E r i n 3 3 F P J o a n 4 2 F P 3 5 F P 3 4 F P J 1 7 / 5 / 1 1 / 7 m u z u u m u fi z m i u z F P M 9 1 9 2 I t i s i m p o r t a n t t o k e e p i n m i n d t h a t t h e p a r t i c i p a n t s h a d t o f u l fi l l c e r t a i n c r i t e r i a t o q u a l i f y f o r t h e f e l l o w s h i p . F o r t h i s r e a s o n , t h e y w e r e a l l l i m i t e d t o t h e p r i m a r y c a r e s p e c i a l t i e s o f F a m i l y M e d i c i n e " , " F M P e d i a t r i c s " P e d s , " o r I n t e r n a l M e d i c i n e " 1 M " . O t h e r r e q u i r e m e n t s o f t h e f e l l o w s h i p i n c l u d e d t h a t t h e y b e e m p l o y e d f u l l t i m e i n a c a d e m i c m e d i c i n e , a n d b e r e l a t i v e l y n e w t o t h e i r j o b s . T h e s e s e l e c t i o n c r i t e r i a a s s u r e d t h a t m o s t o f t h e p a r t i c i p a n t s w o u l d b e i n t h e i r t h i r t i e s . I n c a s e s w h e r e t h e p a r t i c i p a n t s w e r e o l d e r , t h e y e i t h e r h a d a n o t h e r c a r e e r p r i o r t o b e c o m i n g p h y s i c i a n s o r h a d p r a c t i c e d a s p h y s i c i a n s o u t s i d e o f a c a d e m i c m e d i c i n e s e t t i n g s . T h e t y p e o f s e t t i n g i n w h i c h t h e p a r t i c i p a n t s w e r e e m p l o y e d i s s h o w n i n T a b l e 5 . A l l s e t t i n g s r e q u i r e d p a r t i c i p a n t s t o s e e t h e i r o w n p a t i e n t s , w o r k i n t h e h o s p i t a l , a n d s u p e r v i s e l e a r n e r s i n t h e o f f i c e a n d / o r h o s p i t a l . T h r e e p a r t i c i p a n t s w e r e i n " u n d e r g r a d u a t e p r o g r a m s " i n m e d i c a l s c h o o l s w h e r e t h e p a r t i c i p a n t s w o u l d b e w o r k i n g p r i m a r i l y w i t h m e d i c a l s t u d e n t s . P a r t i c i p a n t s i n t h i s s e t t i n g c o u l d b e e x p e c t e d t o h a v e m o r e r e s p o n s i b i l i t i e s r e l a t e d t o t r a d i t i o n a l c o u r s e s a n d l e c t u r e s . S i x w o r k e d i n " c o m m u n i t y b a s e d r e s i d e n c i e s , " w h i c h a r e a p p r e n t i c e s h i p t y p e s o f p r o g r a m s f o r t r a i n i n g m e d i c a l s c h o o l g r a d u a t e s , " r e s i d e n t s . " I n t h e s e s e t t i n g s , p a r t i c i p a n t s h a d f e w e r o r n o r e s p o n s i b i l i t i e s t o m e d i c a l s c h o o l s o r s t u d e n t s , b u t m u s t p r o v i d e r e s i d e n t s w i t h t h e r e q u i r e d k n o w l e d g e a n d s k i l l s t o b e c o m e c e r t i fi e d p h y s i c i a n s . T h i s i n c l u d e d c r e a t i n g a n d r u n n i n g r o t a t i o n s i n a r e a s s u c h a s " p e d i a t r i c s , " o r " o b s t e t r i c s . " F o u r w o r k e d i n " u n i v e r s i t y b a s e d r e s i d e n c i e s " ( p r o g r a m s i n w h i c h p a r t i c i p a n t s ' r e s p o n s i b i l i t i e s p r i m a r i l y r e l a t e d t o t r a i n i n g r e s i d e n t s ) b u t , a s t h e y w e r e c l o s e l y a t t a c h e d t o m e d i c a l s c h o o l s , t h e y m i g h t a l s o b e e x p e c t e d t o t e a c h a n d s u p e r v i s e m e d i c a l s t u d e n t s . T h e o n e 9 3 e x c e p t i o n t o t h i s s y s t e m , t h e " c o m m u n i t y b a s e d u n d e r g r a d u a t e p r o g r a m , " r e f e r s t o a s e t t i n g w h i c h t r a i n s a d v a n c e d m e d i c a l s t u d e n t s f r o m a d i s t a n t m e d i c a l s c h o o l . T h i s s e t t i n g m o r e c l o s e l y r e s e m b l e d t h e " c o m m u n i t y b a s e d r e s i d e n c i e s " a s t h e r e w e r e n o a d d i t i o n a l r e s p o n s i b i l i t i e s ( s u c h a s l e c t u r i n g ) t o t h e d i s t a n t u n i v e r s i t y . A n i n d e p e n d e n t p e e r o b s e r v e r r e v i e w e d t h e fi l e s f o r t h e t h r e e p r e v i o u s y e a r s a n d f o u n d t h a t a l m o s t t w i c e a s m a n y p h y s i c i a n s i n t h e s p e c i a l t y o f F a m i l y M e d i c i n e ( 1 4 ) h a d s e l e c t e d t h e c u r r i c u l u m t r a c k t h a n h a d t h o s e i n P e d i a t r i c s a n d I n t e r n a l M e d i c i n e c o m b i n e d ( 8 ) . T h i s t r e n d a p p e a r s t o b e h o l d i n g f o r t h e c u r r e n t y e a r i n w h i c h t h e g r o u p o f f o u r t e e n p a r t i c i p a n t s i s r e p r e s e n t e d b y t e n f a m i l y m e d i c i n e p r a c t i t i o n e r s , t w o i n t e r n i s t s , a n d t w o p e d i a t r i c i a n s . I t w a s a l s o f o u n d t h a t o v e r t h e t h r e e p r e v i o u s y e a r s , t h e f e l l o w s h a d b e e n f a i r l y e v e n l y d i s t r i b u t e d a m o n g t h e t h r e e t y p e s o f s i t e s ( c o m m u n i t y - b a s e d r e s i d e n c y , 7 ; u n i v e r s i t y b a s e d r e s i d e n c y , 7 ; a n d u n d e r g r a d u a t e m e d i c a l s c h o o l , 8 ) b u t t h e r e w e r e fl u c t u a t i o n s f r o m y e a r t o y e a r . T h e y e a r i n w h i c h t h e s t u d y w a s c o n d u c t e d , h a l f o f t h e p a r t i c i p a n t s c a m e f r o m c o m m u n i t y b a s e d p r o g r a m s . I n a d d i t i o n t o d e m o g r a p h i c i n f o r m a t i o n , s c o r e s o n t h e M y e r s — B r i g g s T y p e I n v e n t o r y ( M B T I ) w e r e o b t a i n e d . W h e n t h e s t u d y w a s o r i g i n a l l y d e s i g n e d , t h e c o n c e p t u a l f r a m e w o r k w a s b a s e d o n t h e M B T I . A r e v i e w o f t h e l i t e r a t u r e i n d i c a t e d t h e l i k e l i h o o d t h a t t h e r e m i g h t b e a l i n k b e t w e e n t e m p e r a m e n t t y p e a s m e a s u r e d b y t h e M B T I a n d a p e r s o n ' s p r e f e r r e d n e e d s a s s e s s m e n t p r o c e s s a s w e l l a s t h e t y p e o f r e s u l t s t h e y o b t a i n e d . H o w e v e r , a s t h e s t u d y p r o g r e s s e d , i t b e c a m e e v i d e n t t h a t t h e r e w e r e m u c h m o r e i m p o r t a n t f a c t o r s t h a t e x p l a i n e d t h e p a r t i c i p a n t s ' p r o c e s s e s a n d r e s u l t s ( S e e A p p e n d i x A f o r a d e s c r i p t i o n o f w h y a n d h o w 9 4 t h e c o n c e p t u a l f r a m e w o r k a n d r e s e a r c h q u e s t i o n s c h a n g e d ) . T h e M B T I r e s u l t s w e r e n o t u s e d i n d e v e l o p i n g t h e fi n d i n g s f o r t h e p r e s e n t s t u d y , a n d a r e p r e s e n t e d h e r e o n l y f o r t h e r e a d e r ' s r e f e r e n c e . A l t h o u g h t h e i n v e s t i g a t o r d i d n o t d i s c e r n a n y u s e f u l l i n k s b e t w e e n p a r t i c i p a n t s ' M B T I s c o r e s a n d a p p r o a c h e s t o n e e d s a s s e s s m e n t , t h e r e a d e r m a y l e a r n s o m e t h i n g m o r e a b o u t t h e p a r t i c i p a n t s b y e x a m i n i n g t h e i r M B T I r e s u l t s . 4 R e a s o n s f c r c h c o s i n g a c u r r i c u l u m d e v e l o p m c n t p r o j e c t . T h e t y p e s o f c u r r i c u l a a n d p a r t i c i p a n t s ' r e a s o n s f o r c h o o s i n g t o d o a c u r r i c u l u m d e v e l o p m e n t p r o j e c t a r e p r e s e n t e d i n T a b l e 6 . T h e t y p e s o f c u r r i c u l a w e r e t h e p a r t i c i p a n t s ' o w n d e s c r i p t i o n s i n l a t e r i n t e r v i e w s . T h e r e a s o n s f o r c r e a t i n g t h e c u r r i c u l a w e r e d r a w n f r o m p a r t i c i p a n t s ' w r i t t e n a n s w e r s o n t h r e e s e p a r a t e a s s i g n m e n t s o v e r a fi v e m o n t h p e r i o d . T h e t y p e s o f c u r r i c u l a f e l l i n t o f o u r g r o u p s : r o t a t i o n s , c o u r s e s , l o n g i t u d i n a l e x p e r i e n c e s , a n d o t h e r . S e v e n o f t h e p a r t i c i p a n t s c r e a t e d r o t a t i o n s i n w h i c h l e a r n e r s w o u l d a c q u i r e k n o w l e d g e a n d s k i l l s i n t h e o f fi c e o r h o s p i t a l s e t t i n g i n a t w o - t o - f o u r w e e k p e r i o d . A n e x a m p l e i s t h e m o n t h - l o n g r o t a t i o n i n W o m e n ' s H e a l t h t h a t M a y c r e a t e d . F o u r p a r t i c i p a n t s c r e a t e d c o u r s e s i n w h i c h l e a r n e r s w e r e t o a c q u i r e k n o w l e d g e a n d p r a c t i c e s o m e s k i l l s i n a s e t t i n g t h a t m o r e c l o s e l y r e s e m b l e d t h e t r a d i t i o n a l c l a s s r o o m . A n e x a m p l e i s t h e c o u r s e i n S u b s t a n c e A b u s e t h a t S a m c r e a t e d , i n w h i c h m e d i c a l s c h o o l s t u d e n t s w o r k e d i n s m a l l g r o u p s 4 T h e s c o r e s a r e r e p o r t e d f o r f o u r c o n t i n u a : E x t r a v e r s i o n / I n t r o v e r s i o n , t h u i t i o n / S e n s a t i o n , T h i n k i n g / F e e l i n g , a n d J u d g i n g / P e r c e i v i n g . I n t h i s v e r s i o n , s c o r e s c a n r a n g e f r o m 1 t o 5 9 w i t h l o w e r s c o r e s i n d i c a t i n g t h e c e n t e r o f t h e c o n t i n u a a n d h i g h e r s c o r e s i n d i c a t i n g a n e n d o f t h e c o n t i n u u m ( t h e l o w e r t h e s c o r e t h e l e s s o n e t e m p e r a m e n t d o m i n a t e s t h e o t h e r o n t h e s a m e c o n t i n u a ) . F o r i n t r o d u c t o r y i n f o r m a t i o n o n t h e M y e r s B r i g g s M e I n v e n t o r y , c o n s u l t t h e f o l l o w i n g t e x t s : M y e r s , 1 . B . ( 1 9 8 0 ) . M U M . P a l o A l t o , C A : C o n s u l t i n g P s y c h o l o g i s t s P r e s s . K e i r s e y , D . 8 : B a t e s . M . ( 1 9 7 8 ) . ' m p 5 s D e l M a r . C A : P r o m e t h e u s N e m e s i s B o o k C o m p a n y 9 5 T a b l e 6 W h y I n t e r e s t e d , B e n e fi t s o f C u r r i c u l u m D e v e l o p m e n t P r o j e c t T V ” 8 ' . § : ' l £ ' é ’ “ ' " " ‘ E m ? “ 5 ' 3 3 " 7 : 3 3 . . “ 5 ' " “ : 3 . " 3 3 3 : 3 ? ” 3 3 . 3 3 “ " “ m 3 . 2 3 . 3 : L e a r n e r s M a y R o t a t i o n V V . 1 # V S u e R o t a t i o n V V V V a m R o t a t i o n . 1 1 * . 1 R u b i n R o t a t i o n . 1 . 1 V 3 M i k e C o u r s e . 1 . 1 V t J o a n L o n g i t u d i n a l C o u r s e . 1 . 1 V t E m m a R o t a t i o n V . 1 t V J u l i e R o t a t i o n V c . 1 A l e x l s C o u r s e . 1 w t E v e C o u r s e . 1 V t S a m C o u r s e V t E r i n L o n g i t u d i n a l R o t a t i o n . 1 t M a x R o t a t i o n ( U n d e r g r a d u a t e ) . 1 t . 1 R a c h e l M o d e l f o r t e a c h i n g . 1 K i l t V S p e c i f i c a l l y m i t t e n i n a n s w e r I t P a r t i c i p a n t e m p h a s i z e d t h i s r e a s o n 9 6 t o l e a r n s u b s t a n c e a b u s e c o n c e p t s a n d p r a c t i c e d i n t e r v i e w i n g p a t i e n t s w i t h s u b s t a n c e a b u s e p r o b l e m s . T w o p a r t i c i p a n t s c r e a t e d a l o n g i t u d i n a l c o u r s e o r l o n g i t u d i n a l r o t a t i o n , r e s p e c t i v e l y . I n t h e s e i n s t a n c e s , t h e l e a r n e r s w e r e t o a c q u i r e t h e m a t e r i a l i n h o u r l y o r h a l f - d a y a l l o t m e n t s o v e r a n e x t e n d e d p e r i o d o f t i m e o f a y e a r o r m o r e . A n e x a m p l e i s J o a n ' s A m b u l a t o r y P e d i a t r i c s c u r r i c u l u m w h i c h w a s t o c o v e r 6 0 h o u r s o f m a t e r i a l i n f o u r - h o u r i n c r e m e n t s o v e r a t w o - y e a r p e r i o d . A n d fi n a l l y , o n e p a r t i c i p a n t c r e a t e d w h a t s h e d e s c r i b e d a s " a f r a m e w o r k f o r a p p r o a c h i n g t e a c h i n g i n a l l s i t u a t i o n s . " 5 W h e n w r i t i n g w h y t h e y w e r e i n t e r e s t e d i n t h e i r i n t e n d e d p r o j e c t s a n d w h a t t h e b e n e fi t s o f t h e c u r r i c u l u m w o u l d b e , t h e r e w a s r e m a r k a b l e c o n s i s t e n c y a m o n g p a r t i c i p a n t s ' a n s w e r s . P a r t i c i p a n t s ' r e s p o n s e s c o u l d b e c a p t u r e d i n f o u r b a s i c c a t e g o r i e s . F i r s t , 1 3 o f t h e 1 4 p a r t i c i p a n t s w r o t e o n e o r m o r e t i m e s o f t h e n e e d f o r t h e c u r r i c u l u m t o i m p r o v e t h e e x p e r i e n c e a n d s k i l l s o f t h e i r l e a r n e r s . F o r e x a m p l e , J u l i e w r o t e : I d i d m y F a m i l y P r a c t i c e r e s i d e n c y a t [ t h e s a m e i n s t i t u t i o n ] a n d w a s s o m e w h a t d i s t r e s s e d a t fi n d i n g o u t h o w v a r i a b l e t h e [ o u t p a t i e n t p r o c e d u r e s ] t r a i n i n g w a s - t h e e d u c a t i o n w a s v e r y d e p e n d e n t o n t h e p a t i e n t s / p r o c e d u r e s s c h e d u l e d a n d t h e i n s t r u c t o r s w h o d i d t h e s u p e r v i s i n g . I r e a l i z e d t h a t a c o r e c u r r i c u l u m w o u l d b e e x t r e m e l y b e n e fi c i a l . . . . S e c o n d , e l e v e n o f t h e f o u r t e e n p a r t i c i p a n t s e x p l i c i t l y w r o t e t h a t t h e c u r r i c u l u m t h e y w e r e t o c r e a t e c o v e r e d o n e o f t h e a r e a s t h e y w e r e r e s p o n s i b l e f o r i n t h e i r j o b s . 6 J u l i e w a s d i r e c t o r o f t h e r e s i d e n t ' s 5 A s w i l l b e d e s c r i b e d i n t h e f o l l o w i n g s e c t i o n o n " o u t l i e r s , " t h e c u r r i c u l u m p r o j e c t l a b e l e d " o t h e r " d i d n o t f u l fi l l t h e c r i t e r i a f o r a c u r r i c u l u m b y t h e f e l l o w s h i p s t a n d a r d s . 6 I n i n t e r v i e w s , t h e r e m a i n i n g t h r e e p a r t i c i p a n t s v o l u n t e e r e d t h a t t h e i r c u r r i c u l u m d e v e l o p m e n t p r o j e c t s a l s o a d d r e s s e d a n a l r e a d y e x i s t i n g j o b r e s p o n s i b i l i t y . H o w e v e r , t h e i r d e s c r i p t i o n s i n d i c a t e d t h a t i t w a s o n e j o b r e s p o n s i b i l i t y a m o n g m a n y , a n d n o t o n e t h a t t h e y c o n s i d e r e d " m a j o r . " 9 7 p r o c e d u r e s c l i n i c . B i l l , w h o w a s c r e a t i n g a c u r r i c u l u m i n g e r i a t r i c s , w a s a l r e a d y t h e c o u r s e c o o r d i n a t o r . A n d t h i r d , s e v e n o f t h e f o u r t e e n w r o t e o f t h e c u r r i c u l u m c o n t e n t b e i n g o f g r e a t p e r s o n a l i n t e r e s t . P a r t i c i p a n t s r e v e a l e d i n i n t e r v i e w s t h a t t h e s e t w o r e a s o n s w e r e o f t e n c o m b i n e d . F o r e x a m p l e , M a y s a i d " I d e m a n d e d t h i s j o b a r e a a s a r e s p o n s i b i l i t y , I d e m a n d e d i t j u s t b e c a u s e i t w a s s o i m p o r t a n t t o m e . " A n d S a m s p o n t a n e o u s l y v o l u n t e e r e d " [ T e a c h i n g S u b s t a n c e A b u s e ] i s a j o b r e s p o n s i b i l i t y , b u t I t o o k t h e j o b s p e c i fi c a l l y b e c a u s e i t w o u l d h e l p m e t e a c h o t h e r s h o w t o d e a l w i t h s u b s t a n c e a b u s e . " A n d f o u r t h , fi v e o f t h e p a r t i c i p a n t s w r o t e o f t h e i r d e s i r e t o c r e a t e a c u r r i c u l u m t o i m p r o v e t h e i r o w n s k i l l s i n t e a c h i n g . M a x w r o t e o f t h i s c u r r i c u l u m d e v e l o p m e n t p r o j e c t a s a s t e p p i n g s t o n e t o s t i l l l a r g e r p r o j e c t s : T h i s p r o j e c t w i l l a l l o w m e t o d e v e l o p e x p e r t i s e i n t h e a r e a o f c u r r i c u l u m d e v e l o p m e n t a n d I w i l l b e a b l e t o e x p a n d t h i s t w o w e e k c l e r k s h i p i n o r d e r t o d e v e l o p a c u r r i c u l u m f o r o u r fi r s t y e a r r e s i d e n t s a s w e l l . I n t w e l v e o f t h e f o u r t e e n c a s e s , t h e p a r t i c i p a n t s ' p r i o r i t y r e a s o n s f o r c h o o s i n g t o d e v e l o p a c u r r i c u l u m w a s e v i d e n t i n t h e i r w r i t t e n w o r d s a n d l a t e r c o n fi r m e d i n i n t e r v i e w s . A l t h o u g h o n l y fi v e i n d i c a t e d t h e c u r r i c u l u m b e i n g r e l a t e d t o a p e r s o n a l i n t e r e s t a r e a a s t h e m o s t i m p o r t a n t r e a s o n , a l l b u t o n e i n d i c a t e d t h a t t h e y h a d a p e r s o n a l i n t e r e s t i n t h e t o p i c a r e a . E v e n t h o s e w h o h a d n o t w r i t t e n a n s w e r s d e s c r i b i n g t h e i r p e r s o n a l i n t e r e s t i n t h e t o p i c , s p o k e o f i t i n i n t e r v i e w s . F o r e x a m p l e , E m m a w h o w a s c r e a t i n g a n o r m a l n e w b o r n n u r s e r y r o t a t i o n , r e p e a t e d l y s p o k e o f h e r c o n c e r n a b o u t r e s i d e n t s r e c e i v i n g t o o m u c h e m p h a s i s i n t r e a t i n g i l l n e w b o r n s . S u e s a i d t h a t s h e h a d e v e n s w i t c h e d 9 8 h e r c u r r i c u l u m t o p i c t o o n e t h a t s h e w a s i n t e r e s t e d i n , w t h e e x p r e s s e d w i s h e s o f m a n y o f h e r d e p a r t m e n t m e m b e r s . T h e o n l y e x c e p t i o n t o t h i s t r e n d w a s E r i n w h o o p e n l y a c k n o w l e d g e d t h a t h e w a s n o t i n t e r e s t e d i n h i s c u r r i c u l u m t o p i c , g r o w t h a n d d e v e l o p m e n t : T h e t r u t h i s t h a t I ' m n o t t h a t i n t e r e s t e d i n d e v e l o p i n g c u r r i c u l a i n t h a t a r e a . I ' m r e a l l y i n t e r e s t e d i n e v a l u a t i o n . B u t y o u h a v e t o h a v e g o a l s a n d o b j e c t i v e s t o k n o w w h a t i t i s y o u a r e g o i n g t o e v a l u a t e . a n d w e d i d n ' t h a v e a n y o f t h a t . . . E r i n s a i d h e w a s c r e a t i n g a c u r r i c u l u m f o r w h a t p e o p l e i n h i s o r g a n i z a t i o n h a d i d e n t i fi e d a s a n a r e a b a d l y i n n e e d o f i t , a n d t h e n h e w a s g o i n g t o b e a b l e t o t u r n t o h i s i n t e r e s t , e v a l u a t i o n . E c r s c n a l i j y i s s u c s . T h e p e e r o b s e r v e r w r i t e s o f t h e f e w i n d i v i d u a l s i n t h e f e l l o w s h i p e a c h y e a r t h a t s e e m t o s t a y s e p a r a t e f r o m t h e r e s t , c a l l i n g t h e m " o u t l i e r s " : W h i l e o n c a m p u s , e a c h g r o u p o f f e l l o w s d e v e l o p s a u n i q u e g r o u p d y n a m i c . I n s o m e g r o u p s , o n e o r t w o l e a d e r s e m e r g e . I n o t h e r s , v a r i o u s s u b - g r o u p s w i l l f o r m . S o m e t i m e s , " o u t l i e r s " w h o s e e m i n g l y h a v e n o t h i n g i n c o m m o n w i l l c o m e t o g e t h e r b e c a u s e t h e o t h e r f e l l o w s p r e t t y m u c h s t e e r c l e a r o f t h e m . I n g e n e r a l , I w o u l d d e s c r i b e t h e " o u t l i e r " f e l l o w s a s i n d i v i d u a l s w h o a r e a b r a s i v e i n t h e c l a s s r o o m s e t t i n g a s w e l l a s i n s o c i a l s e t t i n g s a n d i n f o r m a l c o n v e r s a t i o n s . B e h a v i o r s w o u l d i n c l u d e m o n o p o l i z i n g d i s c u s s i o n s o r c o n v e r s a t i o n , v e r b a l l y a t t a c k i n g p r e s e n t e r s a n d o t h e r f e l l o w s i n w o r k s h o p s , o r n o t b e i n g o p e n t o n e w i d e a s o r o t h e r p e r s p e c t i v e s . W e s e e m t o g e t a t l e a s t o n e f e l l o w l i k e t h i s e v e r y y e a r . I n t h e y e a r s t u d i e d , t h e r e w e r e t h r e e p a r t i c i p a n t s t h a t fi t t h e p e e r o b s e r v e r ' s d e s c r i p t i o n . A t s o m e p o i n t d u r i n g t h e y e a r , e a c h o f t h e f e l l o w s h i p f a c u l t y d e s c r i b e d A l e x i s , J o a n , a n d R a c h e l a s " c h a r a c t e r s " o r " d i f fi c u l t t o w o r k w i t h . " A l e x i s a n d R a c h e l w e r e n o t i c e d o n t h e fi r s t d a y 9 9 f o r t h e i r o u t s p o k e n q u e s t i o n s a n d c o m m e n t s d u r i n g w o r k s h o p s . T h e y h a d f e w e r i n t e r a c t i o n s w i t h t h e o t h e r f e l l o w s a n d b e g a n t o s p e n d m o r e a n d m o r e t i m e w i t h e a c h o t h e r . J o a n d e s c r i b e d h e r s e l f a s b e i n g " d i fi ' e r e n t f r o m t h e o t h e r s " f r o m h e r s e c o n d d a y i n t h e f e l l o w s h i p a n d d e s c r i b e d h e r s i t u a t i o n i n h e r w o r k e n v i r o n m e n t i n s i m i l a r t e r m s . A l e x i s a c k n o w l e d g e d t h a t s h e h a d a n e e d t o , i n h e r o w n w o r d s , " k n o w e v e r y t h i n g a n d d o e v e r y t h i n g w e l l , " t o t h e p o i n t t h a t s h e h a d t r o u b l e c o m p l e t i n g t a s k s . J o a n a n d R a c h e l w e r e n o t e d f o r t h e i r d i f fi c u l t i e s i n r e s p o n d i n g t o f e e d b a c k . A f t e r J o a n c a m e i n t o c o n fl i c t w i t h a n o t h e r p a r t i c i p a n t i n h e r m e n t o r g r o u p a n d r e s i s t e d i n p u t f r o m b o t h h e r m e n t o r s , s h e w a s s w i t c h e d t o a n o t h e r g r o u p w h e r e s h e r e s p o n d e d t o t h e a d v i c e o f a m o r e s e n i o r m e n t o r . R a c h e l w a s c o n s i s t e n t l y m e n t i o n e d b y b o t h f a c u l t y a n d o t h e r f e l l o w s a s n o t b e i n g o p e n t o f e e d b a c k . O n e m e n t o r d e s c r i b e d t r y i n g t o g e t i d e a s a c r o s s t o R a c h e l l i k e " s p e a k i n g t o a b r i c k w a l l " a n d , l a t e r i n t h e y e a r , h e r o t h e r m e n t o r a c k n o w l e d g e d t h a t R a c h e l h a d i n t e r e s t s t h a t d i d n o t fi t w i t h t h e f e l l o w s h i p o b j e c t i v e s , s a y i n g " S h e ' s j u s t n o t a b l e t o s e e w h a t w e h a v e t o o fi ' e r h e r . W h a t s h e w a n t s t o d o w o n ' t fi t i n t o t h e f o r m a t o f a c u r r i c u l u m d e v e l o p m e n t d o c u m e n t . . . s o w e ' r e l e t t i n g h e r g o . " R a c h e l c o m p l e t e d h e r p r o j e c t w i t h o u t f u r t h e r m e n t o r a s s i s t a n c e . 1 0 0 W H A T A R E T H E P R I M A R Y Q H A R A C T E R I S T I C S O F T H E F E L L O W S H I P ? T h e p a r t i c i p a n t s w e r e e n r o l l e d i n a 1 0 m o n t h - l o n g f e l l o w s h i p t o i m p r o v e t h e i r s k i l l s i n a c a d e m i c m e d i c i n e . E a c h y e a r , a p p r o x i m a t e l y t w e n t y p r i m a r y c a r e p h y s i c i a n s c o m e f r o m a l l o v e r t h e U n i t e d S t a t e s a n d P u e r t o R i c o t o r e c e i v e t r a i n i n g i n t e a c h i n g , r e s e a r c h , c u r r i c u l u m d e v e l o p m e n t , a n d a d m i n i s t r a t i v e s k i l l s a t t h e f e l l o w s h i p . T h e p e e r i n f o r m a n t d e s c r i b e s t h e f e l l o w s h i p s t r u c t u r e a n d t h e s t r e s s t h a t i t a d d s t o t h e f e l l o w s ' a l r e a d y b u s y l i v e s : T h e f e l l o w s c o m e t o t h e c a m p u s f o r a t o t a l o f fi v e w e e k s d u r i n g t h e a c a d e m i c y e a r ( 2 w e e k s i n S e p t e m b e r , a n d 1 w e e k e a c h i n N o v e m b e r , F e b r u a r y a n d J u n e ) . A t t h e i r h o m e i n s t i t u t i o n s , t h e i r w o r k l i f e g o e s o n a s d e s c r i b e d a b o v e , b u t i n a d d i t i o n t h e y m u s t c o m p l e t e f e l l o w s h i p r e a d i n g a n d o t h e r a s s i g n m e n t s , a n d c o m p l e t e t h e i r M a j o r P r o j e c t — r e s e a r c h , c u r r i c u l u m d e v e l o p m e n t , o r p r e p a r a t i o n o f a p r o p o s a l f o r e i t h e r a r e s e a r c h o r a t r a i n i n g g r a n t . F o r a l l f e l l o w s , i t i s a h e c t i c a n d s t r e s s f u l y e a r . I t a m a z e s m e t h a t s o m e f e l l o w s m a n a g e t o d o a l l t h i s w h i l e t h e y h a v e b a b i e s , r a i s e c h i l d r e n , g e t p r o m o t i o n s t o p o s i t i o n s w i t h m o r e r e s p o n s i b i l i t y , c o n t i n u e t o c a r e f o r t h e i r p a t i e n t s , g o t h r o u g h d r a s t i c o r g a n i z a t i o n a l c h a n g e s i n t h e i r d e p a r t m e n t s , a n d o t h e r t y p i c a l l i f e e v e n t s . S o m e t i m e s I s e e t h e s e f o l k s a s c r a z y : b u t g e n e r a l l y I h a v e a g r e a t d e a l o f r e s p e c t f o r w h a t t h e y h a v e c h o s e n t o d o w i t h t h e i r l i v e s . T h e F e l l o w s h i p I § D e m a n d i n g T i m e d e m a n d s . A l t h o u g h f e l l o w s a r e t e c h n i c a l l y r e q u i r e d t o b e g i v e n 1 0 - 2 0 0 / 0 r e l e a s e t i m e f r o m t h e i r u s u a l w o r k r e s p o n s i b i l i t i e s , a s w e l l a s t h e fi v e w e e k s o f " o n - c a m p u s " t i m e , i n t h e w o r d s o f t h e p e e r i n f o r m a n t , " f o r s o m e f e l l o w s , t h i s r e l e a s e t i m e i s e a s i e r t o t a l k a b o u t t h a n a c t u a l l y g e t . " S o m e f e l l o w s w o u n d u p t a k i n g v a c a t i o n t i m e f o r o n - c a m p u s s e s s i o n s o r t o w o r k o n f e l l o w s h i p a s s i g n m e n t s , a n d a l m o s t a l l r e t u r n e d f r o m o n - c a m p u s s e s s i o n s t o fi n d w o r k t h a t h a d p i l e d u p f o r 1 0 1 t h e m i n c l u d i n g o w i n g t h e i r c o l l e a g u e s f o r c o v e r i n g o f fi c e h o u r s , h o s p i t a l r o u n d s , o r t e a c h i n g r e s p o n s i b i l i t i e s w h i l e t h e y w e r e g o n e . A s d e s c r i b e d a b o v e , t h e f e l l o w s h i p i s u s u a l l y a n " a d d o n " t o f e l l o w s ' a l r e a d y b u s y l i v e s . I n a d d i t i o n , t h e f e l l o w s h i p i t s e l f i s d e m a n d i n g . W h i l e o n c a m p u s , f e l l o w s a t t e n d w o r k s h o p s e v e r y d a y f r o m e i g h t o r n i n e i n t h e m o r n i n g u n t i l a t l e a s t f o u r i n t h e a f t e r n o o n ( S e e A p p e n d i x C f o r s a m p l e s c h e d u l e s ) . T h e y a r e a l s o i n v o l v e d i n o t h e r a c t i v i t i e s : T h e s c h e d u l e d u r i n g t h e f e l l o w s h i p w e e k s i s p a c k e d , e s p e c i a l l y i n r e c e n t y e a r s w i t h t h e o p t i o n a l C o m p u t e r C o m p e t e n c y s e s s i o n s t h a t f e l l o w s c a n s i g n u p f o r a n d a t t e n d e a r l y m o r n i n g , d u r i n g l u n c h t i m e o r l a t e a f t e r n o o n . F e l l o w s a l s o h a v e t o s q u e e z e i n t i m e s t o m e e t i n d i v i d u a l l y w i t h t h e i r M a j o r P r o j e c t m e n t o r f a c u l t y , a s w e l l a s o t h e r f a c u l t y w i t h t h e f e l l o w s h i p a n d / o r o t h e r f a c u l t y i n t h e c o l l e g e w i t h s i m i l a r i n t e r e s t s . I t h a s b e c o m e a c o n c e r n t h a t f e l l o w s n e e d m o r e t i m e d u r i n g t h e f e l l o w s h i p w e e k s t o r e fl e c t o n t h e i r l e a r n i n g d u r i n g t h e w o r k s h o p s a n d s i m p l y r e l a x a n d i n t e r a c t w i t h t h e i r f e l l o w f e l l o w s . A s o n e p a r t i c i p a n t ( p e r h a p s t o o p o l i t e l y ) p u t i t i n t h e f e e d b a c k s e s s i o n a t t h e e n d o f t h e fi r s t o n - c a m p u s w e e k : " I t h i n k y o u ' r e r i g h t a t t h e e d g e o f h a v i n g t o o m u c h . " B a l a n c i n g f c l l c w s h i p w i t h c t h c r r c c p c n c i b m t i c s . F e l l o w s w e r e n o t e v e n a b l e t o f u l l y s e p a r a t e t h e m s e l v e s f r o m t h e i r w o r k r e s p o n s i b i l i t i e s w h i l e a w a y a t t h e o n — c a m p u s s e s s i o n s . A t o n e t i m e o r a n o t h e r d u r i n g t h e f e l l o w s h i p , a l m o s t a l l o f t h e f e l l o w s w e r e o b s e r v e d r u s h i n g f o r p h o n e s d u r i n g w o r k s h o p b r e a k s t o r e s p o n d t o u r g e n t m e s s a g e s f r o m w o r k a b o u t p a t i e n t s w h o h a d t a k e n a s u d d e n t u r n f o r . t h e w o r s e , o r a n u r g e n t p r o b l e m t h a t h a d c r o p p e d u p i n s o m e a r e a f o r w h i c h t h e y w e r e r e s p o n s i b l e . F e l l o w s a l s o h a d o n - g o i n g c o n c e r n s r e l a t e d t o t h e i r p e r s o n a l l i v e s . I n a l u n c h t i m e c o n v e r s a t i o n , o n e p a r t i c i p a n t s h a r e d t h a t " I t s e e m s 1 0 2 l i k e e v e r y b o d y h a s s o m e t h i n g b i g g o i n g o n b a c k h o m e . " O n e h a d a f a m i l y m e m b e r i n s u r g e r y , a n o t h e r ' s j o b w a s i n p e r i l , a n o t h e r w a s m o v i n g t o a n e w h o m e , a n d t h e l i s t w e n t o n . C h a n g e i n r c u t i n e s a n d s t a t u r e . M o r e o v e r , t h e f e l l o w s h i p p r e s e n t s a c o n s i d e r a b l e c h a n g e f r o m t h e f e l l o w s ' f a m i l i a r r o u t i n e s a n d s u r r o u n d i n g s . T h e y b e g i n t h e f e l l o w s h i p b y s p e n d i n g t w o w e e k s a w a y f r o m f a m i l y a n d c o l l e a g u e s . A s p h y s i c i a n s , t h e y a r e a c c u s t o m e d t o b e i n g i n c o n t r o l a n d h a v i n g o t h e r s a r o u n d w h o s e s p e c i fi c p u r p o s e i s t o h e l p t h e m ( s u c h a s n u r s e s a n d c l i n i c a l a s s i s t a n t s ) a s w e l l b e i n g a c c o r d e d r e s p e c t a s " t h e k n o w l e d g e a b l e o n e " i n p a t i e n t s ' a n d l e a r n e r s ' e y e s . I n c o n t r a s t , w h e n t h e y b e g i n t h e f e l l o w s h i p , t h e y a r e s u d d e n l y t r a n s f o r m e d t o s t u d e n t s w h o h a v e a l o t o f l e a r n . A t e i g h t o ' c l o c k i n t h e m o r n i n g o f t h e i r fi r s t d a y , t h e y fi n d t h e m s e l v e s s e a t e d a m o n g s t r a n g e r s a t U - s h a p e d t a b l e s w i t h g i f t c o f f e e m u g s a n d e m p t y f o u r - i n c h t h i c k b i n d e r s i n f r o n t o f t h e m . A f t e r a b r i e f i n t r o d u c t i o n o f t h e f e l l o w s h i p f a c u l t y , t h e y a r e t o l d b y t h e p r e s e n t e r " B e l i e v e i t o r n o t , t h a t f o l d e r i n f r o n t o f y o u w i l l b e f u l l b y t h e e n d o f t h i s s e s s i o n a n d y o u w i l l fi l l t w o m o r e b e f o r e t h i s f e l l o w s h i p i s o v e r . " T h e i r fi r s t t a s k i s t o c o m p l e t e n a m e c a r d s . F o r t h e r e s t o f t h e t w o — w e e k s e s s i o n , f e l l o w s o n l y o c c a s i o n a l l y s t r a y e d f r o m t h e n a m e c a r d a n d b i n d e r d u r i n g w o r k s h o p s . T h e f e l l o w s h i p i s a l s o h i g h l y s t r u c t u r e d . T h e f e l l o w s h a v e m a n y w r i t t e n a s s i g n m e n t s t h a t a r e t o b e c o m p l e t e d a c c o r d i n g t o s p e c i fi c g u i d e l i n e s a n d r e t u r n e d b y d u e d a t e s . T h e fi r s t m o r n i n g , t w o f e l l o w s w e r e a p p r o a c h e d b y a f a c u l t y m e m b e r a s k i n g f o r a n a s s i g n m e n t t h a t h a d b e e n d u e t h a t m o r n i n g . T h e y s t a y e d i n t h e r o o m o v e r l u n c h t i m e t o c o m p l e t e i t . T h e r e i s p r e s s u r e t o b e o n t i m e ; a l l w o r k s h o p s s t a r t p r o m p t l y r e g a r d l e s s o f w h e t h e r e v e r y o n e i s p r e s e n t . A l t h o u g h t h e 1 0 3 f e l l o w s h i p h a s d e v e l o p e d m u c h o f t h i s s t r u c t u r e i n r e s p o n s e t o t h e n e e d t o c o v e r a l a r g e a m o u n t o f m a t e r i a l i n a l i m i t e d t i m e , o f t e n a t p r e v i o u s f e l l o w s ' r e q u e s t , e a c h y e a r ' s f e l l o w s a r e u n d e r s t a n d a b l y s h o c k e d b y t h e i r s u d d e n c h a n g e i n s t a t u r e . O v e r t h e c o u r s e o f t h e y e a r , m a n y f e l l o w s c o m m e n t e d t o t h e i n v e s t i g a t o r a b o u t h o w u n a c c u s t o m e d t h e y w e r e t o s i t t i n g f o r t h e l o n g p e r i o d s o f t i m e t h e w o r k s h o p s r e q u i r e d . T h e y s a i d t h e y w e r e u s e d t o r u n n i n g f r o m r o o m t o r o o m t o s e e a p a t i e n t e v e r y fi f t e e n m i n u t e s , b e i n g i n t e r r u p t e d w i t h q u e s t i o n s f r o m l e a r n e r s o r o f f i c e s t a f f , a n d t h e y o f t e n b r o k e u p t h e i r d a y c o m m u t i n g b e t w e e n h o s p i t a l a n d o f fi c e . I n t h e y e a r s t u d i e d , t h e f e l l o w s " a c t e d o u t " a g a i n s t t h i s s t r u c t u r e i n a s c h o o l p r a n k o f s w i t c h i n g n a m e t a g s o n a g u e s t l e c t u r e r d u r i n g t h e s e c o n d w e e k o f t h e S e p t e m b e r s e s s i o n . O n e p a r t i c i p a n t d e s c r i b e d t h e f e l l o w s ' f e e l i n g s i n a d e b r i e fi n g s e s s i o n a t t h e e n d o f t h e t w o w e e k s : W e a l s o n e e d e d a n o p p o r t u n i t y t o d e b r i e f o u r f e e l i n g s - o f o u r c h a n g e i n i d e n t i t y . I t w a s l i k e w e l e f t o u r s t a t u s a l o n g w i t h o u r b e e p e r s a n d w h i t e c o a t s i n t h e c o r n e r a n d w e h a d t o g o b a c k t o b e i n g s t u d e n t s a g a i n . . . T h i s w a s a t o t a l l y d i f f e r e n t w a y o f t h i n k i n g f o r u s . . . w e w o r k e d v e r y h a r d . . . . a n d t h e r e w a s n o a c k n o w l e d g m e n t o f t h a t , n o p o s i t i v e f e e d b a c k . . . . . T h e r e w a s a l m o s t a r e g r e s s i o n . I n s t e a d o f [ t o i l e t p a p e r i n g ] t h e t r e e s o u t s i d e o f [ n a m e ] h a l l , s o m e o f t h e n a m e t a g s w e r e s w i t c h e d . . . b e c a u s e t h e r e w a s a b s o l u t e l y n o a v e n u e t o g e t i t o u t . . . . F i r s t w e e k , t h e r e n e e d s t o b e a n a c k n o w l e d g m e n t o f h o w w e a r e f e e l i n g . T h e h i g h d e g r e e o f s t r u c t u r e t h a t t h e f e l l o w s h i p i m p o s e s u p o n t h e f e l l o w s w i l l b e c o m e e v e n m o r e a p p a r e n t i n t h e f o l l o w i n g d e s c r i p t i o n o f t h e c u r r i c u l u m t r a c k . 1 0 4 W H A T A R E T H E P R I M A R Y Q H A R A Q I E R I S T I C § Q F T H E C U R R I Q Q L Q M T R A Q K ? T h c C u r r i c u l u m fi l m c k I § B a s c d c n t h i c c c f M a j c r P r c j c c j ; T h e t e n - m o n t h - l o n g f a c u l t y d e v e l o p m e n t f e l l o w s h i p i s d e s i g n e d t o i m p r o v e f e l l o w s ' s k i l l s i n t e a c h i n g , r e s e a r c h , c u r r i c u l u m d e v e l o p m e n t , a n d a d m i n i s t r a t i o n . A l l f e l l o w s a t t e n d w o r k s h o p s a s a l a r g e g r o u p a n d c o m p l e t e s o m e h o m e w o r k a s s i g n m e n t s a d d r e s s i n g t h e s e a r e a s . F e l l o w s a r e a l s o r e q u i r e d t o c o m p l e t e a " m a j o r p r o j e c t " d u r i n g t h e f e l l o w s h i p a n d a r e p l a c e d i n t h e " c u r r i c u l u m t r a c k " o r " r e s e a r c h t r a c k " d e p e n d i n g o n t h e n a t u r e o f t h e i r m a j o r p r o j e c t . S m a l l g r o u p s e s s i o n s a n d m o s t o f t h e a s s i g n m e n t s t o b e c o m p l e t e d a t h o m e d i f f e r a c c o r d i n g t o t h e t y p e o f m a j o r p r o j e c t f e l l o w s s e l e c t . I n t h i s s t u d y , o n l y t h e f o u r t e e n f e l l o w s i n t h e c u r r i c u l u m t r a c k c o u l d b e c o m e f u l l - fl e d g e d p a r t i c i p a n t s i n t h e s t u d y b e c a u s e o n l y t h e c u r r i c u l u m t r a c k r e q u i r e d t h e m t o c o n d u c t a n d r e p o r t o n a n e e d s a s s e s s m e n t . M o s t f e l l o w s h a d s e l e c t e d a t r a c k a n d g e n e r a l t o p i c f o r t h e i r m a j o r p r o j e c t p r i o r t o b e g i n n i n g t h e f e l l o w s h i p . T h e f e l l o w s h i p h a d i n t e n t i o n a l l y s t r u c t u r e d e a r l y t a s k s f o r t h i s p u r p o s e : 1 ) t h e a p p l i c a t i o n a s k e d f e l l o w s t o s t a t e t h e i r p r o j e c t i d e a s : 2 ) f e l l o w s h i p f a c u l t y v i s i t e d f e l l o w s a t t h e i r h o m e i n s t i t u t i o n s d u r i n g t h e s u m m e r t o d i s c u s s f e l l o w s h i p r e q u i r e m e n t s , i n c l u d i n g t h e m a j o r p r o j e c t : 3 ) a n d o n t h e fi r s t d a y o f t h e f e l l o w s h i p i n S e p t e m b e r , f e l l o w s w e r e r e q u i r e d t o h a n d i n a " M a j o r P r o j e c t C o n t r a c t D r a f t " s t a t i n g t h e i r c h o i c e o f t r a c k a n d i n t e n d e d p r o j e c t t o p i c . 1 0 5 T h e C u r r i c u l u m T r a c k A s s i g n r _ n c n t s T h e c u r r i c u l u m t r a c k w a s i n i t s f o u r t h y e a r a t t h e t i m e o f t h e s t u d y . P r i o r t o f o r m i n g a s e p a r a t e t r a c k , a m u c h s m a l l e r n u m b e r o f f e l l o w s h a d c o m p l e t e d c u r r i c u l u m p r o j e c t s o n a n i n d i v i d u a l i z e d b a s i s . O v e r t h i s t i m e , a s e r i e s o f a s s i g n m e n t s h a d b e e n d e v e l o p e d a n d r e fi n e d t o a s s i s t p a r t i c i p a n t s i n s u c c e s s f u l l y d e s i g n i n g t h e i r c u r r i c u l a . F o r a l l c u r r i c u l u m t o p i c s , f e l l o w s fi r s t a t t e n d e d w o r k s h o p s i n w h i c h t h e y d i d e x e r c i s e s a n d s t a r t e d w o r k i n g o n r e l a t e d a s s i g n m e n t s w h i l e f e l l o w s h i p f a c u l t y w e r e p r e s e n t t o p r o v i d e a s s i s t a n c e . P a r t i c i p a n t s a l s o r e c e i v e d d e t a i l e d g u i d e l i n e s f o r c o m p l e t i n g e a c h a s s i g n m e n t , a s w e l l a s t w o e x a m p l e s o f p r e v i o u s f e l l o w s ' c o m p l e t e d a s s i g n m e n t s . F o r e a c h a s s i g n m e n t , t h e y r e c e i v e d f e e d b a c k f r o m t h e i r " m e n t o r s , " f e l l o w s h i p f a c u l t y a s s i g n e d t o t h e i r s m a l l g r o u p . I n T a b l e 7 , t h e c u r r i c u l u m r e l a t e d a s s i g n m e n t s a l l p a r t i c i p a n t s w e r e r e q u i r e d t o h a n d i n o v e r t h e c o u r s e o f t h e f e l l o w s h i p a r e l i s t e d . I n t h e fi r s t t w o - w e e k , o n - c a m p u s s e s s i o n i n S e p t e m b e r , f e l l o w s s p e n t t h r e e h a l f d a y s i n s m a l l g r o u p s o r w o r k s h o p s s p e c i fi c t o t h e i r t r a c k . F e l l o w s i n t h e c u r r i c u l u m t r a c k ( t o b e r e f e r r e d t o a s " p a r t i c i p a n t s " ) , m e t i n g r o u p s o f t w o t o f o u r w i t h a s s i g n e d f e l l o w s h i p f a c u l t y t o d i s c u s s t h e i r i d e a s f o r c u r r i c u l u m d e v e l o p m e n t p r o j e c t s . T h e s e s m a l l g r o u p s b e c a m e t h e i r " m e n t o r g r o u p s . " P a r t i c i p a n t s a l s o a t t e n d e d a s p e c i a l h a l f - d a y w o r k s h o p o n n e e d s a s s e s s m e n t . ( S e e A p p e n d i x G f o r w o r k s h o p h a n d o u t s a n d n e e d s a s s e s s m e n t a s s i g n m e n t m a t e r i a l s ) . T h e p a r t i c i p a n t s w e r e t o c o m p l e t e t w o a s s i g n m e n t s a t h o m e b e t w e e n t h e S e p t e m b e r a n d N o v e m b e r o n - c a m p u s s e s s i o n s : 1 ) r e v i e w t h e l i t e r a t u r e r e l a t e d t o t h e i r p r o j e c t t o p i c a n d h a n d i n a n a n n o t a t e d b i b l i o g r a p h y 1 0 6 T a b l e 7 C u r r i c u l u m T r a c k A s s i g n m e n t s 2 2 9 m m D e s c r i p t i o n 1 ) M a j o r p r o j e c t d r a f t D e s c r i p t i o n o f t e n t a t i v e p r o j e c t t o p i c i n c l u d i n g r e a s o n s f o r s e l e c t i n g p r o j e c t , a s s e s s m e n t o f s u p p o r t , a n d a n t i c i p a t e d p r o b l e m s A n n o t a t e d b i b l i o g r a p h y A s u m m a r y o f a r t i c l e s d i s c o v e r e d i n a s e a r c h o f t h e m e d i c a l l i t e r a t u r e o n p a r t i c i p a n t ' s i n t e n d e d t o p i c N e e d s a s s e s s m e n t r e p o r t A s u m m a r y o f p a r t i c i p a n t ' s n e e d s a s s e s s m e n t a c t i v i t i e s a n d r e s u l t s M a j o r p r o j e c t c o n t r a c t S i g n e d c o n t r a c t d e s c r i b i n g p r o j e c t t o b e c o m p l e t e d ( s i m i l a r q u e s t i o n s t o d r a f t ) C u r r i c u l u m d o c u m e n t A n a r g u m e n t f o r w h y p a r t i c i p a n t ' s c u r r i c u l u m i s n e e d e d , a n d a d e s c r i p t i o n o f t h e c o n t e n t o f t h e c u r r i c u l u m , h o w i t w i l l b e t a u g h t , e v a l u a t e d , a n d i m p l e m e n t e d C u r r i c u l u m d e v e l o p m e n t a r t i c l e A d r a f t o f a t l e a s t t h e i n t r o d u c t i o n a n d m e t h o d s s e c t i o n d e s c r i b i n g p a r t i c i p a n t ' s c u r r i c u l u m ( i n t e n d e d f o r l a t e r p u b l i c a t i o n ) C o n f e r e n c e p r e s e n t a t i o n A t e n - m i n u t e t a l k o n t h e c u r r i c u l u m a t a s i m u l a t e d c o n f e r e n c e 1 0 7 d e s c r i b i n g e i g h t t o t e n s o u r c e s : 2 ) c o n d u c t a n e e d s a s s e s s m e n t , a n a l y z e t h e r e s u l t s , a n d h a n d i n a n e e d s a s s e s s m e n t r e p o r t . I n t h e N o v e m b e r o n - c a m p u s s e s s i o n , m a n y o f t h e w o r k s h o p s w e r e s e p a r a t e d a c c o r d i n g t o t r a c k a s t h e f e l l o w s b e g a n d e t a i l e d w o r k o n t h e i r m a j o r p r o j e c t s . T h e N o v e m b e r s e s s i o n b e g a n w i t h p a r t i c i p a n t s g i v i n g o r a l p r e s e n t a t i o n s o f t h e i r n e e d s a s s e s s m e n t s i n t h e i r s m a l l e r m e n t o r g r o u p s . F e l l o w s i n t h e c u r r i c u l u m t r a c k t h e n a t t e n d e d w o r k s h o p s o n t o p i c s l i k e c r e a t i n g g o a l s a n d o b j e c t i v e s a n d s e l e c t i n g i n s t r u c t i o n a l a n d e v a l u a t i o n s t r a t e g i e s . E a c h o f t h e s e w o r k s h o p s w a s i n t e n d e d t o h e l p f e l l o w s c o m p l e t e a p o r t i o n o f t h e i r " c u n i c u l u m d o c u m e n t , " a d e s c r i p t i o n o f t h e i r c u r r i c u l u m d e s c r i b e d i n e n o u g h d e t a i l f o r s o m e o n e e l s e t o b e a b l e t o r u n t h e c u r r i c u l u m i n t h e i r a b s e n c e . S h o r t l y a f t e r t h e y h a d r e t u r n e d t o t h e i r h o m e e n v i r o n m e n t , f e l l o w s w e r e r e q u i r e d t o h a n d i n a " F i n a l M a j o r P r o j e c t C o n t r a c t " o u t l i n i n g w h a t t h e y i n t e n d e d t o a c c o m p l i s h b y J u n e . I n t h e p e r i o d b e t w e e n t h e N o v e m b e r a n d F e b r u a r y o n - c a m p u s s e s s i o n s , p a r t i c i p a n t s c o n c e n t r a t e d o n c r e a t i n g t h e i r c u r r i c u l a . T h e y w e r e r e q u i r e d t o s e n d i n a d r a f t o f t h e i r c u r r i c u l u m d o c u m e n t b y m i d - J a n u a r y . W i t h m o s t o f t h e d e t a i l s o f t h e i r c u r r i c u l a c o m p l e t e d , s p e c i a l c u r r i c u l u m t r a c k s e s s i o n s d u r i n g t h e F e b r u a r y o n - c a m p u s s e s s i o n t u r n e d a t t e n t i o n t o h o w t o i m p l e m e n t t h e c u r r i c u l a a n d w r i t e p u b l i s h a b l e a r t i c l e s . I n b e t w e e n t h e F e b r u a r y a n d J u n e o n - c a m p u s s e s s i o n s , p a r t i c i p a n t s r e v i s e d t h e i r c u r r i c u l u m d o c u m e n t s , b e g a n w o r k i n g o n a r t i c l e s , a n d p r e p a r e d p r e s e n t a t i o n s o n t h e i r c u r r i c u l a t o b e g i v e n a t t h e J u n e c o n f e r e n c e . T h e i n v e s t i g a t o r k e p t t h i s f e l l o w s h i p a s s i g n m e n t s t r u c t u r e i n m i n d w h e n d e s i g n i n g t h e p r e s e n t s t u d y . T h e i n v e s t i g a t o r o b s e r v e d a n d 1 0 8 i n t e r v i e w e d p a r t i c i p a n t s 1 ) b e f o r e t h e y h a d b e e n e x p o s e d t o n e e d s a s s e s s m e n t c o n c e p t s , 2 ) d u r i n g t h e n e e d s a s s e s s m e n t w o r k s h o p a n d t h r o u g h o u t t h e p e r i o d t h e y w e r e c o n d u c t i n g n e e d a s s e s s m e n t s , a n d 3 ) a f t e r t h e n e e d s a s s e s s m e n t s h a d b e e n f o r m a l l y c o m p l e t e d a n d r e p o r t e d a n d p a r t i c i p a n t s w e r e s u p p o s e d t o b e a p p l y i n g w h a t t h e y h a d l e a r n e d t o t h e c u r r i c u l a t h e y w e r e d e v e l o p i n g . I n a d d i t i o n , t h e f e l l o w s h i p a s s i g n m e n t s w e r e a l r e a d y g e n e r a t i n g d o c u m e n t s d u r i n g e a c h o f t h e s e t i m e p e r i o d s . T h e r e f o r e , i t w a s r e l a t i v e l y e a s y t o c o l l e c t d a t a t h a t d e s c r i b e d h o w t h e p a r t i c i p a n t s c o n d u c t e d t h e i r n e e d s a s s e s s m e n t s , h o w t h e i r u n d e r s t a n d i n g o f t h e n e e d s a s s e s s m e n t p r o c e s s c h a n g e d o v e r t i m e , a n d t h e w a y s i n w h i c h t h e n e e d s a s s e s s m e n t r e s u l t s w e r e i n c o r p o r a t e d i n t o t h e fi n a l p r o d u c t : t h e c u r r i c u l u m . P i ' u u T r A l t h o u g h t h e f e l l o w s h a d v o l u n t a r i l y a p p l i e d t o t h e f e l l o w s h i p i n o r d e r t o i m p r o v e t h e i r s k i l l s , t h e y s t i l l e x p e r i e n c e d d o u b t s a n d f r u s t r a t i o n s d u r i n g t h e f e l l o w s h i p . T w o p r o b l e m s r e l a t e d t o t h e c u r r i c u l u m t r a c k t h a t p a r t i c i p a n t s m o s t o f t e n s h a r e d w i t h t h e i n v e s t i g a t o r w e r e a l s o b r o u g h t u p b y t h e p e e r i n f o r m a n t : T h e r e a r e t w o p a r t i c u l a r l y d i f fi c u l t a s p e c t s o f t h e C u r r i c u l u m D e v e l o p m e n t T r a c k f o r t h e f e l l o w s : t h e m o d e l w e a r e t e a c h i n g / f o r c i n g t h e m t o u s e , a n d t h e a m o u n t o f w r i t i n g t h e t r a c k r e q u i r e s . . . . . T h e m o d e l c o n t i n u e s t o b e u n w i e l d y a n d c u m b e r s o m e , a n d f e l l o w s ( a s w e l l a s f a c u l t y ) c a n g e t l o s t i n t h e t r e e s , l o s i n g s i g h t o f t h e f o r e s t . N o m a t t e r h o w h a r d w e t r y t o b e c o n s i s t e n t w i t h o u r l a b e l s f o r t h e v a r i o u s c o m p o n e n t s o f t h e p r o c e s s ( e . g . , N e e d s A s s e s s m e n t , G o a l s , L e a m i n g O b j e c t i v e s , C o n t e n t , I n s t r u c t i o n a l S t r a t e g i e s , L e a r n e r E v a l u a t i o n S t r a t e g i e s , I m p l e m e n t a t i o n P l a n n i n g , C u r r i c u l u m E v a l u a t i o n , e t c . ) t h e j a r g o n o f t e n o b s c u r e s h o w p r a c t i c a l a n d e s s e n t i a l e a c h c o m p o n e n t i s . . . . . W r i t i n g a n d p u t t i n g t h e s e [ c u r r i c u l u m d o c u m e n t s a n d o t h e r w r i t t e n a s s i g n m e n t s ] t o g e t h e r c a n b e a v e r y 1 0 9 p a i n f u l p r o c e s s f o r t h e f e l l o w s , m a n y o f w h o m h a v e u n d e v e l o p e d w r i t i n g s k i l l s . W h e r e a s t h e R e s e a r c h T r a c k f e l l o w s " o n l y " h a v e t o w r i t e a j o u r n a l a r t i c l e a b o u t t h e i r s t u d y , o u r f e l l o w s s p e n d t h e w h o l e y e a r w r i t i n g a b o u t t h e i r c u r r i c u l a f r o m s e v e r a l p e r s p e c t i v e s ( s t u d e n t s , r e v i e w e r s , f a c u l t y c o l l e a g u e s w i l l h e l p t h e m t e a c h t h e c o u r s e ) ; t h e y a l s o h a v e t o p r e p a r e t e a c h i n g m a t e r i a l s , w o r k s h e e t s , c h e c k l i s t s a n d t e s t s : a n d t h e y e n d b y w r i t i n g a j o u r n a l a r t i c l e a b o u t t h e i r c u r r i c u l a . P a r t i c i p a n t s w o u l d o c c a s i o n a l l y fi n d t h e m s e l v e s " a t s e a " a m i d s t u n f a m i l i a r e d u c a t i o n a l p r a c t i c e s a n d j a r g o n . S e v e r a l o f t h e p a r t i c i p a n t s d e s c r i b e d t h e m s e l v e s t o t h e i n v e s t i g a t o r a s " s c i e n t i s t s " t h a t w e r e u s e d t o f o l l o w i n g a s t a n d a r d i z e d , o b j e c t i v e p r o c e d u r e . T h e y w e r e u s e d t o d i a g n o s i n g a n d t r e a t i n g p a t i e n t s w i t h i n a m a t t e r o f m i n u t e s , a n d w e r e u n a c c u s t o m e d t o t h e m o r e d r a w n o u t p r a c t i c e s o f d e v e l o p i n g c u r r i c u l a . O t h e r s e x p e r i e n c e d d i f fi c u l t y i n d i s t i n g u i s h i n g a n d a p p l y i n g n e w t e r m i n o l o g y i n t h e i r p r o j e c t s . S a m ' s p r o g r e s s o n h i s p r o j e c t w a s s l o w e d c o n s i d e r a b l y b y h i s c o n f u s i o n o v e r " e n a b l i n g o b j e c t i v e s " a n d " t e r m i n a l o b j e c t i v e s . " S e v e r a l o f t h e p a r t i c i p a n t s r e p o r t e d h a v i n g b e e n r e s p o n s i b l e f o r c r e a t i n g c u r r i c u l a p r i o r t o a t t e n d i n g t h e f e l l o w s h i p . T h e g i s t o f t h e i r s t a t e m e n t s w a s t h a t t h e y h a d b e e n e x p e c t e d b y t h e i r d e p a r t m e n t t o c r e a t e t h e c u r r i c u l u m i n a d a y o r t w o ' s t i m e , a n d t h a t t h e y u s u a l l y j u s t l o o k e d a t a f e w t e x t b o o k s t o d e t e r m i n e t h e c o n t e n t . A l l p a r t i c i p a n t s r e m a r k e d u p o n h o w t h o r o u g h a n d e n e r g y i n t e n s i v e w a s t h e p r o c e s s t a u g h t i n t h e c u r r i c u l u m d e v e l o p m e n t t r a c k , b u t m o s t s e e m e d t o a g r e e t h a t i t r e s u l t e d i n a c u r r i c u l u m t h a t w a s m o r e l i k e l y t o a c t u a l l y h e l p s t u d e n t s l e a r n w h a t t h e y n e e d e d t o k n o w t o b e c o m e c o m p e t e n t p h y s i c i a n s i n t h e " r e a l w o r l d . " H o w e v e r , a s w i l l b e i l l u s t r a t e d i n t h e fi n d i n g s i n C h a p t e r V , m a n y o f t h e p a r t i c i p a n t s e x p e r i e n c e d s o m e c o n fl i c t 1 1 0 o r m i s c o m m u n i c a t i o n w i t h t h e i r h o m e o r g a n i z a t i o n s w h e r e t h e c o m m o n m e t h o d o f d e v e l o p i n g a c u r r i c u l u m w a s m u c h l e s s t i m e a n d e n e r g y i n t e n s i v e . I n a d d i t i o n , t h e p a r t i c i p a n t s m a y h a v e b e e n o v e r w h e l m e d b y t h e m a t e r i a l s d i s t r i b u t e d f o r t h e f e l l o w s h i p . F o r e v e r y a s s i g n m e n t , p a r t i c i p a n t s r e c e i v e d a t l e a s t t w o e x a m p l e s , o n e o f w h i c h w a s a n n o t a t e d , s h o w i n g h o w a l l t h e a s s i g n m e n t c r i t e r i a h a d b e e n i n c o r p o r a t e d . A l m o s t e v e r y s i n g l e p a r t i c i p a n t m a d e a c o m m e n t a t o n e t i m e o r a n o t h e r a b o u t t h e l a r g e a m o u n t o f m a t e r i a l s h a n d e d o u t ; s o m e o p e n l y s t a t e d t h a t i t w a s " t o o m u c h , " o t h e r s s u g g e s t e d t h a t s o m e k i n d o f o r g a n i z i n g s y s t e m b e e s t a b l i s h e d b e y o n d t h e p r e s e n t t h r e e - r i n g b i n d e r a n d c o l o r c o d i n g o f h a n d o u t s a c c o r d i n g t o t r a c k . T h e i n v e s t i g a t o r f o u n d i n h e r r o l e a s m e n t o r , p a r t i c i p a n t s o f t e n h a d d i f fi c u l t y l o c a t i n g m a t e r i a l s t h a t w e r e r e f e r r e d t o i n a s s i g n m e n t s . 7 I n c o n t r a s t , f e l l o w s h i p f a c u l t y d e m o n s t r a t e d g r e a t f a i t h i n t h e i r m a t e r i a l s . T h e f a c u l t y ' s a t t i t u d e m a y h a v e b e e n c a p t u r e d b y o n e f a c u l t y m e m b e r ' s c o m m e n t w h e n t h e i n c h - a n d - h a l f t h i c k b i n d e r s c o n t a i n i n g t h e c u r r i c u l u m t r a c k a s s i g n m e n t e x a m p l e s w e r e h a n d e d o u t a t a f a c u l t y m e e t i n g . F l i p p i n g t h r o u g h t h e p a g e s , h e r e m a r k e d , " I f t h e y c a n ' t d e v e l o p a c u r r i c u l u m b a s e d o n t h i s k i n d o f s t u f f , m a n , i t ' s h o p e l e s s . " P a r t i c i p a n t s a l s o v o i c e d c o n c e r n s a b o u t t h e i r w r i t i n g s k i l l s . S e v e r a l s a i d t h e y w e r e n ' t u s e d t o w r i t i n g a n y t h i n g l o n g e r t h a n a n o t e i n a p a t i e n t ' s c h a r t . M o r e t h a n o n e j o k e d t h a t t h e y h a d " g o n e i n t o S c i e n c e 7 A t y p i c a l p h o n e c o n v e r s a t i o n r e g a r d i n g m a t e r i a l s : M e n t o r : U s e t h e y e l l o w t w o - p a g e c h e c k l i s t a s a g u i d e w h e n y o u d o t h i s a s s i g n m e n t . P a r t i c i p a n t : W h e r e i s t h a t ? . . . . ( s o u n d o f fl i p p i n g p a g e s ) M e n t o r : I t w a s h a n d e d o u t w i t h X , l o o k f o r i t t h e r e . . . P a r t i c i p a n t : Y o u m e a n t h e [ r e a d s t i t l e ] ? M e n t o r : N o , a n o t h e r y e l l o w c h e c k l i s t . I t w a s h a n d e d o u t a f t e r t h a t . k e e p l o o k i n g . P a r t i c i p a n t : ( f i n d i n g p a p e r ) O h y e a h . I r e m e m b e r s e e i n g t h i s . . . . 1 1 1 b e c a u s e t h e y c o u l d n ' t h a c k E n g l i s h . " P a r t i c i p a n t s w e r e u n u s e d t o t h e c o n c e p t o f w r i t i n g d r a f t s , e x p e c t i n g t h e i r fi r s t e f f o r t s t o b e e i t h e r a c c e p t a b l e ( a n d t h e r e f o r e v o i c i n g s u r p r i s e w h e n m e n t o r s r e t u r n e d t h e m w i t h s u g g e s t e d r e v i s i o n s ) , o r fl a w l e s s ( a n d u n w i l l i n g t o l e t m e n t o r s s e e w o r k i n p r o g r e s s u n t i l t h e y h a d i t " j u s t r i g h t " ) . P a r t i c i p a n t s w e r e u s e d t o g e t t i n g m a j o r t a s k s d o n e i n a s i n g l e o r a f e w s i t t i n g s a n d o f t e n f o u n d t h e m s e l v e s r u s h i n g t o g e t a s s i g n m e n t s d o n e j u s t b e f o r e ( o r a f t e r ) t h e d e a d l i n e , h a v i n g u n d e r e s t i m a t e d t h e w r i t i n g / t h o u g h t t i m e i n v o l v e d . A t t h e d e b r i e fi n g a t t h e e n d o f t h e f e l l o w s h i p , t h e p a r t i c i p a n t s , a s a g r o u p , s p o k e o f t h e n e e d f o r b e t t e r s p a c i n g o f w r i t t e n a s s i g n m e n t s . T h e y f e l t t h a t t h e y n o s o o n e r h a d fi n i s h e d o n e t a s k w h e n i t w a s t i m e t o a l r e a d y b e s t a r t i n g o n t h e n e x t . 1 1 2 H O W D O E S T H E F E L L O W S H I P S T R U C T U R E T H E P A R T I C I P A N T S ' N E E D S fl E S S M E H I S Z A s d e s c r i b e d e a r l i e r i n t h i s c h a p t e r , t h e n e e d s a s s e s s m e n t s c o n d u c t e d b y t h e p a r t i c i p a n t s w e r e r e q u i r e d , a n d c o n d u c t e d a s p a r t o f a m o d e l o f c u r r i c u l u m d e v e l o p m e n t t h a t t h e p a r t i c i p a n t s w e r e l e a r n i n g a n d a p p l y i n g i n a t e n - m o n t h - l o n g f e l l o w s h i p f o r a c a d e m i c p h y s i c i a n s . T h e p a r t i c i p a n t s ' i m p r e s s i o n s a b o u t n e e d s a s s e s s m e n t w e r e , i n p a r t , s h a p e d b y a t h r e e - h o u r w o r k s h o p o n n e e d s a s s e s s m e n t ( i n c l u d i n g h a n d o u t s a n d e x e r c i s e s ) , t h e f e l l o w s h i p f a c u l t y ' s a t t i t u d e t o w a r d n e e d s a s s e s s m e n t , a n d t h e n e e d s a s s e s s m e n t a s s i g n m e n t . A l s o , t h e p a r t i c i p a n t s ' a t t i t u d e s t o w a r d n e e d s a s s e s s m e n t m a y h a v e b e e n a fi ' e c t e d b y t h e e m o t i o n s a n d o t h e r e v e n t s t h e p a r t i c i p a n t s w e r e e x p e r i e n c i n g a t t h e t i m e o f t h e w o r k s h o p . E a c h o f t h e s e a s p e c t s w i l l b e d i s c u s s e d i n t u r n . T h N W r k h M r i I n t h e w o r k s h o p , p a r t i c i p a n t s w e r e p r e s e n t e d w i t h a d i s c r e p a n c y - b a s e d d e fi n i t i o n o f n e e d s a s s e s s m e n t , i t s p u r p o s e s , a n d a f o u r - s t e p a p p r o a c h t o c o n d u c t i n g a n e e d s a s s e s s m e n t . T h e n e e d s a s s e s s m e n t m a t e r i a l s w e r e b a s e d l a r g e l y u p o n t h e w o r k o f A l l i s o n R o s s e t t . F i g u r e 4 i s a n e x c e r p t f r o m t h e h a n d o u t w h i c h o u t l i n e s t h e f o u r s t e p a p p r o a c h . ( S e e A p p e n d i x G f o r c o m p l e t e n e e d s a s s e s s m e n t m a t e r i a l s ) . T h e w o r k s h o p l a s t e d t h r e e h o u r s o n W e d n e s d a y m o r n i n g o f t h e s e c o n d w e e k o n c a m p u s ( S e e A p p e n d i x C f o r s c h e d u l e s ) . T h e w o r k s h o p w a s d e s i g n e d s o t h a t p a r t i c i p a n t s w o u l d l i s t e n t o a b r i e f l e c t u r e o n a s t e p o f t h e n e e d s a s s e s s m e n t p r o c e s s , f o l l o w e d b y w o r k i n g i n d i v i d u a l l y o n a n e x e r c i s e d e s i g n e d t o h e l p t h e m b e g i n p l a n n i n g h o w t o e x e c u t e t h e s t e p i n t h e i r n e e d s a s s e s s m e n t s f o r t h e i r o w n p r o j e c t s . C u r r i c u l u m t r a c k 1 1 3 O u r 4 - S i e p A p p r o a C h t o N e e d s A s s e s s m e n t 1 . C o n s i d e r t h e c o n t e x t a n d p e o p l e a f f e c t e d b y t h e c u r r i c u l u m . 2 . P l a n y o u r n e e d s a s s e s s m e n t . D e c i d e A . w h a t q u e s t i o n s t o a s k B . w h o t o a s k / w h a t t o l o o k a t ( s o u r c e s o f i n f o r m a t i o n ) C . h o w t o a s k t h e m ( t e c h n i q u e s ) . 3 . C o n d u c t y o u r n e e d s a s s e s s m e n t . 4 . A n a l y z e a n d c o m m u n i c a t e y o u r r e s u l t s . F i g u r e 4 E x c e r p t f r o m W o r k s h o p H a n d o u t s m e n t o r f a c u l t y w e r e p r e s e n t d u r i n g t h e w o r k s h o p t o d i s c u s s i s s u e s a n d p l a n s w i t h p a r t i c i p a n t s . D u r i n g t h e w o r k s h o p , p a r t i c i p a n t s c o m p l e t e d t w o w o r k s h e e t s f o r p l a n n i n g t h e i r o w n n e e d s a s s e s s m e n t s . O n t h e " C o n t e x t a n d P e o p l e " w o r k s h e e t , t h e p a r t i c i p a n t s d e fi n e d t h e p r o b l e m f r o m t h e i r o w n p e r s p e c t i v e a n d l i s t e d p e o p l e w h o s t o o d t o b e a f f e c t e d b y t h e n e w c u r r i c u l u m a n d t h o s e w h o s h o u l d b e c o n s u l t e d a s p a r t o f t h e n e e d s a s s e s s m e n t . O n t h e " N e e d s A s s e s s m e n t P l a n n i n g W o r k s h e e t , " p a r t i c i p a n t s l i s t e d t h e q u e s t i o n s t h e y w a n t e d t o a n s w e r i n t h e i r n e e d s a s s e s s m e n t s , t h e s o u r c e s t h e y w i s h e d t o c o n s u l t , a n d t h e t e c h n i q u e s t h e y c o u l d u s e t o g a t h e r e a c h p i e c e o f i n f o r m a t i o n . P a r t i c i p a n t s d i d n o t k n o w u n t i l t h e e n d o f t h e w o r k s h o p t h a t t h e s e w o r k s h e e t s w e r e t o b e » ! ‘ 9 9 9 9 1 1 4 c o l l e c t e d f o r t h e p r e s e n t s t u d y . ( T h e y w e r e c o p i e d a n d r e t u r n e d l a t e r t h e s a m e d a y ) . T h e t w e n t y - s i x p a g e h a n d o u t i n c l u d e d b l a n k w o r k s h e e t s f o r t h e w o r k s h o p e x e r c i s e s a n d d e t a i l e d i n f o r m a t i o n o n e a c h o f t h e f o u r s t e p s f o r c o n d u c t i n g a n e e d s a s s e s s m e n t s o t h e p a r t i c i p a n t s c o u l d u s e t h e m a t e r i a l l a t e r o n t h e i r o w n . 1 1 i n A t t h e c o n c l u s i o n o f t h e n e e d s a s s e s s m e n t w o r k s h o p , t h e p a r t i c i p a n t s w e r e g i v e n c o p i e s o f t h e n e e d s a s s e s s m e n t a s s i g n m e n t ( s e e A p p e n d i x G ) . T h e r e w e r e t w o c o m p o n e n t s t o t h e a s s i g n m e n t . F i r s t , t h e p a r t i c i p a n t s w e r e t o w r i t e a t w o t o t h r e e p a g e n e e d s a s s e s s m e n t r e p o r t a c c o r d i n g t o t h e g u i d e l i n e s i n t h e " C r i t e r i a f o r N e e d s A s s e s s m e n t R e p o r t " ( a t w o - p a g e l i s t i n g o f t h e i t e m s t h a t w e r e t o b e a d d r e s s e d i n t h e r e p o r t s u c h a s " a t l e a s t t w o t e c h n i q u e s u s e d " ) . P a r t i c i p a n t s ' c u r r i c u l u m m a t e r i a l s i n c l u d e d a n a n n o t a t e d e x a m p l e o f a p r e v i o u s f e l l o w ' s n e e d s a s s e s s m e n t r e p o r t . T h e y w e r e t o b r i n g t h e i r c o m p l e t e d r e p o r t w i t h t h e m t o t h e N o v e m b e r f e l l o w s h i p o n - c a m p u s s e s s i o n . S e c o n d , t h e p a r t i c i p a n t s w e r e t o p r e p a r e a l 5 - m i n u t e s u m m a r y o f t h e i r n e e d s a s s e s s m e n t a c t i v i t i e s w h i c h t h e y w e r e t o p r e s e n t i n t h e i r m e n t o r g r o u p s t h e m o r n i n g t h e y r e t u r n e d t o t h e N o v e m b e r o n — c a m p u s s e s s i o n . T h e o r a l s u m m a r y w a s t o a n s w e r t h e f o l l o w i n g q u e s t i o n s : W h a t n e e d s a s s e s s m e n t q u e s t i o n s d i d y o u a s k ? W h o d i d y o u a s k ? H o w d i d y o u c o l l e c t t h e i n f o r m a t i o n ? W h a t i n f o r m a t i o n d i d y o u g e t b a c k ? H o w w i l l y o u u s e t h e i n f o r m a t i o n w h e n y o u d e v e l o p y o u r c u r r i c u l u m ? ( i . e . , S o w h a t ? W h a t c h a n g e s a r e y o u m a k i n g i n y o u r p r o j e c t b a s e d u p o n t h e n e e d s a s s e s s m e n t ? ) 1 1 5 T h e r e w a s a s i x - a n d - a - h a l f w e e k t i m e p e r i o d b e t w e e n t h e t i m e t h e p a r t i c i p a n t s r e c e i v e d t h e n e e d s a s s e s s m e n t a s s i g n m e n t a n d t h e t i m e t h e y w e r e t o p r o d u c e t h e w r i t t e n a n d o r a l r e p o r t s . T h e o n l y o t h e r f e l l o w s h i p a s s i g n m e n t d u r i n g t h i s p e r i o d w a s t o c o m p l e t e t h e r e v i e w o f t h e l i t e r a t u r e s t a r t e d d u r i n g t h e S e p t e m b e r o n - c a m p u s s e s s i o n a n d t o h a n d i n a n n o t a t e d b i b l i o g r a p h i e s o f e i g h t t o t e n a r t i c l e s r e l a t e d t o t h e i r i n t e n d e d c u r r i c u l u m . W A s f e l l o w s h i p f a c u l t y w e r e p r e s e n t d u r i n g t h e w o r k s h o p t o h e l p p a r t i c i p a n t s b e g i n t o p l a n t h e i r n e e d s a s s e s s m e n t s a n d w o u l d b e m e n t o r i n g p a r t i c i p a n t s o n i s s u e s i n c l u d i n g n e e d s a s s e s s m e n t t h r o u g h o u t t h e f e l l o w s h i p , i t i s r e a s o n a b l e t o a s s u m e t h a t t h e f a c u l t y a t t i t u d e t o w a r d n e e d s a s s e s s m e n t c o u l d i n fl u e n c e t h e p a r t i c i p a n t s . S e v e n f a c u l t y w e r e m e n t o r s t o p a r t i c i p a n t s a n d a l l w e r e p r e s e n t a t t h e n e e d s a s s e s s m e n t w o r k s h o p . F a c u l t y b e h a v i o r s a n d s t a t e m e n t s d u r i n g t h e w o r k s h o p w e r e d i f f e r e n t f r o m b e h a v i o r s i n a l l p r e v i o u s w o r k s h o p s . A l t h o u g h t h e s e b e h a v i o r s m i g h t b e a t t r i b u t e d t o t h e f a c u l t y a l s o f e e l i n g t i r e d b y t h e m i d d l e o f t h e s e c o n d w e e k , t h e s e b e h a v i o r s a l s o s u g g e s t e d t h a t t h e f a c u l t y d i d n o t b e l i e v e n e e d s a s s e s s m e n t w a s o f g r e a t i m p o r t a n c e . D u r i n g t h e w o r k s h o p o n e o f t h e f a c u l t y m e m b e r s b e c a m e i n v o l v e d i n a s i d e c o n v e r s a t i o n t h a t a l s o t o o k t w o p a r t i c i p a n t s o f f t a s k . A n o t h e r f a c u l t y m e m b e r w a s o b s e r v e d r e a d i n g a n e w s p a p e r a t t h e b a c k o f t h e r o o m a n d l e f t t h e w o r k s h o p e a r l y . T h i s w a s t h e o n l y w o r k s h o p i n t h e fi v e w e e k s o f o n - c a m p u s s e s s i o n s i n w h i c h t h e s e f a c u l t y b e h a v i o r s w e r e o b s e r v e d . 1 1 6 T h e f o l l o w i n g e x c h a n g e b e t w e e n f a c u l t y a n d a p a r t i c i p a n t w h o e x p r e s s e d a d e s i r e t o d o a t h o r o u g h n e e d s a s s e s s m e n t o c c u r r e d d u r i n g t h e w o r k s h o p . I t i l l u s t r a t e s h o w a t l e a s t f o u r o f t h e f a c u l t y m a d e s t a t e m e n t s s u g g e s t i n g n e e d s a s s e s s m e n t w a s n o t a s i m p o r t a n t a s o t h e r a c t i v i t i e s : M a y : [ S a y i n g s h e w a s p l a n n i n g t o r u n f o c u s g r o u p s a n d t a p e t h e p r o c e e d i n g s a s p a r t o f h e r n e e d s a s s e s s m e n t ] I n t h e l i t e r a t u r e , i f y o u ' r e t r y i n g t o d o s o m e t h i n g r i g o r o u s , t o w r i t e a n a r t i c l e , y o u a r e s u p p o s e d t o t r y t o t r a n s c r i b e e v e r y t h i n g . I t ' s v e r y t i m e c o n s u m i n g b u t i t s e x c e l l e n t . F a c u l t y A : Y o u d o n ' t n e e d t o g o t o t h a t l e v e l o f d e t a i l f o r t h e f e l l o w s h i p . M a y : B u t i f y o u ' r e g o i n g t o t r y t o p u b l i s h ? F a c u l t y B : [ G a v e e x a m p l e o f a c u r r i c u l u m d e v e l o p e d b y a f e l l o w i n a p r e v i o u s y e a r , s a i d t h e n e e d s a s s e s s m e n t w a s ] " e v e n l e s s r i g o r o u s , b u t i t g o t p u b l i s h e d . " M a y : W h e r e ? F a c u l t y C : I t i s t r u e t h a t t h e m o r e q u a n t i t a t i v e d a t a , t h e m o r e h a r d d a t a a b o u t t h e c u r r i c u l u m , t h e b e t t e r . B u t h a r d e v a l u a t i o n d a t a i s m o r e i m p o r t a n t t h a n h a r d n e e d s a s s e s s m e n t d a - - y o u w o u l d n ' t w a s t e a t a b l e [ i n a n a r t i c l e ] t o r e p o r t y o u r n e e d s a s s e s s m e n t r e s u l t s . F a c u l t y D : R e v i e w e r s a r e m o r e i m p r e s s e d b y h a v i n g a n i c e i n n o v a t i o n t h a n w i t h h o w y o u d i d y o u r n e e d s a s s e s s m e n t . M a y d i d n o t c o n d u c t f o c u s g r o u p s a n d t a p e t h e p r o c e e d i n g s i n h e r n e e d s a s s e s s m e n t . T h e d i f f e r e n c e b e t w e e n f a c u l t y b e h a v i o r s r e l a t e d t o n e e d s a s s e s s m e n t a n d t h o s e e x h i b i t e d i n o t h e r w o r k s h o p s s u g g e s t s t h e f a c u l t y d i d n o t p e r c e i v e n e e d s a s s e s s m e n t t o b e a s i m p o r t a n t a s o t h e r a c t i v i t i e s . T h e f a c u l t y ' s l o w e r e x p e c t a t i o n o f n e e d s a s s e s s m e n t m a y a l s o h a v e b e e n r e fl e c t e d i n o t h e r f a c t o r s . F e l l o w s h i p f a c u l t y s c h e d u l e d t h e w o r k s h o p l a t e i n t h e t w o - w e e k s e s s i o n , a f t e r g i v i n g t i m e p r e c e d e n c e t o m o s t o f t h e 1 1 7 o t h e r w o r k s h o p s . T h e w o r k s h o p w a s a l s o p r e s e n t e d b y a f e m a l e f a c u l t y m e m b e r w i t h l o w e r s t a t u r e , a s s h e w a s n e i t h e r a P h . D . n o r a p h y s i c i a n . I n a d d i t i o n , i n t h e c a s e o f o n e o f t h e p a r t i c i p a n t s , t h e f a c u l t y l o w e r e d t h e r e q u i r e m e n t s f o r t h e n e e d s a s s e s s m e n t a s s i g n m e n t . A l t h o u g h i t i s n o t u n c o m m o n t o a s k a f e l l o w t o r e v i s e a n a s s i g n m e n t , i n a m e e t i n g i n N o v e m b e r , f e l l o w s h i p f a c u l t y d i s s u a d e d t w o f a c u l t y m e m b e r s f r o m r e q u i r i n g o n e p a r t i c i p a n t t o r e p e a t t h e n e e d s a s s e s s m e n t a s s i g n m e n t . A l t h o u g h f a c u l t y a c k n o w l e d g e d t h a t t h e p a r t i c i p a n t h a d n o t f u l fi l l e d t h e a s s i g n m e n t a n d h a d n o t g a t h e r e d d a t a t h a t w o u l d b e u s e f u l t o l a t e r s t a g e s o f t h e c u r r i c u l u m d e v e l o p m e n t e f f o r t , t h e i r o p i n i o n w a s t h a t t h e p a r t i c i p a n t w a s e x p e r i e n c i n g s o m u c h d i f fi c u l t y t h a t h a v i n g t o " b a c k t r a c k " t o d o t h e n e e d s a s s e s s m e n t w o u l d o n l y s l o w h i m d o w n . F a c u l t y a d v i s e d t h a t t h e p a r t i c i p a n t s h o u l d p r o c e e d t o c r e a t e t h e c u r r i c u l u m e v e n t h o u g h t h e n e e d s a s s e s s m e n t h a d b e e n i m p r o p e r l y d o n e . E v n t E m n u r r u n i n N m n T h e n e e d s a s s e s s m e n t w o r k s h o p o c c u r r e d o n t h e W e d n e s d a y m o r n i n g o f t h e s e c o n d w e e k o n c a m p u s . T h i s t u r n e d o u t t o b e t h e p a r t i c i p a n t s ' e m o t i o n a l n a d i r o f t h e f e l l o w s h i p . I n t h e d e b r i e fi n g a t t h e e n d o f t h e w e e k , s e v e r a l f e l l o w s s p o k e o f h o w t w o w e e k s w a s a l o n g t i m e t o b e a w a y f r o m h o m e a n d f a m i l y . E v e s a i d : " T h i s h a s b e e n a v e r y l o n g s e c o n d w e e k . F i r s t w e e k , t h e p i c n i c w a s n i c e . W e c o u l d h a v e a p l a n n e d s o c i a l e v e n t t h e s e c o n d w e e k . B y W e d n e s d a y , I w a s r e a d y t o g o h o m e . " F e l l o w s s p o k e o f t h e p r e s s u r e t h e y w e r e f e e l i n g , a n d a l l u d e d t o t h e " n a m e c a r d s w i t c h i n g i n c i d e n t " a s " a w a y t o l e t o f f s o m e s t e a m . " T h e n a m e c a r d s w e r e s w i t c h e d d u r i n g t h e W e d n e s d a y s e s s i o n f o l l o w i n g t h e n e e d s 1 1 8 a s s e s s m e n t w o r k s h o p , s u g g e s t i n g t h a t a t t e n t i v e n e s s t o t h e w o r k a t h a n d w a s n o t a t i t s h i g h e s t d u r i n g t h e n e e d s a s s e s s m e n t w o r k s h o p . H a l f o f t h e p a r t i c i p a n t s w e r e o b s e r v e d d u r i n g t h e n e e d s a s s e s s m e n t w o r k s h o p t o b e o f f t a s k , o r v e r y d i s c o u r a g e d a b o u t t h e i r p r o j e c t s . J o a n a n d A l e x i s b e c a m e i n v o l v e d i n a d i s c u s s i o n u n r e l a t e d t o n e e d s a s s e s s m e n t . I n s t e a d o f w o r k i n g i n d i v i d u a l l y d u r i n g t h e t i m e a l l o t t e d f o r e x e r c i s e s , t h e y t a l k e d a n d n e i t h e r c o m p l e t e d t h e w o r k s h e e t s . T h r e e p a r t i c i p a n t s ( S u e , R a c h e l , a n d E r i n ) h a d e n t e r e d t h e f e l l o w s h i p i n t e n d i n g t o e v a l u a t e e x i s t i n g c u r r i c u l a a n d , a t t h e p o i n t o f t h e n e e d s a s s e s s m e n t w o r k s h o p , t w o o f t h e m w e r e r e a l i z i n g t h e y d i d n o t h a v e a c u r r i c u l u m t h a t w a s c o m p r e h e n s i v e e n o u g h t o e v a l u a t e . S u e ' s m e n t o r t o l d t h e i n v e s t i g a t o r h e h a d b e e n w o r k i n g w i t h S u e " a l o t " d u r i n g t h e w o r k s h o p b e c a u s e : " S h e d i d n ' t k n o w w h i c h e n d w a s u p . S h e h a d b e e n t o t a l l y t o r n d o w n . . . r e a l i z e d h e r p r o j e c t w a s n ' t d o a b l e , b e c a u s e s h e d i d n ' t h a v e a c u r r i c u l u m t o e v a l u a t e . . . . S h e w a s i n a s t a t e o f fl u x . . . t r y i n g t o s e l e c t a n e w p r o j e c t . " S u e ' s w o r k s h e e t s d e s c r i b e d a n e e d s a s s e s s m e n t f o r a p r o j e c t s h e l a t e r a b a n d o n e d . T h e t h i r d p a r t i c i p a n t , R a c h e l , w a s i n t e r e s t e d i n a n e v a l u a t i o n p r o j e c t a n d d i d n o t s e e h o w t o a p p l y n e e d s a s s e s s m e n t p r i n c i p l e s t o h e r o w n p r o j e c t . S h e s a i d t o t h e i n v e s t i g a t o r : " Y o u k n o w w h a t ' s n o t o n t h i s l i s t ? [ p o i n t i n g t o a p a g e o f t h e h a n d o u t ] T h e s t u f f I n e e d . " O t h e r p a r t i c i p a n t s w e r e q u e s t i o n i n g t h e i r p r o p o s e d c u r r i c u l u m t o p i c o r t h e n e e d f o r c o n d u c t i n g a n e e d s a s s e s s m e n t . T h e f o l l o w i n g e x c e r p t f r o m t h e i n v e s t i g a t o r ' s fi e l d n o t e s d e s c r i b e s a n i n t e r a c t i o n w i t h S a m : 1 1 9 I a p p r o a c h e d S a m , w h o w a s s i t t i n g n e x t t o M a x , a n d h a d b e e n s i t t i n g q u i e t l y , [ n o t w r i t i n g b u t l o o k i n g a t t h e p a p e r ] . H e h a d t h e fi r s t t h r e e q u e s t i o n s fi l l e d i n w h e n w e b e g a n t a l k i n g . S a m : " T h i s i s a l l a m e s s . " [ I n v e s t i g a t o r ] : " W h a t d o y o u m e a n ? " S a m : " W e h a v e n o g o a l s o r o b j e c t i v e s , o r o v e r v i e w s a n d a l l t h a t s t u fi . . . l ' m s u p p o s e d t o d e v e l o p t h e s e c o n d y e a r a n d p i l o t i t t h i s s p r i n g . . . w h e n w e h a v e n ' t e v e n d o n e t h i s s t u fi ' f o r t h e fi r s t y e a r . . [ I n v e s t i g a t o r ] : " Y o u ' r e w o n d e r i n g i f i t ' s a p p r o p r i a t e t o d o a n e e d s a s s e s s m e n t f o r j u s t y e a r t w o ? " S a m h a d b e e n d r a w i n g a t t h e t o p o f t h e p a g e w h i l e h e t a l k e d , l i s t i n g e a c h o f t h e y e a r s o f t h e i n t e n d e d c u r r i c u l u m . S a m s e e m e d d i s c o u r a g e d , h e w a s q u i e t , n o t s m i l i n g , l o o k i n g a t h i s p a p e r w h i l e h e t a l k e d , t h e c o r n e r s o f h i s m o u t h a b i t t i g h t . I t o l d h i m t h a t w h a t h e h a d i d e n t i fi e d a s a " m e s s " i n d i c a t e d t h a t h e h a d a l r e a d y l e a r n e d a l o t f r o m t h e f e l l o w s h i p a n d w a s a p p l y i n g i t . H e s m i l e d b r i e fl y a n d s a i d " Y e a h , I g u e s s s o . I ' v e l e a r n e d a l o t . " ( e m p h a s i z i n g " l o t " ) B u t a s w e c o n t i n u e d d i s c u s s i n g t h e c u r r i c u l u m , h e s a i d h e w o n d e r e d i f h e s h o u l d b e d o i n g t h e s e c o n d y e a r c u r r i c u l u m f o r h i s p r o j e c t , a n d w o u n d u p w o n d e r i n g i f h i s p r o j e c t " s h o u l d h a v e a n y t h i n g t o d o w i t h t h i s c u r r i c u l u m a t a l l . " T h e i n v e s t i g a t o r ' s fi e l d j o u r n a l a l s o d e s c r i b e s a n i n t e r a c t i o n w i t h E m m a , w h o f e l t s h e a l r e a d y k n e w t h e p r o b l e m a n d d i d n ' t n e e d s u p p o r t o r i d e a s f r o m o t h e r s t o m a k e c h a n g e s : I n e x t t a l k e d t o E m m a . W h e n I a s k e d E m m a " H o w ' s i t g o i n g ? " , s h e h a d b e e n s i t t i n g q u i e t l y l o o k i n g f o r w a r d w i t h h e r w o r k s h o p p a c k e t c l o s e d b e f o r e h e r , h a n d s r e s t i n g i n h e r l a p , a s i f w a i t i n g f o r t h e n e x t l e c t u r e s e g m e n t . S h e t u r n e d t o m e a n d s a i d " I ' m d o n e . " S h e o p e n e d u p t h e p a c k e t t o t h e w o r k s h e e t a n d I s a w t h a t t h e b l a n k s h a s b e e n fi l l e d i n w i t h m o s t l y o n e w o r d o r o n e l i n e a n s w e r s . 1 2 0 E m m a : " I n m y c a s e , t h i s w a s n ' t t h a t h a r d . I h a v e c o n t r o l o v e r t h e w h o l e s i t u a t i o n ; n o b o d y e l s e c a r e s w h a t I d o . . . i t ' s a l l u p t o m e . " W h e n a p p r o a c h e d l a t e r d u r i n g t h e w o r k s h o p , E m m a s a i d , " T h i s i s v e r y h a r d . . . I h a v e c o n t r o l o v e r i t a l l . . . w h a t t h e y l e a r n i s a r b i t r a r y . " T h e i n v e s t i g a t o r ' s c o m m e n t c o n t i n u e s : " [ E m m a ] g a v e m e t h e i m p r e s s i o n s h e a l r e a d y k n e w w h a t t h e p r o b l e m w a s f o r h e r s e l f a n d d i d n ' t n e e d o t h e r d a t a f r o m o t h e r s o u r c e s , o r t h a t t h e d a t a w a s [ s i c ] n o t a v a i l a b l e o r d i f f i c u l t t o g e t / u s e . " I n c o n t r a s t , s e v e r a l o f t h e o t h e r p a r t i c i p a n t s s e e m e d t o fi n d t h e w o r k s h o p b e n e fi c i a l . J u l i e a n d M a y s p o k e o f h o w u s e f u l t h e e x e r c i s e s w e r e i n h e l p i n g t h e m o r g a n i z e t h e i r o w n n e e d s a s s e s s m e n t s . R u b i n w o r k e d q u i e t l y b y h i m s e l f t h r o u g h o u t t h e w o r k s h o p : I a p p r o a c h e d R u b i n w h o w a s w r i t i n g q u i t e q u i c k l y o n y e l l o w l e g a l p a d s . [ I n v e s t i g a t o r ] : " H o w ' s i t g o i n g , I s e e y o u ' r e c r a n k i n g a w a y t h e r e . " R : " T h e fi r s t p a r t , t h e p e o p l e a n d c o n t e x t , r e a l l y c l i c k e d f o r m e . . . n o w i t ' s m o r e d i f f i c u l t . I ' m w r i t i n g s t u f f , b u t I n e e d t o g o b a c k l a t e r a n d m a k e s u r e m y q u e s t i o n s m a t c h t h e p e o p l e a n d c o n t e x t , a n d m y s o u r c e s a n d t e c h n i q u e s m a t c h t h e q u e s t i o n s . . . . l ' v e g o t t a d o s o m e t h i n g l i k e t h a t g r i d y o u m e n t i o n e d f r o m [ t h e s u r v e y ] w o r k s h o p . " R u b i n h a d fi l l e d e i g h t l e g a l p a d s h e e t s b y t h e e n d o f t h e w o r k s h o p . D u r i n g t h e e n d o f w e e k d e b r i e fi n g , a t l e a s t f o u r t e e n c o m m e n t s w e r e m a d e r e g a r d i n g t h e n e e d s a s s e s s m e n t w o r k s h o p , m o r e t h a n a n y o t h e r w o r k s h o p f o r t h e w e e k . T h e p a r t i c i p a n t s ' c o n s e n s u s o n t h e n e e d s a s s e s s m e n t w o r k s h o p w a s t h a t i t s h o u l d h a v e o c c u r r e d e a r l i e r i n t h e t w o - w e e k s e s s i o n . F i v e o f t h e c o m m e n t s d i r e c t l y a d d r e s s e d t h e d e s i r e t o h a v e t h e w o r k s h o p e a r l i e r . F o r e x a m p l e , M a x s a i d , " T h a t c a m e u p m o r e 1 2 1 t h a n o n c e t h a t y o u n e e d e d t o k n o w a b o u t n e e d s a s s e s s m e n t b e f o r e y o u c o u l d d o t h i s . . . l i k e i n t h e c u r r i c u l u m d e v e l o p m e n t w o r k s h o p . . . " A n o t h e r fi v e o f t h e c o m m e n t s d e s c r i b e d h o w p a r t i c i p a n t s f e l t t h a t t h e y h a d h e a r d a b o u t n e e d s a s s e s s m e n t s o m a n y t i m e s i n o t h e r w o r k s h o p s , k n o w i n g t h a t i t w a s t h e i r fi r s t m a j o r a s s i g n m e n t f o r t h e f e l l o w s h i p , t h a t t h e y h a d b e c o m e v e r y w o r r i e d a b o u t i t b y t h e t i m e t h e w o r k s h o p c a m e . E m m a s a i d " I ' d h e a r d t h e w o r d 2 , 0 0 0 t i m e s . I w a s a l m o s t p h o b i c a b o u t i t . . . I w o u l d h a v e e n j o y e d d o i n g i t i n t h e e v e n i n g , a s a k i n d o f b r a i n s t o r m i n g a c t i v i t y . . . I w o u l d h a v e d o n e b e t t e r s i t t i n g b y m y s e l f . " E f f e c t s o f b e i n g s t u d i e d . I n a d d i t i o n , t h e r e i s m i x e d i n f o r m a t i o n o n t h e d e g r e e t o w h i c h p a r t i c i p a n t s w e r e a f f e c t e d i n p o s i t i v e o r n e g a t i v e w a y s b y t h e f a c t t h a t t h e y w e r e b e i n g s t u d i e d . A f e w o f t h e p a r t i c i p a n t s r e p o r t e d u s i n g t h e i r i n v o l v e m e n t i n t h i s s t u d y t o s p u r t h e i r n e e d s a s s e s s m e n t a c t i v i t i e s . W h e n t h e i n v e s t i g a t o r c o n t a c t e d p a r t i c i p a n t s w h i l e t h e y w e r e c o n d u c t i n g t h e i r n e e d s a s s e s s m e n t s , t h r e e p a r t i c i p a n t s d i r e c t l y c o m m e n t e d o n t h e i n v e s t i g a t o r ' s i n t e r v i e w p r o v i d i n g i m p e t u s f o r t h e i r n e e d s a s s e s s m e n t s . B i l l s p o k e o f " t h e b e n e fi t s o f k n o w i n g t h e i n t e r v i e w w a s c o m i n g . . . I t a c c e l e r a t e d m y p r o c e s s , t o g e t t h e q u e s t i o n n a i r e b a c k . . . . Y o u r q u e s t i o n s m a d e m e o r g a n i z e w h a t I h a v e d o n e t o t h i s m o m e n t , i n a m o r e p r e c i s e m a n n e r . " J u l i e s a i d s h e h a d p u r p o s e l y c o n d u c t e d t h r e e p h o n e i n t e r v i e w s f o r h e r o w n n e e d s a s s e s s m e n t t h e n i g h t b e f o r e h e r p h o n e i n t e r v i e w f o r t h e p r e s e n t s t u d y " t o g e t a s e n s e o f w h a t i t w a s l i k e t o g e t r e a d y f o r t o d a y ' s i n t e r v i e w . " S h e w a n t e d t o h a v e a c h a n c e t o c o m p a r e t h e e x p e r i e n c e o f i n t e r v i e w e r t o i n t e r v i e w e e . A s t h e p a r t i c i p a n t s e x p r e s s e d f r u s t r a t i o n o v e r h a v i n g h e a r d a b o u t n e e d s a s s e s s m e n t s o m a n y t i m e s b e f o r e t h e y g o t t o t h e w o r k s h o p , t h e 1 2 2 i n v e s t i g a t o r b e c a m e c o n c e r n e d t h a t k n o w i n g t h a t t h e y w e r e b e i n g s t u d i e d h a d a d d e d t o t h e s t r e s s , h o w e v e r : W h e n t h e i n v e s t i g a t o r a s k e d w h e t h e r b e i n g s t u d i e d h a d a d d e d t o t h e i r f r u s t r a t i o n , t h e r e s p o n s e w a s a l w a y s t h e o p p o s i t e . P a r t i c i p a n t s m a d e s t a t e m e n t s l i k e " Y o u s h o w e d i n t e r e s t i n w h a t w e w e r e d o i n g , f o r o n e , i t m a d e m e f e e l m o r e i m p o r t a n t " a n d " Y o u r s t u d y i n g t h i s a c t u a l l y h e l p e d . . . i t s e r v e d a s a r e m i n d e r t h a t [ n e e d s a s s e s s m e n t ] i s n o t c o m p l e t e l y u n d e r s t o o d . " ( C h a p t e r 1 , p g . 1 2 ) I n a d d i t i o n , t h e p e e r o b s e r v e r d i d n o t p e r c e i v e t h e s t u d y a s m a k i n g a d i f f e r e n c e i n t h e fi n a l p r o d u c t s : A t t h i s p o i n t i n h e r s t u d y , I d o n o t s e e t h a t J o s i e ' s d a t a c o l l e c t i o n h a s c h a n g e d t h e f e l l o w s ' a p p r o a c h e s t o t h e i r n e e d s a s s e s s m e n t s o r p r o j e c t s . . . . W i t h r e g a r d t o t h e i r n e e d s a s s e s s m e n t s , I h a v e n ' t d e t e c t e d a H a w t h o r n e E f f e c t — t h e n e e d s a s s e s s m e n t s I l o o k e d a t w e r e a b o u t t h e s a m e q u a l i t y a n d v a l u e t h a t I h a v e s e e n i n p a s t y e a r s . S U M M A R Y T h e s e c t i o n s i n t h i s c h a p t e r h a v e b e e n p r e s e n t e d t o g i v e t h e r e a d e r d e s c r i p t i o n s o f : l ) t h e s t u d y p a r t i c i p a n t s a s a g r o u p a n d a s i n d i v i d u a l s , 2 ) t h e f e l l o w s h i p s e t t i n g , 3 ) t h e c u r r i c u l u m t r a c k w i t h i n w h i c h t h e p a r t i c i p a n t s a r e r e q u i r e d t o c o n d u c t a n e e d s a s s e s s m e n t a s p a r t o f a c u r r i c u l u m d e v e l o p m e n t p r o j e c t , a n d 4 ) h o w t h e p a r t i c i p a n t s ' n e e d s a s s e s s m e n t s m a y h a v e b e e n s t r u c t u r e d b y t h e f e l l o w s h i p . T h e i n v e s t i g a t o r h o p e s t h i s c h a p t e r w i l l h e l p r e a d e r s d e t e r m i n e t h e d e g r e e t o w h i c h t h e s t u d y fi n d i n g s p r e s e n t e d i n t h e n e x t c h a p t e r a r e a r e s u l t o f t h e p a r t i c u l a r c h a r a c t e r i s t i c s o f t h e p a r t i c i p a n t s a n d s e t t i n g , a n d t h e d e g r e e t o w h i c h t h e fi n d i n g s s h o u l d g e n e r a l i z e t o o t h e r p e o p l e a n d s e t t i n g s . C H A P T E R V R E S E A R C H F I N D I N G S W T h e p u r p o s e o f t h i s s t u d y w a s t o d e s c r i b e a n d e x p l a i n h o w p e o p l e b e c o m e f a m i l i a r w i t h , i m p l e m e n t , a n d l e a r n f r o m h a v i n g d o n e a n e e d s a s s e s s m e n t . F o u r t e e n p h y s i c i a n s c o n d u c t i n g t h e i r fi r s t n e e d s a s s e s s m e n t s a s p a r t o f a c u r r i c u l u m d e v e l o p m e n t p r o j e c t p a r t i c i p a t e d i n t h i s s t u d y . T h e s t u d y fi n d i n g s a r e p r e s e n t e d h e r e i n t h e f o r m o f i l l u s t r a t i v e q u o t e s , d e s c r i p t i o n s , a n d d a t a s u m m a r i e s . T h e 2 0 fi n d i n g s w e r e d e r i v e d t h r o u g h c o m p a r a t i v e a n a l y s i s o f t h e d a t a c o l l e c t e d o n a l l p a r t i c i p a n t s t h r o u g h o b s e r v a t i o n s , i n t e r v i e w s , a n d d o c u m e n t s . B e a r i n m i n d t h a t t h e fi n d i n g s p r e s e n t e d i n t h i s c h a p t e r h a v e b e e n d e r i v e d f r o m a g r o u p o f p e O p l e w h o a r e 1 ) n o v i c e s t o n e e d s a s s e s s m e n t a n d , 2 ) i n m o s t c a s e s , a r e s u b j e c t m a t t e r e x p e r t s i n t h e a r e a i n w h i c h t h e y a r e p l a n n i n g t o d e v e l o p a c u r r i c u l u m . A l s o , t h e s e t t i n g r e s u l t e d i n c e r t a i n r e s t r i c t i o n s o n t h e n e e d s a s s e s s m e n t . T h e l i t e r a t u r e s e a r c h , w h i c h 1 0 0 % o f t h e p a r t i c i p a n t s p e r f o r m e d , w a s r e q u i r e d . T h e f r e q u e n c y o f c o n t a c t i n g e x p e r t s m a y b e o v e r - r e p r e s e n t e d i n t h i s s t u d y a s , i n s e v e r a l c a s e s , f e l l o w s h i p f a c u l t y s u p p l i e d p a r t i c i p a n t s w i t h t h e n a m e s a n d p h o n e n u m b e r s o f e x p e r t s i n t h e c o n t e n t a r e a a n d p e r i o d i c a l l y a s k e d t h e p a r t i c i p a n t s w h e t h e r t h e y h a d " g o t t e n i n t o u c h w i t h t h o s e p e o p l e y e t . " O t h e r c o n s t r a i n t s p l a c e d o n t h e n e e d s a s s e s s m e n t w e r e d e s c r i b e d i n t h e s e c t i o n i n 1 2 3 1 2 4 C h a p t e r I V t i t l e d " H o w D o e s t h e F e l l o w s h i p S t r u c t u r e t h e P a r t i c i p a n t s ' N e e d s A s s e s s m e n t s ? " L i m i t a t i o n s t o t h e s t u d y fi n d i n g s a l s o w e r e d i s c u s s e d i n C h a p t e r s I a n d I V w h e r e t h e p a r t i c i p a n t s a n d s e t t i n g w e r e d e s c r i b e d s o t h a t r e a d e r s m i g h t b e t t e r d e t e r m i n e t h e d e g r e e t o w h i c h t h e s e fi n d i n g s w e r e a p p l i c a b l e i n t h e i r o w n c o n t e x t . T h i s c h a p t e r i s s u b d i v i d e d i n t o f o u r s e c t i o n s . I n t h e fi r s t t h r e e . fi n d i n g s o n t h e t h r e e r e s e a r c h q u e s t i o n s a r e p r e s e n t e d : 1 ) W h a t d o t h e p a r t i c i p a n t s d o i n c o n d u c t i n g a n e e d s a s s e s s m e n t ? 2 ) W h a t f a c t o r s f a c i l i t a t e a n d / o r h i n d e r t h e n e e d s a s s e s s m e n t p r o c e s s ? 3 ) W h a t d o p a r t i c i p a n t s l e a r n a b o u t t h e p r o c e s s a n d p r o d u c t s o f n e e d s a s s e s s m e n t ? T h e fi n d i n g s a r e b r i e fl y s u m m a r i z e d i n t h e f o u r t h a n d fi n a l s e c t i o n . 1 2 5 W H A T D O T H E P A R T I C I P 1 _ \ _ N : § D O I N Q Q N D U Q ’ L I N G A N E E D S W W h a t t h e p a r t i c i p a n t s " d i d " i n c o n d u c t i n g a n e e d s a s s e s s m e n t w i l l b e a n s w e r e d b y l o o k i n g a t t h e m e t h o d s t h e y e m p l o y e d a s w e l l a s t h e s o u r c e s t h e y c o n s u l t e d f o r t h e n e e d s a s s e s s m e n t . T h e r e a r e s e v e n fi n d i n g s a d d r e s s i n g r e s e a r c h q u e s t i o n o n e . W A s u m m a r y o f t h e n e e d s a s s e s s m e n t a c t i v i t i e s f o r e a c h p a r t i c i p a n t i s p r e s e n t e d i n T a b l e 8 . T h e p a r t i c i p a n t s a r e l i s t e d a c c o r d i n g t o t h e n u m b e r o f a c t i v i t i e s p e r f o r m e d : p a r t i c i p a n t s p e r f o r m i n g t h e s a m e n u m b e r o f a c t i v i t i e s a r e l i s t e d a c c o r d i n g t o t h e d e g r e e o f e f f o r t g i v e n t o e a c h a c t i v i t y . A s a n e x a m p l e , a p a r t i c i p a n t w h o c o l l e c t e d a n d a n a l y z e d 4 7 c o m p l e t e d s u r v e y s w a s l i s t e d b e f o r e a n o t h e r p a r t i c i p a n t w h o c o l l e c t e d a n d a n a l y z e d 7 . A f t e r t h i s o r d e r i n g w a s c o m p l e t e d , i t w a s f o u n d t o b e c l o s e l y r e l a t e d t o t h e p a r t i c i p a n t ' s o w n e s t i m a t e s o f t i m e s p e n t o n t h e n e e d s a s s e s s m e n t . ( S e e fi n d i n g # 9 f o r m o r e d e t a i l s . ) c i n # ' N ° “ c - . ‘ n 0 . 1 - n . . V ‘ ; 1 ‘ ; 0 " ' 1 1 ! fl i n g . T a b l e 8 s h o w s e v i d e n c e o f p a r t i c i p a n t s c o n d u c t i n g n e e d s a s s e s s m e n t - r e l a t e d a c t i v i t i e s b o t h b e f o r e a n d a f t e r t h e " o f f i c i a l " s i x - a n d - a - h a l f w e e k p e r i o d f o r t h e n e e d s a s s e s s m e n t a s s i g n m e n t . T h e c o l u m n s t i t l e d " P r i o r " a n d " P o s t N A A s s i g n m e n t " i n T a b l e 8 i n d i c a t e t h e f r e q u e n c y w i t h w h i c h p a r t i c i p a n t s r e p o r t e d n e e d s a s s e s s m e n t a c t i v i t i e s o u t s i d e t h e a s s i g n e d p e r i o d . 1 2 6 T a b l e 8 N e e d s A s s e s s m e n t R e l a t e d A c t i v i t i e s B O E I N G N E E I B A S S E S S M E N T A S S I G N M E N T R u i n M a y E r m i - B i l l S u e A l e x i S a m E v e R a c h e l E r i n y y . 1 1 D i d p r i o r t o n e e d s a s s e s s m e n t a s s i g n m e n t 2 ' A l o t a t t h e s i u i l i o r t h i s c u r r i c u l u m w a s a l r e a d y s e t ' 3 : ' l c o n s i d e r e d c o n t a c t i n g s o m e e x p e r t s , b u t w h a t t h e y t h l n k l s a l r e a d y I n t h e l i t e r a t u r e . ‘ 4 : B i l l t e l l t h e l e l l o w s h l p s h o r t l y a t t e r c o m p l e t i n g t h e n e e d s a s s e s s m e n t . a n d c o u l d n o t c o n t i n u e w o r k o n t h i s c u r r i c u l u m 5 ' S e n t o u t s u r v e y s b u t n o n e w e r e r e t u r n e d 0 E x p e r t s o u t s i d e o w n o r g a n l z a t l o n u n l e s s n o t e d a s b e l o w O o n t a c i e d e x p e r t s I n t e r n a l t o t h e o r g a n i z a t i o n ( h e ) C o n t a c i s d b o t h l n t e m a l a n d e x t e r n a l e x p e r t s ( u ) : U r g e d b y t e l l o w s h i p l a c u l t y t o c o n t a c t e x p e r t s I 2 7 A c t i v i t i e s p r i o r t o n e e d s a s s e s s m e n t . T e n o f t h e 1 4 p a r t i c i p a n t s r e p o r t e d d o i n g s o m e f o r m o f n e e d s a s s e s s m e n t a c t i v i t y e v e n b e f o r e t h e y s t a r t e d t h e f e l l o w s h i p . F o u r r e p o r t e d l o o k i n g f o r r e l a t e d l i t e r a t u r e : fi v e r e p o r t e d t a l k i n g i n f o r m a l l y w i t h t h e i r c o l l e a g u e s . F o u r m o r e r e p o r t e d s o m e f o r m o f d a t a g a t h e r i n g a c t i v i t y : t w o h a d a l r e a d y c o n d u c t e d s u r v e y s , o n e r e v i e w e d s t u d e n t s ' e v a l u a t i o n d a t a , a n d a n o t h e r h a d p i l o t e d a q u e s t i o n n a i r e . A p p r o x i m a t e l y h a l f o f t h e p a r t i c i p a n t s u s e d t h e w o r d " i n f o r m a l " i n d e s c r i b i n g w h a t t h e y h a d d o n e b e f o r e t h e y h a d l e a r n e d o f t h e n e e d s a s s e s s m e n t a s s i g n m e n t . A c o m m o n t r e n d i n a l l o f t h e e a r l y a c t i v i t i e s w a s t h e p a r t i c i p a n t s ' d e s i r e t o " g e t a h a n d l e o n t h i n g s . " P a r t i c i p a n t s s p o k e o f l o o k i n g f o r l i t e r a t u r e b e c a u s e t h e y " w a n t e d t o fi n d o u t w h a t w a s o u t t h e r e . " T h o s e w h o m e n t i o n e d t a l k i n g t o c o l l e a g u e s s p o k e i n t e r m s o f g e t t i n g i n p u t o n t h e t o p i c f o r t h e c u r r i c u l u m t h e y w o u l d c r e a t e a n d / o r r e fi n e m e n t s f o r t h e c u r r i c u l u m t h e y a l r e a d y h a d i n m i n d . A s a n e x a m p l e o f t h e fi r s t s i t u a t i o n , M a x s a i d " W e ' v e t a l k e d a b o u t t h i s a l l y e a r , n o t a n y t h i n g f o r m a l l y , b u t i n t a l k s b e t w e e n o u r s e l v e s , o r i t h a s c o m e u p i n m e e t i n g s . N o w I ' m g o i n g t o h a v e a q u e s t i o n n a i r e f o r t h e m t o a n s w e r . " A s e x a m p l e s o f t h e s e c o n d , B i l l s a i d h e h a d t a l k e d t o o t h e r s t o fi n d o u t w h a t t h e y t h o u g h t a b o u t h i s m a j o r p r o j e c t i d e a , a n d R u b i n s a i d , " T a l k i n g t o p e o p l e a b o u t w h a t I w a n t e d t o d o h e l p e d m e v e r b a l i z e m y v i s i o n . . . . e v e r y t i m e I t o l d i t t o s o m e o n e , i t g o t e a s i e r . " T w o o t h e r s s a i d t h a t t h e i r o r g a n i z a t i o n s r e g u l a r l y c o n d u c t e d n e e d s a s s e s s m e n t s ( a l t h o u g h t h e y h a d n ' t c a l l e d i t t h a t ) , a n d t h e y h a d r e f e r r e d b a c k t o t h e o r g a n i z a t i o n - w i d e n e e d s a s s e s s m e n t p r i o r t o l 2 8 p l a n n i n g t h e i r o w n . F o r e x a m p l e , M i k e s p o k e o f h o w h i s o r g a n i z a t i o n h a d b e e n c o n d u c t i n g n e e d s a s s e s s m e n t s f o r s o m e t i m e : W h e n I s t a r t e d - I d i d n ' t r e a l i z e i t w a s a n e e d s a s s e s s m e n t p e r s e . I w a s d o i n g a n o n g o i n g e v a l u a t i o n o f t h e c u r r i c u l u m . . . a l l m y i m p r e s s i o n s , a n d a l l t h e d a t a g o b a c k y e a r s . . . t h i s i s c o m i n g t o a c u l m i n a t i o n o f 5 y e a r s o r m o r e o f i m p r e s s i o n s o f w h a t a c u r r i c u l u m i n O B [ O b s t e t r i c s ] s h o u l d b e . . . . B u t w e d i d n ' t c a l l i t a n e e d s a s s e s s m e n t . T h e w a y i t w a s u t i l i z e d i n t h e p a s t w a s t o p r o b l e m s o l v e a s i n g l e i s s u e - - t o c o m e u p w i t h a t r e a t m e n t b e f o r e i t c a s c a d e d i n t o o t h e r i s s u e s . A c t i v i t i e s a f t e r n e e d s a s s e s s m e n t . F i v e o f t h e f o u r t e e n p a r t i c i p a n t s r e p o r t e d a c t i v i t i e s r e l a t e d t o n e e d s a s s e s s m e n t a f t e r t h e a s s i g n m e n t w a s o f fi c i a l l y c o n c l u d e d . 1 T h e p a r t i c i p a n t s s e e m e d n o t t o h a v e c o n s i d e r e d w h e t h e r t h e i r f o l l o w - u p a c t i v i t i e s w e r e a c t u a l l y a k i n d o f n e e d s a s s e s s m e n t . W h e n a s k e d b y t h e i n v e s t i g a t o r i f t h e y h a d d o n e a n y t h i n g m o r e r e l a t e d t o n e e d s a s s e s s m e n t i n t h e t h r e e m o n t h s a f t e r h a n d i n g i n t h e a s s i g n m e n t . m a n y o f t h e p a r t i c i p a n t s m a d e o b v i o u s p a u s e s w h i l e t h e y s t o p p e d t o t h i n k . S u e p a u s e d f o r a t l e a s t fi v e s e c o n d s b e f o r e s a y i n g , " I n t e r m s o f t h i s p r o j e c t , t h e d e a d l i n e f o r t h e n e e d s a s s e s s m e n t w a s a r t i fi c i a l . I t ' s k i n d o f a n o n g o i n g p r o c e s s . I w i l l k e e p w o r k i n g o n i t a s I p r o g r e s s o n m y p r o j e c t . " S u e t o o k o n t h e m o s t a m b i t i o u s p o s t — a s s i g n m e n t a c t i v i t y b y h a v i n g p e o p l e i n t e r e s t e d i n t h e s a m e t o p i c c o m e t o g e t h e r f r o m o r g a n i z a t i o n s i n t w o s t a t e s f o r a f o c u s — g r o u p m e e t i n g ( a l t h o u g h s h e p r e f a c e d t h i s b y s a y i n g , " A n d I d o n ' t k n o w w h e t h e r y o u w o u l d c o n s i d e r t h i s p a r t o f t h e n e e d s a s s e s s m e n t o r n o t . . . " ) . T h e o t h e r f o u r r e p o r t e d m o r e m o d e s t e x p e n d i t u r e s o f e f f o r t , u s u a l l y i n t a l k i n g t o p e o p l e f o r f o l l o w - u p 1 A n o t h e r t h r e e t h a t m e n t i o n e d v e r y m i n o r a c t i v i t i e s , l i k e r e a d i n g o n e m o r e a r t i c l e . a r e n o t i n c l u d e d i n t h i s t a b u l a t i o n . 1 2 9 q u e s t i o n s , " fi n a l l y c a t c h i n g u p w i t h " p e o p l e t h a t t h e y h a d t r i e d t o r e a c h e a r l i e r , o r d o i n g m o r e r e a d i n g . F o u r o f t h e p a r t i c i p a n t s r e p o r t i n g n o a c t i v i t y s p o k e o f p l a n s t o f o l l o w u p o n t h e n e e d s a s s e s s m e n t . ’ I V v o m e n t i o n e d a d d i t i o n a l s u r v e y s s t r a g g l i n g i n a n d w a n t i n g t o a d d t h e m t o t h e i r t a b u l a t i o n s f o r t h e c o m i n g f e l l o w s h i p a s s i g n m e n t o f w r i t i n g a n a r t i c l e . A n o t h e r t w o s p o k e o f w a n t i n g t o fi n d t i m e t o " d o m o r e n e e d s a s s e s s m e n t . " E m m a c a p t u r e d t h e a t t i t u d e o f m a n y t o w a r d s n e e d s a s s e s s m e n t a s a n o n g o i n g a c t i v i t y w h e n s h e s p o k e o f h e r f u t u r e p l a n s : I w a n t t o d o a n o t h e r l i t e r a t u r e r e v i e w t o s e e w h a t e l s e i s o u t t h e r e t h a t I c a n u s e i n m y c u r r i c u l u m . A n d I w a n t t o d o m o r e p h o n e i n t e r v i e w s w i t h f a c u l t y a t o t h e r i n s t i t u t i o n s . I h a d i n t e n d e d t o d o m o r e , b u t i t t a k e s s o m u c h t i m e a n d t h e y a r e h a r d t o r e a c h . T h e n y o u h a v e t o w a i t f o r t h e m t o c a l l y o u . . . . I a m l o o k i n g f o r w a r d t o d o i n g m o r e p h o n e i n t e r v i e w s . R e a l l y i t s a n e v e r - e n d i n g p r o c e s s . . . I d o n ' t e v e n c o n s i d e r n e e d s a s s e s s m e n t a s s o m e t h i n g t h a t ' s d o n e . I j u s t s t o p p e d a t a n a r b i t r a r y p o i n t b e c a u s e t h e r e p o r t w a s d u e . A n d n o w I ' m g o i n g t o g o b a c k a n d t a k e a l o o k a g a i n . I k n e w e v e n b a c k t h e n t h a t i t w o u l d h a v e b e e n b e n e fi c i a l t o d o m o r e . B u t i n t h e t i m e I h a d a v a i l a b l e t o d o i t , a n d t h e d e a d l i n e s I n e e d e d t o m e e t , I n e e d e d t o m a k e s o m e d e c i s i o n s . I w o u l d h a v e t a l k e d t o p e o p l e m o r e - - I w o u l d h a v e d o n e m o r e n e t w o r k i n g . I n c o n t r a s t , t w o o f t h e p a r t i c i p a n t s s p o k e o f n e e d s a s s e s s m e n t a s a n i s o l a t e d a c t i v i t y t h a t h a d b e e n c o m p l e t e d . E v e s p o k e o f o t h e r f e l l o w s h i p r e s p o n s i b i l i t i e s . " I h a d t o d o m y m a j o r p r o j e c t r e p o r t , t h e n I w o r k e d o n t h e c u r r i c u l u m d o c u m e n t , " a n d d i d n o t s e e t h e n e e d s a s s e s s m e n t a s r e l a t e d t o t h e s e t a s k s . A n d R a c h e l s p o k e o f b e i n g t o o b u s y w i t h a h i g h e r p r i o r i t y t a s k t o d o m o r e n e e d s a s s e s s m e n t : " Y o u s e e t h e r e ' s s o m e t h i n g y o u ' v e g o t t a u n d e r s t a n d . R i g h t n o w w e ' r e i n t h e m i d d l e o f a p p l i c a n t i n t e r v i e w s e a s o n a n d n o t h i n g i s m o r e i m p o r t a n t l 3 0 t h a n t h a t t o o u r o r g a n i z a t i o n . " B o t h o f t h e s e p a r t i c i p a n t s s p e n t l e s s t i m e t h a n m o s t o n t h e i r n e e d s a s s e s s m e n t a s s i g n m e n t s . T h e i n v e s t i g a t o r s u s p e c t s t h a t n e e d s a s s e s s m e n t a c t i v i t i e s c o n d u c t e d a f t e r t h e a s s i g n m e n t d u e - d a t e a r e u n d e r - r e p r e s e n t e d i n T a b l e 8 . T h i s i n f o r m a t i o n w a s l a r g e l y r e l i a n t u p o n t h e p a r t i c i p a n t s ' r e c a l l a n d s e l f - r e p o r t s : t h e i r u n c h a r a c t e r i s t i c a l l y l o n g p a u s e s s u g g e s t e d t h a t t h e y h a d n o t c o n s i d e r e d t h e r e l a t i o n s h i p b e t w e e n n e e d s a s s e s s m e n t a n d s u b s e q u e n t a c t i v i t i e s . I n a d d i t i o n , i n l a t e r c o n v e r s a t i o n s , s e v e r a l p a r t i c i p a n t s w h o h a d s a i d t h e y h a d n o t d o n e a n y m o r e n e e d s a s s e s s m e n t a c t i v i t y s p o k e o f s o m e t h i n g t h a t t h e i n v e s t i g a t o r f e l t q u a l i fi e d a s " n e e d s a s s e s s m e n t a c t i v i t y . " I t i s n o t k n o w n w h e t h e r t h i s h a p p e n e d b e c a u s e p a r t i c i p a n t s w e r e n o t g i v e n e n o u g h t i m e t o r e fl e c t b e f o r e a n s w e r i n g , o r b e c a u s e p a r t i c i p a n t s d i d n o t r e c o g n i z e s o m e o f t h e i r l a t e r a c t i v i t i e s a s b e i n g a t y p e o f n e e d s a s s e s s m e n t . I n s u m m a r y , w h a t c a n b e u n d e r s t o o d f r o m t h e d a t a i s t h a t t h e p a r t i c i p a n t s w e r e i n i t i a t i n g a c t i v i t i e s t h a t q u a l i f y a s n e e d s a s s e s s m e n t b e f o r e t h e y w e r e f o r m a l l y i n t r o d u c e d t o t h e p r o c e s s , a n d a b o u t h a l f c o n t i n u e d w i t h n e e d s a s s e s s m e n t a c t i v i t i e s a f t e r t h e f o r m a l t i m e f o r n e e d s a s s e s s m e n t w a s o v e r . F i n d i n g # 2 : T a k i n g a b l o c k o f t i m e t o p l a n w a s t h e m o s t c f f c c t i v e w a y t o b e g i n t h e n e e d s a s s e s s m e n t . A l t h o u g h n o t l i s t e d i n T a b l e 8 , 1 3 o f t h e 1 4 p a r t i c i p a n t s s p e c i fi c a l l y m e n t i o n e d a c t i v i t i e s t h a t h e l p e d t h e m " g e t g o i n g " o n t h e n e e d s a s s e s s m e n t f o r t h e a s s i g n m e n t . E i g h t r e p o r t e d s t a r t i n g w i t h t h e l i t e r a t u r e r e v i e w . P a r t i c i p a n t s s p o k e o f w a n t i n g t o " fi n d o u t w h a t w a s a l r e a d y o u t t h e r e " s o t h e y c o u l d a s k 1 3 1 i n t e l l i g e n t q u e s t i o n s i n t h e i r l o c a l e n v i r o n m e n t . A n o t h e r s i x p a r t i c i p a n t s s p o k e o f r e v i e w i n g m a t e r i a l s t h e y h a d r e c e i v e d f r o m t h e f e l l o w s h i p , e s p e c i a l l y r e v i e w i n g t h e h a n d o u t a n d a d d i n g t o t h e e x e r c i s e s t h e y h a d d o n e d u r i n g t h e w o r k s h o p o n n e e d s a s s e s s m e n t ( R e f e r t o A p p e n d i x G f o r t h e w o r k s h o p h a n d o u t s ) . O n l y o n e p a r t i c i p a n t m e n t i o n e d s t a r t i n g w i t h b o t h t h e l i t e r a t u r e r e v i e w a n d t h e h a n d o u t s - J u l i e . O n e p a r t i c i p a n t , A l e x i s , a d m i t t e d t h a t s h e s t a r t e d l a t e a n d d i d n o t r e p o r t a n y f o r m o f s t a r t - u p a c t i v i t y . F i v e w e e k s i n t o t h e s i x - a n d - h a l f w e e k p e r i o d , s h e c o u l d n o t r e p o r t n e e d s a s s e s s m e n t r e l a t e d a c t i v i t y b e y o n d " c o l l e c t i n g p i l e s o f a r t i c l e s " t h a t s h e h a d n o t y e t r e a d . I n s u m m a r y , a l l b u t o n e p a r t i c i p a n t s p o n t a n e o u s l y r e p o r t e d s o m e s o r t o f a c t i v i t y t h a t h e l p e d t h e m g e t s t a r t e d o n t h e i r n e e d s a s s e s s m e n t s . T h e o n e p a r t i c i p a n t t h a t d i d n o t r e p o r t a n y s u c h a c t i v i t y s t a r t e d m u c h l a t e r t h a n a l l t h e r e s t . T h e c h a r a c t e r i s t i c t h a t a p p e a r s t o b e c o m m o n t o a l l o f t h e s t a r t - u p a c t i v i t i e s p a r t i c i p a n t s r e p o r t e d i s t h a t t h e a c t i v i t y c r e a t e d a b l o c k o f t i m e i n w h i c h t o b e g i n t h i n k i n g a b o u t t h e t o p i c a l a r e a a n d p l a n n i n g t h e n e e d s a s s e s s m e n t b e f o r e t a l k i n g t o o t h e r s . F i n d i n g # 3 : A s s e s s o r s u s e d i n f o r m a l a n d l e s s s t r u c t u r c d a c t i v i t i e s m o r e o f t e n t h a n f o r m a l s t r u c t u r e d a c t i v i t i e s w h e n c o n d u c t i n g n e e d § a s s e s s m e n t s . I n T a b l e 8 , t h e s e v e n m a j o r n e e d s a s s e s s m e n t a c t i v i t i e s p e r f o r m e d b y t h e p a r t i c i p a n t s d u r i n g t h e a s s i g n m e n t p e r i o d a r e l i s t e d f r o m l e f t t o r i g h t a c c o r d i n g t o f r e q u e n c y . E a c h o f t h e a c t i v i t i e s c a n b e c a t e g o r i z e d a c c o r d i n g t o t h e a p p r o a c h p a r t i c i p a n t s t o o k . T h r e e o f t h e s e v e n q u a l i fi e d a s s t r u c t u r e d f o r m a l a c t i v i t i e s b e c a u s e t h e y i n c l u d e d 1 3 2 a d v a n c e d c o n s i d e r a t i o n o f t h e t y p e s o f i n f o r m a t i o n t o b e s o u g h t , m e t h o d i c a l c o l l e c t i o n o f d a t a f r o m s o u r c e s , a n d a d o c u m e n t e d a n a l y s i s p r o c e s s . T h e l i t e r a t u r e s e a r c h , w r i t t e n s u r v e y s . a n d g u i d e d i n t e r v i e w s fi t t h i s c a t e g o r y . T h e r e m a i n i n g f o u r a c t i v i t i e s c o n d u c t e d d u r i n g t h e n e e d s a s s e s s m e n t a s s i g n m e n t p e r i o d q u a l i fi e d a s i n f o r m a l . F o r t h e m o r e i n f o r m a l a p p r o a c h , p a r t i c i p a n t s d i d n o t r e p o r t w r i t t e n a d v a n c e d p r e p a r a t i o n , d o c u m e n t a t i o n o f t h e d a t a g a t h e r e d , o r t h e a n a l y s i s p r o c e s s . H o l d i n g m e e t i n g s , i n f o r m a l t a l k s , c o n t a c t i n g e x p e r t s , a n d e x a m i n i n g d o c u m e n t s w e r e a c t i v i t i e s t h a t f e l l u n d e r t h e i n f o r m a l a p p r o a c h . A s a n e x a m p l e , p a r t i c i p a n t s w h o w r o t e o u t q u e s t i o n s i n a d v a n c e , a s k e d t h e s e q u e s t i o n s o r a l l y , t h e n d o c u m e n t e d r e s p o n d e n t s ' a n s w e r s d u r i n g o r i m m e d i a t e l y a f t e r t h e i n t e r v i e w s w e r e p l a c e d i n t h e m o r e f o r m a l " G u i d e d I n t e r v i e w " c a t e g o r y . I n c o n t r a s t , a c t i v i t i e s i n w h i c h p a r t i c i p a n t s s p o k e o f " c o l l e c t i n g p e o p l e ' s i m p r e s s i o n s " b u t d i d n o t a s k r e s p o n d e n t s t h e s a m e q u e s t i o n s o r d i d n o t r e c o r d t h e i r a n s w e r s w e r e p l a c e d i n t h e " M e e t i n g s / I n f o r m a l T a l k s " c a t e g o r y . I t s h o u l d b e n o t e d t h a t t h i s d i f f e r e n c e w a s n o t a s s o c i a t e d w i t h t h e l e v e l o f f o r m a l i t y o f t h e i n t e r v i e w w i t h t h e r e s p o n d e n t - - b o t h c a t e g o r i e s i n c l u d e d " c a t c h i n g p e o p l e i n t h e h a l l w a y s " a s w e l l a s c a l l i n g a h e a d f o r a p p o i n t m e n t s . M o s t f r e q u e n t i n f o r m a l a c t i v i t i e s . T h e r e w e r e t h i r t y t o t a l i n s t a n c e s o f s t r u c t u r e d f o r m a l a c t i v i t i e s a m o n g t h e f o u r t e e n p a r t i c i p a n t s ( 1 4 b e i n g t h e r e q u i r e d l i t e r a t u r e r e v i e w ) i n c o n t r a s t t o 3 7 i n s t a n c e s o f l e s s s t r u c t u r e d i n f o r m a l a c t i v i t i e s ( n o n e o f w h i c h w a s r e q u i r e d ) . S e t t i n g a s i d e t h e m o s t f r e q u e n t a c t i v i t y , t h e f o r m a l l i t e r a t u r e r e v i e w , t h e t w o n e x t m o s t f r e q u e n t a c t i v i t i e s w e r e i n f o r m a l i n n a t u r e . T h i r t e e n o f t h e 1 4 p a r t i c i p a n t s c o n d u c t e d s o m e f o r m o f 1 3 3 m e e t i n g w i t h a g r o u p , o r s e v e r a l i n f o r m a l t a l k s w i t h i n d i v i d u a l s , a s p a r t o f t h e i r n e e d s a s s e s s m e n t s . I t i s i n t e r e s t i n g t o n o t e t h a t t h e o n e p a r t i c i p a n t w h o d i d n o t d o t h i s , i n r e s p o n d i n g t o T a b l e 8 , s a i d " A l o t o f t h e s t u fi ' f o r t h i s c u r r i c u l u m w a s a l r e a d y s e t , " s o t h e r e w a s n o p o i n t i n f u r t h e r t a l k s . T h e t h i r d m o s t f r e q u e n t a c t i v i t y w a s a l s o i n f o r m a l . T e n o f t h e f o u r t e e n p a r t i c i p a n t s c o n t a c t e d e x p e r t s . A l t h o u g h a f o r m a l a p p r o a c h t h r o u g h s t r u c t u r e d a c t i v i t i e s s u c h a s g u i d e d i n t e r v i e w s o r w r i t t e n q u e s t i o n n a i r e s c o u l d h a v e b e e n u s e d w i t h t h e e x p e r t s , a l l p a r t i c i p a n t s c h o s e a n i n f o r m a l a p p r o a c h . N i n e m a d e p h o n e c a l l s a n d o n e w r o t e l e t t e r s . T h e r e i s m i x e d e v i d e n c e o n h o w t h e f o r m a l r e q u i r e d l i t e r a t u r e r e v i e w m a y h a v e i m p a c t e d t h e n u m b e r o f p a r t i c i p a n t s c h o o s i n g t o c o n t a c t e x p e r t s . T h r e e p a r t i c i p a n t s r e p o r t e d c a l l i n g e x p e r t s t h e y h a d i d e n t i fi e d i n t h e l i t e r a t u r e t o a s k f o l l o w - u p q u e s t i o n s , w h e r e a s a n o t h e r p a r t i c i p a n t s a i d " I c o n s i d e r e d c o n t a c t i n g s o m e e x p e r t s , b u t w h a t t h e y t h i n k i s a l r e a d y i n t h e l i t e r a t u r e . " V a r y i n g a p p r o a c h e s t o s u r v e y s . T e n o f t h e f o u r t e e n p a r t i c i p a n t s u s e d w r i t t e n s u r v e y s . 2 H o w e v e r , t h e r e w a s c o n s i d e r a b l e v a r i a t i o n i n t h e d e g r e e o f " f o r m a l i t y " i n t e r m s o f s t r u c t u r e d p r e p a r a t i o n a n d a n a l y s i s i n t h e s e s u r v e y s . A t l e a s t s i x o f t h e t e n r e v i e w e d d r a f t s o f s u r v e y s w i t h f e l l o w s h i p f a c u l t y o r l o c a l p e e r s a n d t h e n r e v i s e d t h e s u r v e y s p r i o r t o d i s t r i b u t i n g t h e m . T h e s e s i x p a r t i c i p a n t s a r e l i s t e d i n t h e t o p e i g h t r o w s o f T a b l e 8 . I n c o n t r a s t , t h r e e p a r t i c i p a n t s o p e n l y a d m i t t e d t y p i n g u p t h e s u r v e y s " i n a f e w m i n u t e s " w i t h o u t r e f e r e n c e t o o t h e r m a t e r i a l s . O f t h e s e t h r e e , o n e d i d n o t i n c l u d e p e o p l e w h o w o u l d 2 O n e p a r t i c i p a n t w h o c o n d u c t e d t w o s u r v e y s p r i o r t o t h e f e l l o w s h i p i s n o t i n c l u d e d i n t h i s t a b u l a t i o n , w h e r e a s a n o t h e r w h o s e n t o u t s u r v e y s w i t h n o r e s p o n s e i s i n c l u d e d . 1 3 4 b e i n v o l v e d a s l e a r n e r s o r t e a c h e r s i n t h e s u r v e y p o p u l a t i o n : t h e o t h e r t w o s e n t o u t s u r v e y s t o a m u c h s m a l l e r p o r t i o n o f t h e a v a i l a b l e p o p u l a t i o n t h a n h a d t h e r e s t o f t h e p a r t i c i p a n t s a n d t h e i r r e s p o n s e r a t e s w e r e l o w ( 0 % a n d 6 0 % r e s p e c t i v e l y ) . T h e p o i n t h e r e i s t h a t t h e p r e f e r e n c e f o r a n i n f o r m a l a n d l e s s s t r u c t u r e d a p p r o a c h t o d a t a g a t h e r i n g a n d a n a l y s i s i s f u r t h e r s t r e n g t h e n e d b y t h e s e t h r e e i n s t a n c e s i n w h i c h s u r v e y s w e r e l e s s r i g o r o u s l y d e s i g n e d a n d a n a l y z e d . I n f o r m a l u s e o f d o c u m e n t s . P a r t i c i p a n t s a l s o t o o k a l e s s s t r u c t u r e d a p p r o a c h w h e n e x a m i n i n g d o c u m e n t s . T h e c o l u m n " D o c u m e n t s i n c o n t e x t " i n T a b l e 8 r e f e r s t o p r i n t e d i n f o r m a t i o n a l r e a d y a v a i l a b l e w i t h i n t h e l o c a l o r g a n i z a t i o n . S e v e n p a r t i c i p a n t s e x a m i n e d d o c u m e n t s i n c o n t e x t , w i t h fi v e r e f e r r i n g t o e v a l u a t i o n s o f I e a m e r s a n d / o r c u r r i c u l a a n d t w o r e f e r r i n g t o l e a r n e r s ' n a t i o n a l m e d i c a l e x a m i n a t i o n s c o r e s . " E x t e r n a l D o c u m e n t s " i n T a b l e 8 w e r e i n f o r m a t i o n a v a i l a b l e f r o m o t h e r o r g a n i z a t i o n s . I n a l l s e v e n c a s e s i n w h i c h e x t e r n a l d o c u m e n t s w e r e c o n s u l t e d , p a r t i c i p a n t s r e f e r r e d t o o n e o r m o r e g u i d e l i n e s f o r c o n t e n t a n d o b j e c t i v e s i n t h e t o p i c a l a r e a o f t h e i r c u r r i c u l u m t h a t h a d b e e n p u b l i s h e d b y n a t i o n a l m e d i c a l o r g a n i z a t i o n s . O f t h e s e v e n w h o r e v i e w e d i n t e r n a l d o c u m e n t s , t h r e e p r o v i d e d w r i t t e n e v i d e n c e o f a f o r m a l a n a l y s i s o f t h e d a t a . F o r e x a m p l e , E m m a r e v i e w e d p r e v i o u s l e a r n e r s ' e v a l u a t i o n s o f t h e c u r r i c u l u m o v e r a t w o y e a r p e r i o d a n d p r e s e n t e d m e a n s c o r e s . I n t h e r e m a i n i n g t e n i n s t a n c e s , p a r t i c i p a n t s p r e s e n t e d g e n e r a l i m p r e s s i o n s f r o m t h e i n t e r n a l a n d e x t e r n a l d o c u m e n t s o r m e n t i o n e d l o o k i n g a t t h e m w i t h o u t s a y i n g h o w t h e y h a d c o n t r i b u t e d t o t h e n e e d s a s s e s s m e n t . I n m o s t c a s e s , d o c u m e n t s o f b o t h t y p e s w e r e s c a n n e d 1 3 5 a n d p a r t i c i p a n t s g e n e r a t e d i m p r e s s i o n s r a t h e r t h a n r i g o r o u s l y d o c u m e n t i n g a n d a n a l y z i n g t h e d a t a c o n t a i n e d i n t h e m . A n d fi n a l l y , p a r t i c i p a n t s t o o k a n i n f o r m a l , u n s t r u c t u r e d a p p r o a c h i n a l l o f t h e a c t i v i t i e s r e p o r t e d a f t e r t h e a s s i g n m e n t w a s o f f i c i a l l y o v e r . T h e s e a c t i v i t i e s w e r e n o t i n c l u d e d i n t h e t a b u l a t i o n o f f o r m a l v s . i n f o r m a l a c t i v i t i e s b e c a u s e t h e y d i d n o t o c c u r d u r i n g t h e a l l o c a t e d n e e d s a s s e s s m e n t p e r i o d . I n s u m m a r y , t h e a b o v e d e s c r i p t i o n s u g g e s t s t h a t , u n l e s s s p e c i fi c a l l y r e q u i r e d , a s s e s s o r s t e n d t o p r e f e r i n f o r m a l a c t i v i t i e s s u c h a s t a l k i n g w i t h p e o p l e a n d p e r u s i n g d o c u m e n t s o v e r m o r e f o r m a l a c t i v i t i e s w h i c h s t r u c t u r e d a t a c o l l e c t i o n a n d a n a l y s i s a n d r e q u i r e w r i t t e n d o c u m e n t a t i o n . S c u r c c s a n c c l t e d T h e s o u r c e s p a r t i c i p a n t s c o n s i d e r e d a n d u l t i m a t e l y c o n s u l t e d d u r i n g t h e c o u r s e o f t h e i r n e e d s a s s e s s m e n t s a r e d i s p l a y e d i n T a b l e s 9 a n d 1 0 . T a b l e 9 w a s c o n s t r u c t e d f r o m p a r t i c i p a n t s ' a n s w e r s o n w o r k s h e e t s f r o m t h e n e e d s a s s e s s m e n t w o r k s h o p . P a r t i c i p a n t s fi l l e d o u t t h e w o r k s h e e t s w h e n t h e y w e r e fi r s t e x p o s e d t o n e e d s a s s e s s m e n t c o n c e p t s a n d b e g i n n i n g t o p l a n t h e i r n e e d s a s s e s s m e n t . P a r t i c i p a n t s d i d n o t k n o w t h a t t h e w o r k s h e e t s w e r e t o b e c o l l e c t e d a s d a t a f o r t h e s t u d y , s o t h e a n s w e r s a r e m o r e l i k e l y t o b e r e l i a b l e " e a r l y t h o u g h t s " o n s o u r c e s r a t h e r t h a n i t e m s d e l i b e r a t e l y w r i t t e n d o w n f o r e x t e r n a l c o n s u m p t i o n . I n T a b l e 9 , d a t a a r e p r e s e n t e d o n o n l y t e n o f t h e p a r t i c i p a n t s a s f o u r d i d n o t fi l l o u t t h e s e w o r k s h e e t s . T a b l e 1 0 , a c o m p i l a t i o n o f t h e s o u r c e s f r o m w h i c h p a r t i c i p a n t s c o l l e c t e d d a t a d u r i n g t h e s i x - a n d - a - h a l f w e e k a s s i g n m e n t p e r i o d , w a s c o n s t r u c t e d 1 3 6 f r o m i n t e r v i e w s , o b s e r v a t i o n s , a n d d o c u m e n t s . I n fi n d i n g s # 4 t h r o u g h # 7 , T a b l e s 9 a n d 1 0 a r e c o m p a r e d t o s h e d l i g h t o n w h a t p o t e n t i a l s o u r c e s t h e p a r t i c i p a n t s i n i t i a l l y i d e n t i fi e d , a n d w h i c h t h e y u l t i m a t e l y c o n s u l t e d . F i n d i n g # 4 : A s s c s s o r s g i g n c j ; i n v o l v e r c p r e s e n t a t i v e c c f c v c r y s t a k e h o l d e r g g c u p i n t h e n e e d s a s s e s s m e n t . T h e t y p e s o f p e o p l e , o r " s t a k e h o l d e r s , " t h a t p a r t i c i p a n t s l i s t e d i n w o r k s h e e t s a s b e i n g a f f e c t e d b y t h e c u r r e n t s i t u a t i o n a n d / o r t h e p r o p o s e d c u r r i c u l u m a r e p r e s e n t e d i n T a b l e 9 . F o r e x a m p l e , S u e l i s t e d " r e s i d e n t s , " " f a c u l t y , " " f a c u l t y a t o u t s i d e r o t a t i o n s , " a n d " u l t i m a t e l y p a t i e n t s " i n a n s w e r t o " W h o i s a f f e c t e d b y t h e p r o b l e m ? " ( S e e A p p e n d i x G f o r n e e d s a s s e s s m e n t w o r k s h e e t s ) . A p r e s e n t a t i o n o f a l l t h e p e o p l e a n d p r i n t e d m a t t e r a c t u a l l y i n v o l v e d a s d a t a s o u r c e s i n t h e p a r t i c i p a n t s ' n e e d s a s s e s s m e n t s i s o u t l i n e d i n T a b l e 1 0 . T h e d i f f e r e n c e s b e t w e e n T a b l e s 9 a n d 1 0 i n d i c a t e t h a t n o t a l l o f t h e s t a k e h o l d e r s r e c o g n i z e d b y p a r t i c i p a n t s w e r e u l t i m a t e l y i n c l u d e d a s s o u r c e s i n t h e n e e d s a s s e s s m e n t . A s d e s c r i b e d b e l o w , t h e p a r t i c i p a n t s c o n s u l t e d e a c h o f t h e s o u r c e s i n r o u g h l y e q u a l p r o p o r t i o n s t o t h e d e g r e e t h a t t h e y i n i t i a l l y r e c o g n i z e d t h e m , w i t h o n e e x c e p t i o n . I t i s s h o w n i n T a b l e 9 t h a t a l l t e n p a r t i c i p a n t s w h o c o m p l e t e d t h e f o r m s p e r c e i v e d t h e i r l e a r n e r s ( m e d i c a l s t u d e n t s o r r e s i d e n t s ) a s w e l l a s f a c u l t y a s b e i n g a f f e c t e d . I n T a b l e 1 0 , w e s e e t h a t , w i t h o n e e x c e p t i o n w h e r e c u r r e n t l e a r n e r s w e r e n o t a v a i l a b l e , a l l p a r t i c i p a n t s m a d e s o m e a t t e m p t t o c o l l e c t d a t a f r o m b o t h f a c u l t y a n d c u r r e n t l e a r n e r s . 1 3 7 T a b l e 9 S t a k e h o l d e r s : " W h o I s A f f e c t e d ? " L e a r n e r s F a c u l t y P a t i e n t s O t h e r O u t s l d e o w n M e m b e r s o f o r g a n i z a t i o n I l l u s t r a t i o n : O r g y n l z a t i o n r e s p e c t i v e e m p l o y e r s J u l i e V V V V V o f o u r g r a d u a t e s ' R a c h e l V V V V V ' H o s p l t a l ' B i l l V V V V M i k e V V V V S u e V V V V o c a l p u b l i c h e a l m E v e V V V V d e p a r t m e n t s " ' C o m m u n i t y ' M a y V V V R u b l n V V V I r R e s i d e n c y p r o g r a m M a x V V V w h e r e o u r s t u d e n t s e v e n t u a l l y [ w o r k l ' E m m a V . 1 1 A l e x i s - _ . . . . . . - - - — - - - - — - — - — - - - - - - - - - E r l n ~ — - - - - — - - - - - - - - - - - . . . . . . . _ J o a n - — - - — - - - - - - — - - - - - - - - . . . . . . . . S a m . . . . . . . . - - - - . . . . . . . . - - - - - - - - - K E Y : V L l s t e d o n w o r k s h e e t s - — - W o r k s h e e t s n o t a v a i l a b l e 1 : ' A n y o t h e r f a c u l t y w h o c o v e r n u r s e r y w h i l e I ' m g o n e . ‘ 1 3 8 T a b l e I 0 S o u r c e s C o n s u l t e d W W I n m i n i m u m : L i a n a E x t e r n a l I n t e r n a l P e e r C u r r e n t L o c a l G r a d u a t e s E x p e r t s l i t e r a t u r e E x t e r n a l I n t e r n a l F a c u l t y S u p e r i o r S t a l l ( ' 5 ' ) D o c u m e n t s D o c u m e n t s ( S l i d e n t H e l e n ! " R e q u i e d o r P e e r s R e s i d e n g ( ' P ' ) " " “ 1 1 1 1 1 1 1 1 n o e v a i 4 “ " 1 1 1 1 V E 1 1 V " " 1 J a m , 1 1 V E P 1 1 M " 1 1 1 1 1 1 1 ” V 1 1 1 1 V E 1 " ° “ " " W " 1 1 1 V E 1 1 ' 3 ' “ 1 1 1 1 V P 1 " " " “ 1 1 V E 1 1 1 3 ‘ ” 1 1 1 V P 1 " ° ° " ‘ " R a c h e l V V V V V n o o v a l s 5 ‘ " 1 1 1 V P 1 " ° ° " " " 5 " " 1 1 1 1 3 A l e x i s V V 1 V V E V n o e v a h 3 " “ 1 2 1 2 1 V P 1 1 1 S u r v e y e d p o p u h t i o n s t h a t w e r e n o t b l e n d e d l e a r n e r s ( o t h e r s m a y h a v e s w a y e d l a c u l y , b u t a l w a y s a l s o i i c l u d e d h a n d e d l e a r n e r s 1 2 : M a h a c t l v l t y l o r b o t h t h e s e s o u r c e s w a s a s u r v e y w h i c h w a s n e v e r r e t u m e d 3 : L o o k e d a t e v a l u a t i o n s p r i o r t o b e g i n n i n g N A " : n o e v a h N o e v a l u s t i o n d a t a o n l e a m e r s o r ' : E ' ' P ' : C o n t a c t e d ” e x p e r t s c u r i o u h m a v a l h b l e l d e n t i l l e d i r o m l t e r a h r r e o r t r o m r e i e r e n c e s C o n t e s t e d ' p e e r ‘ l a c u t y h s i m i h r p o s i i o n s a t o t h e r i n s t i t u t i o n s 1 3 9 S i m i l a r l y , " o t h e r m e m b e r s o f t h e o r g a n i z a t i o n " ( n u r s e s , m e d i c a l a s s i s t a n t s a n d c l e r i c a l s t a f f ) i d e n t i fi e d i n T a b l e 9 a s b e i n g a f f e c t e d w e r e c o n s u l t e d a s s o u r c e s ( i n t h e c o l u m n l a b e l e d " s u p p o r t s t a f f " i n T a b l e 1 0 ) i n t h e n e e d s a s s e s s m e n t . I t i s s h o w n i n T a b l e s 9 a n d 1 0 t h a t n u r s e s , m e d i c a l a s s i s t a n t s a n d c l e r i c a l s t a fi ' w e r e c o n s u l t e d i n a b o u t t h e s a m e p r o p o r t i o n a s t h e y h a d b e e n r e c o g n i z e d a s b e i n g a f f e c t e d , t h a t i s , b y a p p r o x i m a t e l y h a l f o f t h e p a r t i c i p a n t s . H o w e v e r , e v e n t h o u g h p a t i e n t s w e r e r e c o g n i z e d a s s t a k e h o l d e r s , n o n e w e r e i n v o l v e d i n t h e n e e d s a s s e s s m e n t . A s i n d i c a t e d i n T a b l e 9 , s e v e n o f t h e t e n p a r t i c i p a n t s m a d e e x p l i c i t r e f e r e n c e s t o p a t i e n t s b e i n g a f f e c t e d . 3 P a r t i c i p a n t s ' c o m m e n t s d u r i n g t h e e x e r c i s e i n d i c a t e d t h e y f e l t t h a t t h e q u a l i t y o f t h e c u r r i c u l u m t h e y p r o d u c e d w o u l d h a v e a d e fi n i t e i m p a c t u p o n t h e q u a l i t y o f c a r e f u t u r e p a t i e n t s o f t h e i r I e a m e r s w o u l d r e c e i v e . H o w e v e r , n o t a s i n g l e p a r t i c i p a n t c o l l e c t e d n e e d s a s s e s s m e n t d a t a f r o m p a t i e n t s , a s i n d i c a t e d i n T a b l e 1 0 . W h e n t h e i n v e s t i g a t o r p r e s e n t e d t h i s d i s c r e p a n c y t o t h e p a r t i c i p a n t s a s p a r t o f t h e fi n a l m e m b e r c h e c k , t h e r o o m w a s s i l e n t f o r s e v e r a l s e c o n d s . A d i s c u s s i o n e n s u e d i n w h i c h o n e p a r t i c i p a n t s u g g e s t e d t h a t t h e r e c o u l d b e l e g a l i m p l i c a t i o n s t o t a l k i n g t o p a t i e n t s a s w e l l a s t h e l o g i s t i c a l p r o b l e m s i n t r y i n g t o c o l l e c t n e e d s a s s e s s m e n t d a t a f r o m p a t i e n t s w h i l e , a s p h y s i c i a n s , t h e y a r e a l s o t r y i n g t o d i a g n o s e a n d t r e a t p a t i e n t s i n fi f t e e n m i n u t e o f fi c e s e s s i o n s . A n o t h e r p a r t i c i p a n t c o u n t e r e d t h a t t h e r e w a s n o r e a l l e g a l i m p l i c a t i o n t o c o l l e c t i n g d a t a f r o m p a t i e n t s a s l o n g a s a r e l e a s e f o r m w a s s i g n e d b y t h e p a t i e n t s , b u t a c k n o w l e d g e d t h a t s h e a l s o h a d n o t c o n s u l t e d 3 I t i s i n t e r e s t i n g t o n o t e t h a t o f t h e t h r e e p a r t i c i p a n t s w h o d i d n o t w r i t e d o w n " p a t i e n t s " o n t a b l e fi v e . t w o w e r e t h e o n l y p e d i a t r i c i a n s i n t h e g r o u p . W h e n t h e i n v e s t i g a t o r a p p r o a c h e d t h e p e d i a t r i c i a n s a b o u t t h i s . o n e s h r u g g e d h i s s h o u l d e r s , s m i l e d , a n d s a i d " A l o t o f t h e t i m e t h e y c a n ' t t a l k b a c k . " 1 4 0 p a t i e n t s . T h e o t h e r p a r t i c i p a n t s r e m a i n e d s i l e n t o n t h i s i s s u e . A t t h e e n d o f t h e m e e t i n g , t h e p a r t i c i p a n t w h o h a d r a i s e d t h e l e g a l i s s u e a p p r o a c h e d t h e i n v e s t i g a t o r p r i v a t e l y a n d s a i d , " Y o u k n o w , i t h a d n e v e r e v e n o c c u r r e d t o m e t o t a l k t o p a t i e n t s . " T h i s p a r t i c i p a n t h a d c o n s i s t e n t l y r a n k e d i n t h e t o p h a l f o f T a b l e s 8 a n d 1 0 , i n d i c a t i n g a f a i r l y c o m p r e h e n s i v e n e e d s a s s e s s m e n t . I n s u m m a r y , p a r t i c i p a n t s r e c o g n i z e d a v a r i e t y o f g r o u p s a s s t a k e h o l d e r s i n t h e i n t e n d e d c u r r i c u l u m . A n d e a c h o f t h e s t a k e h o l d e r s w e r e c o n t a c t e d a s s o u r c e s w i t h t h e e x c e p t i o n o f o n e g r o u p : p a t i e n t s . A l t h o u g h m a n y o f t h e p a r t i c i p a n t s r e c o g n i z e d p a t i e n t s a s s t a k e h o l d e r s , n o n e h a d c o n t a c t e d p a t i e n t s . W h e n q u e s t i o n e d a b o u t t h i s , m a n y r e v e a l e d t h a t i t h a d n o t o c c u r r e d t o t h e m t o c o l l e c t d a t a f r o m p a t i e n t s . F i n d i n g s # 5 a n d # 6 s u g g e s t a r e a s o n : p a t i e n t s w e r e n o t c o n s u l t e d b e c a u s e t h e p a r t i c i p a n t s p e r c e i v e d p a t i e n t s a s b e i n g o n l y d i s t a n t l y r e l a t e d a n d o u t s i d e t h e i m m e d i a t e c o n t e x t . F i n d i n g # § : D a t a c o l l e c t i o n w a s f o c u s e d o n s o u r c e s m o s t l i k c t h e a s s e s s o r s t h e m s e l v e s . I n T a b l e s 9 a n d 1 0 , w e s e e t h a t p a r t i c i p a n t s r e c o g n i z e d s t a k e h o l d e r s a n d c o l l e c t e d d a t a f r o m s o u r c e s w i t h w h i c h t h e y h a d t h e m o s t i n c o m m o n . L e a r n e r s a n d p e e r f a c u l t y w e r e m o s t o f t e n c o n s u l t e d . A s s h o w n i n T a b l e 9 , a l l t e n r e s p o n d i n g p a r t i c i p a n t s s a w t h e i r p e e r f a c u l t y m e m b e r s , o t h e r a c a d e m i c p h y s i c i a n s , a s p e o p l e t h a t s h o u l d b e i n v o l v e d . S i m i l a r l y , t h e i r I e a m e r s , p e o p l e w h o w e r e s o o n t o b e c o m e p h y s i c i a n s , w e r e a l s o s e e n a s s t a k e h o l d e r s i n a l l i n s t a n c e s . W i t h o n l y o n e e x c e p t i o n , i n w h i c h c u r r e n t l e a r n e r s w e r e n o t a v a i l a b l e , a l l f o u r t e e n p a r t i c i p a n t s c o l l e c t e d i n f o r m a t i o n f r o m b o t h p e e r f a c u l t y a n d 1 4 1 l e a r n e r s ( s e e T a b l e 1 0 ) . I n fi v e c a s e s , p a r t i c i p a n t s a l s o c o n t a c t e d g r a d u a t e s . A l t h o u g h a l m o s t e v e r y a s s e s s o r c o n s u l t e d t h e s e s o u r c e s , t h e r e w a s c o n s i d e r a b l e v a r i a b i l i t y i n h o w t h e y w e r e p e r c e i v e d a s b e i n g r e l a t e d . F o r e x a m p l e , w h e n w r i t i n g a b o u t w h o w o u l d b e a f f e c t e d b y t h e c u r r i c u l u m , E m m a l i m i t e d h e r c o n s i d e r a t i o n t o o n l y t h e f a c u l t y t h a t w o u l d o c c a s i o n a l l y fi l l i n f o r h e r r a t h e r t h a n a l l m e m b e r s o f h e r d e p a r t m e n t . O n t h e w o r k s h e e t , E m m a w r o t e : " A n y o t h e r f a c u l t y w h o c o v e r n u r s e r y w h i l e I ' m g o n e . " A n d , a l t h o u g h I e a m e r s w e r e c o n s u l t e d , i n i t i a l l y p a r t i c i p a n t s w e r e h e s i t a n t a b o u t c o n s u l t i n g t h i s s o u r c e . W h e n i n t e r v i e w e d i n F e b r u a r y , t h r e e m o n t h s a f t e r t h e n e e d s a s s e s s m e n t s h a d b e e n c o m p l e t e d , s e v e r a l o f t h e p a r t i c i p a n t s s p o k e o f h a v i n g b e e n s u r p r i s e d b y t h e i d e a o f c o l l e c t i n g d a t a f r o m a n d a b o u t I e a m e r s . T h e r e w a s p r o g r e s s i v e l y l e s s r e c o g n i t i o n a n d i n v o l v e m e n t o f p e o p l e t h a t h e l d r o l e s l e s s s i m i l a r t o t h e p a r t i c i p a n t s . ’ P a r t i c i p a n t s l e s s o f t e n r e c o g n i z e d p e o p l e i n t h e i r i m m e d i a t e e n v i r o n m e n t , w h o w e r e n o t p e e r f a c u l t y o r l e a r n e r s , a s s t a k e h o l d e r s t h a t s h o u l d h a v e t h e i r v i e w s i n c o r p o r a t e d i n t o t h e n e e d s a s s e s s m e n t . T e n o f t h e f o u r t e e n c o n t a c t e d a l o c a l s u p e r i o r , a n o t h e r p h y s i c i a n o f a h i g h e r r a n k i n t h e o r g a n i z a t i o n , d u r i n g t h e n e e d s a s s e s s m e n t : b u t , a s s h a l l b e d e s c r i b e d u n d e r fi n d i n g # 7 , t h i s w a s s o m e t i m e s f o r p o l i t i c a l r e a s o n s r a t h e r t h a n t o a c t u a l l y c o l l e c t n e e d s a s s e s s m e n t d a t a . N o n - p h y s i c i a n s i n t h e l o c a l e n v i r o n m e n t w e r e l e s s o f t e n c o n s u l t e d . S i x o f t e n p a r t i c i p a n t s i d e n t i fi e d o t h e r m e m b e r s o f t h e i r l o c a l o r g a n i z a t i o n ( n u r s e s , m e d i c a l a s s i s t a n t s , o r c l e r i c a l s t a fi ) a s b e i n g a f f e c t e d : a s m a l l e r r a t i o ( s i x o f f o u r t e e n ) a c t u a l l y u s e d t h e m a s s o u r c e s i n t h e n e e d s a s s e s s m e n t . E v e n i n c a s e s w h e r e p e o p l e w h o w e r e n o t 1 4 2 p h y s i c i a n s w o u l d h a v e s i g n i fi c a n t i n v o l v e m e n t i n m a k i n g t h e c u r r i c u l u m w o r k , t h e y w e r e l e s s o f t e n c o n s u l t e d i n t h e n e e d s a s s e s s m e n t . W h e n i n t e r v i e w e d i n t h e m i d s t o f c o n d u c t i n g h i s n e e d s a s s e s s m e n t , M i k e s t a t e d t h a t h e w a s i n c l u d i n g s u p p o r t s t a f f a l m o s t a s a n a f t e r t h o u g h t : " A n d l a s t , I ' m g o n n a a s k t h e o f f i c e s t a f f - - n u r s e p r a c t i t i o n e r s a n d n u r s i n g s t a f f - w h a t t h e y t h i n k . . . l d i d n ' t t h i n k o f d o i n g t h a t u n t i l y e s t e r d a y , b u t i t o c c u r r e d t o m e t h a t I s h o u l d . . . " M o n t h s l a t e r , M i k e a c k n o w l e d g e d t h a t h e d i d n o t s e e s u p p o r t s t a f f a s p r o v i d i n g c r i t i c a l i n p u t : W h a t I r e a l l y d i d w a s t a k e a s e c o n d p a s s , h i t t i n g s o m e o f t h e p e o p l e n o t i n t e r v i e w e d i n t h e fi r s t p a s s , b e c a u s e I d i d n ' t c a r e w h a t t h e y t h o u g h t t h e n . T h e s e w e r e p e o p l e w i t h n o p o w e r t o s t o p m e , b u t I d i d t h e s e c o n d p a s s b e c a u s e I w a n t e d t o m a k e s u r e t h e y ' d b e h a p p y w i t h w h a t I ' d c o m e u p w i t h , b e f o r e i t ' s t o t a l l y d r o p p e d o n t h e m a s " t h i s i s s o m e t h i n g y o u h a v e t o d o . " A n d fi n a l l y , a s d e s c r i b e d i n fi n d i n g # 4 , s e v e n o f t e n i d e n t i fi e d p a t i e n t s a s b e i n g a fi e c t e d , b u t n o n e i n c o r p o r a t e d t h e m i n t o t h e n e e d s a s s e s s m e n t p r o c e s s . T h i s i s t r u e e v e n f o r m o r e t h a n h a l f o f t h e c a s e s i n w h i c h s t u d e n t s a n d r e s i d e n t s w o u l d b e l e a r n i n g i n t h e c u r r i c u l u m b y p r a c t i c i n g t h e i r s k i l l s o n p a t i e n t s . W h e n c o n s i d e r i n g s t a k e h o l d e r s o u t s i d e t h e i r o w n o r g a n i z a t i o n , p a r t i c i p a n t s c o n t i n u e d t o f o c u s o n t h e m e d i c a l c o m m u n i t y . F o r i n s t a n c e , i n T a b l e 9 , i t i s s h o w n t h a t o f t h e f o u r i n s t a n c e s i n w h i c h p a r t i c i p a n t s n o t e d t h a t m e m b e r s o u t s i d e t h e i r o w n i m m e d i a t e o r g a n i z a t i o n w o u l d b e a f f e c t e d , i n o n l y o n e i n s t a n c e d i d a p a r t i c i p a n t m e n t i o n s o m e t h i n g o u t s i d e o f t h e m e d i c a l c o n t e x t : E v e l i s t e d " c o m m u n i t y . " 1 4 3 W h e n c o n t a c t i n g s o u r c e s , p a r t i c i p a n t s d e m o n s t r a t e d a n a t t i t u d e t h a t , f o r i n f o r m a t i o n t o b e u s e f u l , i t n e e d e d t o c o m e f r o m o t h e r m e m b e r s o f t h e m e d i c a l p r o f e s s i o n . W h e n c o n t a c t i n g p e o p l e o u t s i d e t h e i r o w n o r g a n i z a t i o n , o n l y o n e p a r t i c i p a n t c o n t a c t e d a n o n - p h y s i c i a n . A n o t h e r p a r t i c i p a n t e x p l a i n e d t h a t t h e r e w a s a " g e n u i n e n e e d " f o r h e r c u r r i c u l u m o n p a r e n t i n g i s s u e s b e c a u s e " n o b o d y i s o u t t h e r e [ w o r k i n g o n t h i s a r e a l . " S h e w e n t o n t o a d d , " T h e s t u fi ' t h a t i s o u t t h e r e i s n o t f r o m p h y s i c i a n s . " I n s t e a d , t h e i n f o r m a t i o n w a s f r o m n u r s e s o r s o c i a l w o r k e r s , a n d t h e p a r t i c i p a n t d i d n o t p e r c e i v e t h e i r w o r k a s a p p l i c a b l e . A l s o , p a r t i c i p a n t s s h o w e d a t e n d e n c y t o c o n t a c t o t h e r m e m b e r s o f t h e m e d i c a l c o m m u n i t y w i t h w h o m t h e y h a d t h e m o s t i n c o m m o n . A s s e e n i n T a b l e 1 0 , fi v e o f t h e t e n p a r t i c i p a n t s c o n t a c t i n g p e o p l e o u t s i d e t h e i r o w n o r g a n i z a t i o n c o n t a c t e d m e d i c a l f a c u l t y i n s i m i l a r p o s i t i o n s a t o t h e r m e d i c a l i n s t i t u t i o n s ( m a r k e d w i t h a P , " f o r " p e e r , " r a t h e r t h a n " " E f o r " e x p e r t " i n t h e p u b l i s h e d l i t e r a t u r e ) . P a r t i c i p a n t s d e m o n s t r a t e d t h e s a m e t r e n d o f r e l y i n g o n s o u r c e s m o s t l i k e t h e m s e l v e s w h e n s e a r c h i n g t h e l i t e r a t u r e . W i t h o n e e x c e p t i o n ( A l e x i s ) , a l l o f t h e p a r t i c i p a n t s l i m i t e d t h e i r s e a r c h e s t o t h e m e d i c a l l i t e r a t u r e ( a l t h o u g h s e v e r a l w e r e w o r k i n g o n p s y c h o l o g y o r s o c i o l o g y r e l a t e d t o p i c s ) . P a r t i c i p a n t s a l s o d i s p l a y e d a t e n d e n c y t o l i m i t t h e i r s e a r c h e s o f t h e m e d i c a l l i t e r a t u r e t o i n f o r m a t i o n l i s t e d w i t h i n t h e i r p a r t i c u l a r s p e c i a l t y . O n l y o n e p a r t i c i p a n t i n c l u d e d a r t i c l e s f r o m a l l t h r e e r e a l m s o f p e d i a t r i c s , i n t e r n a l m e d i c i n e , a n d f a m i l y m e d i c i n e i n h i s a n n o t a t e d b i b l i o g r a p h y . I n m o r e t y p i c a l e x a m p l e s , a p e d i a t r i c i a n e x p r e s s e d h e s i t a t i o n i n l o o k i n g a t g u i d e l i n e s f o r p e d i a t r i c t r a i n i n g p u b l i s h e d b y a f a m i l y m e d i c i n e o r g a n i z a t i o n 1 4 4 ( b o t h p r o v i d e c a r e f o r c h i l d r e n ) , a n d a f a m i l y m e d i c i n e p h y s i c i a n i n t e r e s t e d i n g e r i a t r i c s d o u b t e d t h e u s e f u l n e s s o f a r e f e r e n c e t h a t h a d c o m e f r o m i n t e r n a l m e d i c i n e ( w h i c h a l s o t r e a t s t h e e l d e r l y ) . I n s u m m a r y , t h e p a r t i c i p a n t s r e c o g n i z e d s t a k e h o l d e r s a n d c o n t a c t e d s o u r c e s t h a t w e r e m o s t l i k e t h e m s e l v e s . M o s t o f t e n , p e e r f a c u l t y w e r e c o n s u l t e d a n d c o l l e c t i o n o f d a t a f r o m l e a r n e r s ( s o o n - t o - b e p h y s i c i a n s ) w a s a n e w i d e a t h a t w a s a c c e p t e d b y t h e p a r t i c i p a n t s . T h e r e w a s a r e l u c t a n c e t o u s e s o u r c e s i n o t h e r s p e c i a l t i e s o f m e d i c i n e : a l s o , t h e r e w a s a l m o s t n o c o n t a c t w i t h s o u r c e s o u t s i d e t h e r e a l m o f m e d i c i n e . F i n d i n g # 6 : D a t a c o l l e c t i o n w a s f c c u s e d o n s c u r c e s w i m i n t h c a s s e s s o r ' s i m m e d i a t e c o n t e x t . A t r e n d t h a t a p p e a r s t o b e i n t e r r e l a t e d w i t h fi n d i n g # 5 i s t h a t p a r t i c i p a n t s a l s o f o c u s e d o n c o l l e c t i n g d a t a f r o m s o u r c e s w i t h i n t h e i r o w n d e p a r t m e n t s . I n t e r n a l s o u r c e s . T a b l e 1 0 i s s u b d i v i d e d t o s h o w t h a t s i x o f t h e n i n e s o u r c e s c o n s u l t e d w e r e i n t h e l o c a l c o n t e x t . A s d i s c u s s e d i n t h e p r e v i o u s fi n d i n g , e v e r y p a r t i c i p a n t m a d e a n e f f o r t t o c o n t a c t p e e r f a c u l t y a n d c u r r e n t I e a m e r s i n t h e c o n t e x t . T o a l e s s e r d e g r e e , s u p p o r t s t a f f i n t h e l o c a l c o n t e x t w e r e a l s o c o n s u l t e d . A n d i n t e r n a l d o c u m e n t s , i f a v a i l a b l e , w e r e c o n s u l t e d i n a l l b u t o n e c a s e . " G r a d u a t e s " w e r e o n t h e b o r d e r l i n e i n t e r m s o f c o n t e x t . M o s t o f t e n , t h e g r a d u a t e s c o n t a c t e d w e r e w e l l k n o w n t o t h e p a r t i c i p a n t . H o w e v e r , p a r t i c i p a n t s s p o k e o f t h e d i f fi c u l t y o f r e a c h i n g g r a d u a t e s b y p h o n e , a n d a v e r y s m a l l s a m p l e ( t w o o r t h r e e ) w e r e c o n t a c t e d i n m o s t c a s e s . A l l o f t h e p a r t i c i p a n t s t h a t c o n t a c t e d g r a d u a t e s w e r e p a r t o f t h e g r o u p c o n d u c t i n g m o r e c o m p r e h e n s i v e n e e d s a s s e s s m e n t s . 1 4 5 E x t e r n a l s o u r c e s . T h r e e o f t h e n i n e s o u r c e s l i s t e d i n T a b l e 1 0 q u a l i fi e d a s e x t e r n a l . F i r s t , t h e l i t e r a t u r e r e v i e w w a s c o m p r i s e d o f a r t i c l e s w i t h a n a t i o n a l f o c u s o r , a t t h e v e r y n a r r o w e s t , a r e p o r t o n a c t i v i t i e s a t a n o t h e r i n s t i t u t i o n . O n c e a g a i n , s i n c e t h e l i t e r a t u r e r e v i e w w a s r e q u i r e d , i t i s n o t k n o w n h o w m a n y p a r t i c i p a n t s w o u l d h a v e p u r s u e d t h i s a c t i v i t y o n t h e i r o w n , o r h o w h a v i n g t h e l i t e r a t u r e r e v i e w b e r e q u i r e d a f f e c t e d p a r t i c i p a n t s ' c h o i c e s o f o t h e r s o u r c e s t o c o n s u l t . S e c o n d , e x t e r n a l d o c u m e n t s w e r e l i s t s o f c o n t e n t a n d o b j e c t i v e s f o r t o p i c a l a r e a s p u b l i s h e d b y m e d i c a l o r g a n i z a t i o n s . A s s h o w n i n T a b l e 1 0 , s i x o f t h e f o u r t e e n p a r t i c i p a n t s c o l l e c t e d a n d r e f e r r e d t o t h e s e e x t e r n a l d o c u m e n t s a s p a r t o f t h e i r n e e d s a s s e s s m e n t s . I t i s i n t e r e s t i n g t o n o t e t h a t a g a i n , i n f o u r o f t h e s e i n s t a n c e s , t h e p a r t i c i p a n t s c o n d u c t i n g t h e m o s t c o m p r e h e n s i v e n e e d s a s s e s s m e n t s w e r e t h e o n e s t o m a k e t h e e f f o r t t o c o l l e c t t h e s e d o c u m e n t s . I n t h e o t h e r t w o c a s e s , t h e r e w a s a n e l e m e n t o f c o e r c i o n i n v o l v e d : E m m a w a s r e p e a t e d l y r e m i n d e d b y f e l l o w s h i p f a c u l t y t h a t s h e s h o u l d o b t a i n e x t e r n a l d o c u m e n t s : S a m w a s g i v e n t h e d o c u m e n t s b y h i s b o s s a n d t o l d t o u s e t h e m a s a g u i d e f o r h i s c u r r i c u l u m . T h i r d , a s i l l u s t r a t e d i n T a b l e s 8 a n d 1 0 , t e n o f t h e f o u r t e e n p a r t i c i p a n t s c o n t a c t e d e x p e r t s o u t s i d e t h e i m m e d i a t e c o n t e x t . A l t h o u g h t h i s a c t i v i t y w a s p e r f o r m e d b y a m a j o r i t y o f t h e p a r t i c i p a n t s , t h e y p e r c e i v e d i t a s d i f f e r e n t f r o m t h e r e s t . P a r t i c i p a n t s w e r e i n i t i a l l y u n c o m f o r t a b l e w i t h t h i s a c t i v i t y a n d d e s c r i b e d i t a s m o r e r i s k t a k i n g w i t h l e s s i m m e d i a t e f e e d b a c k . T h e y e x p r e s s e d a n x i e t y t h a t t h e s e e x p e r t s w o u l d l o o k d o w n o n t h e m , o r f r u s t r a t i o n t h a t t h e e x p e r t s w e r e h a r d t o r e a c h o r t o o k a l o n g t i m e t o r e s p o n d . A l s o , t h i s d e m o n s t r a t i o n o f o u t s i d e c o n t a c t a p p e a r s t o b e a r t i fi c i a l l y i n fl a t e d a s 1 4 6 p a r t i c i p a n t s s t i l l t e n d e d t o s e e k o u t s o u r c e s t h a t w e r e g e o g r a p h i c a l l y o r b y j o b d e s c r i p t i o n , " c l o s e . " T h r e e p a r t i c i p a n t s c o n t a c t e d e x p e r t s i n c u r r i c u l u m , r e s e a r c h , o r f u n d i n g w i t h i n t h e i r o w n o r g a n i z a t i o n - h u t n o t i n t h e i r d e p a r t m e n t - - l o o k i n g f o r s o m e f o r m o f h e l p i n c o m p l e t i n g t h e i r p r o j e c t s . 4 E i g h t o f t h e p a r t i c i p a n t s c o n t a c t e d e x p e r t s i n t h e c u r r i c u l u m t o p i c a r e a a t o t h e r i n s t i t u t i o n s . I n a t l e a s t t h r e e c a s e s , p a r t i c i p a n t s w e r e u r g e d t o d o t h i s b y f e l l o w s h i p f a c u l t y . 5 E v e n w i t h i n t h e c a t e g o r y o f c o n t a c t i n g e x p e r t s , t h e r e a p p e a r s t o b e a t r e n d o f c o n t a c t i n g s o u r c e s t h a t a r e m o s t l i k e t h e n e e d s a s s e s s o r s , a s d e m o n s t r a t e d b y t h e n u m b e r o f p a r t i c i p a n t s c o n t a c t i n g p e e r l e v e l f a c u l t y a t o t h e r i n s t i t u t i o n s i n T a b l e 1 0 , a s w e l l a s a t e n d e n c y t o l o o k w i t h i n t h e l o c a l o r g a n i z a t i o n fi r s t f o r " i n t e r n a l e x p e r t s , " a s m a r k e d i n T a b l e 1 0 . I n s u m m a r y , p a r t i c i p a n t s m o s t o f t e n c o l l e c t e d d a t a f r o m s o u r c e s w i t h i n t h e i m m e d i a t e c o n t e x t . T h e r e a s o n s m o s t o f t e n c i t e d f o r n o t c o n t a c t i n g s o u r c e s o u t s i d e t h e i m m e d i a t e c o n t e x t w e r e d i f fi c u l t y i n r e a c h i n g t h o s e s o u r c e s a n d c o n c e r n s a s t o h o w t h e y w o u l d b e r e c e i v e d . T h i s fi n d i n g s e e m s t o b e i n t e r r e l a t e d w i t h fi n d i n g # 5 - - i n t h e m a j o r i t y o f i n s t a n c e s i n w h i c h e x t e r n a l s o u r c e s w e r e c o n s u l t e d , t h e s o u r c e s h a d c h a r a c t e r i s t i c s c l o s e l y m a t c h i n g t h e a s s e s s o r s ' t h e m s e l v e s ( i . e . f a c u l t y i n s i m i l a r p o s i t i o n s i n o t h e r i n s t i t u t i o n s ) . F i n d i n g # 7 : T h c p u g p o s c o f t h e c o n t a c t , a n d t h e d a t a c o l l c c d o n a p p r o a c h u s e d , w a s d e p c n d e n t u p c n m c t y p e o f s o u r c e b e i n g c o n t a c t e d . A l t h o u g h n o t e v i d e n t f r o m t h e d a t a p r e s e n t e d i n T a b l e s 8 4 T h e s e t h r e e i n s t a n c e s o f c o n t a c t i n g " i n t e r n a l e x p e r t s " a r e m a r k e d w i t h t h e l e t t e r " . " i 5 M a r k e d w i t h t h e l e t t e r " u . " 1 4 7 t h r o u g h 1 0 , p a r t i c i p a n t s i n d i c a t e d i n b o t h i n t e r v i e w s a n d d o c u m e n t s t h a t t h e y w e r e n o t l o o k i n g f o r t h e s a m e t y p e o f i n f o r m a t i o n f r o m a l l s o u r c e s . P a r t i c i p a n t s a l s o s h o w e d a t e n d e n c y t o c h o o s e a m o r e o r l e s s s t r u c t u r e d a p p r o a c h d e p e n d i n g u p o n t h e s o u r c e . F o r m a l d o c u m e n t e d m e t h o d s w e r e m o s t o f t e n u s e d w i t h l o c a l s o u r c e s m o s t l i k e t h e n e e d s a s s e s s o r s . W r i t t e n s u r v e y s w e r e u s e d w i t h b o t h f a c u l t y a n d s t u d e n t s b y e i g h t o f t h e t e n p a r t i c i p a n t s t h a t c o n d u c t e d s u r v e y s . I n t h e s e c a s e s , p a r t i c i p a n t s w e r e m o s t o f t e n l o o k i n g f o r p o p u l a r s u p p o r t f o r t h e i r c u r r i c u l u m , a n d s l i g h t l y l e s s o f t e n c o l l e c t i n g c o n t e n t s u g g e s t i o n s . A s a n e x a m p l e , S u e s e n t a s u r v e y t o b o t h f a c u l t y a n d l e a r n e r s a s k i n g t h r e e q u e s t i o n s : 1 . D o y o u t h i n k t h e r e i s a n e e d f o r a c o m m u n i t y m e d i c i n e c u r r i c u l u m / r o t a t i o n f o r r e s i d e n t s i n o u r f a m i l y p r a c t i c e p r o g r a m ? W h y ? 2 . W o u l d y o u b e s u p p o r t i v e o f s u c h a c u r r i c u l u m ? 3 . W h a t d o y o u t h i n k s h o u l d b e i n c l u d e d i n a c o m m u n i t y m e d i c i n e c u r r i c u l u m / r o t a t i o n ? I n t h e fi v e i n s t a n c e s i n w h i c h d a t a w e r e c o l l e c t e d f r o m g r a d u a t e s , t h e f o r m a l a p p r o a c h o f g u i d e d i n t e r v i e w s w a s u s e d . T h e r e f o r e , m o s t o f t h e f o r m a l s t r u c t u r e d d a t a c o l l e c t i o n a n d a n a l y s i s w a s c o n d u c t e d o n i n f o r m a t i o n o b t a i n e d f r o m p e e r f a c u l t y , c u r r e n t l e a r n e r s , a n d g r a d u a t e s . M o r e i n f o r m a l u n d o c u m e n t e d m e t h o d s w e r e m o r e o f t e n u s e d w i t h s o u r c e s l e s s f a m i l i a r t o t h e a s s e s s o r s . I n c o n t r a s t , p a r t i c i p a n t s c o n s u l t e d l o c a l s u p e r i o r s f o r a d i f f e r e n t p u r p o s e a n d t o o k a l e s s s t r u c t u r e d a p p r o a c h . T e n o f t h e f o u r t e e n p a r t i c i p a n t s i n c l u d e d a t l e a s t o n e l o c a l s u p e r i o r i n t h e n e e d s a s s e s s m e n t . E x a m p l e s w e r e p r o g r a m d i r e c t o r s , d e p a r t m e n t c h a i r s , a n d p h y s i c i a n s w i t h a h i g h e r 1 4 8 r a n k a n d m o r e t i m e i n t h e o r g a n i z a t i o n t h a n t h e p a r t i c i p a n t s . S u p e r i o r s w e r e o f t e n c o n s u l t e d d u r i n g t h e n e e d s a s s e s s m e n t f o r p o l i t i c a l p u r p o s e s r a t h e r t h a n t o a c t u a l l y s u p p l y n e e d s a s s e s s m e n t d a t a . I n a b o u t h a l f o f t h e c a s e s , p a r t i c i p a n t s s p o k e o f c o n s u l t i n g l o c a l s u p e r i o r s " j u s t t o k e e p t h e m i n f o r m e d . " P a r t i c i p a n t s a l s o u s e d a l e s s s t r u c t u r e d a p p r o a c h w i t h l o c a l s u p e r i o r s . N o n e w e r e g i v e n s u r v e y s t o fi l l o u t . R u b i n , w h o w a s c o n d u c t i n g g u i d e d i n t e r v i e w s , s a i d t h a t h e d i d n o t g o t h r o u g h h i s q u e s t i o n s w i t h h i s s u p e r i o r s a s h e h a d w h e n i n t e r v i e w i n g p e e r f a c u l t y a n d l e a r n e r s b e c a u s e " t h e y p r o b a b l y w o u l d n ' t s i t s t i l l f o r i t . . . s o I n e e d [ e d ] t o d o i t i n a d i f f e r e n t m a n n e r . " H e s a i d h e t a l k e d t o t h e m w i t h o u t p a p e r o r p e n c i l i n h a n d , t h e n w r o t e d o w n t h e i r a n s w e r s a f t e r t h e m e e t i n g . T \ v o o t h e r p a r t i c i p a n t s s p o n t a n e o u s l y m e n t i o n e d d i f fi c u l t i e s i n u s i n g a s t r u c t u r e d a p p r o a c h w i t h l o c a l s u p e r i o r s . A n o t h e r s o u r c e w i t h w h i c h t h e p u r p o s e a n d a p p r o a c h o f t h e n e e d s a s s e s s m e n t d i f f e r e d w a s s u p p o r t s t a f f . I n t w o o f t h e s i x c a s e s i n w h i c h n u r s e s , m e d i c a l a s s i s t a n t s , o r c l e r i c a l s t a f f w e r e c o n s u l t e d , a f o r m a l s u r v e y w a s u s e d a n d t h e y w e r e a s k e d t h e s a m e q u e s t i o n s a s t h e r e s t o f t h e r e s p o n d e n t s . I n t h e r e m a i n i n g f o u r i n s t a n c e s , i n f o r m a l t a l k s w e r e c o n d u c t e d a n d t h e r e i s n o d o c u m e n t a t i o n o f t h e p u r p o s e o f c o n s u l t i n g t h e m . H o w e v e r , p a r t i c i p a n t s m o s t o f t e n s h a r e d i n i n t e r v i e w s t h a t t h e y h a d t a l k e d t o s u p p o r t s t a f f t o g a t h e r t h e i r o p i n i o n s o n t h e n e e d f o r t h e c u r r i c u l u m a n d w h e t h e r o r n o t " t h e y w o u l d b e w i l l i n g t o g o a l o n g w i t h t h e c h a n g e . " A n d fi n a l l y , a s m e n t i o n e d u n d e r fi n d i n g # 3 , w i t h t h e e x c e p t i o n o f t h e l i t e r a t u r e s e a r c h w h i c h w a s r e q u i r e d a s a f o r m a l s t r u c t u r e d a c t i v i t y , p a r t i c i p a n t s c h o s e a n i n f o r m a l a p p r o a c h t o c o l l e c t i n f o r m a t i o n 1 4 9 f r o m b o t h d o c u m e n t s a n d p e o p l e e x t e r n a l t o t h e i r o w n c o n t e x t . I n p a r t i c i p a n t s ' n e e d s a s s e s s m e n t r e p o r t s a n d c o n v e r s a t i o n s , t h e l i t e r a t u r e w a s u s e d t o s u b s t a n t i a t e a n e e d f o r t h e i r i n t e n d e d c u r r i c u l u m , a n d l e s s o f t e n f o r c o n t e n t s u g g e s t i o n s . I n s u m m a r y , p a r t i c i p a n t s c o n t a c t e d v a r i o u s s o u r c e s f o r d i f f e r e n t p u r p o s e s . T h e m a j o r p u r p o s e s w e r e t o a s s e s s s u p p o r t f o r t h e p r o j e c t a n d t o c o l l e c t i n p u t o n c o n t e n t . T o a l e s s e r d e g r e e , i n s t r u c t i c n a l s t r a t e g i c s w e r e a l s o s o l i c i t e d . P e e r f a c u l t y w e r e c o n s u l t e d f o r b o t h s u p p o r t a n d c o n t e n t . L e a r n e r s w e r e c o n s u l t e d f o r s u p p o r t a n d , t o a l e s s e r e x t e n t , c o n t e n t s u g g e s t i o n s . O t h e r s o u r c e s i n p o s i t i o n s l e s s l i k e t h e p a r t i c i p a n t s ' w e r e c o n t a c t e d f o r m o r e p o l i t i c a l r a t h e r t h a n d a t a c o l l e c t i o n p u r p o s e s : s u p e r i o r s t o m a i n t a i n t h e i r s u p p o r t f o r t h e p r o j e c t , s u p p o r t s t a fi ' m o s t o f t e n ( a l m o s t a s a n a f t e r t h o u g h t ) t o s e c u r e t h e i r s u p p o r t b y m a k i n g t h e m f e e l t h e y h a d s o m e i n p u t . T h e m a j o r i t y o f f o r m a l w r i t t e n d a t a c o l l e c t i o n a n d a n a l y s i s w a s c o n d u c t e d w i t h d a t a c o l l e c t e d f r o m p e e r f a c u l t y , l e a r n e r s , a n d g r a d u a t e s . 1 5 0 W H A T F A S L O R S F A C I L I T A T E A N D Z Q R H I N D E R T H E N E E D S W T h e f a c t o r s t h a t f a c i l i t a t e a n d h i n d e r t h e n e e d s a s s e s s m e n t p r o c e s s w i l l b e i l l u s t r a t e d b y d e s c r i b i n g a n d e x p l a i n i n g p h e n o m e n a t h a t o c c u r r e d o n t h e l e v e l o f l ) t h e i n d i v i d u a l n e e d s a s s e s s o r , 2 ) t h e f e l l o w s h i p p r o g r a m , a n d 3 ) t h e h o m e o r g a n i z a t i o n s o f t h e p a r t i c i p a n t s . T h e f o l l o w i n g e i g h t fi n d i n g s w e r e d e r i v e d b y c o m p a r i n g a n d c o n t r a s t i n g t h e n e e d s a s s e s s m e n t e x p e r i e n c e s o f t h e f o u r t e e n p a r t i c i p a n t s . C o n s i s t e n t p a t t e r n s w e r e f o u n d i n w h i c h p a r t i c i p a n t s w h o e x p r e s s e d f r u s t r a t i o n s r e l a t e d t o n e e d s a s s e s s m e n t w e r e t h i n k i n g a n d / o r b e h a v i n g d i f f e r e n t l y t h a n t h o s e w h o w e r e n o t e x p r e s s i n g a s m u c h f r u s t r a t i o n w i t h t h e p r o c e s s . F u r t h e r m o r e , a f t e r t h e s e fi n d i n g s w e r e d e r i v e d , t h e i n v e s t i g a t o r d i s c o v e r e d t h a t m o s t o f t e n , t h e p a r t i c i p a n t s l i s t e d i n t h e t o p h a l f o f T a b l e s 8 a n d 1 0 h a d d e m o n s t r a t e d f a c i l i t a t i n g f a c t o r s , w h e r e a s t h o s e o n t h e b o t t o m h a l f o f T a b l e s 8 a n d 1 0 h a d p r e s e n t e d t h e m a j o r i t y o f e x a m p l e s o f h i n d e r i n g f a c t o r s . T h c I n d i v i d u a l N c c d s A c s c s s c r I n fi n d i n g s e i g h t t h r o u g h t w e l v e , f a c t o r s w h i c h f a c i l i t a t e o r h i n d e r n e e d s a s s e s s m e n t o n t h e l e v e l o f t h e i n d i v i d u a l n e e d s a s s e s s o r a r e d e s c r i b e d . F i n c ~ i n # ' N “ : . 5 8 5 m n w n r h i n c r - c o c f t h e c c p c e p j ; f c r ; b c g i n n c r s . T h e t e r m i n o l o g y a n d m e t h o d s o f n e e d s a s s e s s m e n t w e r e n e w t o t h e p a r t i c i p a n t s . W h e n fi r s t l e a r n i n g a b o u t i t , m o s t e x p r e s s e d s o m e f o r m o f c o n f u s i o n o r a n x i e t y a b o u t t h e p r o c e s s . 1 5 1 B i l l ' s d e s c r i p t i o n o f h i s e a r l y f e e l i n g s a b o u t n e e d s a s s e s s m e n t i s r e p r e s e n t a t i v e o f w h a t m a n y p a r t i c i p a n t s e x p r e s s e d : A t fi r s t i t s o u n d e d t o m e - g e e z , t h i s i s a b i g t h i n g . W i l l I b e a b l e t o d o i t ? I f e l t t h r e a t e n e d : t h e r e w e r e s o m a n y w a n k t u r n s o u t [ n e e d s a s s e s s m e n t ] i s n o m o r e d i f fi c u l t t h a n d a y - t o — d a y a c t i v i t y , b u t a t fi r s t I r e a l l y w o n d e r e d . T h e e a r l y c o n f u s i o n o v e r j u s t w h a t c o n s t i t u t e d " n e e d s a s s e s s m e n t " c o n t i n u e d a s t h e p a r t i c i p a n t s w e r e a t t e m p t i n g t h e i r o w n . I n t h e p h o n e i n t e r v i e w s c o n d u c t e d w h i l e p a r t i c i p a n t s w e r e i n t h e m i d s t o f t h e i r n e e d s a s s e s s m e n t s , s e v e r a l o f t h e p a r t i c i p a n t s o p e n l y a s k e d t h e i n v e s t i g a t o r i f t h e y w e r e d o i n g i t " r i g h t . " M a y a s k e d , " J u s t f o r m y o w n p e a c e o f m i n d , a m I o n t h e r i g h t t r a c k ? " I t w a s n ' t u n t i l s e v e r a l m o n t h s a f t e r t h e a s s i g n m e n t w a s c o m p l e t e d t h a t p a r t i c i p a n t s s p o k e o f u n d e r s t a n d i n g n e e d s a s s e s s m e n t . M a n y l a t e r d e s c r i b e d n e e d s a s s e s s m e n t a s " c o m m o n s e n s e , " s o m e t h i n g t h e y a l r e a d y n a t u r a l l y u s e d . T h i s w i l l b e e x p l o r e d f u r t h e r i n a n s w e r i n g r e s e a r c h q u e s t i o n # 3 . L i k e B i l l , a b o v e . t h e y h a d n o t u n d e r s t o o d t h e c o n c e p t b e c a u s e i t w a s p r e s e n t e d w i t h n e w t e r m i n o l o g y a n d a s s o m e t h i n g " d i f f e r e n t . " n ° - ' - - . _ . . - m w r 1 1 ‘ 1 “ . 0 1 1 1 ‘ 4 3 " w . W . S e v e r a l t i m e c o n s i d e r a t i o n s e i t h e r f a c i l i t a t e d o r h i n d e r e d p a r t i c i p a n t s ' n e e d s a s s e s s m e n t s . I n g e n e r a l , n e e d s a s s e s s m e n t s w e r e f a c i l i t a t e d b y t h e i n v e s t m e n t o f m o r e h o u r s a n d a n e a r l y s t a r t . H o w e v e r , m o s t p a r t i c i p a n t s a l s o d e s c r i b e d 1 5 2 c o n c e r n s r e l a t e d t o t i m e t h a t h i n d e r e d t h e i r n e e d s a s s e s s m e n t s . T i m e o n t a s k , s t a r t i n g t i m e , a n d t i m e c o n c e r n s a r e d i s c u s s e d b e l o w . T i m e o n t a s k . T h e r e i s a p o s i t i v e r e l a t i o n s h i p b e t w e e n t h e a m o u n t o f t i m e s p e n t o n t h e n e e d s a s s e s s m e n t a n d t h e c o m p r e h e n s i v e n e s s o f t h e n e e d s a s s e s s m e n t . I n g e n e r a l , p a r t i c i p a n t s r e p o r t i n g s p e n d i n g m o r e t i m e o n t h e n e e d s a s s e s s m e n t c o n d u c t e d a g r e a t e r n u m b e r o f n e e d s a s s e s s m e n t a c t i v i t i e s , a s l i s t e d i n T a b l e 8 , a n d c o l l e c t e d d a t a f r o m m o r e s o u r c e s a s l i s t e d i n T a b l e 1 0 . A s m e n t i o n e d e a r l i e r , p a r t i c i p a n t s a r e l i s t e d i n T a b l e 8 a c c o r d i n g t o t h e n u m b e r o f a c t i v i t i e s p e r f o r m e d , w i t h c l o s e c a s e s o r d e r e d a c c o r d i n g t o t h e d e g r e e o f e f f o r t g i v e n t o e a c h a c t i v i t y . I n T a b l e 1 0 , " S o u r c e s C o n s u l t e d , " p a r t i c i p a n t s a r e l i s t e d a c c o r d i n g t o t h e s a m e c r i t e r i a . A f t e r t h i s o r d e r i n g w a s c o m p l e t e d , i t w a s f o u n d t o b e c l o s e l y r e l a t e d t o t h e p a r t i c i p a n t s ' o w n e s t i m a t e s o f t i m e s p e n t o n t h e n e e d s a s s e s s m e n t . ‘ F o r b o t h T a b l e s 8 a n d 1 0 , t h e s a m e s i x p a r t i c i p a n t s o c c u p y t h e fi r s t s i x r o w s , i n d i c a t i n g t h a t t h e y c o n d u c t e d t h e m o s t c o m p r e h e n s i v e n e e d s a s s e s s m e n t s . T h e s e s i x p a r t i c i p a n t s e s t i m a t e d s p e n d i n g b e t w e e n 5 0 a n d 1 0 0 h o u r s . T w o p a r t i c i p a n t s e s t i m a t i n g t w e n t y h o u r s , E m m a a n d B i l l , s h a r e t h e s e v e n t h a n d e i g h t h r o w s i n T a b l e s 8 a n d 1 0 . T h e f o u r p a r t i c i p a n t s e s t i m a t i n g b e t w e e n e i g h t a n d fi f t e e n h o u r s o f e f f o r t o c c u p y t h e b o t t o m r o w s o f T a b l e s 8 a n d 1 0 . 6 S e l f r e p o r t e d " t i m e o n t a s k " a p p e a r s t o b e a f a i r l y s e n s i t i v e m e a s u r e o f p r o d u c t i v i t y , e s p e c i a l l y i n c a s e s w h e r e l e s s t i m e w a s s p e n t 6 T h e r e w e r e t w o e x c e p t i o n s o f p e o p l e r e p o r t i n g 5 0 o r m o r e h o u r s a n d s t i l l h a v i n g l e s s c o m p r e h e n s i v e n e e d s a s s e s s m e n t s t h a n p a r t i c i p a n t s t h a t h a d s p e n t c o n s i d e r a b l y l e s s t i m e . I n b o t h t h e s e i n s t a n c e s ( A l e x i s a n d S u e ) , t h e i r t i m e e s t i m a t e s i n c l u d e d s i g n i f i c a n t p e r i o d s f o r a c t i v i t i e s t h a t w e r e n o t d i r e c t l y r e l a t e d t o n e e d s a s s e s s m e n t ( s u c h a s m e e t i n g w i t h p e o p l e t o g e t g r a n t f u n d i n g , o r r e n e g o t i a t i n g w o r k e x p e c t a t i o n s ) . 1 5 3 o n t h e n e e d s a s s e s s m e n t . T h e r e i s a n o b v i o u s d i f f e r e n c e i n h o w c o m p r e h e n s i v e w e r e t h e n e e d s a s s e s s m e n t s o f t h o s e s p e n d i n g fi f t e e n o r l e s s h o u r s , t h o s e s p e n d i n g t w e n t y h o u r s , a n d t h o s e s p e n d i n g fi f t y o r m o r e h o u r s . H o w e v e r , d i f f e r e n c e s w e r e n o t r e a d i l y a p p a r e n t b e t w e e n p a r t i c i p a n t s w i t h i n e a c h o f t h e s e g r o u p s . I n o t h e r w o r d s , o n e h u n d r e d h o u r s o n t a s k d i d n o t n e c e s s a r i l y i n d i c a t e a m o r e c o m p r e h e n s i v e n e e d s a s s e s s m e n t t h a n o n e i n w h i c h fi f t y h o u r s w a s s p e n t . S t a r t i n g t i m e . A s s e s s o r s w h o c o n d u c t e d m o r e c o m p r e h e n s i v e n e e d s a s s e s s m e n t s a l s o m a d e e a r l y a t t e m p t s t o b e g i n t h e i r w o r k . T h e fi r s t s i x p a r t i c i p a n t s l i s t e d i n T a b l e 8 w e r e o b s e r v e d d o i n g s o m e f o r m o f p r e p a r a t i o n o r e a r l y n e e d s a s s e s s m e n t a c t i v i t y : t h e y a p p r o a c h e d f e l l o w s h i p f a c u l t y t o a s k q u e s t i o n s a b o u t t h e a s s i g n m e n t b e f o r e t h e n e e d s a s s e s s m e n t w o r k s h o p a n d s e v e r a l l e f t t h e o n - c a m p u s s e s s i o n w i t h c o m p l e t e d d r a f t s o f t h e i r q u e s t i o n n a i r e s . M o s t i m p o r t a n t , t h o s e a s s e s s o r s w i t h m o r e c o m p r e h e n s i v e n e e d s a s s e s s m e n t s b e g a n c o l l e c t i n g a n d a n a l y z i n g d a t a e a r l i e r t h a n t h e r e s t . T h e d i s t i n c t i o n b e t w e e n t h o s e w h o b e g a n e a r l i e r a n d t h o s e w h o a c c o m p l i s h e d l i t t l e a t t h e t h r e e w e e k p o i n t e s t a b l i s h e d a p a t t e r n t h a t c o n t i n u e d t o t h e e n d o f t h e n e e d s a s s e s s m e n t p e r i o d . T h r e e w e e k s i n t o t h e n e e d s a s s e s s m e n t p e r i o d , t h o s e p a r t i c i p a n t s l i s t e d i n t h e t o p h a l f o f T a b l e s 8 a n d 1 0 r e p o r t e d s u b s t a n t i a l a m o u n t s o f a c t i v i t y a n d t i m e i n v e s t m e n t . T h e y h a d d i s t r i b u t e d s u r v e y s , c o n d u c t e d m o s t o f t h e i r i n t e r v i e w s , a n d r e a d a t l e a s t a p o r t i o n o f t h e l i t e r a t u r e t h e y h a d c o l l e c t e d . T h e y h a d b e g u n t o l o o k a t t h e i r d a t a a n d e s t i m a t e d t h a t t h e y w e r e m o r e t h a n h a l f w a y t h r o u g h t h e p r o c e s s . T h e s e s i x 1 5 4 p a r t i c i p a n t s e s t i m a t e d h a v i n g s p e n t b e t w e e n 2 4 a n d 8 0 h o u r s ( a n a v e r a g e o f 4 7 h o u r s ) o n t h e n e e d s a s s e s s m e n t d u r i n g t h e t h r e e w e e k s . I n c o n t r a s t , p a r t i c i p a n t s w h o s t a r t e d l a t e r r e p o r t e d l o w e r t i m e i n v e s t m e n t , l i t t l e o r n o d a t a c o l l e c t i o n a c t i v i t y , n o d a t a a n a l y s i s , a n d l i t t l e o r n o r e a d i n g . F o r e x a m p l e , S a m , E v e , R a c h e l , a n d E r i n r e p o r t e d s p e n d i n g b e t w e e n 1 . 5 a n d t e n h o u r s ( a n a v e r a g e o f 5 h o u r s ) o n n e e d s a s s e s s m e n t . T h e t w o w h o h a d c o l l e c t e d d a t a r e p o r t e d c o n d u c t i n g i n f o r m a l t a l k s i n w h i c h t h e y h a d n o t d o c u m e n t e d r e s p o n s e s . T h r e e o f t h e f o u r e s t i m a t e d t h a t m o s t o f t h e i r w o r k w a s s t i l l a h e a d o f t h e m . T i m e c o n c e r n s . W h i l e c o n d u c t i n g t h e i r n e e d s a s s e s s m e n t s , t h e p a r t i c i p a n t s o v e r w h e l m i n g l y i d e n t i fi e d t i m e f a c t o r s a s t h e i r s i n g l e l a r g e s t c o n c e r n o r p r o b l e m . T h e y i d e n t i fi e d t h r e e w a y s i n w h i c h t i m e w a s h i n d e r i n g t h e i r n e e d s a s s e s s m e n t s : 1 ) t h e n e e d s a s s e s s m e n t r e q u i r e d m o r e o f t h e i r o w n t i m e t h a n t h e y h a d e x p e c t e d , 2 ) i t w a s d i f fi c u l t t o s c h e d u l e o t h e r p e o p l e ' s t i m e , a n d 3 ) t h e r e w e r e u n e x p e c t e d t i m e d e l a y s . W h e n p a r t i c i p a n t s i n d i c a t e d t i m e w a s a c o n c e r n i s d i s p l a y e d i n T a b l e 1 1 , " T i m e C o n c e r n s . " P a r t i c i p a n t s a r e l i s t e d i n T a b l e 1 1 i n t h e s a m e o r d e r t h e y a p p e a r i n T a b l e 8 . T h o s e p a r t i c i p a n t s w h o c o n d u c t e d l e s s c o m p r e h e n s i v e n e e d s a s s e s s m e n t s a n t i c i p a t e d f e w e r p r o b l e m s , b u t e n c o u n t e r e d m o r e t i m e p r o b l e m s . B e f o r e s t a r t i n g t h e f e l l o w s h i p , w h e n q u e s t i o n e d a b o u t c o n c e r n s r e g a r d i n g o b t a i n i n g r e s o u r c e s o r i m p l e m e n t i n g t h e i r p r o j e c t s , fi v e i n d i c a t e d t h e y e x p e c t e d n o p r o b l e m s a t a l l . 7 H o w e v e r , w h e n i n t e r v i e w e d d u r i n g t h e n e e d s 7 C a r e s h o u l d b e t a k e n w h e n c o m p a r i n g t h e n u m b e r s o f w r i t t e n r e s p o n s e s w i t h l a t e r s p o k e n r e s p o n s e s . T h e p o i n t s a r e t h a t l ) m o r e t h a n a t h i r d o f t h e p a r t i c i p a n t s ( m o s t l y t h o s e c o n d u c t i n g l e s s c o m p r e h e n s i v e n e e d s a s s e s s m e n t s ) h a d e x p e c t e d n o p r o b l e m s , a n d 2 ) w h e n i n t e r v i e w e d , m o r e t h a n t w o t h i r d s e x p e r i e n c e d t i m e p r o b l e m s . 1 5 5 T a b l e l 1 T i m e C o n c e r n s B e f o r e W h T I e S t a r t i n g D o i n g t h e F e l l o w s h i p N A ? ( w r i f t e n ) ( i n t e r v i e w ) M a x x . 1 t J o a n - - - - - - - - M i k e a t J u l l e x V t R u b i n V V 3 M a y ' n o n e " E m m a V . 1 i i i B l l l X S u e ' n o n e " . 1 3 A l e x i s X V S a I n ' n o n e " V * E v e ' n o n e ' . 1 I I I R a c h e l x V a t : E r l n ' n o n e ' . 1 t V T i m e c o n c e r n s d e s c r i b e d ( i n w r i t t e n o r s p o k e n f o r m ) b y p a r t i c i p a n t X C o n c e r n o t h e r t h a n t i m e w r i t t e n b y p a r t i c i p a n t ' n o n e ' W r o t e d o w n “ e x p e c t e d n o p r o b l e m s " ( o n e l e f t b l a n k ) * F i r s t r e s p o n s e w h e n a s k e d a b o u t p r o b l e m s o r c o n c e r n s - - - - - - - - - D a t a n o t a v a i l a b l e 1 5 6 a s s e s s m e n t p e r i o d , t e n o f t h e f o u r t e e n d e s c r i b e d t i m e p r o b l e m s . I n f a c t , i n i n t e r v i e w s p a r t i c i p a n t s d e s c r i b e d t i m e a s t h e m o s t i m p o r t a n t a n d o f t e n t h e o n l y p r o b l e m e x p e r i e n c e d . J u l i e ' s r e s p o n s e , w h e n a s k e d w h a t p r o b l e m s o r c o n c e r n s s h e w a s e x p e r i e n c i n g i n t h e n e e d s a s s e s s m e n t , c a p t u r e d w h a t m o s t o f t h e o t h e r s a l s o e x p r e s s e d : P u t t h i s i n c a p i t a l l e t t e r s - T I M E . . . i t t a k e s s o l o n g . . . I h a d n o t a n t i c i p a t e d n e e d s a s s e s s m e n t w o u l d b e s o i n v o l v e d , n o r h a d I a n t i c i p a t e d h o w m u c h s t a r t u p t i m e w o u l d b e n e e d e d . I t t o o k m e t h e b e t t e r p a r t o f a W E E K j u s t g e t t i n g t h e s u r v e y s p r e p a r e d a n d f o r m a t t e d s o I c o u l d g e t t h e m o u t . . . . l h a d a b s o l u t e l y n o i d e a n e e d s a s s e s s m e n t w o u l d b e s o i n v o l v e d . M a n y o f t h e p a r t i c i p a n t s s p o k e o f b e i n g s u r p r i s e d b y h o w m u c h o f t h e i r o w n t i m e n e e d s a s s e s s m e n t t o o k . T h e y h a d e s t i m a t e d t h a t i t w o u l d t a k e m u c h l e s s t i m e t o a c c o m p l i s h e a c h a c t i v i t y . I n p a r t i c u l a r , m a n y o f t h e p a r t i c i p a n t s s p o k e o f h o w l o n g i t t o o k t o c r e a t e q u e s t i o n n a i r e s , a n d h o w m u c h t i m e t h e y h a d s p e n t o n a d m i n i s t r a t i v e t a s k s s u c h a s d i s t r i b u t i n g t h e q u e s t i o n n a i r e s o r s e t t i n g u p i n t e r v i e w s . A s d e s c r i b e d i n fi n d i n g # 1 4 ( " B a l a n c i n g w o r k a n d f e l l o w s h i p d e m a n d s " ) , m a n y p a r t i c i p a n t s a l s o s p o k e o f o t h e r w o r k c o m m i t m e n t s m a k i n g i t d i f fi c u l t f o r t h e m t o d e v o t e t i m e t o t h e n e e d s a s s e s s m e n t . T h r e e p a r t i c i p a n t s d i r e c t l y m e n t i o n e d t h a t t h e i r d e p a r t m e n t w a s s h o r t o n e o r m o r e f a c u l t y ; o t h e r s s p o k e o f w o r k t h a t h a d p i l e d u p w h i l e t h e y a t t e n d e d t h e t w o w e e k f e l l o w s h i p s e s s i o n . S e v e r a l h a d w o r k e d o n t h e i r n e e d s a s s e s s m e n t s i n t h e e v e n i n g s a n d o n w e e k e n d s : o n e t o o k a w e e k ' s v a c a t i o n t i m e . R u b i n d e s c r i b e d t h e b a l a n c i n g a c t t h a t p a r t i c i p a n t s p e r f o r m e d i n d e v o t i n g t h e i r t i m e t o t h e n e e d s 1 5 7 a s s e s s m e n t w h i l e f u l fi l l i n g o t h e r w o r k r e s p o n s i b i l i t i e s : " W h e n I w o r k o n t h i s , s o m e t h i n g e l s e g e t s p u t o n t h e b a c k b u r n e r . " A b o u t h a l f o f t h e p a r t i c i p a n t s a l s o d e s c r i b e d s i t u a t i o n s i n w h i c h l a c k o f o t h e r p e o p l e ' s t i m e h i n d e r e d t h e n e e d s a s s e s s m e n t . P e o p l e d i d n o t h a v e t i m e t o t a l k t o a s s e s s o r s o r c o m p l e t e q u e s t i o n n a i r e s . P a r t i c i p a n t s r e p o r t e d i n t e r v i e w s b e i n g i n t e r r u p t e d o r c a n c e l e d . T h i s h a p p e n e d m o s t o f t e n w i t h s u p e r i o r s . T h e t h i r d t i m e c o n c e r n w a s l a g t i m e . M o r e t h a n h a l f o f t h e p a r t i c i p a n t s d e s c r i b e d u n a n t i c i p a t e d t i m e d e l a y s i n t h e n e e d s a s s e s s m e n t . T h e y h a d t o w a i t f o r p h o n e c a l l s t o b e r e t u r n e d , f o r o r d e r e d m a t e r i a l s t o a r r i v e , o r f o r i n t e r v i e w a p p o i n t m e n t s . T h e m o s t p r e v a l e n t l a g t i m e w a s i n t h e r e t u r n o f q u e s t i o n n a i r e s . M o s t p a r t i c i p a n t s w h o u s e d q u e s t i o n n a i r e s d e s c r i b e d p r o b l e m s w i t h g e t t i n g t h e m b a c k i n a t i m e l y m a n n e r . A l t h o u g h t h e y h a d l i s t e d a r e t u r n d a t e o n t h e q u e s t i o n n a i r e , m a n y s e n t o u t a s e c o n d r o u n d b e c a u s e f e w o f t h e fi r s t r o u n d w e r e r e t u r n e d , a n d t h r e e p a r t i c i p a n t s r e p o r t e d c o m p l e t e d q u e s t i o n n a i r e s h a d " a p p e a r e d o n t h e i r d e s k s " m o n t h s a f t e r t h e n e e d s a s s e s s m e n t s w e r e o v e r . I n s u m m a r y , i n fi n d i n g # 9 , t h e f a c t o r s t h a t f a c i l i t a t e d a n d h i n d e r e d t h e n e e d s a s s e s s m e n t r e l a t e d t o t i m e o n t a s k , s t a r t t i m e , a n d p a r t i c i p a n t s ' t i m e c o n c e r n s . F i r s t , n e e d s a s s e s s m e n t s w e r e , w i t h i n l i m i t s , f a c i l i t a t e d b y g r e a t e r t i m e o n t a s k . A s s e s s o r s r e p o r t i n g fi f t y o r m o r e h o u r s o n t h e i r n e e d s a s s e s s m e n t s u s e d m o r e n e e d s a s s e s s m e n t m e t h o d s a n d c o n t a c t e d a g r e a t e r v a r i e t y a n d n u m b e r o f s o u r c e s . H o w e v e r , t h e r e a p p e a r e d t o b e a l i m i t t o t h e b e n e fi t s o f i n c r e a s e d t i m e o n t a s k , a s e x p e n d i t u r e s o f c l o s e t o a h u n d r e d h o u r s d i d n o t n e c e s s a r i l y r e s u l t i n m o r e c o m p r e h e n s i v e n e e d s a s s e s s m e n t s 1 5 8 t h a n t h o s e i n w h i c h 5 0 h o u r s w e r e s p e n t . ( S e e fi n d i n g s # 1 1 a n d # 1 5 f o r s u p p o r t o f t h i s fi n d i n g . ) S e c o n d , i n c a s e s i n w h i c h n e e d s a s s e s s m e n t s w e r e s t a r t e d e a r l i e r , t h e y w e r e m o r e c o m p r e h e n s i v e . A s s e s s o r s w h o d e l a y e d t h e n e e d s a s s e s s m e n t s p e n t l e s s t i m e o n t a s k , c o n d u c t e d l e s s c o m p r e h e n s i v e n e e d s a s s e s s m e n t s , a n d w o r r i e d m o r e a b o u t b e i n g a b l e t o c o m p l e t e t h e i r n e e d a s s e s s m e n t s . F i n a l l y , p a r t i c i p a n t s r e p o r t e d t h r e e d i f f e r e n t t y p e s o f c o n c e r n s r e l a t e d t o t i m e w h i c h h i n d e r e d t h e i r n e e d s a s s e s s m e n t s . T h e y w e r e : 1 ) s u r p r i s e d b y h o w m u c h o f t h e i r o w n t i m e n e e d s a s s e s s m e n t a c t i v i t i e s r e q u i r e d , 2 ) u n p r e p a r e d t o b a l a n c e n e e d s a s s e s s m e n t d e m a n d s w i t h o t h e r w o r k d e m a n d s , 3 ) h a m p e r e d b y l i m i t a t i o n s i n o t h e r p e o p l e ' s t i m e , a n d 4 ) w e r e s l o w e d d o w n b y t i m e d e l a y s . T h i s fi n d i n g o n t i m e i s p r o b a b l y c l o s e l y r e l a t e d t o t h e f o l l o w i n g fi n d i n g o n t h e m o t i v a t i o n l e v e l o f t h e a s s e s s o r s . F i n d i n g # 1 9 : N e e d s a s s e s s m e n t s w e r e f a c i l i t a t e d b y a s s e s s o r s p o s s e s s i n g m o d e r a t e r h i g h c x p c c t a t i o n s . O n e o f t h e f a c t o r s t h a t d i f f e r e d b e t w e e n t h e p a r t i c i p a n t s o n t h e t o p a n d b o t t o m h a l v e s o f T a b l e s 8 a n d 1 0 w a s h o w m u c h t h e y e x p e c t e d t h e n e e d s a s s e s s m e n t t o b e u s e f u l . E x a m p l e s o f a s s e s s o r s p o s s e s s i n g m o d e r a t e l y h i g h e x p e c t a t i o n s w e r e M a y a n d J u l i e , w h o p l a n n e d o n p u b l i s h i n g t h e i r c u r r i c u l a a n d s p o k e o f a " r i g o r o u s " n e e d s a s s e s s m e n t i n c r e a s i n g t h e i r c h a n c e s . H o w e v e r , e x p e c t a t i o n s w h i c h w e r e t o o h i g h o r l o w w e r e r e l a t e d t o d e c r e a s e d e f f e c t i v e n e s s . A l e x i s e x p r e s s e d v e r y h i g h e x p e c t a t i o n s f o r e v e r y t h i n g s h e d i d . S h e m a d e s t a t e m e n t s l i k e " I w a n t t o d o i t r i g h t . I t ' s g o t t o b e p e r f e c t . " S h e e x p e r i e n c e d d i f fi c u l t y i n b r i n g i n g h e r n e e d s a s s e s s m e n t t o c o m p l e t i o n . P a r t i c i p a n t s w i t h l o w 1 5 9 e x p e c t a t i o n s a l s o p r o d u c e d l e s s c o m p r e h e n s i v e n e e d s a s s e s s m e n t s . S a m , w h o o f t e n s p o k e o f t h e i n t e n d e d c u r r i c u l u m a s b e i n g h i s b o s s ' i d e a a n d o p e n l y c o n c e d e d t h a t h e d i d n ' t t h i n k t h e n e e d s a s s e s s m e n t w o u l d c h a n g e a n y t h i n g , c o n d u c t e d o n e o f t h e l e a s t c o m p r e h e n s i v e n e e d s a s s e s s m e n t s . A s s e s s o r s w i t h e x t r e m e l y h i g h o r l o w e x p e c t a t i o n s a l s o b e g a n t h e i r n e e d s a s s e s s m e n t s l a t e r t h a n t h e r e s t - - a f a c t o r t h a t m a y b e r e l a t e d t o t h e p r e v i o u s fi n d i n g . I n c o n t r a s t t o t h e e x t r e m e l y h i g h a n d l o w e x p e c t a t i o n a s s e s s o r s , a s s e s s o r s w i t h m o d e r a t e l y h i g h e x p e c t a t i o n s m o n i t o r e d t h e e f f e c t i v e n e s s o f e a c h a c t i v i t y . T h e y s p o k e o f c o m p l e t i n g t a s k s t o t h e b e s t o f t h e i r a b i l i t i e s , b u t a l l o w i n g t h e m s e l v e s t o c a l l a n e n d t o e a c h t a s k . F o r e x a m p l e , R u b i n w a s t r o u b l e d t h a t h e h a d n o t f o u n d m u c h a b o u t h i s t o p i c i n t h e l i t e r a t u r e . B u t a f t e r s e v e r a l h o u r s o f s e a r c h i n g , h e d e c i d e d t h a t c o n t i n u e d t i m e s p e n t s e a r c h i n g w o u l d n o t b e w o r t h t h e r e t u r n . A n d M a x t e m p e r e d h i s e x p e c t a t i o n s a s t o h o w m a n y f o r m e r s t u d e n t s h e w o u l d r e a c h f o r p h o n e i n t e r v i e w s a s t h e y w e r e s t i l l w o r k i n g l o n g h o u r s a n d m o v i n g t o n e w s i t e s e v e r y m o n t h o r t w o : " R e a l i s t i c a l l y , i f I r e a c h fi v e t o t e n , I ' l l b e h a p p y . " A s s e s s o r s w i t h l o w e r e x p e c t a t i o n s s p e n t t i m e t h i n k i n g a b o u t p o s s i b l e f u t u r e p r o b l e m s a n d d i d n o t u s e t h e n e e d s a s s e s s m e n t t o c o l l e c t d a t a r e l a t e d t o s o l v i n g t h e s e p r o b l e m s . A l l t h e d o c u m e n t e d i n s t a n c e s o f p a r t i c i p a n t s e x p r e s s i n g l i m i t a t i o n s t o t h e i r fi n a l p r o j e c t w e r e c o l l e c t e d f r o m p a r t i c i p a n t s a s s h o w n i n t h e b o t t o m p o r t i o n s o f T a b l e s 8 a n d 1 0 . F o r e x a m p l e , S a m o f t e n q u e s t i o n e d t h e f e a s i b i l i t y o f r u n n i n g s m a l l g r o u p s f o r m o r e t h a n o n e h u n d r e d s t u d e n t s i n a s i n g l e d a y , b u t h e d i d n o t a s k s o u r c e s f o r i n p u t o n h o w t o m a k e s m a l l g r o u p s w o r k o r f o r s u g g e s t i o n s o n o t h e r w a y s t o d e l i v e r t h e c u r r i c u l u m . A t a 1 6 0 s t a g e i n w h i c h t h e y h a d b e e n i n s t r u c t e d t o o p e n t h e m s e l v e s t o a v a r i e t y o f i d e a s a n d o p t i o n s f r o m w h i c h t h e y c o u l d l a t e r s e l e c t , l o w e x p e c t a t i o n a s s e s s o r s b e g a n t h i n k i n g v e r y e a r l y a b o u t l i m i t a t i o n s t h a t c o u l d o c c u r w h e n t h e y i m p l e m e n t e d t h e i r c u r r i c u l a - - a n d d i d n o t c o l l e c t n e e d s a s s e s s m e n t d a t a i n t h e s e a r e a s . I n c o n t r a s t , a s s e s s o r s d e m o n s t r a t i n g h i g h e r e x p e c t a t i o n s w e r e m o t i v a t e d b y d i s c o v e r i e s t h a t l o w e r e x p e c t a t i o n a s s e s s o r s c o n s i d e r e d l i m i t i n g . M a n y p a r t i c i p a n t s r e p o r t e d fi n d i n g ( f r o m t h e n e e d s a s s e s s m e n t ) t h a t t h e r e w a s n o e x i s t i n g c u r r i c u l u m s i m i l a r t o t h e o n e t h e y w a n t e d t o c r e a t e . P a r t i c i p a n t s w i t h h i g h e r e x p e c t a t i o n s , s u c h a s M a y , f o u n d t h i s e n c o u r a g i n g : " I ' m e x c i t e d a b o u t d o i n g i t - - i t ' s k i n d o f e x c i t i n g g o i n g i n t o u n c h a r t e d t e r r i t o r y . . . l s t a n d t o b e a b l e t o m a k e a d i fi ' e r e n c e i n a v e r y i m p o r t a n t a r e a . " M a n y p a r t i c i p a n t s s a i d t h e n e e d s a s s e s s m e n t v a l i d a t e d a n e e d f o r t h e c u r r i c u l u m a n d m e n t i o n e d t h e r e b e i n g " a l o t o f i n t e r e s t " i n t h e i r p r o j e c t , b u t l i t t l e s u p p o r t . A l t h o u g h b o t h t h e l o w a n d h i g h e x p e c t a t i o n p a r t i c i p a n t s h a d l e a r n e d t h e y w o u l d h a v e t o c o m p l e t e t h e p r o j e c t w i t h o u t h e l p f r o m o t h e r s , t h e l o w e x p e c t a t i o n p a r t i c i p a n t s s p o k e o f t h i s a s a c o n c e r n , e v e n q u e s t i o n i n g w h e t h e r t h e y w o u l d b e a b l e t o c o m p l e t e t h e p r o j e c t : w h e r e a s t h e h i g h e x p e c t a t i o n p a r t i c i p a n t s s p o k e o f t h e n e e d t o r e l y u p o n t h e m s e l v e s w h e n p l a n n i n g t h e i r s t r a t e g r f o r a c c o m p l i s h i n g t h e p r o j e c t . I t i s i n t e r e s t i n g t o n o t e t h a t t h e p a r t i c i p a n t s ' l e v e l s o f e x p e c t a t i o n o f t h e n e e d s a s s e s s m e n t a s g a u g e d b y t h e i r a c t i o n s w a s n o t i n a g r e e m e n t w i t h t h e i r s t a t e d v a l u e o f n e e d s a s s e s s m e n t . W h e n d i r e c t l y a s k e d f o r t h e i r a n a l y s i s o f t h e i m p o r t a n c e o f n e e d s a s s e s s m e n t ( o n a o n e t o t e n s c a l e ) , a l l e x c e p t o n e r a t e d n e e d s a s s e s s m e n t v e r y h i g h . E i g h t o f t h e f o u r t e e n g a v e n e e d s a s s e s s m e n t a f u l l s c o r e o f t e n , 1 6 1 o n l y t w o g a v e i t a s c o r e l o w e r t h a n e i g h t . I n f a c t , t h e f e w s c o r e s o f e i g h t o r l o w e r w e r e g i v e n b y p a r t i c i p a n t s w h o h a d s p e n t l a r g e r a m o u n t s o f t i m e o n t h e n e e d s a s s e s s m e n t . ( E v e r y o n e w h o s p e n t fi f t e e n o r f e w e r h o u r s g a v e i t a t e n . ) I n s u m m a r y , a s s e s s o r s e x p r e s s i n g m o d e r a t e l y h i g h e x p e c t a t i o n s o f t h e u s e f u l n e s s o f n e e d s a s s e s s m e n t c o n d u c t e d m o r e c o m p r e h e n s i v e n e e d s a s s e s s m e n t s t h a n t h o s e w i t h h i g h e r o r l o w e r e x p e c t a t i o n s a n d p e r c e i v e d f e w e r h i n d r a n c e s t o t h e i r n e e d s a s s e s s m e n t s . M o d e r a t e l y h i g h e x p e c t a t i o n s w e r e d e m o n s t r a t e d b y : 1 ) c e a s i n g a c t i v i t i e s t h a t w e r e i n e f f e c t i v e o r u n r e a l i s t i c , 2 ) u s i n g t h e n e e d s a s s e s s m e n t t o c o l l e c t d a t a t o s e e k s o l u t i o n s t o p o t e n t i a l f u t u r e p r o b l e m s ( r a t h e r t h a n a v o i d i n g c o l l e c t i n g d a t a o n t h i s a r e a ) , a n d 3 ) s e e i n g c h a l l e n g e s u n e a r t h e d f r o m t h e n e e d s a s s e s s m e n t i n a p o s i t i v e l i g h t . F i n d i n g # 1 1 : N e e d s a s s e s s m e n t s w e r e f a c i l i t a t e d b y t h e p r e s c n c e o f k e y s k i l l s i n t h e a s s e s s o r . T h e r e w a s a c l e a r d i f f e r e n t i a t i o n i n p a r t i c u l a r s k i l l a r e a s b e t w e e n n e e d s a s s e s s o r s w h o d e s c r i b e d p r o b l e m s a n d f r u s t r a t i o n s d u r i n g t h e n e e d s a s s e s s m e n t p r o c e s s a n d t h o s e w h o d i d n o t . K e y s k i l l s w h i c h f a c i l i t a t e d t h e n e e d s a s s e s s m e n t p r o c e s s w e r e : t i m e m a n a g e m e n t , c h a n g e a g e n t r y , a n d b i a s c o n t r o l s i n d a t a c o l l e c t i o n a n d a n a l y s i s . 3 E a c h o f t h e s e s k i l l a r e a s w i l l b e d e s c r i b e d i n t u r n . T i m e m a n a g e m e n t . T h e i m p a c t o f a s s e s s o r s ' a b i l i t i e s i n t h i s a r e a w a s a l r e a d y m a d e e v i d e n t i n fi n d i n g # 9 i n w h i c h t i m e o n t a s k , s t a r t t i m e , a n d t i m e c o n c e r n s w e r e d e s c r i b e d . A l t h o u g h a l m o s t e v e r y o n e 8 T i m e m a n a g e m e n t a n d c h a n g e a g e n t r y s k i l l s w e r e a s c r i b e d t o p a r t i c i p a n t s b a s e d o n c o n s i s t e n t p a t t e r n s i n b e h a v i o r s a n d s t a t e m e n t s . T h e i n v e s t i g a t o r s u g g e s t s a d m i n i s t e r i n g i n s t r u m e n t s m e a s u r i n g t i m e m a n a g e m e n t a n d c h a n g e a g e n t r y s k i l l s t o p a r t i c i p a n t s i n f u t u r e s t u d i e s . 1 6 2 r e p o r t e d b e i n g s u r p r i s e d b y h o w m u c h t i m e n e e d s a s s e s s m e n t t o o k , t h o s e w h o d e m o n s t r a t e d f e w e r t i m e m a n a g e m e n t s k i l l s r e p o r t e d t h e m a j o r i t y o f p r o b l e m s i n fi n d i n g t i m e t o d o t h e n e e d s a s s e s s m e n t . I n g e n e r a l , t h o s e w h o d e m o n s t r a t e d t i m e m a n a g e m e n t s k i l l s a l s o r e p o r t e d m o r e t i m e o n t a s k , a n e a r l i e r s t a r t , a n d f e w e r t i m e m a n a g e m e n t p r o b l e m s i n r e l a t i o n t o t h e n e e d s a s s e s s m e n t . I n c o n t r a s t , t h o s e w h o h a d s p e n t s i g n i fi c a n t l y l e s s t i m e o n t h e n e e d s a s s e s s m e n t r e p o r t e d a l m o s t a l l t h e i n s t a n c e s o f d i f f i c u l t i e s i n fi n d i n g t i m e t o d o n e e d s a s s e s s m e n t . T h i s i s n o t a s u r p r i s i n g p h e n o m e n o n . W h a t i s i n t e r e s t i n g i s t h a t t i m e m a n a g e m e n t s k i l l s m a d e a s i g n i fi c a n t d i f f e r e n c e i n f a c i l i t a t i n g t h e n e e d s a s s e s s m e n t e v e n i n c a s e s w h e r e l c s _ s t i m e w a s a v a i l a b l e . F o r e x a m p l e , b o t h E m m a a n d A l e x i s h a d s i m i l a r d i f fi c u l t i e s i n r e c e i v i n g r e l e a s e t i m e d u r i n g w o r k h o u r s t o c o n d u c t t h e i r n e e d s a s s e s s m e n t s . E m m a , w h o d e m o n s t r a t e d m o r e s k i l l s i n t i m e m a n a g e m e n t , w e n t d i r e c t l y t o w o r k o n h e r n e e d s a s s e s s m e n t w i t h t h e t i m e a v a i l a b l e , a c c o m p l i s h i n g s m a l l p i e c e s w h e r e a n h o u r o r l e s s w a s a v a i l a b l e . I n c o n t r a s t , A l e x i s w a s c o n t i n u a l l y n e g o t i a t i n g w i t h h e r s u p e r i o r f o r l a r g e r p r o t e c t e d b l o c k s o f t i m e i n w h i c h t o w o r k o n h e r n e e d s a s s e s s m e n t . S h e d i d n o t u s e s m a l l e r p e r i o d s t h a t w e r e a l r e a d y a v a i l a b l e t o c o n d u c t h e r n e e d s a s s e s s m e n t . T h o s e s k i l l e d i n t i m e m a n a g e m e n t n o n c h a l a n t l y r e p o r t e d c o n d u c t i n g t h e i r n e e d s a s s e s s m e n t s i n t h e m i d s t o f t h e i r u s u a l d a i l y a c t i v i t i e s . R u b i n i n t e r v i e w e d h i s l e a r n e r s a f e w m i n u t e s a t a t i m e w h e n t h e y w e r e " h a n g i n g a r o u n d " i n b e t w e e n s e e i n g p a t i e n t s . M i k e a n d M a y h a n d e d t h e i r s u r v e y s o u t a t m e e t i n g s a t w h i c h m o s t o f t h e r e s p o n d e n t s w e r e p r e s e n t . 1 6 3 T h e u s e o f s u c h t i m e m a n a g e m e n t s k i l l s o f t e n c o m p e n s a t e d f o r t h e e x t r a e f f o r t s e x p e n d e d b y t h e m o s t m o t i v a t e d p a r t i c i p a n t s . F o r e x a m p l e , J u l i e w a s h i g h l y m o t i v a t e d a n d t o o k a w e e k ' s v a c a t i o n t i m e t o c o m p l e t e h e r n e e d s a s s e s s m e n t . H o w e v e r , s h e s p e n t a n u m b e r o f h o u r s o n a d m i n i s t r a t i v e t a s k s s u c h a s d i s t r i b u t i n g h e r s u r v e y s ( t w i c e ) a n d k e e p i n g t r a c k o f w h o h a d y e t t o r e t u r n t h e m . M i k e a n d M a y s p e n t l e s s t i m e a w a y f r o m w o r k o n t h e i r n e e d s a s s e s s m e n t s . T h e y h a d s i m i l a r r e s p o n s e r a t e s o n t h e i r s u r v e y s a t s u b s t a n t i a l l y l e s s t i m e i n v e s t m e n t t h a n J u l i e b e c a u s e o f t h e t i m e e f f i c i e n t w a y t h e y c h o s e t o a d m i n i s t e r t h e s u r v e y s . C h a n g e a g e n t r y . A n u m b e r o f a s s e s s o r s r e p o r t e d p r o b l e m s i n t h e i r n e e d s a s s e s s m e n t s t h a t c o u l d b e a t t r i b u t e d t o l a c k o f k n o w l e d g e a n d s k i l l s i n p r o m o t i n g c h a n g e , w h e r e a s o t h e r a s s e s s o r s a l m o s t u n c o n s c i o u s l y e m p l o y i n g c h a n g e s t r a t e g i e s h a d f e w e r p r o b l e m s w i t h t h e i r n e e d s a s s e s s m e n t s . A n e x c e r p t f r o m t h e i n v e s t i g a t o r ' s r e fl e c t i o n j o u r n a l , w r i t t e n w h i l e p a r t i c i p a n t s w e r e i n t h e m i d s t o f c o n d u c t i n g t h e i r n e e d s a s s e s s m e n t s , i l l u s t r a t e s h o w a c o m p a r i s o n o f c a s e s l e d t o t h i s d i s c o v e r y : T N [ 1 0 / 1 3 / 9 2 ] : I h a v e t o b e m o r e r i g o r o u s i n l o o k i n g f o r t h i s i n n o t e s , b u t t h i s i d e a h a s b e e n g r o w i n g o v e r t h e c o u r s e o f t h e d a y . I t w a s p r o b a b l y w h a t m y n o t e o f N g ' s s t u d y w a s a l s o t r y i n g t o g e t a t . N c c d s a n a y s i c w i t h c u j ; W W e v e n a [ p e r s o n a l l y ] d a n g e r o u s t h i n g . I ' m t h i n k i n g o f J o a n ' s e x p e r i e n c e w h e r e s h e h a d h e r c u r r i c u l u m g r o u p ( f o r w h i c h s h e f o r c e d a m e e t i n g t o b e c a l l e d ) fi r s t i d e n t i f y w h a t t h e y t h o u g h t w e r e t h e t h i n g s t h a t s h o u l d b e t a u g h t i n a F P [ F a m i l y P r a c t i c e ] c u r r i c u l u m a n d a s s i g n p e r c e n t a g e s ; t h e n s h e s h o w e d t h e m R R C [ t h e n a t i o n a l a c c r e d i t i n g a s s o c i a t i o n ] r e q u i r e m e n t s , t h e n p r o d u c e d t h e c u r r e n t n o o n c o n f e r e n c e s c h e d u l e s h o w i n g t h a t w h a t t h e y w e r e c u r r e n t l y t e a c h i n g w a s w a y o u t o f l i n e w i t h t h e i r o w n e x p e c t a t i o n s a s w e l l a s g u i d e l i n e s . T h i s w o u n d u p b e i n g 1 6 4 f r u s t r a t i n g f o r h e r b e c a u s e t h e p e o p l e d o n ' t w a n t t o t a k e t h e e x t r a e f f o r t t o c h a n g e . S h e [ a r o u s e d ] d i s c o m f o r t w i t h o u t p r o v i d i n g a w a y o u t o f t h e d i s c o m f o r t ( m y a n a l y s i s , n o t h e r s t a t e m e n t ) . O r A l e x i s , w h o s a i d s h e s a t i n a n e i g h t h o u r m e e t i n g w i t h d o c t o r s w i t h d e c a d e s m o r e e x p e r i e n c e t h a n h e r w h o w a n t t o j u s t g o f o r w a r d a n d p u t i n a n e w c u r r i c u l u m ( t o g e t a 3 . 4 m i l g r a n t ) w i t h o u t d o i n g a N A [ n e e d s a s s e s s m e n t ] o r a n y t h i n g e l s e . I t ' s h a r d t o g e t p e r m i s s i o n t o d o a N A . I f y o u d o o n e , y o u m a y c o m e u p w i t h s o m e s u r p r i s i n g r e s u l t s t h a t o t h e r s d o n ' t l i k e , o r e v e n p e r h a p s t h a t y o u d o n ' t l i k e . [ I n c o n t r a s t ] R u b i n c o n t i n u a l l y e m p h a s i z e d g o i n g a n d t a l k i n g t o p e o p l e , t o " k e e p i n t o u c h " o r " k e e p k e y p e o p l e i n f o r m e d . " T h i s , t o m e , d e m o n s t r a t e s u s e o f N A t e c h n i q u e s n o t s o m u c h t o g a t h e r d a t a , b u t t o p r o m o t e a c c e p t a n c e o f t h e c h a n g e s t h a t e m e r g e f r o m t h e o t h e r p o r t i o n s o f t h e N A T h e a b o v e e n t r y d e s c r i b e s h o w t h r e e p a r t i c i p a n t s ' d i f f e r e n t l e v e l s o f u n d e r s t a n d i n g o f c h a n g e e i t h e r h i n d e r e d o r f a c i l i t a t e d t h e i r n e e d s a s s e s s m e n t s . J o a n d e s c r i b e d m a n y c o n fl i c t s w i t h o t h e r s i n h e r o r g a n i z a t i o n r i s i n g o u t h e r n e e d s a s s e s s m e n t a c t i v i t i e s . T h e s e c o n fl i c t s c o u l d b e a t t r i b u t e d , a t l e a s t i n p a r t , t o h e r l a c k o f k n o w l e d g e a n d s k i l l i n c h a n g e a g e n t r y . I n t h e a b o v e e x a m p l e , J o a n m a d e o t h e r s a w a r e o f t h e c u r r e n t d e fi c i e n c i e s o f t h e s y s t e m T H E Y h a d c r e a t e d , w i t h o u t a l s o d e v i s i n g a g r a c e f u l w a y f o r t h e m t o fi x t h e p r o b l e m w i t h o u t e m b a r r a s s m e n t o r t o o m u c h a d d i t i o n a l e f f o r t . J o a n e x p r e s s e d s u r p r i s e t h a t c o m m i t t e e m e m b e r s d i d n o t " j u m p a t t h e c h a n c e t o fi x t h e p r o b l e m , " a n d a l s o s a i d s h e w a s h u r t t h a t " T w o o f t h e p e o p l e t h a t w e r e i n t h a t m e e t i n g - - i t s e e m s l i k e t h e y ' r e a v o i d i n g m e n o w . " A l e x i s r e c o g n i z e d t h a t n e e d s a s s e s s m e n t s r e q u i r e t h e u s e o f c h a n g e s t r a t e g i e s , b u t d i d n o t k n o w h o w t o d o t h i s . S h e r e c o g n i z e d a p o t e n t i a l f o r c o n fl i c t , d i d n o t h a v e c h a n g e s k i l l s t o c a l l u p o n , a n d o p t e d n o t t o a c t . I n c o n t r a s t , R u b i n a l m o s t u n c o n s c i o u s l y 1 6 5 i n c o r p o r a t e d c h a n g e s t r a t e g i e s i n t o h i s n e e d s a s s e s s m e n t p r o c e s s . H e n o t o n l y r e c o g n i z e d t h a t n e e d s a s s e s s m e n t i m p l i e d c h a n g e , h e h a d c h a n g e s k i l l s a n d n a t u r a l l y e m p l o y e d t h e m a s p a r t o f h i s n e e d s a s s e s s m e n t p r o c e s s . R u b i n , a s w e l l a s o t h e r p a r t i c i p a n t s w h o e m p l o y e d c h a n g e s t r a t e g i e s , r e p o r t e d f e w e r o r n o p r o b l e m s w i t h o t h e r p e o p l e r e s i s t i n g c h a n g e . B i a s c o n t r o l s . A l l o f t h e p a r t i c i p a n t s f a i l e d t o f o l l o w o n e o r m o r e c o m m o n p r o c e d u r e s f o r b i a s c o n t r o l i n d a t a c o l l e c t i o n a n d a n a l y s i s . I n s o m e i n s t a n c e s , p a r t i c i p a n t s l a t e r l e a r n e d t h a t n o t h a v i n g f o l l o w e d t h e s e p r o c e d u r e s h i n d e r e d t h e n e e d s a s s e s s m e n t p r o c e s s . A n d i n m a n y m o r e c a s e s , p a r t i c i p a n t s a s s u m e d t h e c o r r e c t n e s s o f t h e i r c o n c l u s i o n s , w h e n e x p e r t s w o u l d q u e s t i o n t h e i r c o n c l u s i o n s b a s e d u p o n t h e f a u l t y d a t a c o l l e c t i o n a n d a n a l y s i s p r o c e s s . I n s t a n c e s i n w h i c h b i a s w a s n o t c o n t r o l l e d w e r e m o s t e v i d e n t i n t h e s u r v e y s , b e c a u s e t h i s m e t h o d w a s d o c u m e n t e d . T h e r e f o r e . t h e f o l l o w i n g i l l u s t r a t i o n s a r e d r a w n f r o m t h e s u r v e y m e t h o d s o f t h e p a r t i c i p a n t s . O n c e a g a i n , p a r t i c i p a n t s o n t h e l o w e r p o r t i o n o f T a b l e s 8 a n d 1 0 d e m o n s t r a t e d f e w e r b i a s c o n t r o l s t h a n t h o s e l i s t e d o n t h e t o p h a l f o f t h e t a b l e s . E x a m p l e s o f d a t a c o l l e c t i o n a n d a n a l y s i s p r o c e d u r e s w h i c h e i t h e r h i n d e r e d t h e p r o c e s s o r w o u l d l e a d o t h e r s t o q u e s t i o n t h e v e r a c i t y o f t h e c o n c l u s i o n s w e r e : 1 ) a s k i n g l e a d i n g q u e s t i o n s , 2 ) n o r e v i e w o r p i l o t o f i n s t r u m e n t s , 3 ) l o w r e s p o n s e r a t e s , a n d 4 ) r e p o r t i n g c o n c l u s i o n s w i t h o u t p r e s e n t i n g s u p p o r t i n g d a t a . L e a d i n g q u e s t i o n s . P a r t i c i p a n t s s o u g h t i n f o r m a t i o n f r o m r e s p o n d e n t s f o r a v a r i e t y o f p u r p o s e s . M o s t o f t e n , t h e y w a n t e d t o k n o w i f t h e r e w a s s u p p o r t f o r t h e i n t e n d e d c u r r i c u l u m . T o a l e s s e r d e g r e e , p a r t i c i p a n t s s o u g h t i n p u t o n c o n t e n t a n d o n t e a c h i n g a n d 1 6 6 e v a l u a t i o n m e t h o d s . W h e n s u r v e y s w e r e u s e d t o a s s e s s s p p p g t f o r t h e i n t e n d e d c u r r i c u l u m , m a n y o f t h e p a r t i c i p a n t s p h r a s e d q u e s t i o n s i n w a y s w h i c h c u e d r e s p o n d e n t s t h a t a n a f fi r m a t i v e a n s w e r w a s b e i n g s o u g h t . T h e s e q u e s t i o n s w e r e a l s o s t a t e d i n g e n e r a l t e r m s w h i c h m a d e i t e a s y f o r r e s p o n d e n t s t o a n s w e r i n t h e a f f i r m a t i v e . F o r e x a m p l e , E v e a s k e d : " D o e s t h e r e n e e d t o b e m o r e e d u c a t i o n a b o u t c o m m u n i t y m e d i c i n e / p u b l i c h e a l t h i s s u e s i n t h e fi r s t t w o y e a r s o f m e d i c a l s c h o o l ? I f s o , p l e a s e e x p l a i n . " P a r t i c i p a n t s t h e n i n t e r p r e t e d a p o s i t i v e r e s p o n s e t o q u e s t i o n s s u c h a s t h e s e a s s u p p o r t f o r t h e i r i n t e n d e d c u r r i c u l u m . M a n y o f t h e p a r t i c i p a n t s a l s o s o l i c i t e d c c n t e n j ; s u g g e s t i o n s f r o m s u r v e y r e s p o n d e n t s . H o w e v e r , t h e s u r v e y s w e r e o f t e n c o n s t r u c t e d i n a w a y t h a t l e d r e s p o n d e n t s t o c o n fi r m t h e c o n t e n t t h a t h a d b e e n p r e s e l e c t e d b y t h e a s s e s s o r , s u c h a s a s k i n g r e s p o n d e n t s t o c h e c k o f f l i s t e d c o n t e n t a r e a s t h a t s h o u l d b e i n c l u d e d i n t h e c u r r i c u l u m . J u l i e w a s q u i t e o p e n a b o u t g u i d i n g t h e c o n t e n t s e l e c t i o n p r o c e s s . B e f o r e t h e n e e d s a s s e s s m e n t , s h e w a s c o n c e r n e d t h a t s u r v e y r e s p o n d e n t s w o u l d p i c k a c u r r i c u l u m c o n t e n t a r e a i n p r o c e d u r e s i n w h i c h s h e w a s n o t p r o fi c i e n t . S h e t o l d t h e i n v e s t i g a t o r t h a t s h e c o n s t r u c t e d t h e s u r v e y i n a w a y t h a t w o u l d p r e v e n t t h i s p r o b l e m f r o m a r i s i n g : H o w d i d I r e s o l v e t h a t ? I w a s k i n d o f s n e a k y i n m a k i n g t h e s u r v e y . I a s k e d w h a t t o p 5 p r o c e d u r e s s h o u l d b e i n c l u d e d i n t h e F a m i l y P r a c t i c e c u r r i c u l u m i n s t e a d o f w h i c h o n e p r o c e d u r e w a s m o s t i m p o r t a n t . . . i t i s l i k e l y t o t u r n o u t t h e o n e t h i n g I w a n t e d t o d o w o u l d b e i n t h e l i s t o f t o p 5 . L e s s o f t e n , p a r t i c i p a n t s s o l i c i t e d s u g g e s t i o n s o n h c w t c t c g c h W E : t h e i n t e n d e d c u r r i c u l u m . I n t h e s e c a s e s , t h e q u e s t i o n s 1 6 7 w e r e o f t e n w o r d e d i n a w a y f o r r e s p o n d e n t s t o s u p p o r t t h e p a r t i c i p a n t ' s p r e f e r r e d m e t h o d . F o r e x a m p l e , M a x ' s s u r v e y d r a f t a s k e d g r a d u a t e s , " W o u l d a w r i t t e n n o t e b o o k o f c o r e i n f o r m a t i o n a n d s e l f s t u d y m a t e r i a l s h a v e b e e n h e l p f u l ? I f s o , p l e a s e m a k e a n y s u g g e s t i o n s a s t o w h a t i n f o r m a t i o n y o u w o u l d l i k e t o s e e i n c l u d e d . " H e r e c e i v e d m e n t o r f e e d b a c k t h a t t h i s q u e s t i o n w a s l e a d i n g . M e n t o r s s u g g e s t e d r e w r i t i n g t h e q u e s t i o n t o r e a d , " W h a t s u g g e s t i o n s d o y o u h a v e a b o u t h o w i n f o r m a t i o n c o u l d b e c o n v e y e d t o y o u ? " H o w e v e r , M a x ' s r e v i s i o n s t i l l r e f e r r e d t o h i s p r e f e r r e d m e t h o d : " I f a m a n u a l o f c o r e i n f o r m a t i o n a n d s e l f s t u d y m a t e r i a l s w a s m a d e a v a i l a b l e , w h a t i n f o r m a t i o n w o u l d y o u l i k e t o s e e i n c l u d e d ? " N o i n s t r u m e n t r e v i e w o r p i l o t . I n t h e n e e d s a s s e s s m e n t w o r k s h o p , a n d i n i n d i v i d u a l c o n v e r s a t i o n s w i t h m e n t o r s , p a r t i c i p a n t s h a d b e e n u r g e d t o h a v e o t h e r p e o p l e r e v i e w q u e s t i o n s a n d t o p i l o t q u e s t i o n n a i r e s t o " w o r k o u t t h e b u g s " b e f o r e w i d e r d i s s e m i n a t i o n . A p p r o x i m a t e l y h a l f o f t h e p a r t i c i p a n t s h a d a f e l l o w s h i p m e n t o r o r c o l l e a g u e i n t h e i r l o c a l o r g a n i z a t i o n r e v i e w a d r a f t o f q u e s t i o n s . H o w e v e r , t h e o t h e r h a l f s p o k e o f s i t t i n g d o w n , " t y p i n g u p a l i t t l e q u e s t i o n n a i r e " a n d s e n d i n g i t o u t w i t h o u t r e v i e w , o f t e n t h e s a m e d a y . P a r t i c i p a n t s w h o d i d n o t p i l o t q u e s t i o n n a i r e s l a t e r r e p o r t e d m o r e p r o b l e m s i n g e t t i n g t h e m r e t u r n e d . F e l l o w s h i p f a c u l t y s u g g e s t e d t h i s h a p p e n e d b e c a u s e t h e q u e s t i o n n a i r e s h a d b e e n v a g u e a n d h a r d f o r r e s p o n d e n t s t o c o m p l e t e . I n t w o i n s t a n c e s , p a r t i c i p a n t s h a d s u c h a l o w r e s p o n s e t h a t t h e y s e n t o u t a r e v i s e d v e r s i o n o f t h e q u e s t i o n n a i r e . A s s e s s o r s w h o h a d n o t r e v i e w e d o r p i l o t e d t h e i r q u e s t i o n n a i r e s a l s o e x p e r i e n c e d m o r e p r o b l e m s i n i n t e r p r e t i n g t h e r e s u l t s . S e v e r a l p a r t i c i p a n t s r e p o r t e d r e s p o n d e n t s n o t g i v i n g a n s w e r s i n t h e w a y t h a t 1 6 8 h a d b e e n e x p e c t e d . A s a n e x a m p l e , A l e x i s , w h o d i d n o t p i l o t h e r q u e s t i o n n a i r e o r h a v e q u e s t i o n s r e v i e w e d , s p o k e o f d i fi i c u l t y i n i n t e r p r e t i n g a p a r t i c u l a r q u e s t i o n : I r e a l i z e d a f t e r w a r d s t h a t i t w a s a b a d q u e s t i o n . " D o y o u t h i n k t h i s c u r r i c u l u m w o u l d e n h a n c e y o u r m e d i c a l e d u c a t i o n o r a b i l i t y t o b e a n e f f e c t i v e p h y s i c i a n ? " T h e r e i s a c t u a l l y t h r e e q u e s t i o n s i n t h i s q u e s t i o n , w h i c h I d i d n ' t r e a l i z e w h e n I w r o t e i t , b u t I r e a l i z e d w h e n I g o t t h e a n s w e r s b a c k . O n e i s w o u l d i t e n h a n c e y o u , a s i n d o y o u n e e d t o b e m o r e c u l t u r a l l y s e n s i t i v e ? T w o , w o u l d i t m a k e y o u a b e t t e r p h y s i c i a n ? A n d t h r e e , i s t h i s c u r r i c u l u m i m p o r t a n t ? I m e a n , t h a t ' s r e a l l y t h e t h r e e q u e s t i o n s I ' m a s k i n g i n t h i s q u e s t i o n . L o w r e s p o n s e r a t e s . S e v e r a l o f t h e p a r t i c i p a n t s h a d l o w r e s p o n s e r a t e s o n t h e i r q u e s t i o n n a i r e s . A l t h o u g h f e l l o w s h i p f a c u l t y e x p r e s s e d c o n c e r n t h a t l o w r e s p o n s e r a t e s h i n d e r e d t h e v a l i d i t y a n d r e l i a b i l i t y o f t h e r e s u l t s o f t h e n e e d s a s s e s s m e n t , t h i s w a s n o t a c o n c e r n o f t h e p a r t i c i p a n t s . T h e o n l y h i n d r a n c e r e l a t e d t o l o w r e s p o n s e r a t e s r e p o r t e d b y p a r t i c i p a n t s w a s t h a t t h e y w o r r i e d a b o u t n o t g e t t i n g s u r v e y s b a c k , a n d s e v e r a l w e r e e s p e c i a l l y c o n c e r n e d a b o u t n o t h a v i n g s u r v e y s r e t u r n e d i n t i m e t o b e i n c l u d e d i n t h e n e e d s a s s e s s m e n t r e p o r t . H o w e v e r , n o n e d e s c r i b e d a l o w r e s p o n s e r a t e a s a p r o b l e m t h a t w o u l d h i n d e r t h e u l t i m a t e a c c u r a c y a n d v a l u e o f t h e i r n e e d s a s s e s s m e n t r e s u l t s . F o r e x a m p l e , E v e w a s o n e o f m a n y p a r t i c i p a n t s w h o w a s c o n c e r n e d a b o u t n o t g e t t i n g s u r v e y s r e t u r n e d . H o w e v e r , s h e d i d n o t c o n n e c t t h e i m p l i c a t i o n s o f a l o w r e s p o n s e r a t e t o h e r n e e d s a s s e s s m e n t c o n c l u s i o n s . E v e r e c e i v e d s e v e n t e e n c o m p l e t e d s u r v e y s o u t o f 4 4 d i s t r i b u t e d . O f t h e 3 9 % r e s p o n d i n g , a p o r t i o n f e l t t h e r e w a s n o t a n e e d f o r E v e ' s i n t e n d e d c u r r i c u l u m . I n h e r r e p o r t , E v e 1 6 9 i n t e r p r e t e d t h e f o l l o w i n g f r o m t h e s u r v e y s : " T h e m a j o r i t y o f f a c u l t y f e l t t h e r e w a s a d e fi n i t e n e e d f o r m o r e e d u c a t i o n i n t e a c h i n g a b o u t d i f f e r e n t c u l t u r a l g r o u p s a n d s t u d e n t s o n c l i n i c a l r o t a t i o n s e c h o e d t h e n e e d f o r m o r e i n s t r u c t i o n . " F e l l o w s h i p f a c u l t y e x p r e s s e d c o n c e r n s t h a t E v e ' s c u r r i c u l u m m i g h t l a t e r b e h i n d e r e d b y l a c k o f s u p p o r t a s t h e o p i n i o n s o f 6 1 % o f t h o s e s u r v e y e d w e r e n o t k n o w n , a n d a p o r t i o n o f t h o s e r e s p o n d i n g e x p r e s s e d r e s e r v a t i o n s . I t i s i n t e r e s t i n g t o n o t e t h a t e v e n p a r t i c i p a n t s w h o s t r e s s e d t h e n e e d f o r a h i g h r e s p o n s e r a t e s e e m e d t o d o s o f o r r e a s o n s o t h e r t h a n t h e n e e d s a s s e s s m e n t i t s e l f . B o t h J u l i e a n d M a y s p o k e o f t e n o f w a n t i n g t o g e t a r e s p o n s e r a t e o f 8 0 % o r h i g h e r . Y e t , o f t e n i n t h e s a m e s e n t e n c e , t h e r e a s o n g i v e n w a s f o r t h e d a t a t o b e " p u b l i s h a b l e . " T h e i n v e s t i g a t o r a t n o t i m e h e a r d e i t h e r o n e s a y t h a t t h e y w o u l d t h e n f e e l t h e y h a d a n a c c u r a t e u n d e r s t a n d i n g o f w h a t t h e s t a k e h o l d e r s t h o u g h t . R e p o r t i n g c o n c l u s i o n s w i t h o u t s u p p o r t i n g d a t a . P a r t i c i p a n t s r a r e l y r e p o r t e d t h e i r n e e d s a s s e s s m e n t p r o c e s s a n d d a t a i n a w a y t h a t a l l o w e d r e a d e r s t o d e t e r m i n e f o r t h e m s e l v e s w h e t h e r o r n o t t h e c o n c l u s i o n s w e r e v a l i d . A l t h o u g h t h e a s s i g n m e n t i n c l u d e d a s p e c i fi c c h e c k l i s t o f w h a t t o i n c l u d e i n t h e w r i t t e n r e p o r t , a n d a " m o d e l " r e p o r t f r o m a p r e v i o u s f e l l o w w a s p r o v i d e d , p a r t i c i p a n t s m o s t o f t e n r e p o r t e d t h e i r c o n c l u s i o n s w i t h o u t p r e s e n t i n g s u p p o r t i n g d a t a . P a r t i c i p a n t s o f t e n d i d n o t d e s c r i b e s o u r c e s c o n t a c t e d a n d m e t h o d s u s e d i n s u f f i c i e n t d e t a i l f o r r e a d e r s t o f o l l o w t h e i r p r o c e s s . E v e n m o r e o f t e n , " G e s t a l t " c o n c l u s i o n s w e r e r e p o r t e d w i t h o u t d a t a t o b a c k t h e m u p . T h e m a j o r i t y o f p a r t i c i p a n t s d i d n o t r e p o r t q u a n t i fi a b l e 1 7 0 i n f o r m a t i o n s u c h a s n u m b e r s o f s o u r c e s c o n s u l t e d o r t a b u l a t e d r e s p o n s e s o n w r i t t e n s u r v e y s . M a n y p a r t i c i p a n t s p r e s e n t e d g e n e r a l c o n c l u s i o n s w i t h o u t r e p o r t i n g o n t h e p r o c e s s o f a n a l y s i s o r t h e s u p p o r t f o r e a c h o f t h e i d e a s . F o r e x a m p l e , M i k e s t a t e d , " T h e r e s u l t s o f t h e n e e d s a s s e s s m e n t d e m o n s t r a t e d a c o n s e n s u s o f o p i n i o n a m o n g t h e r e s p o n d e n t s t h a t t h e p r i o r i t y f o r c u r r i c u l a r i m p r o v e m e n t s h o u l d f o c u s o n d e v e l o p i n g c l e a r l y s t a t e d g o a l s a n d o b j e c t i v e s f o r t h e v a r i o u s o b s t e t r i c t r a i n i n g e x p e r i e n c e s , " w i t h o u t d e s c r i b i n g t h e q u e s t i o n s a s k e d , t h e s o u r c e s , o r h o w m a n y g a v e t h i s a n s w e r . M o r e o v e r , i t a p p e a r s t h a t p a r t i c i p a n t s o f t e n w r o t e u p t h e i r c o n c l u s i o n s w i t h l i t t l e r e f e r e n c e t o t h e w r i t t e n d a t a . A l t h o u g h a n a n a l y s i s w o r k s h e e t w a s a v a i l a b l e i n t h e a s s i g n m e n t h a n d o u t s , n o p a r t i c i p a n t s p o k e o f h a v i n g u s e d i t . I n c o n v e r s a t i o n s b e f o r e a n d a f t e r t h e p a r t i c i p a n t s w r o t e t h e i r r e p o r t s , t h e y r a r e l y s p o k e o f l o o k i n g a t t h e i r d a t a . T h e y u s e d w o r d s w h i c h s u g g e s t e d a l e s s r i g o r o u s a p p r o a c h t o a n a l y s i s : M i k e s p o k e o f " c o l l e c t i n g i m p r e s s i o n s " a n d R a c h e l s p o k e o f " s y n t h e s i z i n g " t h e d a t a , s a y i n g t h e r e w a s n ' t " a o n e — t o - o n e c o r r e s p o n d e n c e b e t w e e n t h e q u e s t i o n s a n d t h e a n s w e r s . " E v e n i n c a s e s w h e r e t h e p a r t i c i p a n t s w e r e f o r t h r i g h t i n p r e s e n t i n g t h e d a t a , t h e i r c o n c l u s i o n s w e r e n o t c l e a r l y c o n n e c t e d t o t h e r e s u l t s . F o r e x a m p l e , J u l i e s t a r t e d h e r n e e d s a s s e s s m e n t w i t h t h e b e l i e f t h a t p o o r t r a i n i n g a n d d o c u m e n t a t i o n o f c o m p e t e n c y w a s p r e v e n t i n g g r a d u a t e s f r o m o b t a i n i n g h o s p i t a l p r i v i l e g e s t o p e r f o r m p r o c e d u r e s . S h e d i s c o v e r e d i n t h e n e e d s a s s e s s m e n t t h a t : N o n e o f t h e g r a d u a t e s h a d d i f fi c u l t y o b t a i n i n g p r i v i l e g e s b e c a u s e t h e c u r r e n t e v a l u a t i o n s y s t e m w a s 1 7 1 i n a d e q u a t e . . . . [ a n d ] g r a d u a t e s u n a b l e t o o b t a i n p r i v i l e g e s w e r e d e n i e d s o l e l y b e c a u s e t h e y w e r e f a m i l y p r a c t i t i o n e r s . N e v e r t h e l e s s , o n e o f h e r c o n c l u s i o n s w a s t o i n c o r p o r a t e a b e t t e r d o c u m e n t a t i o n s y s t e m i n t o t h e n e w c u r r i c u l u m o n t h e g r o u n d s t h a t t h e n e w d o c u m e n t a t i o n s y s t e m " m a y e n a b l e f a m i l y p r a c t i t i o n e r s t o o b t a i n p r i v i l e g e s i n a r e a s w h e r e t h e y a r e c u r r e n t l y u n a b l e t o d o s o . " I n s e v e r a l o t h e r i n s t a n c e s , t h e a s s e s s o r c o n c l u d e d t h a t a c u r r i c u l u m w a s n e e d e d i n s p i t e o f d a t a t o t h e c o n t r a r y . F o r e x a m p l e . M a x d i s c o v e r e d : " e v a l u a t i o n s f r o m t h e p a s t y e a r r e v e a l e d a n o v e r w h e l m i n g l y p o s i t i v e r e s p o n s e t o t h i s p o r t i o n o f t h e c l e r k s h i p , " a n d " w h e n q u e s t i o n e d a s t o t h e w e a k n e s s o f t h e a m b u l a t o r y r o t a t i o n a t t h e [ n a m e ] , t h e o n l y r e s p o n s e s o t h e r t h a n ' n o n e ' w e r e t h a t s t u d e n t s w i s h e d t h i s s e g m e n t o f t h e r o t a t i o n c o u l d h a v e b e e n l o n g e r . " H o w e v e r , a f t e r r e p o r t i n g t h e s e r e s u l t s , M a x c o n c l u d e d t h a t f u r t h e r i m p r o v e m e n t s c o u l d b e m a d e t o t h i s a l r e a d y g o o d c u r r i c u l u m . I n s u m m a r y , a s s e s s o r s d e m o n s t r a t i n g b e h a v i o r s w h i c h s u g g e s t e d f e w e r s k i l l s i n t h r e e a r e a s e x p e r i e n c e d m o r e p r o b l e m s i n c o n d u c t i n g t h e i r n e e d s a s s e s s m e n t s . T h e s e a r e a s w e r e t i m e m a n a g e m e n t , c h a n g e a g e n t r y , a n d b i a s c o n t r o l s . A s s e s s o r s d e m o n s t r a t i n g p o o r e r t i m e m a n a g e m e n t s k i l l s e x p e r i e n c e d m o r e d i f fi c u l t y i n fi n d i n g t i m e t o w o r k o n t h e i r n e e d s a s s e s s m e n t s a n d i n c o n d u c t i n g t h e n e e d s a s s e s s m e n t i n w a y s t h a t m a x i m i z e d t h e t i m e a v a i l a b l e . T h e d e s c r i p t i o n o f t h r e e p a r t i c i p a n t s ' c h a n g e e x p e r i e n c e s i l l u s t r a t e d h o w n e e d s a s s e s s m e n t s w e r e f a c i l i t a t e d b y a s s e s s o r s w h o n o t o n l y 1 7 2 r e c o g n i z e d t h e r e l a t i o n s h i p b e t w e e n n e e d s a s s e s s m e n t a n d c h a n g e , b u t a l s o w e r e e q u i p p e d t o e m p l o y c h a n g e a g e n t r y s t r a t e g i e s d u r i n g t h e c o u r s e o f t h e n e e d s a s s e s s m e n t . F i n a l l y , f a i l u r e t o e m p l o y b i a s c o n t r o l s o n t h e d a t a c o l l e c t i o n a n d a n a l y s i s p r o c e s s h i n d e r e d t h e n e e d s a s s e s s m e n t s f r o m t h e p e r s p e c t i v e o f t h e f e l l o w s h i p f a c u l t y , i f n o t a l s o f r o m t h e p e r s p e c t i v e o f t h e p a r t i c i p a n t s . F i n d i n g # 1 2 : N e e d s a s s e s c m e n t s w e r c h i n d e r e d b y a t c c w i d e c r t o o n a r r o w f o c u s . P a r t i c i p a n t s w h o e x p r e s s e d t h e l e a s t d i f f i c u l t y w i t h t h e n e e d s a s s e s s m e n t p r o c e s s s t a r t e d w i t h a s o m e w h a t b r o a d a r e a i n w h i c h t o a s k q u e s t i o n s , a n d p r o g r e s s i v e l y n a r r o w e d t h e i r f o c u s o v e r t h e c o u r s e o f t h e n e e d s a s s e s s m e n t . I n c o n t r a s t , a s s e s s o r s w h o d e s c r i b e d m o r e f r u s t r a t i o n s w i t h t h e n e e d s a s s e s s m e n t p r o c e s s d i d n o t n a r r o w t h e i r f o c u s , o r b e g a n w i t h t o o n a r r o w a f o c u s . E a c h o f t h e s e t h r e e p a t t e r n s w i l l b e d e s c r i b e d i n t u r n . A p r o g r e s s i v e l y n a r r o w i n g f o c u s . E x p e r i e n c e d f e l l o w s h i p f a c u l t y s a i d t h a t e v e r y y e a r t h e m a j o r i t y o f f e l l o w s b e g i n t h e f e l l o w s h i p w i t h t o o l a r g e a p r o j e c t i n m i n d . F o r t h o s e o n t h e c u r r i c u l u m t r a c k , t h e p r o j e c t b e c o m e s s m a l l e r a n d m o r e s p e c i fi c a s t h e y l e a r n a b o u t w h a t i s i n v o l v e d i n c r e a t i n g a c u r r i c u l u m a n d c o n d u c t i n g t h e n e e d s a s s e s s m e n t . F o r e x a m p l e , J u l i e b e g a n t h e f e l l o w s h i p w i t h t h e i n t e n t i o n o f c r e a t i n g a m o n t h - l o n g r o t a t i o n i n w h i c h 1 3 p r o c e d u r e s w o u l d b e t a u g h t . A f t e r t w o w e e k s o f t r a i n i n g , s h e r e a l i z e d s h e c o u l d o n l y t e a c h " a b o u t h a l f a d o z e n " p r o c e d u r e s . O v e r t h e c o u r s e o f h e r n e e d s a s s e s s m e n t , s h e s e l e c t e d c d c p r o c e d u r e a n d c o l l e c t e d s u g g e s t i o n s o n c o n t e n t a n d h o w t o t e a c h t h a t o n e p r o c e d u r e . 1 7 3 T o o b r o a d a f o c u s . A s s e s s o r s w h o d i d n o t p r o g r e s s i v e l y n a r r o w t h e i r f o c u s e x p e r i e n c e d d i f fi c u l t y i n d r a w i n g t h e i r n e e d s a s s e s s m e n t s t o a c l o s e . F o r e x a m p l e , E r i n , R a c h e l , a n d A l e x i s c o l l e c t e d m a n y m o r e ( a h u n d r e d o r m o r e ) a r t i c l e s t h a n r e q u i r e d , s a y i n g t h e y d i d n o t w a n t t o " m i s s a n y t h i n g " i n t h e l i t e r a t u r e . T h e s e t h r e e p a r t i c i p a n t s s t i l l h a d v e r y l a r g e p r o j e c t s a n d h a d n o t d e v e l o p e d a f e w s p e c i fi c i m p l e m e n t a b l e c o n c l u s i o n s a f t e r c o m p l e t i n g t h e i r n e e d s a s s e s s m e n t s . R a t h e r t h a n p e r i o d i c a l l y r e v i e w i n g t h e d a t a a l r e a d y c o l l e c t e d , a n d b a s i n g d e c i s i o n s a s t o n e x t s t e p s o f t h e n e e d s a s s e s s m e n t u p o n t h i s d a t a , a s s e s s o r s w h o d i d n o t n a r r o w t h e i r f o c u s c o n t i n u e d t o e x p e n d e n e r g y i n a r e a s t h a t w e r e n o t l i k e l y t o y i e l d n e w i n f o r m a t i o n . M a x , w h o s p e n t t h e l a r g e s t n u m b e r o f h o u r s o n h i s n e e d s a s s e s s m e n t , l a t e r s p o k e o f t h e l i m i t e d v a l u e o f h i s t i m e i n v e s t m e n t : I w o r k e d f a i r l y h a r d o n i t - I w o u l d s a y m o r e t h a n w a s j u s t i fi e d . N o w t h a t I c a n l o o k b a c k o n i t , I w o u l d h a v e p r e f e r r e d t o h a v e p u t m o r e t i m e i n t o s p e c i fi c a s p e c t s o f c r e a t i n g t h e c u r r i c u l u m i n s t e a d . . . . l s e a r c h f o r f a c t s t o b a c k u p m y h u n c h , a n d I t r y t o d o t o o m a n y t h i n g s t o m a k e s u r e . . . I d i d n ' t n e e d t o d o s o m a n y t h i n g s . . . L i k e M a x , o t h e r a s s e s s o r s , w h o k e p t c h e c k i n g f o r a d d i t i o n a l d a t a i n a n a r e a w h e r e t h e y a l r e a d y h a d s u b s t a n t i v e d a t a , e x p r e s s e d f r u s t r a t i o n w i t h t h e n e e d s a s s e s s m e n t . F o c u s i n g w a s a m a j o r p r o b l e m f o r A l e x i s i n p a r t i c u l a r . S h e b e g a n t h e f e l l o w s h i p w a n t i n g t o d o t w o m a j o r p r o j e c t s : d e v e l o p a c u r r i c u l u m a n d w r i t e a m a j o r g r a n t t o g e t f u n d i n g f o r t h e c u r r i c u l u m . S h e l a t e r w a n t e d t o d e v e l o p b o t h t h e c u r r i c u l u m a n d t h e t r a i n i n g f o r f a c i l i t a t o r s o f t h e c u r r i c u l u m . M o n t h s l a t e r , A l e x i s d e s c r i b e d h o w s h e h a d 1 7 4 c o n d u c t e d h e r n e e d s a s s e s s m e n t i n t h e s a m e w a y t h a t s h e a p p r o a c h e d o t h e r t a s k s i n l i f e : I h a v e r e a l d i f fi c u l t y i n f o c u s i n g b e c a u s e I s e e e n d l e s s p o s s i b i l i t i e s . A n d [ i n t h e n e e d s a s s e s s m e n t ] I d i d n ' t t r u s t m y s e l f t o d e c i d e w h a t w a s i m p o r t a n t , w h a t w a s n i c e t o k n o w , a n d w h a t w a s fl u f f . . . . l d i d n ' t k n o w w h a t I w a s l o o k i n g f o r . I k e p t a s k i n g m y s e l f , " H o w a m I e v e r g o i n g t o k n o w - d i d I p i c k t h e r i g h t t h i n g s t o l o o k a t ? " I n t h e s e c a s e s , t h e n e e d s a s s e s s m e n t s w e r e h i n d e r e d b y t h e a s s e s s o r s ' i n a b i l i t y t o 1 ) d e t e r m i n e t h a t s u f f i c i e n t d a t a h a d b e e n c o l l e c t e d , 2 ) m a k e a d e c i s i o n b a s e d o n t h e a v a i l a b l e d a t a , a n d 3 ) p r o c e e d o n t o t h e n e x t p h a s e o f t h e n e e d s a s s e s s m e n t . T o o n a r r o w a f o c u s . I n c o n t r a s t , o t h e r a s s e s s o r s b e g a n t h e n e e d s a s s e s s m e n t w i t h s u c h a fi x e d n o t i o n o f t h e p r o b l e m a n d s o l u t i o n t h a t t h e y d i d n o t c o l l e c t d a t a o n o t h e r o p t i o n s . F o r e x a m p l e , E m m a e x p e r i e n c e d d i f fi c u l t y i n r e c o g n i z i n g s o u r c e s o t h e r t h a n h e r s e l f a n d h e r l e a r n e r s t h a t w e r e s t a k e h o l d e r s i n h e r c u r r i c u l u m o n t h e n o r m a l n e w b o r n n u r s e r y . S h e s a w h e r s e l f a s t h e p e r s o n w h o w a s s o l e l y r e s p o n s i b l e f o r t h e c u r r i c u l u m ; s h e d i d n ' t s e e h o w s h e m i g h t g e t g o o d i n p u t f r o m o t h e r p e o p l e i n t h e h o s p i t a l w h o i n t e r a c t e d w i t h h e r I e a m e r s o n a r e g u l a r b a s i s d u r i n g t h e m o n t h l o n g r o t a t i o n , s u c h a s t h e n u r s e s w h o t e n d e d t o t h e b a b i e s i n t h e n u r s e r y . A n i n t e r e s t i n g p h e n o m e n o n w a s t h e a b i l i t y o f p a r t i c i p a n t s w h o h a d a v e r y n a r r o w f o c u s i n t h e i r o w n n e e d s a s s e s s m e n t t o a s k b r o a d q u e s t i o n s i n o t h e r p a r t i c i p a n t s ' n e e d s a s s e s s m e n t s . F o r e x a m p l e , E m m a w a s c o n c e r n e d t h a t l e a r n e r s w e r e n o t s e e i n g a s m a n y b a b i e s a s t h e y c o u l d b e , b e c a u s e t i m e w a s t a k e n a w a y f r o m t h e c u r r i c u l u m f o r a m o r n i n g c o n f e r e n c e a t a d i f f e r e n t h o s p i t a l . T h i s a l s o c r e a t e d e x t r a 1 7 5 w o r k f o r E m m a , a s s h e t h e n h a d t o t e n d t o t h e b a b i e s h e r s e l f . E m m a d e s c r i b e d h o w h e r n e e d s a s s e s s m e n t h a d " e m p o w e r e d " h e r t o t e l l I e a m e r s i n t h e f u t u r e t h a t o n t h e o n e o r t w o d a y s a m o n t h w h e n t h e n u r s e r y w a s p a r t i c u l a r l y b u s y , t h e y s h o u l d s k i p t h e r e g u l a r l y s c h e d u l e d m o r n i n g c o n f e r e n c e s o t h e y c o u l d c a r e f o r m o r e o f t h e b a b i e s . S a m , w h o h a d a v e r y n a r r o w f o c u s i n h i s o w n n e e d s a s s e s s m e n t , a s k e d q u e s t i o n s t h a t c h a l l e n g e d E m m a ' s p e r c e p t i o n o f t h e p r o b l e m a n d h e r p r o p o s e d s o l u t i o n . S a m q u e s t i o n e d w h e t h e r t h e c o n f e r e n c e w a s a c t u a l l y t h e r e a s o n w h y l e a r n e r s w e r e n ' t s e e i n g m a n y b a b i e s . H e s u g g e s t e d i f t h e c o n c e r n w a s t h a t t h e l e a r n e r s w e r e n o t s e e i n g e n o u g h b a b i e s - - p e r h a p s t h e c u r r i c u l u m c o u l d i n c l u d e a m i n i m u m n u m b e r o f b a b i e s t o b e s e e n o v e r t h e c o u r s e o f a m o n t h . H e a l s o p r o p o s e d m o r e s w e e p i n g c h a n g e s , s u c h a s q u e s t i o n i n g w h e t h e r t h e c o n f e r e n c e s h a d t o b e a t t e n d e d a t a l l . A n o t h e r i n t e r e s t i n g d i s c o v e r y w a s t h a t p a r t i c i p a n t s c o u l d e x h i b i t b o t h a t o o - b r o a d a n d a t o o - n a r r o w f o c u s i n d i f f e r e n t a s p e c t s o f t h e s a m e n e e d s a s s e s s m e n t . A s d e s c r i b e d a b o v e , M a x h a d d i f f i c u l t y n a r r o w i n g h i s n e e d s a s s e s s m e n t i n t h e a r e a o f e s t a b l i s h i n g w h a t t h e c u r r e n t s t a t e o f t h e c u r r i c u l u m w a s . H o w e v e r , a s d e s c r i b e d i n t h e p r e v i o u s fi n d i n g u n d e r b i a s c o n t r o l s , h e a l s o d e m o n s t r a t e d t o o n a r r o w a f o c u s w h e n h e p e r s i s t e d i n a s k i n g a l e a d i n g q u e s t i o n a b o u t a s o l u t i o n h e h a d a l r e a d y d e c i d e d t o u s e i n h i s c u r r i c u l u m . I n s u m m a r y , a s s e s s o r s w h o b e g a n w i t h a b r o a d e r f o c u s , t h e n p e r i o d i c a l l y r e v i e w e d t h e i r d a t a a n d m a d e d e c i s i o n s a s t o h o w t o f u r t h e r n a r r o w t h e i r f o c u s o f i n q u i r y , e x p e r i e n c e d f e w e r p r o b l e m s d u r i n g t h e n e e d s a s s e s s m e n t . N e e d s a s s e s s m e n t s w e r e h i n d e r e d b y a n i n a b i l i t y t o f o c u s o v e r t h e c o u r s e o f t i m e : o p p o r t u n i t i e s t o p e r c e i v e 1 7 6 n e w a n d u s e f u l i d e a s w e r e m i s s e d i n c a s e s i n w h i c h t h e f o c u s w a s a l r e a d y n a r r o w a t t h e b e g i n n i n g o f t h e a s s e s s m e n t . T h e c o n t e x t o f t h e f e l l o w s h i p a l s o p r e s e n t e d f a c t o r s w h i c h . f a c i l i t a t e d o r h i n d e r e d t h e p a r t i c i p a n t s ' n e e d s a s s e s s m e n t s . M o s t o f t h e s e f a c t o r s , w h i c h m a y l i m i t t h e t r a n s f e r a b i l i t y o f t h e fi n d i n g s , w e r e o u t l i n e d i n C h a p t e r I V . H o w e v e r , a s p e c t s o f t h e p a r t i c u l a r c o n t e x t d e s c r i b e d i n fi n d i n g # 1 3 h a v e i m p l i c a t i o n s f o r o t h e r c o n t e x t s . , n a 4 ° # l “ . - . ‘ ‘ w r 1 1 1 1 - 1 1 0 4 ] W W W - W i t h o n e e x c e p t i o n . p a r t i c i p a n t s w e r e l e a r n i n g a b o u t n e e d s a s s e s s m e n t f o r t h e fi r s t t i m e a t t h e f e l l o w s h i p . 9 T h e r e f o r e , t h e m e t h o d s b y w h i c h n e e d s a s s e s s m e n t c o n c e p t s w e r e t a u g h t , a n d t h e c i r c u m s t a n c e s u n d e r w h i c h t h i s l e a r n i n g o c c u r r e d , h a d a l a r g e i m p a c t u p o n h o w w e l l p a r t i c i p a n t s w e r e l i k e l y t o l e a r n a n d b e r e a d y t o a p p l y n e e d s a s s e s s m e n t c o n c e p t s . F o u r a s p e c t s o f t h e f e l l o w s h i p w h i c h e i t h e r c o n t r i b u t e d t o o r h i n d e r e d p a r t i c i p a n t s ' u n d e r s t a n d i n g o f , c o n d u c t i n g o f , a n d r e p o r t i n g o f t h e i r fi r s t n e e d s a s s e s s m e n t s a r e r e p o r t e d b e l o w . F i r s t , t h e t i m i n g o f t h e w o r k s h o p h i n d e r e d t h e p a r t i c i p a n t s ' u n d e r s t a n d i n g o f n e e d s a s s e s s m e n t . A s d e s c r i b e d i n C h a p t e r I V , m a n y p a r t i c i p a n t s r e p o r t e d b e i n g f r u s t r a t e d b y h o w l a t e t h e n e e d s a s s e s s m e n t w o r k s h o p o c c u r r e d i n t h e t w o - w e e k s e s s i o n . T h e y f e l t t h e y c o u l d h a v e h a d t h e w o r k s h o p e a r l i e r , t h e n a p p l y w h a t t h e y 9 J o a n h a d l e a r n e d a b o u t n e e d s a s s e s s m e n t a s p a r t o f a t w o - a n d - h a l f d a y w o r k s h o p o n c u r r i c u l u m d e s i g n a n d i m p l e m e n t a t i o n . A s t h i s b r i e f o v e r v i e w o f n e e d s a s s e s s m e n t w a s t a u g h t b y a f e l l o w s h i p f a c u l t y m e m b e r u s i n g m a t e r i a l s f r o m t h e f e l l o w s h i p , t h e c o n c e p t s J o a n w a s e x p o s e d t o w o u l d n o t c o n fl i c t w i t h t h o s e t a u g h t i n t h e f e l l o w s h i p . 1 7 7 l e a r n e d i n t h e w o r k s h o p t o o t h e r e x p e r i e n c e s i n t h e s e s s i o n , r e s u l t i n g i n b e t t e r d e v e l o p e d n e e d s a s s e s s m e n t p l a n s t o t a k e b a c k t o t h e i r h o m e o r g a n i z a t i o n s . I n fi n d i n g # 8 , w e s a w h o w t h e c o n c e p t o f n e e d s a s s e s s m e n t w a s d i fi i c u l t f o r b e g i n n e r s t o g r a s p . A s R u b i n d e s c r i b e s , t h i s p r o b l e m w a s e x a c e r b a t e d b y t h e t i m i n g o f t h e w o r k s h o p ( e m p h a s i s a d d e d ) : T h e m e t h o d i s m a d e a m y s t e r y . . . I k n o w t h e y w a n t m e t o b e s u c c e s s f u l i n m y p r o j e c t , a n d t h e y w a n t m e t o d o i t a s e a s i l y a s p o s s i b l e . . . s o t h e r e o u g h t t o b e a w a y t o h a v e t h e n e e d s a s s e s s m e n t a l m o s t c o o k b o o k . . . t h i s i s w h a t y o u n e e d t o d o a n d h o w y o u d o i t . . . s o m e w h e r e w a y u p f r o n t w e n e e d a q u i c k a n d d i r t y d e fi n i t i o n o f n e e d s a s s e s s m e n t a n d a g e n e r a l o u t l i n e Q f h o w o n e i s d o n e . A l s o , t h e w o r k s h o p h a p p e n e d t o o c c u r a t t h e e m o t i o n a l a n d m e n t a l n a d i r o f t h e f e l l o w s h i p . A p p r o x i m a t e l y h a l f o f t h e f e l l o w s w e r e o f f t a s k d u r i n g t h e w o r k s h o p . S e v e r a l w e r e u n a b l e t o p l a n a n e e d s a s s e s s m e n t b e c a u s e t h e y w e r e i n t h e m i d s t o f r e a l i z i n g t h e y c o u l d n o t d o t h e i r o r i g i n a l p r o j e c t : o t h e r s w e r e " b u r n e d o u t " a n d u n a b l e t o a t t e n d t o t h e m a t e r i a l a t t h e t i m e o f t h e w o r k s h o p . O b v i o u s l y , l e a r n i n g a n y m a t e r i a l i s h i n d e r e d b y t i m i n g i s s u e s s u c h a s t h e s e . R e a d y a c c e s s t o f e l l o w s h i p f a c u l t y f a c i l i t a t e d p a r t i c i p a n t s ' u n d e r s t a n d i n g a n d a p p l i c a t i o n o f n e e d s a s s e s s m e n t c o n c e p t s . T h i s a c c e s s w a s a v a i l a b l e t o p a r t i c i p a n t s : 1 ) a t t h e p o i n t o f l e a r n i n g a b o u t n e e d s a s s e s s m e n t , 2 ) a f t e r a p e r i o d f o r r e fl e c t i o n , a n d 3 ) w h i l e t h e y w e r e i n t h e m i d s t o f c o n d u c t i n g t h e i r n e e d s a s s e s s m e n t s . F i r s t , a l l f e l l o w s h i p f a c u l t y w h o w e r e m e n t o r s t o p a r t i c i p a n t s a t t e n d e d t h e w o r k s h o p a n d w e r e a v a i l a b l e t o a n s w e r q u e s t i o n s a n d d i s c u s s i n d i v i d u a l p a r t i c i p a n t s ' c o n c e r n s . T i m e w a s b u i l t i n t o t h e w o r k s h o p t o 1 7 8 e n c o u r a g e t h e s e i n t e r a c t i o n s . H o w e v e r , m a n y o f t h e p a r t i c i p a n t s s t i l l l e f t t h e w o r k s h o p w i t h q u e s t i o n s a b o u t n e e d s a s s e s s m e n t . T o a l l o w p a r t i c i p a n t s t o d i s c u s s t h e i r n e e d s a s s e s s m e n t p l a n s a f t e r t h e y h a d h a d a p e r i o d o f t i m e t o r e fl e c t , a l l p a r t i c i p a n t s h a d a p r i v a t e m e e t i n g s c h e d u l e d w i t h t h e i r m e n t o r s t h e f o l l o w i n g d a y . O n e o f t h e o b j e c t i v e s o f t h i s m e e t i n g w a s t o m a k e s u r e t h e p a r t i c i p a n t h a d a c l e a r i d e a o f h o w t o c o n d u c t t h e n e e d s a s s e s s m e n t . F i n a l l y , f e l l o w s h i p f a c u l t y w e r e a v a i l a b l e d u r i n g t h e s i x - w e e k p e r i o d i n w h i c h p a r t i c i p a n t s w e r e a t t h e i r h o m e o r g a n i z a t i o n s c o n d u c t i n g t h e i r n e e d s a s s e s s m e n t s . P a r t i c i p a n t s c a l l e d w i t h q u e s t i o n s a n d f a x e d d r a f t s o f q u e s t i o n n a i r e s t o b e r e v i e w e d b y f a c u l t y . M o s t o f t e n , p a r t i c i p a n t s r e c e i v e d f e e d b a c k t h e s a m e d a y i t w a s s o l i c i t e d . P a r t i c i p a n t s r e m a r k e d t h a t t i m e l y f e e d b a c k w a s i m p o r t a n t i n t h e s e i n t e r a c t i o n s , a s t h e y w e r e a l r e a d y e n c o u n t e r i n g n u m e r o u s o t h e r f o r m s o f d e l a y i n c o n d u c t i n g t h e i r n e e d s a s s e s s m e n t s ( a s d e s c r i b e d i n fi n d i n g # 9 ) . M a n y o f t h e p a r t i c i p a n t s d e s c r i b e d h a n d o u t s a s f a c i l i t a t i n g t h e n e e d s a s s e s s m e n t . T h e h a n d o u t s i n c l u d e d : I ) a w o r k s h o p p a c k a g e d e s c r i b i n g e a c h o f t h e s t e p s o f t h e n e e d s a s s e s s m e n t p r o c e s s a n d w o r k s h e e t s f o r p a r t i c i p a n t s t o p l a n t h e i r o w n , 2 ) a n e x a m p l e r e p o r t w r i t t e n b y a p r e v i o u s f e l l o w , a n d 3 ) a d e s c r i p t i o n o f t h e a s s i g n m e n t a n d a l i s t o f t h e c r i t e r i a b y w h i c h t h e w r i t t e n r e p o r t w o u l d b e j u d g e d ( s e e A p p e n d i x G ) . T h e g r e a t a d v a n t a g e w a s t h a t p a r t i c i p a n t s c o u l d r e f e r t o t h e s e h a n d o u t s a t t h e i r l e i s u r e , a n d a t a n y t i m e i n w h i c h t h e y w e r e r e a d y f o r a p a r t i c u l a r p i e c e o f i n f o r m a t i o n . P a r t i c i p a n t s m o s t f r e q u e n t l y r e f e r r e d t o t h e w o r k s h o p p a c k a g e a s b e i n g u s e f u l . A l t h o u g h t h e w o r k s h o p p a c k a g e w a s d i s c u s s e d p a g e - b y - p a g e d u r i n g t h e w o r k s h o p , p a r t i c i p a n t s r e m a r k e d o n i t s u s e f u l n e s s 1 7 9 l a t e r w h e n t h e y w e r e w o r k i n g o n t h e i r n e e d s a s s e s s m e n t s a t h o m e . I n p a r t i c u l a r , e v e n t h o u g h p a r t i c i p a n t s h a d b e g u n c o m p l e t i n g w o r k s h e e t s f r o m t h e p a c k a g e d u r i n g t h e w o r k s h o p , t h e y f o u n d i t u s e f u l t o c o m p l e t e t h e m l a t e r . J u l i e s a i d " J u s t f o l l o w i n g t h a t [ t h e N A w o r k s h e e t s ] - I w a s a b l e t o p l a n o u t a l l t h e s t u f f I w a s g o i n g t o d o . " A n d M a y s a i d , " I t w a s a v e r y h e l p f u l s e r i e s o f s t r u c t u r e d e x e r c i s e s . " E v e n R a c h e l , w h o b e c a m e k n o w n f o r n o t u s i n g a v a i l a b l e r e s o u r c e s , m a d e u s e o f t h e w o r k s h o p p a c k a g e : " ( T h e o t h e r w o r k s h e e t s ] w a s n ' t s t u f f I c o u l d u s e . . . b u t t h i s o n e [ h o l d i n g u p t h e N e e d s A s s e s s m e n t P l a n n i n g W o r k s h e e t ] h e l p e d m e d e fi n e w h a t I w a s l o o k i n g f o r . " A s m a l l e r n u m b e r o f p a r t i c i p a n t s s p o n t a n e o u s l y d e s c r i b e d r e f e r r i n g t o t h e e x a m p l e a n d a s s i g n m e n t c r i t e r i a l i s t t o h e l p t h e m c o m p l e t e t h e a s s i g n m e n t . S o m e s a i d t h e e x a m p l e g a v e t h e m a b e t t e r i d e a o f w h a t t h e y w e r e " a i m i n g f o r . " O t h e r s w e r e c o n f u s e d b y p o r t i o n s o f t h e e x a m p l e , a s d e m o n s t r a t e d b y a f e w p a r t i c i p a n t s c o n t a c t i n g t h e i r m e n t o r s t o a s k w h e t h e r w o r d i n g o r i n f o r m a t i o n s p e c i fi c t o t h e e x a m p l e r e p o r t a l s o n e e d e d t o b e i n c o r p o r a t e d i n t o t h e i r o w n . M o s t o f t h e p a r t i c i p a n t s r e p o r t e d r e v i e w m g t h e l i s t o f c r i t e r i a p r i o r t o w r i t i n g u p t h e i r o w n r e p o r t . T h e t i m e l i n e s s a n d w a y s i n w h i c h t h e s e h a n d o u t s f a c i l i t a t e d t h e n e e d s a s s e s s m e n t s c a n b e c o n t r a s t e d w i t h p a r t i c i p a n t s ' d i f f i c u l t i e s i n l o c a t i n g a n d i n t e r p r e t i n g t h e l i t e r a t u r e . A l m o s t e v e r y p a r t i c i p a n t s p o n t a n e o u s l y d e s c r i b e d p r o b l e m s w i t h t h e l i t e r a t u r e s e a r c h . A l t h o u g h t h e y h a d b e e n t a u g h t i n t h e f e l l o w s h i p h o w t o s e a r c h f o r l i t e r a t u r e e l e c t r o n i c a l l y , m o r e t h a n h a l f d e s c r i b e d t r o u b l e l o c a t i n g r e f e r e n c e s . R u b i n c h a r a c t e r i z e d t h e p a r t i c i p a n t s ' q u a n d a r y w h e n h e s a i d : " I a r r i v e d a t t h e c o n c l u s i o n , i n w o r k i n g w i t h G r a t e f u l M e d [ a 1 8 0 c o m p u t e r i z e d l i t e r a t u r e s e a r c h p r o g r a m ] , t h a t e i t h e r I w a s n ' t d o i n g i t t h e r i g h t w a y , o r t h e r e w a s n o t a l o t o u t t h e r e . " A n d a l s o , t h e l o c a t e d m a t e r i a l s w e r e o f t e n n o t a s h e l p f u l a s t h e y h a d a p p e a r e d t h e y w o u l d b e f r o m t h e i r t i t l e s a n d a b s t r a c t s . I n d e s c r i b i n g t h e l i t e r a t u r e s e a r c h , M a x s a i d , " T h i s p r o b a b l y h a s b e e n t h e l e a s t h e l p f u l p a r t . I t s e e m s t h a t w h a t I n e e d i s s t u f f t h a t ' s n o t p u b l i s h e d . A n y t h i n g , i f i t i s p u b l i s h e d , i s v a g u e a n d g e n e r a l . . . . " I n c o n t r a s t t o t h e h a n d o u t s , w h i c h q u i c k l y p r o v i d e d h e l p w h e n r e f e r r e d t o , p a r t i c i p a n t s d e s c r i b e d s p e n d i n g l a r g e a m o u n t s o f t i m e w i t h a s m a l l r e t u r n w h e n s e a r c h i n g t h e l i t e r a t u r e . I n a d d i t i o n , a s d e s c r i b e d i n fi n d i n g # 1 2 , t h e l i t e r a t u r e s e a r c h s o m e t i m e s d i v e r t e d e n e r g y f r o m o t h e r n e e d s a s s e s s m e n t a c t i v i t y : s p e n d i n g t i m e r e v i e w i n g h a n d o u t s o r c o m p l e t i n g w o r k s h e e t s w a s n e v e r d e s c r i b e d t h i s w a y . I n s u m m a r y , f o u r f a c t o r s r e l a t e d t o t h e f e l l o w s h i p i m p a c t e d t h e n e e d s a s s e s s m e n t s o f t h e p a r t i c i p a n t s . T h e p a r t i c i p a n t s ' n e e d s a s s e s s m e n t s w e r e h i n d e r e d b y t h e t i m i n g o f t h e w o r k s h o p , i n w h i c h t h e y w e r e fi r s t e x p o s e d t o n e e d s a s s e s s m e n t c o n c e p t s , a n d b y p a r t i c i p a n t s d i r e c t i n g t o o m u c h e f f o r t t o t h e r e l a t e d l i t e r a t u r e r e v i e w a s s i g n m e n t . T h e p a r t i c i p a n t s ' n e e d s a s s e s s m e n t s w e r e f a c i l i t a t e d b y h a v i n g a c c e s s t o f a c u l t y t o c l e a r u p q u e s t i o n s a s t h e y w e r e l e a r n i n g a b o u t a n d c o n d u c t i n g t h e i r fi r s t n e e d s a s s e s s m e n t s , a n d b y b e i n g a b l e t o r e f e r t o h a n d o u t s w h i c h i n c l u d e d s t r u c t u r e d e x e r c i s e s . W i l e s . T h e h o m e o r g a n i z a t i o n w a s t h e t h i r d a r e a a r o u n d w h i c h fi n d i n g s r e l a t e d t o h o w n e e d s a s s e s s m e n t c a n b e f a c i l i t a t e d o r h i n d e r e d m a y b e c l u s t e r e d . l n f o r r n a t i o n f r o m i n t e r v i e w s r e v e a l e d t h a t t h e r e w e r e 1 8 1 s i m i l a r c o n s t r a i n t s a n d c h a l l e n g e s i n m a n y o f t h e p a r t i c i p a n t s ' h o m e o r g a n i z a t i o n s . A s d e s c r i b e d b e l o w , p a r t i c i p a n t s r e p o r t e d w o r k p i l i n g u p i n t h e i r a b s e n c e , b e i n g a s k e d t o t a k e o n a d d i t i o n a l d u t i e s , a n d d i s c o v e r i n g t h a t s o m e a s p e c t o f t h e i r n e e d s a s s e s s m e n t w a s n o t p r a c t i c a b l e . W h a t w a s d i f f e r e n t w a s h o w e a c h o f t h e p a r t i c i p a n t s p e r c e i v e d a n d m a n a g e d t h e s e c h a l l e n g e s . T h e f o l l o w i n g t w o fi n d i n g s w i l l d e s c r i b e h o w t h e n e e d s a s s e s s m e n t s w e r e f a c i l i t a t e d o r h i n d e r e d - - m o r e b y h o w t h e p a r t i c i p a n t r e s p o n d e d t o a g i v e n s i t u a t i o n t h a n b y t h e a c t u a l s e v e r i t y o f t h e c o n s t r a i n t s i n t h e h o m e o r g a n i z a t i o n . F i n d i n g # 1 4 : A s s e s s o r s d e m o n s t r a t i n g a b c l i e f i n i n t c r n a l c o n t r o l p e r c e i v e d f e w e r d i f fi c u l t i e s i n c o n d u c t i n g t h e n e e d s a s s e s s m e n t . 1 0 M a n y o f t h e c o n s t r a i n t s d e s c r i b e d w e r e p r e s e n t i n t h e h o m e o r g a n i z a t i o n o f a l m o s t e v e r y p a r t i c i p a n t . H o w e v e r , o v e r t i m e , a p a t t e r n e m e r g e d i n w h i c h s o m e a s s e s s o r s d e s c r i b e d h i n d e r i n g c i r c u m s t a n c e s i n t h e h o m e o r g a n i z a t i o n a s b e i n g i s s u e s b e y o n d t h e i r c o n t r o l . I n t h e s e i n s t a n c e s , p a r t i c i p a n t s w e r e l o c a t i n g r e s p o n s i b i l i t y f o r f a i l u r e s o u t s i d e o f t h e m s e l v e s ( o r d e m o n s t r a t i n g " e x t e r n a l c o n t r o l " ) . I n c o n t r a s t , o t h e r p a r t i c i p a n t s d e s c r i b e d h o w t h e i r o w n a c t i o n s b r o u g h t a b o u t t h e d e s i r e d e v e n t , i n s p i t e o f s i m i l a r o r g a n i z a t i o n a l c o n s t r a i n t s . T h e s e p a r t i c i p a n t s w e r e d e m o n s t r a t i n g " i n t e r n a l c o n t r o l . " T h e y d e s c r i b e d t h e s e s a m e o r g a n i z a t i o n a l c o n s t r a i n t s a s f a c t o r s t h e y h a d t o t a k e i n t o a c c o u n t w h e n p l a n n i n g h o w t o a c c o m p l i s h t h e i r n e e d s a s s e s s m e n t s . O f t e n , t h e p a r t i c i p a n t s 1 0 O v e r t i m e , p a r t i c i p a n t s c o n s i s t e n t l y d i s p l a y e d b e h a v i o r s a n d m a d e a t t r i b u t i o n s t h a t i d e n t i fi e d a p e r s p e c t i v e w h i c h h a s b e e n l a b e l e d " i n t e r n a l c o n t r o l " o r " e x t e r n a l c o n t r o l . " H o w e v e r . a s a n i n s t r u m e n t m e a s u r i n g l o c u s o f c o n t r o l o r a t t r i b u t i o n w a s n o t a d m i n i s t e r e d . p a r t i c i p a n t s c o u l d n o t b e d e s c r i b e d a s p o s s e s s i n g a n i n t e r n a l o r e x t e r n a l l o c u s o f c o n t r o l . O t h e r s w i s h i n g t o p u r s u e r e s e a r c h i n t h i s a r e a m a y w a n t t o c o n s i d e r u s i n g s o m e m e a s u r e o f a t t r i b u t i o n w i t h p a r t i c i p a n t s . 1 8 2 d e m o n s t r a t i n g i n t e r n a l c o n t r o l d i d n o t e v e n m e n t i o n t h e s e c o n s t r a i n t s : t h e i n v e s t i g a t o r d i s c o v e r e d t h e m w h e n c o n d u c t i n g m e m b e r c h e c k s . E x t e r n a l c o n t r o l . E v e a n d S a m m o s t o f t e n d i s p l a y e d b e h a v i o r s i n d i c a t i n g e x t e r n a l c o n t r o l . E a c h i n d e p e n d e n t l y s u g g e s t e d t h a t h i s o r h e r o w n t y p e o f c u r r i c u l u m w a s m o r e d i f f i c u l t t o c r e a t e t h a n t h e t y p e s o f c u r r i c u l a s e l e c t e d b y t h e o t h e r p a r t i c i p a n t s . T h e s e t w o a l s o h a d t h e l o w e s t r e s p o n s e r a t e s o n s u r v e y s . T h e y d i s t r i b u t e d t h e s u r v e y s i n w a y s w h i c h w e r e h e a v i l y r e l i a n t u p o n o t h e r s . F o r e x a m p l e , S a m s e n t fi v e c o p i e s o f h i s s u r v e y t o t w o d i f f e r e n t d e p a r t m e n t c h a i r s a n d a s k e d t h e c h a i r s t o d i s t r i b u t e t h e s u r v e y s " t o i n t e r e s t e d f a c u l t y . " I n c o n t r a s t t o o t h e r p a r t i c i p a n t s w h o w e r e n o t g e t t i n g s u r v e y s r e t u r n e d i n a t i m e l y m a n n e r , n e i t h e r S a m n o r E v e f o l l o w e d u p w i t h r e s p o n d e n t s t o u r g e t h e m t o c o m p l e t e t h e s u r v e y s . E v e s p o k e o f h a v i n g c a l l e d a p e r s o n f o r h e r n e e d s a s s e s s m e n t w e e k s e a r l i e r a n d n o t h a v i n g h e a r d f r o m t h e p e r s o n y e t . S h e h a d n o p l a n s t o p l a c e a f o l l o w - u p p h o n e c a l l o r w r i t e a l e t t e r . B o t h S a m a n d E v e s p o k e o f f e e l i n g l e t d o w n b y h o w l i t t l e i n t e r e s t o t h e r s d i s p l a y e d i n t h e i r c u r r i c u l a . E v e w a s s u r p r i s e d t h a t p e o p l e w e r e n o t r e t u r n i n g h e r s u r v e y s . S a m s p o k e o f t e n o f h a v i n g t o w o r k o n t h e c u r r i c u l u m h i m s e l f a n d n o t f e e l i n g s u p p o r t e d b y o t h e r f a c u l t y . W h e n r e p o r t i n g o n t h e n e e d s a s s e s s m e n t , h e s a i d , " W e h a d t h e s e m e e t i n g s . N o b o d y s a i d t o m e ' B o y I r e a l l y t h i n k y o u s h o u l d t e a c h t h i s l ' " J o a n a n d A l e x i s a l s o d i s p l a y e d b e h a v i o r s i n d i c a t i n g e x t e r n a l c o n t r o l . T h e y b o t h s p o k e o f p e o p l e i n t h e i r o r g a n i z a t i o n " g e t t i n g i n t h e w a y o f t h e i r p e r f o r m i n g . " J o a n d e s c r i b e d t h r e e d i f f e r e n t c o n fl i c t s w i t h i n d i v i d u a l s o v e r t h e c o u r s e o f c o n d u c t i n g h e r n e e d s a s s e s s m e n t . 1 8 3 A l e x i s c o i n e d a p h r a s e t h a t d e s c r i b e s h e r n e g a t i v e e x p e c t a t i o n s . S h e s p o k e o f " h i t t i n g t h e w a l l o f n o " w h e n s h e h a d c o n t a c t e d p e o p l e f o r i n f o r m a t i o n d u r i n g h e r n e e d s a s s e s s m e n t : " W h o a m I , l i t t l e , s m a l l , i n s i g n i fi c a n t m e , c a l l i n g t h e s e p e o p l e , t a k i n g u p t h e i r v a l u a b l e t i m e . . . . a n d I s o r t o f g o t t h a t r e s p o n s e f r o m [ n a m e ] . . . m a y b e s h e w a s b u s y , b u t h e r r e s p o n s e s w e r e v e r y s h o r t a n d c l i p p e d . I t c o n fi r m e d t h e " w a l l o f n o " f o r m e . . . . " A l e x i s s a i d t h a t , a f t e r m a k i n g t h i s c a l l , s h e w a s l o a t h e t o c o n t a c t o t h e r s . A s d e s c r i b e d i n fi n d i n g # 1 1 , a s s e s s o r s d e m o n s t r a t i n g p o o r e r t i m e m a n a g e m e n t s k i l l s e x p e r i e n c e d m o r e d i f fi c u l t y i n fi n d i n g t i m e t o w o r k o n t h e i r n e e d s a s s e s s m e n t s a n d i n c o n d u c t i n g t h e n e e d s a s s e s s m e n t i n w a y s t h a t m a x i m i z e d t h e u s e o f t i m e . H o w e v e r , a s s e s s o r s e x p e r i e n c i n g t i m e m a n a g e m e n t p r o b l e m s f o c u s e d t h e b l a m e o n e i t h e r t h e n e e d s a s s e s s m e n t t a s k i t s e l f , o r o n c o n s t r a i n t s w i t h i n t h e o r g a n i z a t i o n a n d , w i t h o n l y o n e e x c e p t i o n , d i d n o t p e r c e i v e t h e i r o w n t i m e m a n a g e m e n t s k i l l s a s a h i n d e r i n g f a c t o r . l l I n t e r n a l c o n t r o l . I n c o n t r a s t , o t h e r p a r t i c i p a n t s d e m o n s t r a t e d i n t e r n a l c o n t r o l b y a d j u s t i n g t h e i r a c t i v i t i e s t o b r i n g a b o u t t h e r e s u l t t h e y d e s i r e d . M a y a n d J u l i e w e r e c o n c e r n e d a b o u t r e s p o n s e r a t e s o n t h e i r s u r v e y s , a n d w e r e m o r e a c t i v e i n m a k i n g s u r e t h e y g o t t h e m b a c k . M a y h a n d e d t h e s u r v e y s o u t a t a m e e t i n g a n d l i t e r a l l y b l o c k e d t h e e x i t t o a s k p e o p l e t o r e t u r n t h e s u r v e y b e f o r e l e a v i n g t h e r o o m . M a x a s s u m e d t h a t i t w o u l d t a k e t i m e f o r a n o r g a n i z a t i o n t o fi n d a n d 1 1 S a m . w h o h a d b e e n a p h y s i c i a n i n p r i v a t e p r a c t i c e f o r o v e r t e n y e a r s b e f o r e c o m i n g i n t o a c a d e m i c m e d i c i n e , w a s t h e o n l y o n e t o d i r e c t l y a d d r e s s h i s l a c k o f t i m e m a n a g e m e n t s k i l l s : " O n e o f m y b i g t r o u b l e s i s o r g a n i z i n g t i m e , b e c a u s e I ' v e n e v e r h a d t o , I w a s a l w a y s j u s t s e e i n g p a t i e n t s b e f o r e . " 1 8 4 m a i l h i m t h e i n f o r m a t i o n h e w a n t e d . s o h e c a l l e d t o r e q u e s t t h e m a t e r i a l s h i s fi r s t d a y b a c k o n t h e j o b . B a l a n c i n g w o r k a n d f e l l o w s h i p d e m a n d s . A s d e s c r i b e d i n C h a p t e r I V , t h e p a r t i c i p a n t s h a d d e m a n d i n g w o r k l i v e s . E v e n t h o u g h t h e y w e r e s u p p o s e d t o r e c e i v e b e t w e e n 1 0 a n d 2 0 % r e l e a s e t i m e t o w o r k o n f e l l o w s h i p t a s k s , i n c l u d i n g t h e n e e d s a s s e s s m e n t , t h i s r a r e l y h a p p e n e d . T h e y h a d w o r k r e s p o n s i b i l i t i e s t o c a t c h u p o n , w e r e o f t e n r e t u r n i n g t o s h o r t s t a f f e d d e p a r t m e n t s , a n d h a d t o c o p e w i t h u n e x p e c t e d c r i s e s . I n s t e a d o f h a v i n g s o m e w o r k t i m e a v a i l a b l e t o b e g i n t h e i r n e e d s a s s e s s m e n t s w h e n t h e y r e t u r n e d f r o m t h e f e l l o w s h i p t w o - w e e k o n - c a m p u s s e s s i o n , p a r t i c i p a n t s w e r e c o n f r o n t e d w i t h p a p e r w o r k , o v e r b o o k e d p a t i e n t c a r e s c h e d u l e s , a n d o f fi c e h o u r s a n d l e c t u r e s o w e d c o l l e a g u e s w h o h a d c o v e r e d f o r t h e m i n t h e i r a b s e n c e . M a n y o f t h e p a r t i c i p a n t s d e s c r i b e d p l a y i n g " c a t c h u p " f o r t h e t w o w e e k s f o l l o w i n g t h e f e l l o w s h i p . T h e d i f f e r e n c e l a y i n w h e t h e r p a r t i c i p a n t s s p o n t a n e o u s l y d e s c r i b e d t h e s e s i t u a t i o n s t o t h e i n v e s t i g a t o r a s r e a s o n s w h y t h e n e e d s a s s e s s m e n t w a s n o t b e i n g c o n d u c t e d o r w h e t h e r t h e i n v e s t i g a t o r h a d t o d r a w o u t t h e s e c i r c u m s t a n c e s a s s o m e t h i n g w i t h w h i c h t h e p a r t i c i p a n t s w e r e d e a l i n g . F o r e x a m p l e , w h e n a s k e d a b o u t t h e e f f o r t s h e h a d p u t i n t o t h e n e e d s a s s e s s m e n t , R a c h e l i m m e d i a t e l y r e s p o n d e d : " Y o u ' v e g o t t o k e e p i n m i n d t h a t I h a v e a f u l l t i m e j o b w i t h o u t t h e f e l l o w s h i p . W h e n I g e t b a c k , I o w e t h e m f o r c o v e r i n g m y c l i n i c f o r m e . . . . " I n c o n t r a s t , p a r t i c i p a n t s d e m o n s t r a t i n g i n t e r n a l c o n t r o l t e n d e d o n l y t o m e n t i o n o r g a n i z a t i o n a l c o n s t r a i n t s a s p a r t o f a n e x p l a n a t i o n o f w h y t h e y h a d c h o s e n a p a r t i c u l a r a c t i o n . S u e w a s 1 8 5 r e s p o n s i b l e f o r s e e i n g p a t i e n t s a n d t e a c h i n g i n t h e h o s p i t a l f o r t w o w e e k s f o l l o w i n g t h e f e l l o w s h i p s e s s i o n . H o s p i t a l d u t y i s v e r y d e m a n d i n g , a n d i n c l u d e s n i g h t c a l l s . S u e m e n t i o n e d t h i s c i r c u m s t a n c e t o t h e i n v e s t i g a t o r o n l y i n t h e c o n t e x t o f d e s c r i b i n g w h y s h e h a d e l e c t e d t o d o a s u r v e y a s p a r t o f h e r n e e d s a s s e s s m e n t . S h e s a i d s h e k n e w s h e ' d b e v e r y b u s y f o r t w o w e e k s , s o s h e h a d d i s t r i b u t e d a s u r v e y t h a t o t h e r s c o u l d r e t u r n f o r h e r t o l o o k a t a f t e r t h e t w o w e e k s w e r e o v e r . P a r t i c i p a n t s d i s p l a y e d s i m i l a r a p p r o a c h e s t o o t h e r c o n s t r a i n t s , s u c h a s d e a l i n g w i t h e x t r a w o r k a n d h a n d l i n g u n e x p e c t e d c r i s e s . T h r e e o f t h e p a r t i c i p a n t s s p o k e o f t h e i r d e p a r t m e n t s b e i n g s h o r t s t a f f e d a n d , t h e r e f o r e , h a v i n g t o t a k e o n a d d i t i o n a l w o r k r e s p o n s i b i l i t i e s w h i l e t h e y w e r e a l s o t r y i n g t o c o n d u c t t h e i r n e e d s a s s e s s m e n t s . T h e r e w a s a d i f f e r e n c e , h o w e v e r , i n w h e t h e r p a r t i c i p a n t s p e r c e i v e d t h e s e a d d i t i o n a l w o r k r e s p o n s i b i l i t i e s a s p r e c l u d i n g n e e d s a s s e s s m e n t a c t i v i t y o r w h e t h e r t h e y w e r e s i m p l y c o n d i t i o n s t o t a k e i n t o a c c o u n t w h e n p l a n n i n g t o a c c o m p l i s h t h e n e e d s a s s e s s m e n t . P a r t i c i p a n t s d e m o n s t r a t i n g e x t e r n a l c o n t r o l s p e n t m o r e t i m e t e l l i n g t h e i n v e s t i g a t o r a b o u t w o r k c r i s e s a n d e m p h a s i z e d h o w t h e s e c r i s e s h a d k e p t t h e m f r o m s p e n d i n g t i m e o n t h e i r n e e d s a s s e s s m e n t s . A l e x i s d e s c r i b e d h o w a s t u d e n t ' s c o m p l a i n t a b o u t a n e v a l u a t i o n s h e h a d g i v e n h a d o c c u p i e d m o r e t h a n a w e e k ' s t i m e a t w o r k . I n c o n t r a s t , p a r t i c i p a n t s d i s p l a y i n g m o r e i n t e r n a l c o n t r o l r a r e l y m e n t i o n e d c r i s e s t o t h e i n v e s t i g a t o r a n d , w h e n t h e y d i d , a l s o t a l k e d a b o u t w h a t t h e y h a d d o n e t o c o m p e n s a t e . F o r e x a m p l e , t h e i n v e s t i g a t o r l e a r n e d f r o m 1 8 6 s o m e o n e e l s e t h a t o n e o f E m m a ' s p a t i e n t s h a d d i e d o f S I D S . 1 2 W h e n t h e i n v e s t i g a t o r b r o u g h t t h i s u p , E m m a s a i d , " T h a t w a s a d a y w h e n I h a d n o c o m m i t m e n t s s c h e d u l e d b e c a u s e I w a s s u p p o s e d t o b e w o r k i n g o n t h i s [ f e l l o w s h i p ] , b u t I w o u n d u p u s i n g t h e w h o l e d a y g o i n g t o t h e E R [ e m e r g e n c y r o o m ] a n d t a k i n g c a r e o f t h a t . " S h e t h e n s p o k e o f h o w s h e h a d m a d e u p t h e t i m e a t a l a t e r d a t e . C o p i n g w i t h a s u p e r i o r ' s e x p e c t a t i o n s . I n s e v e r a l i n s t a n c e s , p a r t i c i p a n t s w e r e e x p e r i e n c i n g p r e s s u r e f r o m a d i r e c t s u p e r i o r t o c r e a t e a c e r t a i n t y p e o f c u r r i c u l u m . O n c e a g a i n , h o w t h e p a r t i c i p a n t s h a n d l e d t h e s i t u a t i o n c o u l d b e u n d e r s t o o d a c c o r d i n g t o w h e r e t h e y l o c a t e d r e s p o n s i b i l i t y f o r s u c c e s s a n d f a i l u r e - ~ i n t e r n a l l y o r e x t e r n a l l y . S a m s p o k e o f t e n o f t h e c o n t e n t a n d t e a c h i n g m e t h o d s o f t h e c u r r i c u l u m b e i n g h i s s u p e r i o r ' s i d e a . H e o p e n l y q u e s t i o n e d t h e f e a s i b i l i t y o f s o m e o f h i s s u p e r i o r ' s i d e a s , b u t d i d n o t t a l k t o h i s s u p e r i o r a b o u t h i s c o n c e r n s o r u s e t h e n e e d s a s s e s s m e n t t o s e e k o u t a l t e r n a t i v e s . H e d e s c r i b e d h i m s e l f a s " b e i n g s t u c k w i t h " c a r r y i n g o u t h i s s u p e r i o r ' s i d e a s . I n c o n t r a s t , M i k e w a s u n d i s t u r b e d t h a t h i s s u p e r i o r w a s n o t s u p p o r t i v e o f h i s c u r r i c u l u m : M y b o s s i s n ' t c r a z y a b o u t w h a t I ' m d o i n g ; h e ' d r a t h e r I w a s d o i n g s o m e t h i n g e l s e , b u t I ' m d o i n g i t a n y w a y . A n d S u e , u p o n d i s c o v e r i n g t h a t t h e c u r r i c u l u m h e r s u p e r i o r w i s h e d h e r t o c r e a t e w a s n o t f e a s i b l e , c h a n g e d h e r t 0 p i c a g a i n s t h e r s u p e r i o r ' s e x p r e s s e d w i s h e s . T h i s i s n o t t o s u g g e s t t h a t p a r t i c i p a n t s d e m o n s t r a t i n g i n t e r n a l c o n t r o l e x p e r i e n c e d n o p r o b l e m s o r c o n c e r n s w h a t s o e v e r , b u t t h a t 1 2 S u d d e n I n f a n t D e a t h S y n d r o m e 1 8 7 t h e y p e r c e i v e d t h e n e e d s a s s e s s m e n t a s s o m e t h i n g t h a t m u s t b e a c c o m p l i s h e d a l o n g w i t h o t h e r r e s p o n s i b i l i t i e s . E m m a d e s c r i b e d t h i s b a l a n c i n g a c t b e t w e e n w o r k a n d f e l l o w s h i p r e s p o n s i b i l i t i e s ( e m p h a s i s a d d e d h I n e e d a c h u n k o f p r o t e c t e d t i m e t o d o t h i s . . . i t ' s a m a j o r s t r u g g l e t o p u t a s i d e p a t i e n t c a r e i s s u e s . . . o r s a y i n g n o t o c o v e r i n g o t h e r p e o p l e ' s c l i n i c s . . . m y p r o t e c t e d t i m e i s d e c e n t , b u t i t ' s n o t w h a t i s o u t l i n e d i n t h e f e l l o w s h i p , i t ' s n o t t h a t g o o d . A n d s o m e o r g a n i z a t i o n a l f a c t o r s r e a l l y w e r e b e y o n d t h e a s s e s s o r s ' c o n t r o l , s u c h a s w h e n B i l l d i s c o v e r e d t h e l o c a l l i b r a r y w a s c l o s e d i n d e fi n i t e l y b e c a u s e t h e w o r k e r s w e r e o n s t r i k e . B u t , a s d e s c r i b e d i n t h e n e x t fi n d i n g , t h e r e w a s a d i f f e r e n c e i n h o w t h e p a r t i c i p a n t s r e a c t e d t o e a c h o f t h e s e p r o b l e m s . I n s u m m a r y , a s s e s s o r s d e m o n s t r a t i n g i n t e r n a l c o n t r o l f o u n d w a y s t o o v e r c o m e o r g a n i z a t i o n a l b a r r i e r s s u c h a s i n c r e a s e d w o r k d e m a n d s , c r i s e s , a n d p r e s s u r e f r o m s u p e r i o r s . I n c o n t r a s t , a s s e s s o r s d e m o n s t r a t i n g e x t e r n a l c o n t r o l g a v e t h e s e s a m e c o n s t r a i n t s a s r e a s o n s w h y t h e n e e d s a s s e s s m e n t w a s d e l a y e d o r n o t d o n e w e l l . 1 1 1 0 ' 1 1 ' 1 # _ ° i - ‘ 0 W O W ‘ I " ‘ G ' I ‘ ’ l ’ n ' 1 W W W . E v e r y p a r t i c i p a n t d e s c r i b e d o n e o r m o r e u n e x p e c t e d c o n c e r n s w h i c h a r o s e a f t e r t h e y r e t u r n e d t o t h e i r h o m e o r g a n i z a t i o n a n d b e g a n t o i m p l e m e n t t h e n e e d s a s s e s s m e n t p l a n t h e y h a d d e v e l o p e d . A s s e s s o r s w h o a d j u s t e d t h e i r n e e d s a s s e s s m e n t p l a n s t o a c c o m m o d a t e u n e x p e c t e d c o n s t r a i n t s i n t h e l o c a l o r g a n i z a t i o n e x p r e s s e d f e w e r h i n d r a n c e s t o t h e i r n e e d s 1 8 8 a s s e s s m e n t s . F o r e x a m p l e , f o r t h e c o n s t r a i n t s l i s t e d i n t h e p r e v i o u s fi n d i n g , E m m a n e g o t i a t e d t o g e t a f e w o f h e r p r o t e c t e d d a y s m o v e d i n o r d e r t o m a k e t h e m o s t o f h e r l i m i t e d t i m e a v a i l a b l e , a n d B i l l h a d a r t i c l e s f a x e d t o h i m f r o m a n o t h e r s i t e . A s s e s s o r s w h o t o o k a fl e x i b l e a p p r o a c h s p o k e o f a d j u s t i n g t h e i r p l a n s t o a c c o m p l i s h t h e s p i r i t o f t h e n e e d s a s s e s s m e n t . F o r e x a m p l e . w h e n M a x d i s c o v e r e d h o w d i f f i c u l t i t w o u l d b e t o r e a c h g r a d u a t e s , h e r e d u c e d t h e n u m b e r h e p l a n n e d t o c o n t a c t . R u b i n a n d M i k e r e a l i z e d t h a t s u p e r i o r s w o u l d n o t b e w i l l i n g t o " s i t s t i l l f o r " s t r u c t u r e d i n t e r v i e w s o r t o c o m p l e t e s u r v e y s , s o t h e y q u e s t i o n e d t h e s e p e o p l e o r a l l y a n d l a t e r c o m p l e t e d t h e f o r m f o r t h e m . B i l l l e a r n e d d u r i n g t h e n e e d s a s s e s s m e n t t h a t o n e m e m b e r o f h i s " m u l t i d i s c i p l i n a r y t e a m " w o u l d n o t b e a v a i l a b l e f o r s o m e m o n t h s a n d d e c i d e d t h e c u r r i c u l u m c o u l d w o r k w i t h o u t t h i s o n e t e a m m e m b e r . M a y f o u n d a w a y t o w o r k a r o u n d t h e r e s t r i c t i o n o n d i s c u s s i n g b i r t h c o n t r o l i n g o v e r n m e n t - f u n d e d h e a l t h c a r e c e n t e r s . A s s h o w n i n fi n d i n g s # 9 a n d # 1 1 , t i m e w a s a k e y a r e a i n w h i c h fl e x i b i l i t y w a s r e q u i r e d . I n fi n d i n g # 9 w e s a w h o w p a r t i c i p a n t s w e r e s u r p r i s e d b y u n e x p e c t e d t i m e d e m a n d s a n d d e l a y s i n t h e n e e d s a s s e s s m e n t . P a r t i c i p a n t s e f f e c t i v e l y m a n a g i n g t i m e ( fi n d i n g # 1 1 ) a l s o w e r e d e m o n s t r a t i n g fl e x i b i l i t y . W h e r e a s A l e x i s f o u g h t w i t h s u p e r v i s o r s f o r m o r e p r o t e c t e d t i m e , E m m a m a d e t h e b e s t o f t h e t i m e a v a i l a b l e . E r i n s p o k e o f n o t h a v i n g h a d a b l o c k o f t i m e t o s i t d o w n a n d r e a d a l l o f h i s a r t i c l e s , a n d R u b i n c o n d u c t e d h i s l i t e r a t u r e s e a r c h i n s m a l l b l o c k s o f t i m e o n e n i g h t w h i l e h e w a s o n c a l l i n t h e h o s p i t a l . I n s u m m a r y , t h e a s s e s s o r s ' a b i l i t i e s t o a d j u s t i n i t i a l p l a n s w h e n f a c e d w i t h c o n s t r a i n t s i n t h e o r g a n i z a t i o n g r e a t l y f a c i l i t a t e d t h e n e e d s l 8 9 a s s e s s m e n t . T h i s fi n d i n g o n fl e x i b i l i t y i s c l o s e l y r e l a t e d t o t h e p r e v i o u s fi n d i n g o n p e r c e p t i o n o f c o n t r o l . T h o s e p a r t i c i p a n t s w h o d e m o n s t r a t e d i n t e r n a l c o n t r o l a l s o d e s c r i b e d m o r e i n s t a n c e s i n w h i c h t h e y h a d b e e n fl e x i b l e : t h o s e w h o f e l t t h e o r g a n i z a t i o n w a s p r e v e n t i n g t h e m f r o m d o i n g s o m e t h i n g o f t e n d i d n o t s e e m t o r e a l i z e t h a t t h e y c o u l d a c c o m p l i s h t h e s a m e g o a l t h r o u g h a d i f f e r e n t a v e n u e . 1 9 0 W H A T D O P A R T I Q I P M E S L E A R N A B O Q I T H E P R O C E S S A N D D F D M W h a t p a r t i c i p a n t s l e a r n e d a b o u t n e e d s a s s e s s m e n t w i l l b e p r e s e n t e d i n t h e f o l l o w i n g fi v e fi n d i n g s . T h i s q u e s t i o n i s a n s w e r e d b y l o o k i n g a t : I ) w h a t p a r t i c i p a n t s l e a r n e d a b o u t t h e p r o c e s s o f n e e d s a s s e s s m e n t , i n c l u d i n g t h e c i r c u m s t a n c e s u n d e r w h i c h t h e y w o u l d v o l u n t a r i l y e l e c t t o c o n d u c t n e e d s a s s e s s m e n t a g a i n : a n d 2 ) t h e p r o d u c t s o f n e e d s a s s e s s m e n t , a s e x p r e s s e d b y c h a n g e s t o t h e p a r t i c i p a n t s ' c u r r i c u l a a s a r e s u l t o f h a v i n g c o n d u c t e d t h e n e e d s a s s e s s m e n t . I n d i v i d u a l p a r t i c i p a n t s ' r e s p o n s e s i n t h e s e a r e a s m a y b e s e e n i n T a b l e s 1 2 , 1 3 a n d 1 4 . l i m e s _ . _ l ° # 0 . . . . v . - n 0 1 1 ‘ ! W T 1 ‘ 1 ' 1 ' : W . I n fi n d i n g # 8 . w e s a w h o w t h e c o n c e p t o f n e e d s a s s e s s m e n t w a s i n i t i a l l y v a g u e f o r t h e p a r t i c i p a n t s . H o w e v e r , a f t e r g o i n g t h r o u g h t h e p r o c e s s , p a r t i c i p a n t s d e v e l o p e d a c l e a r p e r s o n a l u n d e r s t a n d i n g o f n e e d s a s s e s s m e n t t h a t i n c l u d e d a d e fi n i t i o n , t h e u s e s o f n e e d s a s s e s s m e n t , a n d t h e c i r c u m s t a n c e s u n d e r w h i c h t h e y w o u l d c o n d u c t o n e a g a i n . P a r t i c i p a n t s g a v e d e fi n i t i o n s o f n e e d a s s e s s m e n t w i t h o u t h e s i t a t i o n . T h e i r d e fi n i t i o n s u s u a l l y d e s c r i b e d n e e d s a s s e s s m e n t a s a " c o m m o n s e n s e " p r o c e s s f o r c o l l e c t i n g p e r t i n e n t i n f o r m a t i o n i n o r d e r 1 9 1 t o b e t t e r u n d e r s t a n d a s i t u a t i o n p r i o r t o m a k i n g a d e c i s i o n . E m m a ' s d e fi n i t i o n i s r e p r e s e n t a t i v e o f m a n y o f t h e p a r t i c i p a n t s ' : T h i s w h o l e t h i n g i s a b o u t n e e d s a s s e s s m e n t p r o v i d i n g a b i g g e r v i e w . I t i s j u s t a d e s c r i p t i o n o f a l o g i c a l p r o c e s s o f fi g u r i n g o u t w h a t t h e p r o b l e m i s a n d g e t t i n g i n f o r m a t i o n f r o m s o u r c e s . A s s h o w n i n t h e s e c o n d c o l u m n , T a b l e 1 2 , f o r e i g h t p a r t i c i p a n t s t h i s d e fi n i t i o n i n c l u d e d a p e r c e p t i o n o f n e e d s a s s e s s m e n t a s a n o n g o i n g p r o c e s s , o n e t h a t d i d n o t e n d w i t h t h e a s s i g n m e n t . F o r e x a m p l e , S u e s a i d , " A n d i n t e r m s o f t h i s p r o j e c t , t h e d e a d l i n e f o r t h e n e e d s a s s e s s m e n t w a s a r t i fi c i a l . I t ' s k i n d o f a n o n g o i n g p r o c e s s . I w i l l k e e p w o r k i n g o n i t a s I p r o g r e s s o n m y p r o j e c t . " ( T h i s p h e n o m e n o n i s a l s o d e s c r i b e d i n fi n d i n g # 1 ) . A l s o , p a r t i c i p a n t s a r r i v e d a t a n u n d e r s t a n d i n g o f n e e d s a s s e s s m e n t , e v e n i n c a s e s w h e r e t h e y h a d n o t b e e n r i g o r o u s i n c o n d u c t i n g t h e i r o w n . W h e n d e fi n i n g n e e d s a s s e s s m e n t , t h r e e p a r t i c i p a n t s a c k n o w l e d g e d t h a t t h e i r o w n h a d n o t f u l f i l l e d t h i s d e s c r i p t i o n . T h e y s a i d t h e i r n e e d s a s s e s s m e n t s h a d b e e n w e a k ; t h a t t h i s h a d m a d e l a t e r s t a g e s o f t h e p r o j e c t m o r e d i f fi c u l t . F o r e x a m p l e , E v e s a i d : I n g e n e r a l , n e e d s a s s e s s m e n t i s a v e r y i m p o r t a n t s t e p t o m a x i m i z e e fi ' e c t i v e n e s s . . . . r e fl e c t i n g b a c k , I t h i n k I c o u l d h a v e d o n e m o r e . . . . l t i s i m p o r t a n t t o d o a s t h o r o u g h a n e e d s a s s e s s m e n t a s y o u c a n . . . . l l e a r n e d y o u r s u r v e y n e e d s t o b e w e l l p l a n n e d w i t h a d e q u a t e s a m p l e s i z e . A n d t h a t t a k e s a l o t o f t i m e . . . . S o m u c h o f w h a t I f o u n d o u t w a s a f t e r t h e n e e d s a s s e s s m e n t . 1 9 2 T a b l e 1 2 L e a r n i n g f r o m t h e P R O C E S S o f N e e d s A s s e s s m e n t U s e a v a r i e t y o f . s o u r c e s P l a n s f o r f u t u r e u s e : D e i l n e d ' N A F o r I d e a s T o g a i n F o r M a k e s u p p o r t u n i a m l l l a r s i m p l e r a r e a s M a x 0 V V V V J o a n 0 V V V V M i k e 0 V V J u l i e V V R u b i n 0 V V V M a y V V V E m m a 0 V B i l l V V S u e 0 V V V A l e x i s w S a m w V V E v e w V V V R a c h e l 0 V V E r l n 0 V V V ' V " - E x p l i c i t l y m e n t i o n e d ' 0 ' - D e s c r i b e d N A a s " o n g o i n g p r o c e s s " ' W ' - A c k n o w l e d g e d w e a k a t N A I 9 3 W h e n a s k e d , " D o e s a n y t h i n g s t a n d o u t a s s o m e t h i n g y o u l e a r n e d f r o m n e e d s a s s e s s m e n t " p a r t i c i p a n t s h a d r e a d y a n s w e r s . M o s t o f t e n , t h e s e a n s w e r s b e g a n w i t h d e s c r i b i n g h o w i m p o r t a n t t h e y n o w b e l i e v e d n e e d s a s s e s s m e n t t o b e . J o a n s a i d , " I l e a r n e d h o w i m p o r t a n t t h i s i s b e f o r e y o u d o a n y t h i n g , a n y t fl n g . " M i k e s a i d , " W h e n e v e r y o u d e s i g n a n y t h i n g , i t s f r o m y o u r n e e d s a s s e s s m e n t . I c a n ' t s e e h o w y o u c a n ' t d o s o m e k i n d o f n e e d s a s s e s s m e n t t o d e c i d e t h i n g s . " S e v e r a l a c k n o w l e d g e d b e i n g s k e p t i c a l a b o u t t h e u s e f u l n e s s o f n e e d s a s s e s s m e n t w h e n g i v e n t h e a s s i g n m e n t , b u t b u y i n g i n a s t h e y w e n t t h r o u g h t h e p r o c e s s . M a n y s a i d t h e y r e a l i z e d t h e y h a d b e e n d o i n g p i e c e s o f n e e d s a s s e s s m e n t , w i t h o u t c a l l i n g i t t h a t , f o r s o m e t i m e . H o w e v e r , t h i s d o e s n o t m e a n e v e r y p a r t i c i p a n t d e v e l o p e d a d e fi n i t i o n o f n e e d s a s s e s s m e n t t h a t w a s s i m i l a r t o t h a t t a u g h t i n t h e w o r k s h o p . M o s t p a r t i c i p a n t s d e fi n e d n e e d s a s s e s s m e n t a s a p r o c e s s f o r b e t t e r u n d e r s t a n d i n g t h e p r o b l e m a n d d e s i g n i n g a s o l u t i o n . A f e w p a r t i c i p a n t s d e v e l o p e d m o r e l i m i t e d v i e w s a f t e r c o m p l e t i n g t h e p r o c e s s . E r i n c o n c e i v e d o f n e e d s a s s e s s m e n t a s " t a l k i n g t o o t h e r s " a n d m a d e n o r e f e r e n c e t o o t h e r d a t a c o l l e c t i o n m e t h o d s , o r w a y s o f a n a l y z i n g t h e d a t a . A l e x i s s a w n e e d s a s s e s s m e n t a s a t o o l t o m a r k e t i d e a s t h a t h a d a l r e a d y b e e n d e c i d e d u p o n . M o n t h s l a t e r s h e s a i d : N o w I ' m l o o k i n g a t t h r o w i n g m y w h o l e n e e d s a s s e s s m e n t a w a y , b e c a u s e I k n o w i t s r e a l l y i m p o r t a n t : b u t i t d e p e n d s o n t h e s p i n o f t h e r e a d e r s [ o f t h e j o u r n a l I w i s h t o p u b l i s h i n ] . M y n e e d s a s s e s s m e n t s h o u l d t e l l m e w h a t w i l l s e l l t o t h e j o u r n a l a n d m y D e a n . . . . I n s u m m a r y , t h i s fi n d i n g s h o w e d t h a t p a r t i c i p a n t s h a d a m u c h c l e a r e r u n d e r s t a n d i n g o f n e e d s a s s e s s m e n t a f t e r h a v i n g g o n e t h r o u g h 1 9 4 t h e p r o c e s s . T h e y r e a d i l y d e fi n e d n e e d s a s s e s s m e n t a n d p e r c e i v e d t h e p r o c e s s a s u s e f u l . A s d e s c r i b e d i n t h e f o l l o w i n g t w o fi n d i n g s , p a r t i c i p a n t s a l s o h a d i d e a s a s t o t h e u s e s o f n e e d s a s s e s s m e n t a n d c o u l d c l e a r l y s t a t e t h e c o n d i t i o n s u n d e r w h i c h t h e y w o u l d v o l u n t a r i l y d o a n e e d s a s s e s s m e n t a g a i n . F i n d i n g # 1 7 : P a fl c i p g t s p e r c e i v e d M o k e y b e n e fi t s f r c m c o n d u c t i n g a n c e d s a s s e s s m e n t . P a r t i c i p a n t s f e l t t h a t n e e d s a s s e s s m e n t s w e r e u s e f u l f o r l ) c o l l e c t i n g i d e a s a n d 2 ) g a i n i n g s u p p o r t . B o t h o f t h e s e b e n e fi t s r e s u l t e d f r o m c o n t a c t i n g a v a r i e t y o f s o u r c e s d u r i n g t h e n e e d s a s s e s s m e n t . P a r t i c i p a n t s r e p e a t e d l y c i t e d t h e s e t h e m e s a s s o m e t h i n g t h e y w e r e d i s c o v e r i n g i n t h e m i d s t o f c o n d u c t i n g t h e i r fi r s t n e e d s a s s e s s m e n t s , a s w e l l a s m o n t h s l a t e r w h e n t h e y l o o k e d b a c k a t t h e b e n e fi t s o f h a v i n g p e r f o r m e d a n e e d s a s s e s s m e n t . T h e f r e q u e n c y w i t h w h i c h p a r t i c i p a n t s c i t e d e a c h o f t h e s e b e n e fi t s i s d i s p l a y e d i n t h e t h i r d a n d f o u r t h c o l u m n s o f T a b l e 1 2 . C o l l e c t i n g i d e a s . T e n o f t h e f o u r t e e n p a r t i c i p a n t s d e s c r i b e d h o w c o l l e c t i n g i n f o r m a t i o n f r o m a v a r i e t y o f s o u r c e s h a d g i v e n t h e m b e t t e r i d e a s f o r t h e i r p r o j e c t s . T h e y s p o k e o f h a v i n g s i m p l y s a t d o w n a l o n e t o p l a n a c u r r i c u l u m i n t h e p a s t : t h e i d e a o f c o l l e c t i n g i n f o r m a t i o n f r o m o t h e r s w a s a n o v e l c o n c e p t t h e y h a d l a t c h e d o n t o i n t h e n e e d s a s s e s s m e n t w o r k s h o p . S u e c a p t u r e d t h e p e r s p e c t i v e o f m a n y o n t h e b e n e fi t s o f c o n t a c t i n g a v a r i e t y o f s o u r c e s : " I t ' s a g o o d i d e a t o i n c l u d e t h e i r i d e a s . I t m a k e s y o u b r o a d e n y o u r v i e w o f t h e w o r l d - o t h e r p e o p l e b r i n g a d i f f e r e n t p e r s p e c t i v e t o i t . " P a r t i c i p a n t s t o l d s t o r i e s i n w h i c h t h e y r e c e i v e d c o n fl i c t i n g i n f o r m a t i o n f r o m d i f f e r e n t s o u r c e s . T h e y s p o k e o f l e a r n i n g t h i n g s l 9 5 t h e y n e v e r w o u l d h a v e k n o w n i f t h e y h a d n ' t t a l k e d t o t h e s e s o u r c e s . J o a n l e a r n e d t h a t t h e d i r e c t o r ' s c o n c e p t i o n o f h o w a c u r r i c u l u m w a s r u n n i n g i n h i s d e p a r t m e n t w a s v e r y d i f f e r e n t f r o m h o w i t w a s d e s c r i b e d b y t h e a c t u a l d e v e l o p e r s . A n d a l l p a r t i c i p a n t s w h o c o n t a c t e d g r a d u a t e s d e s c r i b e d h o w i m p o r t a n t i t h a d b e e n t o g e t t h e p e r s p e c t i v e o f f o r m e r l e a r n e r s w h o w e r e n o w p r a c t i c i n g w h a t t h e y h a d b e e n t a u g h t . P a r t i c i p a n t s f e l t t h a t c o n t a c t i n g s o u r c e s w a s a n e fi i c i e n t w a y t o b e g i n t h e p r o j e c t . T h e y s a i d t h a t s p e n d i n g s o m e t i m e u p f r o n t c o l l e c t i n g i n p u t o n t h e i d e a a n d i d e n t i f y i n g r e s o u r c e s w o u l d s p e e d t h e l a t e r s t a g e s o f t h e c u r r i c u l u m d e v e l o p m e n t e f f o r t . I n M a x ' s w o r d s : I n t e r m s o f c o n t a c t i n g p e o p l e , t h e r e ' s n o p o i n t i n t r y i n g t o d o t h i s i f i t s b e e n d o n e b e f o r e . J u s t l o o k i n g a t t h e l i t e r a t u r e t o l d m e h o w m u c h t i m e i t t a k e s t o d o a c u r r i c u l u m . S o i t ' s t o m y b e n e fi t t o s e e i f I c a n a d a p t w h a t t h e y h a v e d o n e . . . . I n c o n t r a s t , S a m , w h o d i d n o t c o l l e c t i d e a s f r o m a v a r i e t y o f s o u r c e s d u r i n g h i s n e e d s a s s e s s m e n t , l a t e r d e s c r i b e d h a v i n g t o m a k e m a n y r e v i s i o n s i n h i s c u r r i c u l u m : W h e n I w a s h i r e d f o r t h i s j o b , t h e y t o l d m e ' Y o u ' r e t h e e x p e r t , d o w h a t e v e r y o u w a n t . ’ B u t a s I g o a l o n g , I ' m fi n d i n g I n e e d t h e i r i n p u t - - t h a t ' s w h y m y g o a l s a n d o b j e c t i v e s n e e d w o r k , w h y t h e y ' r e s t i l l b e i n g m o d i fi e d . A s w e g o a l o n g , m o r e i n p u t i s c o m i n g i n . G a i n i n g s u p p o r t . A s s h o w n i n t h e f o u r t h c o l u m n , T a b l e 1 2 , e l e v e n o f t h e p a r t i c i p a n t s l e a r n e d t h a t n e e d s a s s e s s m e n t w a s a w a y t o 1 9 6 g a i n s u p p o r t f o r a n e w i d e a o r c h a n g e . 1 3 T h e s e p a r t i c i p a n t s r e p o r t e d b e i n g s u r p r i s e d b y h o w m u c h e n t h u s i a s m t h e r e w a s f o r t h e i r p r o j e c t f r o m t h e p e o p l e t h e y i n t e r v i e w e d o r t o w h o m t h e y d i s t r i b u t e d s u r v e y s . T h e f o l l o w i n g t w o c o m m e n t s a r e i l l u s t r a t i v e o f t h e p a r t i c i p a n t s ' d i s c o v e r y o f h o w i n v o l v i n g o t h e r p e o p l e i n t h e n e e d s a s s e s s m e n t l e a d s t o a b e t t e r p r o d u c t a n d a l s o m a k e s a c c e p t a n c e m o r e l i k e l y : E r i n : I w o u l d h a v e n e v e r t h o u g h t t h i s b e f o r e - w r i t i n g a c u r r i c u l u m i n v o l v e s s o m a n y d i f f e r e n t p e o p l e , t h e y a r e t h e c u r r i c u l u m , t h e y a r e t h e o n e s w h o m a k e i t w o r k o r m a k e i t f a i l . Y o u c o u l d j u s t g o a h e a d a n d w r i t e a c u r r i c u l u m , y o u r o w n b y y o u r s e l f , b u t i t w i l l b e a u s e l e s s c u r r i c u l u m . S u e : O n e t h i n g I r e a l i z e d , w h e n w e ' r e d e v e l o p i n g t h i n g s , w e d o n ' t d o i t . W e n e v e r fi n d o u t w h e t h e r o t h e r p e o p l e t h i n k t h i s i s a g o o d i d e a o r n o t . . . i t w a s a u s e f u l p r o c e s s t o d o . . . . [ I f y o u d o n ' t d o a n e e d s a s s e s s m e n t ] y o u ' r e m a k i n g a s s u m p t i o n s a b o u t w h a t i s i m p o r t a n t . I f t h e r e ' s n o c o n t a c t w i t h t h e o r g a n i z a t i o n , i f y o u ' r e t h e o n l y o n e , y o u ' r e w a s t i n g y o u r t i m e . B e c a u s e p e o p l e w i l l n o t r e c e i v e i t w e l l . M o n t h s a f t e r t h e n e e d s a s s e s s m e n t w a s c o m p l e t e d , t h e s e e l e v e n p a r t i c i p a n t s d e s c r i b e d h o w p e o p l e t h e y c o n t a c t e d d u r i n g t h e i r n e e d s a s s e s s m e n t w e r e h e l p i n g e n s u r e t h a t t h e n e w c u r r i c u l u m w o u l d b e s u c c e s s f u l l y i m p l e m e n t e d . A s R u b i n p u t i t , " N e e d s a s s e s s m e n t a l s o h a s t h a t c o a l i t i o n - b u i l d i n g c o m p o n e n t b u i l t i n t o i t . T h a t ' s a s u b t l e u s e o f i t , a s a t o o l t o e n l i s t o t h e r p e o p l e . " I n s u m m a r y , p a r t i c i p a n t s l e a r n e d t h a t c o n t a c t i n g a v a r i e t y o f s o u r c e s d u r i n g t h e n e e d s a s s e s s m e n t h a d t w o b e n e fi t s . F i r s t , t h e y p e r c e i v e d t h e i d e a s t h e y c o l l e c t e d f r o m t h e s e s o u r c e s a s m a k i n g t h e i r c u r r i c u l a 1 1 : 1 1 : 1 1 . S e c o n d , t h e y d i s c o v e r e d t h a t b y a s k i n g p e o p l e f o r 1 3 T h e i n v e s t i g a t o r b e l i e v e s M i k e a l s o r e c o g n i z e d n e e d s a s s e s s m e n t ' s u s e f u l n e s s i n p r o m o t i n g c h a n g e . A l t h o u g h h i s c o m m e n t s a n d a c t i v i t i e s a l l u d e d t o t h i s a s s u m p t i o n , h e i s n o t i n c l u d e d i n t h i s t a b u l a t i o n b e c a u s e h e n e v e r d i r e c t l y w r o t e o r s p o k e a b o u t n e e d s a s s e s s m e n t a s f a c i l i t a t i n g c h a n g e . 1 9 7 i d e a s , t h e y g a i n e d s u p p o r t , m a k i n g t h e i r c u r r i c u l a m o r e l i k e l y t o s u c c e e d . I n a d d i t i o n , i t a p p e a r s t h a t c o l l e c t i n g i d e a s f r o m a v a r i e t y o f s o u r c e s e a r l y s i m p l i fi e s t h e l a t e r s t a g e s o f d e v e l o p m e n t a n d i m p l e m e n t a t i o n . F i n d i n g # 1 8 : P a r t i c i p a n t s c l e a r l y d e fi n e d c o n d i t i o n s u n d e r w h i c h t h e y w c u l d p e r f c r m n e e d s a s s e s s m e n t s i n t h e f u t u r e . A l l p a r t i c i p a n t s i n d i c a t e d t h a t n o w t h a t t h e y k n e w h o w t o d o n e e d s a s s e s s m e n t s a n d w h a t t h e b e n e fi t s w e r e , t h e y w o u l d d o t h e m i n t h e f u t u r e . A s i l l u s t r a t e d i n fi n d i n g # 1 7 , t h e y s p o k e o f p l a n n i n g t o d o a n e e d s a s s e s s m e n t w h e n t h e y w a n t e d t o g a t h e r o t h e r p e o p l e s ' i d e a s , a n d e s p e c i a l l y w h e n t h e y w a n t e d t o g a i n s u p p o r t . I n a d d i t i o n , t h e y e m p h a s i z e d t h e u s e f u l n e s s o f c o n d u c t i n g a n e e d s a s s e s s m e n t p r i o r t o b e g i n n i n g a p r o j e c t i n a n u n f a m i l i a r a r e a , a n d i d e n t i fi e d w a y s t h e y w o u l d s i m p l i f y t h e p r o c e s s . A n e x c e r p t f r o m a c o n v e r s a t i o n w i t h M a y i l l u s t r a t e s t h e s e f o u r i s s u e s : I n v e s t i g a t o r : W o u l d y o u d o a n e e d s a s s e s s m e n t a g a i n ? M a y : O h y e a h . B e f o r e I s t a r t e d a n y n e w p r o j e c t . F o r e x a m p l e , r i g h t n o w I ' m t h i n k i n g o f s t a r t i n g a w o m e n i n m e d i c i n e g r o u p . A n d I ' l l d o a m i n i - n e e d s a s s e s s m e n t . I f I ' m g o i n g t o p u t a l l t h a t t i m e a n d e n e r g y i n t o s e t t i n g i t u p , a n d t h e n i t t u r n s o u t p e o p l e d o n ' t w a n t i t , i t i s a w a s t e o f m y t i m e . B e f o r e I s t a r t a n y n e w m a j o r t h i n g t h a t r e q u i r e s m y e f f o r t , I w o u l d d o a n e e d s a s s e s s m e n t . O r f o r t h i n g s I ' m r e a l l y w r a p p e d u p i n . Y o u k n o w h o w i t i s . Y o u t e n d t o t h i n k y o u k n o w h o w i t s h o u l d b e o r g a n i z e d . A n d t h a t m i g h t n o t b e t r u e , y o u ' r e t o o c l o s e . . . . I : Y o u s a i d y o u ' d d o a m i n i — n e e d s a s s e s s m e n t . W h a t p a r t s w o u l d y o u k e e p o r n o t u s e ? 1 9 8 M a y : L i k e f o r t h i s g r o u p [ w o m e n i n m e d i c i n e ] , I ' m t h i n k i n g o f d o i n g a r e a l s h o r t q u e s t i o n n a i r e . S o m e t h i n g p e o p l e c a n d o q u i c k l y . N o t a l o n g o n e l i k e I h a d f o r t h i s [ f e l l o w s h i p p r o j e c t ] , b u t j u s t o n e w i t h s a y f o u r o r fi v e q u e s t i o n s o n i t . A n d i t w o u l d b e g o i n g t o t h e fi r s t y e a r c l a s s o f m e d i c a l s t u d e n t s s o I c o u l d s e e i f t h e r e w a s a n y i n t e r e s t i n m y s t a r t i n g t h i s g r o u p . I w o u l d s e n d i t o u t f o r m y s e l f . I w o u l d n ' t w r i t e u p a f o r m a l r e p o r t l i k e w e h a d t o d o f o r o u r p r o j e c t s , t h i s i s j u s t f o r m y i n f o r m a t i o n . F o r i d e a s a n d t o g a i n s u p p o r t . A s d e s c r i b e d i n fi n d i n g # 1 7 , p a r t i c i p a n t s p e r c e i v e d t w o m a j o r b e n e fi t s o f d o i n g a n e e d s a s s e s s m e n t : t o c o l l e c t i n f o r m a t i o n t o i m p r o v e t h e i r i d e a s a n d t o g a i n s u p p o r t . T h e s e r e a s o n s w e r e a g a i n c i t e d w h e n p a r t i c i p a n t s t a l k e d a b o u t w h y t h e y w o u l d d o n e e d s a s s e s s m e n t s i n t h e f u t u r e . H o w e v e r , t h e r e w a s a s h i f t i n e m p h a s i s . A l t h o u g h p a r t i c i p a n t s h a d s a i d t h a t n e e d s a s s e s s m e n t h a d h e l p e d t h e m c o l l e c t g o o d i d e a s , t h e y m o r e o f t e n m e n t i o n e d ( a n d e m p h a s i z e d ) d o i n g a n e e d s a s s e s s m e n t t o g a i n s u p p o r t . P a r t i c i p a n t s u s e d p h r a s e s l i k e " g e t t i n g p e o p l e t o b u y i n " w h e n t h e y t a l k e d a b o u t w h y t h e y w o u l d d o a n e e d s a s s e s s m e n t a g a i n . J u l i e a c k n o w l e d g e d s h e w o u l d c o n s i d e r d o i n g a n e e d s a s s e s s m e n t f o r t h e s o l e p u r p o s e o f g a i n i n g s u p p o r t : " I w o u l d d o a m i n i - v e r s i o n b e f o r e a m a j o r p r o j e c t o f a n y k i n d , i f o n l y f o r t h e r e a s o n o f g e t t i n g p e o p l e ' s s u p p o r t . " F o r u n f a m i l i a r a r e a s . A l l o f t h e p a r t i c i p a n t s s a i d t h a t t h e y h a d l e a r n e d t h a t n e e d s a s s e s s m e n t w a s a n i m p o r t a n t a c t i v i t y . L i k e E r i n , m a n y a l s o s a i d i t w o u l d b e u s e f u l i n a v a r i e t y o f s i t u a t i o n s b e y o n d c u r r i c u l u m d e v e l o p m e n t : " O h y e a h [ I ' d d o a n e e d s a s s e s s m e n t a g a i n ] . A n y t i m e w e n e e d t o p l a n a n e w p r o j e c t - n o t o n l y f o r a c u r r i c u l u m , f o r o t h e r t h i n g s t o o . " H o w e v e r , m o s t p a r t i c i p a n t s q u a l i fi e d a f u t u r e n e e d s 1 9 9 a s s e s s m e n t t o a p a r t i c u l a r c o n d i t i o n . A s i n d i c a t e d i n t h e fi f t h c o l u m n , T a b l e 1 2 , t w e l v e o f t h e f o u r t e e n p a r t i c i p a n t s s a i d t h e y w o u l d d o n e e d s a s s e s s m e n t s w h e n b e g i n n i n g p r o j e c t s i n a r e a s t h a t w e r e n e w t o t h e m . P a r t i c i p a n t s s a i d t h a t n e e d s a s s e s s m e n t w a s n o t t h a t u s e f u l i n a r e a s i n w h i c h t h e y a l r e a d y h a d a l o t o f e x p e r i e n c e a n d k n o w l e d g e , b u t i t w o u l d b e u s e f u l a s a w a y t o b e g i n i n u n f a m i l i a r a r e a s . T h e f o l l o w i n g s t a t e m e n t s i l l u s t r a t e t h i s a t t i t u d e : E v e : M y p r o j e c t w a s s o m e t h i n g t h a t I ' m n o t a n e x p e r t i n . I w o u l d n ' t f e e l I ' d n e e d a n e e d s a s s e s s m e n t f o r s o m e t h i n g i n c l i n i c a l m e d i c i n e , t h a t ' s m y b r e a d a n d b u t t e r : I k n o w i t l i k e t h e b a c k o f m y h a n d . B u t f o r t h i s t o p i c , t h e n e e d s a s s e s s m e n t p r o v i d e d a g r o u n d . M a x : B u t I w o u l d d e fi n i t e l y d o o n e i f I d i d n ' t e v e n k n o w w h e r e t o s t a r t , i f i t w a s s o m e t h i n g I d i d n ' t k n o w a n y t h i n g a b o u t o r w a s c o m p l e t e l y n e w t o m e . B u t a s i t w a s w i t h t h e c l e r k s h i p , I h a d b e e n d o i n g i t a w h i l e , s o I h a d k i n d o f d o n e m o s t o f t h o s e [ n e e d s a s s e s s m e n t ] t h i n g s i n f o r m a l l y , a n d w e h a d t a l k e d a b o u t i t a s a g r o u p . M i k e : W h e n y o u ' r e d e a l i n g w i t h s o m e t h i n g w h e r e y o u h a v e n o i d e a o f w h a t ' s i m p o r t a n t o r w h a t ' s n o t , a n e e d s a s s e s s m e n t i s v e r y u s e f u l . B u t I k n o w m y s t u f f i n O B [ O b s t e t r i c s ] . M a k e s i m p l e r i n f u t u r e . F i n a l l y , fi v e o f t h e p a r t i c i p a n t s s a i d t h a t t h e y w o u l d c o n d u c t m u c h s i m p l e r n e e d s a s s e s s m e n t s i n t h e f u t u r e . T h e y s p o k e o f n o t n e e d i n g t o u s e a s m a n y m e t h o d s o r n e e d i n g t o c o l l e c t d a t a f r o m a s m a n y s o u r c e s . T h e y h a d p r e f e r r e d t a l k i n g t o p e o p l e o v e r c o n d u c t i n g s u r v e y s a n d w o u l d n o t w r i t e u p a f o r m a l r e p o r t i n t h e f u t u r e . T h r e e u s e d t h e t e r m " m i n i - n e e d s a s s e s s m e n t " w h e n d e s c r i b i n g h o w t h e y w o u l d c o n d u c t a n e e d s a s s e s s m e n t . I t i s i n t e r e s t i n g t h a t t h e s e c o m m e n t s c a m e f r o m fi v e o f t h e s i x a s s e s s o r s t h a t h a d c o n d u c t e d t h e m o s t c o m p r e h e n s i v e n e e d s 2 0 0 a s s e s s m e n t s . T h e y t i e d t h i s d e s i r e t o s i m p l i f y t h e p r o c e s s w i t h t h e f a c t t h a t t h e y a l r e a d y k n e w s o m e t h i n g a b o u t t h e a r e a i n w h i c h t h e y w e r e c o n d u c t i n g a n e e d s a s s e s s m e n t . A s t h e y a l r e a d y h a d a g o o d s e n s e o f t h e p r o b l e m a n d a s o l u t i o n i n m i n d , t h e y w o u l d n o t e x p e n d t i m e a n d e n e r g y i n t h i s a r e a . I n s t e a d , t h e y w o u l d u s e n e e d s a s s e s s m e n t t o d e t e r m i n e t h e n e x t s t e p s i n a c c o m p l i s h i n g t h e i r p r e f e r r e d s o l u t i o n . R u b i n ' s s t a t e m e n t c a p t u r e s t h i s s p i r i t : . . . I w o u l d r a r e l y d o i t a s f o r m a l l y a s w e h a d t o d o f o r [ t h e f e l l o w s h i p ] . I w c u l d a l w a y s s t a g ; w i t h m y b c s t g u c s s a n d d e c i d e h o w m u c h t i m e I h a v e a n d t h e q u i c k e s t w a y t o g e t t h e i n f o r m a t i o n I n e e d . T h a t i s , h o w m u c h i n f o r m a t i o n I n e e d t o m o v e f o r w a r d . I n s u m m a r y , p a r t i c i p a n t s s a i d t h e y w o u l d c o n d u c t n e e d s a s s e s s m e n t s i n t h e f u t u r e . H o w e v e r , t h e y d e fi n e d c o n d i t i o n s w h i c h l i m i t e d t h e c i r c u m s t a n c e s u n d e r w h i c h t h e y w o u l d c h o o s e t o d o a n e e d s a s s e s s m e n t . T h e y s a i d t h e y w o u l d d o n e e d s a s s e s s m e n t s i n s i t u a t i o n s i n w h i c h t h e y n e e d e d t o e s t a b l i s h o r a s s e s s s u p p o r t f o r a n i d e a , a n d i n a r e a s t h a t w e r e n e w t o t h e m . P a r t i c i p a n t s f e l t t h a t n e e d s a s s e s s m e n t s w e r e l e s s u s e f u l i n a r e a s i n w h i c h t h e y a l r e a d y h a d e x p e r t i s e . T h e y f u r t h e r i n d i c a t e d t h a t i n t h e f u t u r e t h e y w o u l d n o t e x p e n d a s m u c h t i m e a n d e n e r g o n d e fi n i n g t h e p r o b l e m a n d i d e n t i f y i n g a s o l u t i o n . I n s t e a d , t h e y w o u l d u s e t h e n e e d s a s s e s s m e n t t o d e t e r m i n e h o w t o i m p l e m e n t t h e i r " b e s t g u e s s . " I O 2 0 1 P r c d u c t F i n d i n g # 1 3 : T h e r e w e r c f e w c h a n g e s t o t h e c u r r i c u l a a s a r e s u l t o f m e n e e d s c s s e s c m e n t . I n T a b l e 1 3 , w e c a n s e e t h e c h a n g e s m a d e t o t h e p a r t i c i p a n t s ' c u r r i c u l a a s a r e s u l t o f c o n d u c t i n g t h e n e e d s a s s e s s m e n t . T h i s t a b l e w a s c o n s t r u c t e d b y e x a m i n i n g d o c u m e n t s f o r t h e p r e s e n c e o f c h a n g e s b e t w e e n b e f o r e a n d a f t e r t h e n e e d s a s s e s s m e n t w a s c o n d u c t e d . A d r a f t f o r m o f t h i s t a b l e w a s t h e n s h a r e d w i t h p a r t i c i p a n t s i n m e m b e r c h e c k s . E a c h o f t h r e e t y p e s o f p o t e n t i a l c h a n g e s w i l l b e d i s c u s s e d i n t u r n : c h a n g e s t o t h e c u r r i c u l a r t o p i c , c h a n g e s i n c o n t e n t , a n d c h a n g e s i n t h e i n s t r u c t i o n a l f o r m a t . T o p i c s d i d n o t c h a n g e . I n t h e s e c o n d c o l u m n , T a b l e 1 3 , i t i s a p p a r e n t t h a t e l e v e n o f t h e f o u r t e e n p a r t i c i p a n t s d i d n o t c h a n g e t h e i r c u r r i c u l a r t o p i c s a s a r e s u l t o f t h e n e e d s a s s e s s m e n t . T h i s w a s c o n fi r m e d b y a n e x a m i n a t i o n o f d o c u m e n t s w r i t t e n b y t h e p a r t i c i p a n t s b o t h b e f o r e a n d a f t e r t h e n e e d s a s s e s s m e n t . I n t w o i n s t a n c e s , p a r t i c i p a n t s u s e d t h e n e e d s a s s e s s m e n t t o c o l l e c t i n p u t t o n a r r o w t h e t a p i c . A s d e s c r i b e d e a r l i e r , b o t h J u l i e a n d E v e d i s t r i b u t e d s u r v e y s t h a t a s k e d r e s p o n d e n t s t o r a t e t h e i m p o r t a n c e o f s e v e r a l a r e a s . T h e y t h e n w e i g h e d t h e s e r e s p o n s e s w h e n s e l e c t i n g t h e s p e c i fi c a r e a o n w h i c h t o f o c u s i n t h e i r c u r r i c u l a . l 4 I n o n l y o n e i n s t a n c e d i d a p a r t i c i p a n t r e p o r t fi n d i n g i n f o r m a t i o n i n t h e n e e d s a s s e s s m e n t t h a t c a u s e d h i m t o c h a n g e h i s t o p i c . E r i n h a d i n t e n d e d t o d e v e l o p a n e v a l u a t i o n s y s t e m f o r h i s e n t i r e p r o g r a m . H e r e p o r t e d d i s c o v e r i n g d u r i n g t h e n e e d s a s s e s s m e n t t h a t t h e r e w a s a 1 4 H o w e v e r , i n fi n d i n g # 1 1 w e s a w h o w J u l i e d e s i g n e d t h e s u r v e y i n a w a y t h a t a l l o w e d h e r t o p i c k t h e t o p i c s h e h a d o r i g i n a l l y p r e f e r r e d . I t a l s o d e s c r i b e d h o w E v e b a s e d h e r n e e d s a s s e s s m e n t c o n c l u s i o n s o n a v e r y l o w r e s p o n s e r a t e . 2 0 2 T a b l e 1 3 E f f e c t o f N e e d s A s s e s s m e n t o n P R O D U C T ° 1 D i d T o p i c S e l e c t S e l e c t C h a n g e ? a n d / o r a n d / o r R e f i n e R e f i n e C o n t e n t I n s t r u c t i o n M a x N o V V J o a n N o V V M i k e N o V V J u l l e N a r r o w e d V V R u b i n N o V M a y N o V V E m m a N o V B l l l N o V S n o N o V V A l e x i s N o V S a m N o E v e N a r r o w e d R a c h e l N o V E r i n Y e s V = E v i d e n c e o f c h a n g e N o = E v i d e n c e o f a c c h a n g e i n t o p i c N a r r o w e d = P a r t i c i p a n t b e l i e f t h a t t o p i c w a s n a r r o w e d c o r r o b o r a t e d b y d o c u m e n t a t i o n 2 0 3 m u c h m o r e p r e s s i n g n e e d f o r a p a r t i c u l a r c u r r i c u l u m . H o w e v e r , i t w a s r e l a t i v e l y e a s y f o r E r i n t o s w i t c h t o p i c s a s l ) h e w a s o n e o f t h e p a r t i c i p a n t s w h o w a s l e a s t i n v e s t e d i n a p r o j e c t i d e a p r i o r t o b e g i n n i n g t h e f e l l o w s h i p a n d 2 ) h e w a s o n e o f t h r e e p a r t i c i p a n t s w h o b e g a n t h e f e l l o w s h i p p l a n n i n g t o c o n s t r u c t a n e v a l u a t i o n s y s t e m t h a t d i s c o v e r e d t h i s w a s n o t f e a s i b l e . H e d e s c r i b e d t h e n e e d s a s s e s s m e n t a s i m p r e s s i n g t h e m a g n i t u d e o f t h e p r o b l e m u p o n h i m , r a t h e r t h a n h e l p i n g h i m d i s c o v e r t h e p r o b l e m : " I k n e w w e d i d n ' t h a v e a c u r r i c u l u m . B u t i t d i d n ' t s e e m i m p o r t a n t u n t i l I t a l k e d t o p e o p l e . " C o n t e n t u n d e r w e n t m i n o r m o d i f i c a t i o n s . I n t h e t h i r d c o l u m n , T a b l e 1 3 , w e c a n s e e t h a t t e n o f t h e f o u r t e e n p a r t i c i p a n t s u s e d t h e n e e d s a s s e s s m e n t t o h e l p t h e m s e l e c t c o n t e n t f o r t h e i n t e n d e d c u r r i c u l u m . J o a n t a l k e d a b o u t t h e n e e d s a s s e s s m e n t " m o l d i n g " h e r c o n t e n t a n d , a l o n g s i m i l a r l i n e s , M i k e s a i d t h a t d u r i n g t h e n e e d s a s s e s s m e n t h e h a d d i s c o v e r e d a " n e w p h i l o s o p h y " t h a t g u i d e d c o n t e n t s e l e c t i o n . M a y ' s c o m m e n t i l l u s t r a t e s h o w t h e n e e d s a s s e s s m e n t u s u a l l y l e d t o r e l a t i v e l y m i n o r c h a n g e s i n c o n t e n t [ e m p h a s i s a d d e d ] : I d e fi n i t e l y h a d s o m e c l e a r i d e a s a b o u t w h a t I t h o u g h t s h o u l d b e i n c l u d e d . B u t w h e n I t a l k e d t o p e o p l e , a c o u p l e o f r e s i d e n t s o r t h e g r a d u a t e s c l e a r l y s a i d ' n o ' o r e m p h a s i z e d o t h e r t h i n g s . T h e y d e fi n i t e l y e m p h a s i z e d s o m e o t h e r t h i n g s . A n d t h a t m a d e m e f e e l g o o d . I t w a s l i k e I w a s t r u l y b e i n g o p e n m i n d e d , t h a t I c o u l d i n c o r p o r a t e w h a t t h e y w e r e t e l l i n g m e . B u t t h e r e w e r e n ' t m a n y m a j o r s h i f t s . I t w a s m o r e l i k e s m a l l b u t s i g n i fi c a n t s t u d . P a r t i c i p a n t s a l s o c o n s i d e r e d a r t i c l e s d i s c o v e r e d i n t h e i r r e v i e w o f t h e l i t e r a t u r e w h i c h t h e y i n c o r p o r a t e d i n t o t h e s t u d e n t s ' r e a d i n g l i s t t o q u a l i f y a s c h a n g e s i n c o n t e n t . 2 0 4 I n s t r u c t i o n a l f o r m a t s r a r e l y c h a n g e d . E i g h t o f t h e f o u r t e e n p a r t i c i p a n t s u s e d t h e n e e d s a s s e s s m e n t t o h e l p t h e m s e l e c t o r r e fi n e i d e a s o n h o w t o t e a c h a n d / o r e v a l u a t e t h e c u r r i c u l u m ( T a b l e 1 3 ) . A s h a d h a p p e n e d w i t h c o n t e n t , i n m o s t o f t h e s e i n s t a n c e s t h e n e e d s a s s e s s m e n t l e d t o m i n o r m o d i fi c a t i o n s r a t h e r t h a n n e w i d e a s . O f t e n p a r t i c i p a n t s h a d e n t e r e d t h e f e l l o w s h i p w i t h a n i d e a o f h o w t h e c u r r i c u l u m w a s t o b e t a u g h t . I n t h e i r e a r l i e s t i n t e r a c t i o n s w i t h t h e i n v e s t i g a t o r , p a r t i c i p a n t s w e r e t a l k i n g a b o u t h o w t h e y w a n t e d t o t e a c h t h e i r c u r r i c u l a . E x a m p l e s i n c l u d e J u l i e a n d A l e x i s b o t h t a l k i n g a b o u t p r e - a n d p o s t - t e s t s , a n d J o a n p l a n n i n g t o d e l i v e r h e r c u r r i c u l u m i n a c o n f e r e n c e s e r i e s . P a r t i c i p a n t s ' c o m m e n t s a b o u t c h a n g e s t o i n s t r u c t i o n d u e t o t h e n e e d s a s s e s s m e n t w a s m o s t l y t h i n g s l i k e m a k i n g " m i n o r m o d i fi c a t i o n s , " o r t h a t t h e n e e d s a s s e s s m e n t h a d " c o n fi r m e d w h a t I t h o u g h t w o u l d b e h e l p f u l . " I n o n e i n s t a n c e , a p a r t i c i p a n t p e r c e i v e d t h e n e e d s a s s e s s m e n t a s r e s u l t i n g i n l a r g e c h a n g e s t o t h e i n s t r u c t i o n a l f o r m a t . E m m a s a i d , " I h a d h a r d l y t h o u g h t a b o u t t h i s b e f o r e , " a n d d e s c r i b e d h o w m u c h s h e h a d l e a r n e d a b o u t p u t t i n g t o g e t h e r t h e m a t e r i a l s i n t o a n o r g a n i z e d c u r r i c u l u m . H o w e v e r , t h e i n v e s t i g a t o r ' s fi e l d n o t e s i n d i c a t e t h a t p r i o r t o c o n d u c t i n g t h e n e e d s a s s e s s m e n t , E m m a h a d t a l k e d a b o u t w a n t i n g t o d e s i g n a " m o d u l a r c u n i c u l u m " w i t h u n i t s t h a t l e a r n e r s c o u l d d o o n t h e i r o w n . T h i s i s t h e s t r u c t u r e u p o n w h i c h h e r i n s t r u c t i o n w a s l a t e r b a s e d . P a r t i c i p a n t s h a d n o t r e a l i z e d t h a t t h e i r p r o j e c t s h a d c h a n g e d l i t t l e . P a r t i c i p a n t s w e r e p r e s e n t e d w i t h a d r a f t v e r s i o n o f T a b l e 1 3 i n i n d i v i d u a l i n t e r v i e w s . P a r t i c i p a n t s h a d b e e n r e s p o n d i n g t o q u e s t i o n s a n d o t h e r t a b l e s w i t h o u t h e s i t a t i o n . B u t w h e n t h e y s a w T a b l e 1 3 . 2 0 5 a l m o s t e v e r y s i n g l e p a r t i c i p a n t h e s i t a t e d f o r s e v e r a l s e c o n d s . T h i s h e s i t a t i o n , c o m b i n e d w i t h c o m m e n t s l i k e " t h a t ' s d e p r e s s i n g , " l e d t h e i n v e s t i g a t o r t o b e l i e v e t h a t p a r t i c i p a n t s h a d n o t r e a l i z e d h o w l i t t l e t h e i r p r o j e c t s h a d c h a n g e d . A f e w c o n t e s t e d t h e m a r k i n g s , m a k i n g a r g u m e n t s f o r h o w t h e n e e d s a s s e s s m e n t h a d h e l p e d t h e m n a r r o w t h e t o p i c , o r d e c l a r i n g t h a t t h e y h a d h a d n o i d e a o f w h a t c o n t e n t t o i n c l u d e p r i o r t o d o i n g t h e l i t e r a t u r e s e a r c h . I n i n s t a n c e s w h e r e n o n e o f t h e d a t a c o n t r a d i c t e d t h e p a r t i c i p a n t ' s a s s e r t i o n , t h e t a b l e w a s m o d i fi e d . H o w e v e r , a f t e r a f e w m o m e n t s r e fl e c t i o n , m o s t o f t h e p a r t i c i p a n t s c o n c e d e d t h a t t h e y h a d m a d e f e w c h a n g e s t o t h e i r p r o j e c t s a s a r e s u l t o f t h e n e e d s a s s e s s m e n t . T h e y s p o k e i n s t e a d o f r e fi n e m e n t s c o m i n g o u t o f t h e n e e d s a s s e s s m e n t . I n s u m m a r y , t h e p r o d u c t , a s d e fi n e d b y t h e m a j o r p r o j e c t , u n d e r w e n t o n l y m i n o r c h a n g e s a s a r e s u l t o f t h e n e e d s a s s e s s m e n t . I n a l l b u t o n e c a s e , t h e t o p i c o f t h e c u r r i c u l u m d i d n o t c h a n g e . A n d a l t h o u g h c h a n g e s w e r e m a d e i n c o n t e n t a n d , t o a l e s s e r d e g r e e t o i n s t r u c t i o n a l f o r m a t , i n t h e m a j o r i t y o f c a s e s t h e s e w e r e m i n o r r e fi n e m e n t s r a t h e r t h a n n e w i d e a s . I n a d d i t i o n . i t a p p e a r s t h a t p a r t i c i p a n t s h a d n o t r e a l i z e d h o w f e w c h a n g e s t h e y h a d a c t u a l l y m a d e t o t h e i r p r o d u c t s a s a r e s u l t o f t h e n e e d s a s s e s s m e n t . T h e n e x t , a n d fi n a l , fi n d i n g p r e s e n t s a n e x p l a n a t i o n o f w h y s o f e w c h a n g e s w e r e m a d e . F i n d i n g # 2 9 : A s s e s s o r s h a d d e c i d e d u p o n t h e p r o b l e m a n d s o l u t i o n b e f o r e b e g i n n i n g t h e n e e d s a s s e s s m e n t . B y t h e t i m e t h e y b e g a n t h e f e l l o w s h i p , m o s t o f t h e p a r t i c i p a n t s h a d d e c i d e d u p o n t h e t y p e o f c u r r i c u l u m t h e y w a n t e d t o c r e a t e . T h e y h a d c h o s e n a n a r e a 2 0 6 ( s u c h a s t e a c h i n g p r o c e d u r e s o r a m b u l a t o r y p e d i a t r i c s ) , h a d d e c i d e d w h a t t h e fi n a l c u r r i c u l u m w o u l d l o o k l i k e ( p e r h a p s a b l o c k r o t a t i o n o r a c o n f e r e n c e s e r i e s ) , a n d h a d s o m e i d e a s a b o u t w h a t c o n t e n t t o i n c l u d e a n d h o w t o t e a c h t h e c u r r i c u l u m . I t a p p e a r s t h a t p a r t i c i p a n t s h a d a n i v e d a t t h i s s o l u t i o n , a t l e a s t i n p a r t , b y a p r o c e s s t h a t m i g h t b e c o n s i d e r e d a n " i n f o r m a l n e e d s a s s e s s m e n t . " T h e s o l u t i o n h a d b e e n d e t e r m i n e d p r i o r t o t h e n e e d s a s s e s s m e n t . T h i s i s s u b s t a n t i a t e d b y T a b l e 1 4 i n w h i c h t h e p a r t i c i p a n t s ' i n t e n d e d p r o j e c t s o v e r t i m e a r e p r e s e n t e d . T h e s t a t e m e n t s l i s t e d i n t h e t a b l e w e r e w r i t t e n b y p a r t i c i p a n t s b e f o r e a n d a f t e r t h e n e e d s a s s e s s m e n t . A c l o s e e x a m i n a t i o n o f t h i s t a b l e r e v e a l s t h a t 1 ) t h e r e w a s o n l y o n e i n s t a n c e o f a t o p i c c h a n g i n g b e t w e e n b e f o r e a n d a f t e r t h e n e e d s a s s e s s m e n t a n d 2 ) t h e m a j o r i t y o f p a r t i c i p a n t s h a d s e l e c t e d a t o p i c a l a r e a , f r o m w h i c h t h e y d i d n o t d e v i a t e , m o n t h s b e f o r e t h e y e n t e r e d t h e f e l l o w s h i p a n d b e g a n t h e n e e d s a s s e s s m e n t . M a y s a i d : I ' l l b e h o n e s t w i t h y o u , [ t h e n e e d s a s s e s s m e n t r e p o r t i s ] j u s t a d o c u m e n t . I a l r e a d y h a d a g o o d i d e a o f w h a t I n e e d e d . T h e r e a r e o n l y a f e w a r e a s w h e r e I h a v e f o u n d t h i n g s t h a t w e r e n o t e x p e c t e d . E v i d e n c e s u g g e s t s e a r l y f e l l o w s h i p a s s i g n m e n t s d o c u m e n t e d t h e n a t u r a l l y o c c u r r i n g t h o u g h t p r o c e s s e s o f p a r t i c i p a n t s , r a t h e r t h a n a c t u a l l y f o r c i n g p a r t i c i p a n t s t o c o m e u p w i t h s o l u t i o n s p r i o r t o c o n d u c t i n g a f o r m a l n e e d s a s s e s s m e n t . P a r t i c i p a n t s l i s t e d p o t e n t i a l p r o j e c t t o p i c s i n t h e i r a p p l i c a t i o n s i n t h e s p r i n g , fi l l e d o u t a w o r k s h e e t , m e t w i t h f e l l o w s h i p f a c u l t y t o b e g i n t a l k i n g a b o u t t h e i r p r o j e c t s d u r i n g t h e s u m m e r , a n d h a n d e d i n a d r a f t o f w h a t t h e y “ . n o i l t s l a n c w t h i r t y a o l r m z u u e i p c i ) l e ' O m . n d l . e a e c i d a r P . r s . i A u F - r e e u c a e v i r y . ( . p e P d s r e o R c i r t a i d a ] r e m n a e N g [ k n s e g n a h c o n d e t ] a e c g i d n I a h c e e b N o j t c o t e 2 j 9 e 9 b u 1 o d . o r r t p w c d e M y l i o t r a ‘ t e i i t n a u u m i m s o v E c c a i r i t a m i u r l u G c a i r t r n u d ‘ e e i n u h l e i ‘ r ‘ i p - . . . . n “ A w i i m ) " s a d o e i t r e l h a r l e e o b i T l w k r . s m t c . . L - I . ! n g J M i t n u 2 O e o y l 9 a d r l e O l u . P 9 i d o d i e c 1 m a r o l t m o M M o a . t . o ‘ q r a “ . . w o t r u l 5 h V " . F n p . ~ r r m a G m u c e e a n p s e ~ l ” e i l . ] v l d l h i h m o e e . u ' a b l d c i y ' c m i g a l m ~ e o m w m C i r g a n o u ; c ~ 1 r r d " s . o e ' e t r e " r [ R " o n . - e m e t t ~ S l . v u v c a t M d m l h e o O e e c e : S e i a . o e l e r e n l n N d l j h y y a o t J l p t m r t l l e e b d i a m a : a . f m c . o l e r , i r ( e r 3 e c n o " i s e : a t ; g t u d e i p n e ” » i h v r n , o p o t r e h ‘ . i u . I e o r d t h n m l ‘ r P d ' F a O i t m r n n o e a o P l i l N l l o r P n i h k i c t i s a . e ' s . t a p i i i n n k l - u c F e ; [ l r i n i i g w r e d a r d r n t n t e ] a l c a p r g l , w o m h e u k e e i c u i A o p l " r d - . . u . o s y i r w i t a t n - n [ a g y . r r e s O v - a n . v e m n o n o i C W 4 r r d d n . i . . . e t t v a e d i u e a d r i g s b o h c s e m T t e R - r e w t . a . . b " ' ' P . u a w d h m W r ' i ‘ e i ‘ - - . N e m i . v t h e v i a g t - e l i e e n u . r g e o n . o t n o ' t , . t , u “ m J ‘ n . s . r - u ' : t n ‘ e n w l l y c n e i . . w . . . d 2 n e 5 l . t r . . y . n t n u . e d c l e e . w c a i m p - d . i e t c a i " d . h s ‘ d . , e l c ‘ a i d e r r a i : p . R o x r , p . “ o y / a F r e r m - e l t . , “ i e e . c c ‘ y w m a r ‘ l — c a a a h t ) r d f i l d c . ” p i & i c a _ P 2 l e s ‘ r c . “ - " s l l 0 h 2 fi 9 l t a e o 9 m . — e i l 1 n o a n c r i p c d l a “ a l l p e o s s u n G h — F r d o i , y p “ l o l e “ h o n i i r “ c T s . l a i e l c l ' . e i - l l r e e l m — h — t F e l k r m o a 0 r n e r i r g e y p ‘ d t r . h U y e n o ‘ a o t o ‘ m e — n e - p W n — i s c e n u v t r , o y c i t i O i o S i r P c e j o r “ a 1 c i t n k d s e l “ s r 4 l i d . u i o . n P d u d s m n w o ( e n l e a a m n r e e s l - ' r d s x e “ m e l c ' i ‘ r l - : t r I n i - o d i v l e * n - d d u e u g o n e l d o d I ' A e i i m s a w h “ s o w ‘ - m a n r n p o d e d u ) n y . i ) h n - o c c ' T 4 r - v n l k ' L a d e r . l t a , t r T c r p . a u i ‘ w i i ‘ h . ( e m y p o : i a e p . h t s g p t — l n i n e . e c c s . l c o t a n A m m i n u a i r i i a o c “ e s t p m c m i t “ . n m e — o ) i a d r s y o t w i c . A e i v r O g g n . i n y s e d e u r p P o a t w . e fl y D t F p r T . h M F " o e h . ‘ i . o s r e 5 T e ' ( S a P ' p ( r ' r 3 ( p « n 0 m ' R a e y r p d t ) o t n e i t a y fl r n o o i r r h a c F r t a t o . 1 a R “ a i “ ? t p e n l s e r e t 0 t e u t u e i e r t y n c b O n r i u e m o o e t a j i A p s c s s s s i a c t i e e t e e t a C h . . _ o r 2 o c 9 r f a h t u Y Y g Y Y t i h e a . , N t e 9 p p ‘ i c c o O u r _ i c n i R o a 1 h r e l l s p o p r P I r “ h m . t u p k y i g s ‘ I A r j l l M e Y l . . a e H s ' ( u e l C i m . c P n . c l i n a i M r p S . m r d u t e l a . a l F : r 3 r s l . u r i 7 o P W ) m r o W . . . f i d u c o e s s s s . . s i e e e n c l e 0 t r . . o i o c Y Y . Y Y o Y e _ r r s . D r p u c ( . E M I T n m m e m 1 I J u a s a . “ r E e Y l l a T a b l e 1 4 C h a n g e s t o P r o j e c t T o p i c O v e r T i m e P e d i a t r i c s " 1 . 7 m l o p r c ' " M i k e Y e s Y e s ' D e v e i o p o v e r s l 0 m m : u p e r i e n c e i o r F P r e d d e n t s . D e i ' n e s p e c fi i a o i ' D e v e l o p s p e d i i c e t o r n e w O B I P e d s r o t a t i o n . D e v e l o p i n v e r t e d c o n t e n t . i n d r u c t l o n . a n d e v a l u a t i o n . U t i l i z e F P r o l e m o d e l s a s m u c h a s E v a k l s t i o n o i R e s i d e n c y ' - “ ‘ ‘ " ' ' r ‘ ' ' r J ‘ p o e s i b i s . ‘ C u r r i c u l u m r e s i d e n t s ' 3 , . . m . . . . n - . u I - I " . w u l i l n v . L 2 0 7 - . . 3 = - I I n “ I 4 . r ~ . . . . - ! W m m m - v u w y w I I I " . I I " ‘ . ) s t t n e m 2 s s 9 9 e 1 s s r A e b . m w e v a e b ' l i w e c n e i r e p x E t n e i ' t ; ' 7 u i a o a n e r h u i T u ' c i r r : u . c s a p t u O m e o i t c a r P y e s h n i . o l L i . t N n r e l u r l e p i c r o . . i . t e n v i s u e n ' o l . p c m i m a F e h t r o . t n I ( e l J . o o i . — _ M p . o e p e h t p e o s l r e e v v e d d l e ‘ , M ) d ' t n o c : 2 2 ; . 5 d n a ‘ d “ . . . a . s e a ) n h t y l i d . . . . . _ p u - . . r . l - i . ‘ . h m 3 u m e r I 4 o p t ‘ O t e b c x 4 e u d t p n l . u n - b H ‘ e j o I c . . a o e j . , ( c o 4 s . r m e 4 1 L e i h a t t n s r e o c e r p m r o j a M ( y n w P . _ . r e _ u , a l h u . l 4 l b fi 2 d . e c i 9 . i i C o h a c y m : . a 9 : I w o . . T I n l 1 r d r r o . ' i p t " n . n t . r e t n i c r u 4 n . o i . t F e m o t m - a t h a s . e — i . . o p . u i i o . o . n d r L , - . a . w i p . I o i u . d o r r d A u e l u L r o S i r P n d t e D c T v . t - A r o c a r e o r " . ] d _ g e “ r ' . e n e . w - m i . I o i . p j “ H " . . . . . . . . . . . . . . 4 - w a o l u s i ' v a r ' t o o t l r a P e . h v t e n d o . . . I . , r h . 4 a n i t . . I v r m - h a n e i o ’ a v r T g e i r b i e e s e ‘ s s d e l . . e . ! e c i t . o h . r s e p t o i c c r c r p o : i e a l " a o r c t r . t D i r . : t u a t e n p e r ' y n r " A h r r - e n k . e t n e , l r . e d w o l i l P e y t l . e . i l . m u L r i I o . n h ' " p w a . i I a F d . h c . . e t e c p 4 o d s . r 7 n e - . « a r p I I . - a e d y ? i m t t e - c n o l t a t o fi h h n r u l t c i r r y u n e j c w o fi a I r i p c e r r p o t l s s C e l e Y i - i y o o h c S u t l I s j a M i n m o C a c i d e M s e Y e n O o N e v E 1 r S p d n g l m D e c i d e d o n . c u r r i c u l u m m i c e ! y e t ? ( A p p l i c a t i o n Q M ) O v e r a l l G o a l ( P r o j e d W o r k s h e e t 0 & 2 ) O v e r a l l G o a l ( P r o j e c t C o n t r a c t Q M ) Y e s w I I I I m I I I I y I I I w I I I I v I - w N o Z i F i e e s e r c h i d e e s : 1 ) O u e d i o n n a k e o n s t u d m t g i r d “ t o w a r d d i v e r s l y m y c o l l e c t e d ) ' " - 3 ) H e m a t o l o g y s t u d y , I v I ' I w ' r l I : e 5 . . . - . . - A » . . . - . . n . . r c u r r i c u i u r r L ' A l l - A ‘ — a n i m a l I L . . . I 9 9 ‘ — ‘ - 4 . a " U s u a l - " I . 2 0 8 2 0 9 t h o u g h t t h e y w o u l d d o f o r t h e i r p r o j e c t t h e fi r s t d a y o f f e l l o w s h i p . E a c h o f t h e s e w r i t t e n d o c u m e n t s p r o v i d e d e v i d e n c e o f c h o i c e s m a d e e a r l y a n d p e r s i s t i n g t h r o u g h t h e n e e d s a s s e s s m e n t l a t e r c o n d u c t e d i n t h e f a l l . F e l l o w s h i p f a c u l t y i d e n t i fi e d a n u m b e r o f i n s t a n c e s i n w h i c h p a r t i c i p a n t s h a d m a d e fi r m d e c i s i o n s a b o u t t h e i r c u r r i c u l a t h e s u m m e r b e f o r e s t a r t i n g t h e f e l l o w s h i p . O n e f a c u l t y m e m b e r d e s c r i b e d M a y a s h a v i n g " l o c k e d o n t o " h e r t o p i c i n A p r i l o r M a y ( f o u r t o fi v e m o n t h s b e f o r e b e g i n n i n g t h e f e l l o w s h i p ) . R u b i n w a s d e s c r i b e d b y a f a c u l t y m e m b e r a s u s i n g t h e n e e d s a s s e s s m e n t t o g a i n s u p p o r t f o r w h a t h e a l r e a d y w a n t e d t o d o : I d i d t h e s i t e v i s i t a n d f r o m d a y o n e h e h a s h a d a f o r m o f s u m m a t i v e e v a l u a t i o n i n m i n d . . . h e w a n t s t o r u n s i m u l a t e d p a t i e n t s t h r o u g h t h e c l i n i c . . . . h a s h e b e e n w o r k i n g b a c k w a r d s f r o m h i s e v a l u a t i o n ? . . . w a t c h o u t f o r t h a t . T h e t w o p a r t i c i p a n t s t h a t t h e i n v e s t i g a t o r v i s i t e d a m o n t h b e f o r e t h e b e g i n n i n g o f t h e f e l l o w s h i p h a d a l r e a d y s e l e c t e d a c u r r i c u l a r t o p i c a n d d e s c r i b e d d e t a i l e d m e t h o d s f o r t e a c h i n g t h e c u r r i c u l u m . N e e d s a s s e s s m e n t s s u b s t a n t i a t e t h e p r e e x i s t i n g i d e a o r s o l u t i o n . I n r e v i e w i n g w r i t t e n d o c u m e n t s a n d i n t e r v i e w s g e n e r a t e d b y t h e p a r t i c i p a n t s o v e r a n e i g h t - m o n t h p e r i o d b e g i n n i n g w i t h a p p l i c a t i o n t o t h e f e l l o w s h i p p r o g r a m t h r o u g h r e p o r t i n g o n n e e d s a s s e s s m e n t r e s u l t s , m a n y o f t h e p a r t i c i p a n t s r e p e a t e d l y c i t e d a f a v o r e d t h e m e . I n s o m e c a s e s , t h e p a r t i c i p a n t h a d a p r e f e r r e d t e c h n i q u e i n m i n d : M a x s p o k e o f t e a c h i n g s t u d e n t s t h e t w e n t y m o s t c o m m o n p r o b l e m s e n c o u n t e r e d i n p e d i a t r i c o f fi c e v i s i t s , A l e x i s w a n t e d t o p r e — a n d 2 1 0 p o s t - t e s t h e r s t u d e n t s , B i l l w a n t e d t o u s e a n i n t e r d i s c i p l i n a r y a p p r o a c h t o t e a c h i n g g e r i a t r i c s , a n d s o f o r t h . S e v e r a l o f t h e p a r t i c i p a n t s d i s p l a y e d a c o n c e p t u a l o r i e n t a t i o n w h i c h w a s r e p r e s e n t e d b y k e y w o r d s t h a t c o n s t a n t l y a p p e a r e d i n t h e i r w r i t i n g a n d c o n v e r s a t i o n s . O f t e n t h e s e c o n c e p t s d e a l t w i t h b e t t e r o r g a n i z i n g a n a l r e a d y e x i s t i n g c u r r i c u l u m . J u l i e o f t e n w r o t e a n d s p o k e o f n e e d i n g t o " s t a n d a r d i z e " t h e c u r r i c u l u m , M i k e w a n t e d t o m a k e t h e e x i s t i n g c u r r i c u l u m m o r e " o b j e c t i v e , " E m m a d e s c r i b e d t h e l e a r n i n g i n t h e c u r r e n t c u r r i c u l u m a s " a r b i t r a r y . " I n e a c h i n s t a n c e w h e r e p a r t i c i p a n t s h a d a p a r t i c u l a r t e c h n i q u e o r c o n c e p t i n m i n d p r i o r t o p e r f o r m i n g t h e f o r m a l n e e d s a s s e s s m e n t , t h e n e e d s a s s e s s m e n t r e p o r t a l s o c a l l e d f o r t h e u s e o f t h e t e c h n i q u e o r e s t a b l i s h e d t h e d e s i r a b i l i t y o f t h e c o n c e p t . T h i s i s s u b s t a n t i a t e d b y c o m m e n t s m a d e b y t h e p a r t i c i p a n t s . F o r e x a m p l e , B i l l s a i d : W h e n I g o t i n t o t h e f e l l o w s h i p , I a l r e a d y h a d s e v e r a l i d e a s . A n d i t w a s s h a r e d b y m a n y p e o p l e . I d i d t h e n e e d s a s s e s s m e n t b e c a u s e I a l r e a d y h a d t h e i d e a - - b u t I f o u n d o u t i t w a s s h a r e d i n t h e n e e d s a s s e s s m e n t . A s d e s c r i b e d i n C h a p t e r I V , a l l b u t o n e o f t h e p a r t i c i p a n t s ( E r i n ) w r o t e a n d / o r s p o k e o f t h e c u r r i c u l u m a d d r e s s i n g a p e r s o n a l i n t e r e s t a r e a . I n t h e fi n a l m e m b e r c h e c k s , t h e s e s a m e t h i r t e e n p a r t i c i p a n t s s a i d t h a t t h e i r n e e d s a s s e s s m e n t h a d c o n fi r m e d t h e b e l i e f t h e y h a d h e l d p r i o r t o c o n d u c t i n g t h e n e e d s a s s e s s m e n t . P e o p l e n a t u r a l l y c o n d u c t i n f o r m a l n e e d s a s s e s s m e n t s . A s i l l u s t r a t e d i n C h a p t e r 1 1 n e e d s a s s e s s m e n t h a s m u c h i n c o m m o n w i t h e v e r y d a y d e c i s i o n m a k i n g a c t i v i t y . I n fi n d i n g # 1 , n e e d s a s s e s s m e n t i s d e s c r i b e d a s a n a c t i v i t y t h a t d o e s n o t h a v e a c l e a r c u t b e g i n n i n g a n d 2 1 1 e n d . I t w a s i l l u s t r a t e d t h a t a t l e a s t t e n o f t h e p a r t i c i p a n t s c o n d u c t e d s o m e f o r m o f n e e d s a s s e s s m e n t p r i o r t o b e g i n n i n g t h e f e l l o w s h i p . P a r t i c i p a n t s d e s c r i b e d t a l k i n g t o p e e r s a n d c o l l e c t i n g r e l a t e d a r t i c l e s a s p a r t o f t h i n k i n g a b o u t w h a t t y p e o f p r o j e c t w o u l d b e m o s t u s e f u l t o t h e i r o r g a n i z a t i o n . T h e i n v e s t i g a t o r f e e l s t h a t p a r t i c i p a n t s w e r e a c t i n g w i t h " c o m m o n s e n s e " i n c o n d u c t i n g w h a t a m o u n t s t o a n i n f o r m a l n e e d s a s s e s s m e n t p r i o r t o b e g i n n i n g t h e f e l l o w s h i p . A s M i k e d e s c r i b e s , h e h a d b e e n p e r f o r m i n g n e e d s a s s e s s m e n t - l i k e a c t i v i t i e s f o r s o m e t i m e . W h e n a s k e d h o w m u c h t i m e h e s p e n t o n t h e n e e d s a s s e s s m e n t a s s i g n m e n t , h e r e s p o n d e d [ e m p h a s i s a d d e d ] : I t w e n t q u i c k . M y p e r s p e c t i v e o n m y j o b i s t o t r o u b l e s h o o t - - t o l o o k a t t h e f u t u r e . I t a l m o s t w a s a l l d o n e a l r e a d y i n m y h e a d . I ' m a l w a y s d o i n g i t . F o r m y j o b , I m e e t a l m o s t o n c e a w e e k w i t h s o m e o n e t o g o o v e r s o m e t h i n g a b o u t t h e c u r r i c u l u m . F o r e x a m p l e , b e f o r e I c a m e h e r e , I d i s t r i b u t e d a p o r t i o n o f m y c u r r i c u l u m d o c u m e n t t o [ t h e d i v i s i o n d i r e c t o r s ] a s k i n g t h e m t o r e v i e w t h e c o n t e n t . W h e n I g e t b a c k , t h e y w i l l h a v e r e t u r n e d i t t o m e w i t h w r i t t e n f e e d b a c k a n d I ' l l t a l k t o s o m e o f t h e m a b o u t i t . I n s u m m a r y , a s f u r t h e r s u b s t a n t i a t e d b y fi n d i n g # 1 9 , t h e n e e d s a s s e s s m e n t d i d n o t fi n d a s o l u t i o n . R a t h e r , p a r t i c i p a n t s h a d d o n e w h a t c o u l d b e c o n s i d e r e d a n " i n f o r m a l n e e d s a s s e s s m e n t " t o d e c i d e u p o n w h i c h p r o b l e m t o w o r k a n d i t s s o l u t i o n p r i o r t o e n t e r i n g t h e f e l l o w s h i p . T h e n e e d s a s s e s s m e n t d i d n o t r e s u l t i n c h a n g e s t o ‘ p a r t i c i p a n t s ' d e c i s i o n s . R a t h e r , t h e n e e d s a s s e s s m e n t c o n fi r m e d a n d r e fi n e d t h e s e d e c i s i o n s . 2 1 2 § U M M A R Y I n t h i s c h a p t e r t h e i n v e s t i g a t o r p r e s e n t e d t w e n t y fi n d i n g s t h a t e m e r g e d f r o m a n a l y z i n g d a t a c o l l e c t e d t h r o u g h o b s e r v i n g , i n t e r v i e w i n g , a n d e x a m i n i n g d o c u m e n t s o f f o u r t e e n p a r t i c i p a n t s a s t h e y b e c a m e f a m i l i a r w i t h , i m p l e m e n t e d , a n d l e a r n e d f r o m p e r f o r m i n g a n e e d s a s s e s s m e n t . T h e fi n d i n g s a r e s u m m a r i z e d h e r e u n d e r e a c h o f t h e t h r e e r e s e a r c h q u e s t i o n s . T h e f o l l o w i n g t w e n t y fi n d i n g s , d e v e l o p e d t h r o u g h t h e m e t h o d o f c o n s t a n t c o m p a r i s o n a n d i l l u s t r a t e d w i t h q u o t e s a n d d e s c r i p t i o n s , s u m m a r i z e t h e n e e d s a s s e s s m e n t s o f t h e s e i n d i v i d u a l s . u v . . . o “ . . - I Q U ' o _ . n # ° W h H - ' u s i n . 0 . 0 ! _ M W H o w t h e f o u r t e e n p a r t i c i p a n t s c o n d u c t e d t h e i r n e e d s a s s e s s m e n t s w a s d e s c r i b e d a n d e x p l a i n e d b y e x a m i n i n g t h e m e t h o d s t h e y u s e d a n d t h e s o u r c e s t h e y c o n s u l t e d . F i n d i n g # 1 : N e e d s a s s e s s m e n t d i d n o t h a v e a c l e a r b e g i n n i n g a n d e n d i n g . F i n d i n g # 2 : T a k i n g a b l o c k o f t i m e t o p l a n w a s t h e m o s t e f f e c t i v e w a y t o b e g i n t h e n e e d s a s s e s s m e n t . F i n d i n g # 3 : A s s e s s o r s u s e d i n f o r m a l a n d l e s s s t r u c t u r e d a c t i v i t i e s m o r e o f t e n t h a n f o r m a l s t r u c t u r e d a c t i v i t i e s w h e n c o n d u c t i n g n e e d s a s s e s s m e n t s . F i n d i n g # 4 : A s s e s s o r s d i d n o t i n v o l v e r e p r e s e n t a t i v e s o f e v e r y s t a k e h o l d e r g r o u p i n t h e n e e d s a s s e s s m e n t . F i n d i n g # 5 : D a t a c o l l e c t i o n w a s f o c u s e d o n s o u r c e s m o s t l i k e t h e a s s e s s o r s t h e m s e l v e s . F i n d i n g # 6 : D a t a c o l l e c t i o n w a s f o c u s e d o n s o u r c e s w i t h i n t h e a s s e s s o r ' s i m m e d i a t e c o n t e x t . F i n d i n g # 7 : T h e p u r p o s e o f t h e c o n t a c t , a n d t h e d a t a c o l l e c t i o n a p p r o a c h u s e d , w a s d e p e n d e n t u p o n t h e t y p e o f s o u r c e b e i n g c o n t a c t e d . 2 1 3 S u m m a r y o f r e s e a r c h g u e s g o n # 2 : W h a t f a c t g r s f a c i l i t a t e a n d l o r W T h e f a c t o r s t h a t f a c i l i t a t e a n d h i n d e r t h e n e e d s a s s e s s m e n t p r o c e s s w e r e i l l u s t r a t e d b y d e s c r i b i n g a n d e x p l a i n i n g p h e n o m e n a t h a t o c c u r r e d o n t h e l e v e l o f 1 ) t h e i n d i v i d u a l n e e d s a s s e s s o r , 2 ) t h e f e l l o w s h i p p r o g r a m , a n d 3 ) t h e h o m e o r g a n i z a t i o n s o f t h e p a r t i c i p a n t s . W m F i n d i n g # 8 : N e e d s a s s e s s m e n t s w e r e h i n d e r e d b y t h e v a g u e n e s s o f t h e c o n c e p t f o r b e g i n n e r s . F i n d i n g # 9 : N e e d s a s s e s s m e n t s w e r e h i n d e r e d b y u n e x p e c t e d t i m e d e m a n d s a n d d e l a y s . F i n d i n g # 1 0 : N e e d s a s s e s s m e n t s w e r e f a c i l i t a t e d b y a s s e s s o r s p o s s e s s i n g m o d e r a t e l y h i g h e x p e c t a t i o n s . F i n d i n g # 1 1 : N e e d s a s s e s s m e n t s w e r e f a c i l i t a t e d b y t h e p r e s e n c e o f k e y s k i l l s i n t h e a s s e s s o r . F i n d i n g # 1 2 : N e e d s a s s e s s m e n t s w e r e h i n d e r e d b y a t o o w i d e o r t o o n a r r o w f o c u s . T h : E ‘ g l l p w s h i p P r p g r a m F i n d i n g # 1 3 : N e e d s a s s e s s m e n t s w e r e f a c i l i t a t e d b y t i m e l y a c c e s s t o h e l p f u l m a t e r i a l s a n d h u m a n r e s o u r c e s . W F i n d i n g # 1 4 : A s s e s s o r s d e m o n s t r a t i n g a b e l i e f i n i n t e r n a l c o n t r o l p e r c e i v e d f e w e r d i f fi c u l t i e s i n c o n d u c t i n g t h e n e e d s a s s e s s m e n t . F i n d i n g # 1 5 : A s s e s s o r s w h o w e r e fl e x i b l e e x p e r i e n c e d f e w e r d i f fi c u l t i e s i n c o n d u c t i n g t h e n e e d s a s s e s s m e n t . u m m a O f r n . h u o _ . # ' W h . . . - . 1 i n . ‘ - . . . . - u t h e p r o c e s s a n d p r o d u c t s p f n e e d s a s s e s s m e n t ? W h a t p a r t i c i p a n t s l e a r n e d a b o u t n e e d s a s s e s s m e n t w a s a n s w e r e d b y l o o k i n g a t : 1 ) w h a t p a r t i c i p a n t s l e a r n e d a b o u t t h e p r o c e s s o f n e e d s a s s e s s m e n t a n d 2 ) t h e p r o d u c t s o f n e e d s a s s e s s m e n t , a s e x p r e s s e d b y c h a n g e s t o t h e p a r t i c i p a n t s ' c u r r i c u l a a s a r e s u l t o f h a v i n g c o n d u c t e d t h e n e e d s a s s e s s m e n t . F i n d i n g # 1 6 : F i n d i n g # 1 7 : F i n d i n g # 1 8 : F i n d i n g # 1 9 : F i n d i n g # 2 0 : 2 1 4 N e e d s a s s e s s m e n t c o n c e p t s w e r e c l e a r e r a f t e r a s s e s s o r s e x p e r i e n c e d t h e p r o c e s s . P a r t i c i p a n t s p e r c e i v e d t w o k e y b e n e fi t s f r o m c o n d u c t i n g a n e e d s a s s e s s m e n t . P a r t i c i p a n t s c l e a r l y d e fi n e d c o n d i t i o n s u n d e r w h i c h t h e y w o u l d p e r f o r m n e e d s a s s e s s m e n t s i n t h e f u t u r e . T h e r e w e r e f e w c h a n g e s t o t h e c u r r i c u l a a s a r e s u l t o f t h e n e e d s a s s e s s m e n t . A s s e s s o r s h a d d e c i d e d u p o n t h e p r o b l e m a n d s o l u t i o n b e f o r e b e g i n n i n g t h e n e e d s a s s e s s m e n t . T h e fi n a l c h a p t e r p r e s e n t s a c o n c e p t u a l f r a m e w o r k f o r i n t e r p r e t i n g t h e s e fi n d i n g s , t h e m a j o r c o n c l u s i o n s o f t h e s t u d y , a n d i m p l i c a t i o n s . C H A P T E R V I C O N C L U S I O N S A N D D I S C U S S I O N W T h e p u r p o s e o f t h i s s t u d y w a s t o d e s c r i b e a n d e x p l a i n h o w i n d i v i d u a l s , g i v e n s i m i l a r t r a i n i n g , i m p l e m e n t a n d l e a r n f r o m a n e e d s a s s e s s m e n t . T h e t h r e e r e s e a r c h q u e s t i o n s w e r e a n s w e r e d t h r o u g h t h e p r e s e n t a t i o n o f t w e n t y fi n d i n g s i n t h e p r e v i o u s c h a p t e r . A l t h o u g h n e e d s a s s e s s m e n t i s d e s c r i b e d a s a n i m p o r t a n t e a r l y c o m p o n e n t o f a n y s y s t e m a t i c p r o b l e m s o l v i n g p r o c e s s , v e r y l i t t l e r e s e a r c h h a s b e e n c o n d u c t e d o n n e e d s a s s e s s m e n t t o s u b s t a n t i a t e i t s e f f e c t i v e n e s s o r v a l i d a t e a p a r t i c u l a r m o d e l ( C h a p t e r I I , " R e v i e w o f t h e L i t e r a t u r e " ) . T h e r e f o r e . t h e p r e s e n t s t u d y w a s d e s i g n e d t o d e s c r i b e h o w n e e d s a s s e s s m e n t s a r e c o n d u c t e d b y p e o p l e n e w l y e x p o s e d t o n e e d s a s s e s s m e n t c o n c e p t s a n d e x p l a i n t h e r e s u l t a n t o u t c o m e s . T h e c o n t e x t w a s a l O - m o n t h - l o n g f e l l o w s h i p i n m e d i c a l e d u c a t i o n , i n w h i c h p r i m a r y c a r e p h y s i c i a n s f r o m a c r o s s t h e U S a n d P u e r t o R i c o w e r e t o d e v e l o p t h e i r s k i l l s i n t e a c h i n g , r e s e a r c h , c u r r i c u l u m d e v e l o p m e n t , a n d a d m i n i s t r a t i o n . T h e s u b j e c t s o f t h i s s t u d y w e r e f o u r t e e n p h y s i c i a n s c o n d u c t i n g n e e d s a s s e s s m e n t s i n p r e p a r a t i o n f o r c r e a t i n g a m e d i c a l c u r r i c u l u m . F e l l o w s h i p f a c u l t y p r e s e n t e d a w o r k s h o p o n n e e d s a s s e s s m e n t c o n c e p t s a n d t e c h n i q u e s . P a r t i c i p a n t s t h e n h a d s i x w e e k s t o c o n d u c t a n e e d s a s s e s s m e n t i n t h e i r w o r k e n v i r o n m e n t a n d 2 1 5 2 1 6 d e v e l o p w r i t t e n a n d o r a l r e p o r t s o n t h e n e e d s a s s e s s m e n t p r o c e s s a n d r e s u l t s . T h i s w a s a q u a l i t a t i v e s t u d y i n w h i c h d a t a w e r e c o l l e c t e d t h r o u g h o b s e r v a t i o n s , i n t e r v i e w s , a n d b y e x a m i n i n g d o c u m e n t s g e n e r a t e d b y t h e p a r t i c i p a n t s b e f o r e , d u r i n g , a n d a f t e r t h e y r e c e i v e d t r a i n i n g f o r a n d c o n d u c t e d t h e i r fi r s t n e e d s a s s e s s m e n t s . A n i n d u c t i v e a p p r o a c h w a s u s e d f o r a n a l y z i n g t h e d a t a a n d t h e r e s u l t s w e r e r e p o r t e d i n c a s e s t u d y f o r m a t . F o u r a r e a s a r e a d d r e s s e d i n t h i s fi n a l c h a p t e r : 1 ) t h e c o n c e p t u a l f r a m e w o r k u s e d t o i n t e r p r e t t h e fi n d i n g s : 2 ) t h e l i m i t a t i o n s o f t h e s t u d y : 3 ) t h e m a j o r c o n c l u s i o n s . s u p p o r t e d b y a r g u m e n t s d e r i v e d f r o m r e l a t i n g t h e fi n d i n g s t o t h e c o n c e p t u a l f r a m e w o r k : a n d 4 ) t h e i m p l i c a t i o n s o f t h i s s t u d y f o r a ) a s s e s s o r s a n d t h o s e t r a i n i n g t h e m , b ) t h e s p e c i fi c c o n t e x t o f t h e p r e s e n t s t u d y , c ) t h e u s e o f t h i s m e t h o d o l o g y a n d c o n c e p t u a l f r a m e w o r k i n P e r f o r m a n c e T e c h n o l o g r , a n d d ) f u r t h e r r e s e a r c h . 2 1 7 A C O N C E P T U A L F R A M E W O R K E Q R U N D E R § 1 : A N D I N G N E E D S M E ° Y P R A L e a r n i n g a t h e o r y o f a c t i o n s o a s t o b e c o m e c o m p e t e n t i n p r o f e s s i o n a l p r a c t i c e d o e s n o t c o n s i s t o f l e a r n i n g t o r e c i t e t h e t h e o r y : t h e t h e o r y o f a c t i o n h a s n o t b e e n l e a r n e d i n t h e m o s t i m p o r t a n t s e n s e u n l e s s i t c a n b e p u t i n t o p r a c t i c e . ( A r g y r i s & S c h o n , 1 9 7 4 , p . 1 2 ) A b o u t T h e o r y A c o n c e p t u a l f r a m e w o r k i s u s e f u l f o r o r g a n i z i n g a s t u d y ' s fi n d i n g s i n t o a c o m p r e h e n s i b l e s t r u c t u r e . T h e c o n c e p t u a l f r a m e w o r k w o r k s i n t a n d e m w i t h t h e r e s e a r c h q u e s t i o n s t o d e s c r i b e a n d e x p l a i n t h e p h e n o m e n o n o f i n t e r e s t . I n t h e p r e s e n t s t u d y , t h e c o n c e p t u a l f r a m e w o r k w a s t a k e n f r o m t h e w o r k o f A r g y r i s & S c h o n ' s W ( 1 9 7 4 ) , a n d W W ( 1 9 7 8 ) . ( S e e A p p e n d i x A f o r a n e x p l a n a t i o n o f h o w t h e c o n c e p t u a l f r a m e w o r k w a s s e l e c t e d . ) I t i s i m p o r t a n t t o h a v e a c o m m o n d e fi n i t i o n o f t h e t e r m " t h e o r y " b e f o r e p r o c e e d i n g . A c c o r d i n g t o K e r l i n g e r ( 1 9 7 3 ) : A t h e o r y i s a s e t o f i n t e r r e l a t e d c o n s t r u c t s ( c o n c e p t s ) , d e fi n i t i o n s , a n d p r o p o s i t i o n s t h a t p r e s e n t a s y s t e m a t i c v i e w o f p h e n o m e n a b y s p e c i f y i n g r e l a t i o n s a m o n g v a r i a b l e s , w i t h t h e p u r p o s e o f e x p l a i n i n g a n d p r e d i c t i n g t h e p h e n o m e n a . ( p . 9 ) T h e r e f o r e , t h e p u r p o s e o f t h e o r y i s t o e x p l a i n o r p r e d i c t - - s o m e t i m e s w i t h t h e i n t e n t o f c o n t r o l l i n g t h e p h e n o m e n o n o f i n t e r e s t . T h i s s t u d y h a s d e a l t w i t h t h e c o n c e p t o f " t h e o r y " i n t h r e e w a y s . F i r s t , t h e r e v i e w o f t h e l i t e r a t u r e o n n e e d s a s s e s s m e n t h a s s h o w n t h a t t h e r e a r e m a n y c o n fl i c t i n g t h e o r i e s o f n e e d s a s s e s s m e n t , a s r e p r e s e n t e d 2 1 8 b y m o d e l s a n d d i s a g r e e m e n t s o v e r t e r m i n o l o g r , t h a t r e m a i n u n p r o v e n b e c a u s e t h e y h a v e n o t b e e n r e s e a r c h e d . A s s u c h , i t i s n o t k n o w n t o w h a t d e g r e e t h e y a r e e f f e c t i v e a t a c t u a l l y e x p l a i n i n g t h e n e e d s a s s e s s m e n t p r o c e s s , o r p r e d i c t i n g a p o s i t i v e o u t c o m e . S e c o n d , t h e c o n c e p t u a l f r a m e w o r k f o c u s e s o n t h e d i f f e r e n c e b e t w e e n e s p o u s e d t h e o r i e s a n d t h e o r i e s - i n - u s e . T h i s s t u d y h a s l o o k e d a t t h e d a t a i n a n a t t e m p t t o u n d e r s t a n d t h e s e t w o d i f f e r e n t k i n d s o f t h e o r i e s a s t h e y a p p l y t o n e e d s a s s e s s m e n t . T h i r d , t h e p u r p o s e o f t h i s s t u d y e s s e n t i a l l y w a s t o g e n e r a t e a t h e o r y w h i c h d e s c r i b e d h o w n e e d s a s s e s s m e n t s a r e p r a c t i c e d . G l a s e r & S t r a u s s ( 1 9 6 7 ) d e s c r i b e q u a l i t a t i v e r e s e a r c h a s " t h e o r y - b u i l d i n g , " a s i t s a i m i s t o d e s c r i b e a n d e x p l a i n t h e p h e n o m e n o n o f i n t e r e s t i n t h e s t u d y . T h e r e f o r e , t h e p r e s e n t a i m w a s t o s t u d y a s m a l l n u m b e r o f n e e d s a s s e s s m e n t s t o b e g i n t o b u i l d a t h e o r y t h a t d e s c r i b e d a n d e x p l a i n e d h o w a c e r t a i n t y p e o f n e e d s a s s e s s m e n t w a s a c t u a l l y c o n d u c t e d . I n t h e i n t e r e s t o f p r o m o t i n g m o r e e f f e c t i v e a n d c o m p e t e n t p r a c t i c e o f n e e d s a s s e s s m e n t i n t h e f u t u r e , t h e s t u d y a l s o a i m e d t o d e s c r i b e a n d e x p l a i n w h a t f a c i l i t a t e d a n d h i n d e r e d t h e s e n e e d s a s s e s s m e n t s a n d w h a t w e r e t h e o u t c o m e s o f h a v i n g p e r f o r m e d a n e e d s a s s e s s m e n t . W o r k I n W ( 1 9 7 4 ) , A r g y r i s a n d S c h d n a d d r e s s t h e p r a c t i c e a n d e d u c a t i o n o f p r o f e s s i o n a l s . T h e y h a v e s t u d i e d t h e i n t e r p e r s o n a l i n t e r a c t i o n s o f p r o f e s s i o n a l s s u c h a s p h y s i c i a n s , s o c i a l w o r k e r s , a n d c i t y p l a n n e r s t o d e v e l o p a t h e o r y o f h o w p e o p l e c a n b e c o m e m o r e c o m p e t e n t a n d e f f e c t i v e . T h e y h a v e a p p l i e d a n d h o n e d t h e t h e o r y i n l e a r n i n g s e m i n a r s a n d o n e - o n - o n e c o n s u l t a t i o n s . A r g y r i s a n d S c h o n ( 1 9 7 4 ) d e s c r i b e a c o n c e p t u a l f r a m e w o r k i n w h i c h h u m a n s b e h a v e 2 1 9 a c c o r d i n g t o t h e o r i e s o f a c t i o n , w h i c h a r e d i v i d e d i n t o e s p o u s e d t h e o r i e s a n d t h e o r i e s - i n - u s e . T h e y f u r t h e r d e s c r i b e a p r o c e s s b y w h i c h t h e s e t h e o r i e s a r e m a i n t a i n e d o r m o d i fi e d t h r o u g h s i n g l e - l o o p a n d d o u b l e - l o o p l e a r n i n g a n d p r e s e n t t w o m o d e l s f o r h u m a n i n t e r a c t i o n s . A r g y r i s a n d S c h o n ' s l a t e r w o r k , O r g a n i z a t i o n a l L e a r n i n g ( 1 9 7 8 ) a p p l i e s t h e s a m e c o n c e p t u a l f r a m e w o r k t o d e s c r i b e h o w o r g a n i z a t i o n s l e a r n a n d m a i n t a i n e f f e c t i v e n e s s . E a c h o f t h e k e y c o m p o n e n t s o f t h e c o n c e p t u a l f r a m e w o r k i s d e s c r i b e d b e l o w . T h e o g y o f a c t i o n . A r g y r i s a n d S c h c ’ i n d e s c r i b e h o w p e o p l e a r e c o n t i n u a l l y c o n f r o n t e d w i t h n o v e l s i t u a t i o n s i n w h i c h t h e y a r e r e q u i r e d t o r e s p o n d i n n o v e l w a y s . H u m a n c o g n i t i v e p r o c e s s i n g l i m i t s p e o p l e s ' a b i l i t i e s t o c o n s i d e r a l l t h e a v a i l a b l e o p t i o n s a n d c o n s e q u e n c e s i n e a c h n e w s i t u a t i o n s o , i n s t e a d , h u m a n s d e v e l o p r u l e s a b o u t h u m a n b e h a v i o r , a s e n s e o f c a u s e a n d e f f e c t , t h a t s i m p l i f y d e c i s i o n m a k i n g . T h e s e " t h e o r i e s o f a c t i o n " a r e d e fi n e d b y A r g y r i s ( 1 9 9 1 ) a s " a s e t o f r u l e s t h a t i n d i v i d u a l s u s e t o d e s i g n a n d i m p l e m e n t t h e i r o w n b e h a v i o r a s w e l l a s t o u n d e r s t a n d t h e b e h a v i o r o f o t h e r s " ( p . 1 0 3 ) . A r g y r i s a n d S c h i i n ( 1 9 7 8 ) p o i n t o u t t h a t t h e s e t h e o r i e s o f a c t i o n a r e u s e f u l f o r c o n t r o l a s w e l l a s p r e d i c t i o n o f h u m a n b e h a v i o r . A p e r s o n e s s e n t i a l l y u s e s a t h e o r y o f a c t i o n t o m a k e d e c i s i o n s t h a t c o n t r o l h i s / h e r b e h a v i o r , a n d o t h e r s c a n u s e t h a t t h e o r y o f a c t i o n t o p r e d i c t o r e x p l a i n t h a t p e r s o n ' s b e h a v i o r . E s p o u s e d t h e o g z a n d t h e o g - i n - u s e . A r g y r i s a n d S c h o n ( 1 9 7 4 ) d i s t i n g u i s h b e t w e e n t w o t y p e s o f t h e o r y o f a c t i o n : e s p o u s e d t h e o r y a n d t h e o r y - i n - u s e . A n e s p o u s e d t h e o r y i s t h e s e t o f r u l e s t h a t p e o p l e w i l l s t a t e i f y o u a s k t h e m a b o u t t h e i r r u l e s f o r c o n d u c t . A t h e o r y - i n - u s e i s h o w p e o p l e a c t u a l l y b e h a v e , w h i c h m a y b e d i s c o v e r e d o n l y t h r o u g h o b s e r v i n g p e o p l e ' s b e h a v i o r . T h i s i s b e c a u s e p e o p l e o f t e n a r e n o t 2 2 0 c o n s c i o u s o f t h e i r t h e o r y - i n - u s e . I t i s i m p o r t a n t t o n o t e t h a t t h e s e t w o t h e o r i e s o f a c t i o n a r e n o t n e c e s s a r i l y i n a g r e e m e n t w i t h e a c h o t h e r . A r g y r i s a n d S c h o n d r a w a n a n a l o g y t o g r a m m a r a n d s p e e c h a s a n e x a m p l e o f t h e t w o t h e o r i e s o f a c t i o n a n d h o w t h e y m a y r e l a t e . T h e r u l e s o f g r a m m a r a r e s i m i l a r t o a n e s p o u s e d t h e o r y o f a c t i o n , a s t h e y a r e a n e x p l i c i t s e t o f r u l e s t h a t p u r p o r t t o e x p l a i n a l a n g u a g e a n d p r e d i c t h o w i t w i l l b e s p o k e n a n d w r i t t e n . O n t h e o t h e r h a n d . e v e r y d a y s p e e c h i s s i m i l a r t o a t h e o r y - i n - u s e a s t h e r u l e s g o v e r n i n g s p e e c h a r e o f t e n i m p l i c i t , e v e n t o t h e p o i n t t h a t t h e s p e a k e r c a n n o t t e l l y o u t h e r u l e s s / h e r e g u l a r l y u s e s . A s i n t h e e x a m p l e o f g r a m m a r a n d s p e e c h , i n w h i c h t h e r u l e s o f g r a m m a r d o n o t a c c o u n t f o r a l l t h e n u a n c e s o f s p e e c h , a n d s p e a k e r s m a y v i o l a t e t h e r u l e s o f g r a m m a r w h e n s p e a k i n g , p e o p l e m a y n o t b e a w a r e o f t h e c o n fl i c t b e t w e e n t h e i r e s p o u s e d t h e o r y a n d t h e o r y - i n - u s e . v a e m i n g v a r i a b l e s . T h e o r i e s - i n - u s e i n c l u d e w h a t A r g y r i s a n d S c h o n c a l l " g o v e r n i n g v a r i a b l e s " ( t h e p e r s o n ' s g o a l s ) , a n d a l s o c o n t a i n t h e a c t i o n s t r a t e g i e s t h a t t h e p e r s o n e m p l o y s t o k e e p t h e g o v e r n i n g v a r i a b l e s i n b a l a n c e . E x a m p l e s o f g o v e r n i n g v a r i a b l e s a r e " e n e r g y e x p e n d e d , a n x i e t y , a n d t i m e s p e n t w i t h o t h e r s " ( 1 9 7 4 , p . 1 5 ) . A c c o r d i n g t o A r g r i s a n d S c h o n , e a c h i n d i v i d u a l i s i n t e r e s t e d i n p a r t i c u l a r g o v e r n i n g v a r i a b l e s a n d a p p l i e s a t h e o r y — i n - u s e t o m a i n t a i n t h e s e v a r i a b l e s w i t h i n a n a c c e p t a b l e r a n g e . A s a n e x a m p l e , a p e r s o n m a y h a v e a g o v e r n i n g v a r i a b l e s u c h a s " s p e n d i n g t i m e w i t h f a m i l y " a n d w i s h t o m a i n t a i n t h a t v a r i a b l e i n t h e " h i g h " r a n g e t h a t i n c l u d e s d i n n e r a t h o m e e v e r y e v e n i n g a n d w e e k e n d s t o g e t h e r . T h e p e r s o n w i l l t h e n h a v e a t h e o r y - i n - u s e t h a t c o n t a i n s a c t i o n s t r a t e g i e s f o r m a i n t a i n i n g t h a t g o v e r n i n g v a r i a b l e w i t h i n t h e d e s i r e d r a n g e . T h e r e s u l t i n g w o r k - r e l a t e d b e h a v i o r s m a y i n c l u d e 2 2 1 s k i p p i n g l u n c h h o u r s t o g e t w o r k d o n e b y q u i t t i n g t i m e , b r i n g i n g w o r k h o m e t o d o a f t e r t h e f a m i l y i s i n b e d , o r a v o i d i n g d e m a n d i n g j o b s . I n t h i s w a y , a t h e o r y - i n - u s e m a i n t a i n s a p e r s o n ' s v i e w o f t h e w o r l d . I t n o t o n l y g u i d e s a p e r s o n ' s b e h a v i o r ( a c t i n g i n w a y s t h a t a l l o w f o r m o r e t i m e w i t h f a m i l y ) , i t a l s o p r o v i d e s a s y s t e m f o r u n d e r s t a n d i n g t h e b e h a v i o r s o f o t h e r s ( t h i n k i n g a b o s s t h a t a s k s y o u t o w o r k l a t e o n y o u r d a u g h t e r ' s b i r t h d a y i s u n f a i r ) . B e c a u s e e a c h p e r s o n h a s m a n y g o v e r n i n g v a r i a b l e s , a t t i m e s t h e v a r i a b l e s w i l l c o n fl i c t . F o r i n s t a n c e , i f t h e p e r s o n w i t h t h e g o v e r n i n g v a r i a b l e o f " s p e n d i n g t i m e w i t h f a m i l y " a l s o h a s a " f a s t - p a c e d c a r e e r " g o v e r n i n g v a r i a b l e , p r e v a i l i n g w i s d o m s a y s t h a t o n e g o v e r n i n g v a r i a b l e c a n o n l y b e m a i n t a i n e d a t t h e e x p e n s e o f t h e o t h e r . T h u s , a p e r s o n i s c o n s t a n t l y t r y i n g t o k e e p m a n y g o v e r n i n g v a r i a b l e s w i t h i n a r a n g e t h a t f e e l s a c c e p t a b l e . T h e o r i e s - i n - u s g c r e a t e " b e h a v i o r a l w o r l d s . " A r g y r i s a n d S c h d n a s s e r t t h a t t h e o r i e s - i n - u s e o f t e n a c t a s s e l f - f u l fi l l i n g p r o p h e s i e s b e c a u s e b e h a v i n g a c c o r d i n g t o a t h e o r y - i n - u s e o f t e n b r i n g s a b o u t t h e i n t e n d e d c o n s e q u e n c e . T h e y c a l l t h i s p r o c e s s " s e l f - s e a l i n g . " B e c a u s e p e o p l e b e h a v e , a s w e l l a s i n t e r p r e t , t h e b e h a v i o r s o f o t h e r s a c c o r d i n g t o t h e i r t h e o r y - i n - u s e , t h i s e s s e n t i a l l y s h a p e s t h e w o r l d i n w h i c h t h e y l i v e . A s a n e x a m p l e , a p e r s o n w i t h a t h e o r y - i n - u s e t h a t i n c l u d e s t h e g o v e r n i n g v a r i a b l e " o t h e r s c a n n o t b e t r u s t e d " w i l l b e h a v e i n w a y s t h a t o t h e r s i n t e r p r e t a s d i s t r u s t f u l . T h a t p e r s o n w i l l g i v e o t h e r s f e w o p p o r t u n i t i e s t o a c t o n t r u s t . a n d w i l l i n t e r p r e t o t h e r s ' a c t i o n s w i t h t h e i n t e n t o f p r o v i n g t h a t t h e y s h o u l d n o t b e t r u s t e d . P e o p l e r e a c t t o f e e l i n g d i s t r u s t e d . I n t h i s w a y , a " b e h a v i o r a l w o r l d " i n w h i c h o t h e r s a r e n o t t r u s t e d i s c r e a t e d . 2 2 2 A t h e o g - i n - u s e a f f e c t s a b i l i t y t o l e a r n a n d c h a n g e . A r g y r i s a n d S c h o n c o n t e n d t h a t , f o r s e v e r a l r e a s o n s , i t i s i m p o r t a n t t o b e a b l e t o e x p l i c i t l y s t a t e t h e o r i e s - i n - u s e . F i r s t , w h a t p e o p l e b e l i e v e t h e y a r e d o i n g ( e s p o u s e d t h e o r y ) d o e s n o t a l w a y s c o r r e s p o n d w i t h t h e i r a c t u a l b e h a v i o r ( t h e o r y - i n - u s e ) . P e o p l e m u s t fi r s t b e c o m e a w a r e o f t h e i r t h e o r i e s - i n - u s e b e f o r e t h e y c a n s e e t h e d i f f e r e n c e b e t w e e n t h e i r s t a t e d b e l i e f s a n d a c t u a l b e h a v i o r s . T h i s l e a d s t o t h e s e c o n d r e a s o n . T h e o r i e s - i n - u s e a r e c l o s e l y l i n k e d t o t h e " b e h a v i o r a l w o r l d " o f p e o p l e . I f p e o p l e a r e u n h a p p y w i t h t h e i r b e h a v i o r a l w o r l d , t h e y n e e d t o u n d e r s t a n d h o w i t h a s b e e n c r e a t e d t h r o u g h t h e i r t h e o r y - i n - u s e b e f o r e t h e y c a n b e g i n t o c h a n g e i t . F i n a l l y , i n c a s e s i n w h i c h g o v e r n i n g v a r i a b l e s a r e i n c o n fl i c t , t w o o r m o r e a c t i o n s t r a t e g i e s f o r a c h i e v i n g t h e s e g o v e r n i n g v a r i a b l e s a r e o f t e n w o r k i n g a g a i n s t e a c h o t h e r . T h e s e a c t i o n s t r a t e g i e s , w h i c h a r e a n i n t e g r a l p a r t o f t h e t h e o r y - i n - u s e , h a v e t o b e k n o w n b e f o r e t h e y c a n b e m o d i fi e d . I n o t h e r w o r d s , a l l t h r e e r e a s o n s a r e e x a m p l e s o f h o w a t h e o r y - i n - u s e h a s t o b e c o m e c o n s c i o u s b e f o r e a p e r s o n o r o r g a n i z a t i o n c a n t a k e s t e p s t o l e a r n a n d c h a n g e b e h a v i o r . S i n g l e - l o o p a n d d o u b l e - l o o p l e a r n i n g . A c c o r d i n g t o A r g y r i s a n d S c h o n , a k e y p o i n t i s h o w t h e i n d i v i d u a l o r o r g a n i z a t i o n r e a c t s w h e n g o v e r n i n g v a r i a b l e s g o o u t o f t h e a c c e p t a b l e r a n g e . T h e y a s s e r t " l e a r n i n g i n v o l v e s t h e d e t e c t i o n a n d c o r r e c t i o n o f e r r o r " ( 1 9 7 8 , p . 2 ) a n d d e s c r i b e t w o t y p e s o f l e a r n i n g w h i c h m a y o c c u r . I n s i n g l e - l o o p l e a r n i n g , a n e r r o r i s d e t e c t e d a n d c o r r e c t e d t o p e r m i t t h e s a m e g o v e r n i n g v a r i a b l e s t o r e t u r n t o t h e i r o r i g i n a l r a n g e s . I n d o u b l e - l o o p l e a r n i n g , t h e c o r r e c t i o n o f e r r o r s i n v o l v e s t h e m o d i fi c a t i o n o f t h e g o v e r n i n g v a r i a b l e s a n d / o r t h e i r r a n g e s . 2 2 3 A r g y r i s a n d S c h o n u s e t h e a n a l o g y o f a h o u s e h o l d t h e r m o s t a t t o h i g h l i g h t t h e d i f f e r e n c e b e t w e e n s i n g l e a n d d o u b l e - l o o p l e a r n i n g . M o s t o f t e n , a t h e r m o s t a t d e t e c t s w h e n t h e t e m p e r a t u r e h a s e x c e e d e d t h e p r e - s p e c i fi e d r a n g e a n d t a k e s a c t i o n t o b r i n g t h e t e m p e r a t u r e b a c k i n t o t h a t r a n g e . T h i s i s w h a t h a p p e n s i n s i n g l e - l o o p l e a r n i n g w h e r e a p e r s o n o r o r g a n i z a t i o n t a k e s a c t i o n t o " g e t t h i n g s b a c k t o n o r m a l " w i t h o u t a l t e r i n g e s t a b l i s h e d n o r m s . A n e x a m p l e o f s i n g l e - l o o p l e a r n i n g i s a n o r g a n i z a t i o n a d j u s t i n g m a r k e t i n g s t r a t e g y t o k e e p p r o d u c t s a l e s v o l u m e h i g h . H o w e v e r , i t i s a l s o p o s s i b l e t o q u e s t i o n t h e p r e s p e c i fi e d t e m p e r a t u r e a n d a d j u s t t h e t h e r m o s t a t . T h i s i s w h a t h a p p e n s i n d o u b l e - l o o p l e a r n i n g i n w h i c h t h e s t a t u s q u o i s q u e s t i o n e d . C o n t i n u i n g t h e o r g a n i z a t i o n a l e x a m p l e , i n d o u b l e - l o o p l e a r n i n g , t h e o r g a n i z a t i o n m a y d e t e r m i n e t h a t s a l e s a r e s l u m p i n g b e c a u s e o f c h a n g i n g m a r k e t t r e n d s a n d d e c i d e t o i n v e s t i n n e w p r o d u c t s r a t h e r t h a n c o n t i n u e t o p u s h t h e o l d o n e . B o t h t y p e s o f l e a r n i n g a r e n e c e s s a r y . S i n g l e - l o o p l e a r n i n g i s u s e f u l f o r d a y - t o - d a y a d j u s t m e n t s : d o u b l e - l o o p l e a r n i n g i s u s e d i n m o r e f u n d a m e n t a l c h a n g e s a n d i s e s s e n t i a l f o r m a i n t a i n i n g l o n g - t e r m e f f e c t i v e n e s s . F o r e x a m p l e , i m a g i n e t h a t t h e a b o v e m e n t i o n e d o r g a n i z a t i o n h a d p e r s i s t e d i n w o r k i n g t o m a i n t a i n a h i g h s a l e s v o l u m e o f i t s p r o d u c t , e i g h t t r a c k t a p e s ( s i n g l e - l o o p l e a r n i n g ) , r a t h e r t h a n r e t h i n k i n g t h e p r o d u c t i t s e l f ( d o u b l e - l o o p l e a r n i n g ) . F o r b o t h i n d i v i d u a l s a n d o r g a n i z a t i o n s , t h e i r e f f e c t i v e n e s s a n d , p e r h a p s , e v e n t h e i r s u r v i v a l i s t h r e a t e n e d w h e n t h e y f a i l t o l e a r n a n d c h a n g e . E v e n i n c a s e s w h e r e t h e s y s t e m i s r u n n i n g q u i t e w e l l , o u t s i d e f o r c e s c r e a t e t h e n e e d f o r s o m e c h a n g e , j u s t a s w h e n t h e w e a t h e r g e t s p a r t i c u l a r l y c o l d , t h e t h e r m o s t a t m u s t b e t u r n e d u p . W i t h o u t d o u b l e — l o o p l e a r n i n g , i t i s n o t p o s s i b l e t o c h a n g e g o v e r n i n g v a r i a b l e s a n d 2 2 4 t h e o r i e s o f a c t i o n i n s i g n i fi c a n t w a y s . I n s t e a d , t h e i n d i v i d u a l o r o r g a n i z a t i o n p e r s i s t s i n c u r r e n t p a t t e r n s o f b e h a v i o r , i s u n a b l e t o c h a n g e t h e b e h a v i o r a l w o r l d i t c r e a t e d , a n d b e c o m e s p r o g r e s s i v e l y l e s s e f f e c t i v e . M o d e l I a n d M o d e l 1 1 m e o r i e s - i n - u s g . A r g y r i s a n d S c h o n c o m p l e t e t h e c o n c e p t u a l f r a m e w o r k w i t h t w o m o d e l s o f t h e o r i e s - i n - u s e . T h e y c o n s t r u c t e d M o d e l I f r o m c a s e s t u d i e s i n w h i c h t h e y o b s e r v e d a n d i n t e r a c t e d w i t h p r o f e s s i o n a l s i n o n e - t o - o n e i n t e r a c t i o n s a n d l e a r n i n g s e m i n a r s . A s s u c h , M o d e l I r e p r e s e n t s t h e g e n e r a l t h e o r y - i n - u s e b y w h i c h t h e s e p e o p l e b e h a v e d ( s e e T a b l e 1 5 ) . A c c o r d i n g t o A r g y r i s a n d S c h é i n , M o d e l I i s a t h e o r y - i n - u s e w h i c h d e s c r i b e s t h e g o v e r n i n g v a r i a b l e s t h a t m a n y p e o p l e h o l d , a n d t h e a c t i o n s t r a t e g i e s t h e y i m p l e m e n t , t o m a i n t a i n t h e g o v e r n i n g v a r i a b l e s . I n M o d e l I , a c t o r s s e e k t o c o n t r o l o t h e r s w i t h o u t b e i n g i n fl u e n c e d i n t u r n . T h e g o v e r n i n g v a r i a b l e s r e s u l t i n a h i g h l y d e f e n s i v e b e h a v i o r a l w o r l d w i t h d e c r e a s e d e f f e c t i v e n e s s a n d l i t t l e o p p o r t u n i t y f o r l e a r n i n g . T h e r e i s l i t t l e c h a n g e u n t i l t h e s i t u a t i o n r e a c h e s c r i s i s p r o p o r t i o n s a n d a n e n o r m o u s c h a n g e , o f t e n o f r e v o l u t i o n a r y p r o p o r t i o n s , r e s u l t s . A r g y r i s a n d S c h c ' i n p o s i t t h a t t h i s " d y s f u n c t i o n a l m o d e l o f b e h a v i o r " ( 1 9 7 4 , p . 8 2 ) r e p r e s e n t e d b y t h e M o d e l I t h e o r y - i n - u s e p e r s i s t s b e c a u s e i t i s s e l f - s e a l i n g . P e o p l e m a y b e v e r y u n h a p p y w i t h t h e b e h a v i o r a l w o r l d t h a t t h e y h a v e c r e a t e d a n d w i s h t o c h a n g e ; b u t w i t h o u t a c t i o n s t r a t e g i e s t h a t a l l o w t h e m t o o b t a i n h o n e s t f e e d b a c k a n d a c c u r a t e i n f o r m a t i o n t o p u b l i c l y t e s t a s s u m p t i o n s , t h e y a r e u n a b l e t o i m p l e m e n t d o u b l e - l o o p l e a r n i n g t h a t w o u l d g e n e r a t e t h e n e e d e d c h a n g e s . A r g y r i s a n d S c h o n t h e n p r o p o s e a M o d e l 1 1 t h e o r y - i n - u s e w h i c h i m p r o v e s c a p a c i t y f o r l e a r n i n g a n d e f f e c t i v e n e s s a n d w o u l d l e a d t o a m o r e p o s i t i v e b e h a v i o r a l w o r l d w i t h i m p r o v e d h u m a n i n t e r a c t i o n s ( s e e 2 2 5 T a b l e 1 5 M o d e l I T h e o r y - i n - u s e C o n s e q u e n c e s G o v e r n i n g A c t i o n f o r t h e C o n s e q u e n c e s V a r i a b l e s S t m fi h s b e h a v i o r a l w o r l d f o r L e a m i fl E f f e c t i v e n e s s 1 . D e fi n e g o a l s 1 . D e s i g n a n d 1 . A c t o r s e e n a s 1 . S e l f - s e a l i n g . 1 . D e c r e a s e d a n d t r y t o m a n a g e t h e d e f e n s i v e , e f f e c t i v e n e s s . a c h i e v e t h e m . e n v i r o n m e n t i n c o n s i s t e n t , u n i l a t e r a l l y ( b e i n c o n g r u e n t , p e r s u a s i v e . a p p e a l c o m p e t i t i v e , t o l a r g e r g o a l s ) . c o n t r o l l i n g , f e a r f u l o f b e i n g v u l n e r a b l e , m a n i p u l a t i v e , w i t h h o l d i n g o f f e e l i n g s , o v e r l y c o n c e r n e d a b o u t s e l f a n d o t h e r s o r u n c o n c e r n e d a b o u t o t h e r s . 2 . M a x i m i z e 2 . O w n a n d 2 . D e f e n s i v e 2 . S i n g l e - l o o p 2 . D e c r e a s e d w i n n i n g a n d c o n t r o l t h e t a s k i n t e r p e r s o n a l a n d l e a r n i n g . e f f e c t i v e n e s s . m i n i m i z e l o s i n g . ( c l a i m o w n e r s h i p o f g r o u p r e l a t i o n s h i p t h e t a s k , b e ( d e p e n d e n c e u p o n g u a r d i a n 0 ’ a c t o r , l i t t l e d e f i n i t i o n a n d a d d i t i v i t y , l i t t l e e x e c u t i o n o f t a s k ) . h e l p i n g o t h e r s ) . 3 . M i n i m i z e 3 . U n i l a t e r a l l y 3 . D e f e n s i v e 3 . L i t t l e t e s t i n g o f 3 . D e c r e a s e d g e n e r a t i n g o r p r o t e c t y o u r s e l f n o r m s ( m i s t r u s t , t h e o r i e s p u b l i c l y . e f f e c t i v e n e s s . e x p r e s s i n g ( s p e a k w i t h l a c k o f r i s k - t a k i n g , M u c h t e s t i n g o f n e g a t i v e f e e l i n g s . i n f e r r e d “ 1 0 9 0 “ “ C O D I O V m i l y . e x t e r n a l t h e o r i e s p r i v a t e l y . a c c o m p a n i e d b y c o m m i t m e n t , l i t t l e o r n o d i r e c t l y e m p h a s i s o n o b s e r v a b l e d i p l o m a c y , p o w e r - b s h a v i o r , b e b l i n d c e n t e r e d t o i m p a c t o n o t h e r s c o m p e t i t i o n , a n d a n d 1 0 t h e r i v a l r y ) , i n c o n g r u i t y b y d e f e n s i v e a c t i o n s s u c h a s b l a m i n g , s t e r e o t y p i n g , s u p p r e s s i n g f e e l i n g s , i n t e l l e c t u a l i z i n g ) . 4 . B e r a t i o n a l . 4 . U n i l a t e r a l l y 4 . L o w f r e e d o m 4 . D e c r e a s e d p r o t e c t o t h e r s o f c h o i c e , i n t e r n a l e f f e c t i v e n e s s . f r o m b e i n g h u r t c o m m i t m e n t , a n d ( w i t h h o l d r i s k - t a k i n g . i n f o r m a t i o n , c r e a t e r u l e s t o c e n s o r ( A r g y r i s a n d i n f o r m a t i o n a n d S c h b n , 1 9 7 4 ' b e h a v r o r , h o l d p p . 6 8 - 9 ) p r i v a t e m e e t i n g s ) . 2 2 6 T a b l e 1 6 ) . A r g y r i s a n d S c h o n a c k n o w l e d g e t h a t M o d e l 1 1 i s m o r e a g o a l t h a n a r e a l i t y : " M o d e l 1 1 i s a n a t t e m p t t o m a k e o p e r a t i o n a l s o m e g o v e r n i n g v a r i a b l e s t h a t a r e b r o a d l y e s p o u s e d , t h o u g h i n f r e q u e n t l y r e a l i z e d , i n o u r s o c i e t y " ( 1 9 7 4 , p . 8 5 ) . T h e m o s t i m p o r t a n t c h a r a c t e r i s t i c o f t h e M o d e l 1 1 t h e o r y - i n - u s e i s t h a t i t i s n o t s e l f - s e a l i n g . I t a l l o w s f o r t h e p u b i c t e s t i n g o f a s s u m p t i o n s w i t h h o n e s t f e e d b a c k s o t h a t d o u b l e - l o o p l e a r n i n g c a n o c c u r . . u l i - H o o - ‘ o n t l ‘ r o . 1 ' 0 W t ' f o " “ , n u - A r g y r i s a n d S c h o n a p p l y t h e i r c o n c e p t u a l f r a m e w o r k t o p r o p o s e h o w p e o p l e m a y t r a n s f o r m t h e i r b e h a v i o r f r o m M o d e l I t o M o d e l 1 1 a n d d e s c r i b e c a s e s i n w h i c h p e o p l e a t t e m p t e d t o c h a n g e t h e i r b e h a v i o r s . B u t t h e m o s t i m p o r t a n t f e a t u r e s o f t h i s c o n c e p t u a l f r a m e w o r k t o t h e p r e s e n t s t u d y a r e t h e f o l l o w i n g : 1 ) W h a t p e o p l e t h i n k t h e y d o ( e s p o u s e d t h e o r y ) c a n d i f f e r m a r k e d l y f r o m w h a t t h e y a c t u a l l y d o ( t h e o r y - i n - u s e ) w i t h o u t t h e i r b e i n g a w a r e o f t h e c o n fl i c t . 2 ) P e o p l e ' s b e h a v i o r c a n b e d e s c r i b e d b y a m o d e l ( t h e o r y - i n - u s e ) w h i c h i n c l u d e s a s y s t e m o f c o n s t r u c t s ( g o v e r n i n g v a r i a b l e s a n d a c t i o n s t r a t e g i e s ) t o b r i n g a b o u t t h e c o n s e q u e n c e s t h e y d e s i r e ( m a i n t a i n i n g g o v e r n i n g v a r i a b l e s ) . 3 ) T h e r e a r e a t l e a s t t w o k i n d s o f l e a r n i n g a n d c h a n g i n g : o n e w h i c h m a i n t a i n s a n d r e fi n e s t h e s t a t u s q u o ( s i n g l e - l o o p ) a n d o n e w h i c h e s t a b l i s h e s n e w n o r m s ( d o u b l e - l o o p ) . 4 ) P e o p l e ' s a s s u m p t i o n s a n d b e h a v i o r s m a y b e p r e d i c t e d a n d e x p l a i n e d b y m o d e l s ( t h e o r i e s - i n - u s e ) . T h e r e a r e t w o d i f f e r e n t m o d e l s , o n e w h i c h i n c r e a s e s a n d a n o t h e r w h i c h d e c r e a s e s p e o p l e ' s c a p a c i t y f o r l e a r n i n g a n d e f f e c t i v e n e s s . 2 2 7 T a b l e 1 6 M o d e l 1 1 T h e o r y - i n - u s e a i m e q n c n c s o f o r t h e C o n s e q u e n c G o v e r n i n g A c t i o n B e h a v i o r a l C o n a e q u e n c e a f o r E f f e c t i v e n e e V a r i a b l e s S t r a t e g i e s W o r l d e s f o r Q u a l i t y o f a L e a r n i n g L i f e 1 . V a l i d 1 . D e s i g n 1 . A c t o r 1 . 1 . Q u a l i t y o f 1 . i n c r e a s e d i n f o r m a t i o n . s i t u a t i o n s o r e x p e r i e n c e d D i s c o n f i r r n a b l l i f e w i l l b e l o n g - r u n e n v i r o n m e n t s a s m i n i m a l l y e p r o c e s s e s . m o r e p o s i t i v e e f f e c t i v e n e s s . w h e r e d e f e n s i v e t h a n n e g a t i v e p a r t i c i p a n t s ( f a c i l i t a t o r , ( h i g h c a n b e o r i g i n s c o l l a b o r a t o r , a u t h e n t i c i t y a n d a n d c a n c h o i c e c r e a t o r ) . h i g h f r e e d o m o f e x p e r i e n c e C h O i c e ) . h i g h p e r s o n a l c a u s a t i o n ( p s y c h o l o g i c a l s u c c e s s . c o n f i r m a t i o n , e s s e n t i a l i t y ) . 2 . F r e e a n d 2 . T a s k i s 2 . M i n i m a l l y 2 . D o u b l e - 2 . 1 . I n c r e a s e d i n f o r m e d c o n t r o l l e d d e f e n s i v e l o o p l e a r n i n g . E f f e c t i v e n e s s l o n g - r u n c h o i c e . j o i n t l y . i n t e r p e r s o n a l o f p r o b l e m e f f e c t i v e n e s s . r e l a t i o n s a n d s o l v i n g a n d g r o u p d e c i s i o n d y n a m i c s . m a k i n g w i l l b e g r e a t , e s p e c i a l l y f o r d i f f i c u l t p r o b l e m s . 3 . l n t e m a l 3 . P r o t e c t i o n 3 . L e a m i n g - 3 . P u b l i c 1 . I n c r e a s e d c o m m i t m e n t t o o f s e l f i s a j o i n o r i e n t e d t e s t i n g o f l o n g - m n t h e c h o i c e a n d e n t e r p r i s e a n d n o r m s ( t r u s t , t h e o r i e s . e f f e c t i v e n e s s . c o n s t a n t o r i e n t e d i n d i v i d u a l i t y . m o n i t o r i n g o f t o w a r d g r o w t h 0 9 ° " . i t s ( s p e a k i n ( fi r e d c o n f r o n t a t i o n i m p l e m e n t a t i o n O b s e w a b i e 9 " d ' m c u " c a t e g o r i e s , s e e k i s s u e s ) . t o r e d u c e b l i n d n e s s a b o u t o w n i n c o n s i s t e n c y a n d i n c o n g r u i t y ) . 4 . B i l a t e r a l p r o t e c t i o n o f o t h e r s . ( A r g y r i s a n d S c h o n , 1 9 7 4 , p . 8 7 ) 2 2 8 T h e c o n c e p t u a l f r a m e w o r k w a s a p p l i e d t o i n t e r p r e t t h e fi n d i n g s i n t h e p r e s e n t s t u d y . T h e r e v i e w o f t h e l i t e r a t u r e i n C h a p t e r 1 1 m a d e i t c l e a r t h a t n e e d s a s s e s s m e n t i s p o o r l y u n d e r s t o o d a n d u n e v e n l y p r a c t i c e d . T h i s s t u d y a t t e m p t s t o u s e A r g y r i s a n d S c h o n ' s c o n c e p t u a l f r a m e w o r k t o p r o v i d e a m o r e a c c u r a t e u n d e r s t a n d i n g o f n e e d s a s s e s s m e n t a n d t o s u g g e s t h o w t o d e s i g n m o r e e f f e c t i v e n e e d s a s s e s s m e n t p r a c t i c e s . A r g u s a n d S c h o n ( 1 9 7 4 ) h y p o t h e s i z e t h a t t h e r e a r e s e v e r a l p o t e n t i a l p r o b l e m s i n p r o f e s s i o n a l e d u c a t i o n . F i r s t , t h e y m e n t i o n " i n c o n g r u i t i e s b e t w e e n e s p o u s e d t h e o r i e s a n d t h e o r i e s - i n - u s e " ( p . 1 7 4 ) . T h e y p r e s e n t t h e p r o f e s s i o n o f e d u c a t i o n a s a p r i m e e x a m p l e o f t h e t h e o r y b e i n g t a u g h t ( a n e s p o u s e d t h e o r y ) d i v e r g i n g w i d e l y f r o m t h e r e a l i t y o f p r a c t i c e ( t h e t h e o r y - i n - u s e ) . A r g y r i s a n d S c h o n t h e n g o o n t o s a y t h a t i n o r d e r t o b e g i n t o r e s o l v e d i f f e r e n c e s b e t w e e n e s p o u s e d t h e o r y a n d t h e o r y - i n - u s e , t h e t h e o r y - i n - u s e m u s t b e e x p l i c i t l y s t a t e d . T h e y s a y t h a t s i n c e p e o p l e o f t e n a r e n o t a w a r e o f t h i s c o n fl i c t a n d w i l l s t a t e t h e i r e s p o u s e d t h e o r i e s w h e n a s k e d , t h e o n l y w a y t o d e v e l o p a t h e o r y - i n - u s e i s b y d i r e c t l y o b s e r v i n g b e h a v i o r . T h i s i s w h a t t h e p r e s e n t s t u d y d i d . 2 2 9 W A s d e s c r i b e d i n C h a p t e r 1 1 1 , u n d e r " E s t a b l i s h i n g t h e T r u s t w o r t h i n e s s o f R e s e a r c h , " q u a l i t a t i v e s t u d i e s a i m f o r t r a n s f e r a b i l i t y r a t h e r t h a n g e n e r a l i z a b i l i t y . D e t a i l e d d e s c r i p t i o n s o f t h e p a r t i c i p a n t s , c o n t e x t , a n d d a t a t o s u b s t a n t i a t e t h e fi n d i n g s h a v e b e e n p r e s e n t e d i n t h i s s t u d y f o r r e a d e r s t o d e t e r m i n e c r e d i b i l i t y o f t h e f i n d i n g s a n d c o n c l u s i o n s a n d t h e e x t e n t o f t r a n s f e r a b i l i t y t o t h e i r o w n s e t t i n g a n d p o p u l a t i o n . I n a d d i t i o n , a s s u m p t i o n s o f t h e i n v e s t i g a t o r w e r e p r e s e n t e d s o t h a t r e a d e r s m i g h t d e t e r m i n e t o w h a t e x t e n t t h e i n v e s t i g a t o r b i a s e d t h e s t u d y . K e y f a c t o r s a r e l i s t e d b e l o w s o r e a d e r s c a n k e e p t h e m i n m i n d w h e n d e t e r m i n i n g c r e d i b i l i t y a n d t r a n s f e r a b i l i t y o f t h e f i n d i n g s a n d c o n c l u s i o n s . T h e s e f a c t o r s h a v e b e e n g r o u p e d i n t o t h e t h r e e a r e a s o f l ) t h e i n v e s t i g a t o r , 2 ) t h e f e l l o w s h i p , a n d 3 ) t h e p a r t i c i p a n t s . E a c h i s d e s c r i b e d i n t u r n . T h e i n v e s t i g a t o r . I n C h a p t e r I , t h e i n v e s t i g a t o r d e s c r i b e d h e r b a c k g r o u n d a n d a s s u m p t i o n s p r i o r t o b e g i n n i n g t h e s t u d y . I t i s p o s s i b l e t h a t t h e s e a s s u m p t i o n s a f f e c t e d t h e i n v e s t i g a t o r ’ s d a t a c o l l e c t i o n a n d a n a l y s i s . T h e r e a r e t w o r e a s o n s t h a t t h e s e a s s u m p t i o n s m a y n o t h a v e u n d u l y i n fl u e n c e d t h e s t u d y . F i r s t , m a n y b i a s c o n t r o l s w e r e i m p l e m e n t e d t o p r e v e n t t h e r e s e a r c h e r ' s a s s u m p t i o n s f r o m i n fl u e n c i n g t h e s t u d y ( C h a p t e r 1 1 1 ) . M a n y c o n t r o l s w e r e u s e d , s u c h a s c o l l e c t i n g d a t a f r o m a l l 1 4 s o u r c e s i n t h r e e w a y s ( o b s e r v a t i o n s , i n t e r v i e w s , a n d d o c u m e n t s ) o v e r a p e r i o d o f t e n m o n t h s , t h e u s e o f a p e e r i n f o r m a n t , t r i a n g u l a t i n g d a t a , a n d s e a r c h i n g f o r n e g a t i v e c a s e s b e f o r e s u b s t a n t i a t i n g fi n d i n g s . A c o m p a r i s o n o f t h e o r i g i n a l a s s u m p t i o n s t o t h e fi n d i n g s a n d fi n a l c o n c l u s i o n s r e v e a l e d t h a t 2 3 0 t h e i n v e s t i g a t o r d i d n o t d i s c o v e r w h a t s h e h a d e x p e c t e d . E v e n i n c a s e s w h e r e a s s u m p t i o n s w e r e s u b s t a n t i a t e d , t h i s o c c u r r e d b y a v e r y d i f f e r e n t m e c h a n i s m t h a n o r i g i n a l l y e x p e c t e d . S e c o n d , s u b s t a n t i a l c h a n g e s w e r e m a d e t o t h e s t u d y i n r e s p o n s e t o d i s c o v e r i e s f r o m t h e d a t a . T h e i n d u c t i v e a p p r o a c h , i n w h i c h a n a l y s i s o f d a t a l e d t o a d j u s t m e n t s i n l a t e r s t e p s o f t h e r e s e a r c h p r o c e s s , r e s u l t e d i n c h a n g i n g t h e c o n c e p t u a l f r a m e w o r k a n d r e w r i t i n g t h e r e s e a r c h q u e s t i o n s . A s f u r t h e r d e s c r i b e d i n A p p e n d i x A , t h e s t u d y w a s d e s i g n e d w i t h a n o t h e r c o n c e p t u a l f r a m e w o r k i n m i n d , o n e t h a t p l a c e d m u c h m o r e e m p h a s i s u p o n t h e r o l e o f t h e i n d i v i d u a l a s s e s s o r . I t p o s i t e d t h a t t h e r e w o u l d b e a r e l a t i o n s h i p b e t w e e n p e r s o n a l i t y t r a i t s o f t h e a s s e s s o r a n d t h e n e e d s a s s e s s m e n t m e t h o d s s e l e c t e d a n d t y p e o f r e s u l t s o b t a i n e d . I t q u i c k l y b e c a m e e v i d e n t i n a n a l y z i n g e a r l y d a t a t h a t t h e o r i g i n a l c o n c e p t u a l f r a m e w o r k d i d n o t a c c o u n t f o r t h e d a t a . T h e c o n c e p t u a l f r a m e w o r k d e s c r i b e d e a r l i e r i n t h i s c h a p t e r w a s l o c a t e d m u c h l a t e r i n t h e s t u d y . A d e s c r i p t i o n o f h o w a n a l y s i s o f e a r l y d a t a a l s o c a u s e d t h e r e s e a r c h q u e s t i o n s t o b e c h a n g e d w a s d e s c r i b e d i n A p p e n d i x A . T h e f e l l o w s h i p . T h e s e c o n d g r o u p o f f a c t o r s t h a t m a y a f f e c t t h e t r a n s f e r a b i l i t y o f fi n d i n g s a n d c o n c l u s i o n s r e l a t e s t o t h e f e l l o w s h i p i t s e l f . T h e c h a r a c t e r i s t i c s d e s c r i b e d p r i n c i p a l l y i n C h a p t e r I V r e l a t e t o t h e f a c t t h a t t h i s w a s a t r a i n i n g s i t u a t i o n . A s s h o w n i n T a b l e 1 7 , s e v e r a l f e l l o w s h i p f a c t o r s m u s t b e c o n s i d e r e d w h e n d e t e r m i n i n g t r a n s f e r a b i l i t y . H o w e v e r , m a n y o f t h e s e f a c t o r s a l s o p r o v i d e u s e f u l i n f o r m a t i o n o n t e a c h i n g a b o u t n e e d s a s s e s s m e n t a m i d s t f a c t o r s p r e s e n t i n e x i s t i n g e n v i r o n m e n t s . 2 3 1 T a b l e 1 7 F e l l o w s h i p F a c t o r s A f f e c t i n g T r a n s f e r a b i l i t y £ 2 9 3 9 ; 1 ) T h e n e e d s a s s e s s m e n t s s t u d i e d w e r e p e r f o r m e d a s a r e q u i r e d . g u i d e d a s s i g n m e n t . E x g m g l g g I " P a r t i c i p a n t s h a d t o c o n d u c t a n e e d s a s s e s s m e n t , r e g a r d l e s s o f t h e i r o w n d e s i r e o r m o t i v a t i o n l e v e l . i f P a r t i c i p a n t s w e r e f u r n i s h e d w i t h i n f o r m a t i o n o n h o w t o c o n d u c t t h e n e e d s a s s e s s m e n t . a s w e l l a s g u i d e l i n e s o n h o w t o c o n s t r u c t t h e i r o r a l a n d w r i t t e n r e p o r t s . 2 ) S o m e p h e n o m e n a m a y b e p a r t i c u l a r t o t h e f e l l o w s h i p s e t t i n g a n d / o r t h i s i t e r a t i o n . 0 ’ S e v e n d i f f e r e n t f a c u l t y i n t e r a c t e d w i t h t h e p a r t i c i p a n t s . F a c u l t y a d v i c e o n n e e d s a s s e s s m e n t m a y h a v e a f f e c t e d p a r t i c i p a n t s i n d i f f e r e n t w a y s . 0 ' T h e w o r k s h o p i n w h i c h p a r t i c i p a n t s w e r e e x p o s e d t o n e e d s a s s e s s m e n t d i d n o t " g o o f f w e l l . " M a n y p a r t i c i p a n t s w e r e t i r e d a n d / o r o f f t a s k d u r i n g t h e w o r k s h o p . 0 ' I n t h e m i d s t o f t r y i n g t o l e a r n a b o u t n e e d s a s s e s s m e n t , p a r t i c i p a n t s w e r e a l s o a t t e m p t i n g n e w t a s k s i n a n u n f a m i l i a r e n v i r o n m e n t . E x : T h e p e e r i n f o r m a n t d e s c r i b e d p a r t i c i p a n t s a s u n u s e d t o d o i n g s o m u c h w r i t i n g . P a r t i c i p a n t s s p o k e o f t h e s u d d e n c h a n g e i n s t a t u r e . 0 ' I f p a r t i c i p a n t s w e r e t o r e m a i n i n t h e c u r r i c u l u m t r a c k o f t h e f e l l o w s h i p , t h e y h a d t o d e v e l o p a t r a i n i n g i n t e r v e n t i o n . 2 3 2 T h e p a r t i c i p a n t s . T h e t h i r d a n d fi n a l g r o u p o f c h a r a c t e r i s t i c s a r e t h o s e o f t h e p a r t i c i p a n t s . T h e s e c h a r a c t e r i s t i c s w e r e d e s c r i b e d i n C h a p t e r I V . T h e t h r e e f a c t o r s u n d e r w h i c h m a n y o f t h e m o r e d e t a i l e d c h a r a c t e r i s t i c s m a y b e g r o u p e d a r e l i s t e d i n T a b l e 1 8 . T h e t h r e e p a r t i c i p a n t f a c t o r s l i s t e d i n T a b l e 1 8 a r e l i k e l y t o b e p r e s e n t i n m a n y o t h e r s i t u a t i o n s i n w h i c h n e e d s a s s e s s m e n t s a r e p e r f o r m e d . T r a n s f e r a b i l i t y s h o u l d b e t h e w i d e s t w i t h 1 ) p e o p l e w i t h s i m i l a r a m o u n t s o f k n o w l e d g e a n d s k i l l ( i . e . S M E s a n d n o v i c e s ) a n d i n 2 ) c o n t e x t s i n w h i c h p e o p l e a r e l e a r n i n g a b o u t a n d d o i n g t h e i r fi r s t n e e d s T a b l e 1 8 P a r t i c i p a n t F a c t o r s A f f e c t i n g T r a n s f e r a b i l i t y m 1 ) M o s t o f t h e w e r e s u b j e c t m a t t e r e x p e r t s ( S M E s ) i n t h e a r e a i n w h i c h t h e y w e r e t o c r e a t e a c u r r i c u l u m . E x a m p l e ; i t M o s t p a r t i c i p a n t s h a d a p e r s o n a l i n t e r e s t i n t h e c u r r i c u l a r a r e a . 2 ) T h e p a r t i c i p a n t s w e r e n o v i c e s t o n e e d s a s s e s s m e n t . I " T h i s w a s a " fi r s t i t e r a t i o n " i n w h i c h p a r t i c i p a n t s e n c o u n t e r e d m a n y p r o b l e m s w h i c h t h e y w o u l d n o t b e l i k e l y t o e n c o u n t e r i n f u t u r e n e e d s a s s e s s m e n t s . F o r e x a m p l e , p a r t i c i p a n t s w o u l d e x p e c t g r e a t e r t i m e d e m a n d s a n d b e b e t t e r p r e p a r e d f o r t i m e d e l a y s i n f u t u r e n e e d s a s s e s s m e n t s . 3 ) T h e p a r t i c i p a n t s f u n c t i o n e d a s " i n t e m a l c o n s u l t a n t s " ( t h e y w e r e p a r t o f t h e o r g a n i z a t i o n f o r w h i c h t h e y w e r e p e d o m t i n g t h e n e e d s a s s e s s m e n t ) . i f P a r t i c i p a n t s w e r e c o n d u c t i n g n e e d s a s s e s s m e n t s i n t h e m i d s t o f c a r r y i n g o u t o t h e r j o b r e s p o n s i b i l i t i e s . i f P a r t i c i p a n t s w e r e i n fl u e n c e d b y l o c a l p o l i t i c s a n d p r e s s u r e s . A n e x a m p l e i s n e e d i n g t o c o p e w i t h s u p e r i o r s ' e x p e c t a t i o n s . a s s t r a s t t p m a s a s p r h c F 1 i n p : o r O i 2 3 3 a s s e s s m e n t s . A s s u c h , t h e fi n d i n g s a n d c o n c l u s i o n s a r e l i k e l y t o b e t r a n s f e r a b l e i n t o a c t u a l s e t t i n g s w h e r e n e e d s a s s e s s m e n t s a r e p e r f o r m e d . I n p a r t i c u l a r , t w o " r e a l - w o r l d " a s p e c t s o b s e r v e d i n t h e p r e s e n t s t u d y s h o u l d e n h a n c e t h e t r a n s f e r a b i l i t y o f t h e fi n d i n g s . F i r s t , n e e d s a s s e s s m e n t w a s t r e a t e d a s o n e p a r t o f a s e r i e s o f a c t i v i t i e s l e a d i n g t o a p r o d u c t t o b e u s e d i n a n a u t h e n t i c s e t t i n g . O t h e r s t u d i e s o n n e e d s a s s e s s m e n t m a y h a v e b e e n b i a s e d i n t h a t t h e y f o c u s e d u p o n n e e d s a s s e s s m e n t a l o n e . B y d o c u m e n t i n g t h e p r o c e s s a n d p r o d u c t s o f n e e d s a s s e s s m e n t t h a t o c c u r r e d a s p a r t o f a l a r g e r p r o c e s s f o r a n a c t u a l p r o d u c t , t h e p r e s e n t s t u d y i s m o r e l i k e l y t o b e a n a c c u r a t e d e s c r i p t i o n o f h o w n e e d s a s s e s s m e n t o c c u r s i n r e a l - l i f e s e t t i n g s . S e c o n d , a s d e s c r i b e d i n C h a p t e r I V , t h e p a r t i c i p a n t s h a d t o c o n d u c t n e e d s a s s e s s m e n t s a m i d s t a l r e a d y d e m a n d i n g j o b s a n d b u s y p e r s o n a l l i v e s . T h i s c i r c u m s t a n c e a l s o i s m o r e l i k e l y t o m a t c h t h e c o n d i t i o n s o f a c t u a l s i t u a t i o n s i n w h i c h n e e d s a s s e s s m e n t s a r e c o n d u c t e d . F e w p e o p l e m a y b e a b l e t o " d r o p e v e r y t h i n g " t o d o a n e e d s a s s e s s m e n t . I n a d d i t i o n , t h e r e w e r e a t l e a s t t w o b e n e fi t s t o s t u d y i n g n o v i c e s . F i r s t , u n l i k e e x p e r t s w h o w o u l d h a v e b e e n m o r e l i k e l y t o g i v e l e s s i n f o r m a t i o n b e c a u s e t h e y w e r e a b l e t o " c h u n k " i n f o r m a t i o n , n o v i c e s w e r e a b l e t o d e s c r i b e p r o c e s s e s a n d p r o b l e m s i n d e t a i l . S e c o n d , a s n o v i c e s , p a r t i c i p a n t s e n c o u n t e r e d p r o b l e m s o t h e r s a r e l i k e l y t o e n c o u n t e r i n fi r s t o r e a r l y n e e d s a s s e s s m e n t s . N o v i c e s p r o v i d e d d a t a u s e f u l f o r p r e p a r i n g o t h e r n o v i c e a s s e s s o r s i n w h a t t o e x p e c t , a n d d e t e r m i n i n g w h a t t o t e a c h t h e m s o t h e y m i g h t e x p e r i e n c e l e s s d i f f i c u l t y i n p e r f o r m i n g t h e i r fi r s t n e e d s a s s e s s m e n t s . A fi n a l f a c t o r , n o t l i s t e d o n T a b l e 1 8 , i s w h e t h e r t h e s t u d y fi n d i n g s a r e s e v e r e l y l i m i t e d d u e t o t h e p a r t i c i p a n t s ' p r o f e s s i o n o r i f t h e y a r e 2 3 4 a p p l i c a b l e b e y o n d t h e t o p i c o f n e e d s a s s e s s m e n t a s a c o n c r e t e e x a m p l e o f a m u c h l a r g e r p h e n o m e n o n . T h e r e i s r e s e a r c h s u g g e s t i n g e i t h e r o f t h e s e p o s s i b i l i t i e s . I n t h e fi r s t v i e w p o i n t , a s t h e p a r t i c i p a n t s w e r e p r a c t i c i n g p h y s i c i a n s , t h e s t u d y fi n d i n g s m a y b e l i m i t e d b e c a u s e t h e n e e d s a s s e s s m e n t p r o c e s s o f t h e p a r t i c i p a n t s m a y h a v e b e e n h e a v i l y i n fl u e n c e d b y t h e i r c u s t o m a r y p r o c e s s o f d i a g n o s i n g p a t i e n t s . E l s t e i n , S h u l m a n . & S p r a f k a ( 1 9 7 8 ; 1 9 9 0 ) d e s c r i b e h o w p h y s i c i a n s d i a g n o s i n g p a t i e n t s c o m m o n l y g e n e r a t e a l i m i t e d n u m b e r o f h y p o t h e s e s f r o m a l i m i t e d a m o u n t o f i n f o r m a t i o n , a n d t h a t t h e s e h y p o t h e s e s g u i d e l a t e r d a t a c o l l e c t i o n . T h i s d e s c r i p t i o n o f t h e p r o c e s s o f d i a g n o s i s i s s i m i l a r t o t h e p r o c e s s o f n e e d s a s s e s s m e n t d e s c r i b e d i n t h e fi n d i n g s . I t i s p o s s i b l e t h a t t h i s d i a g n o s i s p r o c e s s i n fl u e n c e d t h e w a y t h i s p a r t i c u l a r g r o u p o f p a r t i c i p a n t s a p p r o a c h e d t h e n e e d s a s s e s s m e n t p r o c e s s . I n t h e s e c o n d v i e w p o i n t , i t i s a l s o p o s s i b l e t h a t t h i s s t u d y o f n e e d s a s s e s s m e n t m a y s e r v e a s a p a r t i c u l a r e x a m p l e w i t h i n t h e m u c h l a r g e r a r e n a o f d e c i s i o n m a k i n g . L a n g e r ( 1 9 8 9 ) a n d m a n y o t h e r s h a v e c o n t r i b u t e d t o t h e i n t e r d i s c i p l i n a r y fi e l d o f d e c i s i o n s c i e n c e w h i c h h a s e s t a b l i s h e d t h a t i n d i v i d u a l s d o n o t a r r i v e a t d e c i s i o n s t h r o u g h p u r e l y r a t i o n a l c a l c u l a t i o n s . T h i s s t u d y m a y s e r v e a s o n e e x a m p l e o f h o w p e o p l e a c t u a l l y a r r i v e a t a d e c i s i o n . T o r e s o l v e t h e c o n c e r n o v e r t h e p o t e n t i a l l i m i t a t i o n , f u r t h e r r e s e a r c h n e e d s t o b e d o n e w i t h n o n - p h y s i c i a n s t o s u b s t a n t i a t e t h a t t h e n e e d s a s s e s s m e n t p r o c e s s d e s c r i b e d i n t h e p r e s e n t s t u d y a p p l i e s t o p r o f e s s i o n s o u t s i d e o f m e d i c i n e . T o d e t e r m i n e w h e t h e r t h e p r e s e n t s t u d y o n n e e d s a s s e s s m e n t i s r e l a t e d t o t h e s t u d y o f d e c i s i o n s c i e n c e w i l l r e q u i r e a n i n - d e p t h r e v i e w o f t h e l i t e r a t u r e i n t h a t a r e a f o l l o w e d b y a d d i t i o n a l r e s e a r c h . 2 3 5 T h e k e y c h a r a c t e r i s t i c s o f t h e i n v e s t i g a t o r , c o n t e x t , a n d p a r t i c i p a n t s o f t h e p r e s e n t s t u d y w e r e p r e s e n t e d i n t h i s s e c t i o n . R e a d e r s s h o u l d c o n s i d e r t h e s e c h a r a c t e r i s t i c s a s t h e y d e t e r m i n e t h e c r e d i b i l i t y o f t h e fi n d i n g s a n d c o n c l u s i o n s a n d t r a n s f e r a b i l i t y t o t h e i r o w n c o n t e x t a n d p o p u l a t i o n . N L U S I O N S 2 3 6 T h e m a j o r c o n c l u s i o n s o f t h e s t u d y w e r e d e r i v e d b y i n t e r p r e t i n g t h e t w e n t y fi n d i n g s a c c o r d i n g t o t h e c o n c e p t u a l f r a m e w o r k . T h e c o n c l u s i o n s f o r e a c h o f t h e r e s e a r c h q u e s t i o n s a r e p r e s e n t e d i n T a b l e 1 9 . T a b l e 1 9 S t u d y R e s e a r c h Q u e s t i o n s a n d C o n c l u s i o n s R e s e a r c h Q u e s t i o n C o n c l u s i o n . W h a t d o t h e p a r t i c i p a n t s d o i n c o n d u c t i n g a n e e d s a s s e s s m e n t ? . T h e n e e d s a s s e s s m e n t p r o c e d u r e s p r e s c r i b e d i n t h e l i t e r a t u r e a r e d i f f e r e n t f r o m h o w t h e y w e r e a c t u a l l y c a r r i e d o u t i n t h e r e a l w o r l d . 2 . W h a t f a c t o r s f a c i l i t a t e a n d / o r 2 . T h e l i t e r a t u r e a n d f o r m a l t r a i n i n g h i n d e r t h e n e e d s a s s e s s m e n t o f n e e d s a s s e s s m e n t c o n c e n t r a t e d p r o c e s s ? o n t h e i d e a l . r a t h e r t h a n a c o m p r e h e n s i v e s e t o f p r a c t i c a l p r o c e d u r e s t h a t c o u l d b e u s e d t o c o p e w i t h c o n s t r a i n t s i n r e a l s e t t i n g s . 3 . W h a t d o p a r t i c i p a n t s l e a r n i n 3 a . T h e b e n e fi t s o f n e e d s a s s e s s m e n t d o i n g a n e e d s a s s e s s m e n t ? a . a b o u t t h e p r o c e s s b . a b o u t t h e p r o d u c t s 3 b . p e r c e i v e d b y t h e p a r t i c i p a n t s d i f f e r e d f r o m t h o s e d e s c r i b e d i n t h e l i t e r a t u r e . T h e r e s u l t s o f t h e n e e d s a s s e s s m e n t s w e r e n o t a s f a r r e a c h i n g a n d c h a n g e s t i m u l a t i n g a s s u g g e s t e d i n t h e l i t e r a t u r e . O I n e s t ; l i t e W h p a r d e t i m ] b u t a s ( C c e s p b r c 2 3 7 I S I N T h e f o l l o w i n g f o u r a r g u m e n t s s u p p o r t a n d e x p l a i n t h e c o n c l u s i o n s , d r a w i n g f r o m t h e fi n d i n g s a n d t h e c o n c e p t u a l f r a m e w o r k . I n A r g u m e n t s O n e a n d T w o t h e d i f f e r e n c e s b e t w e e n t h e e s p o u s e d t h e o r y a n d t h e o r y - i n - u s e f o r n e e d s a s s e s s m e n t a r e d e s c r i b e d . T h e s e a r g u m e n t s s u p p o r t C o n c l u s i o n 1 , w h i c h s t a t e s t h a t t h e n e e d s a s s e s s m e n t p r o c e d u r e s p r e s c r i b e d i n t h e l i t e r a t u r e ( t h e e s p o u s e d t h e o r y ) a r e d i f f e r e n t f r o m h o w t h e y w e r e a c t u a l l y c a r r i e d o u t i n t h e r e a l w o r l d ( t h e t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t ) , . A s d e s c r i b e d i n A r g u m e n t T h r e e , C o n c l u s i o n 2 s t a t e s t h a t t h e e s p o u s e d t h e o r y o f n e e d s a s s e s s m e n t p r e s e n t e d i n t h e l i t e r a t u r e , b y t h e f e l l o w s h i p , a n d b y p a r t i c i p a n t s f o c u s e s o n t h e i d e a l : w h e r e a s t h e t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t , a s o b s e r v e d i n p a r t i c i p a n t s ' b e h a v i o r s , i s . b y n e c e s s i t y , m u c h m o r e p r a c t i c a l . I n A r g u m e n t T h r e e , e v i d e n c e i s a l s o p r e s e n t e d t o s h o w h o w t h i s c o n fl i c t i s d e t r i m e n t a l . N o t o n l y d i d t h e p a r t i c i p a n t s p e r c e i v e f e w e r a n d l e s s i m p o r t a n t b e n e fi t s f r o m c o n d u c t i n g a n e e d s a s s e s s m e n t ( C o n c l u s i o n 3 a ) , b u t t h e r e s u l t s o f t h e n e e d s a s s e s s m e n t s i n t h e p r e s e n t s t u d y w e r e n o t a s f a r r e a c h i n g a n d c h a n g e s t i m u l a t i n g a s s u g g e s t e d i n t h e l i t e r a t u r e ( C o n c l u s i o n 3 b ) . T h e f o u r t h a n d fi n a l a r g u m e n t s u g g e s t s h o w t h e e s p o u s e d t h e o r y a n d t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t c o u l d b e b r o u g h t i n t o a g r e e m e n t . 2 3 8 A r g u m e n t O n e : A n e s p o u s e d t h e o r y o f n e e d s a s s e s s m e n t i s d e s c r i b e d i n t h e l i t e r a t u r e , a n d b y t h e f e l l o w s h i p a n d p a r t i c i p a n t s . ' p o u : c - . o ~ f n d . s fl s s m n i a : f i r e 1 1 m m . A c c o r d i n g t o t h e c r i t e r i a p r e s e n t e d b y A r g r i s a n d S c h o n , t h e g o a l s . m o d e l s a n d t e c h n i q u e s f o r c o n d u c t i n g n e e d a s s e s s m e n t a s d e s c r i b e d i n t h e l i t e r a t u r e r e p r e s e n t a n e s p o u s e d t h e o r y o f n e e d s a s s e s s m e n t . I t fi t s t h e c r i t e r i a b y b e i n g a s e t o f r u l e s p e o p l e s t a t e a b o u t n e e d s a s s e s s m e n t t h a t i s n o t b a s e d o n o b s e r v a t i o n o r v e r i fi e d b y e m p i r i c a l r e s e a r c h . ’ l \ v o o f t h e t e n e t s o f t h e e s p o u s e d t h e o r y o f n e e d s a s s e s s m e n t a r e : 1 ) N e e d s a s s e s s m e n t i s c o n d u c t e d i n o r d e r t o a r r i v e a t t h e p r i o r i t y p r o b l e m a n d a n a p p r o p r i a t e s o l u t i o n . 2 ) A n e e d s a s s e s s m e n t i s t o b e c o n d u c t e d w i t h t h e i n t e n t o f b e t t e r s e r v i n g s o c i e t y a s a w h o l e ( A l p h a n e e d s a s s e s s m e n t ) . T h e s e t e n e t s a r e t o b e a c c o m p l i s h e d t h r o u g h t h e s t r a t e g i e s p r e s e n t e d i n t h e l i t e r a t u r e . E x a m p l e s t r a t e g i e s i n c l u d e : ( m o s t o f t e n ) u s i n g a d i s c r e p a n c y a p p r o a c h t o i d e n t i f y n e e d s . d i s t i n g u i s h i n g n e e d s f r o m w a n t s . c o l l e c t i n g d a t a f r o m a v a r i e t y o f s t a k e h o l d e r s , a n d s o f o r t h . T h e f e l l o w s h i p a l s o p r e s e n t e d a n e s p o u s e d t h e o g r o f n e e d s a s s e s s m e n t i n f o r m a l s e s s i o n s a n d m a t e r i a l s . T h e f e l l o w s h i p ' s e s p o u s e d t h e o r y o f n e e d s a s s e s s m e n t i s c l o s e l y r e l a t e d t o t h e t h e o r y e s p o u s e d i n t h e l i t e r a t u r e . E x a m p l e s i n c l u d e c l a i m s o f t h e b e n e fi t s a n d i m p o r t a n c e o f n e e d s a s s e s s m e n t . T h e e s p o u s e d t h e o r y w a s e v i d e n t i n f e l l o w s h i p f a c u l t y ' s p u b l i c r e f e r e n c e s t o n e e d s a s s e s s m e n t a s a n i m p o r t a n t e a r l y 2 3 9 s t e p i n a s y s t e m a t i c c u r r i c u l u m d e v e l o p m e n t p r o c e s s , a n d i n t h e n e e d s a s s e s s m e n t w o r k s h o p h a n d o u t ( s e e A p p e n d i x G ) . P a r t i c i p a n t s a l s o p o s s e s s e d a n e s p o u s e d m e o g o f n e e d s a s s e s s m e n t . O n t h e i n d i v i d u a l l e v e l , i n t h i s s t u d y , t h e p a r t i c i p a n t s a l s o d e s c r i b e d w h a t a m o u n t e d t o t h e i r o w n e s p o u s e d t h e o r y o f n e e d s a s s e s s m e n t . T h i s e s p o u s e d t h e o r y w a s e v i d e n t i n f o r m a l d o c u m e n t s , p u b l i c p r e s e n t a t i o n s a n d i n s t a t e m e n t s i n i n t e r v i e w s . A s d e s c r i b e d i n fi n d i n g # 1 7 , i n m o s t c a s e s t h e p a r t i c i p a n t s s t a t e d a n e s p o u s e d t h e o r y t h a t c l o s e l y m a t c h e d t h a t d e s c r i b e d i n t h e l i t e r a t u r e . A s a n e x a m p l e o f w h a t t h e i r e s p o u s e d t h e o r y i n c l u d e d ( fi n d i n g # 1 8 ) , p a r t i c i p a n t s d e s c r i b e d h o w i t w a s i m p o r t a n t t o c o n t a c t a v a r i e t y o f s o u r c e s i n t h e i r n e e d s a s s e s s m e n t s . T h e e s p o u s e d t h e o g r o f n e e d s a s s e s s m e n t a p p r o x i m a t e s M p d e l I I . N e e d s a s s e s s m e n t , a s e s p o u s e d i n t h e l i t e r a t u r e , t h e f e l l o w s h i p , a n d b y t h e p a r t i c i p a n t s , a s s u m e s t h e t h r e e g o v e r n i n g v a r i a b l e s A r g y r i s a n d S c h o n d e s c r i b e i n M o d e l I I . A s i n t h e fi r s t g o v e r n i n g v a r i a b l e i n M o d e l 1 1 , t h e i n t e n t o f n e e d s a s s e s s m e n t i s t o c o l l e c t v a l i d i n f o r m a t i o n . T h i s i s a c c o m p l i s h e d t h r o u g h i n v o l v i n g s t a k e h o l d e r s i n t h e d a t a c o l l e c t i o n a n d p r i o r i t i z i n g p r o c e s s . S i m i l a r t o t h e s e c o n d g o v e r n i n g v a r i a b l e i n M o d e l 1 1 , n e e d s a s s e s s m e n t i s d e s i g n e d t o i n v o l v e o t h e r s o n t h e b a s i s o f t h e i r o w n f r e e a n d i n f o r m e d c h o i c e . T h e h o p e i s t h a t b y b e i n g i n v o l v e d i n d e c i d i n g w h a t i s t h e p r i o r i t y p r o b l e m a n d t h e s o l u t i o n , p e o p l e w i l l w a n t t o c o n t i n u e t o w o r k o n c r e a t i n g a n d i m p l e m e n t i n g t h e s o l u t i o n . T h i s l e a d s t o t h e t h i r d g o v e r n i n g v a r i a b l e i n M o d e l 1 1 . N e e d s a s s e s s m e n t , a s e s p o u s e d . c o n t a i n s t h e b e l i e f t h a t b y b e i n g i n v o l v e d i n t h e p r o c e s s , s t a k e h o l d e r s w i l l b e c o m m i t t e d t o t h e d e c i s i o n s t h a t c o m e o u t o f t h e 2 4 0 n e e d s a s s e s s m e n t : t h e y w i l l m o n i t o r t h e s o l u t i o n ' s p r o g r e s s , a s t h e y h a v e a v e s t e d i n t e r e s t i n i t s s u c c e s s f u l i m p l e m e n t a t i o n . T h e e s p o u s e d t h e o g y o f n e e d s a s s e s s m e n t i s a i m e d a t a c h i e v i n g d p u p l e l o o p l e a r n i n g . M o d e l I I i l l u s t r a t e s h o w t h e t h r e e g o v e r n i n g v a r i a b l e s l e a d t o d o u b l e l o o p l e a r n i n g ( f u n d a m e n t a l c h a n g e s i n t h e e x i s t i n g n o r m s ) . D o u b l e l o o p l e a r n i n g i s a l s o t h e a i m o f n e e d s a s s e s s m e n t . I n t h e l i t e r a t u r e . n e e d s a s s e s s m e n t i s d e s c r i b e d a s t h e i n i t i a l s t a g e o f a n y p l a n n i n g e f f o r t w h i c h l a y s t h e g r o u n d w o r k f o r e f f e c t i n g l a s t i n g a n d p o s i t i v e c h a n g e . I t i s t o b e u s e d a s a p l a n n i n g t o o l b y q u e s t i o n i n g t h e s t a t u s q u o a n d p r o a c t i v e l y d e s i g n i n g n e w s y s t e m s a n d s t r a t e g i e s t h a t w i l l b r i n g s u b s t a n t i a l i m p r o v e m e n t s ( o r a t l e a s t p r e v e n t f u t u r e d i f fi c u l t i e s ) . I n s u m m a r y , t h e t h e o r y o f n e e d s a s s e s s m e n t e s p o u s e d b y t h e l i t e r a t u r e , f e l l o w s h i p , a n d p a r t i c i p a n t s h a s b e e n d e s c r i b e d i n A r g u m e n t O n e . T h i s e s p o u s e d t h e o r y a s s u m e s t h e g o v e r n i n g v a r i a b l e s i n A r g y r i s a n d S c h o n ' s M o d e l 1 1 , w h i c h l e a d t o d o u b l e l o o p l e a r n i n g . A r g u m e n t T w o : N e e d s a s s e s s m e n t a s p r a c t i c e d b y t h e p a r t i c i p a n t s i s a t h e o r y - i n - u s e . A t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t w a s c o n s t r u c t e d b y o b s e r v i n g p a r t i c i p a n t s ' b e h a v i o r s . T h e t h e o r y o f n e e d s a s s e s s m e n t , a s e s p o u s e d i n t h e l i t e r a t u r e , t h e f e l l o w s h i p , a n d b y s t u d y p a r t i c i p a n t s , w a s n o t i n a g r e e m e n t w i t h t h e t h e o r y - i n - u s e e m p l o y e d b y t h e p a r t i c i p a n t s w h e n t h e y a c t u a l l y c o n d u c t e d n e e d s a s s e s s m e n t s . A s d e s c r i b e d b e l o w , t h e t h e o r y - i n - u s e f o r n e e d s a s s e s s m e n t o p e r a t e s a c c o r d i n g t o a d i f f e r e n t r n m h fl . c c o u t c o m e T _ h t h e o r y - ' 1 1 g o v e r n i r fi n d i n g s ' F G e h fi n m c o n s t n o f t h e f W e r e p d e c i d e f e l l o w s t h e r e . a S S e s - O W n C D a m . O w n S O U r p r e s 3 0 1 1 1 S t a t , D e n 2 4 1 m o d e l , c o n t a i n s d i f f e r e n t g o v e r n i n g v a r i a b l e s , a n d r e s u l t s i n a d i f f e r e n t o u t c o m e f o r l e a r n i n g a n d c h a n g e . T h e t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t a p p r o x i m a t e s M p g e l I . T h e t h e o r y - i n - u s e f o r n e e d s a s s e s s m e n t s m o r e c l o s e l y a s c r i b e s t o t h e g o v e r n i n g v a r i a b l e s o f M o d e l I t h a n M o d e l I I . T h i s i s i l l u s t r a t e d b y fi n d i n g s t h a t l e a d t o e a c h o f t h e g o v e r n i n g v a r i a b l e s . T h e fi r s t g o v e r n i n g v a r i a b l e o f M o d e l I i s " D e f i n e g o a l s a n d t r y t o a c h i e v e t h e m . " T h i s g o v e r n i n g v a r i a b l e a s s u m e s i n d i v i d u a l s w i l l c o n s t r u c t t h e i r o w n g o a l s a n d a v o i d b e i n g i n fl u e n c e d b y o t h e r s . S e v e r a l o f t h e fi n d i n g s s u p p o r t t h i s g o v e r n i n g v a r i a b l e . F i r s t , i n fi n d i n g # 2 0 , w e w e r e p r o v i d e d w i t h a d e s c r i p t i o n o f h o w t h e p a r t i c i p a n t s h a d a l r e a d y d e c i d e d u p o n t h e p r i o r i t y p r o b l e m a n d t h e s o l u t i o n p r i o r t o b e g i n n i n g t h e f e l l o w s h i p p r e s c r i b e d n e e d s a s s e s s m e n t . I n fi n d i n g # 1 9 , w e s a w t h a t t h e r e w e r e f e w c h a n g e s t o t h e fi n a l p r o d u c t a s a r e s u l t o f t h e n e e d s a s s e s s m e n t . T h u s , t h e n e e d s a s s e s s m e n t s u b s t a n t i a t e d t h e p a r t i c i p a n t s ' o w n o r i g i n a l i d e a s . S e c o n d , a c o m b i n a t i o n o f fi n d i n g s m a d e i t u n l i k e l y t h a t t h e p a r t i c i p a n t s w o u l d b e c o n f r o n t e d w i t h d a t a t h a t w o u l d c o n t r a d i c t t h e i r o w n i d e a s . I n fi n d i n g s # 3 t h r o u g h # 7 , d e s c r i p t i o n s o f m e t h o d s u s e d a n d s o u r c e s c o n t a c t e d b y t h e p a r t i c i p a n t s i n t h e n e e d s a s s e s s m e n t w e r e p r e s e n t e d . T h e s e fi n d i n g s s h o w e d t h a t a s s e s s o r s c o l l e c t e d d a t a f r o m s o u r c e s m o s t l i k e t h e m s e l v e s ( # 5 ) a n d c o m p l e t e l y i g n o r e d a p a r t i c u l a r s t a k e h o l d e r g r o u p ( # 4 ) . A s s e s s o r s a l s o f o c u s e d d a t a c o l l e c t i o n o n s o u r c e s w i t h i n t h e i r o w n i m m e d i a t e e n v i r o n m e n t ( # 6 ) . B y l i m i t i n g t h e i r e x p o s u r e t o s o u r c e s i n d i fi e r e n t r o l e s t h a t m i g h t h a v e a d i f f e r e n t p e r c e p t i o n o f t h e p r o b l e m , o r i n d i f f e r e n t c o n t e x t s t h a t m i g h t h a v e 2 4 2 a l t e r n a t e a p p r o a c h e s t o s o l v i n g t h e p r o b l e m , t h e a s s e s s o r s w e r e l e s s l i k e l y t o h e a r o p i n i o n s t h a t w e r e v e r y d i f f e r e n t f r o m t h e i r o w n . A f u r t h e r l a y e r o f p r o t e c t i o n w a s a d d e d t h r o u g h d i f f e r e n c e s i n d a t a c o l l e c t i o n m e t h o d s . A s d e s c r i b e d i n fi n d i n g s # 3 a n d # 7 , a s s e s s o r s u s e d s t r u c t u r e d m e t h o d s t h a t d o c u m e n t e d r e s p o n s e s w i t h s o u r c e s t h a t w e r e m o s t l i k e t h e a s s e s s o r s a n d / o r w i t h i n t h e a s s e s s o r s ' o w n c o n t e x t s - ~ t h e y u s e d l e s s s t r u c t u r e d , u n d o c u m e n t e d m e t h o d s w i t h s o u r c e s l e s s l i k e t h e m s e l v e s a n d f r o m o t h e r c o n t e x t s . T h u s , w h e n a s s e s s o r s a n a l y z e d t h e d a t a , t h e y w e r e l e s s l i k e l y t o b e c o n f r o n t e d w i t h w r i t t e n d a t a t h a t w o u l d c o n fl i c t w i t h t h e i r o w n i d e a s . T h e s e fi n d i n g s s u g g e s t t h a t a s s e s s o r s , p e r h a p s u n c o n s c i o u s l y , d i r e c t e d t h e n e e d s a s s e s s m e n t i n a w a y t h a t w o u l d h e l p t h e m a c h i e v e t h e i r o w n g o a l s . T h e s e c o n d g o v e r n i n g v a r i a b l e i n M o d e l I i s " M a x i m i z e w i n n i n g a n d m i n i m i z e l o s i n g . " A r g y r i s a n d S c h o n s a i d t h a t " [ p l a r t i c i p a n t s f e l t t h a t o n c e t h e y h a d d e c i d e d o n t h e i r g o a l s , c h a n g i n g t h e m w o u l d b e a s i g n o f w e a k n e s s " ( 1 9 7 4 , p p . 6 6 - 6 7 ) . T h u s " w i n n i n g " c o n s i s t e d o f e n s u r i n g t h a t t h e i r o r i g i n a l g o a l s w o u l d b e a c c e p t e d . I n t h e p r e s e n t s t u d y , p a r t i c i p a n t s e m p l o y e d b e h a v i o r s t h a t m a d e i t m o r e l i k e l y t h a t t h e y w o u l d " w i n . " T h e fi n d i n g s l i s t e d u n d e r t h e fi r s t g o v e r n i n g v a r i a b l e i l l u s t r a t e h o w t h e a s s e s s o r s u l t i m a t e l y " w o n " i n t h e s e n s e t h a t t h e n e e d s a s s e s s m e n t v a l i d a t e d t h e i r p r e f e r r e d s o l u t i o n . H o w e v e r , t h e fi n d i n g s a l s o s u g g e s t t h a t t h e n e e d s a s s e s s m e n t w a s c o n d u c t e d i n m o r e s u b t l e w a y s t h a t f a v o r e d t h e a s s e s s o r . A n e x a m p l e i s t h e l a c k o f b i a s c o n t r o l s d e s c r i b e d i n fi n d i n g # 1 1 . B y a s k i n g l e a d i n g q u e s t i o n s a n d a c c e p t i n g a l o w r e s p o n s e r a t e o n q u e s t i o n n a i r e s , p a r t i c i p a n t s w e r e b i a s i n g d a t a i n t h e i r f a v o r . A l s o , b y n o t p r e s e n t i n g C U ' m h a r d a l l m g o w a c c h o l S t r i o f l a s : R t S E S C I f ? w e r e r — I / 2 4 3 h a r d d a t a i n t h e n e e d s a s s e s s m e n t r e p o r t s , p a r t i c i p a n t s w e r e n o t a l l o w i n g o t h e r s t o q u e s t i o n h o w t h e i r c o n c l u s i o n s h a d b e e n d e t e r m i n e d . T h e t h i r d a n d f o u r t h g o v e r n i n g v a r i a b l e s o f M o d e l I a r e " M i n i m i z e g e n e r a t i n g o r e x p r e s s i n g n e g a t i v e f e e l i n g s " a n d " B e r a t i o n a l . " T h e s e g o v e r n i n g v a r i a b l e s a s s u m e i t i s b e t t e r t o a v o i d a r e a s o f p o s s i b l e c o n fl i c t t h a n t o u n c o v e r p a i n f u l e m o t i o n s , e v e n i f t h e y a r e c l o s e l y a s s o c i a t e d w i t h a c c u r a t e a n d p e r t i n e n t i n f o r m a t i o n . T h e s e v a r i a b l e s r e q u i r e a s s e s s o r s t o h o l d b a c k t h e i r o w n f e e l i n g s a n d a v o i d a r e a s i n w h i c h o t h e r s m a y h a v e s t r o n g f e e l i n g s . I n t h e p r e s e n t s t u d y , p a r t i c i p a n t s g a v e m a n y e x a m p l e s o f b e h a v i o r s t h a t c o u l d b e a c c o u n t e d f o r b y t h e s e g o v e r n i n g v a r i a b l e s . T h e s e b e h a v i o r s w e r e o f t e n r e l a t e d t o t h e " p o l i t i c a l " p u r p o s e s o f n e e d s a s s e s s m e n t . F o r e x a m p l e . i n fi n d i n g s # 5 8 r # 1 l w e s a w h o w M i k e a n d R u b i n c o l l e c t e d d a t a t h e y n e v e r i n t e n d e d t o u s e f o r t h e s o l e p u r p o s e o f m a k i n g s u r e t h e s e s o u r c e s w o u l d n o t b e h u r t ( a n d , g o i n g b a c k t o t h e s e c o n d v a r i a b l e , s o t h e y w o u l d n ' t o p p o s e t h e p a r t i c i p a n t s ' i n t e n d e d s o l u t i o n ) . l C o m p a r i n g t h e e s p o u s e d t h e o r y a n d t h e o g r - i n - u s e o f n e e d s a s s e s s m e n t . T h i s c o n t r a s t b e t w e e n t h e e s p o u s e d t h e o r y a n d t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t r e s u l t s i n C o n c l u s i o n 1 : T h e n e e d s a s s e s s m e n t p r o c e d u r e s p r e s c r i b e d i n t h e l i t e r a t u r e a r e d i f f e r e n t f r o m h o w t h e y w e r e a c t u a l l y c a r r i e d o u t i n t h e r e a l w o r l d . T h e d i f f e r e n c e b e t w e e n t h e m a j o r t e n e t s o f t h e e s p o u s e d t h e o r y a n d t h o s e o f t h e t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t a r e i l l u s t r a t e d i n T a b l e 2 0 . 1 T h i s s u g g e s t s t h a t c h a n g e s t r a t e g i e s w e r e u s e d t o a c c o m p l i s h t h e g o v e r n i n g v a r i a b l e s o f m o d e l i ( i . e . g e t t i n g o t h e r s t o c o m e a r o u n d t o o w n t h i n k i n g ) . H o w e v e r , c h a n g e s t r a t e g i e s a l s o c o u l d b e u s e d a c c o r d i n g t o m o d e l 1 1 : e x : m a k e p e o p l e c o m f o r t a b l e a n d s a f e s o t h e y c a n r e s p o n d h o n e s t l y . e t c . 0 1 ' a r 2 4 4 T a b l e 2 0 S a m p l e C o m p a r i s o n o f E s p o u s e d T h e o r y a n d T h e o r y - i n - u s e o f N e e d s A s s e s s m e n t T h e o r y E s p o u s e d i n L i t e r a t u r e a n d b y F e l l o w s h i p a n d P a r t i c i p a n t s T h e o r y - i n - u s e D i s p l a y e d i n B e h a v i o r o f P a r t i c i p a n t s N e e d s a s s e s s m e n t i s c o n d u c t e d i n o r d e r t o a r r i v e a t t h e p r i o r i t y p r o b l e m a n d a n a p p r o p r i a t e s o l u t i o n . P a r t i c i p a n t s h a d a l r e a d y d e c i d e d u p o n t h e p r i o r i t y p r o b l e m a n d t h e s o l u t i o n p r i o r t o b e g i n n i n g t h e p r e s c r i b e d f e l l o w s h i p n e e d s a s s e s s m e n t . ( F i n d i n g # 2 0 ) T h e p r e s c r i b e d f e l l o w s h i p n e e d s a s s e s s m e n t d i d n o t r e s u l t i n s i g n i fi c a n t c h a n g e s t o t h e a s s e s s o r ' s o r i g i n a l p r o b l e m a n d s o l u t i o n . ( F i n d i n g # 1 9 ) T h e n e e d s a s s e s s m e n t w a s c o n d u c t e d i n a w a y t o a v o i d t h e a s s e s s o r b e i n g c o n f r o n t e d w i t h c o n t r a r y d a t a . ( F i n d i n g s # 3 , 4 , 5 . 6 , 7 ) A n e e d s a s s e s s m e n t i s t o b e c o n d u c t e d w i t h t h e i n t e n t o f b e t t e r s e r v i n g s o c i e t y a s a w h o l e ( A l p h a n e e d s a s s e s s m e n t ) . T h e n e e d s a s s e s s m e n t s u b s t a n t i a t e d t h e a s s e s s o r ' s p e r s o n a l i d e a . ( F i n d i n g s # 1 9 . 2 0 ) T h e n e e d s a s s e s s m e n t w a s f o c u s e d a l m o s t e x c l u s i v e l y w i t h i n t h e i m m e d i a t e c o n t e x t a n d u p o n s o u r c e s s i m i l a r t o t h e a s s e s s o r . ( F i n d i n g s # 3 , 4 , 5 . 6 . 7 ) l e a r . f u n t o u t p a n l e a r a C C ' r a t ] p a r h a t 2 ) \ S i t t f o e J u s r a t i s ; 1 1 6 1 O r W e t h e U s . ( 1 e . 2 4 5 T h e t h e o p y — i n - u s e o f n e e d s a s s e s s m e n t p r e v e n t s d o u b l e l o o p l e a r n i n g . A r g y r i s a n d S c h o n ' s c o n c e p t u a l f r a m e w o r k d e s c r i b e s h o w f u n d a m e n t a l c h a n g e s t h a t a r e n e c e s s a r y t o l o n g r u n e f f e c t i v e n e s s g r o w o u t o f c h a n g e s i n t h e g o v e r n i n g v a r i a b l e s a n d e x i s t i n g n o r m s . T h e y c a l l t h e s e c h a n g e s " d o u b l e l o o p l e a r n i n g . " T h e fi n d i n g s d e s c r i b i n g p a r t i c i p a n t s ' b e h a v i o r r e s u l t i n a p r o c e s s w h i c h i n h i b i t s d o u b l e l o o p l e a r n i n g . A s s t a t e d i n C o n c l u s i o n 3 b , n e e d s a s s e s s m e n t d i d n o t a c c o m p l i s h w h a t w a s c l a i m e d i n t h e l i t e r a t u r e . I n t h e p r e s e n t s t u d y . n e e d s a s s e s s m e n t s r e s u l t e d i n s i n g l e l o o p r a t h e r t h a n d o u b l e l o o p l e a r n i n g . A s s e s s o r s i n t h i s s t u d y b e g a n w i t h a p a r t i c u l a r p r o b l e m i n m i n d a n d h a d a p r e f e r r e d s o l u t i o n . A s a s s e s s o r s h a d d e v e l o p e d t h e s e i d e a s 1 ) w i t h o u t f o l l o w i n g a s y s t e m a t i c p r o c e s s , a n d 2 ) w i t h t h e e x i s t i n g o r g a n i z a t i o n a l n o r m s a n d p e r s o n a l p r e f e r e n c e s i n m i n d . t h e y w e r e n o t l i k e l y t o m a k e l a r g e a d j u s t m e n t s t o t h e e x i s t i n g s i t u a t i o n . T h i s i s s u b s t a n t i a t e d b y fi n d i n g # 1 2 r e g a r d i n g a s s e s s o r s ' f o c u s . T h e s i t u a t i o n i n w h i c h E m m a w a s u s i n g t h e n e e d s a s s e s s m e n t t o j u s t i f y s m a l l a d j u s t m e n t s t o t h e e x i s t i n g c o n f e r e n c e a t t e n d a n c e p o l i c y , r a t h e r t h a n q u e s t i o n i n g w h e t h e r t h e c o n f e r e n c e h a d t o b e a t t e n d e d a t a l l , i s a n e x a m p l e o f t h i s p h e n o m e n o n . A s s e s s o r s t h e n c o n d u c t e d t h e i r n e e d s a s s e s s m e n t s i n w a y s t h a t w e r e l e s s l i k e l y t o r e v e a l o t h e r p r o b l e m s o r l e a d t o n e w o r u n u s u a l s o l u t i o n s . A s s e s s o r c h o i c e s a s t o h o w d a t a w e r e c o l l e c t e d . t h e s o u r c e s f r o m w h i c h d a t a w e r e c o l l e c t e d , a n d t h e w a y s t h e d a t a w e r e a n a l y z e d m a d e i t l i k e l y t h a t o n l y s m a l l a d j u s t m e n t s , a l s o k n o w n a s s i n g l e l o o p l e a r n i n g , w o u l d o c c u r . I n s u m m a r i z i n g A r g u m e n t T w o , p a r t i c i p a n t s p r a c t i c e d a t h e o r y - i n - u s e t h a t w a s d i f f e r e n t f r o m t h e i r e s p o u s e d t h e o r y o f n e e d s a s s e s s m e n t ( l e a d i n g t o C o n c l u s i o n 1 ) . T h e i r t h e o r y - i n - u s e a p p r o x i m a t e d t h e g o v e r n i r l i k e l y t o l o o p l e a b m w e m c r e a t e s A r g u m A r i n e t h e o r c o n s t h e t h i 1 0 ] 2 4 6 g o v e r n i n g v a r i a b l e s p r e s e n t i n A r g y r i s a n d S c h o n ' s M o d e l I , a n d w a s l i k e l y t o r e s u l t o n l y i n m i n o r m o d i fi c a t i o n t o t h e s t a t u s q u o . o r s i n g l e l o o p l e a r n i n g ( l e a d i n g t o C o n c l u s i o n 3 b ) . U n f o r t u n a t e l y . t h e d i s p a r i t y b e t w e e n t h e e s p o u s e d t h e o r y a n d t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t c r e a t e s c o n fl i c t s a n d i n h i b i t s e f f e c t i v e n e s s . T h i s c o n c e r n i s d i s c u s s e d i n A r g u m e n t s T h r e e a n d F o u r t o e x p l a i n C o n c l u s i o n s 2 a n d 3 a . A r g u m e n t T h r e e : D i f f e r e n c e s b e t w e e n t h e e s p o u s e d t h e o r y a n d t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t c r e a t e c o n f l i c t . A r g y r i s a n d S c h d n a s s e r t t h a t i n c o n s i s t e n c i e s b e t w e e n e s p o u s e d t h e o r y a n d t h e o r y - i n - u s e l e a d t o c o n fl i c t . P e o p l e a r e n o t a w a r e o f , a n d c o n s e q u e n t l y n o t a b l e t o d e t e c t , d i s c r e p a n c i e s b e t w e e n w h a t t h e y t h i n k t h e y a r e d o i n g a n d t h e i r a c t u a l b e h a v i o r . T h e r e f o r e , w h e n i n t e n d e d o u t c o m e s d o n o t o c c u r , t h e y a r e u n a b l e t o a c c u r a t e l y p i n p o i n t t h e p r o b l e m a n d c a n n o t m a k e i m p r o v e m e n t s . B y a p p l y i n g t h e c o n c e p t u a l f r a m e w o r k t o t h e s t u d y fi n d i n g s , t h e c o n fl i c t s b e t w e e n t h e e s p o u s e d t h e o r y a n d t h e t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t a r e m a d e a p p a r e n t a n d c a n b e e x p l a i n e d . T h e c u r r e n t t h e o g r — i n - u s e o f n e e d s a s s e s s m e n t i s s e l f s e a l i n g . I n t h e c o n c e p t u a l f r a m e w o r k , A r g y r i s a n d S c h o n d e s c r i b e h o w t h e M o d e l I t h e o r y - i n - u s e a c t s a s a s e l f f u l fi l l i n g p r o p h e s y , o r i s " s e l f - s e a l i n g . " A s l o n g a s p e o p l e b e h a v e a c c o r d i n g t o t h e g o v e r n i n g v a r i a b l e s i n t h e M o d e l I t h e o r y - i n - u s e . t h e y w i l l c o n t i n u e t o c o n fi r m t h e i r o w n i d e a s a n d m a i n t a i n M o d e l I g o v e r n i n g v a r i a b l e s . t h e i r n o t : d e s r T a b P a r h o v a s s I . 2 4 7 E v e n w h e n p a r t i c i p a n t s w e r e m a d e a w a r e o f t h e c o n fl i c t b e t w e e n t h e i r e s p o u s e d t h e o r y a n d t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t , t h e y d i d n o t a d d r e s s t h e c o n fl i c t . A p a r t i c u l a r l y s a l i e n t e x a m p l e o c c u r r e d t h e l a s t t w o d a y s t h e i n v e s t i g a t o r w a s i n c o n t a c t w i t h a l l t h e p a r t i c i p a n t s . A s d e s c r i b e d i n fi n d i n g # 1 9 , t h e i n v e s t i g a t o r s h o w e d i n d i v i d u a l p a r t i c i p a n t s T a b l e s 1 3 a n d 1 4 d o c u m e n t i n g t h e l a c k o f c h a n g e s t o c u r r i c u l a . P a r t i c i p a n t s w e r e v i s i b l y s u r p r i s e d w h e n s h o w n c o n c r e t e e x a m p l e s o f h o w t h e i r p r o j e c t s h a d c h a n g e d l i t t l e a s a r e s u l t o f t h e n e e d s a s s e s s m e n t . 2 T h e c o n c e p t u a l f r a m e w o r k s u g g e s t s p a r t i c i p a n t s w e r e s u r p r i s e d b e c a u s e t h e y h a d b e e n c o n f r o n t e d w i t h e v i d e n c e o f t h e i r t h e o r y - i n - u s e b e i n g i n c o n fl i c t w i t h t h e i r e s p o u s e d t h e o r y . H o w e v e r , i n t h e s e p r i v a t e c o n v e r s a t i o n s . a f t e r e x p r e s s i n g s u r p r i s e . t h e p a r t i c i p a n t s a c k n o w l e d g e d t h a t t h e r e h a d b e e n n o c h a n g e i n t h e i r t o p i c a n d , a t m o s t , m i n o r a d j u s t m e n t s t o c o n t e n t a n d i n s t r u c t i o n a l m e t h o d s w e r e m a d e a s a r e s u l t o f p e r f o r m i n g t h e n e e d s a s s e s s m e n t . N e v e r t h e l e s s , i n t h e s a m e t w o - d a y p e r i o d , p a r t i c i p a n t s a l s o p r e s e n t e d t h e i r c u r r i c u l a i n a p u b l i c f o r u m a n d m a d e c l a i m s a b o u t n e e d s a s s e s s m e n t t h a t c o n t r a d i c t e d t h i s d i s c o v e r y . T h e p a r t i c i p a n t s p r e s e n t e d t h e i r c u r r i c u l a i n t e n m i n u t e p r e s e n t a t i o n s a t a c o n f e r e n c e . T h i r t e e n o f t h e f o u r t e e n p a r t i c i p a n t s u s e d a p o r t i o n o f t h e i r t e n m i n u t e s t o t a l k a b o u t n e e d s a s s e s s m e n t . 3 I n e a c h o f t h e s e t h i r t e e n i n s t a n c e s , p a r t i c i p a n t s d e s c r i b e d t h e i r n e e d s a s s e s s m e n t p r o c e s s a n d s a i d t h a t i t h a d h e l p e d t h e m d i s c o v e r t h e p r o b l e m a n d d e s i g n a n a p p r o p r i a t e s o l u t i o n . I n o t h e r w o r d s , p a r t i c i p a n t s a c k n o w l e d g e d t h e i r t h e o r y - i n - u s e 2 R e p o r t e d i n F i n d i n g 1 9 . s u m m a r i z e d i n T a b l e 1 3 . 3 T h e f o u r t e e n t h p a r t i c i p a n t . R a c h e l , s a i d s h e h a d n o t t a l k e d a b o u t n e e d s a s s e s s m e n t i n h e r p r e s e n t a t i o n o n l y b e c a u s e s h e h a d f o r g o t t e n t o m a k e a v i s u a l t o a c c o m p a n y i t . o f n i i d e a t v a s d e s a c e o r i g D E E a s d e C C ‘ 1 2 4 8 o f n e e d s a s s e s s m e n t i n p r i v a t e d i s c u s s i o n s , b u t p r e s e n t e d t h e d i f f e r i n g i d e a l i z e d e s p o u s e d t h e o r y o f n e e d s a s s e s s m e n t p u b l i c l y . T h e c o n c e p t u a l f r a m e w o r k s u g g e s t s t h a t i g n o r i n g t h i s d i s p a r i t y w a s e x p e d i e n t a n d . i n t h e s h o r t t e r m , u s e f u l f o r t h e p a r t i c i p a n t s . A s d e s c r i b e d i n A r g u m e n t T w o , t h e y h a d c o n d u c t e d n e e d s a s s e s s m e n t a c c o r d i n g t o t h e i r t h e o r y - i n - u s e , w h i c h h a d a l l o w e d t h e m t o c o n fi r m t h e i r o r i g i n a l i d e a s . Y e t , p a r t i c i p a n t s a p p e a l e d t o t h e e s p o u s e d t h e o r y o f n e e d s a s s e s s m e n t t o g i v e t h e i r n e e d s a s s e s s m e n t r e s u l t s a n d , b y e x t e n s i o n . t h e i r c u r r i c u l a , l e g i t i m a c y . 4 A n o t h e r e x a m p l e o f h o w p a r t i c i p a n t s ' t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t i s s e l f - s e a l i n g w a s i l l u s t r a t e d i n fi n d i n g # 1 8 . W h e n d e s c r i b i n g t h e c o n d i t i o n s u n d e r w h i c h t h e y w o u l d c o n d u c t n e e d s a s s e s s m e n t s a g a i n , t h e p a r t i c i p a n t s w h o h a d c o n d u c t e d t h e m o s t c o m p r e h e n s i v e n e e d s a s s e s s m e n t s s t i p u l a t e d t h a t . i n t h e f u t u r e , t h e y w o u l d n o t u s e a s m a n y d a t a c o l l e c t i o n m e t h o d s , c o n t a c t a s m a n y s o u r c e s . o r f o r m a l l y a n a l y z e a n d w r i t e u p t h e d a t a . B y f u r t h e r r e s t r i c t i n g t h e d a t a c o l l e c t i o n , a n a l y s i s m e t h o d s , a n d t h e r a n g e o f s o u r c e s c o n t a c t e d i n f u t u r e n e e d s a s s e s s m e n t s , p a r t i c i p a n t s w o u l d b e e v e n l e s s l i k e l y t o d i s c o v e r p r o b l e m s o r s o l u t i o n s t h a t d i f f e r e d f r o m t h e i r o w n i d e a s . I n T a b l e 2 1 , o t h e r i n s t a n c e s i n w h i c h t h e d a t a r e v e a l e d c o n fl i c t s i n p a r t i c i p a n t s ' e s p o u s e d t h e o r y a n d t h e o r y - i n - u s e a r e p r e s e n t e d . I n e a c h o f t h e s e i n s t a n c e s , t h e p a r t i c i p a n t s w e r e u n w i l l i n g o r u n a b l e t o a c k n o w l e d g e t h e p o s s i b i l i t y o f c o n fl i c t . 4 I t c o u l d b e a r g u e d t h a t p a r t i c i p a n t s w h o l e a r n e d a b o u t t h e d i s c r e p a n c y j u s t m i n u t e s b e f o r e t h e y w e r e t o p r e s e n t a t t h e c o n f e r e n c e c o u l d n o t c h a n g e w h a t t h e y h a d p l a n n e d t o s a y o n s u c h s h o r t n o t i c e . H o w e v e r . t h e i n v e s t i g a t o r d i d n o t o b s e r v e a n y l e s s s w e e p i n g s t a t e m e n t s a s t o t h e u s e f u l n e s s o f n e e d s a s s e s s m e n t f r o m p a r t i c i p a n t s w h o h a d l e a m e d o f t h i s d i s c r e p a n c y 2 4 h o u r s b e f o r e p r e s e n t i n g . E x a r n p l I F i n d i n # I i # 1 # 1 6 2 4 9 T a b l e 2 1 E x a m p l e s o f P a r t i c i p a n t s ' E s p o u s e d T h e o r y v s . T h e o r y - i n - u s e C o n fl i c t i n g F i n d i n g s ) E x a m p l e o f C o n f l i c t # 1 0 P a r t i c i p a n t s ' l e v e l o f e x p e c t a t i o n o f n e e d s a s s e s s m e n t a s d e m o n s t r a t e d b y t h e i r b e h a v i o r ( T I U ) w a s n o t c o n s i s t e n t w i t h t h e i r r a t i n g o f t h e i m p o r t a n c e o f n e e d s a s s e s s m e n t ( E T ) . # 1 1 P a r t i c i p a n t s s t r i v i n g f o r a h i g h r e s p o n s e r a t e o n t h e i r q u e s t i o n n a i r e s w e r e d o i n g s o i n o r d e r t o i n c r e a s e t h e l i k e l i h o o d t h a t t h e i r c u r r i c u l u m w o u l d b e p u b l i s h a b l e ( T I U ) , n o t t o i m p r o v e t h e q u a l i t y o f t h e d a t a t h e y o b t a i n e d i n t h e n e e d s a s s e s s m e n t ( E T ) . # 1 6 P a r t i c i p a n t s g a v e d e fi n i t i o n s o f n e e d s a s s e s s m e n t t h a t m a t c h e d t h e e s p o u s e d t h e o r y o f n e e d s a s s e s s m e n t , n o t t h e t h e o r y - i n - u s e . I n p a r t i c u l a r , i n fi n d i n g # 1 , R a c h e l s a i d t h a t s h e h a d n o t i m e t o d o m o r e n e e d s a s s e s s m e n t a f t e r t h e a s s i g n m e n t w a s h a n d e d i n ( T I U ) . H o w e v e r , s h e l a t e r d e s c r i b e d n e e d s a s s e s s m e n t a s a n " o n g o i n g a c t i v i t y " ( E T ) . # 1 6 8 : # 1 7 A l t h o u g h p a r t i c i p a n t s h a d e s p o u s e d i n fi n d i n g # 1 6 t h a t t h e n e e d s a s s e s s m e n t h a d b e e n u s e f u l f o r c o l l e c t i n g o t h e r s ' i d e a s . i n fi n d i n g # 1 7 . t h e y r e v e a l e d t h e i r t h e o r y - i n - u s e i n w h i c h t h e y w o u l d d o n e e d s a s s e s s m e n t a g a i n p r i m a r i l y t o g e t o t h e r s ' s u p p o r t . r a t h e r t h a n t o c o l l e c t i d e a s . # 1 9 W h e n c o n f r o n t e d w i t h e v i d e n c e t h a t t h e i r t o p i c s h a d n o t c h a n g e d . J u l i e a n d E v e i n s i s t e d t h e i r t o p i c s h a d c h a n g e d a s a r e s u l t o f t h e n e e d s a s s e s s m e n t ( E T ) . T h e y c i t e d w h a t t h e y h a d d i s c o v e r e d i n t h e i r s u r v e y s a s s u p p o r t f o r t h e s e c h a n g e s . e v e n t h o u g h J u l i e h a d e a r l i e r t o l d t h e i n v e s t i g a t o r h o w s h e h a d u s e d t h e s u r v e y s t o c o n fi r m h e r o w n i d e a s . a n d E v e h a d a c k n o w l e d g e d t h a t s h e h a d n o t d o n e h e r s u r v e y w e l l ( T I U ) . # 1 9 W h e n c o n f r o n t e d w i t h e v i d e n c e t h a t h e r i n s t r u c t i o n a l f o r m a t h a d n o t c h a n g e d ( T I U ) , E m m a c o n t i n u e d t o i n s i s t t h a t l a r g e c h a n g e s h a d b e e n m a d e i n h e r i n s t r u c t i o n a l f o r m a t a s a r e s u l t o f t h e n e e d s a s s e s s m e n t ( E T ) . 2 5 0 T h ; p r o b l e m s w i t h n e e d s a s s e s s m e n t d e s c r i b e d i n t h e l i t e r a t u r a . . i o - . t r i - u t e d . o n fl i c t s b e t w e n - s - u e d e o . . ' 0 - - a g e . P r o b l e m s o u t l i n e d i n C h a p t e r I I i n c l u d e d 1 ) f o c u s i n g o n n e e d s o f t h e i n d i v i d u a l o r o r g a n i z a t i o n r a t h e r t h a n o n w h a t w o u l d b e n e fi t s o c i e t y a s a w h o l e ( R o t h , 1 9 7 8 ; W i t k i n , 1 9 8 4 : K a u f m a n , 1 9 7 7 a . 1 9 7 7 b , 1 9 8 9 ) , a n d 2 ) f a i l u r e o f t h e a s s e s s o r t o d e fi n e " n e e d " ( R o t h , 1 9 7 7 , 1 9 7 8 ; S l e e z e r . 1 9 9 2 ) . T h e c o n c e p t u a l f r a m e w o r k s u g g e s t s a n e x p l a n a t i o n f o r w h y t h e s e p r o b l e m s e x i s t . T h e s e " p r o b l e m " a r e a s a r e a c t u a l l y p o i n t s a t w h i c h t h e e s p o u s e d t h e o r y a n d t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t c o n fl i c t . T h e e s p o u s e d t h e o r y o f n e e d s a s s e s s m e n t c l a i m s t o d i s c o v e r n e e d s t h a t b e n e fi t s o c i e t y a s a w h o l e . H o w e v e r , a s d o c u m e n t e d i n t h e p r e s e n t s t u d y , t h e t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t a l l o w s a s s e s s o r s t o f o c u s o n t h e n e e d s o f a n i n d i v i d u a l o r t h e o r g a n i z a t i o n . I t i s e v e n p o s s i b l e t h a t s o m e o f t h e s e " p r o b l e m s " c o n t i n u e t o e x i s t b e c a u s e r e s o l v i n g t h e m w o u l d h i g h l i g h t c o n fl i c t s b e t w e e n t h e e s p o u s e d t h e o r y a n d t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t a n d f o r c e c h a n g e s . F o r e x a m p l e , c o n d u c t i n g n e e d s a s s e s s m e n t a c c o r d i n g t o a c l e a r o p e r a t i o n a l d e fi n i t i o n o f " n e e d " w o u l d m a k e t h e p r e s e n t t h e o r y - i n - u s e i m p r a c t i c a b l e . A c l e a r d e fi n i t i o n o f " n e e d " w o u l d i n c l u d e w h o s e n e e d s w e r e b e i n g c o n s i d e r e d a n d t h e c r i t e r i a b y w h i c h n e e d s w e r e t o b e p r i o r i t i z e d . T h i s w o u l d n e c e s s i t a t e t h e i n c l u s i o n o f s t a k e h o l d e r s r e g a r d l e s s o f w h e t h e r o r n o t t h a t p o p u l a t i o n ' s o p i n i o n s w e r e l i k e l y t o b e i n a g r e e m e n t w i t h t h e a s s e s s o r ' s . A c t u a l l y m e a s u r i n g n e e d a c c o r d i n g t o a p a r t i c u l a r a p p r o a c h , d i s c r e p a n c y b a s e d f o r e x a m p l e , w o u l d m e a n t h a t o t h e r n e e d s m i g h t b e p r i o r i t i z e d a b o v e t h e n e e d o n w h i c h t h e a s s e s s o r p r e f e r s t o w o r k . T h u s , c o n d u c t i n g a n e e d s a s s e s s m e n t a c c o r d i n g t o a c l e a r d e fi n i t i o n o f n e e d w o u l d m a k e ' 1 H o w e v e r , a s ‘ t h e o r y - i n - u s a s s e s s m e n t e s p o u s e d t ‘ I n a t o t h e r s h o r e x a m p l e , 1 9 7 8 ) W : f r a m e w r S u r v e y s a s s e s s s o l u t j t h a t O f I t E m 2 5 1 w o u l d m a k e i t d i f f i c u l t f o r a s s e s s o r s t o s u b s t a n t i a t e t h e i r o w n i d e a s . H o w e v e r . a s l o n g a s t h e d i s p a r i t y b e t w e e n t h e e s p o u s e d t h e o r y a n d t h e o r y - i n - u s e c o n t i n u e s . a s s e s s o r s w i l l b e a b l e t o u s e t h e n e e d s a s s e s s m e n t t o v a l i d a t e t h e i r p r e f e r r e d s o l u t i o n , y e t s t i l l a p p e a l t o t h e e s p o u s e d t h e o r y t o c l a i m h i g h e r i d e a l s . I n a d d i t i o n , t h e c o n c e p t u a l f r a m e w o r k a c c o u n t s f o r m a n y o f t h e o t h e r s h o r t c o m i n g s o f n e e d s a s s e s s m e n t d e s c r i b e d i n t h e l i t e r a t u r e . F o r e x a m p l e , r e l i a n c e u p o n p o o r l y d e s i g n e d s u r v e y s ( W i t k i n , 1 9 8 4 : R o t h . 1 9 7 8 ) w a s d o c u m e n t e d i n fi n d i n g # 1 l a n d , a c c o r d i n g t o t h e c o n c e p t u a l f r a m e w o r k , f u l fi l l s a p u r p o s e . A s d e s c r i b e d e a r l i e r , b y r e l y i n g u p o n s u r v e y s t h a t a s k l e a d i n g q u e s t i o n s a n d t o l e r a t i n g l o w r e s p o n s e r a t e s , a s s e s s o r s a r e b i a s i n g t h e r e s u l t s i n t h e d i r e c t i o n o f t h e i r p r e f e r r e d s o l u t i o n . A l s o . t h e c o n c e p t u a l f r a m e w o r k p r o v i d e s a n e x p l a n a t i o n o f w h y t h e r e a r e d i s a g r e e m e n t s o v e r t e r m i n o l o g r a n d s o m a n y d i v e r g e n t m o d e l s o f n e e d s a s s e s s m e n t e x i s t . T h e m u l t i t u d e o f t e r m s a n d m o d e l s m a y b e e n d e m i c t o t h i s c o n fl i c t b e t w e e n e s p o u s e d t h e o r y a n d t h e o r y - i n - u s e . F o r e x a m p l e , K a u f m a n ' s ( 1 9 8 5 : 8 1 V a l e n t i n e , 1 9 8 9 ) i n s i s t e n c e o v e r t h e d i fi ' e r e n c e b e t w e e n " n e e d s a s s e s s m e n t " ( w h i c h h e d e s c r i b e s a s p r o b l e m i d e n t i fi c a t i o n a n d p r i o r i t i z a t i o n ) a n d " n e e d s a n a l y s i s " ( w h i c h h e d e s c r i b e s a s t h e s e a r c h f o r c a u s e s a n d s o l u t i o n s ) , c a n b e s e e n a s h i s a t t e m p t t o d i s t i n g u i s h b e t w e e n e s p o u s e d t h e o r y ( n e e d s a s s e s s m e n t i d e n t i fi e s p r o b l e m s ) a n d t h e o r y - i n - u s e ( n e e d s a n a l y s i s b e g i n s w i t h a g i v e n p r o b l e m ) . T h e g o n fl i p t b e t w e e n e s p o u s e d t h e o g r a r i a t h e o r y - i n - u a a w _ a s a l s p m g a n t i n m a f a l l o w s h i p t e a c h i n g o f n e e d s a s s e s s m e n t . A s s t a t e d i n C o n c l u s i o n 2 , t h e f o r m a l t r a i n i n g o n n e e d s a s s e s s m e n t ( a s r e p r e s e n t e d b y p u f e l l o v i n e e d . u s e i i n d h c o n f e s p c a d d : a s s r c o n p a r a s s p m i s 2 5 2 b y p u b l i c s t a t e m e n t s m a d e b y f a c u l t y i n f o r m a l s e s s i o n s a n d t h e w r i t t e n f e l l o w s h i p m a t e r i a l s ) c o n c e n t r a t e d o n t h e i d e a l , o r e s p o u s e d t h e o r y o f n e e d s a s s e s s m e n t . I n c o n t r a s t . i n d i v i d u a l f a c u l t y m e m b e r s ' t h e o r y - i n - u s e f o r n e e d s a s s e s s m e n t w a s e v i d e n t i n m o r e p r i v a t e c o m m e n t s t o i n d i v i d u a l p a r t i c i p a n t s a n d o t h e r f a c u l t y . P a r t i c i p a n t s r e c e i v e d c o n fl i c t i n g m e s s a g e s b e t w e e n t h e f o r m a l t r a i n i n g s i t u a t i o n s i n w h i c h t h e e s p o u s e d t h e o r y w a s p r e s e n t e d , a n d p r i v a t e c o n v e r s a t i o n s w h i c h a d d r e s s e d m o r e p r a c t i c a l c o n s i d e r a t i o n s f o r c a r r y i n g o u t a n e e d s a s s e s s m e n t . T h e l e a r n i n g p r o c e s s w a s f u r t h e r c o m p l i c a t e d a s t h e c o n fl i c t i n g s t a t e m e n t s w e r e o f t e n c o m i n g f r o m t h e s a m e p e r s o n / s ( e a c h p a r t i c i p a n t ' s m e n t o r / s ) . C o n fl i c t s b e t w e e n t h e e s p o u s e d a n d t h e o r y - i n - u s e f o r n e e d s a s s e s s m e n t w o u l d a c c o u n t f o r f e l l o w s h i p f a c u l t y b e h a v i o r s . A s d e s c r i b e d i n fi n d i n g # 2 0 , p a r t i c i p a n t s b e g a n t h e n e e d s a s s e s s m e n t w i t h a s p e c i fi c p r o b l e m a n d s o l u t i o n i n m i n d . A f t e r y e a r s o f w o r k i n g i n t h e f e l l o w s h i p , i t i s l i k e l y t h a t t h e f a c u l t y r e c o g n i z e d t h i s a n d h a d a d j u s t e d t h e i r t h e o r y - i n - u s e a c c o r d i n g l y . I n C h a p t e r I V i t w a s m e n t i o n e d t h a t a t l e a s t f o u r o f t h e f a c u l t y m a d e s t a t e m e n t s o r a c t e d i n w a y s s u g g e s t i n g t h a t n e e d s a s s e s s m e n t w a s n o t a s i m p o r t a n t a s o t h e r p r o c e s s e s . T h e p o s s i b i l i t y t h a t f a c u l t y k n e w . o n a n i m p l i c i t l e v e l . t h a t t h e t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t w a s d i f f e r e n t f r o m w h a t t h e y w e r e e s p o u s i n g i s a l s o s u b s t a n t i a t e d b y t h e f a c t t h a t t h e y w e r e n o t s u r p r i s e d b y t h e fi n d i n g s . T h r o u g h y e a r s o f c o n d u c t i n g t h e i r o w n n e e d s a s s e s s m e n t s , a n d w a t c h i n g f e l l o w s c o n d u c t t h e m , f a c u l t y h a d c o n s i s t e n t l y s e e n h o w l i t t l e c h a n g e i n c u r r i c u l a h a d o c c u r r e d . A l t h o u g h t h e y , t o o , c o n t i n u e d t o t a l k a b o u t t h e e s p o u s e d t h e o r y o f n e e d s a s s e s s m e n t , t h e y c o u l d n o t h e l p s u b t l y c o m m u n i c : o f t h e t h e n m ; e f f e c t i v e “ " e a s i e r “ t e f f e c t i v e n e e d s a O fi g i n a O n 8 0 1 t h e h e d i s c o C O m x t o Q R E E 2 5 3 c o m m u n i c a t i n g d i f f e r e n t e x p e c t a t i o n s d e r i v e d f r o m t h e i r u n d e r s t a n d i n g o f t h e t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t . T h i s g o n fl i c t b e t \ _ v e e n e s p o u s e d t h e o g t a n d t h e o t y - i n - u s e l i m i t s t h e a f f g g g v g n e s s o f n e e d s a s s e s s m e n t . A l t h o u g h , i n t h e s h o r t t e r m , i t i s " e a s i e r " t o i g n o r e c o n fl i c t s b e t w e e n e s p o u s e d t h e o r y a n d t h e o r y - i n — u s e , e f f e c t i v e n e s s i s g r e a t l y d i m i n i s h e d i n t h e l o n g t e r m . O n e m a y a s k , i f n e e d s a s s e s s m e n t , a s c u r r e n t l y p r a c t i c e d . r e s u l t s i n f e w c h a n g e s t o t h e o r i g i n a l i d e a , i s i t a n y w o n d e r t h a t n e e d s a s s e s s m e n t i s o f t e n s k i p p e d ? O n s o m e l e v e l . d i d n ' t e a c h o f t h e a s s e s s o r s a t t h e c o n f e r e n c e k n o w t h a t t h e n e e d s a s s e s s m e n t h a d b e e n u s e d t o l e g i t i m i z e o r r e fi n e r a t h e r t h a n d i s c o v e r t h e p r o b l e m a n d s o l u t i o n ? T h i s c o n fl i c t a p p e a r s t o h a v e 1 ) c o m p l i c a t e d t h e t e a c h i n g o f n e e d s a s s e s s m e n t , 2 ) m a d e i t m o r e d i f f i c u l t t o c o n d u c t a n e e d s a s s e s s m e n t ( e s p e c i a l l y a s a n o v i c e ) , a n d 3 ) b r o u g h t n e e d s a s s e s s m e n t r e s u l t s i n t o q u e s t i o n . T h e l i m i t e d e fi e c fi v e n e s s o f n e e d s a s s e s s m e n t i s e v i d e n t i n C o n c l u s i o n 3 a . w h i c h s t a t e s t h a t t h e b e n e fi t s o f n e e d s a s s e s s m e n t p e r c e i v e d b y t h e p a r t i c i p a n t s d i f f e r e d f r o m t h o s e d e s c r i b e d i n t h e l i t e r a t u r e . A l t h o u g h p a r t i c i p a n t s e s p o u s e d b e n e fi t s o f n e e d s a s s e s s m e n t i n fi n d i n g # 1 7 t h a t m o r e c l o s e l y m a t c h e d t h e t h e o r y e s p o u s e d i n t h e l i t e r a t u r e ( n e e d s a s s e s s m e n t s a r e u s e f u l f o r c o l l e c t i n g i d e a s a n d g a i n i n g s u p p o r t ) , i n fi n d i n g # 1 8 , t h e p a r t i c i p a n t s ' c o n t r a s t i n g t h e o r y - i n - u s e f o r t h e b e n e fi t s o f n e e d s a s s e s s m e n t w a s e v i d e n t . P a r t i c i p a n t s s t r e s s e d t h e u s e f u l n e s s o f n e e d s a s s e s s m e n t f o r g a i n i n g s u p p o r t f a r o v e r c o l l e c t i n g i d e a s . T h e y d i d n o t p e r c e i v e p r o b l e m fi n d i n g o r s o l u t i o n i d e n t i fi c a t i o n t o b e a b e n e fi t o f n e e d s a s s e s s m e n t . e x c e p t i n s i t u a t i o n s i n w h i c h t h e y w e r e u n f a m i l i a r w i t h t h e c o n t e n t . A n d e v e n i n c a s e s i n w h i c h t h e y w o u l d c h o o s e t o d o a n e e d s a s s e s s m e n t i n t h e f u t u r e , t h e i r d e s i r e t o s i m p l i f y t h e p r o c e s s s u g g e s t s t ‘ j u s t i f y a n U l t n e e d s a s A s d e s c s o l u t i o : a s s e s s a s s e s s t i m t 0 c m 8 8 8 2 5 4 t h e p r o c e s s b y u s i n g f e w e r m e t h o d s a n d c o n t a c t i n g f e w e r s o u r c e s s u g g e s t s t h e y d i d n o t p e r c e i v e t h a t t h e b e n e fi t s o f n e e d s a s s e s s m e n t j u s t i f y m u c h e f f o r t . U l t i m a t e l y , f a i l u r e t o r e s o l v e t h e s e c o n fl i c t s s u b s t a n t i a l l y w e a k e n s n e e d s a s s e s s m e n t a n d t h e r e s t o f t h e P e r f o r m a n c e T e c h n o l o g y p r o c e s s . A s d e s c r i b e d i n fi n d i n g # 2 0 , p a r t i c i p a n t s h a d a p r e f e r r e d p r o b l e m a n d s o l u t i o n i n m i n d , w h i c h c h a n g e d l i t t l e o v e r t h e c o u r s e o f t h e n e e d s a s s e s s m e n t . A s s t a t e d i n C o n c l u s i o n 3 b : t h e r e s u l t s o f t h e n e e d s a s s e s s m e n t s i n t h e p r e s e n t s t u d y w e r e n o t a s f a r r e a c h i n g a n d c h a n g e s t i m u l a t i n g a s s u g g e s t e d i n t h e l i t e r a t u r e . T h e p a r t i c i p a n t s w h o e x p r e s s e d t h e m o s t d i s a p p o i n t m e n t w i t h t h e o u t c o m e s o f n e e d s a s s e s s m e n t w e r e t h o s e w h o h a d p u t t h e m o s t t i m e a n d e n e r g r i n t o t h e p r o c e s s . T h e y w e r e f r u s t r a t e d w h e n t h e p r o c e s s d i d n o t d e l i v e r w h a t t h e e s p o u s e d t h e o r y h a d p r o m i s e d . M a x , w h o s p e n t t h e g r e a t e s t a m o u n t o f t i m e o n h i s n e e d s a s s e s s m e n t , s p o k e o p e n l y w i t h t h e i n v e s t i g a t o r a b o u t h i s d i s a p p o i n t m e n t . A s q u o t e d i n fi n d i n g # 1 2 , M a x f e l t t h a t t h e b e n e fi t s h a d n o t j u s t i fi e d t h e e n e r g r h e h a d i n v e s t e d i n t h e n e e d s a s s e s s m e n t . T h e fi e l d n o t e s c a p t u r e w h a t t r a n s p i r e d l a t e r i n t h e s a m e c o n v e r s a t i o n : M a x l e a n e d f o r w a r d , a n d g e s t u r e d , r h y t h m i c a l l y p o i n t i n g h i s i n d e x fi n g e r t o t h e t a b l e a s h e s p o k e t h e f o l l o w i n g w i t h e m p h a s i s . " L i k e f o r m e , b e f o r e I o r d e r a p y t e s t , I a s k m y s e l f , ' C o u l d I l e a r n s o m e t h i n g f r o m t h i s t h a t w o u l d m a k e m e c h a n g e m y m i n d ? ’ A n d i f m y a n s w e r i s ' N o , ’ I d o n ' t o r d e r i t . " I s a i d , " T h a t s o u n d s l i k e t h e s a m e p h i l o s o p h y a s y o u h a d a b o u t n e e d s a s s e s s m e n t . I t i s n ' t t h a t u s e f u l t o y o u b e c a u s e y o u d i d n ' t c h a n g e m u c h b e c a u s e o f i t . " M a x : " Y e s . E x a c t l y . " I n s o e x i s t i n g t h s h o w s t h e b e t w e e n t a c c o u n t ‘ . l i t e r a t u r t h i s c o n I 1 S t a t e s u s e o f t h e o r - s e s s i t h e ‘ D a r A I : t i e i t i : 2 5 5 I n s u m m a r y . a c a s e i s m a d e i n A r g u m e n t T h r e e f o r h o w t h e e x i s t i n g t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t i s s e l f — s e a l i n g . E v i d e n c e s h o w s t h a t a s s e s s o r s fi n d i t e x p e d i e n t t o o v e r l o o k t h e e x i s t i n g c o n fl i c t b e t w e e n e s p o u s e d t h e o r y a n d t h e o r y - i n - u s e . T h i s c o n fl i c t m a y a l s o a c c o u n t f o r m a n y o f t h e p r o b l e m s w i t h n e e d s a s s e s s m e n t a s c i t e d i n t h e l i t e r a t u r e a n d c o m p l i c a t e t h e t e a c h i n g o f n e e d s a s s e s s m e n t . U l t i m a t e l y , t h i s c o n fl i c t g r e a t l y d e c r e a s e s t h e e f f e c t i v e n e s s o f n e e d s a s s e s s m e n t . I n e f f e c t , C o n c l u s i o n 1 . a s s u p p o r t e d b y A r g u m e n t s O n e a n d T w o , s t a t e s t h a t t h e r e i _ s a c o n fl i c t b e t w e e n t h e e s p o u s e d t h e o r y a n d t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t . A s s t a t e d i n C o n c l u s i o n 2 . t h e e s p o u s e d t h e o r y o f n e e d s a s s e s s m e n t p r e s e n t e d i n t h e l i t e r a t u r e . b y t h e f o r m a l s e s s i o n s a n d m a t e r i a l s i n t h e f e l l o w s h i p . a n d b y p a r t i c i p a n t s f o c u s e s o n t h e i d e a l . w h e r e a s t h e t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t a s o b s e r v e d i n p a r t i c i p a n t s ' b e h a v i o r s i s b y n e c e s s i t y m u c h m o r e p r a c t i c a l . I n A r g u m e n t T h r e e , e v i d e n c e w a s p r e s e n t e d t o s h o w h o w t h i s c o n fl i c t i s d e t r i m e n t a l . N o t o n l y d i d t h e p a r t i c i p a n t s p e r c e i v e f e w e r a n d l e s s i m p o r t a n t b e n e f i t s f r o m c o n d u c t i n g a n e e d s a s s e s s m e n t ( C o n c l u s i o n 3 a ) , b u t t h e r e s u l t s o f t h e n e e d s a s s e s s m e n t s i n t h e p r e s e n t s t u d y w e r e n o t a s f a r r e a c h i n g a n d c h a n g e s t i m u l a t i n g a s s u g g e s t e d i n t h e l i t e r a t u r e ( C o n c l u s i o n 3 b ) . T h e f o u r t h a n d fi n a l a r g u m e n t w i l l s u g g e s t h o w e s p o u s e d t h e o r y a n d t h e o r y - i n - u s e m a y b e b r o u g h t i n t o a g r e e m e n t . 2 5 6 A r g u m e n t F o u r : T h e r e m a y b e a w a y t o b r i n g t h e e s p o u s e d t h e o r y a n d t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t i n t o a g r e e m e n t . T h e e s p o u s e d t h e o r y o f n e e d s a s s e s s m e n t i s w e l l d o c u m e n t e d i n t h e l i t e r a t u r e . T h i s s t u d y h a s m a d e a s t a r t i n d o c u m e n t i n g t h e t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t . R e c o m m e n d a t i o n s f r o m A r g y r i s a n d S c h o n ‘ s e x p e r i e n c e m a y p r o v i d e t h e n e x t s t e p s i n w o r k i n g t o b r i n g t h e e s p o u s e d t h e o r y a n d t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t i n t o a g r e e m e n t s o t h a t t h e e f f e c t i v e n e s s o f n e e d s a s s e s s m e n t c a n b e e n h a n c e d . A r g y r i s a n d S c h é n ( 1 9 7 4 ) p r o p o s e h o w t o r e d e s i g n p r o f e s s i o n a l e d u c a t i o n . T h e i r s u g g e s t i o n s i n c l u d e c l a r i f y i n g t h e a r e a s o f c r i s i s b y d o c u m e n t i n g t h e c o n fl i c t s b e t w e e n e s p o u s e d t h e o r y a n d t h e o r y - i n - u s e , a n d w o r k i n g o n t r a n s f o r m i n g t h e o r i e s - i n - u s e t o m o r e c l o s e l y a p p r o x i m a t e M o d e l 1 1 . H o w n e e d s a s s e s s m e n t i s t a u g h t a n d p r a c t i c e d m a y b e r e f o r m e d b y A r g y r i s a n d S c h o n ' s r e c o m m e n d a t i o n s o n h o w t o m a k e t r a n s i t i o n s b e t w e e n t h e t w o m o d e l s . T h e y a s s e r t t h a t t w o k e y f a c t o r s i n m a k i n g t h i s t r a n s i t i o n a r e l ) r e p e a t e d l y e x a m i n i n g t h e t h e o r y - i n - u s e t h r o u g h p u b l i c l y t e s t i n g a s s u m p t i o n s a n d 2 ) b e i n g o p e n t o c h a n g i n g b e h a v i o r . H o w e v e r , w e s h o u l d n o t a u t o m a t i c a l l y a s s u m e t h a t a l l t h e c h a n g e s m u s t b e m a d e i n t h e t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t . I t i s a l s o p o s s i b l e t h a t a d j u s t m e n t s s h o u l d b e m a d e t o t h e e s p o u s e d t h e o r y t o m a k e i t m o r e p r a c t i c a b l e i n " r e a l w o r l d " s e t t i n g s . F o r e x a m p l e , n e e d s a s s e s s m e n t , a s c u r r e n t l y e s p o u s e d . d e s c r i b e s a p r o c e s s f o r p r o b l e m a n d s o l u t i o n M g . I t c o m p l e t e l y i g n o r e s t h a t , a t l e a s t i n t h e c a s e s d o c u m e n t e d i n t h e p r e s e n t s t u d y , a s s e s s o r s d o n o t a p p r o a c h t h e t a s k a s a " t a b u l a r a ; d e c i s i o n m a a s s e s s m e m t h o u g h t a t : q u e s t i o n i n t h e o r y o f 1 i n t o a c c o i t h e a s s e s C i I ‘ C U m S t I n f a c t o r s a S s e s s x M o d e l " o r g a n 1 6 m m 2 5 7 a " t a b u l a r a s a . " S i m i l a r t o S i m o n ' s ( 1 9 4 5 ) d e s c r i p t i o n o f a d m i n i s t r a t i v e d e c i s i o n m a k i n g . b e f o r e b e g i n n i n g t h e p r e s c r i b e d f e l l o w s h i p n e e d s a s s e s s m e n t . a s s e s s o r s d i d t h e i r o w n f o r m o f n e e d s a s s e s s m e n t . T h e y t h o u g h t a b o u t t h e s i t u a t i o n . p e r h a p s c o n d u c t e d s o m e e x p l o r a t o r y q u e s t i o n i n g . a n d b e g a n t o e m p l o y t h e i r o w n a s s u m p t i o n s . A n e s p o u s e d t h e o r y o f n e e d s a s s e s s m e n t n e e d s t o t a k e t h e s e a s p e c t s o f h u m a n n a t u r e i n t o a c c o u n t . I n c o n s i d e r i n g t h e p r i o r k n o w l e d g e a n d d e c i s i o n m a k i n g o f t h e a s s e s s o r . t h e n e e d s a s s e s s m e n t p r o c e s s m i g h t , u n d e r c e r t a i n c i r c u m s t a n c e s . b e b e t t e r u s e d f o r p r o b l e m a n d s o l u t i o n r e fi n i n g . I n a d d i t i o n . t h e p r e s e n t s t u d y ' s f i n d i n g s o n h e l p i n g a n d h i n d e r i n g f a c t o r s s u g g e s t o t h e r b a r r i e r s t o s u c c e s s f u l l y c o n d u c t i n g a n e e d s a s s e s s m e n t i n a c t u a l s i t u a t i o n s . A r g r i s a n d S c h o n a c k n o w l e d g e t h a t M o d e l I I i s d i f f i c u l t t o i m p l e m e n t i n e x i s t i n g s e t t i n g s . T h e y c o n t e n d t h a t " o r g a n i z a t i o n s t e n d t o c r e a t e l e a r n i n g s y s t e m s t h a t i n h i b i t d o u b l e - l o o p l e a r n i n g t h a t c a l l s i n t o q u e s t i o n t h e i r n o r m s . o b j e c t i v e s . a n d b a s i c p o l i c i e s " ( 1 9 7 8 . p . 4 ) . I t w o u l d b e e s p e c i a l l y d i f fi c u l t f o r u n p r e p a r e d a s s e s s o r s t o d e a l w i t h t h i s r e s i s t a n c e . I s s u e s s u c h a s p e r c e p t i o n o f s e l f e f fi c a c y . t h e f a c t t h a t c h a n g e i m p l i e d b y n e e d s a s s e s s m e n t m a y b e t h r e a t e n i n g t o o t h e r s . a n d t h a t t h e a s s e s s o r m a y h a v e l i t t l e p e r s o n a l p o w e r i n t h e o r g a n i z a t i o n m u s t b e a d d r e s s e d i n a n e s p o u s e d t h e o r y . F o r e x a m p l e . i n t h e p r e s e n t s t u d y . w h a t w a s t h e i n fl u e n c e o f t h e f a c t t h a t t h e a v e r a g e t i m e o n t h e j o b f o r t h e p a r t i c i p a n t s w a s j u s t t w o y e a r s ? W a s i t c o i n c i d e n t a l o r s i g n i fi c a n t t h a t t h e p a r t i c i p a n t e x p r e s s i n g t h e l e a s t c o n c e r n w i t h r e s i s t a n c e t o c h a n g e a n d p r e s s u r e s f r o m s u p e r i o r s w a s t h e o n e w i t h t h e l o n g e s t t e n u r e ( fi v e y e a r s ) ? t h a n a r a l s o m u ( I ) i n t o a g 0 f t h e 8 8 8 % ! t h e o r s t u d U S E p o i 2 5 8 A n d f i n a l l y , A r g y r i s a n d S c h o n a d m i t t h a t M o d e l 1 1 i s m o r e a g o a l t h a n a r e a l i t y . T o b e e f f e c t i v e , a n e s p o u s e d t h e o r y o f n e e d s a s s e s s m e n t a l s o m u s t b e a c h i e v a b l e . S o m e i n r o a d s i n b r i n g i n g t h e e s p o u s e d t h e o r y a n d t h e o r y - i n - u s e i n t o a g r e e m e n t w e r e m a d e i n t h i s s t u d y . F i r s t . t h e p o t e n t i a l u s e f u l n e s s o f t h e c o n c e p t u a l f r a m e w o r k t o i n t e r p r e t i n g t h e c u r r e n t s t a t e o f n e e d s a s s e s s m e n t h a s b e e n i d e n t i f i e d . S e c o n d . a n i n i t i a l d o c u m e n t a t i o n o f t h e t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t h a s b e e n m a d e . A l t h o u g h m o r e s t u d i e s n e e d t o b e c o n d u c t e d t o v e r i f y a n d f u r t h e r d e f i n e t h i s t h e o r y - i n - u s e . i t p r o v i d e s a n i n i t i a l u n d e r s t a n d i n g o f k e y a r e a s o f c o n fl i c t b e t w e e n t h e e s p o u s e d t h e o r y a n d t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t — - t h e r e f o r e p o i n t i n g t o a r e a s t h a t s h o u l d b e g i v e n p r i o r i t y a t t e n t i o n . F i n a l l y , t h e fi n d i n g s r e l a t e d t o t h e s e c o n d r e s e a r c h q u e s t i o n m a y b e u s e d t o d e s i g n f u t u r e i n s t r u c t i o n o n n e e d s a s s e s s m e n t t h a t p r e v e n t s o r a m e l i o r a t e s s o m e o f t h e h i n d e r i n g f a c t o r s , a n d b e g i n s t o c r e a t e g u i d e l i n e s f o r p e r i o d i c a l l y c h e c k i n g f o r c o n fl i c t s b e t w e e n e s p o u s e d t h e o r y a n d t h e o r y - i n — u s e . S u m m a g s f A r g u m e n t s a n d C o n c l u s i o n s I n A r g u m e n t s O n e a n d T w o t h e d i f f e r e n c e s b e t w e e n t h e e s p o u s e d t h e o r y a n d t h e o r y - i n - u s e f o r n e e d s a s s e s s m e n t w e r e d e s c r i b e d . T h e s e a r g u m e n t s s u p p o r t C o n c l u s i o n s 1 a n d 3 b , w h i c h s t a t e t h a t t h e n e e d s a s s e s s m e n t p r o c e d u r e s p r e s c r i b e d i n t h e l i t e r a t u r e ( t h e e s p o u s e d t h e o r y ) a r e d i f f e r e n t f r o m h o w t h e y w e r e a c t u a l l y c a r r i e d o u t i n t h e r e a l w o r l d ( t h e t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t ) , a n d t h a t t h e n e e d s a s s e s s m e n t s c a r r i e d o u t b y t h e p a r t i c i p a n t s o f t h e p r e s e n t s t u d y d i d n o t a c c o m p l i s h w h a t i s c l a i m e d i n t h e l i t e r a t u r e . A s d e s c r i b e d i n A r g u m e n t T h r e e , C o n c l u s i o z p r e s e n t e d o n t h e i d « i n P a r t i c i E V i d e n o i s d e t m i m p o r t ; b u t m . i t s t a x \ Q O m t h ' 3 0 : b e E a s . 2 5 9 C o n c l u s i o n 2 s t a t e s t h a t t h e e s p o u s e d t h e o r y o f n e e d s a s s e s s m e n t p r e s e n t e d i n t h e l i t e r a t u r e , b y t h e f e l l o w s h i p , a n d b y p a r t i c i p a n t s f o c u s e s o n t h e i d e a l ; w h e r e a s t h e t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t , a s o b s e r v e d i n p a r t i c i p a n t s ' b e h a v i o r s , i s , b y n e c e s s i t y , m u c h m o r e p r a c t i c a l . E v i d e n c e w a s a l s o p r e s e n t e d i n A r g u m e n t T h r e e t o s h o w h o w t h i s c o n fl i c t i s d e t r i m e n t a l . N o t o n l y d i d t h e p a r t i c i p a n t s p e r c e i v e f e w e r a n d l e s s i m p o r t a n t b e n e f i t s f r o m c o n d u c t i n g a n e e d s a s s e s s m e n t ( C o n c l u s i o n 3 3 ) , b u t t h e r e s u l t s o f t h e n e e d s a s s e s s m e n t s i n t h e p r e s e n t s t u d y w e r e n o t a s f a r r e a c h i n g a n d c h a n g e s t i m u l a t i n g a s s u g g e s t e d i n t h e l i t e r a t u r e ( C o n c l u s i o n 3 b ) . T h e f o u r t h a n d f i n a l a r g u m e n t s u g g e s t e d h o w e s p o u s e d t h e o r y a n d t h e o r y - i n - u s e c o u l d b e b r o u g h t i n t o a g r e e m e n t . T h e f o l l o w i n g i m p l i c a t i o n s o f t h e s t u d y a n d s u g g e s t i o n s f o r f u r t h e r r e s e a r c h r e p r e s e n t h o w fi n d i n g s f r o m t h e p r e s e n t s t u d y m a y b e u s e d t o b e g i n t o b r i n g t h e e s p o u s e d t h e o r y a n d t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t i n t o a g r e e m e n t t o e n h a n c e e f f e c t i v e n e s s . f o u r a ] c o m e ) , c o n c e ] r e s e a x 2 6 0 D i s c o v e r i e s f r o m t h e p r e s e n t s t u d y s u g g e s t r e c o m m e n d a t i o n s i n f o u r a r e a s : 1 ) f o r a s s e s s o r s a n d t h o s e t r a i n i n g t h e m , 2 ) f o r t h e s p e c i fi c c o n t e x t o f t h e p r e s e n t s t u d y . 3 ) f o r t h e u s e o f t h i s m e t h o d o l o g y a n d c o n c e p t u a l f r a m e w o r k i n P e r f o r m a n c e T e c h n o l o g y , a n d 4 ) f o r f u r t h e r r e s e a r c h . E a c h w i l l b e d e s c r i b e d i n t u r n . T o . ‘ o m r n n ' o o . o n f o . r ‘ o r - . a - 1 0 ‘ - . - . 1 ' _ ' I . A s d e s c r i b e d i n C o n c l u s i o n 2 , n e e d s a s s e s s m e n t , a s c u r r e n t l y t a u g h t , d o e s n o t a d e q u a t e l y p r e p a r e t h e a s s e s s o r t o e f f e c t i v e l y a n d e f fi c i e n t l y p e r f o r m n e e d s a s s e s s m e n t s . A c c o r d i n g t o t h e c o n c e p t u a l f r a m e w o r k , t h i s i s b e c a u s e t h e m e d t h e m o f n e e d s a s s e s s m e n t i s w h a t i s t a u g h t . a n d a s s e s s o r s a r e n o t p r e s e n t e d w i t h s t r a t e g i e s t o b e c o m e a w a r e o f t h e i r m m - m - g s s o f n e e d s a s s e s s m e n t a n d t o m o n i t o r t h e t w o t h e o r i e s f o r c o n fl i c t . T h e c o n fl i c t i s e s s e n t i a l l y b e t w e e n t h e i d e a l , a s c a p t u r e d i n t h e e s p o u s e d t h e o r y . a n d t h e p r a c t i c a l , a s d e m o n s t r a t e d i n t h e t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t . B o t h v i e w p o i n t s m u s t b e c o n s i d e r e d i f t h e e f f e c t i v e n e s s o f n e e d s a s s e s s m e n t i s t o b e i m p r o v e d . T h e g e n e r a l r e c o m m e n d a t i o n s l i s t e d i n T a b l e 2 2 a d d r e s s t w o c e n t r a l t h e m e s i n a n e f f o r t t o b r i n g t h e e s p o u s e d t h e o r y a n d t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t i n t o a g r e e m e n t . F i r s t . n e e d s a s s e s s m e n t m u s t b e d e s i g n e d a n d t a u g h t i n a w a y t h a t w o r k s i n r e a l - l i f e s i t u a t i o n s w h i c h c o n t a i n a v a r i e t y o f c o n s t r a i n t s a n d n e c e s s i t a t e s u d d e n c h a n g e s i n s t r a t e g y . E x a m p l e s o f t h e s e c o n s t r a i n t s i n c l u d e l i m i t e d t i m e a v a i l a b l e , d e l a y s , a n t r a i n i n g 1 1 s k i l l s d e s k n o w l e d g T a W h i c h ( I : a n d e f i ‘ i t fi n d i n g s h o w e v e f a c t o r s W a y s t 1 M a n y i n c o i j a d l u s m o r e a c t u “ g m C h e C 0 1 ] a b . 2 6 1 d e l a y s . a n d u n e x p e c t e d p r o b l e m s . A n d s e c o n d , n e e d s a s s e s s m e n t t r a i n i n g m u s t a l s o e q u i p a s s e s s o r s w i t h o t h e r e s s e n t i a l s k i l l s . E s s e n t i a l s k i l l s d e s c r i b e d i n t h e p r e s e n t s t u d y i n c l u d e t i m e m a n a g e m e n t . k n o w l e d g e o f c h a n g e a g e n t r y , a n d b i a s c o n t r o l i n d a t a c o l l e c t i o n . T a b l e 2 2 i s a c o m p i l a t i o n o f s u g g e s t i o n s f r o m t h e s t u d y fi n d i n g s w h i c h d e m o n s t r a t e h o w w e c a n b e t t e r p r e p a r e p r a c t i t i o n e r s t o e f f e c t i v e l y a n d e f fi c i e n t l y c o n d u c t n e e d s a s s e s s m e n t s o n t h e i r o w n . A l l o f t h e fi n d i n g s h a v e c o n t r i b u t e d t o t h e s e r e c o m m e n d a t i o n s . I n p a r t i c u l a r , h o w e v e r , t h e s e c o n d r e s e a r c h q u e s t i o n i n t h e p r e s e n t s t u d y : " W h a t f a c t o r s f a c i l i t a t e a n d / o r h i n d e r t h e n e e d s a s s e s s m e n t p r o c e s s ? " s u g g e s t s w a y s t o i m p r o v e t h e t e a c h i n g a n d p r a c t i c e o f n e e d s a s s e s s m e n t . " o m m - n u o n f o r ‘ i fi o n - f ‘ l _ ‘ , ‘ ! . M a n y o f t h e r e c o m m e n d a t i o n s l i s t e d i n T a b l e 2 2 h a v e a l r e a d y b e e n i n c o r p o r a t e d i n t o t h e f e l l o w s h i p . I n t h e y e a r f o l l o w i n g t h e s t u d y , a d j u s t m e n t s w e r e m a d e s o t h a t t h e e s p o u s e d t h e o r y o f n e e d s a s s e s s m e n t m o r e a c c u r a t e l y p r e p a r e d n o v i c e a s s e s s o r s f o r c o n d u c t i n g o n e i n a n a c t u a l s i t u a t i o n . C o m p o n e n t s a l s o w e r e a d d e d t h a t r e q u i r e d m o r e r i g o r o u s e x a m i n a t i o n o f a s s e s s o r s ' t h e o r i e s - i n - u s e o f n e e d s a s s e s s m e n t . C h a n g e s w e r e m a d e i n t h e n e e d s a s s e s s m e n t h a n d o u t , w o r k s h o p c o n t e n t . a n d a s s i g n m e n t . E x a m p l e s o f c h a n g e s i n c l u d e d : 1 ) s t r e s s i n g t h e n e e d t o a c k n o w l e d g e t h a t a s s e s s o r s h a d a l r e a d y b e g u n t o t h i n k a b o u t t h e s i t u a t i o n a n d w e r e l i k e l y t o h a v e a p r o b l e m a n d p r e f e r r e d s o l u t i o n i n m i n d . w h i c h t h e y n e e d e d t o d o c u m e n t a n d c o n t r o l : 2 ) w a r n i n g s t o e x p e c t t i m e d e l a y s a n d t i p s o n h o w p r e v i o u s f e l l o w s h a d h a n d l e d t i m e c o n s t r a i n t s : 3 ) a c h a n g e i n w o r k s h o p e x e r c i s e s f r o m f e l l o w s r e c e i v i n g i n p u t o n t h e i r n e e d s a s s e s s m e n t p l a n s f r o m m e n t o r s . t o t h a t o f Q 1 2 6 2 T a b l e 2 2 G e n e r a l R e c o m m e n d a t i o n s f o r t h e T e a c h i n g a n d P r a c t i c e o f N e e d s A s s e s s m e n t F i n d i n g # R e c o m m e n d a t i o n 2 " T a k e a b l o c k o f t i m e t o p l a n N A ( t h s g c a n d o fl e x i b l y i n s m a l l p i e c e s a s t i m e a l l o w s . - - f i n d i n g # 1 1 ) 3 . 4 . 5 . 6 . 7 C h e c k f o r b i a s e s b e t w e e n s o u r c e s a n d d a t a c o l l e c t i o n m e t h o d s S e e k d i v e r s i t y i n s o u r c e s a s t o : s i m i l a r i t y t o a s s e s s o r ' s r o l e a n d b o t h i n s i d e a n d o u t o f i m m e d i a t e c o n t e x t 8 . 1 6 A c k n o w l e d g e c o n c e p t m a y b e d i f f i c u l t . w i l l l e a r n b y d o i n g P o i n t o u t t h a t N A i s n o t t h a t d i f f e r e n t f r o m e v e r y d a y p r o b l e m s o l v i n g / d e c i s i o n m a k i n g P r e p a r e n o v i c e s f o r t i m e d e m a n d s . t o e x p e c t a n d p l a n f o r d e l a y 1 0 C h e c k m o t i v a t i o n l e v e l . t o o h i g h . t o o i n v e s t e d . t o o l o w . d o n ' t c a r e ( b e a w a r e o f h o w m o t i v a t i o n l e v e l i n fl u e n c e s N A ) 1 1 T e a c h k e y s k i l l s a l o n g w i t h N A : t i m e m a n a g e m e n t . c h a n g e a g e n t r y . d a t a c o l l e c t i o n , a n d a n a l y s i s b i a s c o n t r o l s 1 2 T e a c h h o w t o s t a r t w i d e a n d g r a d u a l l y f o c u s ( f o r f o l k s w h o h a v e t r o u b l e n a r r o w i n g ) U r g e t o p e r i o d i c a l l y s h a r e n e e d s a s s e s s m e n t d i s c o v e r i e s w i t h a p e r s o n f r o m o u t s i d e t h e c o n t e x t ( t h e y w i l l b r o a d e n f o c u s ) 1 3 C r e a t e r e a d i l y a v a i l a b l e r e s o u r c e s t h a t c a n b e r e f e r r e d t o i n s t a g e s ( H a n d o u t s w o r k w e l l . b u t a l s o n e e d a p e r s o n t o c o n s u l t n o t j u s t w h i l e l e a r n i n g a b o u t N A . b u t a s d o i n g o w n . T h i s c o u l d p o s s i b l y b e s a m e a s p e r s o n s u g g e s t e d j u s t a b o v e . ) 1 4 . 1 5 A c k n o w l e d g e o r g a n i z a t i o n a l c o n s t r a i n t s a n d s h o w h o w t o o v e r c o m e w i t h c r e a t i v e t h i n k i n g ( i n t e r n a l c o n t r o l ) a n d fl e x i b i l i t y 1 7 S h o w h o w c o n t a c t i n g m u l t i p l e s o u r c e s h a s t w o . n o t j u s t o n e . b e n e f i t s / p u r p o s e s . b e c l e a r o n w h i c h y o u a r e d o i n g w i t h e a c h s o u r c e 1 8 N A s m a y b e c o n d u c t e d f o r d i f f e r e n t p u r p o s e s . i f S M E , n o t t o d i s c o v e r p r o b l e m . b u t t o v e r i f y a n d r e fi n e W h e t h e r S M E o r n o v i c e . n e e d t o d o c u m e n t W H Y d o i n g N A 1 . 1 9 . 2 0 A c k n o w l e d g e t h a t a s s e s s o r s h a v e a l r e a d y t h o u g h t a b o u t t h e p r o b l e m a n d i t s s o l u t i o n . a n d d e s i g n w a y s t o d o c u m e n t t h i s s o t h a t i t c a n b e c o n t r o l l e d ( a s s i m p l e a s w r i t i n g d o w n b e f o r e b e g i n . i . e . d o c u m e n t p r e e x i s t i n g i d e a s b e f o r e b e g i n n i n g ) D e v i s e a m e t h o d t o s e e w h e r e a n d i f c h a n g e s o c c u r a s a r e s u l t o f n e e d s a s s e s s m e n t . F o r e x a m p l e . i n c u r r i c u l a . i n t o p i c ( b i g ) . i n c o n t e n t . i n i n s t r u c t i o n ? A n d h o w b i g c h a n g e s w e r e . p e e n z u i d r e p o r e s ; i n o r W a s f o n t s l i g W 0 1 f r o p r : 6 V 1 E f f S C l ‘ e 2 6 3 p e e r s l i s t e n i n g a n d a d v i s i n g e a c h o t h e r w i t h m e n t o r f a c u l t y l i s t e n i n g i n ; ' a n d 4 ) c h a n g e s i n t h e a s s i g n m e n t c r i t e r i a t o s p e c i fi c a l l y r e q u i r e d e t a i l e d r e p o r t i n g o f d a t a c o l l e c t i o n a n d a n a l y s i s m e t h o d s . I n a d d i t i o n . c h a n g e s w e r e m a d e t o t h e f e l l o w s h i p s c h e d u l e i n r e s p o n s e t o t h e p a r t i c i p a n t s ' c o n c e r n t h a t t h e n e e d s a s s e s s m e n t w o r k s h o p h a d o c c u r r e d q u i t e l a t e i n t h e t w o - w e e k s e s s i o n . A l t h o u g h i t w a s o f f e r e d o n t h e s a m e d a y a s i n t h e p r e v i o u s y e a r . r e l a t e d w o r k s h o p s f o l l o w e d t h e n e e d s a s s e s s m e n t w o r k s h o p . o r w o r k s h o p c o n t e n t w a s s l i g h t l y a l t e r e d s o t h a t f e l l o w s w e r e n o l o n g e r h e a r i n g s t a t e m e n t s s u c h a s " O f c o u r s e , y o u w o u l d n e e d t o d o a n e e d s a s s e s s m e n t fi r s t . t h e n y o u w o u l d s t a r t w o r k i n g o n w h a t w e ' l l b e d o i n g t o d a y . . . . " A l t h o u g h t h e s u b s e q u e n t y e a r w a s n o t a p a r t o f t h e s t u d y . d a t a f r o m t h e s e f e l l o w s w e r e n o t a n a l y z e d . a n d a n e c d o t a l i n f o r m a t i o n w a s p r o b a b l y t a i n t e d b y r e s e a r c h e r b i a s , i t i s i n t e r e s t i n g t o n o t e t h a t a l m o s t e v e r y s i n g l e p i e c e o f i n f o r m a t i o n s u g g e s t s t h e c h a n g e s h a d a p o s i t i v e e f f e c t . I n d i c a t i o n s t h a t t h e s e c h a n g e s t o t h e w o r k s h o p c o n t e n t a n d s c h e d u l i n g w e r e b e n e fi c i a l i n c l u d e a n o t h e r f a c u l t y m e m b e r w h o l e d a r e l a t e d w o r k s h o p ( w h i c h n o w f o l l o w e d t h e n e e d s a s s e s s m e n t w o r k s h o p ) m a k i n g t h e u n s o l i c i t e d c o m m e n t t h a t f e l l o w s ' q u e s t i o n s a n d c o m m e n t s h a d b e e n m u c h m o r e c o n c r e t e a n d t a s k o r i e n t e d t h i s y e a r . I n a d d i t i o n . f e l l o w s ' w r i t t e n a n d v e r b a l e v a l u a t i o n s o f t h e n e e d s a s s e s s m e n t w o r k s h o p w e r e f e w e r a n d m o r e p o s i t i v e . A l l r e s p o n d e n t s e i t h e r a g r e e d o r s t r o n g l y a g r e e d t h a t t h e w o r k s h o p h a d p r e p a r e d t h e m t o c o n d u c t a n e e d s a s s e s s m e n t a t t h e i r h o m e i n s t i t u t i o n a n d o n l y o n e c o m m e n t e d o n t h e d e s i r e t o h a v e t h e w o r k s h o p o c c u r e a r l i e r i n t h e f e l l o w s h i p s e s s i o n . I n a d d i t i o n , a f a c u l t y m e m b e r w h o h a d b e e n w i t h t h e p r o g r a m s i n c e i t s i n c e p t i o n s i x t e e n y e a r s e a r l i e r m a d e a p o i n t o f a p p r o a c h i n g t h e i n v e w a s w o r i o w r b e t i p a r f r a 1 1 8 1 h a s t i p r 1 ' 1 1 . 2 6 4 i n v e s t i g a t o r a n d a n o t h e r w o r k s h o p p r e s e n t e r t o t e l l t h e m h o w p l e a s e d h e w a s w i t h t h e c h a n g e s : A t t h e e n d o f t h e r e v i s e d n e e d s a s s e s s m e n t w o r k s h o p . h e h a d a s e n s e t h a t f e l l o w s h a d a c l e a r i d e a o f w h a t n e e d s a s s e s s m e n t w a s a n d a p l a n i n m i n d f o r h o w t h e y w e r e t o c a r r y o u t t h e i r o w n . H i s o w n m e n t e e s h a d a s k e d d e t a i l e d q u e s t i o n s t h a t s u g g e s t e d a b e t t e r u n d e r s t a n d i n g o f t h e p r o c e s s a n d i t s p u r p o s e t h a n h a d t h e p a r t i c i p a n t s s t u d i e d i n t h e p r e v i o u s y e a r . 0 . 1 5 9 . . . n c ‘ U ‘ 0 - 1 1 ‘ u ‘ 0 a b o r t i v e . . . “ m s m g d g l g fl i n E s r f g r m a n s s T s s h n g l g g y . B o t h t h e c o n c e p t u a l f r a m e w o r k a n d m e t h o d o l o g y e m p l o y e d i n t h e p r e s e n t s t u d y s h o u l d b e u s e f u l i n f u t u r e r e s e a r c h i n P e r f o r m a n c e T e c h n o l o g y . A r g y r i s a n d S c h o n h a v e a p p l i e d t h e i r f r a m e w o r k t o n u m e r o u s p r o f e s s i o n s . T h e p r e s e n t s t u d y d e m o n s t r a t e s t h e u s e f u l n e s s o f t h e f r a m e w o r k t o i m p r o v i n g t h e a r e a o f n e e d s a s s e s s m e n t . I n a d d i t i o n . a s P e r f o r m a n c e T e c h n o l o g ' i s a p r o f e s s i o n i n w h i c h t h e o r y m u s t b e a p p l i e d i n p r a c t i c e . t h e r e a r e n u m e r o u s a r e a s t h a t w o u l d b e n e fi t f r o m d o c u m e n t i n g e s p o u s e d t h e o r y a n d t h e o r y - i n — u s e t o r e d u c e c o n fl i c t a n d e n h a n c e e f f e c t i v e n e s s . T h e q u a l i t a t i v e a p p r o a c h w o u l d b e u s e f u l i n f u r t h e r s t u d i e s u s i n g t h e p r e s e n t c o n c e p t u a l f r a m e w o r k , b u t a l s o w o u l d s t a n d t o m a k e s i g n i fi c a n t c o n t r i b u t i o n s t o t h e u n d e r s t a n d i n g a n d e f f e c t i v e n e s s o f P e r f o r m a n c e T e c h n o l o g y i n o t h e r r e s e a r c h s t u d i e s . A s t h e o r i e s - i n - u s e c a n o n l y b e d o c u m e n t e d b y d i r e c t l y o b s e r v i n g b e h a v i o r , q u a l i t a t i v e m e t h o d o l o g i e s w o u l d b e u s e f u l i n d o c u m e n t i n g t h e o r i e s - i n - u s e r e g a r d l e s s o f t h e c o n t e x t o r p h e n o m e n a o f i n t e r e s t . H o w e v e r . m e t h o d o l o g i e s s i m i l a r t o t h o s e e m p l o y e d i n t h e p r e s e n t s t u d y a r e l i k e l y t o b e a p p l i c a b l e i n a n e v e n w i d e r r a n g e o f r e s e a r c h w i t h i n P e r f o r m a n c e T e c h n o l o g r ( S h r o c k , s t i a s C C 8 6 S i 2 6 5 1 9 8 4 ) . A s s u g g e s t e d i n C h a p t e r I I I . q u a l i t a t i v e s t u d i e s a r e p a r t i c u l a r l y a p p r o p r i a t e w h e n 1 ) w i s h i n g t o s t u d y a p h e n o m e n o n f o r w h i c h q u a n t i fi a b l e v a r i a b l e s h a v e n o t b e e n d e fi n e d . 2 ) f o r u n d e r s t a n d i n g p r o c e s s . a n d 3 ) f o r s t u d y i n g p h e n o m e n a i n t h e n a t u r a l s e t t i n g . E a c h o f t h e s e c h a r a c t e r i s t i c s i s e s p e c i a l l y c o n d u c i v e t o r e s e a r c h o n P e r f o r m a n c e T e c h n o l o g y a s l ) t h e fi e l d i s r e l a t i v e l y " y o u n g " a n d , i n m a n y a r e a s , l i t t l e p r e v i o u s r e s e a r c h e x i s t s f r o m w h i c h v a r i a b l e s a n d h y p o t h e s e s c a n b e d r a w n f o r q u a n t i t a t i v e s t u d i e s : 2 ) P e r f o r m a n c e T e c h n o l o g y i s . i t s e l f . a p r o c e s s : a n d 3 ) a s t h e u l t i m a t e a i m i s t o i m p r o v e h u m a n p e r f o r m a n c e i n t h e w o r k s e t t i n g . t h i s i s w h e r e r e s e a r c h c o u l d a n d s h o u l d b e c o n d u c t e d . R e c o m m e n d a t i o n s f o r f u r t h e r r e s e a r c h . T h i s w a s a n e x p l o r a t o r y s t u d y i n a p a r t i c u l a r s e t t i n g w i t h a s p e c i fi c p o p u l a t i o n . I f n e e d s a s s e s s m e n t i s t o b e m a d e m o r e e f f e c t i v e . f u r t h e r r e s e a r c h m u s t b e c o n d u c t e d b o t h t o d o c u m e n t t h e t r a n s f e r a b i l i t y o f fi n d i n g s t o o t h e r s e t t i n g s a n d s u b j e c t s a n d t o f u r t h e r r e fi n e t h e t h e o r y t h a t h a s b e e n s t a r t e d i n t h e p r e s e n t s t u d y . Q u e s t i o n s r e l a t e d t o e a c h o f t h e s e o f t w o a i m s w i l l b e l i s t e d i n t u r n . F i r s t . r e s e a r c h n e e d s t o b e c o n d u c t e d t o d e t e r m i n e w h e t h e r t h e fi n d i n g s a n d c o n c l u s i o n s i n t h e p r e s e n t s t u d y a r e a p p l i c a b l e t o d i v e r s e s e t t i n g s a n d p o p u l a t i o n s . I n p a r t i c u l a r , r e s e a r c h c o u l d b e c o n d u c t e d t o d e t e r m i n e t h e d e g r e e t o w h i c h t h e f i n d i n g s a n d c o n c l u s i o n s i n t h e p r e s e n t s t u d y a p p l y t o : 1 ) A s s e s s o r s w h o a r e n o t s u b j e c t m a t t e r e x p e r t s ( b u t m a y h a v e t o w o r k w i t h t h e m i n t h e n e e d s a s s e s s m e n t ) . 2 ) A s s e s s o r s w h o a r e e x p e r t s r a t h e r t h a n n o v i c e s t o n e e d s a s s e s s m e n t . r e f u t e b e f u 3 ) 4 ) 5 ) 2 6 6 A s s e s s o r s w h o f u n c t i o n a s e x t e r n a l c o n s u l t a n t s . N e e d s a s s e s s m e n t s n o t c o n d u c t e d i n s u p e r v i s e d t r a i n i n g s e t t i n g s . N e e d s a s s e s s m e n t s c o n d u c t e d i n a r e a s o t h e r t h a n m e d i c a l e d u c a t i o n . e v e n a w a y f r o m t h e fi e l d o f e d u c a t i o n a s a w h o l e . I n t h i s w a y , t h e p r e s e n t c o n c l u s i o n s a n d fi n d i n g s w o u l d b e s u p p o r t e d . r e f u t e d . a n d r e fi n e d t h r o u g h r e s e a r c h . S e c o n d . t h e t h e o r y t h a t h a s b e e n i n i t i a t e d i n t h e p r e s e n t s t u d y c a n b e f u r t h e r r e fi n e d a n d t e s t e d i n f u t u r e r e s e a r c h o n n e e d s a s s e s s m e n t . E x a m p l e q u e s t i o n s i n c l u d e : 1 ) 2 ) 3 ) 4 ) 5 ) W h a t i s t h e c u r r e n t t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t ? ( A c r o s s a v a r i e t y o f c o n t e x t s a n d p o p u l a t i o n s ) H o w i s i t p o s s i b l e t o b r i n g t h e e s p o u s e d t h e o r y a n d t h e o r y - i n - u s e o f n e e d s a s s e s s m e n t i n t o a g r e e m e n t ? a ) D o g u i d e l i n e s l i k e t h o s e s u g g e s t e d u n d e r r e c o m m e n d a t i o n s f o r t h e t e a c h i n g a n d p r a c t i c e o f n e e d s a s s e s s m e n t h e l p ? b ) H o w m i g h t c h a n g e s f r o m M o d e l I t o a M o d e l 1 1 t h e o r y - i n - u s e f o r n e e d s a s s e s s m e n t b e p r o m o t e d ? c ) D o e s p r o m o t i n g a c h a n g e t o a M o d e l I I t h e o r y - i n - u s e a c t u a l l y p r o m o t e a g r e e m e n t b e t w e e n e s p o u s e d t h e o r y a n d t h e o r y - i n - u s e ? I s t h e r e a c t u a l l y m o r e t h a n o n e t y p e o f n e e d s a s s e s s m e n t ? D o e s t h e c o n c e p t u a l f r a m e w o r k ( a n d s u g g e s t i o n s d e r i v e d f r o m i t ) a p p l y t o b o t h g e n d e r s ? H o w d o k e y s k i l l s a n d p e r c e p t i o n s o f t h e a s s e s s o r a f f e c t t h e n e e d s a s s e s s m e n t p r o c e s s a n d p r o d u c t s ? ( I n v e s t i g a t o r s m a y w i s h t o a d m i n i s t e r i n s t r u m e n t s m e a s u r i n g a r e a s h i g h l i g h t e d i n t h e p r e s e n t s t u d y , s u c h a s c h a n g e a g e n t r y , t i m e m a n a g e m e n t . a n d a t t r i b u t i o n o r l o c u s o f c o n t r o l . ) R e s e a r c h b a s e d o n s u c h q u e s t i o n s s h o u l d l e a d t o d i s c o v e r i e s t h a t w i l l p r o m o t e t h e e f f e c t i v e n e s s a n d e f fi c i e n c y o f n e e d s a s s e s s m e n t . 2 6 7 F i n a l l y . t h e t o p i c o f n e e d s a s s e s s m e n t c o u l d b e n e fi t f r o m a b e t t e r u n d e r s t a n d i n g o f h o w i t r e l a t e s t o t h e d i s c o v e r i e s i n d e c i s i o n s c i e n c e . I t i s p o s s i b l e t h a t , t o t h e d e g r e e t h a t n e e d s a s s e s s m e n t c a n b e d e m o n s t r a t e d t o h a v e c l o s e t i e s t o p a r t i c u l a r d e c i s i o n m a k i n g p r o c e s s e s . e x i s t i n g r e s e a r c h i n d e c i s i o n s c i e n c e m a y h a v e v a l u a b l e p o i n t e r s f o r r e v i s i n g t h e e s p o u s e d t h e o r y a n d u n d e r s t a n d i n g t h e t h e o r i e s - i n - u s e o f n e e d s a s s e s s m e n t . T h i s s t u d y h a s d o c u m e n t e d c o n fl i c t s b e t w e e n a n i d e a l i z e d r e p r e s e n t a t i o n a n d t h e p r a c t i c a l a p p l i c a t i o n o f a p r o c e s s . A s s u c h , n e e d s a s s e s s m e n t m a y b o t h b e i n f o r m e d b y a n d , i n t u r n , i n f o r m t h e w i d e r a r e a o f h u m a n d e c i s i o n m a k i n g . 2 6 8 § U M M A R Y C o n c l u s i o n s a n d s u p p o r t i n g a r g u m e n t s d i s c u s s i n g t h e t w e n t y fi n d i n g s o f t h e s t u d y w e r e p r e s e n t e d i n t h i s c h a p t e r . F i r s t , A r g y r i s & S c h d n ' s ( 1 9 7 4 , 1 9 7 8 ) c o n c e p t u a l f r a m e w o r k f o r t h e o r i e s o f a c t i o n w a s d e s c r i b e d . N e x t . w i t h t h e l i m i t a t i o n s d e s c r i b e d . t h e c o n c e p t u a l f r a m e w o r k w a s u s e d t o i n t e r p r e t t h e fi n d i n g s t o d e r i v e t h e m a j o r c o n c l u s i o n s i n a n s w e r t o t h e t h r e e r e s e a r c h q u e s t i o n s o f t h e s t u d y . T h e s e c o n c l u s i o n s w e r e : C o n c l u s i o n # 1 : T h e n e e d s a s s e s s m e n t p r o c e d u r e s p r e s c r i b e d i n t h e l i t e r a t u r e a r e d i f f e r e n t f r o m h o w t h e y w e r e a c t u a l l y c a r r i e d o u t i n t h e r e a l w o r l d . C o n c l u s i o n # 2 : T h e l i t e r a t u r e a n d f o r m a l t r a i n i n g o f n e e d s a s s e s s m e n t c o n c e n t r a t e d o n t h e i d e a l . r a t h e r t h a n a c o m p r e h e n s i v e s e t o f p r a c t i c a l p r o c e d u r e s t h a t c o u l d b e u s e d t o c o p e w i t h c o n s t r a i n t s i n r e a l s e t t i n g s . C o n c l u s i o n # 3 a : T h e b e n e fi t s o f n e e d s a s s e s s m e n t p e r c e i v e d b y t h e p a r t i c i p a n t s d i f f e r e d f r o m t h o s e d e s c r i b e d i n t h e l i t e r a t u r e . C o n c l u s i o n # 3 b : T h e r e s u l t s o f t h e n e e d s a s s e s s m e n t s w e r e n o t a s f a r r e a c h i n g a n d c h a n g e s t i m u l a t i n g a s s u g g e s t e d i n t h e l i t e r a t u r e . F i n a l l y , i n t h e s e c t i o n . " I m p l i c a t i o n s o f t h e S t u d y , " t h e i n v e s t i g a t o r p r e s e n t e d i m p l i c a t i o n s f o r : l ) t h e f u t u r e t e a c h i n g a n d p r a c t i c e o f n e e d s a s s e s s m e n t , 2 ) t h e s p e c i fi c c o n t e x t o f t h e p r e s e n t s t u d y , 3 ) t h e u s e o f a q u a l i t a t i v e a p p r o a c h a n d t h e c o n c e p t u a l f r a m e w o r k i n r e s e a r c h o n P e r f o r m a n c e T e c h n o l o g y . a n d 4 ) s u g g e s t i o n s f o r f u t u r e r e s e a r c h . T h e p u r p o s e o f t h i s s t u d y w a s t o d e s c r i b e a n d e x p l a i n h o w i n d i v i d u a l s w h o a r e fi r s t e x p o s e d t o n e e d s a s s e s s m e n t c o n c e p t s i m p l e m e n t a n d l e a r n f r o m t h e p r o c e s s . H I C H I G R N S T Q T E U N M i l i t i a i l i i i l i i g i l j i i z i j i “ 3 0 1 0 L - u . 0 9 . . u n . 1 , . . 3 ' | v i n » . - . . , 2 L I B R A R Y M l c h l g a n S t a t e U n l v e r s u t y P L A C E I I R E T U R N B O X t o r o m a n m b d n c k o u fl o m m n c o r d . T O A V O I D F I N E S M u m o n o r M o r e d a t a d u o . D A T E D U E D A T E D U E D A T E D U E A P R 2 ’ 4 ‘ 2 0 0 7 ~ - : 0 2 9 u 6 L ‘ I . I . ‘ o ' — l l l i . fl l i . t . g - 4 ' m ' 2 . “ M i n i A Q U A L I T A T I V E S T U D Y O F N E E D S A S S E S S M E N T : T H E G U L F B E T W E E N T H E O R Y A N D P R A C T I C E V o l u m e I I B Y J o s e p h i n e M a r i e C s e t e A D I S S E R T A T I O N S u b m i t t e d t o M i c h i g a n S t a t e U n i v e r s i t y i n p a r t i a l f u l fi l l m e n t o f t h e r e q u i r e m e n t s f o r t h e d e g r e e o f D O C T O R O F P H I L O S O P H Y D e p a r t m e n t o f C o u n s e l i n g , E d u c a t i o n a l P s y c h o l o g ) r a n d S p e c i a l E d u c a t i o n 1 9 9 4 A P P E N D I C E S A P P E N D I X A C h a n g e s t o t h e S t u d y : T h e C o n c e p t u a l F r a m e w o r k a n d R e s e a r c h Q u e s t i o n s C h a n g e s t o t h e S t u d y : T h e C o n c e p t u a l F r a m e w o r k a n d R e s e a r c h Q u e s t i o n s I n r e s e a r c h , a c o n c e p t u a l f r a m e w o r k w o r k s i n c o n c e r t w i t h t h e r e s e a r c h q u e s t i o n s t o d e s c r i b e a n d e x p l a i n t h e p h e n o m e n o n o f i n t e r e s t . T h e r e s e a r c h q u e s t i o n s f o c u s a t t e n t i o n o n t h e a r e a s o f i n t e r e s t , a n d t h e c o n c e p t u a l f r a m e w o r k o r g a n i z e s a s t u d y ' s f i n d i n g s i n t o a c o m p r e h e n s i b l e s t r u c t u r e . I n t h e p r e s e n t s t u d y , t h e c o n c e p t u a l f r a m e w o r k w a s t a k e n f r o m t h e w o r k o f A r g y r i s & S c h o n ' s ( 1 9 7 4 ) T h e o r y i n t o P r a c t i c e . w h i c h i s d e s c r i b e d i n C h a p t e r V I , " C o n c l u s i o n s a n d D i s c u s s i o n . " T h e r e s e a r c h q u e s t i o n s a s o u t l i n e d i n C h a p t e r I , " I n t r o d u c t i o n t o t h e S t u d y , " w e r e d e s i g n e d t o d e s c r i b e a n d e x p l a i n h o w p e o p l e c o n d u c t n e e d s a s s e s s m e n t s a n d w h a t t h e y l e a r n f r o m d o i n g t h e m . I t i s i m p o r t a n t t o n o t e t h a t t h e s t u d y d i d n o t b e g i n w i t h t h i s c o n c e p t u a l f r a m e w o r k o r s e t o f r e s e a r c h q u e s t i o n s . I n f a c t . t h e s t u d y w a s o r i g i n a l l y d e s i g n e d w i t h a c o n c e p t u a l f r a m e w o r k o n d e c i s i o n m a k i n g p a t t e r n s t h a t u s e d t h e M y e r s - B r i g g s T y p e I n v e n t o r y ( M B T I ) . T h e M B ’ I ‘ I i s a v a l i d a t e d i n s t r u m e n t k n o w n f o r i n d i c a t i n g p e 0 p l e ' s p r e f e r r e d s t y l e o f i n t e r a c t i o n a n d m e t h o d s f o r o b t a i n i n g i n f o r m a t i o n a n d a c t i n g o n i t . 1 A r e v i e w o f t h e l i t e r a t u r e o n t h e t o p i c o f n e e d s a s s e s s m e n t c o m b i n e d w i t h t h e o r i e s f r o m c o g n i t i v e s c i e n c e a n d d e c i s i o n m a k i n g s t r o n g l y s u g g e s t e d 1 T h e s c o r e s a r e r e p o r t e d f o r f o u r c o n t i n u a : E x t r a v e r s i o n / I n t r o v e r s i o n . I N t u i t i o n / S e n s a t i o n , T h i n k i n g / F e e l i n g . a n d J u d g i n g / P e r c e i v i n g . F o r i n t r o d u c t o r y i n f o r m a t i o n o n t h e M y e r s B r i g g s ' l y p e i n v e n t o r y , c o n s u l t t h e f o l l o w i n g t e x t s : M y e r s . 1 . B . ( 1 9 8 0 ) . g i f t s d i f T e r i n g . P a l o A l t o . C A C o n s u l t i n g P s y c h o l o g i s t s P r e s s . K e i r s e y . D . & B a t e s . M . ( 1 9 7 8 ) . P l e a s e u n r t n m : h r e r & e m t y p e s . D e l M a r . C A : P r o m e t h e u s N e m e s i s B o o k C o m p a n y . 2 6 9 2 7 0 A P P E N D I X A t h a t t h e n e e d s a s s e s s m e n t p r o c e s s w a s h e a v i l y i n fl u e n c e d b y t h e d e c i s i o n s a n d v a l u e s o f t h e i n d i v i d u a l s c o n d u c t i n g n e e d s a s s e s s m e n t s . T h e M y e r s - B r i g g s T y p e I n d i c a t o r w a s t o b e u s e d t o l o o k f o r p a t t e r n s b e t w e e n t h e a n a l y s t ' s p e r s o n a l i t y t y p e a n d t h e m a n n e r i n w h i c h t h e n e e d s a s s e s s m e n t w a s c o n d u c t e d a n d t h e t y p e o f r e s u l t s o b t a i n e d . H o w e v e r , e v e n b e f o r e t h e M B T I w a s a d m i n i s t e r e d , t h e i n v e s t i g a t o r h a d q u e s t i o n e d i t s u s e f u l n e s s t o t h e s t u d y . D a t a c o l l e c t e d a n d a n a l y z e d p r i o r t o t h e t i m e t h e M B T I w a s a d m i n i s t e r e d i n d i c a t e d t h a t t h e o r i g i n a l f o c u s u p o n t h e i n d i v i d u a l a n a l y s t w a s n o t e n c o m p a s s i n g w h a t w a s h a p p e n i n g d u r i n g t h e n e e d s a s s e s s m e n t p r o c e s s . A l t h o u g h t h e a n a l y s t w a s a k e y p l a y e r , t h e d a t a s u p p o r t e d a p e r s p e c t i v e o n n e e d s a s s e s s m e n t t h a t p a i d g r e a t e r a t t e n t i o n t o t h e i n t e r a c t i o n o f t h e a n a l y s t w i t h t h e e n v i r o n m e n t . I n a d d i t i o n , i n t h e p r e s e n t s t u d y , t h e M B T I r e s u l t s w e r e c a l l e d i n t o s e r i o u s q u e s t i o n . T h e i n v e s t i g a t o r m e t w i t h a n e x p e r t i n t h e u s e o f t h e M B T I i n m e d i c a l s e t t i n g s w h o w a s a l s o f a m i l i a r w i t h t h e p a r t i c i p a n t s . T h e e x p e r t s e r i o u s l y q u e s t i o n e d t h e a c c u r a c y o f a t l e a s t t h r e e o f t h e f o u r t e e n p a r t i c i p a n t s ' s c o r e s , " I t h i n k t h e y a n s w e r e d t h e w a y t h e y ' d l i k e t o b e r a t h e r t h a n h o w t h e y r e a l l y a r e . " D e s p i t e q u e s t i o n s a s t o t h e u s e f u l n e s s , a n d e v e n t h e a c c u r a c y o f t h e M B T I r e s u l t s , t h e i n v e s t i g a t o r e x a m i n e d t h e M B T I s c o r e s f o r t r e n d s . N o l i n k s w e r e f o u n d b e t w e e n p e r s o n a l i t y t y p e , a s i n d i c a t e d b y t h e M B T I , a n d d a t a c o l l e c t e d t h r o u g h o t h e r s o u r c e s t h a t e i t h e r s u p p o r t e d o r c o n t r a d i c t e d t h e e m e r g i n g f i n d i n g s . F i n a l l y , t h e o n l y u s e m a d e o f t h e s c o r e s w a s t o f u r t h e r d e s c r i b e t h e s t u d y p a r t i c i p a n t s . M B T I s c o r e s f o r e a c h p a r t i c i p a n t a r e p r e s e n t e d i n C h a p t e r I V , " T h e P a r t i c i p a n t s a n d 2 7 1 A P P E N D I X A S e t t i n g , " t o g i v e r e a d e r s a d d i t i o n a l i n f o r m a t i o n o n e a c h p a r t i c i p a n t : s o m e i n f o r m a t i o n m a y b e g l e a n e d f r o m t h e g r o u p ' s s c o r e s w h e n c o m p a r e d t o n a t i o n w i d e s c o r e s o f t h e p a s t . F o r e x a m p l e , i t i s i n t e r e s t i n g t o n o t e t h a t , a s a g r o u p , h a l f o f t h e p a r t i c i p a n t s ( 7 o f 1 4 ) h a d a n " N T " t e m p e r a m e n t ( w h i c h c a n b e d e s c r i b e d a s b e i n g v e r y c o n c e r n e d a b o u t c o m p e t e n c y ) . I n t h e w i d e r p o p u l a t i o n , o n l y 1 2 % w o u l d h a v e a n " ' N T ' t e m p e r a m e n t . T h i s l a c k o f fi t b e t w e e n t h e d a t a a n d t h e c o n c e p t u a l f r a m e w o r k m e a n t t h a t t h e r e s e a r c h q u e s t i o n s w e r e a l s o i n a p p r o p r i a t e , a s t h e y w e r e f o c u s e d s o l e l y u p o n t h e r o l e o f t h e a n a l y s t i n t h e n e e d s a s s e s s m e n t p r o c e s s . T h e o r i g i n a l r e s e a r c h q u e s t i o n s w e r e d e s i g n e d t o w o r k i n t a n d e m w i t h t h e c o n c e p t u a l f r a m e w o r k t o d e s c r i b e a n d e x p l a i n h o w p e o p l e c o n d u c t n e e d s a s s e s s m e n t s . A t t h e b e g i n n i n g o f t h e s t u d y , t h e b r o a d r e s e a r c h q u e s t i o n t o b e e x a m i n e d w a s s t a t e d a s : W h a t i s t h e r e l a t i o n s h i p b e t w e e n t h e i n d i v i d u a l c o n d u c t i n g t h e n e e d s a s s e s s m e n t a n d t h e n e e d s a s s e s s m e n t p r o c e s s a n d r e s u l t s ? T h e f o l l o w i n g s p e c i fi c q u e s t i o n s w e r e p r o p o s e d a s i n i t i a l g u i d e s t o t h e s t u d y : 1 . H o w d o i n d i v i d u a l s c o n d u c t a n e e d s a s s e s s m e n t ? a . W h a t a r e t h e s t e p s t h e y t a k e ? b . W h a t d o t h e y t h i n k a b o u t d u r i n g t h e p r o c e s s a n d w h e n ? 2 . W h a t a r e t h e p o i n t s i n t h e n e e d s a s s e s s m e n t p r o c e s s a t w h i c h v a l u e - b a s e d d e c i s i o n s a r e m a d e ? a . W h a t a r e t h e d e c i s i o n s ? b . W h a t a r e t h e v a l u e s i n t h e d e c i s i o n s ? 3 . W h a t p a t t e r n s e m e r g e a s t o t h e s e r i e s o f d e c i s i o n s i n d i v i d u a l s m a k e i n g u i d i n g t h e n e e d s a s s e s s m e n t p r o c e s s ? 4 . I s t h e r e a l i n k a g e b e t w e e n t h e d e c i s i o n s , n e e d s a s s e s s m e n t r e s u l t s , a n d m o r e g e n e r a l b e h a v i o r a l i n d i c e s s u c h a s p e r s o n a l i t y t r a i t s ? 2 7 2 A P P E N D I X A T h e s e o r i g i n a l q u e s t i o n s w e r e i n t e n d e d t o s t r i k e a b a l a n c e b e t w e e n b e i n g s p e c i fi c e n o u g h t o p r o v i d e a f o c u s f o r t h e s t u d y w h i l e b e i n g g e n e r a l e n o u g h t o a l l o w f o r a d j u s t m e n t s d u r i n g t h e c o u r s e o f t h e s t u d y . B o t h t h e c o n c e p t u a l f r a m e w o r k a n d r e s e a r c h q u e s t i o n s w e r e c o n s t r u c t e d a f t e r a c o m p r e h e n s i v e r e v i e w o f t h e l i t e r a t u r e a n d e x t e n s i v e c o n v e r s a t i o n s w i t h p e o p l e f a m i l i a r w i t h n e e d s a s s e s s m e n t . H o w e v e r , a s t h e s t u d y p r o g r e s s e d t h r o u g h s e v e r a l c y c l e s o f d a t a c o l l e c t i o n a n d a n a l y s i s , i t b e c a m e a p p a r e n t t h a t t h e o r i g i n a l r e s e a r c h q u e s t i o n s w e r e n o t a d e q u a t e l y a n s w e r e d a n d d i d n o t a c c o m m o d a t e t h e e m e r g i n g f i n d i n g s . S e v e r a l t y p e s o f p r o b l e m s w e r e o c c u r r i n g w i t h t h e r e s e a r c h q u e s t i o n s . F i r s t , a n u m b e r o f q u e s t i o n s c o u l d n o t b e a p p r o p r i a t e l y a n s w e r e d . F o r e x a m p l e , a l t h o u g h d a t a w e r e g a t h e r e d f r o m a v a r i e t y o f s o u r c e s a n d o v e r a p e r i o d o f t i m e , i t w a s n o t p o s s i b l e t o c o n s t r u c t a r e l i a b l e a n s w e r t o q u e s t i o n 1 b . : " W h a t d o ( t h e p a r t i c i p a n t s ] t h i n k a b o u t d u r i n g t h e p r o c e s s a n d w h e n ? " S e c o n d , o t h e r q u e s t i o n s w o u l d h a v e r e l i e d t o o h e a v i l y u p o n t h e i n v e s t i g a t o r ' s o w n i n t e r p r e t a t i o n . P a r t i c i p a n t s h a d d i f fi c u l t y i n i d e n t i f y i n g t h e i r o w n d e c i s i o n s d u r i n g t h e p r o c e s s , a n d t h e d a t a w e r e n o t c o m p r e h e n s i v e e n o u g h f o r t h e d e c i s i o n s t o b e r e l i a b l y e x t r a c t e d . B u t m o s t i m p o r t a n t , t h e r e s e a r c h q u e s t i o n s n e e d e d t o b e c h a n g e d b e c a u s e t h e y d i d n o t f o c u s o n a r e a s t h a t t h e i n i t i a l d a t a a n a l y s i s i n d i c a t e d w a s i m p o r t a n t . M u c h m o r e a t t e n t i o n n e e d e d t o b e f o c u s e d o n n e e d s a s s e s s m e n t a s a n e g o t i a t i o n p r o c e s s b e t w e e n t h e a n a l y s t a n d t h e e n v i r o n m e n t ( o t h e r p e o p l e a n d o r g a n i z a t i o n a l 2 7 3 A P P E N D I X A c o n s t r a i n t s ) r a t h e r t h a n a s a p r o d u c t o f t h e i n t e r n a l p r o c e s s e s o f t h e a n a l y s t a l o n e . O n e s t r e n g t h o f q u a l i t a t i v e r e s e a r c h i s t h a t t h e e m p l o y m e n t o f a n i n d u c t i v e a p p r o a c h a l l o w s f o r c h a n g e s t o t h e s t u d y a c c o r d i n g t o w h a t i s f o u n d i n t h e d a t a . S e v e r a l m o n t h s o f d a t a c o l l e c t i o n a n d a n a l y s i s i n d i c a t e d t h a t t h e o r i g i n a l c o n c e p t u a l f r a m e w o r k a n d r e s e a r c h q u e s t i o n s w o u l d n o t a c c u r a t e l y r e p r e s e n t w h a t w a s g o i n g o n i n t h e s e t t i n g . T h e i n v e s t i g a t o r t h e n b e g a n t o r e v i s e t h e r e s e a r c h q u e s t i o n s a n d s e a r c h f o r a c o n c e p t u a l f r a m e w o r k t h a t w o u l d b e h e l p f u l i n i n t e r p r e t i n g t h e d a t a . T h o u g h t f u l r e v i s i o n o f t h e r e s e a r c h q u e s t i o n s ( b a s e d o n t h e d a t a ) e v e n t u a l l y r e s u l t e d i n t h e r e s e a r c h q u e s t i o n s l i s t e d i n C h a p t e r I . T h e i n v e s t i g a t o r c o n d u c t e d a n o t h e r r e v i e w o f t h e l i t e r a t u r e a n d c o n s u l t e d a n u m b e r o f e x p e r t s o n q u a l i t a t i v e r e s e a r c h i n e d u c a t i o n , e x p l a i n i n g h e r e m e r g i n g fi n d i n g s a n d a s k i n g f o r l e a d s o n p o t e n t i a l c o n c e p t u a l f r a m e w o r k s . T h r o u g h t h i s p r o c e s s , s h e d i s c o v e r e d A r g y r i s & S c h d n ' s w o r k . T h e c o n c e p t u a l f r a m e w o r k t a k e n f r o m A r g r i s & S c h d n ( 1 9 7 4 , 1 9 7 8 ) w a s t h e n a d o p t e d a n d t e s t e d i n l a t e r p h a s e s o f d a t a c o l l e c t i o n a n d a n a l y s i s . I t w a s f o u n d t h a t t h e c o n c e p t u a l f r a m e w o r k n o t o n l y a c c o m m o d a t e d t h e d a t a a n d e m e r g i n g fi n d i n g s , b u t a l s o p r o v i d e d a s t r u c t u r e t o s h o w t h e r e l a t i o n s h i p s a m o n g t h e f i n d i n g s a n d m a k e t h e s t u d y r e s u l t s m o r e c o m p r e h e n s i b l e . T h u s , t h e o r i g i n a l r e s e a r c h q u e s t i o n s a n d c o n c e p t u a l f r a m e w o r k f o r t h e s t u d y w e r e c h a n g e d b e c a u s e t h e c o l l e c t e d d a t a d i d n o t s u p p o r t t h e m . B e c a u s e q u a l i t a t i v e r e s e a r c h a l l o w s f o r a n i n d u c t i v e a p p r o a c h , t h e d a t a w e r e u s e d t o g e n e r a t e a p p r o p r i a t e r e s e a r c h q u e s t i o n s . T h e 2 7 4 A P P E N D I X A c o n c e p t u a l f r a m e w o r k w a s s e l e c t e d b e c a u s e i t a l l o w e d f o r a n a c c u r a t e d e s c r i p t i o n a n d e x p l a n a t i o n o f t h e p h e n o m e n o n o f i n t e r e s t . A n o t h e r r e v i e w o f t h e l i t e r a t u r e w a s p e r f o r m e d i n t h e p r o c e s s o f r e v i s i n g t h e r e s e a r c h q u e s t i o n s a n d c o n c e p t u a l f r a m e w o r k . T h r o u g h c o n t i n u i n g c y c l e s o f d a t a c o l l e c t i o n a n d a n a l y s i s , a g r a d u a l u n d e r s t a n d i n g d e v e l o p e d t h a t t h e o r i e s o f n e e d s a s s e s s m e n t , a s e s p o u s e d b y e x p e r t s a n d t h e p a r t i c i p a n t s i n t h e s t u d y , d i d n o t c o r r e s p o n d w i t h t h e t h e o r y - i n - u s e t h a t p a r t i c i p a n t s a p p l i e d w h e n c o n d u c t i n g a c t u a l n e e d s a s s e s s m e n t s . A P P E N D I X B C o m p a r i s o n o f F o u r M a j o r D i s c r e p a n c y M o d e l s “ . P D S P N S @ A P P E N D I X B C o m p a r i s o n o f F o u r M a j o r D i s c r e p a n c y M o d e l s T h e f o u r m o s t p o p u l a r d i s c r e p a n c y m o d e l s , t h o s e o f H a r l e s s , M a g e r , R o s s e t t , a n d K a u f m a n a r e b r i e fl y d e s c r i b e d a n d c o n t r a s t e d b e l o w . A l l o f t h e f o l l o w i n g f o u r m o d e l s s t r e s s t h e n e e d t o m a k e d e c i s i o n s o n t h e b a s i s o f d a t a , a n d n o t , t o a s s u m e a l l p r o b l e m s c a n b e s o l v e d b y i n s t r u c t i o n . H o w e v e r , t h e y d i f f e r i n e m p h a s i s a n d d e g r e e o f d e t a i l . H a r l e s s ( 1 9 7 5 ) c a l l s h i s m o d e l " f r o n t - e n d a n a l y s i s . " I t i s u s e d p r i m a r i l y i n b u s i n e s s a n d i n d u s t r y a n d c o n t a i n s t h e f o l l o w i n g s i x s t e p s : 2 I . F R O N T - E N D A N A L Y S I S A . N a r r o w t h e p r o b l e m a r e a . 1 . G a t h e r i n d i c a t o r s , s y m p t o m s , e f f e c t s . 2 . G r o u p b y s i m i l a r i t y . B . D e s c r i b e t h e p r o b l e m . 1 . D e f i n e m a s t e r y . D e fi n e a c t u a L 2 . C o m p a r e t h e t w o . 3 . D e s c r i b e t h e d e v i a t i o n . ( " d e fi c i e n c y , " " p r o b l e m " ) C . H y p o t h e s i z e c a u s e s . 1 . L a c k o f s k i l l s / k n o w l e d g e s . 2 . E n v i r o n m e n t a l d e f i c i e n c y . 3 . M o t i v a t i o n a l - I n c e n t i v e d e f i c i e n c y . D . T e s t e a c h h y p o t h e s i s . 1 . G a t h e r e v i d e n c e f o r / a g a i n s t e a c h . 2 . D e s c r i b e t h e c a u s e s ( o r c o m b i n a t i o n ) . E . D e t e r m i n e s o l u t i o n a l t e r n a t i v e s . 1 . C o m e t o u s . 2 . G o t o t h e m . 3 . S o m e c o m b i n a t i o n o f 1 a n d 2 . F . S e l e c t b e s t a l t e r n a t i v e . D e fi n e a s s u m p t i o n s . D e fi n e d e c i s i o n - m a k i n g f a c t o r s . D e t e r m i n e w e i g h t s o f e a c h f a c t o r . D e t e r m i n e v a l u e s c a l e . C o m p a r e e a c h a l t e r n a t i v e t o e a c h f a c t o r . R a n k b y w e i g h t e d s c o r e . 2 T h i s l i s t i s t a k e n v e r b a t i m f r o m H a r l e s s , J . H . ( 1 9 7 5 ) . A n o u n c e o f a n a b g s i s i s w g g t h a p o u n d g ! o b j e c t i v e s . N e w n a n . G A : H a r l e s s P e r f o r m a n c e G u i l d . p a g e 6 9 . 2 7 5 2 7 6 A P P E N D I X B H i s m o d e l d e fi n e s t h e r e s t o f t h e p e r f o r m a n c e t e c h n o l o g y p r o c e s s a s f o l l o w s : 2 1 1 . P R E P A R E O B J E C T I V E S A . T e r m i n a l a n d e n r o u t e o u t c o m e s . B . C r i t e r i a ( m e a s u r e m e n t s t a n d a r d s ) a n d c o n d i t i o n s . C . G i v e n s a n d l i m i t s . I I I . A N A L Y Z E T H E O B J E C T I V E S I V . P R E P A R E T H E R E M E D Y V . T E S T T H E R E M E D Y V I . I M P L E M E N T V I I . F O L L O W U P 2 7 7 A P P E N D I X B M a g e r & P i p e ( 1 9 8 4 ) a n d M a g e r ( 1 9 8 8 ) t e r m t h e i r m o d e l " p e r f o r m a n c e a n a l y s i s " a n d p r e s e n t i t i n fl o w c h a r t f o r m z 3 F i g u r e 5 . 4 l D e s c r i b e d " q P e r f o r m - m a m m , " a i f “ » I c u l a t e c o s t o r v a l u e o f d i s c r e p a n c y , N . ® , 2 , . . . . . . e Y l s d e s i r e d e s p e r f o r m a n c e , Y e s p u n i s h i n g £ R e d u c e N o ' p u n i s h m e n t Y e s . ‘ ' S i m p l i f y I s u n d e s i r e d Y e s ‘ ' p e r f o r m a n c e ‘ N o r e w a r d i n g I . . N R e d u c e D o I t I n Y e s 0 r e w a r d s t h e p a s t ? - A r e u s e f i k o I I t e n N o c o n s e q u e n c e s N 0 ? C O I ’ I ’ B C ! . . i i N o P r o v r d e p - ‘ l R e a r r a n g e p r a m “ . Y e s ‘ c o n s e q u e n c e s Y e s ‘ P r o v i d e A n y f e e d b a c k I “ o b s t a c l e s Y e s , p r e s e n t L e a r n i n g . P r o v i d e ? p o t e n t i a l i n s t r u c t i o n [ — N o R e m o v e ? _ _ _ q , r o b s t a c l e s T r a n s f e r o r , C a l c u l a t e c o s t o f e a c h t e r m i n a t e p o t e n t i a l s o l u t i o n I I [ S e l e c t b e s t s o l u t i o n ( s fl I [ I m p l e m e n t s o l u t i o n fl l F i g u r e 5 M a g e r ' s P e r f o r m a n c e A n a l y s i s F l o w c h a r t 3 T h i s fl o w c h a r t i s t a k e n f r o m M a g e r . R F . ( 1 9 8 8 ) . W W . B e l m o n t . C A : L a k e P u b l i s h i n g , p a g e 3 9 . 2 7 8 A P P E N D I X B B o t h H a r l e s s ' a n d M a g e r ' s m o d e l s i n v o l v e d a t a c o l l e c t i o n a n d a n a l y s i s t o d e s c r i b e t h e p r o b l e m o r d i s c r e p a n c y , d e c i d e u p o n t h e c a u s e , a n d s e l e c t a s o l u t i o n . T h e y d i f f e r s l i g h t l y i n t h e t y p e s o f c a u s e s t h e y d e s c r i b e a n d t h e a m o u n t o f e m p h a s i s a n d d e t a i l i n e a c h s t e p . T h e y a l s o a s s u m e t h a t a s i n g l e n e e d s a s s e s s o r c a n r e l i a b l y c o m p l e t e t h e p r o c e s s . R o s s e t t ' s m o d e l e m p h a s i z e s t h a t c o m p r e h e n s i v e n e e d s a s s e s s m e n t s c o l l e c t a n d c o n s i d e r d a t a f o r fi v e d i f f e r e n t p u r p o s e s . S h e i s a l s o m o r e d e t a i l e d a b o u t h o w t o s e l e c t a p p r o p r i a t e m e t h o d s f o r c a r r y i n g o u t n e e d s a s s e s s m e n t s . R o s s e t t c a l l s h e r m o d e l " t r a i n i n g n e e d s a s s e s s m e n t " ( ” T N A " ) , r e s e r v i n g t h e t e r m " n e e d s a s s e s s m e n t " f o r o n e o f t h r e e T N A t e c h n i q u e s . H o w e v e r , a l l t h r e e t e c h n i q u e s c o m p r i s e " n e e d s a s s e s s m e n t " a c c o r d i n g t o t h e d e fi n i t i o n f o r t h i s s t u d y . T h e r e l a t i o n s h i p b e t w e e n t h e t h r e e t e c h n i q u e s , t h e t o o l s t h a t c a n b e u s e d t o a c c o m p l i s h t h e t e c h n i q u e s , a n d t h e p u r p o s e s f o r w h i c h t r a i n i n g n e e d s a s s e s s m e n t s a r e c o n d u c t e d a r e s h o w n i n F i g u r e 6 . 4 T E C H N I Q U E S T O O L S P U R P O S E S E x t a n t d a t a I I t , a n a l y s i s ‘ I n e r v n e w s O p t i m a l s N e e d s O b s e r v a t i o n s A c t u a l s A s s e s s m e n t + : 0 8 ” ? “ G r o u p s F e e l i n g s S u b j e c t M a t t e r S o l u t i o n s A n a l y s i s S u r v e y s F i g u r e 6 R o s s e t t ' s M o d e l o f N e e d s A s s e s s m e n t 4 F i g u r e 6 i s t a k e n f r o m R o s s e t t . A . ( 1 9 8 7 ) . T r a i n i n g n e e d s a s s e s s m e n t . E n g l e w o o d C l i f f s , N J : E d u c a t i o n a l T e c h n o l o g y P u b l i c a t i o n s , p a g e 2 4 . 2 7 9 A P P E N D I X B R o s s e t t ' s p r o c e s s o f t r a i n i n g n e e d s a s s e s s m e n t c o n s i s t s o f s i x s t e p s : 5 I I . A s s e s s t h e C o n t e x t A . B . C D W h o d o e s o r d o e s n ' t w a n t p r o b l e m s o l v e d . E i d s t i n g p e r f o r m a n c e p r o b l e m o r i n n o v a t i o n . . S o u r c e s a n d r e s o u r c e s a v a i l a b l e i n o r g a n i z a t i o n . D e t e r m i n e P u r p o s e s A B C . D E . O p t i m a l p e r f o r m a n c e . A c t u a l p e r f o r m a n c e 1 . T h e t o p i c 2 . T r a i n i n g o n t h e t o p i c 3 . P r i o r i t y o f t h e t o p i c K e y s o u r c e s ' f e e l i n g s a b o u t . W h o m u s t b e k e p t i n f o r m e d o f T N A . 4 . C o n fi d e n c e s u r r o u n d i n g t h e t o p i c . C a u s e s 1 . L a c k o f s k i l l o r k n o w l e d g e 2 . E n v i r o n m e n t a l b a r r i e r s 3 . N o , f e w , i m p r o p e r i n c e n t i v e s 4 . L a c k o f m o t i v a t i o n a . ) V a l u e b . ) C o n fi d e n c e . S o l u t i o n s b a s e d o n i d e n t i fi e d c a u s e s ” C a u s e s S o l u t i o n s L a c k o f s k i l l o r k n o w l e d g e T r a i n i n g J o b a i d s S e l e c t i o n f l a w e d e n v i r o n m e n t i m p r o v e d t o o l s I m p r o v e d f o r m s W o r k p l a c e a n d w o r k s t a t i o n r e d e s i g n J o b r e d e s i g n i m p r o p e r i n c e n t i v e s i m p r o v e d p o l i c i e s B e t t e r s u p e r v i s i o n i m p r o v e d i n c e n t i v e s U n m o t i v a t e d e m p l o y e e s T r a i n i n g i n f o r m a t i o n C o a c h i n g B e t t e r s u p e r v i s i o n 5 T h i s l i s t i s a c o m p o s i t e f r o m s e v e r a l o f R o s s e t t ' s w o r k s . I t i s m o s t h e a v i l y r e l i a n t u p o n M i n i n g g o o d s a s s e s s m e n t ( 1 9 8 7 ) a n d " N e e d s a s s e s s m e n t " i n l n s t r u o t i o n a l t o o h n o l o g y ; P a s t I o r a a o n t . a n d f u t u r o ( 1 9 9 1 ) . 2 8 0 A P P E N D I X B I I I . S e l e c t T e c h n i q u e s a n d T o o l s A . T e c h n i q u e s - i n fl u e n c e d b y p u r p o s e s 1 . E x t a n t d a t a a n a l y s i s 2 . N e e d s a s s e s s m e n t 3 . S u b j e c t m a t t e r a n a l y s i s a n d t a s k a n a l y s i s B . T o o l s - i n fl u e n c e d b y c o n t e x t 1 . I n t e r v i e w s 2 . O b s e r v a t i o n s 3 . G r o u p m e e t i n g s 4 . Q u e s t i o n n a i r e s I V . D e v e l o p a T N A P l a n A . A g u i d e o f w h o l e p r o c e s s t h a t r e m a i n s o p e n t o c h a n g e B . B a s e d o n c o n t e x t a n d p u r p o s e s V . D e v e l o p S t a g e P l a n n e r ( s ) A . T h e d e t a i l e d p l a n s f o r e a c h s t a g e o f i n q u i r y B . E a c h s t a g e d e v e l o p e d A F T E R p r e v i o u s s t a g e c o m p l e t e d ( d e p e n d s o n w h a t w a s l e a r n e d i n p r e v i o u s s t a g e ) V I . C o m m u n i c a t e R e s u l t s A . D u r i n g T N A 1 . W h o m u s t b e k e p t i n f o r m e d ? 2 . M a i n t a i n i n g p o s i t i v e p u b l i c r e l a t i o n s B . A f t e r t h e T N A T o p r o v i d e i n f o r m a t i o n o n r e s u l t s o f p u r p o s e s T o p r o m o t e s u p p o r t f o r r e s u l t s / i n t e n d e d s o l u t i o n T o c l e a r u p e r r o r s T o c r e a t e a h i s t o r y o f t h e T N A 9 9 ° F " ? R o s s e t t ' s m o d e l p a y s m o r e a t t e n t i o n t o t h e p o l i t i c s o f c o n d u c t i n g a n e e d s a s s e s s m e n t w i t h i n a p a r t i c u l a r o r g a n i z a t i o n . L i k e H a r l e s s a n d M a g e r ' s , t h i s m o d e l a s s u m e s t h e n e e d s a s s e s s m e n t i s m o s t o f t e n c o n d u c t e d b y a s i n g l e i n d i v i d u a l ; h o w e v e r , R o s s e t t ' s m o d e l p l a c e s g r e a t e r e m p h a s i s o n i n v o l v i n g o t h e r s i n t h e p r o c e s s , g a t h e r i n g i n f o r m a t i o n f r o m s t a k e h o l d e r s , a n d k e e p i n g t h o s e i n p o w e r i n f o r m e d . 2 8 1 A P P E N D I X B I n c o n t r a s t t o t h e o t h e r t h r e e m o d e l s , K a u f m a n ' s m o d e l d i s t i n c t l y s e p a r a t e s n e e d s a s s e s s m e n t ( w h i c h h e d e fi n e s a s t h e p r o c e s s o f i d e n t i f y i n g a n d p r i o r i t i z i n g n e e d s ) f r o m n e e d s a n a l y s i s ( w h i c h h e d e fi n e s a s i d e n t i f y i n g t h e c a u s e s a n d p o t e n t i a l s o l u t i o n s o f t h e p r i o r i t i z e d n e e d ) . K a u f m a n ' s m o d e l a l s o p l a c e s g r e a t e r e m p h a s i s o n t h e i n v o l v e m e n t o f o t h e r s i n t h e p r o c e s s . A t l e a s t s i x o f t h e t e n s t e p s i n v o l v e t h e a c t i v e p a r t i c i p a t i o n o f " p a r t n e r s . " K a u f m a n ' s m o d e l a l s o p l a c e s t h e g r e a t e s t a m o u n t o f e m p h a s i s u p o n t h e p u r p o s e o f t h e n e e d s a s s e s s m e n t . H i s " O r g a n i z a t i o n E l e m e n t s M o d e l " i d e n t i fi e s t h r e e l e v e l s a t w h i c h p l a n n i n g c a n b e c o n d u c t e d : t h e i n d i v i d u a l , t h e o r g a n i z a t i o n , a n d s o c i e t y ; h e s t r o n g l y u r g e s t h a t n e e d s a s s e s s m e n t s b e c o n d u c t e d a t t h e l e v e l w h i c h c o n t r i b u t e s t o s o c i e t y a s a w h o l e . K a u f m a n ' s m o d e l i s t h e o n l y o n e t h a t r e q u i r e s t h e n e e d s a s s e s s o r t o c o n s i d e r f o r w h o m t h e n e e d s a s s e s s m e n t i s b e i n g c o n d u c t e d ( s e e S t e p I I ) . K a u f m a n ' s m o d e l o f n e e d s a s s e s s m e n t c o n s i s t s o f 1 0 s t e p s : 6 I . D e c i d e t o p l a n u s i n g n e e d s a s s e s s m e n t d a t a I I . S e l e c t n e e d s a s s e s s m e n t a n d p l a n n i n g l e v e l A . M i c r o - i n d i v i d u a l ( l a c k s i n t e g r a t i o n ) B . M a c r o - c o m m o n o r g a n i z a t i o n a l g o a l s ( i n t e g r a t e d b u t o r g . m a y h a v e q u e s t i o n a b l e g o a l s ) C . M e g a - s o c i e t y ( u n i t e s i n d i v i d u a l s i n p u r s u i n g o r g . g o a l t h a t a l s o c o n t r i b u t e s t o s o c i e t y ) I I I . I d e n t i f y n e e d s a s s e s s m e n t p a r t n e r s A . I m p l e m e n t e r s B . R e c i p i e n t s C . S o c i e t y D . H a v e a r e p r e s e n t a t i v e g r o u p 6 T h i s l i s t i s t a k e n p r i m a r i l y f r o m K a u f m a n . R . ( 1 9 8 6 ) . A s s e s s i n g n e e d s . i n M . E . S m i t h ( E d . ) , I n t r o o u o t i o n t o o e r f o r m a n c o t e c h n o l o g y , V o l , 1 ( p p . 2 5 - 5 9 ) . W a s h i n g t o n , D C : N a t i o n a l S o c i e t y f o r P e r f o r m a n c e a n d i n s t r u c t i o n . 2 8 2 A P P E N D I X B I V . O b t a i n p a r t i c i p a t i o n o f p a r t n e r s V . O b t a i n a c c e p t a n c e o f n e e d s a s s e s s m e n t a n d p l a n n i n g l e v e l V I . C o l l e c t n e e d s d a t a A I n t e r n a l a n d e x t e r n a l I n t e r n a l E x t e r n a l R e f e r e n t i s e x i s t i n g g o a l s R e f e r e n t i s s u c c e s s o f o r g a n i z a t i o n ( s u r v i v a l a n d c o n t r i b u t i o n ) o f " p r o d u c t " o u t s i d e t h e o r g a n i z a t i o n B e t a n e e d s a s s e s s m e n t A l p h a n e e d s a s s e s s m e n t t o d e t e r m i n e n e e d s a n d u t i l i t y M o s t o f t e n d o n e R a r e l y d o n e R e s u l t s i n p e r p e t u a t i o n o f s t a t u s q u o B . S e n s e d n e e d s a n d h a r d d a t a C . C o l l e c t d a t a i n a p p r o p r i a t e a r e a s o f O r g a n i z a t i o n a l E l e m e n t s M o d e l ( O E M ) ( q u a s i - n e e d s a s s e s s m e n t = l & 2 , i n t e r n a l n a = 3 & 4 , e x t e r n a l = 5 ) 1 . I n p u t s - a v a i l a b l e r e s o u r c e s : p e o p l e , t i m e , m o n e y , e t c . 2 . P r o c e s s e s - p r o c e d u r e s , m e t h o d s , m e a n s 3 . P r o d u c t s - i n t e r m e d i a t e r e s u l t s w i t h i n o r g a n i z a t i o n 4 . O u t p u t s - p r o d u c t s t o o u t s i d e w o r l d 5 . O u t c o m e s - i m p a c t o n s o c i e t y V I I . L i s t i d e n t i fi e d a n d d o c u m e n t e d n e e d s V I I I . P l a c e n e e d s i n p r i o r i t y o r d e r A . C o n s i d e r c o s t o f r e d u c i n g / e l i m i n a t i n g n e e d 8 : c o s t t o i g n o r e n e e d B . C o s t i n t e r m s o f $ a n d q u a l i t y o f l i f e D C R e c o n c i l e d i s a g r e e m e n t s X . L i s t p r o b l e m s ( s e l e c t e d n e e d s t o b e r e s o l v e d ) a n d o b t a i n a g r e e m e n t o f p a r t n e r s A P P E N D I X C S a m p l e F e l l o w s h i p S c h e d u l e s 2 8 3 A P P E N D I X C W M U M " P R I M A R Y C A R E F A C U L T Y D E V E L O P M H V T F E L L O W S H I P P R O G R A M S e p t e m b e r 0 - 1 8 . 1 0 0 2 0 : ” 4 1 : fl I J I I . M 0 1 A n m u s 0 : 0 0 - 1 2 “ n o o n L d a o r T e n h h g D a y L e s s o n s L e a r n e d E 4 F e e w e W 9 5 1 2 : ” S H B I l e c t h e T e a c h e r s m C i r “ m 1 L e e - 1 : 3 0 a r e . E 4 F e e i - l a l l ” m m . 6 4 1 : q u E 4 F e e l - l a l 1 : 0 0 - 6 : o o p . m . 1 m m 1 : 0 0 - 4 : 0 0 ” ! - m o o - w o r m . L e s s o n s L e a r n e d C l i n i c a l T e a c h i n g C l i n i c a l E v a l u a t i o n T O W f r o m i n 1 1 1 0 P s y c n o m o t o r L a b o r E f f e c t i v e T e a c h e r s A u b u l e t o r y S e t t i ' l g S l d l b D a v E 4 F e e H a l l u s e - e 9 0 E 4 F e e H a l l m u m E 4 F e e H a l o n p . . . F e l e w e h l p m L a k e “ a “ E v a h a t i o n A D e l l l e i i o m . “ m 1 ? 8 : 3 0 - 1 1 : 3 0 a . m . 8 : 3 0 - 1 2 : 0 0 n o o n 8 : 3 0 4 1 : 3 0 a . m . 8 : 3 0 - 1 1 : 3 0 a . m . P r e s e n t a t i o n S k i l l s D e v e l o p i n g M e d i c a l P r o v i d i n g C u r r i c u l a C o n s t r u c t i v e P r a c t i c e F e e ¢ a c k T e a c h i n g A s s i g n m e n t E 4 F e e H a l l 1 2 3 0 - 1 : 0 0 i m - E 4 F e e H a l l 8 1 1 v a W o r m E 4 F e e H a l l n u s - 1 2 : “ ' 4 " E 4 F e e H a l A 2 1 0 E 2 ‘ E 4 F a c u l t y u l t e h 1 : 0 0 - 4 : 0 0 p . 1 1 1 . g ” : M m 1 : 0 0 - 4 : 0 0 p . 1 1 1 . 1 : 0 0 4 : 0 0 p . m . 1 : 1 5 - 2 : 0 0 p m C r e a t i n g V i s u a l M a u v e T e a c h i n g R o u n d s . / P a c t ‘ M a t e r i a l s 2 : 1 5 4 : 0 0 M o r n i n g R e p o r t - - f ' 9 9 p m . a n d G r o u p 3 2 ' 3 " ” : T e a c h i n g P r o j e c t M a n a g e m e n t D i s c u s s i o n W m M e m o , A s s i g n m e n t E 4 F e e H a l l E 4 F e e H a l l E 4 F e e H a l l T m E 4 F e e H a l M W . 2 : 0 0 - 3 : 0 0 p . 1 1 1 . 1 : 0 0 1 : 0 0 M . A s e - 1 : 0 0 9 . . . 4 : 1 9 : 0 0 0 . . . P r e p - m u n V i s u a l F r a n - a n o n S e a r d ' i h o e t a M e d i c a l E l e d r m i c M a l L a b o r - m E v s h e fi o n A L a b s - I o n L i a n n e - L a o W o r k s h o p E 4 D o m a i n y H l a s t l l r a . . . . W . t n m t n o e . H o e e m p . m _ / . 2 . l _ > . E ” s M a n R F e p ? m l . l . l o c . e l F ! e e s a H j s 0 s o t 0 0 r r 0 c E 0 t l 0 t i 4 i 4 o p n n g a H e v A 3 e e i t : s e o e e : a : P E 0 a n R i p 9 F s j i : e ~ . - . ‘ I A o 3 r f 1 e o - 2 - r l F 0 4 k R - 2 - b a 2 r 2 u 8 G 3 ” - o j P ‘ . ; 5 c 4 . a 4 i . : E D 0 E 3 s E E e - 0 v 1 . 4 0 R M 4 a , r : E : 0 6 . t o 1 6 l 2 2 1 a . A 2 M A . . , . . ‘ - : - . * ‘ I . n t i s r e U e t a t S O R n P a g i P t h o . . . r s p I c i H M S . . . . . . . t ’ . 3 I . ‘ . M ? m l u s e - 4 I ‘ 5 a 3 “ a ' ‘ 1 n o j . R o l e e R . m n o t . . 1 1 h l 1 . a c p n s o c t l W 7 H n H - . - ' 0 0 r 3 i i 1 p o 1 0 c O : e o r A : e c w o . 0 o F I : y F u t t 4 i r e : . i g 3 e n e t 0 3 L : s t 3 e a s 0 P 0 u t 0 - t 5 2 1 - i t 1 - t d 5 a - a F f n a 8 P L . ’ ' 3 ' . . - _ 5 . - ‘ . 3 ‘ r l " 1 > “ < : p " . “ 0 s . . " ” - r e 0 4 e - M 5 d o 1 t 1 1 E 5 c r S 4 t 2 a A 1 : 2 : n E 4 c 1 F L : . E : : 4 E a " ‘ ~ . ' 2 L F T N E - ‘ e " - ' . s " . ‘ . . 1 - ’ . . / ~ , 1 . . e I I - I f . . r ‘ I ' ‘ . : V . ' € t 0 I n i e 6 m 1 o e 2 . m r e A M . : m G F l a a a r t . H . o s e g a k M . c 8 l m a 1 a . . P H p e 8 r h 0 3 : o i S c l a a M i r t o s f i t a t S l l a H e e F 4 a e 0 B . \ . - : / - ' ‘ - . - . . . - . 3 : ‘ 1 . ” 1 I ‘ 3 \ ‘ . \ ‘ - . 0 . . ’ ‘ . - 3 o s 3 t 1 a E n 2 e A M n o . i t a u s l a m t . s p o n c i ' 0 t i t 3 c i : t u a s " d a P l e H 4 a i v g e 5 r S o t . e E e 1 t $ : 8 t g a h r F n E : 1 I t 4 t S E W c o d S s H e - d e e t n e m m " - e F t w ” e ° a ' - . ~ , . r m u ° a l " B a e e h F c " r a . e s m t s l a a E H P O L E V E D Y T L U C A ‘ ' r \ . - . . . . . » n . . e . . . . I . . . - : 3 ‘ i £ . ~ : ‘ \ - . . . ‘ . / . . . - 4 a % 3 E m e 6 . . s i W 0 R 1 . F 0 3 M e ‘ a a V - 0 e a 1 p H 0 2 A t 0 : n 0 E . 0 4 s m m 0 ‘ - e F 2 e l e H : 4 P 2 m A . p 0 0 “ : a R e : : : E n 0 e e 3 t 4 . m e 0 g 0 n 5 m ” A C Y f R 2 0 0 1 . 6 - 2 A r M e b I m 3 m u “ s F 1 i “ - 4 : 1 m r E 9 t t s e n s i m m ” F 4 5 . W 3 . 1 N m 2 . m ) A - “ d 8 m . F . l a r n 6 a w a a 1 a m 0 e H e 0 2 l a H e e F t . m m . s p a 8 R e : a 0 e 0 i 3 h i A E l E : v 6 s 1 H 0 v 0 r P e o - e F 1 1 N - 0 v A 3 4 O : 0 E e e F 4 : 2 4 A n 0 o . r u O i l n a b H 0 0 0 " E : 0 0 : 2 1 , - E W C & k e e G M W 1 e e F 4 E 2 0 3 2 0 A P P E N D I X C 2 8 4 3 9 / . t m s 0 e l m . . m l s . 2 1 1 e v . l a T h 0 t l a H 3 e i : e W i p l a H e e 5 4 z . p 0 0 a H e i 1 F : e t a 9 g F - n - 0 3 F t - 4 n e t 0 i 4 3 k E : r 0 o W E 4 3 5 : 4 2 E : 1 1 m m a . u . r r u C l l a H e ) y m l g e l g l . m g . l n a i a H 0 i s 0 E u a e t r r 4 o l p p i l i g n i . n o a H 9 o o m r p . e o u p e l u n . F c i 3 l e 0 C v F r 0 r 0 M : W l i e m : e ' 0 G D 6 4 : l 1 k F 4 a 1 t n S a v 0 - l 2 d 5 e i 1 0 . u E - 0 & 0 a r 4 E : W 2 8 : i l I A 1 v D 3 4 G : 0 . m . a 0 1 3 n r i r E u C ( | 1 " 2 | A W I 7 1 2 A l n o i t l . a a 3 H l c l m . i 9 4 e a e p l E H F b i d . - 3 u : 1 1 - e e F 0 4 E 0 : 1 0 P t 0 r : r a . 2 E 4 f o “ P s p u 6 0 1 W m g n o 2 G r G A i h t c r i r W r o a t e n . 8 3 1 W e M A s e 2 R s d l n l n i l c . a o t i n r c s l n l m S l s n o a . n n a k l t a r d e o i a f m m i t e e s c n l H p r a t H i t n e i e e 0 d c a e e 0 r a i e s i m a : F g d l t c F s i s a i a s A y e n 4 y k h i g i n c r 4 S h 4 0 n P a o m A a P i E d A M E 0 f : n m d a 1 A M 3 : 8 . m . t o m o t n n . a i s n . t r c n 0 i e o a a 3 : r d f m m i t e e c s i n r c n s p t a a e o i l l a 0 i r m m d 0 t e e s c f H 1 d s i l n l g s i l : g d n e 1 i a s a i a 4 i a a i a s l e - n ‘ k c k n y y F 0 i S h n i n 0 c S h 3 m a 0 A P m A a P 4 : M d 0 A : d A M 1 I E M i c h i g a n S t a t e U n i v e r s i t y P R I M A R Y C A R E F A C U L T Y D E V E L O P M E N T F E L L O W S H I P P R O G R A M F e b r u a r y 1 - 0 . 1 0 0 3 E 4 F e e H a l l 8 : 3 0 - 1 1 : 3 0 a . m . A p p r o a c h i n g t h e P r o b l e m T r a i n e e 9 : 4 5 - 1 2 : 1 5 p . m . P r e s e n t i n g a S c i e n t i f i c P a p e r i m p l e m e n t a t i o n a n d E v a l u a t i o n P l a n s P r e s e n t i n g S c i e n t i f i c P o s t e r s E 4 F e e H a l l 0 : 0 0 p . m . G r o u p D i n n e r E v a l u a t i o n ! D e b r i e t i n g A P P E N D I X C 2 8 5 y t . r . s i m s i i m e t e s r n m . i n n e t . e m e r M p a c a e n n p r o r . t d o d e . r n i 0 b e o p n e C m o 5 h e C e d e 0 e t v p A 0 i 1 c y r : h a A D C i o g 3 l n R 2 l a a d f n - o 3 t o : r r e 2 c u g : e / n U 1 e m e 5 a n u g a g t l - i o o g n G 1 s i r - v o t l 0 e 0 r e : G L n e a C e 0 y t 3 P D 2 u O R K : 1 l 2 e K s i V l l e K : 0 . m . p 5 1 d r . m s s a v E n o i t . a r e c t e m e n e . r . n r t i m a e d n o p a t n p l b 1 1 C m d e 0 e h u 0 o n o e : : y c 0 R p A C h P t 0 C 2 2 : e r r r g c o r l a a 1 - t a a g n o 4 P f ~ 5 o m o e u e g g t o s L s 0 1 n L i l v 3 e : y r e l E : R 2 P D e S 1 K 0 0 : g i n V 2 t i l l e K e K l i a H e i r W n a i c i s l i . m . a l s n 0 3 b o a i T s e e . m F . 6 1 0 y t h u s P o s p a L 2 0 s e : d E V 1 1 - 0 3 d n u c r - : n r n a c A 4 t u s 0 S m B i u E 0 E 1 : d E R D 4 : o 4 0 e i , D Y T L , 2 A a c - E U g . C . n i m m n w e n . m . l d n a s n o . a o a n 0 i . 3 t a 0 l c e n p o h . p a e m l u 3 0 : : F P 0 z L r 1 : 4 i e r e F E . a 1 - n 3 4 e 0 e i e : m r l 0 0 4 g e 3 3 r r 1 o n 1 F : E . D a a : O 0 C P 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . H e e F l l a H a t S R n P a g i P h c I i H M S W O L F T N E M P O A F - R A 3 C 0 Y 0 1 . R 1 1 e e F . m e c e i P c i n A . - . s m 7 m M s t . l . 6 . n e F I b o e a a 1 e 0 H n c n i e 1 m n i a 2 0 n a n i l 1 e e p o 6 . 5 i m 3 n t c . T - s 0 o 2 R u e : 4 s e a i p : s e A r t t i 2 - i P 3 u c F e n c 0 J e d s 1 4 u A - c e a 1 s n , - C m f 0 0 u s 4 n s r : l - . e 0 3 i o 5 4 S P 3 e 4 o E o a 0 : n D 4 : r E E R C 0 n : 0 , 2 P 2 1 . n o A i - E 2 - g E e R E 4 F e e H a l l E - 2 S E 4 F e e l - i a t l S e s s i o n 1 1 C o n f e r e n c e L e a d e r s h i p P r i n c i p l e s A P P E N D I X C 2 8 6 A P P E N D I X D C o n s e n t F o r m s 2 8 7 A P P E N D I X D C o n s e n t F o r m I a g r e e t o p a r t i c i p a t e i n t h i s q u a l i t a t i v e r e s e a r c h s t u d y o n n e e d s a s s e s s m e n t . I u n d e r s t a n d t h a t t h i s r e s e a r c h i s p a r t i a l f u l fi l l m e n t o f J o s e p h i n e C s e t e ' s d o c t o r a l d e g r e e f r o m t h e C o l l e g e o f E d u c a t i o n a t M i c h i g a n S t a t e U n i v e r s i t y . T h e p u r p o s e , p r o c e d u r e s a n d p o t e n t i a l r i s k s a n d b e n e fi t s h a v e b e e n e x p l a i n e d t o m e , a n d I u n d e r s t a n d t h a t I h a v e a g r e e d t o d o t h e f o l l o w i n g : 1 . A l l o w t h e r e s e a r c h e r t o o b s e r v e m e d u r i n g o n - c a m p u s s e s s i o n s o f t h e f e l l o w s h i p . 2 . A l l o w t h e r e s e a r c h e r t o c o l l e c t d o c u m e n t s g e n e r a t e d b y o r a b o u t m e f o r t h e f e l l o w s h i p . T h e s e i n c l u d e m y a p p l i c a t i o n m a t e r i a l s , w r i t t e n a s s i g n m e n t s , a n d c o p i e s o f w o r k s h o p e x e r c i s e s . 3 . A l l o w t h e r e s e a r c h e r t o c o l l e c t d a t a i n t h e f o r m o f i n f o r m a l a n d f o r m a l i n t e r v i e w s w i t h m e . 4 . P e r m i t t h e r e s e a r c h e r t o a u d i o t a p e f o r m a l i n t e r v i e w s a n d s e l e c t e d o b s e r v a t i o n p e r i o d s w i t h m y k n o w l e d g e . I a l s o u n d e r s t a n d t h a t : 1 . M y p a r t i c i p a t i o n i n t h i s s t u d y i s v o l u n t a r y a n d n o t r e q u i r e d f o r s u c c e s s f u l c o m p l e t i o n o f t h e f e l l o w s h i p . 2 . W i t h t h e e x c e p t i o n o f a l i m i t e d n u m b e r o f f o r m a l i n t e r v i e w s , m y p a r t i c i p a t i o n i n t h i s s t u d y i n v o l v e s l i t t l e o r n o e x t r a t i m e c o m m i t m e n t o n m y p a r t . 3 . A f t e r I h a v e h a d t h e o p p o r t u n i t y t o r e v i e w m y r e s u l t s o n t h e M y e r s - B r i g g s T y p e I n v e n t o r y , t h e r e s e a r c h e r w i l l b e r e q u e s t i n g m y w r i t t e n c o n s e n t t o u s e m y r e s u l t s a s d a t a i n t h e s t u d y . 4 . P o t e n t i a l b e n e fi t s t o m e f r o m p a r t i c i p a t i n g i n t h e p r o j e c t i n c l u d e t h e o p p o r t u n i t y t o g a i n i n s i g h t s i n t o m y o w n t h i n k i n g a n d p r a c t i c e a n d h o w t h e y i m p a c t t a s k s I u n d e r t a k e ( s p e c i fi c a l l y , n e e d s a s s e s s m e n t ) . A n d fi n a l l y , I u n d e r s t a n d t h a t : 1 . D a t a c o l l e c t e d w i l l b e u s e d i n M s . C s e t e ' s d i s s e r t a t i o n a n d m a y a l s o b e u s e d i n a r t i c l e s , p r e s e n t a t i o n s o r i n s t r u c t i o n . 2 . A l l d a t a c o l l e c t e d w i l l b e k e p t c o n fi d e n t i a l a n d r e p o r t e d w i t h o u t i n d i v i d u a l i d e n t i fi c a t i o n . 3 . I c a n c h o o s e n o t t o a n s w e r a n y q u e s t i o n o r d i s c o n t i n u e m y p a r t i c i p a t i o n i n t h e s t u d y a t a n y t i m e . S i g n a t u r e D a t e 2 8 8 A P P E N D I X D C o n s e n t F o r m I a g r e e t o p a r t i c i p a t e i n t h i s q u a l i t a t i v e r e s e a r c h s t u d y o n n e e d s a s s e s s m e n t . I u n d e r s t a n d t h a t t h i s r e s e a r c h i s p a r t i a l f u l fi l l m e n t o f J o s e p h i n e C s e t e ' s d o c t o r a l d e g r e e f r o m t h e C o l l e g e o f E d u c a t i o n a t M i c h i g a n S t a t e U n i v e r s i t y . T h e p u r p o s e , p r o c e d u r e s a n d p o t e n t i a l r i s k s a n d b e n e fi t s h a v e b e e n e x p l a i n e d t o m e , a n d I u n d e r s t a n d t h a t I h a v e a g r e e d t o d o t h e f o l l o w i n g : 1 . A l l o w t h e r e s e a r c h e r t o o b s e r v e m e d u r i n g o n - c a m p u s s e s s i o n s o f t h e f e l l o w s h i p . I a l s o u n d e r s t a n d t h a t : l . I a m n o t o n e o f t h e p r i m a r y s u b j e c t s ( w h o a r e i n t h e c u r r i c u l u m t r a c k o f t h e f e l l o w s h i p ) . M y p a r t i c i p a t i o n h a s b e e n r e q u e s t e d b e c a u s e m y i n t e r a c t i o n s w i t h t h e p r i m a r y s u b j e c t s c a n c o n t r i b u t e t o u n d e r s t a n d i n g t h e c o n t e x t o f t h e o b s e r v a t i o n s . 2 . M y p a r t i c i p a t i o n i n t h i s s t u d y i s v o l u n t a r y a n d n o t r e q u i r e d f o r s u c c e s s f u l c o m p l e t i o n o f t h e f e l l o w s h i p . 3 . M y p a r t i c i p a t i o n i n t h i s s t u d y i n v o l v e s l i t t l e o r n o e x t r a t i m e c o m m i t m e n t o n m y p a r t . 4 . I h a v e t h e r i g h t t o r e q u e s t a n y d a t a a l r e a d y r e c o r d e d a b o u t m e t o b e r e m o v e d f r o m t h e s t u d y ' s r e c o r d s . A n d fi n a l l y , I u n d e r s t a n d t h a t : 1 . D a t a c o l l e c t e d w i l l b e u s e d i n M s . C s e t e ' s d i s s e r t a t i o n a n d m a y a l s o b e u s e d i n a r t i c l e s , p r e s e n t a t i o n s o r i n s t r u c t i o n . 2 . A l l d a t a c o l l e c t e d w i l l b e k e p t c o n fi d e n t i a l a n d r e p o r t e d w i t h o u t i n d i v i d u a l i d e n t i fi c a t i o n . 3 . I c a n c h o o s e n o t t o a n s w e r a n y q u e s t i o n o r d i s c o n t i n u e m y p a r t i c i p a t i o n i n t h e s t u d y a t a n y t i m e . S i g n a t u r e D a t e 2 8 9 A P P E N D I X D C o n s e n t F o r m : U s e o f M B T I R e s u l t s I n S e p t e m b e r o f 1 9 9 2 I a g r e e d t o p a r t i c i p a t e i n J o s e p h i n e C s e t e ' s q u a l i t a t i v e r e s e a r c h s t u d y o n n e e d s a s s e s s m e n t . I h a v e h a d t h e o p p o r t u n i t y t o r e v i e w m y r e s u l t s o n t h e M y e r s - B r i g g s T y p e I n v e n t o r y . I u n d e r s t a n d t h a t , a s s h e h a d i n d i c a t e d a t t h e s t a r t o f t h e s t u d y , M s . C s e t e i s n o w r e q u e s t i n g m y w r i t t e n p e r m i s s i o n t o v i e w m y r e s u l t s o n t h e M y e r s - B r i g g s T y p e I n v e n t o r y , a n d m a y u s e m y r e s u l t s a s d a t a i n h e r s t u d y . I a l s o u n d e r s t a n d t h a t : 1 . M y p a r t i c i p a t i o n i n t h i s s t u d y i s v o l u n t a r y a n d n o t r e q u i r e d f o r s u c c e s s f u l c o m p l e t i o n o f t h e f e l l o w s h i p . 2 . D a t a c o l l e c t e d w i l l b e u s e d i n M s . C s e t e ' s d i s s e r t a t i o n a n d m a y a l s o b e u s e d i n a r t i c l e s , p r e s e n t a t i o n s o r i n s t r u c t i o n . 3 . A l l d a t a c o l l e c t e d w i l l b e k e p t c o n fi d e n t i a l a n d r e p o r t e d w i t h o u t i n d i v i d u a l i d e n t i fi c a t i o n . 4 . I c a n c h o o s e n o t t o a n s w e r a n y q u e s t i o n o r d i s c o n t i n u e m y p a r t i c i p a t i o n i n t h e s t u d y a t a n y t i m e . S i g n a t u r e D a t e 2 9 0 A P P E N D I X D C o n s e n t F o r m : U s e o f M B T I R e s u l t s I n N o v e m b e r o f 1 9 9 2 I a g r e e d t o p a r t i c i p a t e i n J o s e p h i n e C s e t e ' s q u a l i t a t i v e r e s e a r c h s t u d y o n n e e d s a s s e s s m e n t . I h a v e h a d t h e o p p o r t u n i t y t o r e v i e w m y r e s u l t s o n t h e M y e r s - B r i g g s T y p e I n v e n t o r y . I u n d e r s t a n d t h a t M s . C s e t e i s n o w r e q u e s t i n g m y w r i t t e n p e r m i s s i o n t o v i e w m y r e s u l t s o n t h e M y e r s - B r i g g s T y p e I n v e n t o r y , a n d m a y u s e m y r e s u l t s a s d a t a i n h e r s t u d y . I a l s o u n d e r s t a n d t h a t : 1 . M y p a r t i c i p a t i o n i n t h i s s t u d y i s v o l u n t a r y a n d n o t r e q u i r e d f o r s u c c e s s f u l c o m p l e t i o n o f t h e f e l l o w s h i p . 2 . D a t a c o l l e c t e d w i l l b e u s e d i n M s . C s e t e ' s d i s s e r t a t i o n a n d m a y a l s o b e u s e d i n a r t i c l e s , p r e s e n t a t i o n s o r i n s t r u c t i o n . 3 . A l l d a t a c o l l e c t e d w i l l b e k e p t c o n fi d e n t i a l a n d r e p o r t e d w i t h o u t i n d i v i d u a l i d e n t i fi c a t i o n . 4 . I c a n c h o o s e n o t t o a n s w e r a n y q u e s t i o n o r d i s c o n t i n u e m y p a r t i c i p a t i o n i n t h e s t u d y a t a n y t i m e . S i g n a t u r e D a t e A P P E N D I X E I n t e r v i e w G u i d e s \ , / 2 9 1 A P P E N D I X E T o : N a m e H e r e F r o m : J o s i e C s e t e P h o n e I n t e r v i e w a b o u t N e e d s A s s e s s m e n t D e a r N a m e , T h a n k s o n c e a g a i n f o r h e l p i n g m e o u t w i t h m y s t u d y o f N e e d s A s s e s s m e n t . O n t h e n e x t p a g e y o u w i l l f i n d t h e q u e s t i o n s y o u c a n t h i n k a b o u t a n d j o t a n s w e r s t o i n p r e p a r a t i o n f o r o u r p h o n e c o n v e r s a t i o n a t t i m e a n d d a t e . P l e a s e k e e p i n m i n d t h a t y o u r r e s p o n s e s w i l l r e m a i n c o n f i d e n t i a l , a n d y o u r h o n e s t a n d c a n d i d a n s w e r s w i l l g r e a t l y e n h a n c e t h e q u a l i t y o f t h e s t u d y ' s r e s u l t s a n d ( I h o p e ) t h e i m p l i c a t i o n s f o r h o w n e e d s a s s e s s m e n t i s t a u g h t a n d p r a c t i c e d i n t h e f u t u r e . C l T h i s i n t e r v i e w s h o u l d t a k e n o m o r e t h a n 3 0 m i n u t e s o f y o u r t i m e ( 1 5 - 2 0 m i n u t e s i s m o r e l i k e l y ) . C l I n o r d e r t o a v o i d “ c o n t a m i n a t i o n “ o f t h e s t u d y , I w i l l r e f r a i n f r o m m a k i n g s u g g e s t i o n s o r c o m m e n t s o n y o u r n e e d s a s s e s s m e n t d u r i n g t h e t i m e y o u a r e r e s p o n d i n g t o t h e q u e s t i o n s . D B u t , y o u m a y s o l i c i t m y t h o u g h t s o r a s s i s t a n c e a f t e r t h e i n t e r v i e w h a s b e e n c o m p l e t e d . I n a d d i t i o n t o h e l p i n g m e , I h o p e t h a t y o u r p a r t i c i p a t i o n a l s o p r o v i d e s y o u w i t h a n o p p o r t u n i t y f o r r e f l e c t i o n o n w h e r e y o u a r e a n d w a n t t o g o n e x t i n y o u r p r o j e c t . F e e l f r e e t o c o n t a c t m e i f y o u w o u l d l i k e m y a s s i s t a n c e w i t h y o u r n e e d s a s s e s s m e n t o r p r o j e c t . . . a f t e r a l l , I o w e y o u o n e ! I c a n b e r e a c h e d a t m y O M E R A D o f f i c e ( 5 1 7 ) 3 5 3 - 9 4 0 0 , o r a t h o m e ( 3 1 3 ) 2 2 9 - 8 4 5 7 . I ' l l b e t a l k i n g t o y o u s o o n , 2 9 2 A P P E N D I X E T h o u g h t s o n n e e d s a s s e s s m e n t . . . N a m e : N a m e , M D . D a t e : 1 . W h a t h a v e y o u d o n e s o f a r o n y o u r n e e d s a s s e s s m e n t ? ( t h o u g h t s , p l a n s m a d e , t e c h n i q u e s e m p l o y e d . . . i t w o u l d h e l p m e i f y o u p r e s e n t e d y o u r p o i n t s c h r o n o l o g i c a l l y ) 2 . W h y h a v e y o u d o n e t h e s e t h i n g s ? 3 . W h a t p r o b l e m s o r c o n c e r n s a r e y o u e x p e r i e n c i n g ? ( t e l l m e a b o u t t h o s e ' a l r e a d y r e s o l v e d , t h e o n e s h a p p e n i n g r i g h t n o w , s o m e y o u t h i n k m a y b e c o m i n g ) 4 . H a v e t h e r e b e e n a n y s u r p r i s e s o r c h a n g e s f r o m h o w y o u t h o u g h t t h i n g s w o u l d g o b a c k i n S e p t e m b e r ? 5 . W h a t h a v e y o u f o u n d o u t s o f a r ? ( i n c l u d e r e s u l t s o r c u r r e n t g u e s s e s a t w h a t t h e r e s u l t s m i g h t b e ) N o t e : Y o u n e e d n o t a n s w e r t h e s e q u e s t i o n s i n t h e g i v e n o r d e r . F o r e x a m p l e , y o u m a y w i s h t o c o m b i n e w h a t y o u h a v e d o n e a n d w h y ( q u e s t i o n s # 1 & # 2 ) w h e n y o u t e l l m e a b o u t t h e s t e p s y o u h a v e g o n e t h r o u g h s o f a r . y d u t s ? e r o f f o e b y t r i o l a ? g n i o u y g a q l o s i A N r u o c y o d e e c m a s n a h n x e a f w r e e i s r e t f v w w o r P w e o ) e h l e r s r e n b p a t t a n u l i , d o i e i b a c d g i a v n n n a a i a v r e t w v r c e d u . i a d n d v n i ! n o g n i n g i e t I t 0 t d y n r a m s n o e n o h P n s 3 s i y e e l e l a s e m n a t r e o e d a m d n e h r i o o w l h t e y s c s , n ' l w a r d e a c i p f o a t u ( o m i t s x u s a t t e h : v d e o r e y m y n e w e n h n l t e o b l d w o i m i e - u a m r fi t t o n t r t n o c o m s o n i p f t u o i f s o o e t n c g d s n k e f n d : I t s a n x o t n e n e n g o e n e w c n e o t h e o e m i i m o s t t a n m s t t e e i a : u t e c a l p t i / n e d r e r n d I n a t r f q v w r l o : s p w v f o o i u P r e e e m a r e o e e l n d v b r e e t m e t s e s a f t o n a n m s l b o y i o r b u i m x n e c a f c i n r l l o a o n t a t f l v m c e o u g t i e b t n c f m e l a e i i e m m y v n i e s l n m t x x p o u e l w r l t i d l e 0 a u e i i a n a a u n a e k r w w n h 3 t I a I i f f r o t r s a e p s t o n p e o i r t i l e d i m r fi n r o e u u P l R P G C l a c e : h : t T 2 1 1 . . c e P j E b T u . S S A ] e g a P _ : t c e j b u S n u m b e r / p l a c e t o c a l l : D a t e a n d T i m e o f C a l l : P h o n e # : A P P E N D I X E 2 9 3 2 e g a P : t c e j b u S n w o d w o l s o t ) y u a o d y e k m s d a e a s y t y l e l l e l k n o i t a a r e p ' o o c d b i p a r c i m l d o e c o d ' f i e r r e p p w u e o i y v , r g y n e n g a n i w m i e a t i m n h e e t l m l i n i t o y i s ? a i r d t r u c v n g e n t a n o f i r , a e e e e t a g e b s t o e m r l . o t t e n o a i b t u y i o e u t i i d t w n b x ( n a a s l e t d o e p r ? n w k a a y e h i l r e g u m i c o t t e o i g s e a r e f t e k n t e n l w a i t e r e r i fi g b d o u t o t k t n l a p s m l a a o n t n n p u p i a ' i i y ? c s o a t p n n ? s i u e r b m t p r t p f e b a o n s n s d n k , p e 0 o t l e g a e n t r 3 y s k n r n d o i n u a a h h a g i o d e r e fi i i ? t w h e x p n t p x : m i e k b e T t w B e t f f e t c t a o o a a , o b e v a s a e m o r l v o s t a ' e l u t d i y n d h i w o I h i t q n v d f l l g n t n T e I n s u u l e e : a e y f i i o o m e t . . h h ' h h o s r 1 g e w w n 5 I n I R 1 1 A T I I t s g t I A P i t E r T a . . t . . . B C S S A B C A P P E N D I X E 2 9 4 3 e g a P _ : t c e e s n o p s e i — F ? d g n e i ? s o ? k ? u d d n e i e h t o s d e r t t w q m s e ? i e t n a u y ? a s l t g n i i n s n r c n h r e a c u d n e e r n r a l o e r h u l p t s o w c p ? t u o b a v r e t t p n m I o e r P h t g n i o s t e c n u o d d n o C : I e u o y e v I a I s h o P p t E r ? a T u h a S P W f b u S r j # 1 t h o u g h t s ? A P P E N D I X E 2 9 5 4 e g a P : t c e j b u S ? d e n d ? r l e l a s a e a l b f o ? u u t t o o n n y y ? a a t t e e r o v v o n a a n p h h o m i i t t s r o p m i t a a s i w h h o e c o W W d H M P r o m p t R e s p o n s e I m p o s e # 2 W h y h a v e y o u d o n e t h e s e t h i n g s ? A P P E N D I X E 2 9 6 5 e g a P ? d e l e i v l o s f n i w e ? r a w y o d n s I a e r t s h g e n l i a r o Z u r p o s e P r o m p t R e s p o n s e # 3 W h a t r 0 I m s a r e y o u e n c o u n t e r i n g ? c o m i n g ? S u b j e c t : _ A P P E N D I X E 2 9 7 e s n o p s e R t p m o r P u o o g y d w ? l o u r o e h w b m m s r o g e o r n t f i p s h e e s t S s e t n g h i i r n g p k u a r c o u a h h s g b t ' P u r p o s e # 4 H a v e t h e r e b e e n a n y S u b j e c t : P a g e 6 A P P E N D I X E 2 9 8 e s n o p s e d n u o f u o y e ? e r v a f a s o h o t s a t p 5 h u # W g E _ : t c e j b u S P r o m p t r e s u n s ? c u r r e n t g u e s s e s ? P a g e ‘ 7 A P P E N D I X E 2 9 9 ? t n e p s e m i T ? w e ? t u o ? r a f o s A N r u o i s v y i r e t n m i u s u h t g n i y i n r h t i r a n o t n e p ? n i t s u r n c u o o u t p f e o c r A . . . . 0 u o y o y e y l e l v a 1 p N r e n t o a ? o e a i h w e e m m i i t t r p u o y l n o f i o t e t o n e r g y e d a c l a d h w h h c c i c r u u o t d s o m m l a w y w w u r a h w o h n o o o o H Y O T W H H 6 # N O I T S E _ : t c e j U b Q A . u S C o n fi d e n t i a l i t y , h o n e s t y i m p o r t a n t 1 0 = N A i s w o n d e r f u l , s h o u l d b e d o n e w h e n d e v e l o p i n g a l l c u r r i c u l a l = N A i s r i d i c u l o u s , o n l y d o i n g t h i s b e c a u s e a r e q u i r e d a s s i g n m e n t P a g e 8 A P P E N D I X E 3 0 0 e n r s s g n i n t e e m o i t u b p i n u o o r i s t c n a t s g r o e s r e i t s b n o c r u o y e t e m m e n a v i o i t a r c N e A o e p e r m N e i t r u n o r r p o p f a f t o e t n n e s s b , o e p , t y e m u n l s i a t h W o r a o g r p e r r a i e m r n g u e o f l c s n g t w p s a i h e u t s x r o a c e t l o u d E p i m u r d b y m e k s f e e A r i a N p r o n i s p a s a d n E I V k n R a s e E t h T N I t o , n w f e i i l v l H r a e c t f T n e i i G N I D e a U d m L u l y C c a N n m o O c C s i h : V I : P e E m o y k n h f c w a r b o f i a r e o m y : t i t a t s r l d o a n e r t s e r o r r e r y fi f t a o m u o r y o o t e e c g l r g u m a p n s l i n l e r o a u o B b C C y k n a h T 2 T 1 . . T i . . S T A B . D A n y q u e s t i o n s o r c o m m e n t s o n t h e i n t e r v i e w , o r a b o u t y o u r N A ? N e x t S t e p s c o u l d y o u b r i n g m e c o p i e s o f t h i n g s y o u d e v e l o p e d , l i k e s u r v e y s o r i n t e r v i e w q u e s t i o n s ? F i n i s h T i m e : S u b j e c t : P a g e 9 A P P E N D I X E 3 0 1 3 0 2 A P P E N D I X E F e b r u a r y S e s s i o n Q u e s t i o n s N a m e : D a t e : P l a c e / D u r a t i o n : 1 . D i d y o u d o a n y m o r e r e l a t e d t o N A a f t e r N o v e m b e r 2 ? I a s k a b o u t . . . . . . . . 2 . D o e s a n y t h i n g s t a n d o u t a s s o m e t h i n g y o u l e a r n e d f r o m N A ( r e s u l t s a n d / o r p r o c e s s ) ? n e w i d e a s ? c o n fi n n a fl o n s ? c h a n g e o f d i r e c t i o n ? 3 . D i d t h e N A i n f l u e n c e w h a t y o u d e c i d e d t o d o ? I f s o , i n w h a t w a y s ? I f n o t , w h y n o t ? 4 . W o u l d y o u d o a N A a g a i n ? U n d e r w h a t c o n d i t i o n s ? W h a t p a r t s ? 5 . W h a t i s y o u r e s t i m a t e o f y o u r l e v e l o f e f f o r t a . ) o n t h e N A ? b . ) c o m p a r e d w i t h f e l l o w s h i p ? 6 . C a n I U s e y o u r M B T I s c o r e ? A P P E N D I X F P e e r O b s e r v e r ' s D e s c r i p t i o n A P P E N D I X F C a r e F a c u l t y D e v e l o p m e n t F e l l o w s h i p P r o g r a m : O n e O b s e r v e r ' s D e s c r i p t i o n o f t h e P e o p l e a n d O r g a n i z a t i o n K a r e n L i e n h a r t 0 A p r i l 1 4 , 1 9 9 3 J o s i e C s e t e i n v i t e d m e t o h e l p r e a d e r s o f h e r d i s s e r t a t i o n t o u n d e r s t a n d t h e p e o p l e i n v o l v e d a n d t h e o r g a n i z a t i o n o f t h e P r i m a r y C a r e F a c u l t y D e v e l o p m e n t F e l l o w s h i p a n d , m o r e s p e c i fi c a l l y , t h e C u r r i c u l u m D e v e l o p m e n t ’ h ' a c k w i t h i n t h e f e l l o w s h i p p r o g r a m . S e v e r a l t h i n g s m a y h e l p o n e t o i n t e r p r e t m y o b s e r v a t i o n s : ( 1 ) I h a v e b e e n o n t h e f a c u l t y o f t h e f e l l o w s h i p p r o g r a m s i n c e D e c e m b e r 1 9 8 5 . A s a n a c a d e m i c s p e c i a l i s t i n I n s t r u c t i o n a l D e v e l o p m e n t , I t e a c h w o r k s h o p s o n d e s i g n / p r o d u c t i o n o f v i s u a l m a t e r i a l s f o r t e a c h i n g a n d r e s e a r c h p r e s e n t a t i o n s , a n d a s s i s t a s a s m a l l g r o u p f a c i l i t a t o r i n t e a c h i n g s k i l l s a n d o t h e r w o r k s h o p s . A s p a r t o f t h e f a c u l t y t e a m , I g e n e r a l l y p i t c h i n a n d " d o w h a t n e e d s t o b e d o n e " a s f a r a s r o o m s e t - u p a n d c l e a n - u p , r u n n i n g v i d e o c a m e r a s f o r f e l l o w s ' t e a c h i n g a n d o t h e r p r e s e n t a t i o n s . r u n n i n g t o t h e c o p y m a c h i n e f o r c o n s u l t a n t s , s e l l i n g p a r k i n g t o k e n s , e t c . ( 2 ) I h a v e b e e n i n v o l v e d i n d e s i g n , i m p l e m e n t a t i o n a n d o n g o i n g r e v i s i o n o f t h e C u r r i c u l u m D e v e l o p m e n t T r a c k s i n c e i t w a s fi r s t i n t r o d u c e d i n t h e 1 9 8 9 - 9 0 f e l l o w s h i p y e a r . I n S e p t e m b e r 1 9 9 1 , I b e c a m e D i r e c t o r o f t h e T r a c k . I n t h a t r o l e , I a m r e s p o n s i b l e f o r a s s u r i n g c l a r i t y a n d c o n s i s t e n c y i n o u r c o m m u n i c a t i o n s t o f e l l o w s : b r i n g i n g t o g e t h e r f a c u l t y t o m a k e d e c i s i o n s a b o u t o u r c u r r i c u l u m d e v e l o p m e n t m o d e l , p r o c e s s a n d w o r k s h o p s ; a n d a d d r e s s i n g f e l l o w s c o n c e r n s a n d s u g g e s t i o n s . W i t h a n o t h e r f a c u l t y m e m b e r , I s e r v e a s a m e n t o r f o r 3 - 4 f e l l o w s p e r y e a r . I d e v e l o p e d a n d h a v e t a u g h t t h e N e e d s A s s e s s m e n t w o r k s h o p i n t h e T r a c k s i n c e 1 9 8 9 . ( 3 ) M y M a s t e r ' s d e g r e e i s i n A d u l t E d u c a t i o n , s o I t e n d t o h a v e a l e a r n e r - c e n t e r e d f o c u s o n e d u c a t i o n a n d i n s t r u c t i o n a l d e v e l o p m e n t . ( 4 ) A s a M a s t e r ' s l e v e l A c a d e m i c S p e c i a l i s t , I c o n s i d e r m y s e l f t o b e ( e v e n a f t e r 7 y e a r s ) a " j u n i o r " f a c u l t y m e m b e r a l o n g w i t h o u r g r a d u a t e a s s i s t a n t f a c u l t y . I d o n ' t s e n s e o r i n t e n d t o c o m m u n i c a t e h e r e a n y s t i g m a b e i n g a t t a c h e d t o m y p o s i t i o n . M y c o l l e a g u e s h e r e s e e m t o u n d e r s t a n d m y p e r s o n a l d e c i s i o n t o 3 0 3 3 0 4 A P P E N D I X F n o t p u r s u e a d o c t o r a l d e g r e e , d e s p i t e t h e f a c t t h a t a p r o g r e s s i v e a c a d e m i c c a r e e r i n m e d i c a l e d u c a t i o n w o u l d r e q u i r e a P h . D . a n d m o r e s c h o l a r l y / r e s e a r c h a c t i v i t y . I ' m c o m f o r t a b l e h e r e a n d e n j o y a n u m b e r o f a d v a n t a g e s : ( 1 ) t h e f r i e n d l y , t e a m - o r i e n t e d e n v i r o n m e n t ; ( 2 ) t h e fl e x i b i l i t y I ' m g i v e n a s a m o t h e r w i t h s m a l l c h i l d r e n : ( 3 ) t h e f r e e d o m t o b e c o m e i n v o l v e d i n a v a r i e t y o f i n s t r u c t i o n a l d e s i g n a n d m a t e r i a l s d e v e l o p m e n t p r o j e c t s h e r e i n t h e c o l l e g e a n d a s a c o n s u l t a n t : a n d ( 4 ) t h e c h a n c e t o k e e p l e a r n i n g b y d o i n g i n s t r u c t i o n a l d e s i g n , a n d l e a r n e r a n d p r o g r a m e v a l u a t i o n w i t h c o l l e a g u e s f r o m v a r i e d b a c k g r o u n d s a n d d i s c i p l i n e s . T h e s t r u c t u r e o f m y o b s e r v a t i o n s w i l l b e : — W h o a r e t h e F e l l o w s ? - W h a t i s l i f e l i k e f o r t h e F e l l o w s ? - C u r r i c u l u m T r a c k F e l l o w s - F e l l o w s h i p F a c u l t y 8 : R e l a t i o n s h i p s w i t h F e l l o w s W h o a r e t h e F e l l o w s ? T h e p o s t - d o c t o r a l f e l l o w s i n t h e P r i m a r y C a r e F a c u l t y D e v e l o p m e n t F e l l o w s h i p p r o g r a m a r e g e n e r a l i n t e r n i s t s . g e n e r a l p e d i a t r i c i a n s a n d f a m i l y p h y s i c i a n s w h o a r e n e w f a c u l t y m e m b e r s i n m e d i c a l s c h o o l d e p a r t m e n t s a n d r e s i d e n c y p r o g r a m s t h r o u g h o u t t h e U n i t e d S t a t e s a n d P u e r t o R i c o . O u r p r o g r a m i s t h e o n l y p o s t - d o c t o r a l t r a i n i n g p r o g r a m w e k n o w o f w i t h a " p r i m a r y c a r e " e m p h a s i s , p u t t i n g t o g e t h e r t r a i n e e s f r o m t h e t h r e e d i f f e r e n t s p e c i a l t i e s . W e b e g a n t h i s a p p r o a c h i n 1 9 8 6 . ( P r i o r t o t h e n , t h e F a m i l y M e d i c i n e F a c u l t y D e v e l o p m e n t F e l l o w s h i p P r o g r a m h a d b e e n f u n d e d s i n c e 1 9 7 8 ; t h e f e l l o w s h i p s t r u c t u r e w a s w e l l d e v e l o p e d a n d f a c u l t y / s t a f f i n p l a c e t o d e l i v e r i t . I n 1 9 8 5 , f u n d i n g w a s r e c e i v e d t o d o a v e r y s i m i l a r p r o g r a m f o r a c a d e m i c g e n e r a l i n t e r n i s t s a n d g e n e r a l p e d i a t r i c i a n s . ) I n t h e p l a n n i n g m e e t i n g w h e r e i t w a s d e c i d e d t o r u n t h e t w o p r o g r a m s t o g e t h e r , i t w a s i n t e r e s t i n g t o h e a r o u r p h y s i c i a n f a c u l t y ' s i d e a s a b o u t w h e t h e r o r n o t i t w o u l d w o r k . T h e t w o f a m i l y p h y s i c i a n s , t w o i n t e r n i s t s a n d o n e p e d i a t r i c i a n i n t h e r o o m s e e m e d t o c o m e t o t h e c o n c l u s i o n t h a t , a s " g e n e r a l i s t s " a n d " g a t e k e e p e r " s p e c i a l i s t s i n t h e h e a l t h c a r e s y s t e m . t h e t h r e e s p e c i a l t i e s h a v e m u c h i n c o m m o n : " W e ' r e a l l e q u a l l y t h e l o w - f o l k s o n t h e t o t e m p o l e . " A s m e d i c a l s c h o o l f a c u l t y t h e y s h a r e m a n y o f t h e s a m e c o n c e r n s , s u c h a s p o o r v i s i b i l i t y a n d / o r c r e d i b i l i t y d u e t o 3 0 5 A P P E N D I X F l a c k o f s t r o n g r e s e a r c h b a s e s i n t h e g e n e r a l s p e c i a l t i e s ; f u n d i n g i s s u e s d u e t o l a c k o f i n c o m e f r o m a d v a n c e d p r o c e d u r e s ( l i k e t h o s e o f s u r g e r y , r a d i o l o g y o r c a r d i o l o g y , f o r e x a m p l e ) ; t h e n e e d f o r a n d d e s i r e o f c l i n i c a l f a c u l t y t o s p e n d t h e i r t i m e s e e i n g p a t i e n t s a n d t e a c h i n g s t u d e n t s / r e s i d e n t s . i n s t e a d o f p u r s u i n g s c h o l a r l y a c t i v i t i e s t h a t w o u l d l e a d t o p r o m o t i o n a n d t e n u r e w i t h i n u n i v e r s i t y s y s t e m s . S e v e n g r o u p s o f " p r i m a r y c a r e " f e l l o w s h a v e n o w c o m e t o g e t h e r , a n d t h e y s e e m t o h a v e d r a w n t h e s a m e c o n c l u s i o n s a s o u r p h y s i c i a n f a c u l t y d i d i n 1 9 8 6 . T h e t h r e e s p e c i a l t i e s h a v e a l o t i n c o m m o n . O u r o n l y p r o b l e m s h a v e b e e n w i t h p e d i a t r i c i a n s f e e l i n g s l i g h t e d w h e n t h e r e w e r e " n o t e n o u g h p e d i a t r i c e x a m p l e s " u s e d i n w o r k s h o p s : a n d a m i s m a t c h w h e n o u r p e d i a t r i c i a n f a c u l t y m e m b e r t r i e d t o m e n t o r a f e l l o w d o i n g g e r i a t r i c s r e s e a r c h . T h e f e l l o w s w o r k a s f u l l - t i m e f a c u l t y m e m b e r s i n m e d i c a l s c h o o l d e p a r t m e n t s , t e a c h i n g s t u d e n t s a n d r e s i d e n t s i n a v a r i e t y o f m o d e s : a s l e c t u r e r s o r d i s c u s s i o n l e a d e r s i n c o u r s e s o r c o n f e r e n c e s e r i e s : a s c l i n i c a l p r e c e p t o r s d o i n g o n e - o n - o n e t e a c h i n g w i t h i n d i v i d u a l l e a r n e r s i n t h e i r c l i n i c s : a s w a r d a t t e n d i n g s i n h o s p i t a l s e t t i n g s w h e r e t h e y s u p e r v i s e l e a r n e r s a n d l e a d r o u n d s a n d m o r n i n g r e p o r t s e s s i o n s . I n a d d i t i o n t o t e a c h i n g , t h e i r p o s i t i o n s u s u a l l y r e q u i r e t h e m t o d e v e l o p c o u r s e s a n d c l i n i c a l l e a r n i n g e x p e r i e n c e s s u c h a s c l e r k s h i p s o r r o t a t i o n s . T h e y a l s o s e r v e o n d e p a r t m e n t a n d c o l l e g e c o m m i t t e e s , a r e o f t e n e x p e c t e d t o " d o r e s e a r c h " ( e s p e c i a l l y i f t h e y a r e i n i n t e r n a l m e d i c i n e o r p e d i a t r i c s ) , a n d a r e c o m m i t t e d t o h e a v y c l i n i c l o a d s — s e e i n g p a t i e n t s a n d b r i n g i n g i n c l i n i c a l f e e s f o r t h e i r d e p a r t m e n t s . T h o u g h i t h a s b e e n a r e c o g n i z e d c o m p o n e n t o f f a m i l y m e d i c i n e s i n c e t h a t s p e c i a l t y w a s f o u n d e d i n t h e l a t e ' 6 0 ' s , t h e c o n c e p t o f " f a c u l t y d e v e l o p m e n t " i n m e d i c i n e i s s t i l l r e l a t i v e l y n e w . L i k e o t h e r p r o f e s s i o n a l s , p h y s i c i a n s h a v e h a d a t r a d i t i o n o f l e a r n i n g s k i l l s b y w a t c h i n g o t h e r p h y s i c i a n s . a n d t e a c h i n g a n d r e s e a r c h s k i l l s t y p i c a l l y f a l l i n t o t h i s c a t e g o r y . T h e r e h a s a l s o b e e n a p h i l o s o p h y t h a t " I h a d t o s u f f e r s o y o u c a n t o o , " w h i c h h a s s l o w e d d o w n c h a n g e i n m e d i c a l e d u c a t i o n . I n a d d i t i o n , t h e r e i s a n a t t i t u d e o f s o m e p h y s i c i a n s t h a t " o n l y a n o t h e r p h y s i c i a n c a n t e a c h m e a n y t h i n g . " T h i s a t t i t u d e t e n d s t o b e m o r e p r e v a l e n t a m o n g g e n e r a l i n t e r n i s t s a n d p e d i a t r i c i a n s , b u t c a n s t i l l b e d i s c o v e r e d a m o n g f a m i l y p h y s i c i a n s , e v e n t h o u g h t h e s p e c i a l t y p r i d e s i t s e l f o n b e i n g t h e i n t e r d i s c i p l i n a r y t e a m p l a y e r s o f m e d i c i n e . 3 0 6 A P P E N D I X F O t h e r f e l l o w s h i p s d o e x i s t , b u t t h e y a r e d i f f e r e n t f r o m o u r s . R e s e a r c h o r s u b s p e c i a l t y f e l l o w s h i p s ( f o r e x a m p l e , G e r i a t r i c s o r S p o r t s M e d i c i n e f e l l o w s h i p s i n F a m i l y M e d i c i n e ) g e n e r a l l y r e q u i r e a f e l l o w t o m o v e t o a l o c a t i o n f o r a y e a r o r t w o . W h i l e t h e r e , t h e f e l l o w t e a c h e s . s e e s p a t i e n t s , a n d l e a r n s t o d o r e s e a r c h b y b e i n g m e n t o r e d b y s e n i o r f a c u l t y . O u r " s h o r t - t e r m " f e l l o w s h i p m o d e l i s u n i q u e i n t h a t t h e f e l l o w s r e m a i n i n t h e i r c u r r e n t p o s i t i o n s a n d c o m e h e r e f o r o n l y 5 w e e k s . O u r w o r k s h o p s e s s i o n s a r e a l s o d i f f e r e n t ; i n d e e d , s o m e f e l l o w s h i p p r o g r a m s s e n d t h e i r f e l l o w s h e r e f o r m o r e s t r u c t u r e d t r a i n i n g i n t h e v a r i o u s a c a d e m i c s k i l l s . F e l l o w s a r e p a i d a s t i p e n d o f $ 7 0 5 0 ( 1 9 9 2 - 9 3 ) t o a t t e n d t h e f e l l o w s h i p p r o g r a m . T h r e e s t i p e n d c h e c k s a r e d i s t r i b u t e d a t t h e e n d o f t h e S e p t e m b e r , F e b r u a r y a n d J u n e s e s s i o n s . T h i s s t i p e n d i s p a i d t h r o u g h o u r P u b l i c H e a l t h S e r v i c e g r a n t : s u c h s u p p o r t i s t y p i c a l f o r p o s t d o c t o r a l f e l l o w s h i p p r o g r a m s o f t h i s s o r t . M y p e r s p e c t i v e o n t h e f e l l o w s i s t h a t . t o b e c o m e p h y s i c i a n s . t h e s e p e o p l e h a v e a l l b e e n s u c c e s s f u l i n s c h o o l e n v i r o n m e n t s t h r o u g h o u t t h e i r l i v e s . I t e n d t o p e r c e i v e o u r f e l l o w s a s b e i n g e v e n m o r e s u c c e s s f u l a n d c o m f o r t a b l e w i t h t r a d i t i o n a l l e a r n i n g s i t u a t i o n s , b y v i r t u e o f t h e f a c t t h a t t h e y h a v e b e e n i n v i t e d t o s t a y o n ( o f t e n i n p r o g r a m s t h e y h a v e g r a d u a t e d f r o m ) a n d h a v e c h o s e n t o s t a y a n d p u r s u e c a r e e r s i n a c a d e m i c m e d i c i n e . W h a t i s l i f e l i k e f o r t h e F e l l o w s ? T h e f e l l o w s c o m e t o t h e c a m p u s f o r a t o t a l o f f i v e w e e k s d u r i n g t h e a c a d e m i c y e a r ( 2 w e e k s i n S e p t e m b e r , a n d 1 w e e k e a c h i n N o v e m b e r , F e b r u a r y a n d J u n e ) . A t t h e i r h o m e i n s t i t u t i o n s . t h e i r w o r k l i f e g o e s o n a s d e s c r i b e d a b o v e , b u t i n a d d i t i o n t h e y m u s t c o m p l e t e f e l l o w s h i p r e a d i n g a n d o t h e r a s s i g n m e n t s , a n d c o m p l e t e t h e i r M a j o r P r o j e c t — r e s e a r c h , c u r r i c u l u m d e v e l o p m e n t , o r p r e p a r a t i o n o f a p r o p o s a l f o r e i t h e r a r e s e a r c h o r a t r a i n i n g g r a n t . F o r a l l f e l l o w s , i t i s a h e c t i c a n d s t r e s s f u l y e a r . I t a m a z e s m e t h a t s o m e f e l l o w s m a n a g e t o d o a l l t h i s w h i l e t h e y h a v e b a b i e s , r a i s e c h i l d r e n , g e t p r o m o t i o n s t o p o s i t i o n s w i t h m o r e r e s p o n s i b i l i t y , c o n t i n u e t o c a r e f o r t h e i r p a t i e n t s , g o t h r o u g h d r a s t i c o r g a n i z a t i o n a l c h a n g e s i n t h e i r d e p a r t m e n t s , a n d o t h e r t y p i c a l l i f e e v e n t s . S o m e t i m e s I s e e t h e s e f o l k s a s c r a z y ; b u t g e n e r a l l y I h a v e a g r e a t d e a l o f r e s p e c t f o r w h a t t h e y h a v e c h o s e n t o d o w i t h t h e i r l i v e s . 3 0 7 A P P E N D I X F F e l l o w s a n d t h e i r s u p e r v i s o r s ( d e p a r t m e n t c h a i r s o r d i r e c t o r s o f t h e i r c l i n i c s o r p r o g r a m s ) s i g n t w o f o r m s , a n a c c e p t a n c e o f t h e f e l l o w s h i p a p p o i n t m e n t a n d a M a j o r P r o j e c t C o n t r a c t f o r m , b o t h o f w h i c h s p e l l o u t o u r e x p e c t a t i o n s f o r t h e f e l l o w s ' w o r k d u r i n g t h e y e a r - l o n g p r o g r a m . W e s t r o n g l y r e c o m m e n d ( a n d s t a t e i n t h e f o r m s ) t h a t f e l l o w s b e a l l o w e d 1 0 - 2 0 % r e l e a s e t i m e t o w o r k o n t h e i r m a j o r p r o j e c t s d u r i n g t h e f e l l o w s h i p y e a r , i n a d d i t i o n t o t h e 5 w e e k s t h e y a r e o n c a m p u s . F o r s o m e f e l l o w s . t h i s r e l e a s e t i m e i s e a s i e r t o t a l k a b o u t t h a n a c t u a l l y g e t . W h i l e o n c a m p u s , e a c h g r o u p o f f e l l o w s d e v e l o p s a u n i q u e g r o u p d y n a m i c . I n s o m e g r o u p s , o n e o r t w o l e a d e r s e m e r g e . I n o t h e r s . v a r i o u s s u b - g r o u p s w i l l f o r m . S o m e t i m e s , " o u t l i e r s " w h o s e e m i n g l y h a v e n o t h i n g i n c o m m o n w i l l c o m e t o g e t h e r b e c a u s e t h e o t h e r f e l l o w s p r e t t y m u c h s t e e r c l e a r o f t h e m . I n g e n e r a l , I w o u l d d e s c r i b e t h e " o u t l i e r " f e l l o w s a s i n d i v i d u a l s w h o a r e a b r a s i v e i n t h e c l a s s r o o m s e t t i n g a s w e l l a s i n s o c i a l s e t t i n g s a n d i n f o r m a l c o n v e r s a t i o n s . B e h a v i o r s w o u l d i n c l u d e m o n o p o l i z i n g d i s c u s s i o n s o r c o n v e r s a t i o n , v e r b a l l y a t t a c k i n g p r e s e n t e r s a n d o t h e r f e l l o w s i n w o r k s h o p s . o r n o t b e i n g o p e n t o n e w i d e a s o r o t h e r p e r s p e c t i v e s . W e s e e m t o g e t a t l e a s t o n e f e l l o w l i k e t h i s e v e r y y e a r . M o s t c u r r e n t f e l l o w s a n d g r a d u a t e s o f t h e p r o g r a m s e e t h e f e l l o w s h i p a s a n o p p o r t u n i t y t o f o r m l o n g - t e r m c o l l e g i a l r e l a t i o n s h i p s a n d f r i e n d s h i p s w i t h p e O p l e s i m i l a r t o t h e m s e l v e s . T h e c h a n c e t o i n t e r a c t w i t h p h y s i c i a n s f r o m s i m i l a r e n v i r o n m e n t s a n d w i t h s i m i l a r i n t e r e s t s i s o n e o f t h e m o s t s i g n i f i c a n t b e n e fi t s o f p a r t i c i p a t i n g i n t h e p r o g r a m . F e l l o w s f r o m o u t o f t o w n s t a y i n b l o c k s o f r o o m s a t a l o c a l h o t e l . A f t e r t h e f i r s t s e s s i o n , f e l l o w s u s u a l l y c h o o s e a n o t h e r f e l l o w o r t w o t o s h a r e a s u i t e w i t h . I t u s e d t o b e t h a t t h e f e l l o w s w o u l d g o o u t f o r d i n n e r m o s t e v e n i n g s a s a l a r g e g r o u p , b u t t h i s h a s c h a n g e d s o m e w h a t b e c a u s e t h e h o t e l s u i t e s h a v e k i t c h e n s s o f e l l o w s c a n d o t h e i r o w n c o o k i n g . I t s e e m s t h a t s o m e o f t h e m o r e p r i v a t e f e l l o w s d o t h e i r o w n d i n n e r t o a v o i d t h e l a r g e c r o w d o u t s i d e o f t h e f e l l o w s h i p s e s s i o n s . I t s e e m s t h a t t h i s y e a r ' s g r o u p w a s d i v i d e d b y " e x e r c i s e r s " w h o w a n t e d t o w o r k o u t a f t e r t h e s e s s i o n s a n d " e a t e r s " w h o w a n t e d t o g o f o r e a r l y d i n n e r . S o c i a l s u b - g r o u p s m a y h a v e f o r m e d p a r t i a l l y a l o n g t h e s e l i n e s ( e . g . , t h e s w i m m e r s , t h e r u n n e r s , t h e t e n n i s p l a y e r s ) . 3 0 8 A P P E N D I X F E a c h y e a r w e h a v e o n e o r t w o l o c a l f e l l o w s — f a c u l t y f r o m t h e d e p a r t m e n t s o f F a m i l y P r a c t i c e , I n t e r n a l M e d i c i n e , P e d i a t r i c s , a s w e l l a s S u r g e r y a n d O B / G y n i n r e c e n t y e a r s . I t i s m o r e d i f f i c u l t f o r t h e s e l o c a l f e l l o w s t o c o n n e c t w i t h t h e o t h e r f e l l o w s a s t h e y h a v e o n g o i n g c o m m i t m e n t s b o t h a t h o m e w i t h t h e i r f a m i l i e s a n d u s u a l l y w i t h p a t i e n t s a n d o t h e r w o r k - r e l a t e d i s s u e s . L o c a l f e l l o w s a r e n o t a l l o w e d t o h a v e b e e p e r s w i t h t h e m d u r i n g f e l l o w s h i p s e s s i o n s . H o w e v e r , t h e y d o r e c e i v e m e s s a g e s t h r o u g h o u r p r o g r a m s e c r e t a r y a n d w i l l o f t e n b e o n t h e t e l e p h o n e d u r i n g w o r k s h o p b r e a k s a n d l u n c h - h o u r s . F e l l o w s s p e n d m o s t o f t h e i r d a y s i n E - 4 , a n i c e t r a i n i n g r o o m [ b u t ] i n t h e b a s e m e n t o f t h e b u i l d i n g . D u r i n g t h e w o r k s h o p s , t h e b r e a k o u t g r o u p s w i l l m e e t i n o t h e r c l a s s r o o m s i n t h e b a s e m e n t , o r i n t w o c o n f e r e n c e r o o m s o n t h e s e c o n d fl o o r . F e l l o w s a l s o m a k e u s e o f c o m p u t e r s i n a c e n t e r o n t h e fi r s t fl o o r o r i n f a c u l t y o f f i c e s , a s w e l l a s t h e m e d i c a l e d u c a t i o n l i b r a r y a n d c o p y m a c h i n e s . T h e G r i l l i s n e x t - d o o r t o E - 4 , s o f e l l o w s c a n g e t s a n d w i c h e s f o r q u i c k l u n c h e s o r t h e y g o o u t i n g r o u p s t o n e a r b y r e s t a u r a n t s . L u n c h t i m e s a r e u s u a l l y s c h e d u l e d f r o m 1 1 : 3 0 - 1 : 3 0 . B r e a k o u t g r o u p s i n t h e w o r k s h o p s a r e a l m o s t a l w a y s a s s i g n e d a h e a d o f t i m e b y o u r F e l l o w s h i p A d m i n i s t r a t i v e A s s i s t a n t . T h e a d m i n i s t r a t o r u s u a l l y p r o v i d e s a h a n d o u t p a g e w i t h n a m e s o f t h e s m a l l g r o u p m e m b e r s , f a c u l t y f a c i l i t a t o r s a n d t h e r o o m s w h e r e t h e y w i l l g o . T h e a d m i n i s t r a t o r s e e m s t o d o t h i s w i t h s o m e s e n s e f o r v a r i e t y , m i x i n g t h e t h r e e s p e c i a l t i e s , b r e a k i n g u p c l i q u e s , a s s i g n i n g f e l l o w s t o f a c i l i t a t o r s o t h e r t h a n t h e i r M a j o r P r o j e c t m e n t o r s . T h i s p r a c t i c e s u r p r i s e d m e w h e n I f i r s t c a m e h e r e . I t s e e m e d o d d t h a t t h e w o r k s h o p i n s t r u c t o r w o u l d n ' t j u s t d i v i d e p e o p l e i n t o s m a l l g r o u p s o n t h e s p o t , a n d t h a t t h e r e w a s a n e e d f o r a f a c i l i t a t o r t o h e l p e a c h s m a l l g r o u p a c c o m p l i s h t h e i r t a s k s a n d a s s u r e f l o w o f t h e d i s c u s s i o n . I ' v e s i n c e d i s c o v e r e d t h a t t h e f e l l o w s p r o b a b l y w o u l d n ' t p u t t h e m s e l v e s i n t o g r o u p s w i t h a v a r i e t y o f d i f f e r e n t f e l l o w s . I d o n ' t k n o w i f i t ' s r e l a t e d o r n o t . b u t t h r o u g h o u t t h e f e l l o w s h i p w e e k , f e l l o w s s e e m t o s i t i n t h e s a m e l o c a t i o n s t h e y s e l e c t e d o n M o n d a y m o r n i n g . Y e a r s a g o , I h e a r d , o u r d i r e c t o r s w i t c h e d n a m e t e n t s o n a g r o u p o f f e l l o w s m i d - w e e k , p r o b a b l y d u r i n g t h e F e b r u a r y s e s s i o n . M o s t t h e f e l l o w s s i m p l y p i c k e d u p t h e i r n a m e t e n t s a n d m o v e d t h e m b a c k t o t h e i r c u s t o m a r y p l a c e i n t h e o p e n - U . 3 0 9 A P P E N D I X F T h e s c h e d u l e d u r i n g t h e f e l l o w s h i p w e e k s i s p a c k e d , e s p e c i a l l y i n r e c e n t y e a r s w i t h t h e o p t i o n a l C o m p u t e r C o m p e t e n c y s e s s i o n s t h a t f e l l o w s c a n s i g n u p f o r a n d a t t e n d e a r l y m o r n i n g , d u r i n g l u n c h t i m e o r l a t e a f t e r n o o n . F e l l o w s a l s o h a v e t o s q u e e z e i n t i m e s t o m e e t i n d i v i d u a l l y w i t h t h e i r M a j o r P r o j e c t m e n t o r f a c u l t y , a s w e l l a s o t h e r f a c u l t y w i t h t h e f e l l o w s h i p a n d / o r o t h e r f a c u l t y i n t h e c o l l e g e w i t h s i m i l a r i n t e r e s t s . I t h a s b e c o m e a c o n c e r n t h a t f e l l o w s n e e d m o r e t i m e d u r i n g t h e f e l l o w s h i p w e e k s t o r e fl e c t o n t h e i r l e a r n i n g d u r i n g t h e w o r k s h o p s a n d s i m p l y r e l a x a n d i n t e r a c t w i t h t h e i r f e l l o w f e l l o w s . C u r r i c u l u m T r a c k F e l l o w s T h e o p t i o n o f d o i n g a n i n s t r u c t i o n a l d e s i g n p r o j e c t f o r t h e f e l l o w s h i p M a j o r P r o j e c t r e q u i r e m e n t w a s a v a i l a b l e t o f e l l o w s w h e n I fi r s t j o i n e d t h e p r o g r a m i n 1 9 8 5 . O n e F a m i l y P r a c t i c e f e l l o w w a s d e v e l o p i n g a g e r i a t r i c s r o t a t i o n f o r r e s i d e n t s , w h i c h I h e l p e d r e v i e w w h e n I f i r s t c a m e h e r e . A t t h a t t i m e , o u r A s s i s t a n t D i r e c t o r h a d o b t a i n e d a c o n t r a c t w i t h t h e D i v i s i o n o f M e d i c i n e , P u b l i c H e a l t h S e r v i c e t o d e v e l o p a m o d e l c u r r i c u l u m f o r t e a c h i n g r e s e a r c h t o g e n e r a l i n t e r n i s t s a n d g e n e r a l p e d i a t r i c i a n s . M o s t c o m p o n e n t s o f t h a t m o d e l c u r r i c u l u m w e r e p i l o t e d , i m p r o v e d a n d i m p l e m e n t e d i n t h e f e l l o w s h i p p r o g r a m . W i t h t h e s t r e n g t h e n i n g o f t h e r e s e a r c h t r a i n i n g c o m p o n e n t o f t h e p r o g r a m , m a n y f e l l o w s w h o c a m e i n w i t h a f o c u s o n t e a c h i n g / i n s t r u c t i o n e i t h e r a b a n d o n e d t h e i d e a o f d o i n g i n s t r u c t i o n a l d e v e l o p m e n t o r f o u n d w a y s t o m a k e t h e i r M a j o r P r o j e c t s " r e s e a r c h " p r o j e c t s . b y d o i n g n e e d s a s s e s s m e n t t y p e s u r v e y s o r e v a l u a t i n g i n s t r u c t i o n a l i n t e r v e n t i o n s . W e s e e m e d t o h a v e a l o t o f f e l l o w s c o m p l e t e r e s e a r c h p r o j e c t s h a v i n g l e a r n e d o r v e r i f i e d t h a t t h e y " w o u l d n e v e r d o r e s e a r c h a g a i n . " ( I o n c e t r i e d t o p r e s e n t t h i s a s a p o s i t i v e r e s u l t o f t h e r e s e a r c h c u r r i c u l u m i n a p o s t e r p r e s e n t a t i o n a t a n a t i o n a l m e e t i n g ; u n d e r s t a n d a b l y , m y c o l l e a g u e s c o n v i n c e d m e t h a t t h i s w o u l d n o t b e c o n s i d e r e d a p o s i t i v e r e s u l t o f t h e r e s e a r c h c u r r i c u l u m . ) A n y w a y , i t w a s o b v i o u s t h a t t h e r e w a s a s e l e c t i o n p r o b l e m . A c a d e m i c p r i m a r y c a r e p h y s i c i a n s . p a r t i c u l a r l y t h o s e w h o w o r k a s f a c u l t y i n c o m m u n i t y b a s e d r e s i d e n c y p r o g r a m s w i t h n o s t r o n g l i n k a g e s t o u n i v e r s i t y m e d i c a l s c h o o l d e p a r t m e n t s o r r e q u i r e m e n t s f o r r e s e a r c h p r o d u c t i v i t y , n e e d e d t o d o p r o j e c t s w h i c h w o u l d b e m o r e a p p r o p r i a t e f o r t h e i r 3 l 0 A P P E N D I X F c u r r e n t a n d f u t u r e c a r e e r s . T h e C u r r i c u l u m T r a c k w a s d e v e l o p e d i n r e s p o n s e t o t h i s n e e d . I n t h e fi r s t t h r e e y e a r s , t w e n t y - t w o f e l l o w s c o m p l e t e d t h e C u r r i c u l u m T r a c k . T h e f o l l o w i n g t a b l e s h o w s w h a t s p e c i a l t i e s a n d s i t e s t h e y c a m e f r o m . F e l l o w s h i p C u r r i c u l u m Y e a r F e l l o w s S p e c i a l t i e s S i t e s 2 - P e d i a t r l c s r e s i d e n c y 6 - U n i v e r s i t y - b a s e d 2 — l n t e m a l M e d i c i n e r e s i d e n c y 3 - U n d e r g r a d u a t e 1 9 9 1 5 3 - F a m i l y M e d i c i n e 3 - C o m m u n i t y - b a s e d 2 — P e d i a t r i c s T C S i a n C Y 2 - U n d e r g r a d u a t e 1 9 9 2 6 4 — F a m i l y M e d i c i n e 2 - C o m m u n i t y - b a s e d 2 — I n t e m a l M e d i c i n e r e s i d e n c y 1 — U n i v e r s i t y - b a s e d r e s i d e n c y 3 - U n d e r g r a d u a t e T o t a l s 2 2 1 4 — F a m i l y M e d i c i n e 7 — C o m m u n i t y - b a s e d 4 - P e d i a t r i c s r e s i d e n c y 7 - U n i v e r s i t y - b a s e d 4 - l n t e m a l M e d i c i n e r e s i d e n c y 8 — U n d e r g r a d u a t e O f t h e 2 2 p r o j e c t s , t w o w e r e d e v e l o p e d a s g r a n t p r o p o s a l s a n d o n e w a s a r e s i d e n t e v a l u a t i o n s y s t e m . T h e f e l l o w s s e l e c t a M a j o r P r o j e c t ( a n d t h u s a f e l l o w s h i p t r a c k ) b a s e d o n t h e i r o w n i n t e r e s t s a n d ( h o p e f u l l y ) t h e n e e d s o f t h e i r i n s t i t u t i o n s o r p r o g r a m s . T h e c h o i c e i s , f o r t h e m o s t p a r t , a p e r s o n a l c h o i c e . W h e n f e l l o w s a r e a c c e p t e d f o r t h e p r o g r a m , t h e y a r e e n c o u r a g e d t o b e g i n t h i n k i n g a b o u t w h a t t h e y w o u l d l i k e t o p u r s u e f o r a M a j o r P r o j e c t . I n J u l y o r A u g u s t , e a c h f e l l o w r e c e i v e s a s i t e v i s i t b y o n e o f t h e f e l l o w s h i p f a c u l t y . P o s s i b l e M a j o r P r o j e c t t o p i c s a r e d i s c u s s e d w i t h e a c h f e l l o w a n d h i s / h e r s u p e r v i s o r a t t h a t t i m e . I n r e c e n t y e a r s , t h e d e c i s i o n a b o u t t h e M a j o r P r o j e c t h a s b e e n p u s h e d b a c k f r o m t h e S e p t e m b e r 3 1 1 A P P E N D I X F ( a n d e v e n t h e N o v e m b e r ) s e s s i o n s , s o t h a t r e l a t i v e l y f e w ( 2 - 3 f e l l o w s i n b o t h t r a c k s ) a r e s t i l l u n d e c i d e d b y t h e e n d o f t h e S e p t e m b e r s e s s i o n . W h e n I c o n d u c t a s i t e v i s i t a n d a f e l l o w i s v a c i l l a t i n g b e t w e e n d o i n g r e s e a r c h o r c u r r i c u l u m d e v e l o p m e n t , I t r y t o g e t t h e m t o t h i n k i n t e r m s o f t h e i r a c a d e m i c c a r e e r . M y q u e s t i o n s i n c l u d e : I f y o u ' r e i n a t e n u r e t r a c k p o s i t i o n . o r w a n t t o g e t o n e s o o n , w i l l r e s e a r c h b e r e q u i r e d f o r y o u t o a c h i e v e t e n u r e ? W i l l y o u b e a p p r o p r i a t e l y r e w a r d e d f o r d o i n g c u r r i c u l u m d e v e l o p m e n t ? T h i s M a j o r P r o j e c t c a n h e l p f e l l o w s a c h i e v e s o m e t h i n g t h e y ' v e b e e n g i v e n r e s p o n s i b i l i t y f o r a l r e a d y ( e . g . , d e v e l o p i n g a n o b s t e t r i c s c u r r i c u l u m f o r f a m i l y p r a c t i c e r e s i d e n t s ) ; i t c a n a l s o b e a fi r s t s t e p i n b u i l d i n g t h e i r c a r e e r ( e . g . , a d e s c r i p t i v e s t u d y t h a t m i g h t l e a d t o o t h e r r e s e a r c h q u e s t i o n s a n d s t u d i e s i n a c e r t a i n a r e a t h a t y o u c o u l d c l a i m f o r y o u r o w n ) . A f t e r t h e f e l l o w i m p l e m e n t s t h e c o u r s e o r c l e r k s h i p d e v e l o p e d d u r i n g t h e f e l l o w s h i p y e a r , h e o r s h e c a n e v a l u a t e a n d p u b l i s h a r t i c l e s a b o u t t h e c u r r i c u l u m ' s e f f e c t i v e n e s s — o r t h e e f f e c t i v e n e s s o f s p e c i f i c i n n o v a t i o n s w i t h i n t h e c u r r i c u l u m . T h e f e l l o w ' s c a r e e r m i g h t f o l l o w a p a t h o f b e c o m i n g t h e e d u c a t i o n e x p e r t w i t h i n h i s / h e r d e p a r t m e n t . I n l o o k i n g a t a l i s t o f p a s t p r o j e c t s . I s e e a l l o f t h e s e r e a s o n s f o r f e l l o w s c h o o s i n g t o d o C u r r i c u l u m D e v e l o p m e n t . H o w e v e r , m o s t o f t e n , f e l l o w s h a v e a c c e p t e d r e s p o n s i b i l i t y f o r " c o v e r i n g " c e r t a i n a s p e c t s o f t h e i r p r o g r a m ' s c u r r i c u l u m . T h e y u s e t h e f e l l o w s h i p t r a i n i n g a n d r e q u i r e m e n t t o m e e t a w o r k c o m m i t m e n t . S o m e f e l l o w s a r e a l s o " o n a m i s s i o n " . T h e s e f e l l o w s a r e o f t e n v e r y p a s s i o n a t e a b o u t c e r t a i n k n o w l e d g e o r s k i l l s a r e a s , a n d t h e y a r e d e t e r m i n e d t h a t t h e i r r e s i d e n t s o r s t u d e n t s s h o u l d k n o w t h i s s t u f f a n d p u t i t i n t o p r a c t i c e . E x a m p l e s o f s u c h p r o j e c t s h a v e i n c l u d e d h e a l t h c a r e f o r h o m e l e s s p a t i e n t s : c o l p o s c o p y ; H I V a s s e s s m e n t a n d m a n a g e m e n t f o r p r i m a r y c a r e p e d i a t r i c i a n s : p r e v e n t i v e m e d i c i n e : a n d t h e i m p a c t o f e c o n o m i c s o n h e a l t h c a r e . T h e s e f e l l o w s h a v e o f t e n a l r e a d y l o b b i e d a n d / o r f o u g h t t o g e t t h e i r t o p i c a c c e p t e d a n d p a r t o f t h e i r p r o g r a m ' s a g e n d a . T h e r e a r e t w o p a r t i c u l a r l y d i f f i c u l t a s p e c t s o f t h e C u r r i c u l u m D e v e l o p m e n t T r a c k f o r t h e f e l l o w s : t h e m o d e l w e a r e t e a c h i n g / f o r c i n g t h e m t o u s e , a n d t h e a m o u n t o f w r i t i n g t h e t r a c k r e q u i r e s . W i t h r e g a r d t o t h e m o d e l , w e h a v e b e e n d e v e l o p i n g a n d r e f i n i n g i t f o r f o u r y e a r s — a n d p r i o r t o u s i n g i t i n t h e f e l l o w s h i p , i t h a d b e e n i n i t i a l l y d e v e l o p e d a n d t a u g h t i n w o r k s h o p f o r m a t b y o u r d i r e c t o r a n d a n o t h e r m e d i c a l 3 1 2 A P P E N D I X F e d u c a t i o n c o n s u l t a n t i n o t h e r s e t t i n g s w i t h d e v e l o p m e n t t e a m s o f h e a l t h p r o f e s s i o n a l s f r o m a v a r i e t y o f d i s c i p l i n e s ( m e d i c i n e , n u r s i n g , s o c i a l w o r k , e t c . ) . T h e m o d e l c o n t i n u e s t o b e u n w i e l d y a n d c u m b e r s o m e , a n d f e l l o w s ( a s w e l l a s f a c u l t y ) c a n g e t l o s t i n t h e t r e e s , l o s i n g s i g h t o f t h e f o r e s t . N o m a t t e r h o w h a r d w e t r y t o b e c o n s i s t e n t w i t h o u r l a b e l s f o r t h e v a r i o u s c o m p o n e n t s o f t h e p r o c e s s ( e . g . , N e e d s A s s e s s m e n t , G o a l s , L e a r n i n g O b j e c t i v e s , C o n t e n t , I n s t r u c t i o n a l S t r a t e g i e s , L e a r n e r E v a l u a t i o n S t r a t e g i e s , I m p l e m e n t a t i o n P l a n n i n g , C u r r i c u l u m E v a l u a t i o n . e t c . ) t h e j a r g o n o f t e n o b s c u r e s h o w p r a c t i c a l a n d e s s e n t i a l e a c h c o m p o n e n t i s . I n o r d e r t o " s h o w " t h e i r c u r r i c u l a . f e l l o w s h a v e t o p u t t h e i r d e s i g n i d e a s i n t h e f o r m o f a c u r r i c u l a d o c u m e n t . T h e s e d o c u m e n t s a r e r e v i e w e d b y t h r e e e x p e r t s ( t w o c o n t e n t e x p e r t s a n d o n e m e d i c a l e d u c a t o r / c u r r i c u l u m s p e c i a l i s t ) . W r i t i n g a n d p u t t i n g t h e s e t o g e t h e r c a n b e a v e r y p a i n f u l p r o c e s s f o r t h e f e l l o w s , m a n y o f w h o m h a v e u n d e v e l o p e d w r i t i n g s k i l l s . W h e r e a s t h e R e s e a r c h T r a c k f e l l o w s " o n l y " h a v e t o w r i t e a j o u r n a l a r t i c l e a b o u t t h e i r s t u d y . o u r f e l l o w s s p e n d t h e w h o l e y e a r w r i t i n g a b o u t t h e i r c u r r i c u l a f r o m s e v e r a l p e r s p e c t i v e s ( s t u d e n t s , r e v i e w e r s , f a c u l t y c o l l e a g u e s w i l l h e l p t h e m t e a c h t h e c o u r s e ) : t h e y a l s o h a v e t o p r e p a r e t e a c h i n g m a t e r i a l s , w o r k s h e e t s , c h e c k l i s t s a n d t e s t s : a n d t h e y e n d b y w r i t i n g a j o u r n a l a r t i c l e a b o u t t h e i r c u r r i c u l a . A s b o t h t h e t r a c k s h a v e e v o l v e d , a n u m b e r o f a s s i g n m e n t s t h r o u g h o u t t h e y e a r h a v e b e c o m e r e q u i r e d t o k e e p t h e f e l l o w s o n t r a c k w i t h t h e i r p r o j e c t s . I r e c a l l b e i n g u n c o m f o r t a b l e w i t h t h e n u m b e r a n d s p e c i fi c i t y o f t h e s e a s s i g n m e n t s a s w e p u t t h e m i n t o t h e p r o g r a m a b o u t 3 y e a r s a g o — a f t e r a l l , t h i s i s s u p p o s e d t o b e a d u l t l e a r n i n g a n d p e o p l e s h o u l d b e a l l o w e d s e l f - d i r e c t i o n ! H o w e v e r , t h e a s s i g n m e n t s h a v e s e e m e d t o p r o v i d e t h e f e l l o w s w i t h e s s e n t i a l d e a d l i n e s f o r a c c o m p l i s h i n g s p e c i fi c p a r t s o f t h e i r p r o j e c t s . F o r t h e m o s t p a r t , t h i s g u i d a n c e a n d s t r u c t u r e h a s b e e n a p p r e c i a t e d b y t h e f e l l o w s . B e i n g " e x p e r t s " a t s u c c e e d i n g i n s t r u c t u r e d l e a r n i n g e n v i r o n m e n t s . m o s t o f t h e f e l l o w s r e a d i l y f o l l o w i n s t r u c t i o n s a n d m e e t t h e r e q u i r e m e n t s . T h e y h a v e s e e m e d t o d e m a n d s p e c i fi c c r i t e r i a a n d t h e y t e n d t o f o l l o w e x a m p l e s v e r y c l o s e l y . T h e b i g g e s t c h a l l e n g e f o r m e , a s t h e C u r r i c u l u m T r a c k D i r e c t o r , h a s b e e n t o k e e p a l l t h e s e a s s i g n m e n t s c l e a r f o r t h e f e l l o w s a n d t o p r o v i d e g o o d , g e n e r i c e x a m p l e s o f t h e i r e x p e c t e d p r o d u c t s . S o m e t i m e s a n " i d e a l " r e p o r t o r d o c u m e n t j u s t d o e s n ' t m a t c h t h e f e l l o w ' s s p e c i fi c p r o j e c t . o r t h e p u r p o s e s o f t h e i r 3 l 3 A P P E N D I X F c o m m u n i c a t i o n . S o m e f e l l o w s c a n " m a k e t h e l e a p " — — e a s i l y g e n e r a l i z i n g t h e i d e a s t o t h e i r s p e c i fi c p r o j e c t a n d n e e d s . O t h e r f e l l o w s j u s t c a n n o t g e t t h e c o n n e c t i o n . T h i s y e a r , a s u r p r i s i n g n u m b e r o f f e l l o w s o p t e d f o r t h e C u r r i c u l u m T r a c k : 1 3 o f t h e 2 0 f e l l o w s c o m p l e t i n g t h e p r o g r a m a r e d o i n g c u r r i c u l u m d e v e l o p m e n t p r o j e c t s . T e n ( 1 0 ) o f t h e f e l l o w s a r e d e v e l o p i n g r e s i d e n c y t r a i n i n g c u r r i c u l a a n d 3 u n d e r g r a d u a t e c o u r s e s o r c l e r k s h i p s . M o s t o f t h e C u r r i c u l u m T r a c k f e l l o w s a r e f r o m F a m i l y M e d i c i n e ( 9 ) , w i t h t w o f e l l o w s e a c h f r o m P e d i a t r i c s a n d I n t e r n a l M e d i c i n e . T h i s y e a r ' s i n c r e a s e m a y b e d u e i n p a r t t o c u r r e n t d e m a n d s f o r c u r r i c u l a r r e f o r m i n m e d i c a l e d u c a t i o n a t b o t h t h e u n d e r g r a d u a t e a n d r e s i d e n c y t r a i n i n g l e v e l s . T h e s e d e m a n d s f o r c h a n g e h a v e t o d o w i t h t h e n e e d t o t r a i n m o r e p h y s i c i a n s f o r p r i m a r y c a r e a n d t o d o t h a t t r a i n i n g i n a m b u l a t o r y s e t t i n g s . I n o r d e r t o b e a c c r e d i t e d . r e s i d e n c y p r o g r a m s m u s t a l s o r e s p o n d t o n e w s t a n d a r d s f o r t h e i r c u r r i c u l a ( e . g . , p r o v i d i n g r e s e a r c h t r a i n i n g a n d e x p e r i e n c e i n g e n e r a l i n t e r n a l m e d i c i n e ; a n d m o r e s o u n d r e s i d e n t e v a l u a t i o n s y s t e m s i n f a m i l y p r a c t i c e ) . S o m e o f t h e f e l l o w s ' p r o j e c t s c o u l d b e c o n s i d e r e d r e s p o n s e s t o t h o s e k i n d s o f n a t i o n a l n e e d s , t h o u g h a n u m b e r o f p r o j e c t s m o r e a p p r o p r i a t e l y fi t t h e " f e l l o w o n a m i s s i o n c a t e g o r y " , e . g . c u l t u r a l d i v e r s i t y , w o m e n ' s m e d i c i n e , p r a c t i c e m a n a g e m e n t [ t h e d a i l y p a t i e n t t r e a t m e n t a s p e c t o f i t ] , a d u l t e d u c a t i o n ( a n e v a l u a t i o n s y s t e m ) , c h i l d d e v e l o p m e n t a n d p a r e n t i n g ( f r o m t h e " t e m p e r a m e n t s " p e r s p e c t i v e ) , a n d s u b s t a n c e a b u s e . A s a g r o u p , I h a v e d e t e c t e d n o s p e c i fi c d i f f e r e n c e s i n t h i s g r o u p f r o m p a s t y e a r s ' C u r r i c u l u m T r a c k f e l l o w s . A s i n t h e p a s t , o u r f e l l o w s o n a m i s s i o n ( a t l e a s t 6 o f t h e 1 3 ) c a n e i t h e r a c c e p t o u r d i r e c t i o n a n d f e e d b a c k a s h e l p f u l i n m o v i n g t h e m f o r w a r d t o w a r d t h e i r g o a l s — o r t h e y c a n c h a l l e n g e o u r g u i d a n c e a s a r o a d b l o c k t o w h a t t h e y h a v e i n m i n d a n d w i l l d o d e s p i t e ( o r " i n s p i t e o f " ) o u r a s s i s t a n c e . M o s t f e l l o w s s e e m t o i n t e r p r e t o u r s u g g e s t i o n s i n a w a y t h a t w i l l s u i t t h e i r o r i g i n a l v i s i o n ( e . g . , t h e f e l l o w w i t h a c r e a t i v e " m e t h o d i n s e a r c h o f a c u r r i c u l u m " w i l l d e v e l o p a c u r r i c u l u m t o m a t c h t h e m e t h o d h e h a s e n v i s i o n e d ) . O t h e r s h a v e f o l l o w e d t h e s t e p s a n d e x a m p l e s v e r y c l o s e l y , a n d g o t t e n l o s t d e a l i n g w i t h t h e m i n u t i a e — t h e r e b y b e c o m i n g f r u s t r a t e d t h a t t h e y h a v e l o s t t h e i r o r i g i n a l v i s i o n . S t i l l o t h e r s ( f o r t u n a t e l y f o r o u r s e n s e o f w o r t h a s f a c u l t y ) h a v e f o l l o w e d t h e s t e p s , g e n e r a l i z e d t h e p r i n c i p l e s t o t h e i r p r o j e c t s a n d s e t t i n g s , 3 1 4 A P P E N D I X F a n d d e v e l o p e d s o u n d a n d s u c c e s s f u l p r o g r a m s t h a t t h e f e l l o w s s e e m h a p p y a b o u t t o o . A t t h i s p o i n t i n h e r s t u d y . I d o n o t s e e t h a t J o s i e ' s d a t a c o l l e c t i o n h a s c h a n g e d t h e f e l l o w s ' a p p r o a c h e s t o t h e i r n e e d s a s s e s s m e n t s o r p r o j e c t s . W h e n J o s i e fi r s t b e g a n t o c o l l e c t d a t a a b o u t t h e f e l l o w s d o i n g c u r r i c u l u m d e v e l o p m e n t p r o j e c t s b y o b s e r v i n g t h e m i n t h e S e p t e m b e r s e s s i o n s , s h e w a s w i t h t h e m c o n t i n u o u s l y f o r t h e t w o w e e k s . A t t h e t i m e . I r e c a l l t h i n k i n g t h a t . h a d I b e e n a f e l l o w , s h e w o u l d h a v e b u g g e d m e . ( J o s i e ' s e n t h u s i a s m f o r l e a r n i n g a n d f o r t h e i m p o r t a n c e o f a l l t h e a c a d e m i c s k i l l s w e a r e t e a c h i n g c a n g e t p r e t t y " t h i c k " a t t i m e s . S h e a l s o f r e q u e n t l y h a s a n d h a s a n e e d t o e x p r e s s a n i n s i g h t o r " l a s t w o r d " i n c l a s s d i s c u s s i o n s — e v e n a s a n o b s e r v e r . W h e t h e r c a l l e d f o r o r n o t , t h e s e c o m m e n t s a r e u s u a l l y o n t a r g e t a n d o f t e n v a l u a b l e . ) I w a s c u r i o u s t o o b s e r v e w h e t h e r t h e f e l l o w s a c t u a l l y f e l t a n y d i s c o m f o r t w i t h h e r w a t c h f u l p r e s e n c e , b u t I o n l y h e a r d o n e c o m m e n t f r o m a f e l l o w i n a s m a l l g r o u p , s a y i n g s o m e t h i n g l i k e " J o s i e i s l o o k i n g a t m o r e t h a n o u r n e e d s a s s e s s m e n t s : s h e ' s m a k i n g n o t e s a b o u t u s a l l t h e t i m e . " A n o t h e r f e l l o w w h o w a s o r i g i n a l l y a s s i g n e d t o J o s i e ' s m e n t o r g r o u p , b u t r e a s s i g n e d d u e t o c o m m u n i c a t i o n i s s u e s , w a s o l d e r a n d s o m e w h a t i l l - a t - e a s e w i t h t h e f e l l o w s h i p e n v i r o n m e n t a n d d e m a n d s ; s h e m a y h a v e b e e n r e a c t i n g t o t h a t y o u t h f u l , " n e w P h . D . c a n d i d a t e " a f f e c t t h a t J o s i e c a n p r o j e c t . A s t h e y e a r h a s p r o g r e s s e d , w i t h J o s i e ' s v a r i o u s t e l e p h o n e i n t e r v i e w s a n d o t h e r d a t a c o l l e c t i o n p o i n t s , I g e t a s e n s e t h a t s h e h a s d e v e l o p e d a n i c e r a p p o r t w i t h m o s t o f t h e f e l l o w s . A s s h e h a s b e e n w o r k i n g o n h e r d i s s e r t a t i o n p r o j e c t a t t h e s a m e t i m e t h e y h a v e b e e n w o r k i n g o n t h e i r c u r r i c u l u m d e v e l o p m e n t p r o j e c t s . J o s i e s e e m s t o h a v e e s t a b l i s h e d h e r s e l f a s t h e f e l l o w s ' p e e r a n d c o l l e a g u e . B y J o s i e ' s c l o s e a t t e n t i o n a n d p e r s o n a l c o m m u n i c a t i o n w i t h t h e f e l l o w s , I t h i n k w e a s f a c u l t y w i l l l e a r n a l o t m o r e a b o u t t h e f e l l o w s ' f e e l i n g s a n d s t r e s s e s i n o u r p r o g r a m t h a n w e h a v e r e a l i z e d i n t h e p a s t . W i t h r e g a r d t o t h e i r n e e d s a s s e s s m e n t s , I h a v e n ' t d e t e c t e d a H a w t h o r n e E f f e c t — t h e n e e d s a s s e s s m e n t s I l o o k e d a t w e r e a b o u t t h e s a m e q u a l i t y a n d v a l u e t h a t I h a v e s e e n i n p a s t y e a r s . I ' m l o o k i n g f o r w a r d t o J o s i e ' s r e s u l t s , t o g e t s o m e i d e a s a b o u t w h a t t o d o w i t h t h e N e e d s A s s e s s m e n t W o r k s h o p a n d t h a t p i e c e o f t h e c u r r i c u l u m t r a c k . 3 1 5 A P P E N D I X F F e l l o w s h i p F a c u l t y & R e l a t i o n s h i p s w i t h F e l l o w s T h e r e a r e e l e v e n r e g u l a r ( p a i d a p p o i n t m e n t ) m e m b e r s o f t h e f e l l o w s h i p f a c u l t y . T h e s e i n c l u d e t h r e e P h . D . m e d i c a l e d u c a t o r s , o n e P h . D . i n s t r u c t i o n a l d e v e l o p m e n t e x p e r t , o n e M a s t e r ' s l e v e l m e d i c a l e d u c a t i o n s p e c i a l i s t ( m e ) , t h r e e g r a d u a t e a s s i s t a n t s ( c u r r e n t l y 2 f r o m E d u c a t i o n a l S y s t e m s a n d o n e f r o m S p o r t s P s y c h o l o g y ) . a n d t h r e e c l i n i c a l f a c u l t y r e p r e s e n t i n g e a c h o f t h e s p e c i a l t y d e p a r t m e n t s ( F a m i l y M e d i c i n e , I n t e r n a l M e d i c i n e . P e d i a t r i c s ) . G r a n t s u p p o r t f o r t h e s e f a c u l t y m e m b e r s v a r i e s f r o m 1 0 % f o r c l i n i c a l f a c u l t y t o 7 5 - 8 0 % ( f o r f a c u l t y i n m e d i c a l e d u c a t i o n ) . I n a d d i t i o n t o a d m i n i s t r a t i n g t h e f e l l o w s h i p , d e v e l o p i n g a n d t e a c h i n g w o r k s h o p s . f a c i l i t a t i n g g r o u p d i s c u s s i o n s , a n d m e n t o r i n g f e l l o w s ' M a j o r P r o j e c t s . a l l f a c u l t y m e m b e r s a r e i n v o l v e d i n o t h e r p r o j e c t s a s w e l l a s o n g o i n g t e a c h i n g a n d r e s e a r c h i n t h e i r r e s p e c t i v e a r e a s . W h e n t h e f e l l o w s h i p fi r s t b e g a n a n d w a s m u c h s m a l l e r , f e l l o w s w e r e g i v e n a m u c h m o r e " k i d g l o v e s " t r e a t m e n t . T h e fi r s t y e a r I w a s h e r e , w e s t i l l m a d e a r r a n g e m e n t s t o p i c k f e l l o w s u p a t t h e a i r p o r t a n d s h u t t l e t h e m f r o m t h e i r h o t e l t o t h e h a l l o n t h e f i r s t d a y o f t h e f e l l o w s h i p i n S e p t e m b e r . I n s t e a d o f c a t e r i n g p a s t r i e s a n d c o f f e e f r o m t h e G r i l l , w e a l l b a k e d m u f fi n s o r n u t b r e a d s f o r b r e a k f a s t t h e fi r s t d a y , b r o w n i e s f o r t h e f e l l o w s h i p p i c n i c . a n d t o o k t u r n s m a k i n g ( b a d ) c o f f e e i n o u r f e l l o w s h i p c o f f e e p o t . A s t o r y i s t o l d a b o u t o n e f a c u l t y m e m b e r i n v i t i n g t h e f e l l o w s h o m e f o r c h i l i a n d a l e c t u r e o n t h e o r i e s o f i n s t r u c t i o n ( a s a w a y t o g e t b e t t e r r e s p o n s e s t o t h e s u b j e c t ) . T h e m e d i c a l e d u c a t i o n f a c u l t y w h o i n i t i a l l y d e v e l o p e d a n d i m p l e m e n t e d t h e p r o g r a m r e c o g n i z e d t h e i m p o r t a n c e o f t h e s o c i a l e l e m e n t s o f t h e p r o g r a m . U n t i l l a s t y e a r , w e s c h e d u l e d a W i n t e r C a r n i v a l o n e a f t e r n o o n d u r i n g t h e F e b r u a r y s e s s i o n — a s p e c i a l t r e a t f o r f e l l o w s f r o m P u e r t o R i c o . U n f o r t u n a t e l y , i t w a s d i f fi c u l t t o g u a r a n t e e s n o w f o r s l e d d i n g o r e v e n i c e t o s k a t e o n . W e n o w h a v e a d i n n e r o f s o m e k i n d p l a n n e d f o r o n e e v e n i n g d u r i n g e a c h s e s s i o n , i n c l u d i n g a g e t t i n g a c q u a i n t e d p i c n i c i n S e p t e m b e r . r e s t a u r a n t d i n n e r s i n N o v e m b e r a n d F e b r u a r y . a n d a p o t l u c k i n J u n e w h e r e e a c h o f t h e f e l l o w s b r i n g s a d i s h r e p r e s e n t i n g t h e i r r e g i o n o r c u l t u r e . F a c u l t y m e m b e r s a r e e n c o u r a g e d t o a t t e n d t h e s e s o c i a l g a t h e r i n g s , b u t a r e n o t r e q u i r e d . T h e r e s t o f o u r w o r k l i v e s a n d f a m i l y c o m m i t m e n t s c o n t i n u e d u r i n g t h e i n t e n s e w e e k s t h a t t h e f e l l o w s a r e h e r e . N o t s u r p r i s i n g l y , w e g e t r e l u c t a n t t o g i v e m u c h m o r e t i m e b e y o n d o u r f e l l o w s h i p t e a c h i n g a n d m e n t o r i n g 3 1 6 A P P E N D I X F c o m m i t m e n t s . U n l e s s w e h a v e s t r o n g p e r s o n a l i n t e r e s t s w h i c h a t t r a c t u s t o c e r t a i n f e l l o w s ( s u c h a s o n e f e l l o w f r o m t h e B r o n x w h o s h a r e d m y i n t e r e s t i n e d i b l e w i l d p l a n t s - - t h e o n l y f e l l o w I e v e r i n v i t e d h o m e f o r d i n n e r ! ) w e p r e t t y m u c h s t i c k w i t h t h e b u s i n e s s a t h a n d , w i t h t h e s c h e d u l e d d i n n e r s a n d l u n c h t i m e i n t h e G r i l l f o r s o c i a l i n t e r a c t i o n . S o m e t i m e s t h e f e l l o w s h a v e a s k e d f o r m o r e u n s t r u c t u r e d , s o c i a l t i m e w i t h f a c u l t y , b u t i t i s t i m e f r o m t h e M . D . , c l i n i c a l f a c u l t y t h a t t h e y c r a v e — p e o p l e l i k e t h e m s e l v e s ! R o l e m o d e l s ! T h i s i s n o t s u r p r i s i n g . O u r m o s t d e d i c a t e d a n d e f f e c t i v e c l i n i c a l f a c u l t y m e m b e r d o e s n o t s o c i a l i z e w i t h t h e f e l l o w s a t a l l — n o t a t t e n d i n g a n y o f t h e p i c n i c s o r d i n n e r s . H e s t i c k s s t r i c t l y t o h i s c o m m i t t e d r o l e a s a t e a c h e r a n d M a j o r P r o j e c t m e n t o r . T h e f a c u l t y m e m b e r f r o m P e d i a t r i c s i s a p e d i a t r i c i a n b y e a r l y t r a i n i n g ; h i s c u r r e n t w o r k i s a s d i r e c t o r o f e p i d e m i o l o g y — s o h i s f o c u s i s o n b r i n g i n g i n g r a n t s a n d b u i l d i n g a n e w p r o g a m / d e p a r t m e n t h e r e i n t h e c o l l e g e . H e i s a g o o d m e n t o r f o r f e l l o w s d o i n g r e s e a r c h , b u t i s s o c i a l l y u n c o n n e c t e d . T h i s y e a r t h e f a m i l y p r a c t i c e r e p r e s e n t a t i v e o n t h e f a c u l t y ( a P h . D . e p i d e m i o l o g i s t ) l e f t i n N o v e m b e r f o r a n e w p o s i t i o n ; h e w a s r e p l a c e d b y t h e n e w c h a i r m a n o f t h e D e p a r t m e n t o f F a m i l y P r a c t i c e w h o h a d h e a r d a b o u t o u r p r o g r a m a n d w a n t e d t o b e i n v o l v e d , b u t i s t r u l y o v e r c o m m i t t e d a n d i s l u c k y t o g e t h e r e f o r m e n t o r g r o u p m e e t i n g s a n d o c c a s i o n a l t e a c h i n g . I t s e e m s t h a t t h e b e s t c l i n i c a l f a c u l t y f o r t h e f e l l o w s h i p h a v e b e e n f o r m e r f e l l o w s ; t h e y k n o w w h e r e t h e f e l l o w s a r e c o m i n g f r o m a n d c a n r e l a t e t o t h e m o n a p r o f e s s i o n a l a s w e l l a s p e r s o n a l b a s i s . A s I h a v e m e n t i o n e d w i t h r e g a r d t o t h e C u r r i c u l u m T r a c k , a b o v e , t h e f e l l o w s h i p p r o g r a m h a s e v o l v e d a v e r y t i g h t o n - c a m p u s s c h e d u l e , a s w e l l a s p r o g r a m e x p e c t a t i o n s a n d a s s i g n m e n t s t h a t h a v e b e c o m e v e r y r i g i d i n r e c e n t y e a r s . T h e s e a s p e c t s o f t h e p r o g r a m h a v e e v o l v e d i n r e s p o n s e t o ( 1 ) f o r m e r f e l l o w s ' f e e d b a c k r e q u e s t i n g m o r e t r a i n i n g i n c e r t a i n s k i l l s / t o p i c a r e a s : a n d ( 2 ) o u r d e s i r e t o s e e t h e f e l l o w s d o h i g h q u a l i t y c u r r i c u l u m d e v e l o p m e n t p r o j e c t s o r p u b l i s h a b l e r e s e a r c h s t u d i e s : a n d ( 3 ) t h e i n c r e a s e d n u m b e r o f f e l l o w s ( u p f r o m t h e 1 0 f a m i l y m e d i c i n e f e l l o w s w h o w e r e o r i g i n a l l y i n t h e p r o g r a m ) . I t ' s n o t s u r p r i s i n g t h a t t h i s y e a r ' s f e l l o w s h a v e r e s e n t e d t h e a m o u n t o f c o n t r o l t h e p r o g r a m e x e r t s o v e r t h e m . D u e t o t h e n a t u r e o f t h e s e p h y s i c i a n s ' p r o f e s s i o n a l r o l e s , t h e y a r e a c c u s t o m e d t o b e i n g i n c o n t r o l o f t h e i r e n v i r o n m e n t . T h i s c o n t r o l i s s u e e x t e n d s t o t h e i r o n g o i n g l e a r n i n g a c t i v i t y a n d a l s o t h e i r 3 1 7 A P P E N D I X F i n t e r a c t i o n s w i t h t h e p e o p l e w h o a r e t h e r e t o h e l p M ( e . g . , n u r s e s , o t h e r c l i n i c a l s t a f f , s p e c i a l i s t c o n s u l t a n t s , b e h a v i o r a l s c i e n t i s t s ) . A n o t h e r a s p e c t o f p h y s i c i a n s ' t r a i n i n g a n d p r e p a r a t i o n f o r p r a c t i c i n g m e d i c i n e i s t h a t t h e m e d i c a l e d u c a t i o n s y s t e m i s s e t u p f o r t h e m t o s u c c e e d . O n e o f t h e i s s u e s w e d i s c u s s i n a w o r k s h o p o n " A p p r o a c h i n g t h e P r o b l e m T r a i n e e , " i s t h a t o n c e a s t u d e n t i f a c c e p t e d i n t o m e d i c a l s c h o o l , e v e r y t h i n g p o s s i b l e i s d o n e t o m a k e s u r e t h a t s t u d e n t b e c o m e s a n M D . a n d a l i c e n s e d p h y s i c i a n . A f t e r t h e a d m i s s i o n s p r o c e s s , n o m e d i c a l s c h o o l s o r r e s i d e n c y p r o g r a m s I ' v e h e a r d o f h a v e s y s t e m s i n p l a c e d e s i g n e d t o w e e d o u t p e o p l e w h o m a y b e c o m e u n d e s i r a b l e p h y s i c i a n s . W h e n w e t a l k a m o n g o u r s e l v e s a b o u t f e l l o w s ' c o m p l a i n t s o r r e a s o n s f o r n o t c o m i n g t h r o u g h o n a n a s s i g n m e n t , w e o f t e n r e s p o n d , " T h e y ' r e a d u l t s . " T h i s s t a t e m e n t i s o f t e n f o l l o w e d b y s o m e t h i n g l i k e : " T h e y n e e d t o b e r e s p o n s i b l e f o r t h e m s e l v e s . " o r " T h e y k n e w t h e y w o u l d n e e d t h i s m u c h t i m e t o d o t h i s a s s i g n m e n t w h e n t h e y a g r e e d t o b e i n t h e p r o g r a m . " W e o f t e n d o h a v e a s e n s e t h a t t h e f e l l o w s d o n ' t a p p r e c i a t e t h e n e e d f o r / p a s t s u c c e s s o f o u r s y s t e m s o f a s s i g n m e n t s , o u r e f f o r t s t o " t a k e c a r e " o f t h e m . o r t h e d e m a n d s o f o u r o w n a c a d e m i c c a r e e r s o u t s i d e t h e f e l l o w s h i p p r o g r a m . B u t f o r t h e m o s t p a r t , t h e f e l l o w s h i p f a c u l t y ( m y s e l f i n c l u d e d ) e n j o y w o r k i n g w i t h t h e s e b r i g h t . y o u n g p r o f e s s i o n a l p e o p l e . T h e o n e s w h o a r e s u c c e s s f u l i n t h e f e l l o w s h i p a l s o b e c o m e a d v o c a t e s o f o u r p r o g r a m a n d a r e w i l l i n g c o n t r i b u t o r s t o f u t u r e p r o g r a m s . I t ' s g r e a t t o s e e t h e m a t n a t i o n a l m e e t i n g s a n d w a t c h t h e i r c a r e e r s t a k e o f f w i t h c o n f e r e n c e p r e s e n t a t i o n s , j o u r n a l p u b l i c a t i o n s a n d r e g i o n a l / n a t i o n a l r e c o g n i t i o n f o r t h e i r w o r k . F o r t u n a t e l y , t h e n u m b e r o f d i f f i c u l t f e l l o w s — t h o u g h t h e y t a k e l o t s o f e n e r g y a n d c a n b e v e r y d i s c o u r a g i n g — i s m u c h l e s s t h a n t h e n u m b e r o f p l e a s a n t a n d c o m p e t e n t f e l l o w s w h o g o t h r o u g h t h e f e l l o w s h i p . A P P E N D I X G W o r k s h o p H a n d o u t s 3 1 8 A P P E N D I X G N E E D S A S S E S S M E N T 8 : A N A L Y S I S K a r e n w . L l e n h a r t . M . A . S e p t e m b e r 1 6 . 1 9 9 2 P r l m a r y C u e F a c u l t y D e v e l o p m e n t F e l l o w s h i p P r a g r a n M i c h i g a n S t a t e U n i v e r s i t y @ 1 9 9 2 ” ? ? ? 9 9 9 8 9 0 $ 0 R 3 1 9 A P P E N D I X G N E E D S A S S E S S M E N T & A N A L Y S I S G o a l o f W o r k s h o p T o h e l p y o u b e g i n p l a n n i n g t h e n e e d s a s s e s s m e n t f o r y o u r c u r r i c u l u m p r o j e c t O b j e c t i v e s B y t h e e n d o f t h e s e s s i o n , y o u s h o u l d - h a v e c o n s i d e r e d t h e c o n t e x t a n d p e o p l e a fi ' e c t e d b y y o u r c u r r i c u l u m p r o j e c t - b e g u n t o p l a n y o u r n e e d s a s s e s s m e n t , i n c l u d i n g O q u c s t i o n s O s o u r c e s O t e c h n i q u e s - h a v e s o m e i d e a h o w y o u m i g h t a n a l y z e a n d c o m m u n i c a t e y o u r n e e d s a s s e s s m e n t r e s u l t s W o r k s h o p A g e n d a C l a r i f y w h a t w e m e a n b y n e e d s a s s e s s m e n t H I n t r o d u c e o u r 4 - S t e p A p p r o a c h t o n e e d s a s s e s s m e n t D o W o r k s h o p T a s k # l : C o n t e x t a n d P e o p l e A f f e c t e d R e v i e w s a m p l e n e e d s a s s e s s m e n t q u e s t i o n s D o W o r k s h o p T a s k # 2 : D e t e r m i n e Y o u r Q u e s t i o n s R e v i e w p o t e n t i a l s o u r c e s a n d t e c h n i q u e s D o W o r k s h o p T a s k # 3 : D e t e r m i n e S o u r c e s o f I n f o r m a t i o n D o W o r k s h o p T a s k # 4 : D e t e r m i n e T e c h n i q u e s C o m m e n t s a b o u t c o n d u c t i n g y o u r n e e d s a s s e s s m e n t p — e . e v i e w n e e d s a s s e s s m e n t r e p o r t a s s i g n m e n t a n d c r i t e r i a I A r c e l t e u a m a e ( W h e l r e a r e ) O m h p r r e e t e s i y c o o m u u a m l d l b s ‘ h e ) ( e l W e I 3 2 0 A P P E N D I X G N E E D S A S S E S S M E N T & A N A L Y S I S D e f i n i t i o n N e e d s a s s e s s m e n t i s t h e S y s t e m a t i c p r o c e s s o f g a t h e r i n g i n f o r m a t i o n f r o m a v a r i e t y o f s o u r c e s , a n d u s i n g i t t o d e t e r m i n e i f a n d w h a t i n s t r u c t i o n a l s o l u t i o n s w i l l c l o s e t h e g a p b e t w e e n w h a t l e a r n e r s c u r r e n t l y k n o w o r d o . a n d w h a t y o u w o u l d l i k e t h e m t o k n o w o r d o . I N E E D S I E x a m p l e o f a N e e d s A s s e s s m e n t ' . . . A n e e d s a s s e s s m e n t c o n s i s t i n g o f l i t e r a t u r e r e v i e w , i n t e r v i e w s . a q u e s t i o n n a i r e a n d a c h a r t a u d i t w a s c o n d u c t e d i n o r d e r t o d e t e r m i n e t h e n e c e s s i t y f o r a n d a c c e p t a n c e o f a n e l e c t i v e i n p r e v e n t i v e m e d i c i n e a t o u r i n s t i t u t i o n . R e s u l t s o f a c o n p u t e r i z e d s e a r c h f o r m e d i c a l l i t e r a t u r e r e l a t i v e t o p r e v e n t i v e m e d i c i n e c u r r i c u l a w e r e u s e d t o g e n e r a t e q u e s t i o n s f o r i n t e r v i e w i n g c o m m u n i t y l e a d e r s . f a c u l t y a n d m e d i c a l s t u d e n t s . T h e i n t e r v i e w s w e r e c o n d u c t e d b y t e l e p h o n e a n d i n p e r s o n , w i t h a n i n f o r m a l n o n - t h r e a t e n i n g m a n n e r , a n d t h e r e w a s o p p o r t u n i t y f o r f o l l o w - u p q u e s t i o n s a n d d i s c u s s i o n t o e l i c i t s p e c i f i c l o c a l n e e d s r e l a t i v e t o d i s e a s e p r e v e n t i o n a n d h e a l t h p r o m o t i o n . T h e c o m m u n i t y l e a d e r s i n c l u d e d m e m b e r s o f t h e l o c a l b o a r d o f h e a l t h . a l o c a l e m p l o y e r . m e m b e r s o f a c o m m u n i t y h e a l t h a g e n c y , a n d c l e r g y . T h e f a c u l t y i n c l u d e d c o m m u n i t y h e a l t h c e n t e r p r e c e p t o r s a n d a d m i n i s t r a t i v e f a c u l t y . T h e s t u d e n t s i n t e r v i e w e d w e r e r e p r e s e n t a t i v e m e m b e r s o f t h e t h i r d a n d f o u r t h y e a r c l a s s e s . T h e c h a r t a u d i t w a s d o n e a n o n y m o u s l y a n d w i t h a p p r o v a l f r o m t h e c o l l e g e i n s t i t u t i o n a l r e v i e w b o a r d . T h r e e h u n d r e d c h a r t s o f 1 5 s t u d e n t s o f t h e c l a s s o f 1 9 9 1 w e r e a u d i t e d f o r d o c u m e n t a t i o n o f a c t i v i t i e s r e l a t e d t o d i s e a s e p r e v e n t i o n a n d h e a l t h p m r n o t i o n . T h e s t u d e n t s w h o s e c h a r t s w e r e a u d i t e d a l s o a n o n y m o u s l y c o r r p l e t e d a q u e s t i o n n a i r e r e l a t i n g t o t h e i r b e l i e f s a n d p r a c t i c e s i n p r e v e n t i v e m e d i c i n e . M S U P r i m a r y C a r e F a c u l t y D e v e l o p m e n t F e l l o w s h i p - 1 9 9 2 T h e m e d i c a l l i t e r a t u r e c o n t a i n s u s e f u l r e c o m m e n d a t i o n s f o r c u r r i c u l a r c o n t e n t i n p r e v e n t i v e m e d i c i n e . T h e P a n e l o n t h e G e n e r a l P r o f e s s i o n a l E d u c a t i o n o f t h e P h y s i c i a n o n C o l l e g e P r e p a r a t i o n f o r M e d i c i n e ( G P E P ) i n i t s r e p o r t , ' P h y s i c i a n s f o r t h e T w e n t y F i r s t C e n t u r y , ‘ r e c o m m e n d s t h a t t h e e r r p h a s i s o n t e a c h i n g c u r a t i v e m e d i c i n e f o r i n d i v i d u a l s b e b a l a n c e d b y a n e q u a l e m p h a s i s o n h e a l t h p r o m o t i o n a n d d i s e a s e p r e v e n t i o n a m o n g i n d i v i d u a l s a n d g r o u p s o f p e o p l e . 2 T h e r e p o r t f u r t h e r r e c o m m e n d s t h a t a c t i v e s t u d e n t p a r t i c i p a t o r y l e a r n i n g m e t h o d s b e u s e d i n p l a c e o f p a s s i v e l e a r n i n g t e c h n i q u e s , s u c h a s l e c t u r e . T h e A c a d e m i c E x p e r t P a n e l t o R e v i e w t h e G u i d e t o C l i n i e s l P r e v e n t i v e S e r v i c e s d e v e l o p e d p r i n c i p l e s u p o n w h i c h c h a n g e i n p r e v e n t i v e m e d i c i n e c u r r i c u l a s h o u l d b e b a s e d . 3 I m p o r t a n t p r i n c i p l e s i n c l u d e : i m p l e m e n t i n g p r e v e n t i v e s e r v i c e s i n a p r i m a r y c a r e o u t p a t i e n t e x p e r i e n c e . u s i n g t h e G u i d e a s a r e s o u r c e , a n d b a s i n g t h e g o a l s a n d c o n t e n t o f t h e c u r r i c u l u m o n t h e I n v e n t o r y o f K n o w l e d g e a n d S k i l l s R e l a t i n g t o D i s e a s e P r e v e n t i o n a n d H e a l t h P r o m o t i o n . 4 T h e I n v e n t o r y i s a n i m p o r t a n t c o m p o n e n t o f c u r r i c u l a r d e s i g n i n p r e v e n t i v e m e d i c i n e . I t w a s d e v e l o p e d b y t h e A s s o c i a t i o n o f T e a c h e r s o f P r e v e n t i v e M e d i c i n e u n d e r a c o o p e r a t i v e a g r e e m e n t w i t h t h e C e n t e r s f o r D i s e a s e C o n t r o l . I t s e r v e s a s a g u i d e t o e n s u r e t h a t m e d i c a l s t u d e n t s 1 3 2 1 A P P E N D I X G a r e ' l i t r o d u c e d t o t o p i c s a n d s k i l l s i n p r e v e m i o n a p p r o p r i d e t o m e d i c i n e i n t h e c o m i n g d e c a d e s . t l i e u b j e c t a r e a s c a n r o u g h l y b e g r o u p e d i n t o t h r e e c a t e g o r i e s : p r e v e n t i v e m e d i c i n e i n t h e p h y s i c i a n ' s o f f i c e . p r e v e n t i v e m e d i c i n e i n t h e c o m m u n i t y s e t t i n g . a n d p r e v e n t i v e m e d i c i n e a s i r e l d e e h e a l t h c a r e s y s t e m s t m c t u r e a n d f u n c t i o n . S i m i l a r r e c o m m e n d a t i o n s a r e c a l l e d f o r b y t h e P e w C o m m i s s i o n i n i t s ' A g e n d a f o r A c t i o n ' i n t h e r e p o r t H e a l t h y A m e r i c a : P r a c t i t i o n e r s f o r 2 0 0 5 . ' 5 C o m m u n i t y l e a d e r s . f a c u l t y . a n d s t u d e n t s w e r e a s k e d t h e f o l l o w i n g q u e s t i o n s i n i n t e r v i e w s : 1 . I s t h e r e a n e e d f o r a n e l e c t i v e i n p r e v e n t i v e m e d i c i n e f o r f o u r t h - y e a r m e d i c a l s t u d e n t s ? 2 . W o u l d y o u b e s u p p o r t i v e o f s u c h a n e l e c t i v e ? 3 . W h a t w o u l d y o u l i k e t o s e e i n c l u d e d i n t h e e l e c t i v e ? A l l p a r t i e s s t a t e d t h a t t h e r e w a s a n e e d f o r t h e e l e c t i v e a n d t h a t t h e y w o u l d b e s u p p o r t i v e o f i t . C o m m u n i t y l e a d e r s w e r e e n t h u s i a s t i c a b o u t t h e p r o s p e c t o f h a v i n g f a c u l t y a n d s t u d e n t s s t u d y a n d o r p a r t i c ' p a t e i t t h e ? p r o g e m s . S w e r e o f f e r e d f o r c o n t o r t o f t h e e l e c t i v e t h a t w e r e c o n s i s t e n t w i t h r e c o m m e n d a t i o n s f r o m t h e l i t e r a t u r e . S t u d e n t s e x p r e s s e d i n t e r e s t i n u s i n g t h e e l e c t i v e t o e x p l o r e s p e c i f i c a r e a s i n p r e v e n t i v e m e d i c i n e . s u c h a s p u t t i n g p r e v e n t i o n i n t o p r a c t i c e i n t h e p r i m a r y c a r e o f f i c e a n d s t u d y i n g t h e e c o n o m i c s o f p r e v e n t i o n . A d m i n i s t r a t i v e f a c u fl y n o t e d t h e n e e d f o r m o r e f o u r w e e k e l e c t i v e s t h a t c o u l d b e o f f e r e d i n t w o w e e k s e g m e n t s . T h e c h a r t a u d i t a n d s t u d e n t s u r v e y i n d i c a t e d t h a t m o s t p r e v e n t i v e i n t e r a c t i o n s w i t h p a t i e n t s w e r e c o n s i d e r e d i m p o r t a n t . S t u d e n t o f t e n f a i l e d . h o w e v e r . t o r e c o r d t h e i n f o n ' n s t i o n i n t h e i r c h a r t n o t e s . I t i s n o t c l e a r f r o m t h e a u d i t w h e t h e r t h e s r b i e c t w a s n o t d i s c u s s e d b e t w e e n s t u d e n t a n d p a t i e n t . o r w h e t h e r t h e s t u d e n t d i d n o t r e c o g n i z e t h e n e e d t o d o c u m e n t i n f o r m a t i o n . A r e fi n e m e n t o f t h e s t u d e n t - p a t i e n t e n c o u n t e r i n o r d e r t o p l a c e e r r p h a s i s o n t h e p r o v i s i o n a n d d o c u m e n t a t i o n o f p r e v e n t i v e s e r v i c e s i s n e e d e d . A d a p t e d f r o m : R o b e r t C . J o h n s o n . M D . A n E l e c t i v e f o r F o u r t h - Y e a r M e d c d S t u d e n t s i n P r e v e n t i v e M e d i c i n e . M S U P r i m a r y C a r e F a c u l t y D e v e l o p m e n t F e l l o w s h i p . J u n e l 9 9 2 W h y d o a N e e d s A s s e s s m e n t ? P e o p l e w h o p u t t i m e a n d e f f o r t d o i n g a n e e d s a s s e s s m e n t d i s c o v e r t h a t t h e r e s t o f t h e i r c u r r i c u l a s e e m t o " f a l l i n t o p l a c e " b e c a u s e t h e y t r u l y u n d e r s t a n d t h e p r o b l e m . t h e s i t u a t i o n . t h e l e a r n e r s a n d o t h e r f a c t o r s w h i c h i m p a c t t h e i r d e c i s i o n s . T h e n e e d s a s s e s s m e n t p r o c e s s h e l p s y o u 0 a fi i r m t h a t t h e p r o b l e m i s a n i n s t r u c t i o n a l n e e d . n o t a n o r g a n i z a t i o n a l . m o t i v a t i o n a l . a d m i n i s t r a t i v e o r a t t i t u d i n a l p r o b l e m : 0 f o c u s t i m e a n d e f f o r t o n t h e r i g h t s o l u t i o n s o t h a t y o u r v a l u a b l e t i m e a n d r e s o u r c e s a r e u s e d e f f i c i e n t l y a n d e f f e c t i v e l y . D o i n g a n e e d s a s s e s s m e n t a l s o p r o v i d e s s e v e r a l i m p o r t a n t b e n e fi t s t o y o u r c u r r i c u l u m d e v e l o p m e n t p r o j e c t . 0 B y i n v o l v i n g o t h e r p e o p l e a t t h e s t a r t . y o u c a n a c h i e v e " b u y - i n " . o r a s e n s e o f o w n e r s h i p o f t h e c u r r i c u l u m . 0 I n a w o r l d o f l i m i t e d r e s o u r c e s . n e e d s a s s e s s m e n t a l s o h e l p s s e t e d u c a t i o n a l p r i o r i t i e s — d e t e r m i n i n g w h i c h p r o b l e m s r e q u i r e a t t e n t i o n n o w . a n d w h i c h c a n w a i t . 0 N e e d s a s s e s s m e n t c a n e n h a n c e y o u r c r e d i b i l i t y . A s y o u a s k q u e s t i o n s a n d g a t h e r i n f o r m a t i o n f r o m p e o p l e a f f e c t e d b y t h e c u r r i c u l u m . y o u w i l l b e d e m o n s t r a t i n g t h e s y s t e m a t i c a p p r o a c h y o u a r e n o w t a k i n g t o a d d r e s s i n s t r u c t i o n a l p r o b l e m s a n d d e s i g n e f f e c t i v e p r o g r a m s . M S U P r i m a r y C a r e F a c u l t y D e v e l o p m e n t F e l l o w s h i p - 1 9 9 2 3 2 2 A P P E N D I X G W h a t k i n d o f l n f o r r n a t i o n d o I g e t f r o m a n e e d s a s s e s s m e n t ? T h e g o a l o f a n e e d s a s s e s s m e n t i s t o o b t a i n f a c t s . o p i n i o n s a n d i d e a s a b o u t : y o u r l e a r n e r s ' c u r r e n t j o b p e r f o r m a n c e a n d w h e r e t h e y w o r k d e s i r e d p e r f o r m a n c e l e v e l s o r r e s u l t s — w h a t y o u r l e a r n e r s s h o u l d b e a b l e t o d o c a u s e s — w h a t y o u r l e a r n e r s a n d o t h e r s t h i n k i s c a u s i n g p r o b l e m s w i t h j o b p e r f o r m a n c e s o l u t i o n s — w h a t y o u r l e a r n e r s a n d o t h e r s t h i n k m i g h t s o l v e t h e p r o b l e m s ( I m p o r t a n t : t h e r i g h t s o l u t i o n s w i l l n o t a l w a y s b e e d u c a t i o n o r i n s t r u c t i o n a l i n t e r v e n t i o n . ) - i m p r e s s i o n s . r e a c t i o n s . o p i n i o n s a n d p r i o r i t i e s o f l e a r n e r s — r e a c t i o n s t o t h e s i t u a t i o n . t o t h e t o p i c a n d t o p a s t t r a i n i n g e x p e r i e n c e s : w h a t t h e y c o n s i d e r t o b e t h e i r m o s t u r g e n t a n d l e a s t i m p o r t a n t e d u c a t i o n a l n e e d s i m p r e s s i o n s . r e a c t i o n s . o p i n i o n s a n d p r i o r i t i e s o f o t h e r s w h o w i l l b e i n v o l v e d o r s o m e h o w a fl e c t e d b y t h e c u r r i c u l u m — s u c h a s a d m i n i s t r a t o r s . f a c u l t y , p a t i e n t s . e t c . O u r 4 - S t e p A p p r o a c h t o N e e d s A s s e s s m e n t C o n s i d e r t h e c o n t e x t a n d p e o p l e a f f e c t e d b y t h e c u r r i c u l u m . P l a n y o u r n e e d s a s s e s s m e n t . D e c i d e A . w h a t q u e s t i o n s t o a s k B . w h o t o a s k / w h a t t o l o o k a t ( s o u r c e s o f i n f o r m a t i o n ) C . h o w t o a s k t h e m ( t e c h n i q u e s ) . C o n d u c t y o u r n e e d s a s s e s s m e n t . A n a l y z e a n d c o m m u n i c a t e y o u r r e s u l t s . M S U P r i m u y C a r e F a c u l t y D e v e l o p m e n t F e l l o w s h i p - 1 9 9 2 3 3 2 3 A P P E N D I X G T o b e g i n t h e n e e d s a s s e s s m e n t p r o c e s s . b e g i n w i t h y o u r o w n o b s e r v a t i o n s . e x p e r i e n c e s . i n s t i n c t s a n d g u t f e e l i n g s a b o u t t h e p r o b l e m a n d t h e s i t u a t i o n . Y o u w i l l w a n t t o t h i n k i n t e r m s o f t h e g e n e r a l c o n t e x t o f t h e p r o b l e m o r r e q u e s t f o r a c u r r i c u l u m . a n d a b o u t t h e v a r i o u s p e o p l e w h o w i l l b e a fl ' e c t e d b y t h e s o l u t i o n s o r c u r r i c u l u m y o u e v e n t u a l l y i m p l e m e n t . a r r T h i n k a b o u t t h e C o n t e x t a n d P e o p l e q u e s t i o n s o n t h e f o l l o w i n g w o r k s h e e t . M a k e n o t e s o f y o u r r e s p o n s e s . M S U P r i m a r y C a r e F a c u l t y D e v e l o p m e n t F e l l o w s h i p - 1 9 9 2 3 2 4 A P P E N D I X G C o n t e x t a n d P e o p l e W o r k s h e e t A C o n t e x t 1 . D e s c r i b e i n g e n e r a l t h e e n v i r o n m e n t I n w h i c h t h i s p r o j e c t o c c u r s . 2 D e s c r i b e t h e p r o b l e m f r o m y o u r o w n p e r s p e c t i v e . 3 . W h y i s t h i s a p r o b l e m ? 4 . I n t h e o v e r a l l s c h e m e o f t h i n g s . h o w b i g o f a p r o b l e m i s t h i s ? ( I n o t h e r w o r d s . w h a t c o u l d h a p p e n i f t h i s p r o b l e m i s n o t a d d r e s s e d . ) 5 W i l l y o u r p r o j e c t b e a s o l u t i o n t o a p e r f o r m a n c e p r o b l e m ? o r a n e w s u b j e c t o r i n n o v a t i o n w h i c h i s b e i n g i n t r o d u c e d ? 6 . H o w m u c h s u p p o r t d o e s t h i s e n t i r e p r o j e c t h a v e ? D o e s t h e n e e d s a s s e s s m e n t a l s o h a v e s u p p o r t ? 7 . H o w m u c h t i m e d o y o u h a v e ? M S U P r i m a r y C a r e F a c u l t y D e v e l o p m e n t F e l l o w s h i p - 1 9 9 2 3 2 5 A P P E N D I X 6 C o n t e x t a n d P e o p l e W o r k s h e e t ( c o n t i n u e d ) P e o p l e A f f e c t e d W h o i s a f f e c t e d b y t h e p r o b l e m ? W h o m a y b e a f f e c t e d b y o r i n v o l v e d i n t h e p o t e n t i a l s o l u t i o n ( s ) . N o t e b e l o w a n y p o t e n t i a l s t a k e h o l d e r s o r y o u r b r o a d e r a u d i e n c e . W h o w a n t s t h i s p r o b l e m s o l v e d ( o r t h i s n e w s u b j e c t i n t r o d u c e d ) ? W h y ? W h o d o e s n ' t ? I s t h e r e a n y o n e w h o p r e f e r s f o r t h i n g s t o s t a y t h e s a m e ? W h y ? I f i t ' s a p r o b l e m . w h o m i g h t f e a r o r a t t e m p t t o b l o c k y o u r e f f o r t s t o f i n d t h e c a u s e s ( s ) o f t h e p r o b l e m ? I f i t i s a n e w s u b j e c t o r i n n o v a t i o n . w h o m i g h t n o t s u p p o r t t h e c h a n g e s t h a t w i l l b e r e q u i r e d ? W h o m u s t b e k e p t a b r e a s t o f y o u r fi n d i n g s ? W h o e l s e m i g h t w a n t t o k n o w ? W h o s h o u l d n o t k n o w — a t l e a s t a t f i r s t ? M S U P r i m a r y C a r e F a c u l t y D e v e l o p m e n t F e l l o w s h i p . 1 9 9 2 6 3 2 6 A P P E N D I X G N o w t h a t y o u h a v e c o m p l e t e d t h e S t e p # 1 o f y o u r n e e d s a s s e s s m e n t . y o u a r e p r o b a b l y b e g i n n i n g t o g e t a n i d e a o f s o m e t h i n g s y o u w i l l w a n t t o fi n d o u t o r v e r i f y b e f o r e y o u d e v e l o p y o u r c u r r i c u l u m . A s y o u b e g i n t o c o n d u c t y o u r n e e d s a s s e s s m e n t a n d d i s c o v e r h o w t h e s i t u a t i o n l o o k s f r o m o t h e r p e o p l e s ' p e r s p e c t i v e s . y o u m a y fi n d t h a t y o u r i m p r e s s i o n s w i l l c h a n g e . B u t f o r n o w . w h a t y o u ' v e w r i t t e n o n t h e C o n t e x t a n d P e o p l e W o r k s h e e t w i l l s e r v e a s t h e b a s i s f o r y o u r n e x t s t e p — p l a n n i n g t h e n e e d s a s s e s s m e n t . m m B e g i n p l a n n i n g y o u r n e e d s a s s e s s m e n t b y c o n s i d e r i n g w h a t q u e s t i o n s y o u w a n t t o a s k . B a s e d o n R o s s e t t ' s w o r k . n e e d s a s s e s s m e n t q u e s t i o n s s e e m t o f i t w e l l i n t o s i x c a t e g o r i e s : a . W h a t i s t h e c u r r e n t p e r f o r m a n c e o f y o u r l e a r n e r s ? ( a c t u a l s ) W h a t l e v e l o f p e r f o r m a n c e d o w e w a n t ? ( o p t i m a l s ) c . W h a t a r e t h e c a u s e s o f t h e p r o b l e m ? ( 1 . W h a t a r e p o t e n t i a l s o l u t i o n s t o t h e p r o b l e m ? e . W h a t a r e t h e i m p r e s s i o n s . o p i n i o n s , r e a c t i o n s a n d p r i o r i t i e s o f p e o p l e a f f e c t e d b y t h e c u r r i c u l u m ? f . D o e s d e m o g r a p h y . p o s i t i o n o r s i t u a t i o n i n fl u e n c e t h e r e s p o n d e n t s ' a n s w e r s ? T h e f o l l o w i n g l i s t o f s a m p l e q u e s t i o n s i s i n t e n d e d t o g u i d e y o u a s y o u c o n s i d e r q u e s t i o n s f o r y o u r o w n n e e d s a s s e s s m e n t . M S U P r i m a r y C a r e F a c u l t y D e v e l o p m e n t F e l l o w s h i p - 1 9 9 2 7 3 2 7 A P P E N D I X G S a m p l e N e e d s A s s e s s m e n t Q u e s t i o n s a . W h a t i s t h e c u r r e n t p e r f o r m a n c e o f y o u r l e a r n e r s ? ( o c t u a l s ) F i n d p r o o f o f w h a t t h e s t u d e n t s / r e s i d e n t s ! l e a r n e r s k n o w a n d c a n d o . ( T h i s i s t h e o n l y t y p e o f n e e d s a s s e s s m e r x q u e s t i o n w h e r e o p i n i o n s a n d i n p r e s s i o n s d o n ' t c o u r t . U s e t h i s i n f o r m a t i o n t o d e t e r m i n e w h e t h e r o r n o t p o t e n t i a l l e a r n e r s k n o w w h a t t h e y s h o u l d l m o w a n d w h e t h e r o r n o t l e a r n e r s a r e t r u t h f u l . ) C a n l e a m e r s d o w h d t h e y s a y t h e y c a n d o ? I s t h e r e a p r o b l e m ? W h a t i s g o i n g o n t l n t i s a p r o b l e m ? W h a t e r r o r s a r e o c c u ' r i n g ? W h a t e r e s o m e p r o b l e m s w i t h _ _ _ ? W h a t a r e a s o f n e e d i m p r o v e m e n t ? W h e r e s h o u l d a t t e n t i o n b e f o c u s e d d u r i n g t h e n e e d s a s s e s s m e n t ? W h o t h i n k s t h e r e a r e p r o b l e m s ? W h o d o r b t s t h e r e a r e p r o b l e m s ? b . W h a t l e v e l o f p e r f o r m a n c e d o w e w a n t ? ( o p t i m a l s ) W h a t o u g h t t o b e g o i n g o n ? W h a t a r e t h e d e s i r e d o u t c o m e s o r r e s u l t s ? W h a t s t a n d a r d s s h o u l d t h e l e a m e r s b e m e e t i n g ? W h a t c o n s t i t u t e s a g o o d ? W h a t i s g o o d a b o u t ? W h a t c h a n g e s i n t e c h n o l o g y w i l l d e m a n d n e w k n o w l e d g e . s k i l l s o r a t t i t u d e s ? W h o i s c o m m i t t e d t o m a k i n g t h e o p t i m a l o c c u r ? ( i . e . . m a k i n g c h a n g e s o r i m p l e m e n t i n g n e w 9 ' 0 9 “ “ ) W h a t c o m m u n i t y e x p e c t a t i o n s m u s t b e m e t ? I f ' n s t n r c t i o n i s t h e b e s t s o l u t i o n t o t h e p r o b l e m . w h e r e s h o u l d a t t e n t i o n b e f o c u s e d d u r i n g i n s t n t c t i o n ? c . W h a t a r e t h e c a u s e s o f t h e p r o b l e m ? W h a t i s c r e a t i n g o r c o n t r i b u t i n g t o t h e p r o b l e m o r d i s c r e p a n c y ? W h a t d o s o u r c e s t h i n k i s c a u s i n g t h e p r o b l e m ? O f t h e p o s s i b l e c a u s e s o f p r o b l e m s . w h a t o r w h i c h i s a c t u a l l y c a u s i n g t h i s p r o b l e m ? W h a t a r e s o m e p r o b l e m s w i t h _ _ _ _ ? W h a t a r e t h e i n c e n t i v e s f o r d o i n g i t r i g h t ( o r t h e ' n e w ' w a y ) ? W h a t a r e t h e i n c e n t i v e s f o r d o i n g i t w r o n g ( o r t h e ' o l d ' w a y ) ? d . W h a t a r e p o t e n t i a l s o l u t i o n s t o t h e p r o b l e m ? I f t h e l e a r n e r s a l r e a d y k n o w t h e k n o w l e d g e o r s k i l l s . w h a t c a n b e d o n e t o s o l i c i t o r i m p r o v e t h e i r p e r f o r m a n c e ? I f t h e b e s t s o l u t i o n i s i n s t r u c t i o n . e x p l o r e t h e f o l l o w i n g i s s u e s : - W h a t w i l l t h e y d o a n d w h a t w o n ‘ t t h e y d o t o l e a r n t h e d e s i r e d k n o w l e d g e o r s k i l l s ? - W h a t t e a c h i n g s t r a t e g i e s m i g h t w o r k b e s t w i t h t h i s g r o u p o f l e a r n e r s ? - W h a t t e a c h i n g s t r a t e g i e s s h o u l d b e a v o i d e d w i t h t h i s g r o u p o f l e a r n e r s ? M S U P r i m a r y C a r e F a c u l t y D e v e l o p m e n t F e l l o w s h i p - 1 9 9 2 3 2 8 A P P E N D I X G e . W h a t a r e t h e i m p r e s s i o n s . o p i n i o n s , r e a c t i o n s a n d p r i o r i t i e s o f p e o p l e a f f e c t e d b y t h e c u r r i c u l u m ? E x p l o r e r e a c t i o n s t o t h e t o p i c ( s k i i l s . b o d y o f k n o w l e d g e . r e s p o n s b i l i t y . t a s k ) . C h e c k f o r r e a c t i o n s t o t r a i n i n g r e l a t e d t o t h e t o p i c ( p a s t . p r e s e n t . p o t e n t i a l ) . H o w b i g a p n ' o r i l y i s t h i s t o a l o f y o t r s o u c e s ? - C h e c k p e r c e p t i o n s o f i t s p r i o r ' t y i n r e l a t i o n t o o t h e r t o p i c s . - C h e c k p e r c e p t i o n s o f p r i o r i t y o f s u b - t o p i c s . D e t e r m i n e c o n f i d e n c e r e l a t e d t o t h e t o p i c . - D o t r a i n e e e f e e l t h e y a r e a b l e t o l e a m t h e s t b j e d o r s k i l ( s ) ? - D o f a c u l t y f e e l c o m p e t e n t t o m o d e l t h e n e c e s s a r y s k i l l s a n d / o r a t t i t u d e s ? W h m a r e t h e i n c e n t i v e s f o r d o i n g i t r i g h t ( o r t h e ' n e w ' w a y ) ? W h a t a r e t h e i n c e n t i v e s f o r d o i n g i t w r o n g ( o r t h e ' o l d ‘ w a y ) ? t . D o e s d e m o g r a p h y , p o s i t i o n o r s i t u a t i o n i n f l u e n c e t h e r e s p o n d e n t s ' a n s w e r s ? B e s u r e t o o n l y a s k d e m o g r a p h i c i n f o r m a t i o n t h a t i s r e l e v a n t t o y o u r n e e d s a s s e s s m e n t p u r p o s e s . W h o a r e t h e r e s p o n d e n t s ? Y e a r i n p r o g r a m ? E x p e r t i n t h e s u b j e c t m a t t e r ? F a c u l t y ? G r a d u a t e ? A d m i n i s t r a t i v e r e s p o n s i b i l i t y ? O R K S H P A K # 2 y o u r o w n p r o b l e m . M S U P r i m a r y C a r e F a c u l t y D e v e l o p m e n t F e l l o w s h i p - 1 9 9 2 L o o k t h r o u g h t h e S a m p l e Q u e s t i o n s a n d m a k e n o t e s o n t h e N e e d s A s s e s s m e n t P l a n n i n g W o r k s h e e t a b o u t q u e s t i o n s r e l a t e d t o 3 2 9 A P P E N D I X G N e e d s A s s e s s m e n t P l a n n i n g W o r k s h e e t Q u e s t i o n s S o u r c e s T e c h n i q u e t s ) M S U P r i m a r y C a r e F a c u l t y D e v e l o p m e n t F e l l o u s h i p - 1 9 9 2 1 0 3 3 0 A P P E N D I X G W W I I T h e r e a r e t w o d i f f e r e n t k i n d s o f s o u r c e s : p e o p l e a n d d o c u m e n t a t i o n . Y o u w i l l w a n t t o c o n s i d e r u s i n g b o t h i n y o u r n e e d s a s s e s s m e n t . B e a n i e T o d e t e r m i n e w h o c a n b e s t p r o v i d e y o u i n f o r m a t i o n . t h e k e y q u e s t i o n s t o a s k y o u r s e l f a r e : - W h o i s a f f e c t e d b y t h e p r o b l e m ? 0 W h o m a y b e a fi ' e c t e d o r i n v o l v e d i n t h e p o t e n t i a l s o l u t i o n ( s ) ? T h e p e o p l e w h o a r e t h e m o s t c r e d i b l e s o u r c e s o f i n f o r m a t i o n a r e c l o s e t o t h e p r o b l e m . F o r t h i s r e a s o n s o m e o r a l l o f t h e f o l k s y o u l i s t e d o n y o u r C o n t e x t a n d P e o p l e W o r k s h e e t w i l l b e l o g i c a l s o u r c e s . P e o p l e w h o c a n p r o v i d e a n s w e r s t o y o u r q u e s t i o n s m a y b e a n y o f t h e f o l l o w i n g : 0 l e a r n e r s ( s t u d e n t s . r e s i d e n t s . f a c u l t y . p r o g r a m p a r t i c i p a n t s ) 0 s t a fi ' l c o l l e a g u e s i n v o l v e d i n p r o g r a m 0 a d m i n i s t r a t o r s ( p r o g r a m o r i n s t i t u t i o n l e a d e r s t o w h o m y o u m u s t r e s p o n d ) - v o l u n t e e r p r e c e p t o r s 0 s u b - s p e c i a l i s t c o n s u l t a n t s - a t t e n d i n g p h y s i c i a n s 0 o t h e r f a c u l t y - n u r s i n g a n d o t h e r c l i n i c a l / h o s p i t a l s t a f f 0 c o m m u n i t y o r a g e n c y r e p r e s e n t a t i v e s 0 r e c e n t g r a d u a t e s ( e s p e c i a l l y f o r a s k i n g a b o u t r e a l w o r l d p e r f o r m a n c e ) 0 c u r r e n t o r f u t u r e e m p l o y e r s o f l e a r n e r s 0 c u r r e n t o r f u t u r e p a t i e n t s o f l e a r n e r s 0 o t h e r s ? T h i n k i n t e r m s o f t h e a c c e s s i b i l i t y o f y o u r p e o p l e s o u r c e s . i . e . . w h e n t o r e a c h t h e m : t h e b e s t w a y t o a p p r o a c h t h e m : a n d w h e t h e r o r n o t y o u w i l l b e a b l e t o g o b a c k t o t h e m a g a i n a s y o u l e a r n m o r e a n d g e n e r a t e m o r e q u e s t i o n s . T h e n u m b e r o f i n d i v i d u a l s t o i n v o l v e i n t h e n e e d s a s s e s s m e n t d e p e n d s o n t w o t h i n g s : ( 1 ) w h e t h e r y o u c a n g e t t h e i n f o r m a t i o n y o u s e e k f r o m i n - d e p t h c o n t a c t w i t h s m a l l n u m b e r s : a n d ( 2 ) h o w m u c h i n f o r m a t i o n a n d c o n f i r m a t i o n y o u n e e d t o f e e l c o n f i d e n t a n d t o c o n v i n c e o t h e r s . M S U P r i m a r y C a r e F a c u l t y D e v e l o p m e n t F e l l o w s h i p - 1 9 9 2 1 7 » s ‘ 3 9 ? - 9 9 * " - P U P ” 3 3 1 A P P E N D I X G W C o n s i d e r t h e f o l l o w i n g m a t e r i a l s a s s o u r c e s o f i n f o r m a t i o n f o r y o u r n e e d s a s s e s s m e n t : 0 W h a t r e c o r d s ( c . g . . p r e v i o u s f a c u l t y . l e a r n e r o r r o t a t i o n / c l e r k s h i p e v a l u a t i o n s m i g h t p r o v i d e u s e f u l i n f o r m a t i o n ? W i l l t h e y b e a c c e s s i b l e ? 0 A r e t h e r e s t a n d a r d s o r g u i d e l i n e s t o b e m e t ? W h a t h e l p i s a v a i l a b l e f r o m t h e b o a r d s o r o r g a n i z a t i o n s w h o s e t t h o s e s t a n d a r d s ? 0 W h a t l i t e r a t u r e w i l l y o u e x a m i n e ? o A r e t h e r e o t h e r p r o g r a m s w h e r e t h i s p r o b l e m o r s u b j e c t h a s b e e n a d d r e s s e d s u c c e s s f u l l y ? W h o c o u l d y o u t a l k t o a b o u t t h e i r e x p e r i e n c e ? " m m L o o k t h r o u g h t h e a b o v e s u g g e s t i o n s a n d q u e s t i o n s a b o u t p o s s i b l e s o u r c e s o f i n f o r m a t i o n . M a k e n o t e s i n t h e S o u r c e s c o l u m n o n t h e N e e d s A s s e s s m e n t P l a n n i n g W o r k s h e e t a b o u t w h e r e y o u ' l l l o o k f o r a n s w e r s t o y o u r q u e s t i o n s . W i g n e r A n e e d s a s s e s s m e n t m a y i n v o l v e a n u m b e r o f q u e s t i o n i n g t e c h n i q u e s . S o m e m e t h o d s a r e m o r e u s e f u l . e f f i c i e n t a n d e f f e c t i v e t h a n o t h e r s . d e p e n d i n g o n y o u r q u e s t i o n s . N i n e p o s s i b l e n e e d s a s s e s s m e n t t e c h n i q u e s w i l l b e d e s c r i b e d n e x t . w i t h s u g g e s t i o n s a b o u t a d v a n t a g e s a n d l i m i t a t i o n s t o c o n s i d e r . G u e s s a t N e e d s . C a u s e s a n d S o l u t i o n s A n a l y z e E x i s t i n g D a t a O b s e r v e L e a r n e r P e r f o r m a n c e D o S t r u c t u r e d I n t e r v i e w s ( i n p e r s o n o r b y t e l e p h o n e ) R e v i e w L i t e r a t u r e A s k t h e E x p e r t s O b s e r v e E x c e l l e n t P e r f o r m e r s D o W r i t t e n S u r v e y s C o n d u c t G r o u p M e e t i n g s M S U P r i m a r y C a r e F a c u l t y D e v e l o p m e n t F e l l o w s h i p - 1 9 9 2 7 2 3 3 2 A P P E N D I X G P o s s i b l e N e e d s A s s e s s m e n t T e c h n i q u e s T e c h n i q u e A d v a n t a g e s L i m i t a t i o n s a . G u e s s a f N e e d s . C o u s e s a n d G u e s s i n g c a n b e t h e q u i c k e s t Y o u ' e x p e r i e n c e s m a y n o t b e S o l u t i o n s a n d e a s i e s t w a y t o c o r r p l e t e a r e p r e s e n t a t i v e o f t h e e n t i r e g r o t p . n e e d s a s s e s s m e n t . G u e s s i n g o r r n a y r n i s s t h e n e e d s o f a p o r t i o n W M W M i fl O W H r n a y b e s u f t i c i e n t f o r y o u r t o p i o — o f t h e a u d i e n c e . Y o u r c o n c l u s i o n s m m ‘ y o u b e u w a g o b e t h . y o u m a y k n o w b e t t e r t h a n r n a y b e w r o n g . T h r s m e t h o d a l s o m s d t h a n - ‘ e n . U s e y o u r a n y o n e e l s e w h a t t h e l e a r n e r s o f f e r s n o d a t a t o b a c k u p y o u r o w n g m o b s e r v a t i o n s o r n e e d t o l e a r n . o r a t l e a s t b e b e t t e r p l a n n i n g d e c i s i o n s . s o y o u r r e p o r t s o f o t h e r s t o v e r i f y t h e a b l e t o a r t i c u l a t e t h o s e n e e d s . p r o g r a m m a y l a c k c r e d b i r t y a m o n g n e e d s y o u h a v e s t a t e d . M e t h o d Y o u m a y a l s o h a v e t h e t h e p u m a ! l e a r n e r s - c a n b e u s e d f o r A L L n e e d s a d ' fl ' m ‘ m ' W 3 9 W “ I ‘ d / 0 ' a s s e s s m e n t q u e s t i o n s . 9 0 m ! d 0 “ ‘ 0 ' " l e m m y e d u c a t i o n a l p r o g r a m y o u w a n t . b . A n d y z e E x l d ' t h a t a l t e x i s t i n g d a t a i s a v a i l a b l e . ’ t c a n T h i s k i n d o f i n f o r r n a t i o n m a y n o t b e s a v e y o u t i m e b y p r o v i d i n g s o m e v a l i d f o r a s p e c i f i c g r o u p o f l e a r n e r s . S t r a t e g i e s h e r e i n o j u d o r e v i e w i n g f o r m o f o b j e c t i v e i n f o r m a t i o n t h a t T h e s e k i n d s o f r e c o r d s m a y n o t c a n b e e a s y t o r e p o r t . T h i s k i n d o f d a t a i s u s u a l l y e a s i l y u n d e r s t o o d b y a d m i n i s t r a t o r s . o t h e r f a c u l t y a n d l e a r n e r s . T e s t r e s u l t s a r e u s e f u l a s d i a g n o s t i c p r o - i n s t r u c t i o n o r p o s t - i n s t r u c t i o n p a r t i c i p a n t s u r v e y s . l o o k i n g a t p a s t r e c o r d s o f o f f e r i n g s i m i l a r s u b j e c t s t o t h e s a m e t y p e o f l e a r n e r s . b o l t i n g a t B o a r d s c o r e s o r r e s u l t s o f s h o w c a u s e s o f p r o b l e m s o r p o t e n t i a l s o l u t i o n s . T h e y a l s o m a y n o t r e f l e c t c u r r e n t c h a n g e s o r n e w n e e d s i n t h e m e d i c a l p r o f e s s i o n s o r h e a l t h c a r e e n v i r o n m e n t . T e s t s o t h e r l e a r n e r e x a m i n a t i o n s i n t o o l s t o i d e n t i f y s p e c i f i c a r e a s o f v a l i d a t e d f o r m a r r y s p e c i f i c r e l a t e d a r e a s . o r d o i n g c h a r t d e f i c i e n c i e s . a n d c a n b e h e l p f u l s i t u a t i o n s a r e o f t e n n o t a v a i l a b l e . r e v i e w s t o s e e i f l e a r n e r s h a v e i n d e t e r m i n i n g w h i c h p o t e n t i a l a n d t e s t s v a l i d a t e d e l s e w h e r e m a y d o c u m e n t e d c l i n i c a l g a i t / m o o l e a r n e r s c a n m o s t p r o f i t a b l y b e n o t b e v a l i d i n n e w s i t u a t i o n s . T e s t M e t h o d a p p r o p r j o t o f o r t r a i n e d r e s u l t s g i v e c l u e s . b u t a r e n o t d e t e r m i n i n g C U R R E N T c o n c l u s i v e ; t h e y a r e o n l y s e c o n d - P E R F O R M A N C E . b o d e v i d e n c e o f r e a l p e r f o r m a n c e . c . O b s e r v e L e a n e r T h i s i s t h e m o s t d i r e c t f o r m o f T i m e - c o n s u m i n g . s o y o u ‘ l l b e a b l e P e r f o r m a n c e n e e d s a s s e s s m e n t . R e s u l t s a r e t o o b s e r v e o n l y a l i m i t e d s a n p l e . s y s t e m a t i c . r e l i a b l e . v a l i d a n d C a n b e o b t r u s i v e — y o u r p r e s e n c e T h e g m j e g y i s j g w a t c h p o t e n t i a l b e l i e v a b l e . E x i s t i n g n o r m s m a y a f f e c t l e a m e r s ' p e r f o r m a n c e . ( a c t u a l p e r f o r m a n c e ) c a n b e i d e n t i f i e d . T h e e f f e c t i v e n e s s o f c u r r e n t t r a i n i n g m a y b e o b s e r v e d . a n d r e a l e x a m p l e s f r o m t h e o b s e r v a t i o n s c a n b e u s e d i n t e a c h i n g n e w s k i l l s o r c o n t e n t . I n c r e a t i n g t h e o b s e r v a t i o n c h e c k l i s t . t h i s p r o c e s s a l s o b r e a k s d o w n p r o c e d u r e s . t e c h n i q u e s a n d b e h a v i o r s i n t o m a n a g e a b l e s e g m e n t s f o r t e a c h i n g a n d e v a l u a t i o n p u r p o s e s . l e a r n e r s ' n a r e a l s ' s u a t i o n . t a k e n o t e s a n d a n a l y z e l a t e r f o r p r o b l e m a r e a s . I t i s u s u a l l y m o s t e f f e c t i v e t o d e v e l o p a c h e c k l i s t o f i d e a l p r o c e d u r e s . t e c h n i q u e s o r b e h a v i o r s p r i o r t o o b s e r v a t i o n . t h e n s e e h o w m a n y i t e m s a r e m e t . M e t h o d a p p r o p r i a t e f o r d e t e r m i n i n g C U R R E N T P E R F O R M A N C E . U s i n g a c h e c k l i s t m a y l i m i t y o u o b s e n r a t i o n s t o a p r e c o n c e i v e d s e t o f p r o b l e m s . M S U P r i m a r y C a r e F a c u l t y D e v e l o p m e n t F e l l o w s h i p - 1 9 9 2 1 3 3 3 3 A P P E N D I X G T e c h n i q u e A d v a n t a g e s L i r n i t a i i o n s d . D o S l l u c i L l e d l n t e r v l e w s m T h i s i s t h e b e s t w a y t o fi n d o u t C a n b e t i r n e - c o n s u m i n g . s o y o u ‘ l p e r s o n o r b y f e l e p h o n e ) a b o t s p e o p l e s ' p e r m p t i o n s o f b e a b i e t o r e a c h r e l a t i v e t y f e w t h e i r p e r f o r m a n c e n e e d s . p e o p l e . Y o u c o u p l e s i z e w i l l l i s t o t ' y o u p r i o r i t i e s a n d i e a m i n g d e t e r m i n e h o w g e n e r a l i z a b i e y o t t “ W S W " m m k i n d . o f p r e f e r e n c e s ' n t h e i r o w n w o r d s . c h t a i s . P a r t n p a r s s ' ' r m y f e e l t h e y i m m i e w c a n b e d o n e b y C a u s e s a n d p o s s b l e s o l u t i o n s a r e ' o n - t h e - s p o t ' a n d m a y n o t f e e l t e l e p h o n e o r i n p e r s o n . M e t h o d a r e a l s o e a s y t o o b p i n . l t i s a l r e e t o t e l l t h e t r u t h a s t h e y a p p r o p r i a t e f o r r h u m j n j n g s y s t e m a t i c a n d v a l i d p e r c e i v e i t . L e a r n e r s w h o h a v e C U R R E N T P E R F O R M A N C E , t h a t c a n a l a o a l l o w f o r f o l l o w - r p e x t r e r n e i e a m i n g n e e d s ' m a g i v e n c a u s e s , S O L U T I O N S a n d c a l l s t o a s k o t h e r q u e s t i o n s o r a r e a m y n d b e a b l s t o a n ' n u a t e F E E L I N G S I P R I O R I T I E S . v a d v a n s w e r s a s y o u l o a m m o r e . t h o s e n e e d s . e . R e v i e w L i t e r a t u r e F o r y o u r c u r r i c u l u m . t w o t y p e s o f l i t e r a t u r e m u s t b e e x p l o r e d . T h e f i r s t t y p e i s l i t e r a t u r e r e l a t e d t o s u b j e c t m a t t e r a n a l y s i s — r e a d i n g a b o u t h e a l t h c a r e t r e n d s . i s s u e s . d e v e l o p m e n t s . n e w p r o c e d u r e s a n d m e t h o d s o f p r a c t i c e t o i n f e r l e a r n i n g n e e d s . c a u s e s a n d s o - l u t i o n s . a s w e l l a s t o p r i o r i t i z e c o n t e n t i n t h e c u r r i c u l u m . T h e s e c o n d t y p e o f l i t e r a t u r e i s e q u a l l y i n p o r t a n t . i t i n v o l v e s s e a r d ' t i n g a n d a n a l y z i n g l i t e r a t u r e r e l a t e d t o d e v e l o p m e n t a n d e v a l u a t i o n o f o t h e r c u r r i c u l a o r p r o g r a m s i n y o u r c o n t e n t a r e a a n d / o r w i t h s i m i l a r k i n d s o f I e a m e r s . M e t h o d a p p r o p r i a t e f o r d e t e r m i n i n g D E S I R E D P E R F O R M A N C E a n d S O L U T I O N S . T h i s ' 3 a n e a s y w a y t o s u m m a r i z e n e w c o n t e n t o r s k i l l s n e e d e d b y p r a c t i c i n g p h y s i c i a n s . A t t h e n e e d s a s s e s s m e n t o r p r e - p l a n n i n g s t a g e o f d e v e l o p i n g m e d i c a l e d u c a t i o n p r o g r a m s . t h e s u b j e c t m a t t e r l i t e r a t u r e r e v i e w i s m o s t v a l u a b l e i n d e t e r m i n i n g h o w t o p h r a s e n e e d s a s s e s s m e n t q u e s t i o n s t o b e a s k e d o f p o t e n t i a l l e a m e r s a n d o t h e r s . T h e m e d i c a l e d u c a t i o n l i t e r a t u r e c a n k e e p y o u f r o m ' r e i n v e n t i n g t h e w h e e l . ‘ b y h e l p i n g y o u f i n d o u t a b o u t e x i s t i n g p r o g r a m s o r s e e t h e r e s u l t s o f s t r a t e g i e s y o u m a y o r m a y n o t c h o o s e t o t r y i n y o u r o w n p r o g r a m . J o u m a i s . r e s e a r c h r e p o r t s o r b o o k s m a y n o t r e f l e c t c u r r e n t s i t u a t i o n s o r a l l o w f o r r e c e n t c h a n g e s . a n d t h e y m a y n o t b e d i r e c t l y r e l a t e d t o t h e t o p i c a t h a n d . P u b l i s h e d l i t e r a t u r e o n s u b j e c t m a t t e r i s u s u a l l y n o t s p e c i f i c t o t h e p o t e n t i a l a u d i e n c e o f e d u c a t i o n a l p r o g r a m s . N o r m s a t o t h e r l o c a t i o n s m a y b e d i f f e r e n t . P u b l i s h e d l i t e r a t u r e o n o t h e r c u r r i c u l a i s n o t n e c e s s a r i l y s p e c i f i c t o y o u r l e a r n e r s o r s i t u a t i o n . I t c a n a l s o b e d i f f i c u l t t o f i n d a n y l i t e r a t u r e s p e c i f i c t o c u r r i c u l u m d e v e l o p m e n t o r p r o g r a m s r e l a t e d t o y o u r s t b j e c t a r e a . M S U P r i m a r y C a r e F a c u l t y D e v e l o p m e n t F e l l o w s h i p - 1 9 9 2 1 4 M S U P r i m a r y C a r e F a c u l t y D e v e l o p m e n t F e l l o w s h i p - 1 9 9 2 3 3 4 A P P E N D I X G T x h fl M u e A d v a n t a g e s L i m i t a t i o n s f . A s k f h e E x p e r f s T h ' e ' e a w a y i o t r a c k d o w n N o r m s a t o t h e r i o c a t i o n s r m y b e ‘ f u g i t i v e ' l i t e r a t u r e . s u c h a s d i f f e r e n t . A l s o . a n e x p e r t i n t h e T h i s i s a n o t h e r t e c h n i q u e f o r b o t h u n p u b l i s h e d c u r r i c u l a o r t e a c h i n g c o n t e n t m a y n o t b e a b l e t o s o r t o t s a b j e c t M fl m a r fl l u m m a t e r i a i s a v a i l a b l e o n i y t h r o u g i t h e e s s e n t i a l s f r o m c o n t a n t w h r c h i s m e m b r p r o g m m m t h e d e v e l o p e r s o r s p o n s o r i n g n o t s o r r r p o n a m t o y o u r l e a m e r s ‘ s e t t h g s . C a l l o r W w i t h i n s t i t u t i o n s . i m m e d i a t e n e e d s . s i b j e c t m a t t e r e x p e r t s . i . e . . p e o p l e w h o c u r r e n t l y p r a c t i c e . d o r e s e a r c h a n d / o r t e a c h i n g i n y o u r f i e l d . a n d a r e r e c o g n ' z e d i n t h e l i t e r a t u r e o r b y p e e r s a s e x p e r t s . O r c o n t a c t f a c u l t y i n o t h e r i n s t i t u t i o n s w h o h a v e d e v e l o p e d a n d i m p l e m e n t e d c u r r i c u l a i n y o u r c o n t e n t a r e a w i t h s i m i l a r a u d i e n c e s . C a n a l s o m e a n a t t e n d i n g c o n f e r e n c e s o r o t h e r p r o f e s s i o n a l m e e t i n g s w h e r e t h e s e p e o p l e m i g h t b e f o u n d . M e t h o d a p p r o p r i a t e f o r d e t e r m i n i n g D E S I R E D P E R F O R M A N C E a n d S O L U T I O N S . 9 . O b s e r v e E x c e l l e n t S i n c e m a n y e x c e l l e n t p e r f o r m e r s S i n c e m a n y e x c e l l e n t p e r f o r m e r s P e r f o r m e r s c a n n o t e x p l a i n e x a c t l y h o w t h e y c a n n o t s a y e x a c t l y w h a t o r h o w t h e y d o w h a t t h e y d o . i t ' s i r r p o r t a n t t o d o m a y d o t t i n a t m a m : k b e r t i h i f f i c u i t fi n d p g o p j g w h o m m w a t c h t h e m a s t h e y p e r f o r r n a n d t o s e e i i s a s e r r m . t o p ” f r o m “ i n y o u r a s : m a k e n o t e s a b o u t t h e i r m e t h o d s s u c c e s s f u l . E x c e l l e n t s m u g , T h i s i s s j m j j a , t o a g m . t e c h n i q u e o r s t e p s . Y o u m a y a l s o p e r f o r m e r s m a y a l s o b e a b l e t o t a k e p r o c e s s c a l l e d C r i t i c a l I n c i d e n t T e c h n i q u e ; t h e g o a l i s t o i d e n t i f y e v e n t s t h a t r e s u l t i n e s p e c i a l l y g o o d o r b a d o u t c o m e s . M e t h o d a p p r o p r i a t e f o r d e t e r m i n i n g D E S I R E D P E R F O R M A N C E . a s k t h e p e r f o r m e r ( s ) t o d i s c u s s t h e i r c r i t e r i a f o r ' g o o d ' a n d ‘ b a d ' p e r f o r m a n c e s o r p r o d u c t s . s h o r t c u t s t h a t y o u a r e n ‘ t a w a r e o f a n d t h e y m i g h t n o t d e s c r i b e . N o v i c e s m a y n o t h a v e t h e j u d g n e n t o r a b i l i t y t o t a k e a s i m i l a r s h o r t c u t . h . b e W r i t t e n S u r v e y s P r i n t a s u r v e y f o r m a n d s e n d t o a s a r r p l e o r a l l o f t h e a u d i e n c e . M e t h o d a p p r o p r i a t e f o r d e t e r m i n i n g C A U S E S . S O L U T I O N S , a n d F E E L I N G S / P R I O R I T I E S . C a n o b t a i n a s y s t e m a t i c a n d l a r g e s a m p l e o f t h e p o p u l a t i o n t o b e s e r v e d b y y o u r p r o g r a m . I n f o r m a t i o n c a n e a s i l y b e s u m m a r i z e d . I f a n o n y m o u s . p a r t i c i p a n t s c a n e x p r e s s t h e m s e l v e s w i t h o u t f e a r . C a n b e c o n d u c t e d b y o t h e r s . R e q u i r e s c a r e f u l p h r a s i n g o f t h e q u e s t i o n s . a n d p r o c e s s s h o u l d i n c l u d e a p i l o t w i t h s a m p l e o f a u d i e n c e . I n f o r m a t i o n w h i c h i s c o l l e c t e d i s l i m i t e d t o q u e s t i o n s o n t h e s u r v e y . s o f o l l o w - u p t o o b t a i n f u r t h e r v e r i f i c a t i o n a n b e d i f f i c u l t . N o n - r e s p o n d e n t s m a y b e d i f f e r e n t f r o m r e s p o n d e n t s ( a n d m a y w e l l b e t h e I e a m e r s w i t h t h e m o s t l e a r n i n g n e e d s ) 1 5 3 3 5 A P P E N D I X G T e c h n i q u e A d v a n t a g e s L i m i t a t i o n s l . C o n d i c h I o t p u e e f h g s S a r n e a s f o r i n d i v i d u a l i r ' r t e n r i e w s . T h i s m e t h o d i s t i m e - c o n s u n i n g a n d p l u s p e r m i t s s y n t h e s i s o f i n i t i a l l y e x p e n s i v e . M a n y p h y s i c i a n s B r h g t o g e r h e r g r o u p e o t m i n d r f f e r e n t v r e w p o i n t s . C a n . m y t e e l t o o b u s y t o p a r t r c r p a t e . t h e f i e l d . p o t e n t i a l I e a m e r s a n d / o r e p r o m o t e g e n e r a l u n d e r s t a n d i n g T h e r e s u l t s m a y b e d r f f i c u i t t o ‘ t a s k f o r c e ' o f c o n v n u n i t y m e n t o r s a n d a g r e e m e m . a n d b y “ ? Q M “ ) ! - o r f a c u l t y w h o h a v e d i f f e r e n t s u p p o r t f o r n e e d e d t r a m s T h o p e r s p e c t i v e s o n t h e p r o b l e m . A s k g t o u p m o o t h e i s . i n i t s o l f . o o o d n e e d s a s s e s s m e n t q u e s t i o n s i n a n t r a m r n g . o p e n - e n d e d w a y a n d f a c i l i t a t e d i s c u s s i o n a m o n g g r o u p m e r r b e r s . R e c o r d t h e i r i d e a s . M e t h o d a p p r o p r i a t e f o r d e t e r m i n i n g D E S I R E D P E R F O R M A N C E . C A U S E S . S O L U T I O N S , a n d F E E L I N G S I P R I O R I T I E S . I n a d d i t i o n t o y o u r s p e c i fi c q u e s t i o n s . s o m e u s e f a c t o r s s h o u l d b e c o n s i d e r e d a s y o u d e t e r m i n e w h i c h t e c h n i q u e s w i l l w o r k b e s t f o r y o u r n e e d s a s s e s s m e n t . T h e s e i n c l u d e o a n o n y m i t y o f s o u r c e s 0 c o s t 0 o p p o r t u n i t y t o a s k f o l l o w - u p q u e s t i o n s 0 r e s p o n s e r a t e 0 c a s e o f a n a l y s i s 0 r i s k ( T e c h n i q u e s s u c h a s g r o u p m e e t i n g s a n d s u r v e y s o f l a r g e n u m b e r s o f p e o p l e c a n b e r i s k y . W i t h e i t h e r t e c h n i q u e . y o u c a n e x p o s e y o u r s e l f t o a g o o d d e a l o f c r i t i c i s m . I n a g r o u p m e e t i n g . i t ' s p o s s i b l e t h a t d i f f e r e n t p a r t i e s m a y n o t b e a b l e t o a g r e e o n a n y t h i n g — - s o w h a t e v e r y o u d o w i t h t h e i n f o r m a t i o n m a y a n t a g o n i z e o n e s i d e o r t h e o t h e r . ) N e v e r u s e j u s t o n e i n f o r m a t i o n g a t h e r i n g t e c h n i q u e . T R Y T W O ! A n o t h e r s u g g e s t i o n i s t h a t y o u p l a n a n d u s e s t a g e s . F o r e x a m p l e . i f y o u h a v e n o t y e t s t u d i e d o r p r a c t i c e d i n t h e f i e l d . y o u r l i t e r a t u r e r e v i e w w i l l b e e s s e n t i a l t o h e l p y o u s t a t e y o u r q u e s t i o n s c o r r e c t l y a n d l o g i c a l l y . O r . i n c o n s i d e r i n g y o u r s o u r c e s . p e r h a p s y o u ' l l w a n t t o c o l l e c t ( " b e a r m e d w i t h ” ) o p i n i o n s f r o m s e v e r a l g r o u p s ( e . g . , p r i m a r y c a r e f a c u l t y a n d g r a d u a t e s ) b e f o r e y o u a p p r o a c h c e r t a i n i n d i v i d u a l s ( e . g . , s u b - s p e c i a l i s t f a c u l t y ) . F i n a l l y . m a k i n g r e p e a t e d c o n t a c t w i t h t h e s a m e s o u r c e s t h r o u g h a v a r i e t y o f t e c h n i q u e s w i l l g e t y o u c l o s e r a n d c l o s e r t o t h e h e a r t o f t h e m a t t e r . M S U P r i m a r y C a r e F a c u l t y D e v e l o p m e n t F e l l o w s h i p - 1 9 9 2 7 5 3 3 6 A P P E N D I X G W # 4 N o w l o o k a t t h e q u e s t i o n s a n d s o u r c e s y o u ' v e r e c o r d e d o n y o u r N e e d s A s s e s s m e n t P l a n n i n g W o r k s h e e t s . D e t e r m i n e a n d w r i t e i n t h e l a s t c o l u m n w h a t w i l l b e t h e b e s t t e c h n i q u e ( s ) f o r y o u t o u s e t o L L a t h e r i n f o r m a t i o n f r o m j O U T s o u r c e s . M S U P r i m a r y C a r e F a c u l t y D e v e l o p m e n t F e l l o w s h i p - 1 9 9 2 1 7 3 3 7 A P P E N D I X G D o w h a t e v e r i t t a k e s t o g e t t h e m f o n n a t i o n y o u n e e d t z o f o n n a b a s i s fi r t h e d e c i s i o n s y o u ’ l l h a u e t o m a k e a s y o u d e v e l o p a n d i m p l e m e n t y o u r c w r t c u l u m . F o l l o w y o u r p l a n . b u t r e m e m b e r — q u e s t i o n s a n d t e c h n i q u e s m a y h a v e t o c h a n g e a s y o u l e a r n m o r e a n d m o r e : y o u m a y d e v i a t e f r o m y o u r o r i g i n a l p l a n . L i k e t h e d e t e c t i v e C o l u m b o . y o u m a y w a n t t o f o l l o w u p o n i d e a s o r g o b a c k t o s o u r c e s t o g e t t h e i r r e a c t i o n s t o i d e a s y o u y e h e a r d f r o m o t h e r s o u r c e s . M i n i m u m T h e f o l l o w i n g t i p s f o r c o l l e c t i n g a n d c o m p i l i n g n e e d s a s s e s s m e n t i n f o r m a t i o n a r e s u g g e s t i o n s f r o m f e l l o w s w h o h a v e u s e d t h e v a r i o u s t e c h n i q u e s . 0 K e e p fi e l d n o t e s — o r a j o u r n a l o f y o u r f i n d i n g s . i m p r e s s i o n s a n d i d e a s . B y c o m p l e t i n g t h e C o n t e x t a n d P e o p l e W o r k s h e e t . y o u h a v e a l r e a d y b e g u n t o r e c o r d y o u r fi e l d n o t e s . O t h e r fi n d i n g s t o r e c o r d t h i s w a y w o u l d b e t h e i d e a s a n d r e s p o n s e s y o u g e t f r o m e x p e r t s i n t h e fi e l d o r r e p r e s e n t a t i v e s f r o m o t h e r p r o g r a m s w h o h a v e d e v e l o p e d a n d i m p l e m e n t e d s i m i l a r c u r r i c u l a . o r y o u r o w n t h o u g h t s a s y o u h e a r v a r i o u s p e r s p e c t i v e s o n t h e p r o b l e m . 0 C l u s t e r r e s p o n s e s b y d e m o g r a p h y . I n o r d e r t o s p o t t r e n d s . y o u m a y w i s h t o c o m p i l e i n f o r m a t i o n ( e . g . , t e s t s c o r e s . s u r v e y r e s p o n s e s ) b y w h o t h e r e s p o n d e n t s a r e ( e . g . , P G Y 2 ' s . c h i e f r e s i d e n t s . g r a d u a t e s o f p r o g r a m . c l i n i c a l f a c u l t y . e t c . ) . 0 U s e t h e s a m e f o r m a t t o c o m p i l e r e s p o n s e s a s y o u u s e d t o c o n d u c t s t r u c t u r e d i n t e r v i e w s a n d w r i t t e n s u r v e y s . o C o m p i l e r a t i n g s o n c h e c k l i s t s u s e d f o r o b s e r v i n g l e a r n e r p e r f o r m a n c e . 0 R e c o r d o b s e r v a t i o n s o f e x c e l l e n t p e r f o r m e r s b a s e d o n t h e s t e p s i n t h e i r p r o c e d u r e s . a s w e l l a s d e s c r i p t i o n s o f t h e i r o u t c o m e s o r p r o d u c t s . 0 R e v i e w A n n o t a t e d B i b l i o g r a p h y fi n d i n g s b a s e d u p o n p a r t i c i p a n t s . c o n t e n t . p r o c e s s a n d o u t c o m e s . 0 U s e fl i p c h a r t s h e e t s t o r e c o r d r e s p o n s e s a s y o u f a c i l i t a t e g r o u p m e e t i n g s . T h i s a l l o w s p a r t i c i p a n t s t o s e e a n d v e r i f y u n d e r s t a n d i n g o f t h e i r i d e a s . C o l l e c t t h e f l i p c h a r t s h e e t s a n d r e c o r d / a n a l y z e s o o n a f t e r t h e m e e t i n g ( s ) . I t m a y b e m o r e e f f e c t i v e t o a u d i o t a p e t h e d i s C u s s i o n s . L i s t e n a n d t r a n s c r i b e t h e m l a t e r a n d t h e n e x a m i n e f o r g e n e r a l a n d s p e c i fi c r e s p o n s e s a n d t r e n d s . I f y o u o r y o u r s o u r c e s ( m e e t i n g p a r t i c i p a n t s ) a r e u n c o m f o r t a b l e w i t h a t a p e r e c o r d e r . j u s t u s e t h e fl i p c h a r t s . M S U P r i m a r y C a r e F a c u l t y D e v e l o p m e n t F e l l o w s h i p - 1 9 9 2 7 3 3 3 8 A P P E N D I X G T o d r a w c o n c l u s i o n s f r o m y o u r n e e d s a s s e s s m e n t . l o o k a t t h e i n f o r m a t i o n y o u ' v e g a t h e r e d . T h e n a n s w e r t h e q u e s t i o n s a n d n o t e s f o r y o u r s e l f o n t h e f o l l o w i n g w o r k s h e e t N e e d s A n a l y s i s W o r k s h e e t . M S U P r i m a r y C a r e F a c u l t y D e v e b p m e n t F e l l o w s h i p - 1 9 9 2 7 9 0 p r o b l e m s W I " ) l O b d e s i g n 0 p p r o o l i b c l i e e m s s w o r t i p h r o o c r e g d a n u i r z e a s t i o n ' s 3 3 9 A P P E N D I X G N e e d s A n a l y s i s W o r k s h e e t 1 . W h a t t r e n d s d o y o u s e e i n t h e r e s p o n s e s y o u h a v e g o t t e n f r o m v a r i o u s s o u r c e s ? - A r e t h e r e s i m i l a r i t i e s i n r e s p o n s e s o f l e a r n e r s . f a c u f t y . a d m i n i s t r a t o r s . o t h e r s ? - A r e t h e r e d i s c r e p a n c i e s i n r e s p o n s e s o f I e a m e r s . f a c u l t y . a d m i n i s t r a t o r s . o t h e r s ? 2 W h a t i s t h e g a p b e t w e e n y o u r I e a m e r s c u r r e n t a n d d e s i r e d p e r f o r m a n c e ? 3 . A r e a n y o f t h e f o l l o w i n g c o n d i t i o n s p r e s e n t ? 0 p r o b l e m s w i t h s e l e c t i o n o f I e a m e r s C i p r o b l e m s w i t h m o t i v a t i o n C i p r o b l e m s w i t h t h e e n v i r o n m e n t [ : 1 l a c k o f a j o b o l d I f t h e s e c o n d i t i o n s a r e c a u s i n g t h e p r o b l e m o r t h e n e e d s / g a p y o u h a v e d e f i n e d . S T O P N O W ! T h e s e k i n d s o f i s s u e s c a n n o t b e a d d r e s s e d b y e d u c a t i o n . D e v e l o p i n g a c u r r i c u l u m w i l l o n l y w a s t e y o u r t i m e a n d e n e r g y . a s w e l l a s t h e i n s t i t u t i o n ' s a n d / o r t h e c o m m u n i t y ' s r e s o u r c e s . M S U P r i m a r y C a r e F a c u l t y D e v e l o p m e n t F e l l o w s h i p - 1 9 9 2 2 0 3 4 0 A P P E N D I X G 4 . W h a t h a v e y o u l e a r n e d a b o u t t h e f o l l o w i n g a r e a s t h a t w i l l b e i m p o r t a n t t o c o n s i d e r a s y o u m a k e d e c i s i o n s r e g a r d i n g t h e c u r r i c u l u m ? B a n t a m ( W h a t d o y o u k n o w a b o u t t h e I e a m e r s . f a c u l t y . a n d o t h e r s w h o a r e a f f e c t e d b y t h e c u r r i c u l u m ? ) fi g m e n t ( W h a t w i l l i m p a c t t h e r e l e v a n c e . o r g a n i z a t i o n a n d t i m e l i n e s s o f t h e s u b j e c t m a t t e r ? ) 2 m g } ; ( W h a t h a v e y o u l e a r n e d t h a t w i l l a f f e c t t h e i n s t r u c t i o n a l s t r a t e g i e s y o u s e l e c t ? W h a t r e s o u r c e s a r e a v a i l a b l e a n d w h a t m u s t y o u d o t o o b t a i n . u s e a n d / o r b e n e fi t f r o m t h e m ? ) Q u i c o m e s ( W h a t h a v e y o u l e a r n e d t h a t w i l l i m p a c t e v a l u a t i o n o f t h e I e a m e r s a n d t h e c u r r i c u l u m ? W h a t w i l l b e c o n s i d e r e d a s m e a s u r e s o f s u c c e s s ? ) M S U P r i m a r y C a r e F a c u l t y D e v e l o p m e n t F e l l o w s h i p - 1 9 9 2 2 7 3 4 1 A P P E N D I X G W T h e r e a r e s o m e i m p o r t a n t r e a s o n s f o r c o m m u n i c a t i n g r e s u l t s o f y o u r n e e d s a s s e s s m e n t . T o p r o v i d e i n f o r m a t i o n t o t h o s e w h o n e e d t o k n o w a b o u t w h a t y o u ' v e f o u n d o u t a b o u t c u r r e n t p e r f o r m a n c e . d e s i r e d p e r f o r m a n c e . c a u s e s . s o l u t i o n s a n d f e e l i n g s / p r i o r i t i e s . - T o g e t s u p p o r t f o r y o u r e fl ’ o r t . T o g e t a d d i t i o n a l i n f o r m a t i o n o r t o c h e c k o u t a fi n d i n g . T o c r e a t e a h i s t o r y o f y o u r n e e d s a s s e s s m e n t e f f o r t . T y p e s o f c o m m u n i c a t i o n c a n b e c o n s i d e r e d o n a c o n t i n u u m . f r o m i n f o r m a l ( e . g . , c o m m e n t i n a c o n v e r s a t i o n . 5 - m i n u t e b r i e fi n g d u r i n g t h e r e g u l a r f a c u l t y m e e t i n g . o r a s h o r t m e m o ) t o f o r m a l ( a p r e s e n t a t i o n o r w r i t t e n r e p o r t ) . T h e n a t u r e a n d m a g n i t u d e o f y o u r c o m m u n i c a t i o n s s h o u l d m a t c h y o u r g o a l s i n d e v e l o p i n g t h e c u r r i c u l u m ; t h e e x p e c t a t i o n s o f y o u r r e c e i v e r s : a n d y o u r r e s o u r c e s , i n c l u d i n g t i m e . W h e n y o u c o m m u n i c a t e y o u r n e e d s a s s e s s m e n t r e s u l t s . y o u s h o u l d a n s w e r s o m e t y p i c a l q u e s t i o n s : W h y d i d y o u d o t h i s n e e d s a s s e s s m e n t ? W h a t q u e s t i o n s d i d y o u a s k ? W h o w e r e y o u r s o u r c e s ? ( W h o d i d y o u a s k ? W h a t d o c u m e n t s d i d y o u l o o k a t ? ) H o w d i d y o u g a t h e r t h e i n f o r m a t i o n W h a t d i d y o u fi n d o u t ? W h a t d o e s i t m e a n f o r d e v e l o p m e n t o f t h e c u r r i c u l u m ? C o n s i d e r p a r t i c i p a n t s . c o n t e n t . p r o c e s s a n d o u t c o m e s . I n o t h e r w o r d s . h o w w i l l y o u u s e t h e i n f o r m a t i o n y o u o b t a i n e d t o " fi l l t h e g a p " b e t w e e n c u r r e n t a n d d e s i r e d p e r f o r m a n c e ? A r e q u i r e m e n t f o r t h e P r i m a r y C a r e F a c u l t y D e v e l o p m e n t F e l l o w s h i p i s t o w r i t e a f o r m a l r e p o r t o f y o u r n e e d s a s s e s s m e n t . Y o u w i l l b e a s k e d t o w r i t e a n s w e r s t o e s s e n t i a l l y t h e s a m e q u e s t i o n s . M S U P r i m a r y C a r e F a c u l t y D e v e l o p m e n t F e l l o w s h i p - 1 9 9 2 2 2 3 4 2 A P P E N D I X G N E E D S A S S E S S M E N T 8 t A N A L Y S I S R e f e r e n c e s A n d e r s o n . W i l l i a m A . a n d H e n r y . R e b e c c a C . N e e d s A s s e s s m e n t S t r a t e g i e s f o r W o r k s h o p P l a n n i n g . J o u r n a l o f I n s t r u c t i o n a l D e v e l o p m e n t . 1 9 8 0 . B e n j a m i n . S t e v e . A C l o s e r L o o k a t N e e d s A n a l y s i s a n d N e e d s A s s e s s m e n t . P e r f o r m a n c e & I n s t r u c t i o n : 2 8 . 1 9 8 9 . p p . 1 2 - 1 5 . H u d z i k . J o h n K . . e t a 1 . J u d i c i a l E d u c a t i o n N e e d s A s s e s s m e n t a n d P r o g r a m E v a l u a t i o n . E a s t L a n s i n g . M I : T h e J u d i c i a l E d u c a t i o n R e f e r e n c e . I n f o r m a t i o n a n d T e c h n i c a l T r a n s f e r P r o j e c t . 1 9 9 1 . K n o w l e s . M a l c o l m S . T h e M o d e r n P r a c t i c e o f A d u l t E d u c a t i o n : F r o m P e d a g o g y t o A n d r a g o g y . C h i c a g o : F o l l e t t P u b l i s h i n g C o . . 1 9 8 0 . K n o x . A l a n B . H e l p i n g A d u l t s L e a r n : A G u i d e t o P l a n n i n g . I m p l e m e n t i n g . a n d C o n d u c t i n g P r e g a m s . S a n F r a n c i s c o : J o s s e y - B a s s l n c . . P u b l i s h e r s . 1 9 8 6 . M a g e r . R o b e r t a n d P i p e . P e t e r . A n a l y z i n g P e r f o r m a n c e P r o b l e m s o r ' Y o u R e a l l y O u g h t a W a n n a ' . B e l m o n t . C A : F e a r o n P u b l i s h e r s . 1 9 7 0 . M a g e r . R o b e r t . ( 1 9 8 8 ) M a k i n g I n s t r u c t i o n W o r k . o r S k i l l b l o o m e r s . B e l m o n t . C A : D a v i d S . L a k e P u b l i s h e r s . 1 9 8 8 . R o s s e t t . A l l i s o n . T r a i n i n g N e e d s A s s e s s m e n t . E n g l e w o o d C l i f f s . N J : E d u c a t i o n a l T e c h n o l o g y P u b l i c a t i o n s . I n c . . 1 9 8 7 . M S U P r i m a r y C a r e F a c u l t y D e v e l o p m e n t F e l l o w s h i p - 1 9 9 2 2 3 3 4 3 A P P E N D I X G P r i m a r y C a r e F a c u l t y D e v e l o p m e n t F e l l o w s h i p P r o g r a m C u r r i c u l u m D e v e l o p m e n t T r a c k F e l l o w s h i p N e e d s A s s e s s m e n t A s s i g n m e n t 1 . W r i t e a t w o t o t h r e e p a g e N e e d s A s s e s s m e n t R e p o r t . T h e r e p o r t s h o u l d f o l l o w t h e g u i d e l i n e s i n t h e C r i t e r i a f o r N e e d s A s s e s s m e n t R e p o r t . R e f e r t o t h e A n n o t a t e d E x a m p l e a s a g u i d e . 2 . B r i n g t w o c o p i e s o f t h e r e p o r t w i t h y o u o n M o n d a y . N o v e m b e r 2 . 3 . O n M o n d a y m o r n i n g . b e p r e p a r e d t o g i v e a 1 5 - m i n u t e s u m m a r y o f y o u r n e e d s a s s e s s m e n t . a n s w e r i n g t h e f o l l o w i n g q u e s t i o n s : a . b . C . W h a t n e e d s a s s e s s m e n t q u e s t i o n s d i d y o u a s k ? W h o d i d y o u a s k ? H o w d i d y o u c o l l e c t t h e i n f o r m a t i o n ? W h a t i n f o r m a t i o n d i d y o u g e t b a c k ? H o w w i l l y o u u s e t h e i n f o r m a t i o n w h e n y o u d e v e l o p y o u r c u r r i c u l u m ? ( i . e . . S o w h a t ? W h a t c h a n g e s a r e y o u m a k i n g i n y o u r p r o j e c t b a s e d u p o n t h e n e e d s a s s e s s m e n t ? ) I f y o u h a v e a n y q u e s t i o n s . c a l l K a r e n L i e n h a r t a t 5 1 7 / 3 5 3 - 9 6 5 6 . M i c h i g a n S t a t e U n i v e r s i t y / O M E R A D 9 - 9 2 8 . t a t e m S 1 2 3 4 . . . . e f e e . . e u r i t a b r q n s c d s e t u h a u s l t l n s t a t t t e s g a l a u i t s i d t s i h q d o a a s o n r t b h s e a p a e s o n s x l n s w p u i a s l e t y m z w e i m a t i c s e e r n . a d a n r e r z t n t i s y i p d b p r d e e q o e l e d u p d d s e r . s i a a t a i s t n a l d b o e s e s e s n s . d l i e s d t e s p m a o l e n a n u r y d s r e e s c d n u m u a b l n e t s d r e d 3 4 4 A P P E N D I X G C R I T E R I A F O R N E E D S A S S E S S M E N T R E P O R T F o r : D a t e : R e v i e w e d b y : l . I n t r o d u c t i o n A . P r o b l e m / g e n e r a l c o n c e r n 1 . p r i o r e v i d e n c e 2 . p r e s s u r e s t o a d d r e s s / i g n o r e 3 . w h o n e e d s i n t o 4 . d e c i s i o n s t o b e m a d e 8 . Q u e s t i o n s t h a t n e e d a n s w e r i n g 1 . c u r r e n t p e r f o m i a n o e 2 . d e s i r e d p e r f o r m a n c e 3 . c a u s e s o f t h e g a p / p r o b l e m 4 . p o s s b l e s o l u t i o n s 5 . i r r p r e s s i o n s , r e a c t i o n . o p i n i o n s , p r i o r i t i e s I I . B o d y A . S t a t e m e n t s e x p l a i n i n g n e e d s a s s e s s m e n t m e t h o d s I n c l u d e i n t o s o u r c e s a . l D / d e s c r i b e v a r i e d i n t o s o u r c e s b . p r o g r a m / o r g a n i z a t i o n a . c r e d i b l e s o u r c e s c l o s e t o p r o b l e m d . a d e q u a t e i t o f s o u r c e s 2 . D e s c r i b e i n t o g a t h e r i n g t e c h n i q u e s a . t e c h n i q u e s d e s c r i b e d / c o p i e s i n c l u d e d b . t i m e s o f i n t o g a t h e r i n g 0 . t e c h n i q u e s m a t c h q u e s t i o n s t h a t n e e d a n s w e r i n g d . t e c h n i q u e s a c c o u n t f o r a n o n y m i t y , c o s t . o p p o r t u n i t y t o a s k f o l l o w - u p q u e s t i o n s . r e s p o n s e r a t e . e a s e o f a n a l y s i s . r i s k a . a t l e a s t 2 t e c h n i q u e s u s e d M i c h i g a n S t a t e U n i v e r s i t y / O M E R A D 9 - 9 2 ” ! P P 3 4 5 A P P E N D I X G I l l . C o n c l u s i o n A . S t a t e d g a p b e t w e e n c m e r u a n d d e s i r e d p e r f o m i a n c e w h a t t o d o t o f i l l g a p B a s e d t h e c o n c l u s i o n s o n d a t a i n r e s a l e s e c t i o n R e s u l t s r e l a t e d t o a s p e c t s o f c u r r i c u l u m 1 . p a r t i c i p a n t s 2 . c o n t e n t 3 . 4 . p r o c e s s o m c o r n e s I V . C a n r e p o r t b e e a s i l y t r a n s f e r r e d t o j o u r n a l a r t i c l e m e t h o d s s e c t i o n ? M i c h i g a n S t a t e U n i v e r s i t y / O M E R A D 9 - 9 2 A P P E N D I X H D e f i n i t i o n s o f T e r m s A P P E N D I X H A l t h o u g h l i m i t e d i n s c o p e t o fi t t h e p u r p o s e s o f t h i s s t u d y , e v e r y a t t e m p t w a s m a d e t o b a s e t h e s e w o r k i n g d e fi n i t i o n s o n t h e l i t e r a t u r e . C u r r i c u l u m : " a v a l u e d p r o c e s s f o r b r i n g i n g a b o u t r e q u i r e d a n d d e s i r e d c h a n g e s i n l e a r n e r s k i l l s , k n o w l e d g e s , a n d a t t i t u d e s s o t h a t s t u d e n t s s u r v i v e a n d c o n t r i b u t e i n t h e w o r l d o f f u r t h e r s c h o o l i n g a n d t h e w o r l d o f w o r k , f a m i l y , a n d i n t e r p e r s o n a l r e l a t i o n s h i p s " ( E n g l i s h 8 r K a u f m a n , 1 9 7 5 ) . T h i s d e fi n i t i o n p u r p o s e l y a v o i d s l i m i t i n g t h e c o n c e p t o f c u r r i c u l u m t o c l a s s r o o m s e t t i n g s u s i n g t r a d i t i o n a l m e t h o d s s u c h a s l e c t u r e s o t h a t t h e c u r r i c u l a t o b e c r e a t e d d u r i n g t h e s t u d y a r e a b l e t o t a k e a d v a n t a g e o f t h i s w i d e r d e fi n i t i o n . E s p o u s e d t h e o r y : t h e s e t o f r u l e s t h a t p e o p l e w i l l s t a t e i f y o u a s k t h e m a b o u t t h e i r t h e o r y o f a c t i o n . I t i s i m p o r t a n t t o n o t e t h a t a n e s p o u s e d t h e o r y a n d a t h e o r y - i n - u s e a r e n o t n e c e s s a r i l y i n a g r e e m e n t w i t h e a c h o t h e r . F e l l o w : a p h y s i c i a n e n r o l l e d i n t h e f a c u l t y d e v e l o p m e n t f e l l o w s h i p w h i c h i s t h e c o n t e x t o f t h e s t u d y . H u m a n P e r f o r m a n c e T e c h n o l o g y ( H P T ) : a r e l a t i v e l y n e w fi e l d w h i c h e n d e a v o r s t o i m p r o v e h u m a n p e r f o r m a n c e i n t h e w o r k p l a c e . H P T h a s g r o w n o u t o f a n u m b e r o f o t h e r fi e l d s i n c l u d i n g b e h a v i o r a l p s y c h o l o g y , i n s t r u c t i o n a l t e c h n o l o g y , t r a i n i n g , o r g a n i z a t i o n a l d e v e l o p m e n t a n d h u m a n r e s o u r c e m a n a g e m e n t . S t o l o v i t c h & K e e p s ( 1 9 9 2 ) a c k n o w l e d g e t h e g r e a t d i v e r s i t y i n d e fi n i t i o n s o f t h i s s t i l l e v o l v i n g fi e l d , b u t a s s e r t t h a t H P T h a s t h e f o l l o w i n g c r i t i c a l a t t r i b u t e s : 1 ) H P T i s s y s t e m a t i c . 2 ) H P T i s s y s t e m i c . 3 ) H P T i s g r o u n d e d i n s c i e n t i fi c a l l y d e r i v e d t h e o r i e s a n d t h e b e s t e m p i r i c a l e v i d e n c e a v a i l a b l e . 4 ) H P T i s o p e n t o a l l m e a n s , m e t h o d s a n d m e d i a . 5 ) H P T i s f o c u s e d o n a c h i e v e m e n t s t h a t h u m a n p e r f o r m e r s a n d t h e s y s t e m v a l u e . ( p . 7 ) A n d , p a r t i c u l a r l y i m p o r t a n t t o t h e i n t e n d e d s t u d y , H P T a s s u m e s t h e u s e o f s o m e f o r m o f n e e d s a s s e s s m e n t a s p a r t o f t h e s y s t e m a t i c a n d s y s t e m i c a p p r o a c h t o s o l v i n g p r o b l e m s . 3 4 6 3 4 7 A P P E N D I X H M e d i c a l e d u c a t i o n : t h e p l a n n i n g , d e v e l o p i n g , i m p l e m e n t i n g a n d e v a l u a t i n g o f a v a r i e t y o f l e a r n i n g e x p e r i e n c e s ( i n s c h o o l , a p p r e n t i c e s h i p s o r o t h e r s i t u a t i o n s i n w h i c h n e w k n o w l e d g e , s k i l l s o r a t t i t u d e s m a y b e a c q u i r e d ) f o r t h e p u r p o s e o f p r e p a r i n g s t u d e n t s t o b e h e a l t h p r o f e s s i o n a l s ( e . g . . p h y s i c i a n s , n u r s e s , m e d i c a l t e c h n i c i a n s ) a n d / o r e n h a n c i n g t h e k n o w l e d g e , s k i l l s a n d a t t i t u d e s o f c u r r e n t h e a l t h p r o f e s s i o n a l s . N e e d s a s s e s s m e n t : I n i n i t i a l s t e p o f a n a l y s i s i n t h e f o u r s t e p s y s t e m a t i c a p p r o a c h t o p r o b l e m s o l v i n g d e s c r i b e d b y M a g e r ( 1 9 8 8 ) . F u r t h e r d e s c r i b e d b y T r i r n b y ( 1 9 7 9 ) a s " a p r o c e s s f o r i d e n t i f y i n g a n d m e a s u r i n g g a p s b e t w e e n w h a t i s a n d w h a t o u g h t t o b e , p r i o r i t i z i n g t h e g a p s , a n d d e t e r m i n i n g w h i c h o f t h e g a p s t o w o r k a n t o g a i n c l o s u r e . " I n t h e p r e s e n t s t u d y , t h e t e r m n e e d s a s s e s s m e n t a p p l i e d t o b o t h t h e s e a r c h f o r t h e p r o b l e m , a n d t h e i d e n t i fi c a t i o n o f c a u s e s a n d s o l u t i o n s . P a r t i c i p a n t : a f e l l o w w h o 1 ) h a s c h o s e n t h e c u r r i c u l u m d e v e l o p m e n t t r a c k i n t h e f e l l o w s h i p , a n d 2 ) h a s a g r e e d t o p a r t i c i p a t e i n t h e s t u d y . T h e o r y - i n - u s e : t h e s e t o f r u l e s p e o p l e b e h a v e b y , w h i c h m a y b e d i s c o v e r e d o n l y t h r o u g h o b s e r v i n g p e o p l e ' s b e h a v i o r . T h i s i s b e c a u s e p e o p l e a r e o f t e n n o t c o n s c i o u s o f t h e i r t h e o r y - i n - u s e . I t i s i m p o r t a n t t o n o t e t h a t a n e s p o u s e d t h e o r y a n d a t h e o r y - i n - u s e a r e n o t n e c e s s a r i l y i n a g r e e m e n t w i t h e a c h o t h e r . T h e o r y o f a c t i o n : d e fi n e d b y A r g y r i s ( 1 9 9 1 ) a s " a s e t o f r u l e s t h a t i n d i v i d u a l s u s e t o d e s i g n a n d i m p l e m e n t t h e i r o w n b e h a v i o r a s w e l l a s t o u n d e r s t a n d t h e b e h a v i o r o f o t h e r s " ( p . 1 0 3 ) . A r g y r i s a n d S c h t i n ( 1 9 7 8 ) p o i n t o u t t h a t t h e s e t h e o r i e s o f a c t i o n a r e u s e f u l f o r c o n t r o l a s w e l l a s p r e d i c t i o n o f h u m a n b e h a v i o r . A p e r s o n e s s e n t i a l l y u s e s a t h e o r y o f a c t i o n t o m a k e d e c i s i o n s t h a t c o n t r o l h i s / h e r b e h a v i o r , a n d o t h e r s c a n u s e t h a t t h e o r y o f a c t i o n t o p r e d i c t o r e x p l a i n t h a t p e r s o n ' s b e h a v i o r . T h e r e a r e t w o t y p e s o f t h e o r i e s o f a c t i o n : e s p o u s e d t h e o r i e s , a n d t h e o r i e s - i n - u s e . L I S T O F R E F E R E N C E S L I S T O F R E F E R E N C E S A r g y r i s , C . 8 : S c h t i n , D . A . ( 1 9 7 4 ) . ' I ‘ h e o g t i n p r a c t i c e : I n c r e a s i n g W . S a n F r a n c i s c o : J o s s e y - B a s s . A r g y r i s , C . & S c h é n , D . A . ( 1 9 7 8 ) . Q r g a p i z a t i o n g l e a m i n g : A t h e e g t e f a e t i o n p e r s p e c t i v e . R e a d i n g , M A : A d d i s o n - W e s l e y . A r g y r i s , C . ( 1 9 9 1 , M a y - J u n e ) . T e a c h i n g s m a r t p e o p l e h o w t o l e a r n . H m a r a B u s i n e s s R e v i e w , p p . 9 9 - 1 0 9 . B e c k e r , H . S . ( 1 9 5 8 ) . P r o b l e m s o f i n f e r e n c e a n d p r o o f i n p a r t i c i p a n t o b s e r v a t i o n s . A m e r i e a p S e e i e l e g i e a ; R e v i e w , _ 2 _ 3 ( 6 ) , 6 5 2 - 6 6 0 . B e n j a m i n , S . ( 1 9 8 9 ) . A c l o s e r l o o k a t n e e d s a n a l y s i s a n d n e e d s a s s e s s m e n t : W h a t e v e r h a p p e n e d t o t h e s y s t e m s a p p r o a c h ? E e r f o r m a p e e a I n s t r u e t i o n , 2 8 ( 9 ) , 1 2 - 1 6 . B e r t a l a n n f y , L . v o n . ( 1 9 6 8 ) . G n e r t e m t h ' F u n d e v e l o p m e n t , a p p l i e a t i e n s . N e w Y o r k : G e o r g e B r a z i l l i e r . B l u m e r , H . ( 1 9 6 2 ) . S o c i e t y a s s y m b o l i c i n t e r a c t i o n . I n A . M . R o s e ( E d . ) , H u m a n b e h a v i e r a n d s o c i a l p r e e e s s e s : A n i n t e r a e t i e n i e t a p p r e a e h ( p p . 1 7 9 — 1 9 2 ) . B o s t o n : H o u g h t o n M i f fl i n . B o g d a n , R . & B i k l e n , S . ( 1 9 8 2 ) . Q u a l i t a t i v e r e e e g e h f e r e a u e a t i e n ; A n i n t r o d u c t i o n t o t h e o t y a n d m e t h o d s . B o s t o n : A l l y n & B a c o n . B u r t o n , J . K . , & M e r r i l l , P . F . ( 1 9 9 1 ) . N e e d s a s s e s s m e n t : G o a l s . n e e d s & p r i o r i t i e s . I n L . J . B r i g g s , K . L . G u s t a f s o n , & M . H . T i l l m a n ( E d s ) , I n s t fl e t i e n a ; d e s i g p : P r i n c i p l e s a n d a p p l i c a t i e n e ( 2 n d e d . ) ( p p . 1 7 - 4 3 ) . E n g l e w o o d C l i f f s , N J : E d u c a t i o n a l T e c h n o l o g y P u b l i c a t i o n s . C a r r o n , A . S . ( 1 9 7 7 ) . N e e d s a s s e s s m e n t i n g o v e r n m e n t : R e a r r a n g i n g t h e d e c k c h a i r s o n t h e s h i p o f s t a t e . E d u e a t i o n g T e e h n e l e g y , _ 1 _ ' 7 _ ( 1 1 ) , 2 7 - 2 8 . C o h e n , B . J . ( 1 9 8 1 ) . D e m u r e a l l y w a p t t e e o n a u e t a n e e g e a s s e s s m e n t ? P h i l a d e l p h i a : M a n a g e m e n t a n d B e h a v i o r a l S c i e n c e C e n t e r , U n i v e r s i t y o f P e n n s y l v a n i a . D e w e y , J . ( 1 9 3 3 ) . H o w w e m i n k . L e x i n g t o n , M A : H e a t h . 3 4 8 3 4 9 L I S T O F R E F E R E N C E S E l s t e i n , A S . , S h u l m a n , L . S . , & S p r a fl r a , S . A . ( 1 9 7 8 ) . M e d i c a l p r o b l e m s e l v i n g : A n a p g y s i s e f e l i n i e a l r e a s o n i n g . C a m b r i d g e , M A : H a r v a r d U n i v e r s i t y P r e s s . E l s t e i n , A . S . , S h u l m a n , L . S . , & S p r a f k a , S . A . ( 1 9 9 0 ) . M e d i c a l p r o b l e m s o l v i n g : A t e n - y e a r r e t r o s p e c t i v e . E v a l u a a e n a n d t h e H e a l t h P r o f e s s i o n s , 1 3 ( 1 ) , 5 - 3 6 . E n g l i s h , F . W . ( 1 9 7 7 ) . T h e p o l i t i c s o f n e e d s a s s e s s m e n t . E a u e a t i e n a l I e e h n e l e g y . 1 1 ( 1 1 ) , 1 8 - 2 3 . E n g l i s h , F . W . , 8 : K a u f m a n , R . A . ( 1 9 7 5 ) . N e e d s a s s e s s m e n t : A f e e u s f e r c u r r i c u l u m d e v e l o p m e n t . W a s h i n g t o n , D C : A s s o c i a t i o n f o r S u p e r v i s i o n a n d C u r r i c u l u m D e v e l o p m e n t . E r i c k s o n , F . ( 1 9 8 6 ) . Q u a l i t a t i v e m e t h o d s i n r e s e a r c h o n t e a c h i n g . I n M . W i t t r o c k ( E d . ) , T h i r a h a p d p o e k p f r e s e a e h e n t e a e h i n g ( p p . 1 1 9 - 1 6 1 ) . N e w Y o r k : M a c M i l l a n . E r i c s s o n , K . A . , 8 : S i m o n , H . A . ( 1 9 8 4 ) . P r o t e c o l E m s i s . C a m b r i d g e : T h e M I T P r e s s . F i n n e g a n , G . T . ( 1 9 9 1 ) . I m p r o v i n g p e r f o r m a n c e i n t h e m e d i c a l s e t t i n g . I n L . J . B r i g g s , K . L . G u s t a f s o n , 8 : M . H . T i l l m a n ( E d s . ) , I n s t r u c t i o n a l D e s i g n : P r i n c i p l e s a n d A p p l i c a t i o n s ( 2 n d e d . ) ( p p . 4 0 7 - 4 2 8 ) . E n g l e w o o d C l i f f s , N J : E d u c a t i o n a l T e c h n o l o g y P u b l i c a t i o n s . G e e r t z , C . ( 1 9 7 9 ) . F r o m t h e n a t i v e ' s p o i n t o f v i e w : O n t h e n a t u r e o f a n t h r o p o l o g i c a l u n d e r s t a n d i n g . I n P . R a b i n o w & W . S u l l i v a n ( E d s . ) , I n t e t ‘ p r e t i v e s o c i a l s c i e n c e . B e r k e l e y : U n i v e r s i t y o f C a l i f o r n i a P r e s s . G e i s , G . L . ( 1 9 8 6 ) . H u m a n p e r f o r m a n c e t e c h n o l o g y : A n o v e r v i e w . I n M . E . S m i t h ( E d . ) , I n g e d u e t i e n t o P e r f e r m a p e e T e c h n e l e fl ( V o l . 1 ) ( p p . 1 - 2 0 ) . W a s h i n g t o n , D C : N a t i o n a l S o c i e t y f o r P e r f o r m a n c e a n d I n s t r u c t i o n . G i l b e r t , T . F . ( 1 9 7 8 ) . H u m a p e o m p e t e n c e : E n g i n e e r i n g w o r t h y p e r f e r m a p e e . N e w Y o r k : M c G r a w H i l l . G l a s e r , B . G . & S t r a u s s , A . L . ( 1 9 6 7 ) . T h e d i s e o v e r y o f g r o u n d e d m e a t y . C h i c a g o : A l d i n e P u b l i s h i n g . G u b a , E . G . , & L i n c o l n , Y . S . ( 1 9 8 2 ) . T h e p l a c e o f v a l u e s i n n e e d s a s s e s s m e n t . E u c ' o n E v u t i n a n d P 1 i A n a l i , fl ( 3 ) , 3 1 1 - 3 2 0 . 3 5 0 L I S T O F R E F E R E N C E S H a m m e r s l e y , M . & A t k i n s o n , P . ( 1 9 8 3 ) . E m n e g r a p h y ; P r i n e i p l e s i n p p a e t i e e . N e w Y o r k : T a v i s t o c k P u b l i c a t i o n s . H a r l e s s , J . H . ( 1 9 7 5 ) . A n e u n e e e f a n a l y s i s i s w e g h a p e u n d e f e b j e c fl e s . N e w n a n , G A : H a r l e s s P e r f o r m a n c e G u i l d . H a r l e s s , J . H . ( 1 9 8 3 ) . Q a n d A : J o e H a r l e s s . P e r f e r m a p e e § t I n s t fl e t i e n . 2 2 ( 1 ) , 6 — 7 . H a r l e s s , J . H . ( 1 9 8 5 ) . I n v i t e d a d d r e s s : P e r f o r m a n c e t e c h n o l o g y a n d o t h e r P o p u l a r m y t h s . W . 2 4 ( 6 ) . 4 - 6 . K a u f m a n , R . A . ( 1 9 7 2 ) . E a u c a t i o n a ; s y s t e m p l a n n i n g . E n g l e w o o d C l i f f s , N J : P r e n t i c e - H a l l . K a u f m a n , R . A . ( 1 9 7 7 a ) . A p o s s i b l e t a x o n o m y o f n e e d s a s s e s s m e n t s . E d u e a p ‘ p n a l T e e h n e l e g y , _ 1 _ Z ( 1 1 ) , 6 0 - 6 4 . K a u f m a n , R . A . ( 1 9 7 7 b ) . N e e d s a s s e s s m e n t s : I n t e r n a l a n d e x t e r n a l . J e u m a l p f I n s t g c t i o n a l D e v e l o p m e n t , 1 ( 1 ) . 5 - 8 . K a u f m a n , R . A . ( 1 9 7 9 ) . I a e n t i f g a ' n g a n d s o l v i n g p r o b l e m s : A s y s t e m a p p r o a c h ( 2 n d e d . ) . L a J o l l a , C A : U n i v e r s i t y A s s o c i a t e s . K a u f m a n , R . A . ( 1 9 8 2 ) . M e a n s a n d e n d s — - N e e d s a s s e s s m e n t , n e e d s a n a l y s i s , a n d f r o n t - e n d a n a l y s i s . E d u c a t i e n a l T e c h n e l e g y , 2 2 ( 1 1 ) 3 3 - 3 4 . K a u f m a n , R . A . ( 1 9 8 5 ) . N e e d s a s s e s s m e n t , n e e d s a n a l y s i s , o b j e c t i v e s a n d e v a l u a t i o n . P e r f o r m a n c e & I n s t r u c t i o n , 2 3 ( 6 ) , b a c k c o v e r . K a u f m a n , R . ( 1 9 8 6 ) . A s s e s s i n g n e e d s . I n M . E . S r r r i t h ( E d . ) , I n g e d u e t i e n t e P e r f o r m a n c e T e c h n e l e g y , V 9 1 , 1 ( p p . 2 5 - 5 9 ) . W a s h i n g t o n , D C : N a t i o n a l S o c i e t y f o r P e r f o r m a n c e a n d I n s t r u c t i o n . K a u f m a n , R . A . ( 1 9 8 9 ) . S e l e c t i n g a p l a n n i n g m o d e : W h o i s t h e c l i e n t ? W h o b e n e fi t s ? P e r f e r m a p e e & I n s t r u c t i e n , 2 8 ( 2 ) , 6 - 8 . K a u f m a n , R . A . ( 1 9 9 0 ) . T e c h n i c i a n s , ’ ' p h y s i c i s t s ' a n d e d u c a t i o n a l t e c h n o l o g y . E a u c a t i e n fl T e c h n e l e g g , 3 9 ( 1 ) 3 2 3 3 . K a u f m a n , R . A . , & B o w e r s , D . ( 1 9 9 0 ) . P r o a c t i v e a n d r e a c t i v e p l a n n e r s : A n e v e n c l o s e r l o o k a s n e e d s a s s e s s m e n t a n d n e e d s a n a l y s i s . P e r f o r m a n e e Q I n s t r u e t i o n , 2 9 ( 5 ) , 7 - 1 0 . 3 5 1 L I S T O F R E F E R E N C E S K a u f m a n , R . , & E n g l i s h F . W . ( 1 9 7 9 ) . N e e d s a s s e s s m e n t : C o n c e p t s a n d a m a l t e a t i e p . E n g l e w o o d C l i f f s , N J : E d u c a t i o n a l T e c h n o l o g y P u b l i c a t i o n s . K a u f m a n , R . , 8 r H e r m a n J . ( 1 9 9 1 ) . § t t a t e g i e p l a n n i n g i n e a u e a t i e n ; R e t h i n k i n g , t e s t g e t u r i n g , r e v i t a l i z i n g . L a n c a s t e r , P A : T e c h n o n r i c . K a u f m a n , R . A . , & S t o l o v i t c h , H . ( 1 9 9 1 ) . P l a n n i n g , p e r s p e c t i v e s , c r e a t i v i t y , a n d c o n t r o l . E a u e a g e n a l j I ‘ e e h n e l e g y , a n ) , 5 1 - 5 3 . K a u f m a n , R . A . , & V a l e n t i n e , G . ( 1 9 8 9 ) . R e l a t i n g n e e d s a s s e s s m e n t a n d n e e d s a n a l y s i s . B e r f e r m a n c e Q I n s t fl e p ‘ e n , 2 8 ( 1 0 ) , 1 0 - 1 4 . K e r l i n g e r , F . N . ( 1 9 7 3 ) . F o u n d a t i e n s o f b e h a v i e r a l r e s e a r e h ( 2 n d e d . ) . N e w Y o r k : H o l t , R i n e h a r t a n d W i n s t o n . K i m m e l , w . A . ( 1 9 7 7 ) . W W a s h i n g t o n , D C : O f f i c e o f P r o g r a m S y s t e m s , O f fi c e o f t h e A s s i s t a n t S e c r e t a r y f o r P l a n n i n g a n d E v a l u a t i o n , U S . D e p a r t m e n t o f H e a l t h , E d u c a t i o n , a n d W e l f a r e . L a n g e r , E . J . ( 1 9 8 9 ) . 1 1 1 m m . R e a d i n g , M A : A d d i s o n - W e s l e y . L e w i s , J . L . ( 1 9 7 8 , M a r c h ) . P r e p l e m s e n e o u n t e r e a i n e e n a u e t i n g a p a s s e s s m e n t o f e d u c a t i o n a l n e e d s i n s e l e c t e d O h i o s c h o o l d i s t r i c t s . P a p e r p r e s e n t e d a t a n n u a l m e e t i n g o f t h e A m e r i c a n E d u c a t i o n a l R e s e a r c h A s s o c i a t i o n , T o r o n t o , C a n a d a . ( E R I C D o c u m e n t R e p r o d u c t i o n S e r v i c e N o . E D 1 6 7 5 9 1 ) L e w i s , T . , & B j o r k q u i s t , D . C . ( 1 9 9 2 ) . N e e d s a s s e s s m e n t : A c r i t i c a l r e a p p r a i s a l . P e r f o r m a n c e & I m p r o v e m e n t Q u a r t e r l y . 5 ( 4 ) , 3 3 - 5 4 . L i n c o l n , Y . S . 8 r G u b a , E . G . ( 1 9 8 5 ) . N a t u r a l i s t i e i n g u i g . B e v e r l y H i l l s , C A : S a g e P u b l i c a t i o n s . M a g e r , R . F . ( 1 9 7 0 ) . G e a l A n a l y s i s . B e l m o n t , C A : P i t r n a n . M a g e r , R . F . ( 1 9 8 8 ) . M a k i n g i n s t r u c t i o n w o r k : e r S k i l l p l o e m e r s . B e l m o n t , C A : L a k e P u b l i s h i n g . M a g e r , R . F . , & P i p e , P . ( 1 9 8 4 ) . A n a l y z i n g p e r f e r m a p e e p r e p l e m s ; Q t y q u W . B e l m o n t . C A : L a k e P u b l i s h i n g . M a r s h a l l , C . & R o s s m a n , G . B . ( 1 9 8 9 ) . D e s i g n i n g q u a l i t a t i v e r e s e a t e h . N e w b u r y P a r k , C A : S a g e P u b l i c a t i o n s . 3 5 2 L I S T O F R E F E R E N C E S M i l e s , M . B . & H u b e r m a n , A . M . ( 1 9 8 4 ) . Q u a l i t a t i v e d a t a a n a l y s i s . N e w b u r y P a r k , C A : S a g e P u b l i c a t i o n s . M i l e s , W . R . ( 1 9 7 9 ) . A c o n s t r u c t i v e c r i t i c i s m o f n e e d s a s s e s s m e n t . B M W . L Q ( 3 ) . 1 6 9 - 1 8 0 - M o r o n e y , R . M . ( 1 9 7 7 ) . N e e d s a s s e s s m e n t f o r h u m a n s e r v i c e s . I n W . F . A n d e r s o n , B . J . F r i e d e n , a n d M . J . M u r p h y ( E d s . ) , M a n a g i n g 1 1 q u s e r v i e e s . W a s h i n g t o n , D C : I n t e r n a t i o n a l C i t y M a n a g e m e n t A s s o c i a t i o n . N g , B . Y . ( 1 9 8 8 ) . T o w a r d s a g e n e r a l i z e d m o d e l o f n e e d s a n a l y s i s ( D o c t o r a l d i s s e r t a t i o n , I n d i a n a U n i v e r s i t y ) . D i s s e r t a t i o n A b s t r a c t s I n t e r n a n e n a l , 2 9 ( 9 A ) , 2 6 2 7 - 2 6 2 8 . N i c k o l s , F . W . ( 1 9 9 0 ) . W h y t h o s e d a r n e d t r a i n i n g p r o b l e m s w o n ' t g o a w a y . P e r f e r m a n c e & I n s t r u c t i o n , 2 9 ( 1 ) , 1 3 - 1 5 . P a t t o n , M . Q . ( 1 9 9 0 ) . Q u a l i t a t i v e e v a l u a t i o n a n d r e s e a r c h m e t h o d s . N e w b u r y P a r k , C A : S a g e P u b l i c a t i o n s . P e s h k i n , A . ( 1 9 8 6 ) . fi n d s e h e i e e : T h e t e t a l w e r l d e f a f u n d a t n e n t a l t s t Q h r i s t i g s e h e e l . C h i c a g o : T h e U n i v e r s i t y o f C h i c a g o P r e s s . P e s h k i n , A . ( 1 9 8 5 ) . F r o m t i t l e t o t i t l e : T h e e v o l u t i o n o f p e r s p e c t i v e i n n a t u r a l i s t i c i n q u i r y . A n t h r e p e l e g y Q d E d u c a t i o n Q u a n t e r l y , _ 1 _ 6 ( 3 ) , 2 1 4 - 2 2 4 . R o d r i g u e z , S . R . ( 1 9 8 8 ) . N e e d s a s s e s s m e n t a n d a n a l y s i s : T o o l s f o r c h a n g e . d e u m g p f I n s g e n ' e n a l D e v e l e p m e n t , 1 1 ( 1 ) , 2 3 - 2 8 . R o s s e t t , A . ( 1 9 8 2 ) . A t y p o l o g y f o r g e n e r a t i n g n e e d s a s s e s s m e n t s . d e u r n a l p f I n s t n a c t i e n a l D e v e l e p m e n t , 6 ( 1 ) , 2 8 - 3 3 . R o s s e t t , A . ( 1 9 8 6 ) . C o m m e n t a r y : A n a l y z i n g , a s s e s s i n g , a n d d i s a m b i g u a t i n g w h a t c h a m a c a l l i t . I n M . E . S m i t h ( E d . ) , I n t r o d u c t i o n t o p e r f o r m a n c e t e c h n o l o g y ( V o l . 1 ) ( p p . 6 0 - 6 7 ) . W a s h i n g t o n , D C : N a t i o n a l S o c i e t y f o r P e r f o r m a n c e a n d I n s t r u c t i o n . R o s s e t t , A . ( 1 9 8 7 ) . T r a i n i n g n e e d s a s s e s s m e n t . E n g l e w o o d C l i f f s , N J : E d u c a t i o n a l T e c h n o l o g i P u b l i c a t i o n s . R o s s e t t , A . ( 1 9 9 0 ) . O v e r c o m i n g o b s t a c l e s t o n e e d s a s s e s s m e n t . T r a i n i n g , 2 1 ( 3 ) , 3 6 - 4 1 . 3 5 3 L I S T O F R E F E R E N C E S R o s s e t t , A ( 1 9 9 1 ) . N e e d s a s s e s s m e n t . I n G . J . A n g l i n ( E d . ) , I n s a n e t t e n a l t e e h n e l e g t ; P a s t , p r e s e n t , a n d f u t u r e ( p p . 1 5 6 - 1 6 9 ) . E n g l e w o o d , C O : L i b r a r i e s U n l i m i t e d . R o s s e t t , A . ( 1 9 9 2 ) . A n a l y s i s o f h u m a n p e r f o r m a n c e p r o b l e m s . I n H . D . S t o l o v i t c h & E . J . K e e p s ( E d s . ) , H a n d p e e k e f h u m a n p e r f e r m a n e e t e c h n o l o g y ( p p . 9 7 - 1 1 3 ) . S a n F r a n c i s c o : J o s s e y - B a s s . R o t h , J . ( 1 9 7 7 ) . N e e d s a n d t h e n e e d s a s s e s s m e n t p r o c e s s . E v u n N e w s , 5 , 1 5 - 1 7 . R o t h , J . ( 1 9 7 8 ) . T h e o r y a n d p r a c t i c e o f n e e d s a s s e s s m e n t w i t h s p e c i a l a p p l i c a t i o n t o i n s t i t u t i o n s o f h i g h e r l e a r n i n g ( D o c t o r a l D i s s e r t a t i o n , U n i v e r s i t y o f C a l i f o r n i a , B e r k e l e y ) . M W I n t e r n a n ' e n a l , 4 0 ( 0 1 A ) , 1 2 8 - 1 2 9 . S a r t h o r y , J . A . ( 1 9 7 7 ) . N e e d s a s s e s s m e n t a n d t h e p r a c t i t i o n e r : P r o b l e m s a n d p r o s p e c t s . E d u e a t i e n a l T e e h n o l e g t , l l ( 1 1 ) , 2 4 - 2 6 . S c r i v e n , M . 8 : R o t h , J . ( 1 9 7 7 ) . S p e c i a l f e a t u r e : N e e d s a s s e s s m e n t . M l u a n ' e n N e w s , 2 , 2 5 - 2 8 . S h r o c k , S . A . ( 1 9 8 4 ) . N a t u r a l i s t i c I n q u i r y : A n a l t e r n a t i v e m e t h o d o l o g y f o r i n s t r u c t i o n a l d e v e l o p m e n t r e s e a r c h . I n R . K . B a s s & C . R . D i l l s ( E d s . ) , I n s t r u c t i o n a l d e v e l o p m e n t : T h e s t a t e o f t h e a r t 1 1 ( p p . 3 3 3 - 3 4 0 ) . D u b u q u e , I A : K e n d a l l / H u n t . S i m o n , H . A . ( 1 9 4 5 ) . A d m i n i s t t ' a n v e B e h a v i e r ; A s t u d y e f d e e i s i e n - m a k i n g p r e c e s s e s i n a d m i n i s n ' a n v e o r g a n i z a n e n ( 2 n d e d . ) . N e w Y o r k : T h e F r e e P r e s s . S h e e t s , K . J . 8 : A n d e r s o n , W . A . ( 1 9 9 1 ) . T h e r e p o r t i n g o f c u r r i c u l u m d e v e l o p m e n t a c t i v i t i e s i n t h e h e a l t h p r o f e s s i o n s . T e a e h i n g a n d L e a r n i n g i n M e d t e i n e , 2 ( 4 ) , 2 2 1 - 2 2 6 . S l e e z e r , C . M . ( 1 9 9 0 ) . T h e d e v e l e p m e n t a n d v a l i d a n e n e f a p e r f e r m a n e e a n a l y s i s f o r t r a i n i n g m o d e l . ( P r o j e c t n u m b e r t h i r t y - n i n e ) . S t . P a u l , M N : M i n n e s o t a U n i v e r s i t y , D e p a r t m e n t o f V o c a t i o n a l a n d T e c h n i c a l ' h ' a i n i n g . ( E R I C D o c u m e n t R e p r o d u c t i o n S e r v i c e N o . E D 3 3 9 8 2 0 ) S l e e z e r , C . M . ( 1 9 9 1 ) . D e v e l o p i n g a n d v a l i d a t i n g t h e p e r f o r m a n c e a n a l y s i s f o r t r a i n i n g m o d e l . H u m a n R e s o u r c e D e v e l e p m e n t Q u a r t e r l y , 2 ( 4 ) , 3 5 5 - 3 7 2 . S l e e z e r , C . M . ( 1 9 9 2 ) . N e e d s a s s e s s m e n t : P e r s p e c t i v e s f r o m t h e l i t e r a t u r e . P e r f e r m a n e e I m p r e v e m e n t Q u a r t e r l y , 5 ( 2 ) , 3 4 - 4 6 . 3 5 4 L I S T O F R E F E R E N C E S S l e e z e r , C . M . ( i n p r e s s ) . P e r f o r m a n c e a n a l y s i s f o r t r a i n i n g : B r i d g i n g t h e g a p b e t w e e n t h e o r y a n d p r a c t i c e . T r a i n i n g a n d D e v e l e p m e n t . S t o l o v i t c h , H . D . 8 : K e e p s , E . J . ( 1 9 9 2 ) . W h a t i s h u m a n p e r f o r m a n c e t e c h n o l o g y ? I n H . D . S t o l o v i t c h 8 : E . J . K e e p s ( E d s . ) , H a n d l n m i g n f h u m g p e r f e r m a n c e t e c h n e l o g y ( p p . 3 - 1 3 ) . S a n F r a n c i s c o : J o s s e y - B a s s . S t u fl l e b e a m , D . L . , M c C o r m i c k , C . H . , B r i n k e r h o f f , R . O . , & N e l s o n , C . O . ( 1 9 8 4 ) . n u ' n u ' n n s s m n . B o s t o n : K l u w e r - N i j h o f f . S t u fl l e b e a m , D . L . ( 1 9 7 7 ) . W o r k i n g p a p e r o n n e e d s a s s e s s m e n t i n e v a l u a t i o n , P a p e r p r e s e n t e d a t t h e F i r s t A n n u a l E d u c a t i o n a l R e s e a r c h A s s o c i a t i o n T o p i c a l C o n f e r e n c e o n E v a l u a t i o n , S a n F r a n c i s c o . T e s c h , R . ( 1 9 9 0 ) . Q u a l i t a t i v e t e s e a r c h : A n a l y s i s t y p e s a n d § Q f M Q £ § t o o l s . N e w Y o r k : T h e F a l m e r P r e s s T r i r n b y , M . J . ( 1 9 7 9 ) . N e e d s a s s e s s m e n t m o d e l s : A c o m p a r i s o n . E d u e a t i e n a l T e e h n e l o g y , _ 1 _ 9 ( 1 2 ) , 2 4 - 2 8 . T y l e r , R . ( 1 9 4 9 ) . B a s i e p r i n c i p l e s p f c u r r i e u l u m a n d i n s t t n e t i e n . C h i c a g o : U n i v e r s i t y o f C h i c a g o P r e s s . W a n a m a k e r , G . ( 1 9 8 6 ) . Q u r r e n t s t a t e e f t n e a t t p f a l p h a Q b e t a n e e d s a s s e s s m e n t m o d e l s i n 1 9 8 3 . D o c t o r a l D i s s e r t a t i o n , M i c h i g a n S t a t e U n i v e r s i t y . D i s s e r t a t i o n A b s t r a e t s I n t e r n a n o n a l , 4 1 ( 9 A ) , 3 3 0 2 . W e b e r , M . ( 1 9 4 9 ) . T h e m e t h o d o l o g y o f t h e s o c i a l s c i e n c e s . ( E . A . S h i l s & H . A . F i n c h , E d s . & T r a n s . ) G l e n c o e , I L : T h e F r e e P r e s s . W i t k i n , B . R . ( 1 9 7 6 , A p r i l ) . N e e d s a s s e s s m e n t m o d e l s : A c r i t i c a l a n a l y s i s . P a p e r p r e s e n t e d a t t h e a n n u a l m e e t i n g o f t h e A m e r i c a n E d u c a t i o n a l R e s e a r c h A s s o c i a t i o n , S a n F r a n c i s c o . W i t k i n , B . R . ( 1 9 7 7 ) . N e e d s a s s e s s m e n t k i t s , m o d e l s a n d t o o l s . E d u c a n ' e n a l T e c h n e l o g t , i 1 ( 1 1 ) , 5 - 1 8 . W i t k i n l , B . R . ( E d . ) ( 1 9 7 8 a ) . B e f o r e y o u d e a n n e e d s a s s e s s m e n t ; m p e n a n t fi r s t q u e s t i o n s H a y w a r d , C A : O f f i c e o f t h e A l a m e d a C o u n t y S u p e r i n t e n d e n t o f S c h o o l s . 3 5 5 L I S T O F R E F E R E N C E S W i t k i n , B . R . ( E d . ) ( 1 9 7 8 b ) . N e e d s a s s e s s m e n t p r o d u c t l o c a t o r . A v a i l a b l e n I ‘ , m ‘ n p r o o u . c a h w o ‘ 1 ‘ ‘ o o m f r l - . 1 1 H a y w a r d , C A : O f f i c e o f t h e A l a m e d a C o u n t y S u p e r i n t e n d e n t o f S c h o o l s . W i t k i n , B . R . ( 1 9 8 4 ) . s i n n e i n u ° n o c i p r o g t a m s : U s i n g i n f o r m a t i o n t o m a k e d e c i s i o n s , s e t p r i o r i t i e s , a n d W . S a n F r a n c i s c o : J o s s e y - B a s s . Y i n , R . K . ( 1 9 8 9 ) . C t u r s e h : D s i n m . N e w b u r y P a r k , C A : S a g e P u b l i c a t i o n s . Z e m k e , R . , & K r a m l i n g e r , T . ( 1 9 8 2 ) . F i g u r i n g t h i n g s o u t : A t r a i n e r ' s g u i d e t e n e e d s m i d t a s k a n a l y s i s . R e a d i n g , M A : A d d i s o n - W e s l e y . " l l l l l l l l l l l l l l f