P L A C E I N R E T U R N B o x t o r e m o v e t h i s c h e c k o u t f r o m y o u r r e c o r d . T o A V O I D F I N E S r e t u r n o n o r b e f o r e d a t e d u e . M A Y B E R E C A L L E D w i t h e a r l i e r d u e d a t e i f r e q u e s t e d . D A T E D U E D A T E D U E D A T E D U E M A Y E 2 S E Z Q S E 2 / 0 5 a l m m m h d d - D J S N A T I O N A L B O A R D C E R T I F I C A T I O N A S P R O F E S S I O N A L D E V E L O P M E N T : W H A T A R E T E A C H E R S L E A R N I N G ? A n E m p i r i c a l I n v e s t i g a t i o n o f t h e L e a r n i n g O u t c o m e s f r o m t h e N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s ’ C e r t i fi c a t i o n P r o c e s s V o l u m e I B y D a v i d S c o t t L u s t i c k A D I S S E R T A T I O N S u b m i t t e d t o M i c h i g a n S t a t e U n i v e r s i t y i n p a r t i a l f u l fi l l m e n t o f t h e r e q u i r e m e n t s f o r t h e d e g r e e o f D O C T O R O F P H I L O S O P H Y D e p a r t m e n t o f T e a c h e r E d u c a t i o n 2 0 0 5 A B S T R A C T N A T I O N A L B O A R D C E R T I F I C A T I O N A S P R O F E S S I O N A L D E V E L O P M E N T : W H A T A R E T E A C H E R S L E A R N I N G ? A n E m p i r i c a l I n v e s t i g a t i o n o f t h e L e a r n i n g O u t c o m e s f r o m t h e N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s ’ C e r t i fi c a t i o n P r o c e s s B y D a v i d S c o t t L u s t i c k T h i s s t u d y i n v e s t i g a t e d t h e N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s ’ ( N B P I ‘ S ) a s s e s s m e n t p r o c e s s i n o r d e r t o i d e n t i f y , q u a n t i f y , a n d s u b s t a n t i a t e p o s s i b l e l e a r n i n g o u t c o m e s f r o m t h e p a r t i c i p a n t s . O n e h u n d r e d a n d t w e n t y c a n d i d a t e s f o r t h e A d o l e s c e n t a n d Y o u n g A d u l t S c i e n c e ( A Y A S c i e n c e ) C e r t i fi c a t e w e r e s t u d i e d o v e r a 2 - y e a r p e r i o d u s i n g t h e r e c u r r e n t i n s t i t u t i o n a l c y c l e r e s e a r c h d e s i g n . T h i s q u a s i - e x p e r i m e n t a l m e t h o d o l o g y a l l o w e d f o r t h e c o l l e c t i o n o f b o t h c r o s s - s e c t i o n a l a n d l o n g i t u d i n a l d a t a i n s u r i n g a g o o d m e a s u r e o f i n t e r n a l v a l i d i t y r e g a r d i n g o b s e r v e d c h a n g e s b o t h b e t w e e n a n d w i t h i n g r o u p m e a n s . M u l t i p l e a s s e s s o r s s c o r e d t r a n s c r i p t s o f s t r u c t u r e d i n t e r v i e w s w i t h e a c h t e a c h e r u s i n g t h e N B P T S ’ a s s e s s m e n t f r a m e w o r k a c c o r d i n g t o t h e 1 3 s t a n d a r d s a c c o m p l i s h e d s c i e n c e t e a c h i n g . T h e s c o r e s ( a g g r e g a t e d t o t h e g r o u p l e v e l ) p r o v i d e d t h e q u a n t i t a t i v e e v i d e n c e o f t e a c h e r l e a r n i n g i n t h i s s t u d y . S i g n i f i c a n t c h a n g e s i n m e a n s c o r e s f r o m p r e t o p o s t a r e r e p o r t e d a t t h e o v e r a l l , s t a n d a r d g r o u p , a n d i n d i v i d u a l s t a n d a r d l e v e l s . F i n d i n g s s u g g e s t t h a t t h e i n t e r v e n t i o n h a d a n o v e r a l l e f f e c t s i z e o f . 4 7 5 u p o n c a n d i d a t e s ’ u n d e r s t a n d i n g o f s c i e n c e t e a c h i n g r e l a t e d k n o w l e d g e . M o r e s p e c i fi c a l l y , m o s t l e a r n i n g w a s a s s o c i a t e d w i t h t h e s t a n d a r d s o f S c i e n t i fi c I n q u i r y a n d A s s e s s m e n t . T h e r e s u l t s s u p p o r t t h e h y p o t h e s i s t h a t t h e c e r t i fi c a t i o n p r o c e s s i s a n e f f e c t i v e s t a n d a r d s b a s e d p r o f e s s i o n a l l e a r n i n g o p p o r t u n i t y . T h e l e a r n i n g o u t c o m e s d i s c u s s e d i n t h i s r e p o r t ( i n c l u d i n g t h e i d e n t i fi c a t i o n o f D y n a m i c , T e c h n i c a l , a n d D e f e r r e d L e a r n i n g c a t e g o r i e s ) s h o u l d i n f o r m d e b a t e b e t w e e n e d u c a t i o n a l s t a k e h o l d e r s r e g a r d i n g t h e fi n a n c i a l a n d i d e o l o g i c a l s u p p o r t o f N a t i o n a l B o a r d c e r t i fi c a t i o n a s a m e a n s o f i m p r o v i n g t e a c h e r q u a l i t y , p r o v i d e s u g g e s t i o n s f o r t h e i m p r o v e m e n t o f t h e a s s e s s m e n t p r o c e s s , a n d c o n t r i b u t e i n s i g h t i n t o t h e c u r r e n t d i v i s i v e s t a t e o f s c i e n c e e d u c a t i o n i n p u b l i c e d u c a t i o n . C e p y r i g h t b y D A V I D S C O T T L U S T I C K 2 0 0 5 T o D o r e e n , w h o s e l o v e , p a t i e n c e , a n d u n d e r s t a n d i n g m a k e a l l t h i n g s p o s s i b l e . T o D a k o t a , A v a l o n , a n d T r o y f o r t e a c h i n g m e a b o u t t h e i m p o r t a n t t h i n g s i n l i f e . T o M o m a n d D a d , f o r a s t r o n g f o u n d a t i o n a l l d o w n t h e l i n e . A C K N O W L E D G E M E N T S T h o u g h m u c h o f t h e w o r k t h a t g o e s i n t o a d i s s e r t a t i o n i s d o n e i n s e c l u s i o n a n d n e a r i s o l a t i o n , I c o u l d n o t h a v e i n i t i a t e d , w o r k e d t h r o u g h , a n d s u c c e s s f u l l y c o m p l e t e d t h i s e n d e a v o r w i t h o u t a n i n s p i r i n g c o l l e c t i v e o f f r i e n d s a n d p r o f e s s i o n a l s f r o m a r o u n d t h e w o r l d . M y s i n c e r e g r a t i t u d e t o J i m G a l l a g h e r a n d B r u c e B u r k e w h o a r e r e s p o n s i b l e f o r d r a g g i n g m e a w a y f r o m t h e c l a s s r o o m a n d b r i n g i n g m e i n t o t h e w o r l d o f a c a d e m i a . T h i s s t u d y w o u l d n o t h a v e b e e n p o s s i b l e w i t h o u t t h e i n s i g h t f u l a n d e f f e c t i v e c r i t i q u e p r o v i d e d t o m e b y M a r y K e n n e d y , M a r k R e c k a s e , a n d D a v i d L a b a r e e . I c o u l d n o t a s k m o r e f r o m a c o m m i t t e e . A h e a r t f e l t t h a n k s a l s o t o S u s a n M e l n i c k , B o b F l o d e n , a n d D a v i d P l a n k f o r t h e i r c o n s i s t e n t s u p p o r t , u n d e r s t a n d i n g , a n d w i s d o m . I a m g r a t e f u l f o r t h e a s s i s t a n c e a b o v e a n d b e y o n d t h e c a l l o f d u t y f r o m R i c h a r d H o u a n g w h o i n s i s t e d t h a t I s l o w d o w n a n d t h i n k m o r e a b o u t m y w o r k . T h a n k s t o m y v e r y g o o d f r i e n d s , C i n d y K e n d a l l a n d D a n C o p e l a n d , w h o s h o w e d m e w h a t i t m e a n t t o b e e d u c a t e d , i n t e l l i g e n t , a n d c a r i n g . A n d a h e a r t f e l t r e c o g n i t i o n t o J o s e p h F l y n n f o r l i s t e n i n g w h e n h e d i d n ’ t h a v e t o , t a l k i n g w h e n h e n e e d e d t o , a n d s h o w i n g u p w h e n e v e r h e w a n t e d . A s p e c i a l t h a n k s t o a l l t h e p e o p l e I w o r k e d w i t h o v e r t h e c o u r s e o f t h i s s t u d y . I t h a s b e e n m y p l e a s u r e t o c o l l a b o r a t e w i t h a n i n c r e d i b l e g r o u p o f t e a c h e r s , e d u c a t o r s , a n d s u p p o r t p e r s o n n e l . I a m h u m b l e d a n d h o n o r e d b y t h e a w e s o m e c o m m i t m e n t t o e x c e l l e n c e t h a t t h e y s h a r e d w i t h m e . F i n a l l y , I a m f o r e v e r i n d e b t t o t h e g e n e r o s i t y o f i n t e l l e c t , t r u s t , a n d s p i r i t s h o w n t o m e b y m y c h a i r m a n , a d v i s o r , r o l e m o d e l , a n d f r i e n d , G a r y S y k e s . v i P R E F A C E T h r e e y e a r s a g o , m y o l d e s t s o n w a s i n 2 ' “ I g r a d e . O n e c o l d w i n t e r e v e n i n g a r o u n d t h e d i n n e r t a b l e , h e s h a r e d a s t o r y w i t h t h e w h o l e f a m i l y a b o u t w h a t h a p p e n e d a t s c h o o l e a r l i e r i n t h e d a y . H e s a i d t h e y l e a r n e d a b o u t t h e d i f f e r e n t t y p e s o f j o b s g r o w n - u p s h a v e . “ W h e n i t w a s m y t u r n , I t o l d e v e r y o n e t h a t m y D a d d y i s w r i t i n g a b o o k . ” “ I a m ? ” a s k e d . “ Y e s . Y o u w o r k d o w n s t a i r s e v e r y d a y w r i t i n g y o u r b o o k . ” “ W h a t k i n d o f b o o k ? ” I a s k e d . . “ I t ’ s y o u r a u t o b i o g r a p h y , ” h e a n s w e r e d . I h a d n e v e r c o n s i d e r e d t h e r e s e a r c h a n d w r i t i n g t h a t o c c u p i e d m y t i m e i n m y b a s e m e n t ‘ o f fi c e ’ a s a n y t h i n g o t h e r t h a n i n t e r e s t i n g w o r k . B u t , m y s o n s a w i t a s s o m e t h i n g m o r e i n t e r e s t i n g . T o h i m , i t w a s t h e s t o r y o f m y l i f e . I w a s s o s t r u c k w i t h h i s p e r c e p t i o n o f w h a t ‘ D a d d y ’ s d o e s ’ w h i l e p u r s u i n g a P h . D . , t h a t t h e c o n v e r s a t i o n h a s s t a y e d w i t h m e t h r o u g h o u t t h i s p r o c e s s . T h i s w o r k i n s o m e r e s p e c t s i s m y ‘ a u t o b i o g r a p h y ’ . I t i s t h e s t o r y o f h o w a r e s e a r c h e r t r i e s t o fi n d a n a n s w e r t o a q u e s t i o n t h a t h a s b o t h p e r s o n a l a n d p r o f e s s i o n a l v a l u e . I n t h e m o s t d i f fi c u l t a n d t r y i n g m o m e n t s t h r o u g h t h i s l o n g p r o c e s s , m y s o n ’ s i d e a t h a t i t w a s a s t o r y , h e l p e d m e s t a y o n t a s k a n d c o m m i t t e d t o fi n d i n g a n a n s w e r . A n a u t o b i o g r a p h y i s n o t a n e p i s o d e o f o n e ’ s l i f e , b u t r a t h e r s t r i v e s t o c a p t u r e s o m e o f t h e e s s e n c e o f w h a t m a d e a p a r t i c u l a r l i f e s p e c i a l . F o r m e , t e a c h i n g h a s a l w a y s b e e n P a r t o f h o w I d e fi n e m y s e l f . S i n c e e l e m e n t a r y s c h o o l , I w o r k e d t o t e a c h o t h e r s . W h e n t e a c h i n g b e c a m e m y c h o s e n c a r e e r , t h e c l a s s r o o m w a s l i k e a s e c o n d h o m e f o r m e . v i i T h r o u g h t h e b l u r o f d a y - t o - d a y c h a l l e n g e s t r y i n g t o t e a c h s t u d e n t s a b o u t t h e w o r l d t h r o u g h t h e l e n s o f s c i e n c e , I d i s c o v e r e d t h e c r e a t i v e a n d o f t e n s p o n t a n e o u s p o w e r o f p u r p o s e i n t h e w o r k o f a t e a c h e r . I e x c e l l e d a t t h e p r a c t i c e . I p u s h e d t h e b o u n d a r i e s o f c u r r i c u l u m a n d t e c h n o l o g y . W h i l e p r e p a r i n g l e s s o n s , I w o u l d r e v i e w t e x t b o o k s a n d l a b m a n u a l s t o t r y a n d fi n d t h e b e s t v e h i c l e f o r b r i n g i n g a b o u t l e a r n i n g w i t h m y c l a s s e s o f s t u d e n t s f o r t h a t p a r t i c u l a r y e a r . O f t e n , I w o u l d t h i n k , “ I s t h i s t h e b e s t w a y t o t e a c h t h i s i d e a / c o n c e p t / l e s s o n / l a b o r a t o r y ? ” M y d i s s a t i s f a c t i o n w i t h t h e s t a t u s q u o c u r r i c u l u m o r p r e p a c k a g e d l a b s r e s u l t e d i n m y c r e a t i n g n e w a p p r o a c h e s f o r m y s t u d e n t s . S o m e t i m e s t h e y w e r e s u c c e s s f u l a n d s o m e t i m e s n o t . B u t w i t h e a c h a t t e m p t t o i m p r o v e , m y r e fl e c t i v e p r a c t i c e b e c a m e r i c h e r i n s c o p e , m o r e e f f e c t i v e f o r m y s t u d e n t s , a n d ( f o r a t i m e ) m o r e i n t e r e s t i n g f o r m e . A f t e r s e v e n y e a r s o f t h i s t y p e o f i n t e n s i v e t e a c h i n g , I f o u n d m y s e l f g e t t i n g s t a l e , w o r n d o w n , a n d m a y b e a l i t t l e d e p r e s s e d . W h a t o n c e h a d b e e n n e w h a d b e c o m e t i r e d . W h a t o n c e w a s a c h a l l e n g e h a d b e c o m e r o u t i n e . I w a s f e e l i n g t h e b e g i n n i n g s o f t h e n o t o r i o u s ‘ t e a c h e r b u r n o u t ’ . I h a d w i t n e s s e d c o l l e a g u e s i n N e w Y o r k C i t y s u f f e r f o r y e a r s w i t h a d v a n c e d s t a g e s o f t h e a f fl i c t i o n . I r e m e m b e r o n e t e a c h e r i n p a r t i c u l a r w h o u s e d t o c o m e t o w o r k , w a l k i n t o t h e t e a c h e r ’ s l o u n g e a n d a n n o u n c e f o r a l l t o h e a r : “ 6 7 3 d a y s 1 5 h o u r s u n t i l r e t i r e m e n t . ” I k n e w I h a d t o a v o i d t h i s s y n d r o m e a t a l l c o s t s . W i t h t h e t h r e a t o f b u r n o u t h a n g i n g o v e r m y c a r e e r , I h e a r d P r e s i d e n t C l i n t o n ’ s S t a t e o f t h e U n i o n A d d r e s s i n 1 9 9 7 . I t t u r n e d o u t t o b e a l i f e - c h a n g i n g e v e n t . D u r i n g t h e s p e e c h , h e s a i d t h e f o l l o w i n g a b o u t t e a c h e r s : T o h a v e t h e b e s t s c h o o l s , w e m u s t h a v e t h e b e s t t e a c h e r s . M o s t o f u s i n t h i s c h a m b e r w o u l d n o t b e h e r e t o n i g h t w i t h o u t t h e h e l p o f t h o s e t e a c h e r s . I k n o w t h a t I w o u l d n ' t b e h e r e . F o r y e a r s , m a n y o f o u r e d u c a t o r s , l e d b y N o r t h C a r o l i n a ' s G o v e r n o r J i m H u n t a n d t h e N a t i o n a l B o a r d f o r v i i i P r o f e s s i o n a l T e a c h i n g S t a n d a r d s , h a v e w o r k e d v e r y h a r d t o e s t a b l i s h n a t i o n a l l y a c c e p t e d c r e d e n t i a l s f o r e x c e l l e n c e i n t e a c h i n g . J u s t 5 0 0 o f t h e s e t e a c h e r s h a v e b e e n c e r t i fi e d s i n c e 1 9 9 5 . M y b u d g e t w i l l e n a b l e 1 0 0 , 0 0 0 m o r e t o s e e k n a t i o n a l c e r t i fi c a t i o n a s m a s t e r t e a c h e r s . W e s h o u l d r e w a r d a n d r e c o g n i z e o u r b e s t t e a c h e r s . A n d a s w e r e w a r d t h e m , w e s h o u l d q u i c k l y a n d f a i r l y r e m o v e t h o s e f e w w h o d o n ' t m e a s u r e u p , a n d w e s h o u l d c h a l l e n g e m o r e o f o u r fi n e s t y o u n g p e o p l e t o c o n s i d e r t e a c h i n g a s a c a r e e r . - P r e s i d e n t W i l l i a m C l i n t o n 1 9 9 7 S t a t e o f t h e U n i o n A d d r e s s F e b r u a r y 4 , 1 9 9 7 H i s w o r d s r a n g i n m y h e a d l i k e a b e l l . ‘ R e w a r d a n d r e c o g n i z e o u r b e s t t e a c h e r s ’ a n d ‘ c r e d e n t i a l s f o r e x c e l l e n c e i n t e a c h i n g ’ p i q u e d m y i n t e r e s t a n d c u r i o s i t y . W h a t w a s t h e ‘ N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s ’ ? I t o o k t h e P r e s i d e n t ’ s w o r d s a s a d i r e c t c h a l l e n g e t o b e o n e o f t h o s e 1 0 0 , 0 0 0 t e a c h e r s . I n h i s p l a n t o a d d r e s s t h e n e e d s o f s c h o o l s , P r e s i d e n t C l i n t o n d e s c r i b e d h i s i d e a s a s a “ C a l l t o A c t i o n f o r A m e r i c a n E d u c a t i o n ” . I t o o k t h a t p h r a s e i n a l i t e r a l s e n s e : m y p r e s i d e n t w a s c a l l i n g o n m e t o b e o n e o f t h o s e 1 0 0 , 0 0 0 m a s t e r t e a c h e r s . I t w a s t h e fi r s t t i m e i n m y l i f e t h a t a p o l i t i c a l fi g u r e h a d i n s p i r e d m e t o d o m o r e w i t h m y l i f e . I f e l t i t w a s m y d u t y a s a g o o d A m e r i c a n t o t r y a n d a c h i e v e w h a t t h e P r e s i d e n t f o u n d i m p o r t a n t . T h e n e x t d a y I i n v e s t i g a t e d t h e N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s t h r o u g h t h e b r a n d n e w I n t e r n e t . I r e a d t h e fi v e c o r e p r o p o s i t i o n s a n d t h o u g h t , “ T h i s i s m e . T h i s i s m y k i n d o f t e a c h i n g . ” W i t h i n a m o n t h , I w a s p r e p a r i n g f o r c e r t i fi c a t i o n a n d l o b b y i n g m y a d m i n i s t r a t i o n f o r s u p p o r t . T h e n e x t y e a r , I s u c c e s s f u l l y c o m p l e t e d t h e c e r t i fi c a t i o n p r o c e s s a n d b e c a m e a N a t i o n a l B o a r d c e r t i fi e d T e a c h e r i n A d o l e s c e n t a n d Y o u n g A d u l t S c i e n c e . T h e e x p e r i e n c e p r o v e d a h i g h w a t e r m a r k i n m y t e a c h i n g c a r e e r . I p u t m y e n t i r e h e a r t , s o u l , a n d m i n d i n t o i t . I h a d t h e u n u s u a l e x p e r i e n c e o f p u r s u i n g N a t i o n a l B o a r d c e r t i fi c a t i o n w h i l e t e a c h i n g i n a n A m e r i c a n S c h o o l i n S a o P a u l o , B r a z i l . D e s p i t e t h e i x i n t e n s e i s o l a t i o n f r o m o t h e r s i n m y N a t i o n a l B o a r d c e r t i fi c a t i o n c o h o r t , I m a d e c o n n e c t i o n s w i t h r e s o u r c e p e r s o n n e l o n l i n e . I n a d d i t i o n , I w a s a b l e t o s o l i c i t v a l u a b l e a s s i s t a n c e f r o m s o m e o f m y c o l l e a g u e s , s t u d e n t s , a n d p a r e n t s a s I a t t e m p t e d t o c o n s t r u c t t h e e n t r i e s o f t h e p o r t f o l i o . F o r t h e a s s e s s m e n t c e n t e r e x e r c i s e s , I h a d t o fl y f r o m S a o P a u l o t o M i a m i , F l o r i d a t o t a k e t h e t w o d a y c o m p u t e r i z e d ‘ a s s e s s m e n t e x e r c i s e s ’ . A f t e r m o n t h s o f r e q u e s t s a n d l o b b y i n g f o r fi n a n c i a l s u p p o r t t o c o v e r t h e c o s t s a s s o c i a t e d w i t h N a t i o n a l B o a r d c e r t i fi c a t i o n , m y a d m i n i s t r a t i o n fi n a l l y a g r e e d t o p a y f o r h a l f m y t r a v e l e x p e n s e s t o M i a m i . A l l o t h e r c o s t s a s s o c i a t e d w i t h t h e c e r t i fi c a t e , t h e $ 3 0 0 r e g i s t r a t i o n f e e , $ 1 7 0 0 c e r t i fi c a t i o n f e e , h o t e l , f o o d , e t c . w e r e m y r e s p o n s i b i l i t y . I w o u l d a l s o n o t e n j o y a n y b e n e fi t t o m y s a l a r y o r a n y fi n a n c i a l g a i n i f s u c c e s s f u l i n m y a t t e m p t s f o r t h e c o v e t e d N a t i o n a l c e r t i fi c a t i o n . F o r r e a s o n s t h a t r e m a i n a m y s t e r y t o m e , m y a d m i n i s t r a t i o n w a s n o t e n t h u s i a s t i c a b o u t m y i n d e p e n d e n t e f f o r t s t o p u r s u e t h e ‘ n e w ’ f o r m o f c e r t i fi c a t i o n . L i k e w i s e , m y c o l l e a g u e s w h o w e r e f o r t h e m o s t p a r t s u p p o r t i v e a n d h e l p f u l , d i d n o t u n d e r s t a n d , a p p r e c i a t e , o r n e c e s s a r i l y a p p r o v e o f m y a m b i t i o n s . I f e l t t h a t s o m e o f t h e t e a c h e r s v i e w e d N a t i o n a l B o a r d c e r t i fi c a t i o n a s a t h r e a t t o t h e e g a l i t a r i a n m o d e l o f w h a t t h e y v i e w e d t h e t e a c h i n g p r o f e s s i o n t o b e . F r o m t h i s p e r s p e c t i v e , a n y o n e w h o w a s ‘ c r a z y ’ e n o u g h t o p u r s u e a c a r e e r a s a t e a c h e r s h o u l d b e g i v e n e q u a l r e s p e c t f o r t h e s a c r i fi c e . W h e t h e r t h e y w e r e e f f e c t i v e i n t h e c l a s s r o o m w a s s e c o n d a r y t o t h e c h o i c e t h e y m a d e t o d e d i c a t e t h e i r l i v e s t o h e l p i n g y o u n g p e o p l e l e a r n . T h e y w e r e n o t i n e d u c a t i o n f o r t h e m o n e y . T h e y w e r e n o t i n e d u c a t i o n f o r t h e p r e s t i g e . T h e y w e r e n o t t e a c h e r s f o r t h e P a p e r w o r k a n d r e q u i r e m e n t s o f t h e a d m i n i s t r a t i o n . N a t i o n a l B o a r d t h r e a t e n s t h i s p a r t i c u l a r m o d e l o f t h e t e a c h i n g p r o f e s s i o n . I t s e n d s a m e s s a g e t h a t d e c i d i n g t o b e a t e a c h e r i s n o t t h e d i s t i n g u i s h i n g f a c t o r , b u t r a t h e r , h o w e f f e c t i v e o n e i s a t b r i n g i n g a b o u t l e a r n i n g i n t h e c l a s s r o o m b e c o m e s t h e p r i m a r y c o n s i d e r a t i o n . I n o t h e r w o r d s , s o m e t e a c h e r s m a y b e “ b e t t e r ” t h a n o t h e r s a n d N a t i o n a l B o a r d c e r t i fi c a t i o n p r o v i d e d t h e fi r s t s y s t e m a t i c m e a n s f o r v e r i f y i n g t h i s a s s e r t i o n . S u c h a n a p p r o a c h t o t h e p r o f e s s i o n o f t e a c h i n g i s e x t r e m e l y t h r e a t e n i n g t o a g e n e r a t i o n o f e d u c a t o r s r a i s e d i n t h e u n i o n d o m i n a t e d e g a l i t a r i a n v i e w o f t e a c h i n g . T e a c h e r s d e m o n s t r a t e d t h i s k i n d o f a p p r e h e n s i o n b y q u e s t i o n i n g w h y I w a s d o i n g w h a t I w a s d o i n g . W h y w o u l d a n y o n e w a n t t o w o r k s o h a r d o n s o m e t h i n g t h a t s e e m e d s o u n n e c e s s a r y ? W h y w o u l d I w a n t t o p r o v e t h a t I w a s s o m e h o w b e t t e r t h a n e v e r y o n e e l s e ? W h y c o u l d n ’ t I b e s a t i s fi e d w i t h t h e i n t r i n s i c r e w a r d s f r o m t h e s t u d e n t s I t a u g h t a n d t h e i r p a r e n t s ? S o m e t e a c h e r s t h o u g h t t h a t t h e y t o o c o u l d b e s u c c e s s f u l w i t h N a t i o n a l B o a r d c e r t i fi c a t i o n i f t h e y w a n t e d t o c o m m i t a s m u c h t i m e a n d e f f o r t a s i t s e e m e d t o r e q u i r e a n d t h e y h a d t h e fi n a n c i a l a b i l i t y t o c o v e r a l l t h e c o s t s . J u s t b e c a u s e I w a s p a y i n g f o r t h i s e x p e r i e n c e a n d p u t t i n g i n a l l t h e a d d i t i o n a l h o u r s o f w o r k a f t e r s c h o o l a n d o n w e e k e n d s d i d n o t m e a n t h a t I w a s a b e t t e r t e a c h e r t h a n s o m e o n e w h o c h o s e n o t t o a c c e p t t h e e x t r a r e s p o n s i b i l i t i e s . F o r m o s t t e a c h e r s i t s e e m e d t h a t N a t i o n a l B o a r d c e r t i fi c a t i o n w a s a n e x e r c i s e i n v a n i t y . I f s u c c e s s f u l , t h e e x p e r i e n c e w o u l d o n l y b e n e fi t t h e e g o o f t h e c a n d i d a t e a n d n o t t r a n s l a t e i n t o a n y t h i n g m e a n i n g f u l f o r t h e t e a c h e r , s t u d e n t s , o r t h e s c h o o l a s a w h o l e . I m u s t a d m i t t h a t a t t h e b e g i n n i n g o f t h e e x p e r i e n c e , t h e s e i d e a s m a y v e r y w e l l h a v e a p p l i e d t o m e . I d i d w a n t t o p r o v e t o m y c o m m u n i t y ( a s w e l l a s m y s e l f ) t h a t I w a s a n a c c o m p l i s h e d t e a c h e r a s j u d g e d b y a n o u t s i d e a u t h o r i t y . M a y b e I f e l t t h a t I w a s n o t x i r e c e i v i n g t h e r e s p e c t t h a t I w a s d u e . M a y b e t h e i n t r i n s i c r e w a r d s w e r e n o t e n o u g h t o v a l i d a t e t h e a m o u n t o f w o r k a n d t i m e I p u t i n t o m y t e a c h i n g . M a y b e I w a s d i s s a t i s fi e d w i t h t h e e g a l i t a r i a n m o d e l b e c a u s e i t e q u a t e d m e w i t h o t h e r s w h o I w a s s u r e w e r e f a r i n f e r i o r a t b r i n g i n g a b o u t l e a r n i n g i n t h e c l a s s r o o m . I r e m e m b e r o n e t e a c h e r i n p a r t i c u l a r w h o w a s a n e x p e r i e n c e d t e a c h e r w i t h a P h . D . i n C h e m i s t r y . H i s c o n t e n t k n o w l e d g e w a s f a r s u p e r i o r t o m e i n e v e r y r e s p e c t , b u t h e k n e w r e l a t i v e l y l i t t l e a b o u t h o w t o t e a c h t h a t c o n t e n t t o a d i v e r s e g r o u p o f l e a r n e r s . I t w a s t r u e t h a t f o r t h e h i g h a c h i e v e r s , h i s t r a d i t i o n a l d i r e c t a p p r o a c h t o i n s t r u c t i o n w a s q u i t e e f f e c t i v e a s e v i d e n c e d b y t h e s t a n d a r d i z e d t e s t s c o r e s a t t h e e n d o f t h e y e a r , b u t t o t h e m a j o r i t y o f a v e r a g e a c h i e v e r s , h i s p e d a g o g y l e f t m u c h t o b e d e s i r e d ’ . I k n e w t h i s b e c a u s e m a n y o f t h e m w o u l d c o m e t o m y o f fi c e h o u r s f o r e x t r a h e l p b e c a u s e t h e y k n e w I w o u l d e m p l o y d i f f e r e n t s t r a t e g i e s a n d a p p r o a c h e s t o a d d r e s s t h e i r n e e d s . M y c o l l e a g u e , t h o u g h i n t e l l i g e n t a n d e x p e r i e n c e d , w a s a t a l o s s a s t o h o w t o h e l p t h e s e s t r u g g l i n g s t u d e n t s . T o b e f a i r , s o m e o f m y h i g h e r e n d s t u d e n t s w o u l d s e e k h i m o u t d u r i n g h i s o f fi c e h o u r s b e c a u s e I c o u l d n o t a n s w e r t h e i r a d v a n c e d c o n t e n t q u e s t i o n s t o t h e i r s a t i s f a c t i o n . H o w e v e r , w e w e r e h i r e d t o t e a c h h i g h s c h o o l s c i e n c e n o t c o l l e g e a n d t h e n e e d s o f a s e c o n d a r y s t u d e n t g o b e y o n d j u s t a d v a n c e d c o n t e n t . I k n e w I w a s m o r e e f f e c t i v e t h a n m y t r a d i t i o n a l t e a c h i n g c o u n t e r p a r t a t h e l p i n g t h e m a j o r i t y o f s t u d e n t s n o t o n l y a p p r e c i a t e a n d e n j o y t h e e x p e r i e n c e o f c h e m i s t r y , b u t a l s o s u c c e e d a t l e a r n i n g t h e r e q u i r e d c o n c e p t s . M y k n o w l e d g e a b l e c o l l e a g u e w o u l d p r o b a b l y fi n d t h e N a t i o n a l B o a r d c e r t i fi c a t i o n e x p e r i e n c e m o s t l y f o r e i g n i d e a s a n d n e a r l y i m p o s s i b l e t o d o s u c c e s s f u l l y . ’ C o i n c i d e n t a l l y , m y s t u d e n t s d i d j u s t a s w e l l i f n o t b e t t e r o n t h e s a m e e x a m s . S o r e g a r d l e s s o f t e a c h i n g p h i l o s o p h y , b o t h t e a c h e r s f a c i l i t a t e d e x c e l l e n t r e s u l t s . x i i H e h a d n o a p p r e c i a t i o n o f t h e s t u d e n t s a s r e s o u r c e s i n t h e l e a r n i n g e q u a t i o n . H e d i d n o t v a l u e t h e p o w e r o f c o l l a b o r a t i o n i n l e a r n i n g n o r i n p r o v i d i n g i n n o v a t i v e a n d m e a n i n g f u l a s s e s s m e n t s . A s i s t r u e w i t h m a n y t r a d i t i o n a l e d u c a t o r s i n s c i e n c e , h e r e l i e d o n l e c t u r e s , n o t e t a k i n g , d i d a c t i c ‘ d i s c u s s i o n s ’ ( Q & A w i t h t h e s t u d e n t s a s k i n g q u e s t i o n s a n d t h e t e a c h e r g i v i n g a n s w e r s ) , a n d a s s e s s m e n t s b a s e d o n m e m o r i z a t i o n a n d p r o b l e m s o l v i n g a b i l i t y . I n m a n y r e s p e c t s , I s a w m y s e l f a s a m i r r o r o p p o s i t e o f t h i s a p p r o a c h t o t e a c h i n g . F o r m e , t e a c h i n g a n d l e a r n i n g w a s a c o l l a b o r a t i v e a n d a n e v o l v i n g p r o c e s s . A s s e s s m e n t c o u l d b e m e m o r i z a t i o n a n d p r o b l e m s o l v i n g , b u t i t c o u l d a l s o b e o p e n - e n d e d a n d a u t h e n t i c . S t u d e n t s ’ i d e a s o f n a t u r a l p h e n o m e n o n w e r e a s s e t s t o b e m i n e d i n c l a s s n o t o b s t a c l e s t o b e o v e r c o m e . A f t e r r e a d i n g t h e N a t i o n a l B o a r d ’ s s t a n d a r d s o f a c c o m p l i s h e d s c i e n c e t e a c h i n g , I k n e w t h a t t h e s t a n d a r d s d e s c r i b e d m y a p p r o a c h t o t e a c h i n g a n d l e a r n i n g a n d n o t m y e s t e e m e d c o l l e a g u e . T h e N a t i o n a l B o a r d ’ s S t a n d a r d s d o c u m e n t s w e r e t h e fi r s t t o a r t i c u l a t e a n d s p e a k d i r e c t l y t o m y a b i l i t i e s a n d v a l u e s a s a s c i e n c e e d u c a t o r . F a c e d w i t h c o l l e a g u e s w h o s e a p p r o a c h t o t e a c h i n g w a s e x c l u s i v e a n d fi x e d a n d m y o w n f e e l i n g s o f b e c o m i n g b u r n e d o u t a n d n o t r e s p e c t e d b y m y i m m e d i a t e p e e r s , N a t i o n a l B o a r d c e r t i fi c a t i o n p r o v i d e d m e w i t h a n o p p o r t u n i t y t o a d d r e s s b o t h o f t h e s e i s s u e s a t o n c e . L i t t l e d i d I k n o w t h a t i t s i m p a c t o n m e b o t h p r o f e s s i o n a l l y a n d p e r s o n a l l y w o u l d g o f a r b e y o n d t h e s e m o t i v a t i n g f a c t o r s . I f m y d e c i s i o n t o p u r s u e N a t i o n a l B o a r d c e r t i fi c a t i o n s t a r t e d o u t a s a n e x e r c i s e i n V a n i t y , i t e n d e d a s p r o f e s s i o n a l l e a r n i n g e x p e r i e n c e w h o s e r e v e r b e r a t i o n s a r e s t i l l b e i n g f e l t t o d a y . T h e i d e a t h a t t h e p r o c e s s w o u l d o n l y b e n e fi t m e a n d n o t m y s t u d e n t s b e c a m e b l a t a n t l y f a l s e . I k n e w t h a t m y i n t e n s e a n d h o n e s t e f f o r t s a t a c r i t i c a l s e l f - r e fl e c t i o n h a d x i i i c h a n g e d s o m e o f m y a p p r o a c h e s t o t e a c h i n g a n d r e a f fi r m e d o t h e r s . F o r e x a m p l e , I g a i n e d a n e w a p p r e c i a t i o n f o r t h e l e a r n i n g e x p e r i e n c e a s s e e n t h r o u g h t h e e y e s o f d i f f e r e n t s t u d e n t s . F o r s o m e , l e a r n i n g s c i e n c e w a s ‘ s e c o n d n a t u r e ’ a n d f o r o t h e r s i t w a s l i k e p u l l i n g t e e t h . A p p r e c i a t i n g h o w p a i n f u l a n d d i f fi c u l t l e a r n i n g c a n s o m e t i m e s b e , e n a b l e d m e t o a n t i c i p a t e p r o b l e m s w i t h i n d i v i d u a l l e a r n e r s b e f o r e t h e y b e c a m e b i g a n d w e i g h t y i s s u e s . I a l s o l e a r n e d a b o u t t h e v a l u e o f p a r e n t s a s a r e s o u r c e i n a s t u d e n t ’ s s u c c e s s f u l l e a r n i n g e x p e r i e n c e . P r i o r t o c e r t i fi c a t i o n , I s a w p a r e n t s a t t h e i r w o r s t a s a n u i s a n c e a n d a t t h e i r b e s t a s a h e d g e w i t h s t u d e n t d i s c i p l i n e p r o b l e m s . H o w e v e r , a f t e r c e r t i fi c a t i o n , I s a w e v e r y p a r e n t a s h a v i n g a u n i q u e c h i l d w i t h a d i f f e r e n t s e t o f p r i o r i t i e s a n d v a l u e s . A d d r e s s i n g t h o s e d i f f e r e n c e s a l l o w e d m e t o d e v e l o p m o r e p r o s p e r o u s a n d a p p r e c i a b l y b e t t e r r e l a t i o n s h i p s w i t h t h o s e p a r e n t s a n d t h e i r s t u d e n t s . I n m y a c t u a l d a i l y p r a c t i c e h o w e v e r , I t h i n k I l e a r n e d t h e m o s t . A f t e r a n a l y z i n g v i d e o t a p e s o f m y w o r k , I q u i c k l y r e a l i z e d t h a t I t a l k e d m o r e t h a n I l i s t e n e d . I m i s s e d i m p o r t a n t c o m m e n t s a n d q u e s t i o n s b e t w e e n s t u d e n t s . I w a s t o o e a s i l y d r a w n i n t o t h e ‘ s a g e o n t h e s t a g e ’ r o l e o f t e a c h e r . F i n a l l y , w h a t I t h o u g h t w a s ‘ w a i t t i m e ’ w a s r e a l l y m o r e l i k e a o n e s e c o n d p a u s e . T h e r e i s n o t h i n g m o r e h u m b l i n g t h a n w a t c h i n g a v i d e o t a p e o f o n e ’ s t e a c h i n g f o r t h e fi r s t t i m e . T h e r e a l i t y o f t h e v i d e o t a p e c o n f r o n t s d i r e c t l y o n e ’ s o w n s e l f - i m a g e a s a t e a c h e r . T h e d i s c o n n e c t b e t w e e n p e r c e p t i o n a n d r e a l i t y i s q u i t e d i s t u r b i n g . W h a t I h a d t h o u g h t w a s p r e t t y g o o d w o r k p r o v e d t o b e a w f u l a n d w h a t I h a d c o n s i d e r e d a w f u l , t u r n e d o u t t o b e n o t s o b a d . T h e v i d e o t a p e a n a l y s i s f o r e v e r c h a n g e d m e a s a t e a c h e r a n d a p e r s o n . E v e r y t i m e I s t e p p e d i n t o a c l a s s r o o m , I w a s r e m i n d e d o f t h o s e h o r r i b l e i m a g e s I w a s f o r c e d t o c o n f r o n t i n t h e v i d e o t a p e . I w a s d e t e r m i n e d t o a d d r e s s e v e r y i d e n t i fi e d w e a k n e s s a n d t u r n i t i n t o s t r e n g t h . x i v A f t e r I a c h i e v e d c e r t i fi c a t i o n , I b e g a n t h i n k i n g s e r i o u s l y a b o u t w h y I f o u n d t h e e x p e r i e n c e s u c h a p r o f o u n d a n d p r o d u c t i v e p r o f e s s i o n a l d e v e l o p m e n t . W h e n I a r r i v e d — a t M i c h i g a n S t a t e U n i v e r s i t y t o p u r s u e a P h . D . i n C u r r i c u l u m , T e a c h i n g & E d u c a t i o n a l P o l i c y , I q u i c k l y d i s c o v e r e d i n t h e l i t e r a t u r e t h a t t h e r e w e r e m a n y t e a c h e r s w h o h a d h a d s i m i l a r e x p e r i e n c e s w i t h N a t i o n a l B o a r d c e r t i fi c a t i o n a n d h a d w r i t t e n a b o u t i t i n j o u r n a l s a n d m a g a z i n e s . A n i d e a b e g a n t o f o r m t h a t t h e m o u n t i n g a n e c d o t a l e v i d e n c e m i g h t c o n s t i t u t e a l e g i t i m a t e p h e n o m e n o n w o r t h y o f i n v e s t i g a t i o n . T h e l i t e r a t u r e h a d g r e a t b r e a d t h , b u t r e l a t i v e l y l i t t l e d e p t h . W h e n a s k e d w h a t t h e y l e a r n e d b y g o i n g t h r o u g h N a t i o n a l B o a r d c e r t i fi c a t i o n , t h e t y p i c a l a n s w e r w a s a n u n f u l fi l l i n g “ I ’ m m o r e r e fl e c t i v e ” t y p e o f r e s p o n s e . V e r y f e w p i e c e s w e n t i n t o a n y k i n d o f d e t a i l a b o u t w h a t “ m o r e r e fl e c t i v e ” m i g h t a c t u a l l y m e a n . I f I h a d b e e n a s k e d w h a t I l e a r n e d , I w o u l d h a v e f o u n d i t d i f fi c u l t t o a n s w e r t o o . N o t b e c a u s e I d i d n ’ t l e a r n a n y t h i n g , b u t b e c a u s e I h a d l e a r n e d s o m u c h i t w a s i m p o s s i b l e t o s o r t o u t t h e c o m p l e x n a t u r e o f t h e l e a r n i n g a n d p r i o r i t i z e w h a t w a s l e a r n e d a n d i t s i m p a c t u p o n p r a c t i c e . I w a n t e d t o k n o w w h a t I l e a r n e d a n d w h a t o t h e r s l e a r n e d a n d t h e b e s t w a y t o d o t h a t w a s t h r o u g h r e s e a r c h . T h e s t u d y p r e s e n t e d h e r e i s m y a t t e m p t t o a n s w e r t h e q u e s t i o n “ W h a t a r e t e a c h e r s l e a r n i n g b y g o i n g t h r o u g h t h e c e r t i fi c a t i o n p r o c e s s ? ” T h e v a l u e o f t h i s r e s e a r c h i s n o t j u s t f o r t h e e d u c a t i o n a l p o l i c y c o m m u n i t y a n d t h e N a t i o n a l B o a r d b o t h o f w h o m h a v e a v e s t e d i n t e r e s t i n u s i n g w h a t e v e r o u t c o m e s a r e i d e n t i fi e d fi ' o m t h e s t u d y f o r p o l i t i c a l a n d s y s t e m i c g a i n , b u t f o r m e . O n a v e r y p e r s o n a l l e v e l I w a n t e d t o u n d e r s t a n d m y e x p e r i e n c e m o r e t h o r o u g h l y a n d b e a b l e t o d i s c u s s l e a r n i n g o u t c o m e s b e y o n d t h e ‘ m o r e r e fl e c t i v e ’ r h e t o r i c . I f t h e r e s e a r c h c o u l d a n s w e r s o m e o f m y o w n q u e s t i o n s , i t m i g h t h e l p s c i e n c e X V t e a c h e r s d e c i d e w h e t h e r o r n o t t o p u r s u e B o a r d c e r t i fi c a t i o n a n d o t h e r c a n d i d a t e s u n d e r s t a n d a n d d e s c r i b e t h e i r o w n e x p e r i e n c e s m o r e t h o r o u g h l y . T h e d e c i s i o n t o p u r s u e a n e m p i r i c a l a p p r o a c h t o t h i s q u e s t i o n w a s b a s e d u p o n t w o f a c t o r s : 1 ) t h e p o l i c y c o m m u n i t y ’ s d e s i r e f o r i n f o r m a t i o n b a s e d u p o n e m p i r i c a l s t u d i e s a n d 2 ) t h e u n i q u e o p p o r t u n i t y t o a t t e m p t t o m e a s u r e o u t c o m e s u s i n g t h e N a t i o n a l B o a r d ’ s o w n r u b r i c s a n d s c o r i n g p r o c e d u r e s . H o w e v e r , t h e r e w a s a n i n n a t e p r o b l e m : i n v e s t i g a t o r b i a s . H o w c o u l d I p u r s u e t h i s r e s e a r c h a s P r i n c i p a l I n v e s t i g a t o r a n d n o t b e a n i n fl u e n c i n g f o r c e i n t h e r e s u l t s ? S e v e r a l a l t e r n a t i v e p o s s i b i l i t i e s f o r r e s o l v i n g t h e c o n fl i c t p r e s e n t e d t h e m s e l v e s t o m e . F i r s t , I c o u l d a b a n d o n t h e p r o j e c t a n d d o m y d i s s e r t a t i o n o n s o m e t h i n g w h e r e t h e a p p e a r a n c e o f b i a s w o u l d n o t b e a s m u c h o f a n i s s u e a n d I c o u l d b e m o r e ‘ o b j e c t i v e ’ . S e c o n d , I c o u l d w o r k i n t o t h e d e s i g n a n d b u d g e t a s e c o n d r e s e a r c h e r w h o w o u l d b e r e s p o n s i b l e f o r e i t h e r a l l t h e i n t e r v i e w s , a l l t h e s c o r i n g , o r m a n a g e m e n t o f d a t a t h e r e b y i n s u l a t i n g m y s e l f a n d a l l o w i n g t h e d i f f e r e n t a s p e c t s o f d a t a c o l l e c t i o n a n d a s s e s s m e n t t o b e b l i n d t o e a c h o t h e r a n d t o m e . T h i r d , I c o u l d c o m p r o m i s e a n d d o b o t h i n t e r v i e w i n g a n d s c o r i n g a n d i m p l e m e n t a s e r i e s o f m e a s u r e s t o p r o t e c t a g a i n s t b i a s . I O p t e d f o r t h e t h i r d o p t i o n f o r a v a r i e t y o f r e a s o n s i n c l u d i n g p r a c t i c a l , t e c h n i c a l , a n d fi n a n c i a l . I n t h i s t h i r d o p t i o n , t h e o t h e r t w o a s s e s s o r s w e r e b l i n d t o t h e s t a t u s ( p r e o r p o s t , g e n d e r , c o h o r t , e t c ) o f e a c h t r a n s c r i p t t h e y s c o r e d . A s I d i d t h i s w o r k o n h o w a n d w h a t o t h e r s m i g h t b e l e a r n i n g , I w a s c o n s t a n t l y a w a r e a t e v e r y s t e p w h a t i t w a s t h a t I m i g h t b e l e a r n i n g . I w a s c o n s c i o u s o f m y r o l e i n t h e p r o c e s s a n d h o w m y i d e a s a n d p e r c e p t i o n s w e r e s h a p i n g a n d w e r e s h a p e d b y t h e e v e n t s I e x p e r i e n c e d . I a p p r o a c h e d t h i s p r o j e c t w i t h a n i n t e l l e c t u a l c u r i o s i t y a n d p r o f e s s i o n a l h o n e s t y . W h a t i f a n y t h i n g w o u l d t h e d a t a r e v e a l c o n c e r n i n g w h a t m i g h t b e x v i l e a r n e d f r o m t h e p r o c e s s o f c e r t i fi c a t i o n ? W a s m y e x p e r i e n c e c o m m o n o r u n c o m m o n ? H o w w o u l d d e m o n s t r a t e d p r o f e s s i o n a l k n o w l e d g e a m o n g c a n d i d a t e s c h a n g e f r o m b e f o r e t o a f t e r c e r t i fi c a t i o n ? W h e n I b e g a n t h i s i n v e s t i g a t i o n , I d i d n o t k n o w t h e a n s w e r s t o t h e s e q u e s t i o n s . N o w , I h a v e a m u c h b e t t e r u n d e r s t a n d i n g . M y l e a r n i n g i s d o c u m e n t e d i n t h i s w o r k . I f t h i s i s m y ‘ a u t o b i o g r a p h y ’ , t h e n t h e w o r k p r e s e n t e d h e r e r e p r e s e n t s o n l y t h e fi r s t c h a p t e r . I c o n s i d e r m y o n g o i n g e f f o r t s t o a c h i e v e k n o w l e d g e a n d u n d e r s t a n d i n g a s a ‘ w o r k i n p r o g r e s s ’ r e q u i r i n g m a n y m o r e y e a r s a n d a c a r e e r o f s t u d y . x v i i I A T A B L E O F C O N T E N T S C H A P T E R 1 : I N T R O D U C T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . l S i t u a t i n g a n d S t a t i n g t h e P r o b l e m . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 T h e Q u e s t i o n a n d I t s I m p o r t a n c e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 D e s c r i p t i o n o f t h e I n t e r v e n t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 N a t i o n a l B o a r d C e r t i fi c a t i o n a s P r o f e s s i o n a l D e v e l o p m e n t . . . . . . . . . . . . . . . . . . . 1 0 N a t i o n a l B o a r d C e r t i fi c a t i o n a n d T e a c h e r L e a r n i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 U n d e r s t a n d i n g T e a c h e r L e a r n i n g f r o m t h e C e r t i fi c a t i o n P r o c e s s . . . . 1 7 R e fl e c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 8 C o l l e g i a l i t y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 9 G r o w t h . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0 R e s o u r c e s f o r L e a r n i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 I m p o r t a n c e o f t h i s S t u d y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 6 S u m m a r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 8 C H A P T E R 2 : M E T H O D O L O G Y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 0 O v e r v i e w . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 0 I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 R e s e a r c h D e s i g n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2 H y p o t h e s e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 9 I n t e r n a l & E x t e r n a l V a l i d i t y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 6 S t u d y P o p u l a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 8 R e c r u i t m e n t a n d S e l e c t i o n o f P a r t i c i p a n t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 9 L e g a l i t i e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 0 I n s t i t u t i o n a l R e s t r a i n t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2 P o l i c y C h a n g e s a t t h e N a t i o n a l B o a r d . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 4 D e m o g r a p h i c V a r i a b l e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 6 C o h o r t - t o - C o h o r t C o m p a r i s o n s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 7 C h i S q u a r e f o r C a t e g o r i c a l V a r i a b l e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 1 C o h o r t ~ t o - G r o u p C o m p a r i s o n s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2 G r o u p - t o - G r o u p C o m p a r i s o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 5 C a t e g o r i c a l V a r i a b l e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 6 C o n t i n u o u s V a r i a b l e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 9 S u r v e y Q u e s t i o n s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 0 I n s t r u m e n t a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3 S t a n d a r d s t o b e A s s e s s e d . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 7 I n t e r v i e w P r o t o c o l s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 0 I n t e r - R a t e r R e l i a b i l i t y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 5 S u m m a r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1 x v i i i C H A P T E R 3 : Q U A N T I T A T I V E R E S U L T S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 3 O v e r v i e w . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 3 D a t a C o l l e c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 4 H y p o t h e s e s T e s t i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 7 E q u i v a l e n c e H y p o t h e s e s ( H 7 - H 1 0 ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 7 N o n - E q u i v a l e n c e H y p o t h e s e s ( H 1 - H 6 ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 0 1 S t a t u s I s s u e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 0 7 R e s u l t s o f t h e C o m b i n e d . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 2 C o n f o u n d i n g V a r i a b l e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 7 S u m m a r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 0 C H A P T E R 4 : Q U A L I T A T I V E R E S U L T S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 3 O v e r v i e w . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 3 Q u a l i t a t i v e D a t a . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 4 S t a n d a r d s w i t h S i g n i fi c a n t O b s e r v e d G a i n s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 7 S c i e n t i fi c I n q u i r y : E v i d e n c e f o r L e a r n i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 8 A s s e s s m e n t : E v i d e n c e f o r L e a r n i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 4 R e fl e c t i o n : E v i d e n c e f o r L e a r n i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 9 R e s o u r c e s f o r L e a r n i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 4 6 P o r t f o l i o M a t e r i a l s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 4 6 C o l l e a g u e s a s R e s o u r c e s f o r L e a r n i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 2 S u m m a r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 7 C H A P T E R 5 : D I S C U S S I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 8 O v e r v i e w . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 8 T e a c h e r L e a r n i n g a n d T e a c h e r Q u a l i t y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 9 D y n a m i c L e a r n i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 6 2 T e c h n i c a l L e a r n i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 6 6 D e f e r r e d L e a r n i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 7 1 A d d i t i o n a l C o n s i d e r a t i o n s f o r L e a r n i n g T y p e s . . . . . . . . . . . . . . . . . . . . . . . . . . 1 7 4 S t u d y S u m m a r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 7 6 C o n c l u d i n g T h o u g h t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 8 0 A P P E N D I C E S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 9 4 A p p e n d i x A : P o r t f o l i o P r o m p t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 9 4 A p p e n d i x B : I n t e r v i e w e e ’ s V e r s i o n o f t h e P r o t o c o l s . . . . . . . . . . . . . . . . . . . . . . . . . . 1 9 9 A p p e n d i x C : I n t e r v i e w e r ’ s S t r u c t u r e d I n t e r v i e w P r o t o c o l s . . . . . . . . . . . . . . . . . . 2 0 6 A p p e n d i x D : T h e N B P T S S t a n d a r d s f o r A Y A S c i e n c e . . . . . . . . . . . . . . . . . . . . . . . 2 1 6 A p p e n d i x E : P o r t f o l i o P r o m p t s & I n t e r v i e w P r o t o c o l s C o m p a r i s o n . . . . . . . . 2 1 8 A p p e n d i x F : A s s e s s o r T r a i n i n g M a t e r i a l s . . . . . . . . . . . . . . . 2 2 2 A p p e n d i x G : C o d i n g a n d C a l c u l a t i o n o f S t a t u s f o r G r o u p 2 A - P r e . . . . . . . . . . 3 2 3 A p p e n d i x H : T r a n s c r i p t P r o c e s s i n g E x p l a n a t i o n s a n d E x a m p l e s . . . . . . . . 3 2 6 A p p e n d i x 1 : I m p o r t a n t C o m m u n i c a t i o n s w i t h C a n d i d a t e s . . . . . . . . . . . . . . . . . . . 3 3 6 A p p e n d i x J : U C R I H S R e n e w a l F o r m . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 4 5 x i x L I S T O F T A B L E S T a b l e 2 - 1 T a b l e 2 - 2 T a b l e 2 - 3 T a b l e 2 - 4 T a b l e 2 - 5 T a b l e 2 - 6 T a b l e 2 - 7 T a b l e 2 - 8 T a b l e 2 - 9 T a b l e 2 - 1 0 T a b l e 2 - 1 1 T a b l e 2 - 1 2 T a b l e 2 - 1 3 T a b l e 2 - 1 4 T a b l e 3 - 1 T a b l e 3 - 2 T a b l e 3 — 3 T a b l e 3 — 4 T a b l e 3 - 5 T a b l e 3 - 6 T a b l e 3 - 7 T a b l e 3 - 8 T a b l e 3 - 9 T a b l e 3 - 1 0 T a b l e 3 — 1 1 T a b l e 3 - 1 2 T a b l e 3 - 1 3 G r o u p a n d O b s e r v a t i o n D e s i g n a t i o n s . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 3 S u m m a r y o f H y p o t h e s e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 6 C o m p a r i s o n o f D e m o g r a p h i c V a r i a b l e s A m o n g t h e C o h o r t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 8 S u m m a r y o f C o h o r t C o m p a r i s o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 1 C o h o r t t o G r o u p C o m p a r i s o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 3 S u m m a r y o f C o h o r t t o G r o u p C o m p a r i s o n s f o r D i f f e r e n c e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 5 G r o u p - t o - G r o u p C o m p a r i s o n s o n C a t e g o r i c a l D e m o g r a p h i c V a r i a b l e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 7 G r o u p - t o - G r o u p C o m p a r i s o n s o n C o n t i n u o u s D e m o g r a p h i c V a r i a b l e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 0 O r t h o g o n a l C o n t r a s t T e s t s b e t w e e n G r o u p s o n Y e a r s o f E x p e r i e n c e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 0 G r o u p - t o - G r o u p C o m p a r i s o n s o n S u r v e y Q u e s t i o n R e s p o n s e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1 S u m m a r y o f G r o u p - t o - G r o u p C o m p a r i s o n s o n D e m o g r a p h i c V a r i a b l e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3 S t r u c t u r e d I n t e r v i e w a n d P o r t f o l i o C o n s t r u c t i o n C o m p a r i s o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 5 O v e r v i e w o f S t a n d a r d s f o r A Y A S c i e n c e . . . . . . . . . . . . . . . . . . . . . . . 7 7 S u m m a r y o f I n t e r - R a t e r R e l i a b i l i t y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 0 A n a l y s i s o f E q u i v a l e n c e H y p o t h e s e s ( H 7 - H 1 0 ) . . . . . . . . . . . . . . . 9 8 R e s u l t s S u m m a r y f o r E q u i v a l e n t H y p o t h e s e s ( H 7 - H 1 0 ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 9 N o n - E q u i v a l e n c e H y p o t h e s e s ( H I - H 6 ) . . . . . . . . . . . . . . . . . . . . . . . . 1 0 3 R e s u l t s S u m m a r y f o r N o n - E q u i v a l e n t H y p o t h e s e s ( H l - H 6 ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 0 6 A n a l y s i s o f P e r c e n t R e d u c t i o n i n S t a t u s a n d R e s u l t i n g C h a n g e i n S i g n i fi c a n c e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 0 D e s c r i p t i v e S t a t i s t i c s f o r a l l G r o u p s i n t h e C o m b i n e d H y p o t h e s i s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 4 T e s t o f S i g n i fi c a n c e a t O v e r a l l L e v e l f o r t h e C o m b i n e d H y p o t h e s i s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 5 T e s t o f S i g n i fi c a n c e a t t h e S e t s o f S t a n d a r d s L e v e l f o r t h e C o m b i n e d H y p o t h e s i s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 6 T e s t o f S i g n i fi c a n c e a t I n d i v i d u a l S t a n d a r d L e v e l f o r t h e C o m b i n e d H y p o t h e s i s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 7 A n a l y s i s o f V a r i a n c e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 8 E s t i m a t e d M e a n s u s i n g S t u d e n t T y p e & G r o u p . . . . . . . . . . . . . . . 1 2 0 S u m m a r y o f G r o u p O v e r a l l M e a n S c o r e s . . . . . . . . . . . . . . . . . . . . . . . 1 2 1 S u m m a r y o f H y p o t h e s i s T e s t i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 1 X X L I S T O F F I G U R E S F i g u r e 2 - 1 F i g u r e 2 - 2 F i g u r e 2 - 3 F i g u r e 2 - 4 F i g u r e 2 - 5 F i g u r e 2 - 6 F i g u r e 2 - 7 F i g u r e 2 - 8 F i g u r e 3 - 1 F i g u r e 3 - 2 F i g u r e 3 - 3 F i g u r e 3 - 4 F i g u r e 3 - 5 F i g u r e 3 - 6 F i g u r e 4 - 1 F i g u r e 4 - 2 R E F E R E N C E S . . . . . . D e s i g n M o d e l . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 4 O v e r v i e w o f D a t a C o l l e c t i o n a c c o r d i n g t o S t u d y D e s i g n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 5 O v e r v i e w o f E x p e c t e d M o d e l f o r R e s e a r c h . . . . . . . . . . . . . . . . . . . . . 3 9 N o n - E q u i v a l e n c e H y p o t h e s e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 0 E q u i v a l e n c e H y p o t h e s e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1 C o m b i n e d H y p o t h e s i s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2 S t a g g e r e d D e s i g n M o d e l . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 8 C o m p a r i s o n o f I n t e r - R a t e r R e l i a b i l i t y ( P e a r s o n r ) A c r o s s S t a n d a r d s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 6 T h e P a t h w a y t o D a t a C o l l e c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 6 B a r G r a p h C o m p a r i n g G r o u p 2 A - 2 a n d G r o u p 2 3 . . . . . . . . . . . . 1 0 1 G r o u p 2 A - P r e v e r s u s F i n a l S u m S c o r e . . . . . . . . . . . . . . . . . . . . . . . . . . 1 0 7 G r o u p 3 - 1 S t a t u s v e r s u s F i n a l S u m S c o r e . . . . . . . . . . . . . . . . . . . . . . 1 0 9 A n a l y s i s F l o w c h a r t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 3 E s t i m a t e d M e a n s R a t i n g s ( S c o r e s ) b y S t u d e n t T y p e . . . . . . . . . . 1 1 9 N u m b e r o f C o m m e n t s C o r r e s p o n d i n g D i r e c t l y w i t h S t a n d a r d s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 7 O b s e r v e d G a i n s f o r I n d i v i d u a l S t a n d a r d s o n a 4 - p t S c a l e . . . 1 2 7 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 4 7 x x i C H A P T E R 1 : I N T R O D U C T I O N “ L i f e i s f o r l e a r n i n g . ” J o n i M i t c h e l l S i t u a t i n g a n d S t a t i n g t h e P r o b l e m T e a c h i n g i s a c o m p l e x e n d e a v o r ( L a m p e r t , 1 9 8 5 ; L o r t i e , 1 9 7 5 ) . T h e p r o c e s s o f t e a c h i n g a n d l e a r n i n g c a n b e t h o u g h t o f a s a p r a c t i c e o f ‘ h u m a n i m p r o v e m e n t ’ i n v o l v i n g t h e u n p r e d i c t a b l e a n d u n c e r t a i n n a t u r e o f p e o p l e ( C o h e n , 1 9 8 8 ) . A s d i f fi c u l t a c h a l l e n g e a s e d u c a t i o n p r e s e n t s , i t s r o l e i n f o s t e r i n g a s t r o n g , d e m o c r a t i c a n d p r o s p e r o u s s o c i e t y i s u n d e n i a b l y i m p o r t a n t ( N C E E , 1 9 8 3 ; N C T A F , 1 9 9 6 ) . T h e h i g h v a l u e p l a c e d u p o n t e a c h i n g a n d l e a r n i n g i s r e fl e c t e d i n p o l i c y i n i t i a t i v e s a i m e d a t s t r e n g t h e n i n g t h e c u r r e n t s y s t e m o f e d u c a t i o n . E f f o r t s t o i m p r o v e a n d b e t t e r u n d e r s t a n d w h a t w o r k s b e s t a t i m p r o v i n g t e a c h i n g a n d l e a r n i n g l i e a t t h e f o r e f r o n t o f t h e c u r r e n t p o l i t i c a l a n d e d u c a t i o n a l a g e n d a s . I n a n a d d r e s s t o a n a u d i e n c e o f M i n n e s o t a e d u c a t i o n s t a k e h o l d e r s i n M a r c h o f 2 0 0 2 , P r e s i d e n t G e o r g e W . B u s h u n v e i l e d h i s p l a n f o r e d u c a t i o n r e f o r m t i t l e d , “ N o C h i l d L e f t B e h i n d ” ( B u s h , 2 0 0 2 ) . T h e p l a n f o c u s e s o n a t h e m e o f i m p r o v i n g t e a c h e r q u a l i t y . I n h i s c o m m e n t s , t h e P r e s i d e n t s a i d : M y a d m i n i s t r a t i o n i s s u p p o r t i n g t e a c h e r s i n g e t t i n g t h e t r a i n i n g t h e y n e e d t o r a i s e e d u c a t i o n a l s t a n d a r d s . . . T h i s i s t h e g r e a t e s t f e d e r a l c o m m i t m e n t t o q u a l i t y t e a c h e r s a n d p r i n c i p a l s . A n d i t ' s i m p o r t a n t a n d i t ' s n e c e s s a r y i f w e ' r e g o i n g t o a c h i e v e t h e r e f o r m s i n h e r e n t i n t h e n o c h i l d l e f t b e h i n d b i l l . ( B u s h , 2 0 0 2 ) [ s i c ] W i t h t h e p a s s a g e o f t h e N o C h i l d L e f t B e h i n d l e g i s l a t i o n , t h e g o v e r n m e n t i s p r o v i d i n g v a l u a b l e e d u c a t i o n d o l l a r s t o i m p r o v e t h e q u a l i t y o f t e a c h e r s . P r e s i d e n t B u s h m a k e s i t c l e a r t h a t “ t r a i n i n g ” , o r p r o f e s s i o n a l d e v e l o p m e n t , w i l l b e a m a j o r m e a n s b y w h i c h t h e P o l i c y a n d l e a d e r s h i p c o m m u n i t i e s l e v e r a g e i m p r o v e m e n t i n t e a c h e r q u a l i t y . T e a c h e r Q u a l i t y i s a m u l t i - f a c e t e d a r e a o f e d u c a t i o n a l l i t e r a t u r e a n d r e s e a r c h . I t l i e s a t t h e h e a r t o f t h e N o C h i l d L e f t B e h i n d ( N C L B ) l a w a n d i s t h e l a t e s t e x a m p l e o f t e a c h e r s b e i n g v i e w e d a s t h e m e a n s o f c a r r y i n g o u t e d u c a t i o n a l p o l i c y ( C o h e n , 1 9 9 0 ) . I n t h i s c o n t e x t , T e a c h e r q u a l i t y i s d e fi n e d a s t h e k n o w l e d g e , s k i l l s , a n d d i s p o s i t i o n s t h a t c o n t r i b u t e t o t e a c h e r e f f e c t i v e n e s s a t f o s t e r i n g i m p r o v e d s t u d e n t l e a r n i n g ( W a l s h , 2 0 0 2 ) . T h e p o l i c i e s r e p r e s e n t e d b y N C L B a r e b a s e d u p o n a c o m m o n b e l i e f t h a t i m p r o v e d s t u d e n t l e a r n i n g s t a r t s w i t h h i g h e r q u a l i t y a n d m o r e e f f e c t i v e t e a c h e r s ( B u s h , 2 0 0 1 ; D a r l i n g - H a m m o n d , 2 0 0 1 ; G a r e t & P o r t e r 2 0 0 1 ; H a w l e y & V a l l i , 1 9 9 5 , 1 9 9 8 ; L a c z k o - K e r r & B e r l i n e r 2 0 0 2 ; N a t i o n a l C o m m i s s i o n o n T e a c h i n g a n d A m e r i c a ' s F u t u r e 1 9 9 6 , S a n d e r s & R i v e r s , 1 9 9 6 ; S y k e s , 1 9 9 9 : W e n g l i n k s k y 2 0 0 1 ) . F o r n e a r l y a l l o f t h i s w o r k , t h e u n d e r l y i n g q u e s t i o n i s “ H o w c a n s o c i e t y i m p r o v e t h e t e a c h i n g a n d l e a r n i n g e x p e r i e n c e i n t h e p u b l i c s c h o o l c l a s s r o o m s ? ” A s N o C h i l d L e f t B e h i n d e x e m p l i fi e s , t h e c u r r e n t a n s w e r e n v o g u e l i e s i n p r o v i d i n g e f f e c t i v e p r o f e s s i o n a l d e v e l o p m e n t O p p o r t u n i t i e s f o r t e a c h e r s ( W i l e y & Y o o n , 1 9 9 5 ) . H o w e v e r , j u s t p r o v i d i n g t h e o p p o r t u n i t y f o r t e a c h e r s t o l e a r n d o e s n o t n e c e s s a r i l y m e a n t h a t l e a r n i n g w i l l o c c u r o r , i f l e a r n i n g d o e s h a p p e n , t h a t q u a l i t y o f i n s t r u c t i o n w i l l b e i m p r o v e d . F o r e x a m p l e , i f a t e a c h e r g o e s t h r o u g h t e c h n o l o g y t r a i n i n g , o n e m i g h t a s s u m e t h a t n o t o n l y d o e s t h e t e a c h e r n o w u n d e r s t a n d t e c h n o l o g y b e t t e r , b u t a l s o t h a t t h e k n o w l e d g e g a i n e d w i l l r e s u l t i n m o r e e f f e c t i v e u s e o f t e c h n o l o g y i n t h e c l a s s r o o m w i t h s t u d e n t s . S u c h a n a s s u m p t i o n w o u l d b e a m i s t a k e . E x p o s u r e t o a l e a r n i n g o p p o r t u n i t y d o e s n o t g u a r a n t e e l e a r n i n g n o r d o e s i t n e c e s s a r i l y r e s u l t i n c h a n g e s i n c l a s s r o o m p r a c t i c e . T h e p r o b l e m p e r t a i n s t o t h e a s s u m p t i o n t h a t t e a c h e r s l e a r n t h e i n t e n d e d o b j e c t i v e s f r o m a p r o f e s s i o n a l d e v e l o p m e n t e x p e r i e n c e . T h e ‘ W h a t t e a c h e r s a r e l e a r n i n g ? ’ q u e s t i o n r e m a i n s w h a t d o e s i t d o ? W h y s h o u l d b i l l i o n s o f p u b l i c t a x d o l l a r s b e s p e n t a n n u a l l y o n b u i l d i n g t h e l e a s t u n d e r s t o o d a s p e c t o f t h e p r o f e s s i o n a l d e v e l o p m e n t p a r a d i g m . A c c o r d i n g t o W i l s o n a n d B e m e ( 1 9 9 9 ) , r e s e a r c h i n t h i s a r e a h a s y e t t o “ i d e n t i f y , c o n c e p t u a l i z e , a n d a s s e s s ” w h a t t e a c h e r s a r e l e a r n i n g . T o a d d r e s s t h i s p r o b l e m , e m p i r i c a l i n v e s t i g a t i o n s a r e n e e d e d t o p r o v i d e q u a n t i t a t i v e e v i d e n c e o f a ) w h a t t y p e s o f k n o w l e d g e a r e b e i n g l e a r n e d b y t h e t e a c h e r , a n d b ) t o w h a t e x t e n t i s t h a t l e a r n i n g t a k i n g p l a c e . O n c e t h e s e q u e s t i o n s a r e a n s w e r e d , a p r o f e s s i o n a l d e v e l o p m e n t ’ s p o t e n t i a l f o r i n fl u e n c i n g t e a c h e r q u a l i t y a n d i m p r o v i n g s t u d e n t l e a r n i n g c a n b e a s s e s s e d m o r e a c c u r a t e l y . H o w a r e ‘ T e a c h e r Q u a l i t y ’ , ‘ P r o f e s s i o n a l D e v e l o p m e n t ’ , a n d ‘ T e a c h e r L e a r n i n g ’ r e l a t e d ? B e f o r e t e a c h e r q u a l i t y i s i m p r o v e d , a t e a c h e r m u s t fi r s t l e a r n s o m e t h i n g f r o m t h e p r o f e s s i o n a l d e v e l o p m e n t t h a t t h e y d i d n o t k n o w p r i o r t o t h e e x p e r i e n c e . T e a c h e r s m a y a c q u i r e n e w k n o w l e d g e , s k i l l ( s ) , o r d i s p o s i t i o n s , b u t t h i s ‘ l e a r n i n g ’ m a y n o t n e c e s s a r i l y b e c o m e a p p a r e n t i n t h e d e c i s i o n s , a c t i o n s , a n d s t r a t e g i e s u s e d i n t h e c l a s s r o o m . I n o t h e r w o r d s , i m p r o v e m e n t s i n t e a c h e r q u a l i t y a r e p r e c e d e d b y t w o e v e n t s : a ) t e a c h e r s a c q u i r e n e w k n o w l e d g e f r o m a p a r t i c u l a r p r o f e s s i o n a l d e v e l o p m e n t o p p o r t u n i t y , a n d b ) d e c i d e w h e t h e r o r n o t t o a c t u p o n t h e n e w u n d e r s t a n d i n g . T o o o f t e n i n e d u c a t i o n a l l i t e r a t u r e c o n c e r n i n g t h i s i s s u e o f p r o f e s s i o n a l d e v e l o p m e n t a n d t e a c h e r q u a l i t y , t h e t e a c h e r l e a r n i n g c o m p o n e n t a n d t h e a c t i o n s b a s e d u p o n t h a t l e a r n i n g a r e a s s u m e d t o o c c u r a l m o s t a u t o m a t i c a l l y . O r , a t t h e v e r y l e a s t , t h e ‘ l e a m i n g o u t c o m e s ’ a r e d e t e r m i n e d b y s e l f r e p o r t e d i n t e r v i e w s o r s u r v e y s w i t h t h e t e a c h e r s a f t e r t h e p r o f e s s i o n a l d e v e l o p m e n t ( M u l l e n e t a l , 1 9 9 6 ) . L i t t l e e m p i r i c a l e v i d e n c e e x i s t s t h a t a s s e s s e s p r e c i s e l y w h a t t e a c h e r s m a y o r m a y n o t b e l e a r n i n g f r o m a p a r t i c u l a r d e v e l o p m e n t e x p e r i e n c e . I f p r o f e s s i o n a l d e v e l o p m e n t d o e s n o t i n s u r e i m p r o v e m e n t s i n t e a c h e r q u a l i t y , t h e n b e t t e r t e a c h e r s w h e n t h e b e n e f i t f r o m s u c h e x p e n d i t u r e s i s s o p o o r l y u n d e r s t o o d ? P r o f e s s i o n a l d e v e l o p m e n t a l l o w s f o r t h e p o s s i b i l i t y o f t e a c h e r l e a r n i n g a n d i m p r o v e d t e a c h e r q u a l i t y . P r o f e s s i o n a l d e v e l o p m e n t p r o v i d e s a t e a c h e r w i t h t h e o p p o r t u n i t y t o l e a r n s o m e t h i n g t h e y d i d n o t k n o w b e f o r e a n d t h e o p t i o n o f a c t i n g u p o n t h e i r n e w u n d e r s t a n d i n g i n a p o s i t i v e a n d p r o d u c t i v e m a n n e r i n t h e c l a s s r o o m . T h e r e i s a n o l d s a y i n g , “ y o u c a n l e a d a h o r s e t o w a t e r , b u t y o u c a n ’ t m a k e i t d r i n k . ” S u c h m a y b e t h e c a s e w i t h t e a c h e r s , l e a r n i n g o p p o r t u n i t i e s , a n d i m p r o v e m e n t s t o p r a c t i c e . A t e a c h e r c a n b e p r o v i d e d w i t h t h e o p p o r t u n i t y t o l e a r n , b u t t h a t d o e s n o t m e a n t h e y w i l l n e c e s s a r i l y l e a r n o r e v e n a c t u p o n w h a t t h e y d o l e a r n . W i t h s o m u c h r e l i a n c e o n p r o f e s s i o n a l d e v e l o p m e n t a s t h e i n s t r u m e n t o f c h a n g e i n p u b l i c s c h o o l c l a s s r o o m s , t h e c h a l l e n g e f o r t h e a c a d e m i c c o m m u n i t y i s t o i d e n t i f y , q u a n t i f y , a n d s u b s t a n t i a t e s p e c i fi c l e a r n i n g o u t c o m e s o f a p a r t i c u l a r p r o f e s s i o n a l d e v e l o p m e n t e x p e r i e n c e b y m e a n s o f e m p i r i c a l r e s e a r c h . D e t e r m i n i n g w h a t t e a c h e r s m a y o r m a y n o t b e l e a r n i n g a n d t o w h a t e x t e n t t h a t l e a r n i n g i s t a k i n g p l a c e i s t h e fi r s t s t e p t o u n d e r s t a n d i n g h o w t e a c h e r q u a l i t y ( o r t e a c h e r s ’ e f f e c t i v e n e s s a t b r i n g i n g a b o u t l e a r n i n g i n t h e i r s t u d e n t s ) m a y c h a n g e . T h e Q u e s t i o n a n d I t s I m p o r t a n c e W h a t a r e t e a c h e r s l e a r n i n g f r o m N a t i o n a l B o a r d c e r t i fi c a t i o n ? I f g o o d r e s e a r c h q u e s t i o n s a r e s a i d t o “ e m e r g e a s t h e p e r f e c t i n t e r s e c t i o n b e t w e e n s o c i o h i s t o r i c a l c i r c u m s t a n c e s a n d o n e ’ s o w n b i o g r a p h y ” ( B o s h i e r , 1 9 9 4 ) , t h e n t h i s r e p r e s e n t s a v e r y g o o d q u e s t i o n . T h i s s t u d y o n t h e N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d ’ s c e r t i fi c a t i o n p r o c e s s g r o w s o u t o f t h e i n t e r s e c t i o n o f t h r e e s e p a r a t e s t r a n d s o f C i r c u m s t a n c e s : 1 ) m y e x p e r i e n c e i n b e c o m i n g a N a t i o n a l B o a r d C e r t i fi e d T e a c h e r i n A d o l e s c e n t a n d Y o u n g A d u l t S c i e n c e , 2 ) t h e m o u n t i n g e v i d e n c e s u g g e s t i n g t h a t t h e N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s ’ ( N B P T S ) p r o c e s s o f a s s e s s m e n t i s a p o w e r f u l o p p o r t u n i t y f o r t e a c h e r s t o l e a r n , a n d 3 ) t h e c u r r e n t d e b a t e o v e r w h a t c o n s t i t u t e s ‘ t e a c h e r q u a l i t y ’ a n d t h e m e a n s ( p r o f e s s i o n a l d e v e l o p m e n t ) u s e d t o i m p r o v e i t . T h i s s t u d y a i m s t o i d e n t i f y , q u a n t i f y , a n d s u b s t a n t i a t e t e a c h e r - l e a r n i n g o u t c o m e s f r o m c a n d i d a t e s p u r s u i n g N a t i o n a l B o a r d c e r t i fi c a t i o n i n A d o l e s c e n t a n d Y o u n g A d u l t S c i e n c e ( A Y A S c i e n c e ) . T h e N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s ( N B P T S ) h a s m a i n t a i n e d t h a t t h e p r o c e s s o f r e c o g n i z i n g a c c o m p l i s h e d t e a c h e r s s h o u l d “ p r o v i d e o p p o r t u n i t i e s f o r c a n d i d a t e s t o d e v e l o p p r o f e s s i o n a l l y ” ( E T S , 1 9 9 9 ) . N o w , e v i d e n c e i s e m e r g i n g t h a t s u g g e s t s t h a t t h e p r o c e s s o f N a t i o n a l B o a r d c e r t i fi c a t i o n p r o m o t e s t e a c h e r l e a r n i n g f o r t h e c a n d i d a t e s . W h e t h e r t h e y p a s s o r f a i l , t e a c h e r s s a y t h e y f e e l b e t t e r a b o u t t h e m s e l v e s a s p r o f e s s i o n a l s a n d b e l i e v e t h e y a r e b e t t e r p r a c t i t i o n e r s b e c a u s e o f t h e i r e f f o r t s . H o w e v e r , w h a t t e a c h e r s f e e l a n d b e l i e v e m a y b e q u i t e d i f f e r e n t f r o m w h a t t h e y l e a r n . T h e r e f o r e , i n q u i r i n g a b o u t t h e p r e c i s e n a t u r e o f t h e l e a r n i n g o u t c o m e s f r o m B o a r d c e r t i fi c a t i o n b e c o m e s a v e r y m e a n i n g f u l a n d i m p o r t a n t e n d e a v o r . T h e s t a k e s a r e h i g h f o r e v e r y o n e i n v o l v e d i n e d u c a t i o n . I n a p u b l i c e d u c a t i o n a l s y s t e m , t h a t s p e n d s r o u g h l y $ 3 5 0 0 p e r y e a r ( 2 . 0 % o f i t s a n n u a l o p e r a t i n g b u d g e t ) o n e a c h t e a c h e r ’ s p r o f e s s i o n a l d e v e l o p m e n t , q u e s t i o n s r e g a r d i n g t h e e f f e c t i v e n e s s o f a g i v e n p r o g r a m a r e n o t t r i v i a l ( M i l l e r , 1 9 9 4 ; K i l l e e n , 2 0 0 4 ) . I n fi s c a l l y d i f fi c u l t t i m e s , s t a t e s a n d l o c a l d i s t r i c t s a r e d e b a t i n g t h e m e r i t s o f p r o v i d i n g fi n a n c i a l i n c e n t i v e s a n d s u p p o r t f o r N a t i o n a l B o a r d c e r t i fi c a t i o n ( G r i f fi n , 2 0 0 3 ) . F i n a n c i a l s u p p o r t f o r t h e c o s t s o f c e r t i fi c a t i o n a n d i n c e n t i v e p r o g r a m s f o r t h o s e w h o a c h i e v e N a t i o n a l B o a r d c e r t i fi c a t i o n c a n b e v e r y e x p e n s i v e . S t a t e s l i k e N o r t h C a r o l i n a s e t a s i d e m o r e t h a n $ 2 6 m i l l i o n d o l l a r s i n 2 0 0 3 t o e n c o u r a g e a n d s u p p o r t t e a c h e r s w h o p u r s u e t h e c o v e t e d c e r t i f i c a t i o n ( L e e f , 2 0 0 3 ) . O t h e r s t a t e s l i k e T e x a s p r o v i d e n o fi n a n c i a l s u p p o r t o r i n c e n t i v e f o r t h e t e a c h e r s w h o p u r s u e N a t i o n a l B o a r d c e r t i fi c a t i o n , b u t d o a c c e p t s u c c e s s f u l a c h i e v e m e n t o f B o a r d c e r t i fi c a t i o n i n l i e u o f t h e s t a t e c e r t i fi c a t i o n e x a m . F o r t y - e i g h t s t a t e s a n d 5 4 4 l o c a l d i s t r i c t s o f f e r s o m e f o r m o f fi n a n c i a l i n c e n t i v e o r s u p p o r t f o r N a t i o n a l B o a r d ( N B P T S , 2 0 0 4 ) . T h e c o s t f o r N a t i o n a l B o a r d c e r t i fi c a t i o n f e e s a l o n e m a y b e s u r p r i s i n g . I n 2 0 0 3 , a p p r o x i m a t e l y 1 6 , 0 0 0 t e a c h e r s p u r s u e d N a t i o n a l B o a r d c e r t i fi c a t i o n a t a c o s t o f $ 2 3 0 0 p e r c a n d i d a t e ; t h a t e q u a l s $ 3 6 . 8 m i l l i o n i n c e r t i fi c a t i o n f e e s p a i d a l m o s t e n t i r e l y b y s t a t e d e p a r t m e n t s o f e d u c a t i o n , l o c a l d i s t r i c t s , a n d t o a l e s s e r e x t e n t , t e a c h e r u n i o n s . O u t o f t h o s e 1 6 , 0 0 0 c a n d i d a t e s , a p p r o x i m a t e l y h a l f o f t h e t e a c h e r s a c h i e v e d c e r t i fi c a t i o n i n 2 0 0 3 ( N B P T S , 2 0 0 4 ) . I f 7 5 % o f t h e m r e c e i v e d a b o n u s , fi n a n c i a l r e w a r d , o r s a l a r y i n c r e a s e e q u i v a l e n t t o $ 2 5 0 0 2 , t h e n a n a d d i t i o n a l $ 2 0 m i l l i o n n e e d s t o b e i n c l u d e d i n t h e t o t a l p u b l i c e x p e n d i t u r e s . F o r 2 0 0 3 a l o n e , n e a r l y $ 5 7 m i l l i o n ( m o s t o f w h i c h d e r i v e s f r o m p u b l i c f u n d s ) w e r e i n v e s t e d i n N a t i o n a l B o a r d c e r t i fi c a t i o n . T h i s m a y s o u n d l i k e a l o t o f m o n e y , b u t i f p u t i n t o t h e c o n t e x t o f a l l f u n d s p u t t o w a r d s p r o f e s s i o n a l d e v e l o p m e n t , t h i s a m o u n t i s q u i t e s m a l l . I n t h e m u l t i - b i l l i o n d o l l a r a y e a r p r o f e s s i o n a l d e v e l o p m e n t i n d u s t r y , $ 5 7 m i l l i o n i s a p i t t a n c e . 3 W i t h s o m u c h m o n e y g o i n g t o i m p r o v e t h i s c o u n t r y ’ s t e a c h e r s , i t i s s u r p r i s i n g t h a t t h e r e i s p r e c i o u s l i t t l e e m p i r i c a l e v i d e n c e t h a t e x a m i n e s w h a t t e a c h e r s m a y o r m a y n o t b e l e a r n i n g f r o m a s p e c i f i c p r o f e s s i o n a l d e v e l o p m e n t . T r y i n g t o 2 F i n a n c i a l i n c e n t i v e s r a n g e a n y w h e r e f r o m $ 1 0 0 0 t o $ 7 5 0 0 a n n u a l b o n u s f o r t h e l i f e o f t h e c e r t i fi c a t e ( 1 0 y e a r s ) . S t a t e s l i k e N o r t h C a r o l i n a o f f e r a 1 2 % i n c r e a s e i n s a l a r y w i t h s u c c e s s f u l c o m p l e t i o n o f t h e p r o c e s s . F o r a c o m p l e t e r e v i e w o f t h e i n c e n t i v e s a n d s u p p o r t o f f e r e d b y e a c h s t a t e a n d m o r e t h a n 5 0 0 l o c a l d i s t r i c t s , v i s i t h t t p : / / w w w . n b m s . o r g / a b o u t / s t a t e c f m 3 D e t e r m i n i n g t h e a n n u a l e x p e n d i t u r e s f o r p r o f e s s i o n a l d e v e l o p m e n t i s a t r i c k y a n d v e r y u n c e r t a i n p r a c t i c e . F o r a d e t a i l e d s t u d y o n h o w e s t i m a t e s a r e c a l c u l a t e d , s e e M i l l e r , 1 9 9 4 a n d K i l l e e n e t a l , 2 0 0 4 ) d e t e r m i n e w h a t ( i f a n y t h i n g ) t h e s e t e a c h e r s m a y b e l e a r n i n g f r o m a p e r c e i v e d e f f e c t i v e e x p e r i e n c e w o u l d t h e r e f o r e s e e m t o b e a m o s t n e e d e d a n d v a l u e d g o a l . A s t u d y t h a t p r o v i d e s e v i d e n c e r e g a r d i n g t h e d e g r e e t o w h i c h A d o l e s c e n t a n d Y o u n g A d u l t S c i e n c e c a n d i d a t e s l e a r n t o a l i g n t h e i r c l a s s r o o m p r a c t i c e s w i t h a p a r t i c u l a r s e t o f s t a n d a r d s f o r a c c o m p l i s h e d t e a c h i n g , m a y a l l o w f o r a m o r e i n f o r m e d a n d l e s s p o l i t i c a l l y a l i g n e d d e b a t e c o n c e r n i n g t h e m e r i t s o f N a t i o n a l B o a r d c e r t i fi c a t i o n a s a n e f f e c t i v e t e a c h e r p r o f e s s i o n a l d e v e l o p m e n t . F u r t h e r m o r e , k n o w l e d g e r e g a r d i n g t e a c h e r - l e a m i n g o u t c o m e s w o u l d b r i n g t o l i g h t e f f e c t i v e a s p e c t s o f N a t i o n a l B o a r d c e r t i fi c a t i o n a n d i n d i c a t e h o w N a t i o n a l B o a r d c e r t i fi c a t i o n a s a p r o f e s s i o n a l d e v e l o p m e n t m i g h t b e i m p r o v e d o r e v e n t u a l l y l i n k e d t o s t u d e n t l e a r n i n g . B y i d e n t i f y i n g , q u a n t i f y i n g , a n d s u b s t a n t i a t i n g s p e c i fi c l e a r n i n g o u t c o m e s f o r t e a c h e r s w h o p a r t i c i p a t e i n t h e N a t i o n a l B o a r d c e r t i fi c a t i o n p r o c e s s , t h i s s t u d y s h o u l d s u p p o r t a r o b u s t d i s c o u r s e r e g a r d i n g N a t i o n a l B o a r d c e r t i fi c a t i o n , t h e t e a c h i n g - l e a r n i n g d y n a m i c i n s e c o n d a r y s c i e n c e c l a s s r o o m s , a n d t h e p o l i c i e s t h a t a f f e c t b o t h . D e s c r i p t i o n o f t h e I n t e r v e n t i o n W h a t e x a c t l y i s t h e N a t i o n a l B o a r d a n d w h a t d o e s t h e c e r t i fi c a t i o n p r o c e s s e n t a i l ? T h e N B P T S w a s e s t a b l i s h e d i n 1 9 8 7 t h r o u g h a C a r n e g i e F o u n d a t i o n G r a n t a s a m e a n s o f d e fi n i n g , a s s e s s i n g , a n d r e c o g n i z i n g a c c o m p l i s h e d t e a c h i n g ( N B P T S , 1 9 9 1 ) . N B P T S c e r t i fi e d i t s fi r s t t e a c h e r i n 1 9 9 3 a n d p a r t i c i p a t i o n h a s b e e n g r o w i n g e v e r s i n c e . T h e N B P T S h a s i d e n t i fi e d t h r e e r e s p o n s i b i l i t i e s a r o u n d i t s s y s t e m o f c e r t i fi c a t i o n : ( 1 ) s t a n d a r d s ( e s t a b l i s h i n g , r e v i e w i n g , a n d r e f i n i n g s t a n d a r d s o f a c c o m p l i s h e d t e a c h i n g t h r o u g h c o n s e n s u s a b o u t w h a t t e a c h e r s s h o u l d k n o w a n d b e a b l e t o d o ) ; ( 2 ) a s s e s s m e n t ( p r o v i d i n g a v a l i d a n d a c c e s s i b l e m e a n s t o e v a l u a t e t e a c h e r s a g a i n s t t h e s t a n d a r d s ) ; a n d ( 3 ) p r o f e s s i o n a l d e v e l o p m e n t ( p r o v i d i n g t e a c h e r s w i t h t h e o p p o r t u n i t y t o s t r e n g t h e n t h e i r p r a c t i c e t h r o u g h s e l f - e x a m i n a t i o n ) ( K o p r o w i c z , 1 9 9 4 ) . A l l s t a n d a r d s , a s s e s s m e n t s , a n d s c o r i n g r u b r i c s a r e b a s e d u p o n t h e fi v e ‘ c o r e p r o p o s i t i o n s o f a c c o m p l i s h e d t e a c h i n g ’ . T h e fi v e c o r e p r o p o s i t i o n s a s s t a t e d b y t h e N B P T S a r e a s f o l l o w s : 1 ) T e a c h e r s a r e c o m m i t t e d t o s t u d e n t s a n d t h e i r l e a r n i n g . 2 ) T e a c h e r s k n o w t h e s u b j e c t s t h e y t e a c h a n d h o w t o t e a c h t h o s e s u b j e c t s t o s t u d e n t s . 3 ) T e a c h e r s a r e r e s p o n s i b l e f o r m a n a g i n g a n d m o n i t o r i n g s t u d e n t l e a r n i n g . 4 ) T e a c h e r s t h i n k s y s t e m a t i c a l l y a b o u t t h e i r p r a c t i c e a n d l e a r n f r o m e x p e r i e n c e . 5 ) T e a c h e r s a r e m e m b e r s o f l e a r n i n g c o m m u n i t i e s . ( N B P T S , 2 0 0 4 a ) T h e y e a r l o n g c e r t i f i c a t i o n p r o c e s s f o r t e a c h e r s h a s t w o m a i n c o m p o n e n t s : t h e c o n s t r u c t i o n o f a d e t a i l e d , r e fl e c t i v e , a n d a n a l y t i c a l p o r t f o l i o o v e r a 4 - 6 m o n t h t i m e s p a n a n d t h e c o m p l e t i o n o f a r i g o r o u s 4 h o u r c o m p u t e r i z e d a s s e s s m e n t " . T h e N a t i o n a l B o a r d o f f e r s c e r t i fi c a t i o n i n 2 7 d i f f e r e n t a r e a s o f e x p e r t i s e . E a c h c e r t i fi c a t e h a s i t s o w n s e t o f s t a n d a r d s a l t h o u g h t h e y a r e a l l b a s e d o n t h e 5 P r o p o s i t i o n s o f ‘ W h a t T e a c h e r s S h o u l d K n o w a n d B e A b l e t o D o ’ . T h e p o r t f o l i o f o r A d o l e s c e n t a n d Y o u n g A d u l t S c i e n c e h a s f o u r s e c t i o n s t h a t a d d r e s s t h e 1 3 s t a n d a r d s f o r A Y A S c i e n c e . T h e f o u r p o r t f o l i o e n t r i e s a r e : T e a c h i n g a M a j o r I d e a i n S c i e n c e , A c t i v e S c i e n t i fi c I n q u i r y , W h o l e C l a s s D i s c u s s i o n i n S c i e n c e , a n d D o c u m e n t e d A c c o m p l i s h m e n t s : C o n t r i b u t i o n s t o S t u d e n t L e a r n i n g . 5 ( S e e “ T h e a s s e s s m e n t c e n t e r ‘ e x e r c i s e s ’ h a v e c h a n g e d o v e r t h e c o u r s e o f t h e l a s t f e w y e a r s . O r i g i n a l l y f o r e x a m p l e , t h e e x a m f o r A Y A S c i e n c e t o o k t w o 8 - h o u r d a y s c o v e r i n g p o s t - s e c o n d a r y l e v e l c o n t e n t m a t e r i a l i n s c i e n c e a n d p e d a g o g i c a l k n o w l e d g e i n t h e s c i e n c e c l a s s r o o m . T o d a y , t h e e x a m h a s b e e n r e d u c e d t o a 4 - h o u r e x a m f o c u s e d e n t i r e l y o n s c i e n c e c o n t e n t . F o r a c o m p l e t e d e s c r i p t i o n o f t h e a s s e s s m e n t p r o c e s s , g o t o : h t t p : / / w w w . n b p t s . o r g / c a n d i d a t e s / a c o b / n e x t g e n / n Z O . h t m l 5 I t s h o u l d b e n o t e d t h a t s t a r t i n g i n 2 0 0 1 , t h e ‘ n e w ’ f o r m a t f o r p o r t f o l i o c o n s t r u c t i o n w a s p h a s e d i n o v e r a t w o — y e a r p e r i o d . T h e o r i g i n a l p o r t f o l i o r e q u i r e d 6 e n t r i e s . A n E n t r y c a l l e d “ A s s e s s m e n t ” w a s i n c o r p o r a t e d i n t o t h e o t h e r c l a s s r o o m p e r f o r m a n c e e n t r i e s a n d t h e D o c u m e n t e d a c c o m p l i s h m e n t s f o r P r o f e s s i o n a l a n d C o m m u n i t y w e r e c o m b i n e d i n t o o n e . B o t h f o r m a t s w e r e i n v o l v e d i n t h i s s t u d y d u r i n g y e a r o n e , t h o u g h w h i c h c a n d i d a t e s h a d w h i c h f o r m i s u n k n o w n . T h e t e a c h e r s i n y e a r s 2 a n d 3 h a d t o c o m p l e t e t h e n e w 4 - e n t r y v e r s i o n . T h o u g h t h i s u n e x p e c t e d c h a n g e i n t h e i n t e r v e n t i o n c o u l d b e p e r c e i v e d a s a t h r e a t t o t h e s t u d y ’ s v a l i d i t y , i t i s u n l i k e l y t o b e a c a u s e o f t o o m u c h c o n c e r n . F o r o n e , t h e n e w v e r s i o n s t i l l a d d r e s s e d t h e s a m e l 3 s t a n d a r d s a n d r e q u i r e d c a n d i d a t e s t o p r o v i d e e v i d e n c e f o r e a c h . A p p e n d i x D f o r a n o v e r v i e w o f S t a n d a r d s ) . U s i n g v i d e o t a p e , e x a m p l e s o f s t u d e n t w o r k , a n d a r t i f a c t s r e p r e s e n t i n g p r o f e s s i o n a l a c c o m p l i s h m e n t s , t e a c h e r s a d d r e s s q u e s t i o n s i n e a c h s e c t i o n o f t h e p o r t f o l i o w h i l e c o n s t r u c t i n g a p r e s e n t a t i o n o f t h e i r b e s t p r a c t i c e . T h e fi n a l p r o d u c t s e r v e s a s e v i d e n c e d e m o n s t r a t i n g t h e t e a c h e r ’ s i m p a c t u p o n c l a s s r o o m a c a d e m i c e n v i r o n m e n t , s t u d e n t l e a r n i n g , a n d t h e s c h o o l c o m m u n i t y . C o m p l e t i n g t h e p o r t f o l i o i s a d e m a n d i n g , r i g o r o u s , a n d a t t i m e s t e d i o u s p r o c e s s e m b e d d e d i n t h e d a y - t o - d a y w o r k o f t e a c h e r s . O n e t e a c h e r i n t h i s s t u d y , A n d r e a f r o m V i r g i n i a s a i d , I t h i n k i f I h a d t o g o b a c k a n d g e t a P h . D . o r e i t h e r t o h a v e t r i p l e t s — I w o u l d d o t h a t b e f o r e I ’ d g o t h r o u g h N a t i o n a l B o a r d a g a i n . ( G r o u p l , T e a c h e r # 3 9 ) A n o t h e r t e a c h e r , R o b e r t f r o m a m o u n t a i n s t a t e s a i d , I t h o u g h t t h e N a t i o n a l B o a r d P o r t f o l i o w a s t h e m o s t d i f fi c u l t t h i n g t h a t I ’ d e v e r d o n e i n m y e n t i r e c a r e e r . I c o n s i d e r g e t t i n g N a t i o n a l B o a r d C e r t i fi c a t i o n f a r g r e a t e r t h a n g e t t i n g m y m a s t e r s ’ d e g r e e o r a n y t h i n g e l s e . I t h o u g h t i t w a s j u s t a n e n o r m o u s p r o j e c t a n d v e r y w o r t h w h i l e . ( G r o u p 1 , T e a c h e r # 2 7 ) O t h e r t e a c h e r s i n t h i s s t u d y u s e d s u c h d e s c r i p t i o n s a s ‘ a b s o l u t e l y o v e r w h e l m i n g ’ , “ m a s s i v e l y s i g n i fi c a n t ’ , a n d ‘ h i g h l y s t r e s s f u l e x p e r i e n c e ’ . N o t o n e o f t h e 1 2 0 t e a c h e r s i n t e r v i e w e d f o r t h i s s t u d y d e s c r i b e d t h e e x p e r i e n c e a s b e i n g ‘ e a s y ’ , ‘ n o t c h a l l e n g i n g ’ , o r ‘ d u l l ’ . T h e N a t i o n a l B o a r d e n c o u r a g e s t e a c h e r c o l l a b o r a t i o n t h r o u g h s u p p o r t g r o u p s a n d d i s t r i c t w o r k s h o p s . H o w e v e r , a l l w o r k s u b m i t t e d b y a c a n d i d a t e m u s t b e t h e i r o w n . T h e 4 - h o u r A s s e s s m e n t C e n t e r e x a m i s a d m i n i s t e r e d t o i n d i v i d u a l c a n d i d a t e s a f t e r t h e s u b m i s s i o n o f t h e c o m p l e t e d p o r t f o l i o . T h e e x a m f o c u s e s o n t e a c h e r c o n t e n t k n o w l e d g e . B e c a u s e o f t h e l a b o r a n d t i m e i n v o l v e d i n a s s e s s i n g t h e p o r t f o l i o s , t h e c o s t o f N a t i o n a l B o a r d c e r t i fi c a t i o n i s c u r r e n t l y $ 2 3 0 0 w i t h m a n y s t a t e s , d i s t r i c t s , a n d u n i o n s c o v e r i n g s o m e o r a l l o f t h e e x p e n s e . N a t i o n a l B o a r d C e r t i fi c a t i o n a s P r o f e s s i o n a l D e v e l o p m e n t T h e p e r c e p t i o n o f N a t i o n a l B o a r d C e r t i fi c a t i o n a s a p r o d u c t i v e p r o f e s s i o n a l d e v e l o p m e n t m a y b e d u e i n n o s m a l l p a r t t o t h e n u m e r o u s e n d o r s e m e n t s r e c e i v e d b y a w i d e r a n g e o f o r g a n i z a t i o n s . F o r e x a m p l e , t h e C e n t e r f o r R e s e a r c h o n E d u c a t i o n , D i v e r s i t y & E x c e l l e n c e h a s s t a t e d : W e b e l i e v e t h e p r o c e s s ( N B C ) r e p r e s e n t s s o u n d p r o f e s s i o n a l d e v e l o p m e n t p r a c t i c e — i t i s f o c u s e d o n s u b j e c t m a t t e r c o n t e n t a n d s t u d e n t l e a r n i n g , u s e s t e a c h e r s e l f - r e fl e c t i o n a n d i n q u i r y l i n k e d t o t h e t e a c h e r ’ s o w n t e a c h i n g s i t u a t i o n a n d p r a c t i c e , a n d i s h i g h l y c o l l a b o r a t i v e . T h i s k i n d o f t h o r o u g h , f o c u s e d p r o f e s s i o n a l d e v e l o p m e n t i s f a r t o o r a r e f o r m o s t o f C a l i f o m i a ’ s t e a c h e r s . ( C R E D E , 2 0 0 3 , p 1 0 ) H o w d o e s N a t i o n a l B o a r d c e r t i fi c a t i o n fi t w i t h c u r r e n t c o n c e p t i o n s o f e f f e c t i v e p r o f e s s i o n a l d e v e l o p m e n t ? T h e a n s w e r c a n b e f o u n d b y u n d e r s t a n d i n g t h e c h a r a c t e r i s t i c s o f q u a l i t y p r o f e s s i o n a l d e v e l o p m e n t . O v e r t h e l a s t d e c a d e , a r a d i c a l r e t h i n k i n g o f w h a t c o n s t i t u t e s e f f e c t i v e p r o f e s s i o n a l d e v e l o p m e n t f o r t e a c h e r s h a s b e e n t a k i n g p l a c e ( I n g v a r s o n , 1 9 9 9 ; L i t t l e , 1 9 9 3 & 1 9 9 7 ; B a l l & C o h e n , 1 9 9 5 ; H u b e r m a n 1 9 9 3 ; H a r g r a e v e s 1 9 9 5 ; D a r l i n g - H a m m o n d & M c L a u g h l i n , 1 9 9 6 ; S t e i n a n d B r o w n 1 9 9 7 ; S y k e s , 1 9 9 9 ) . T h i s r e e x a m i n a t i o n o f p r o f e s s i o n a l d e v e l o p m e n t w a s m o t i v a t e d w i t h a p e r v a s i v e d i s s a t i s f a c t i o n w i t h m o s t t r a d i t i o n a l a p p r o a c h e s t o i m p r o v i n g t e a c h e r q u a l i t y . T h e t r a d i t i o n a l m o d e l o f s t a f f d e v e l o p m e n t i s t h e e x p e r i e n c e t h a t m o s t t e a c h e r s h a v e e n d u r e d i n t h e p a s t . T h e t r a d i t i o n a l m o d e l s c a n b e s u m m a r i z e d a s f o l l o w s ( H a w l e y a n d V a l l i , 1 9 9 9 ) : 1 0 1 ) T h e I n d i v i d u a l l y g u i d e d m o d e l : i n d i v i d u a l t e a c h e r s p e r f o r m i n g s e l f - a s s e s s m e n t s a n d d e s i g n i n g a p p r o p r i a t e c u r r i c u l u m 2 ) T h e O b s e r v e r / a s s e s s m e n t m o d e l : p r i n c i p a l o r c o l l e a g u e o b s e r v e t e a c h e r i n c l a s s a n d t h e n c o m m e n t 3 ) T h e D e v e l o p m e n t / i m p r o v e m e n t m o d e l : t e a c h e r s i n v o l v e t h e m s e l v e s i n w h o l e s c h o o l r e f o r m e f f o r t s 4 ) T h e T r a i n i n g m o d e l : t e a c h e r p a r t i c i p a t i o n i n c o u r s e w o r k , w o r k s h o p s , a n d c o n f e r e n c e s . T e a c h e r l e a r n i n g i n t h e s e m o d e l s h a s n o t b e e n c o n s i d e r e d v e r y e f f e c t i v e d u e i n p a r t t o t h e p a s s i v e p r o c e s s w h e r e t e a c h e r s a r e t h e r e c i p i e n t s o f k n o w l e d g e a n d s k i l l s a s d e fi n e d b y a n o u t s i d e a u t h o r i t y s u c h a s a p r i n c i p a l , v i s i t i n g e x p e r t , o r g o v e r n m e n t a d m i n i s t r a t o r . T h e t r a d i t i o n a l m o d e l o f p r o f e s s i o n a l d e v e l o p m e n t i s n o t c o n s t r u c t e d a r o u n d a n y s e t o f c o m m o n s t a n d a r d s o r g o a l s f o r t h e e d u c a t o r s . F o r t h e m o s t p a r t , t h e e x p e r i e n c e s a r e i s o l a t e d , e x t r i n s i c a l l y m o t i v a t e d , u n d i s c i p l i n e d , a n d l e a v e l i t t l e r o o m t o a s s e s s t h e a c c o u n t a b i l i t y o f r e s u l t s . K e n n e d y ( 2 0 0 1 ) d i s c u s s e s a c o n c e r n f o r t h e q u a l i t y o f t r a d i t i o n a l m o d e l s o f p r o f e s s i o n a l d e v e l o p m e n t a s e i t h e r “ o u t o f d a t e o r i n a d e q u a t e t o m e e t t h e d e m a n d s o f n e w a p p r o a c h e s t o t e a c h i n g a n d l e a r n i n g o f s c i e n c e a n d m a t h e m a t i c s ” ( K e n n e d y , 2 0 0 1 p . 4 6 ) . I n a d d i t i o n , B a l l a n d C o h e n ( 1 9 9 5 ) a r g u e f o r a t e a c h e r p r o f e s s i o n a l e d u c a t i o n t h a t i s e m b e d d e d i n p r a c t i c e a n d d r a w s u p o n o p p o r t u n i t i e s f o r c r i t i c a l a n a l y s i s , r e fl e c t i o n , a n d d e v e l o p m e n t o f n e w u n d e r s t a n d i n g s t h a t g r o w o u t o f d a i l y t e a c h e r p r a c t i c e s . I n r e s p o n s e t o t h e s e t y p e s o f c o n c e r n s , p r i n c i p l e s f o r d e s i g n i n g m e a n i n g f u l p r o f e s s i o n a l d e v e l o p m e n t h a v e b e e n s h o w n t o “ a b o u n d i n t h e l i t e r a t u r e ” ( W i l s o n a n d B e m e , 1 9 9 9 ) . T h e c o n s e n s u s m o d e l r e p r e s e n t s o n e o f t h e n e w w a y s t o t h i n k a b o u t t h i s a r e a . H a w l e y a n d V a l l i ( 1 9 9 9 ) d e s c r i b e t h e c o n s e n s u s m o d e l b y i d e n t i f y i n g e i g h t p r i n c i p l e s . P r o f e s s i o n a l d e v e l o p m e n t s h o u l d b e : 1 1 1 ) D r i v e n b y g o a l s a n d s t u d e n t p e r f o r m a n c e 2 ) I n v o l v e t e a c h e r s i n t h e p l a n n i n g a n d i m p l e m e n t a t i o n p r o c e s s 3 ) S c h o o l b a s e d a n d i n t e g r a l t o s c h o o l o p e r a t i o n s 4 ) O r g a n i z e d a r o u n d c o l l a b o r a t i v e p r o b l e m s o l v i n g 5 ) C o n t i n u o u s a n d o n g o i n g i n v o l v i n g f o l l o w - u p a n d s u p p o r t 6 ) I n f o r m a t i o n r i c h w i t h m u l t i p l e s o u r c e s o f t e a c h e r k n o w l e d g e a n d e x p e r i e n c e 7 ) P r o v i d e o p p o r t u n i t i e s f o r d e v e l o p i n g t h e o r e t i c a l u n d e r s t a n d i n g o f t h e k n o w l e d g e a n d s k i l l s l e a r n e d P a r t o f a c o m p r e h e n s i v e c h a n g e p r o c e s s t h a t i n c l u d e s i s s u e s o f s t u d e n t l e a r n i n g , t h e c o n s e n s u s m o d e l o f p r o f e s s i o n a l d e v e l o p m e n t s e e s t h e t e a c h e r a s a n a c t i v e l e a r n e r a n d t h e p r o c e s s o f l e a r n i n g e m b e d d e d i n p r a c t i c e . T h e m o d e l a l s o e m p h a s i z e s t h e r o l e o f r e fl e c t i o n a n d p r o f e s s i o n a l d i s c o u r s e a s e f f e c t i v e m e a n s o f t e a c h e r l e a r n i n g . F o r t h i s r e s e a r c h , b o t h t r a d i t i o n a l a n d e m e r g i n g m o d e l s o f p r o f e s s i o n a l d e v e l o p m e n t a d d s o m e t h i n g m e a n i n g f u l t o t h e u n d e r s t a n d i n g o f h o w t e a c h e r q u a l i t y m a y i m p r o v e a s a r e s u l t o f N a t i o n a l B o a r d c e r t i fi c a t i o n . I n g v a r s o n ( 1 9 9 8 ) s u p p o r t s t h i s c o m b i n a t i o n m o d e l a n d l i n k s p r o f e s s i o n a l d e v e l o p m e n t t o t e a c h e r l e a r n i n g w h e n h e s u g g e s t s : I n p r i n c i p l e , b o t h s y s t e m s a r e e s s e n t i a l a n d e a c h s h o u l d b e c o m p l e m e n t a r y t o t h e o t h e r , l i k e t w o p i l l a r s h o l d i n g u p t h e s a m e b u i l d i n g ( I n g v a r s o n , 1 9 9 8 , p 1 3 3 ) . T h i s v i e w o f p r o f e s s i o n a l d e v e l o p m e n t a l l o w s f o r a t h o r o u g h c o n c e p t u a l i z a t i o n o f N a t i o n a l B o a r d c e r t i fi c a t i o n a s a n e f f e c t i v e l e a r n i n g o p p o r t u n i t y . N a t i o n a l B o a r d c e r t i fi c a t i o n i n c o r p o r a t e s e l e m e n t s o f b o t h a p p r o a c h e s t o p r o f e s s i o n a l d e v e l o p m e n t . F o r e x a m p l e , t h e p r o c e s s i s c o m p l e t e l y v o l u n t a r y a s p e r t h e C o n s e n s u s M o d e l . I t e n c o u r a g e s p r o f e s s i o n a l d i s c o u r s e a n d c o l l e g i a l i t y a s d e s c r i b e d i n e l e m e n t s o f b o t h t h e t r a d i t i o n a l a n d c o n s e n s u s m o d e l s . A n d fi n a l l y , N a t i o n a l B o a r d c e r t i f i c a t i o n a s k s t e a c h e r s t o e x a m i n e t h e i r w o r k b o t h i n s i d e a n d o u t s i d e t h e c l a s s r o o m a s d o b o t h m o d e l s . I n a d d i t i o n , B o a r d c e r t i fi c a t i o n h a s w e l l d e fi n e d s t a n d a r d s o f p e r f o r m a n c e a n d a w e l l - s p e c i fi e d g o a l a s a 1 2 r e s u l t o f p a r t i c i p a t i o n . I t i s f o c u s e d o n b o t h p r o c e s s a n d c o n t e n t a s i t a s k s t e a c h e r s t o e v a l u a t e a n d c o m m e n t o n b o t h a s p e c t s o f p r a c t i c e a s a m e a n s o f a c c e s s i n g t e a c h e r k n o w l e d g e a n d s k i l l . A s N a t i o n a l B o a r d c e r t i fi c a t i o n g r o w s a n d m a t u r e s , i t s i m p a c t m a y b e f e l t b e y o n d t h e t e a c h e r s d i r e c t l y i n v o l v e d a n d t h e s t u d e n t s t h e y t e a c h . I t m a y c h a l l e n g e m a n y o f t h e f u n d a m e n t a l o r t r a d i t i o n a l a s s u m p t i o n s a b o u t w h a t p r o f e s s i o n a l d e v e l o p m e n t l o o k s l i k e a n d h o w i t i s i m p l e m e n t e d . A s I n g v a r s o n s t a t e s i n h i s a s s e s s m e n t o f N a t i o n a l B o a r d c e r t i fi c a t i o n a s a p r o f e s s i o n a l d e v e l o p m e n t : S t e a d i l y i n c r e a s i n g n u m b e r s o f e d u c a t i o n a u t h o r i t i e s a r e a c c e p t i n g B o a r d c e r t i fi c a t i o n a s e v i d e n c e o f p r o f e s s i o n a l d e v e l o p m e n t . . . . T h e h o p e i s t h a t a n e w i n f r a s t r u c t u r e o f p r o f e s s i o n a l l e a r n i n g w i l l d e v e l o p a r o u n d t h e i n c e n t i v e o f B o a r d c e r t i fi c a t i o n , a n d t h e r e a r e s i g n s t h a t t h i s i s h a p p e n i n g ( I n g v a r s o n , 1 9 9 8 , p 1 3 4 ) . A c c o r d i n g t o R e i c h a r d t ( 2 0 0 0 ) “ N a t i o n a l B o a r d c e r t i fi c a t i o n p r o v i d e s a v i s i o n o f g o o d t e a c h i n g a n d s e r v e s a s a t o o l t o d i r e c t i n d i v i d u a l t e a c h e r p r o f e s s i o n a l d e v e l o p m e n t . ” R e i c h a r d t g o e s o n t o s a y t h a t t h e r e i s “ e m e r g i n g e v i d e n c e o f t h e e f f e c t i v e n e s s o f N a t i o n a l B o a r d c e r t i fi c a t i o n a s a m e t h o d t o i m p r o v e t e a c h e r q u a l i t y ” ( R e i c h a r d t , 2 0 0 0 ) . I n t h e n e x t s e c t i o n , t h i s ‘ e m e r g i n g e v i d e n c e ’ w i l l b e p r e s e n t e d . N a t i o n a l B o a r d C e r t i fi c a t i o n a n d T e a c h e r L e a r n i n g E v e r s i n c e t h e N B P T S i s s u e d i t s fi r s t c e r t i fi c a t e s o f a c c o m p l i s h e d t e a c h i n g i n 1 9 9 3 , t h e c l a i m s r e g a r d i n g i t s v a l u e a s a n e f f e c t i v e p r o f e s s i o n a l d e v e l o p m e n t i n s t i m u l a t i n g t e a c h e r l e a r n i n g h a v e a p p e a r e d t h r o u g h o u t t h e e d u c a t i o n a l p r e s s ( T r a c z e t a l , 1 9 9 5 ; K o w a l s k i e t a l , 1 9 9 7 ) . W h a t k i n d o f r e s e a r c h h a s b e e n c o n d u c t e d a n d w h a t d o e s i t r e v e a l a b o u t w h a t t e a c h e r s a r e l e a r n i n g ? I n t h i s s e c t i o n , c u r r e n t k n o w l e d g e r e g a r d i n g 1 3 t e a c h e r - l e a r n i n g o u t c o m e s f r o m B o a r d c e r t i fi c a t i o n a n d t h e k i n d s o f r e s e a r c h t h a t p r o d u c e d c u r r e n t u n d e r s t a n d i n g a r o u n d t h i s q u e s t i o n w i l l b e p r e s e n t e d . T e s t i m o n i a l s a n d a n e c d o t a l r e p o r t s m a d e u p t h e fi r s t w a v e o f e v i d e n c e r e g a r d i n g w h a t t e a c h e r s m a y b e l e a r n i n g f r o m B o a r d c e r t i fi c a t i o n . T h r o u g h r e p o r t s a n d i n t e r v i e w s w i t h t h e p r e s s , c a n d i d a t e s p r o v i d e d d e s c r i p t i o n s o f t h e i r e x p e r i e n c e s f r o m p a r t i c i p a t i n g i n N a t i o n a l B o a r d c e r t i fi c a t i o n t h a t h i g h l i g h t e d p o s s i b l e i m p a c t s t o b o t h t h e i r p e r s o n a l a n d p r o f e s s i o n a l l i v e s . T h e s e r e p o r t s a r e c o n s i s t e n t i n t h e m e a n d r e v e a l a s i g n i f i c a n t p h e n o m e n o n f o r i n v e s t i g a t i o n . T h o u g h l a c k i n g i n t h e v a l i d i t y o f m o r e r i g o r o u s p u r s u i t s , t h e t e s t i m o n i a l s f r o m t h e s e t e a c h e r s p r o v i d e s t h e n e c e s s a r y e v i d e n c e w a r r a n t i n g f u r t h e r i n v e s t i g a t i o n s . F o r e x a m p l e , n u m e r o u s t e a c h e r s h a v e p r o f e s s e d t h e b e n e f i t s o f N a t i o n a l B o a r d c e r t i fi c a t i o n t o t h e i r p r a c t i c e ( B a i l e y & H e l m s , 2 0 0 0 ; G a r d i n e r , 2 0 0 0 ; J e n k i n s , 2 0 0 0 ; C h a s e , 1 9 9 9 ; B e n z , 1 9 9 7 ; H a y n e s , 1 9 9 5 ; M a r r i o t , 2 0 0 1 ; R o d e n , 1 9 9 9 ; W i e b k e , 2 0 0 0 ) . T h e s e t e a c h e r s d e s c r i b e t h e i r e x p e r i e n c e s w i t h N B C w i t h s u c h t e r m s a s , “ e n l i g h t e n i n g ” ( M a h a l e y , 1 9 9 9 ) o r “ r e v i t a l i z i n g ” ( A r e g l a d o , 1 9 9 9 ) . T h e s e a c c o u n t s p r o v i d e i n s i g h t s i n t o t h e v a l u e o f t h e N a t i o n a l B o a r d c e r t i fi c a t i o n e x p e r i e n c e , b u t t e l l l i t t l e a b o u t w h a t c a n d i d a t e s l e a r n . S u r v e y s h a v e b e e n c o n d u c t e d t h a t e x p a n d u p o n t e s t i m o n i a l a c c o u n t s a n d p r o v i d e m o r e e x t e n s i v e i n t e r p r e t a t i o n s o f w h a t t h e p o p u l a t i o n o f N a t i o n a l B o a r d C e r t i fi e d t e a c h e r s ( N B C T s ) i s l e a r n i n g f r o m t h e a s s e s s m e n t s . F o r e x a m p l e , N B P T S i s s u e d t w o r e p o r t s b a s e d u p o n s u r v e y d a t a t h a t p r o v i d e d a n a t i o n a l p r o fi l e o f N B C T s a n d t h e i r f e e l i n g s o f “ b e c o m i n g a b e t t e r t e a c h e r ” f r o m t h e c e r t i fi c a t i o n p r o c e s s ( N B P T S , 2 0 0 1 a ; N B P T S , 2 0 0 1 b ) . T h i s t y p e o f i n f o r m a t i o n h e l p s t o v a l i d a t e t h e p r o c e s s a s e f f e c t i v e , b u t 1 4 l e a v e s o p e n q u e s t i o n s r e g a r d i n g v a l i d i t y o f s e l f - r e p o r t s a n d t h e p a r t i c u l a r s o f h o w t h e p r o c e s s o f N a t i o n a l B o a r d c e r t i fi c a t i o n c o u l d r e s u l t i n t h e p r o f e s s e d o u t c o m e s . Q u a l i t a t i v e r e s e a r c h s t u d i e s t h a t e x a m i n e t h e o u t c o m e s o f N a t i o n a l B o a r d c e r t i fi c a t i o n h a v e b e g u n t o c l a r i f y t h e p o s s i b l e l e a r n i n g o u t c o m e s f r o m c e r t i fi c a t i o n . T h e s e s t u d i e s p r o v i d e v a l u a b l e k n o w l e d g e t h a t c o n fi r m s t h e fi n d i n g s i n a n e c d o t a l a n d s u r v e y r e p o r t s a n d a l s o r e v e a l s o m e p o s s i b l e c o n n e c t i o n s b e t w e e n c o m p o n e n t s o f t h e c e r t i fi c a t i o n p r o c e s s ( i . e . , o t h e r t e a c h e r s a n d N B P T S m a t e r i a l s ) , i m p r o v e d t e a c h e r q u a l i t y , a n d s t u d e n t l e a r n i n g ( A t h a n a s e s , 1 9 9 4 ; C h i t t e n d e n & J o n e s , 1 9 9 7 ; K o w a l s k i e t a l , 1 9 9 7 ; S a t o , 2 0 0 0 ; T r a c z , e t a 1 1 9 9 5 ) . O t h e r s t u d i e s s t r u c t u r e d a r o u n d s u p p o r t g r o u p s f o r t e a c h e r s i n v o l v e d i n t h e c e r t i fi c a t i o n p r o c e d u r e s p r o v i d e c o m p e l l i n g e v i d e n c e t h a t c a n d i d a t e s l e a r n f r o m B o a r d c e r t i fi c a t i o n b y p a r t i c i p a t i n g i n e x t e n d e d p r o f e s s i o n a l c o m m u n i t i e s ( B u r r o u g h s e t a l , 2 0 0 0 ; M a n o u c h e h e h r i , 2 0 0 0 ; R o t b e r g e t a l , 1 9 9 8 ) . S t u d i e s h a v e a l s o f o u n d a v a l u e f o r t h e N B P T S m a t e r i a l s s u c h a s t h e s t a n d a r d s d o c u m e n t s a n d p o r t f o l i o i n s t r u c t i o n s , a s i m p o r t a n t r e s o u r c e s f o r t e a c h e r l e a r n i n g ( K o w a l s k i e t a l , 1 9 9 7 ; R o t b e r g e t a l , 1 9 9 8 ) . T h e s e i n v e s t i g a t i o n s p r o v i d e m e a n i n g f u l i n s i g h t s i n t o t h e m e a n s a n d e n d s o f B o a r d c e r t i fi c a t i o n , b u t a r e l a c k i n g i n t h e g e n e r a l i z a b i l i t y o f t h e i r r e s u l t s . T h e y r e m a i n b o u n d b y t h e s e l f - r e p o r t i n g n a t u r e o f t h e i r e v i d e n c e . F r o m t h e r e s e a r c h t o d a t e , s e v e r a l c o n c l u s i o n s c a n b e m a d e : 1 ) M o s t t e a c h e r s fi n d t h e e x p e r i e n c e o f N a t i o n a l B o a r d c e r t i fi c a t i o n t o b e e f f e c t i v e p r o f e s s i o n a l d e v e l o p m e n t . 2 ) T h e d i s c o u r s e c o m m u n i t i e s t h a t f o r m a r o u n d t h e a s s e s s m e n t e x p e r i e n c e a r e p o w e r f u l a v e n u e s f o r c a n d i d a t e l e a r n i n g . 3 ) T h e N B P T S m a t e r i a l s , s u c h a s s t a n d a r d s d o c u m e n t s a n d p o r t f o l i o i n s t r u c t i o n s , a r e a v a l u a b l e r e s o u r c e f o r t e a c h e r ’ s a c q u i s i t i o n o f k n o w l e d g e . 4 ) T e a c h e r s l e a r n t o b e ‘ m o r e r e fl e c t i v e p r a c t i o n e r s ’ a s a r e s u l t o f t h e c e r t i f i c a t i o n p r o c e s s . 1 5 A s i n f o r m a t i v e a n d i m p o r t a n t a s t h e a b o v e q u a l i t a t i v e s t u d i e s a r e , t h e r e i s a n e e d t o b a l a n c e t h e r e s e a r c h e f f o r t s i n t o N a t i o n a l B o a r d c e r t i f i c a t i o n w i t h q u a n t i t a t i v e s t u d i e s . A s L y o n s t a t e s : Q u a l i t a t i v e - d e s c r i p t i v e r e s e a r c h c a n n o t i d e n t i f y g e n e r a l i z a b l e s t r a t e g i e s t h a t w i l l l i k e l y i m p r o v e a c a d e m i c a c h i e v e m e n t a m o n g s t u d e n t s . O n l y q u a n t i t a t i v e l y b a s e d e x p e r i m e n t a l r e s e a r c h c a n d o t h a t . ( L y o n , 2 0 0 0 , n p ) . V e r y f e w i n d e p t h s c i e n t i fi c s t u d i e s e x i s t r e g a r d i n g t h e e f f e c t i v e n e s s o f N a t i o n a l B o a r d c e r t i fi c a t i o n a s a p r o f e s s i o n a l d e v e l o p m e n t ( G o l d h a b e r e t a 1 , 2 0 0 3 ) . R e c e n t l i t e r a t u r e i d e n t i fi e s a n e e d t o c o m p l e m e n t t h e r i c h c o l l e c t i o n o f q u a l i t a t i v e s t u d i e s o n t e a c h e r l e a r n i n g w i t h q u a n t i t a t i v e i n v e s t i g a t i o n s t h a t a t t e m p t t o c l a r i f y , i d e n t i f y , a n d s u b s t a n t i a t e s p e c i fi c o u t c o m e s ( F l o d e n , 2 0 0 1 ; C r a w f o r d & I m p a r a , 2 0 0 1 ; a n d P o r t e r e t a l , 2 0 0 1 ) . H o w d o w e g e t b e y o n d t h e “ m o r e r e fl e c t i v e p r a c t i o n e r s ” d e s c r i p t i o n o f t e a c h e r l e a r n i n g f r o m N a t i o n a l B o a r d c e r t i fi c a t i o n t o p r e c i s e c o n c l u s i o n s r e g a r d i n g w h a t a n d h o w t e a c h e r s a r e l e a r n i n g f r o m t h i s e x p e r i e n c e ? T h i s s t u d y r e p r e s e n t s o n e s u c h i n v e s t i g a t i o n t h a t a d d s t o t h e u n d e r s t a n d i n g o f t e a c h e r q u a l i t y , p r o f e s s i o n a l d e v e l o p m e n t , a n d t e a c h e r l e a r n i n g . T h e r e a s o n t h a t e m p i r i c a l e v i d e n c e o n t h i s s u b j e c t i s o n l y n o w b e c o m i n g a v a i l a b l e m a y b e d u e t o t h e f a c t t h a t t h e n u m b e r o f N a t i o n a l B o a r d c e r t i fi e d t e a c h e r s h a s o n l y r e c e n t l y r e a c h e d s u f fi c i e n t n u m b e r s ( 3 2 , 0 0 0 ) t o b e t h e f o c u s o f m e a n i n g f u l q u a n t i t a t i v e i n v e s t i g a t i o n s . T h i s e x p l a n a t i o n i s s u p p o r t e d b y s e v e r a l s t u d i e s d e s i g n e d a n d f u n d e d i n 2 0 0 2 t h a t s h o u l d p r o v i d e i m p o r t a n t a n d m e a n i n g f u l r e s u l t s i n t h e m o n t h s a n d y e a r s t o c o m e . P r o f e s s i o n a l e d u c a t i o n a l r e s e a r c h e r s , s u c h a s C a r o l C o h e n , C o n n i e B e m a s h , a n d M a x i n e F r e u n d , a r e c u r r e n t l y e n g a g e d i n e x t e n s i v e q u a n t i t a t i v e s t u d i e s t h a t e x a m i n e N a t i o n a l B o a r d c e r t i f i c a t i o n a s p r o f e s s i o n a l d e v e l o p m e n t ( N B P T S , 2 0 0 3 ) . 1 6 a d d r e s s t h e q u e s t i o n , l e a r n i n g o u t c o m e s w i l l b e i d e n t i fi e d a n d g r o u p e d a c c o r d i n g t o T h e fi r s t o f t h e s e s t u d i e s w a s r e c e n t l y r e l e a s e d a n d d e m o n s t r a t e d a s t r o n g r e l a t i o n s h i p b e t w e e n t e a c h e r s i d e n t i fi e d b y t h e N a t i o n a l B o a r d a s a c c o m p l i s h e d a n d t h e i r s t u d e n t s ’ s t a n d a r d i z e d t e s t s c o r e s , b u t f o u n d n o i m p a c t o n t h e s e s c o r e s f r o m t h e c e r t i fi c a t i o n p r o c e s s i t s e l f ( G o l d h a b e r e t a l , 2 0 0 3 ) . T h i s r e s u l t c o u l d b e t a k e n t o m e a n t h a t t h e c e r t i fi c a t i o n p r o c e s s h a d n o a p p r e c i a b l e i m p a c t u p o n t e a c h e r q u a l i t y a s m e a s u r e d b y i m p r o v e d t e s t s c o r e s o f s t u d e n t s . H o w e v e r , s i n c e t h e s t u d y w a s f o c u s e d u p o n e a r l y a n d m i d d l e e l e m e n t a r y g e n e r a l i s t s , i t c o u l d b e a r g u e d t h a t t h e c e r t i fi c a t i o n e x p e r i e n c e i s q u a l i t a t i v e l y d i f f e r e n t f r o m a s e c o n d a r y s c i e n c e e m p h a s i s . T h e r e f o r e t h i s fi n d i n g m a y n o t a p p l y t o t h e e x p e r i e n c e s o f s e c o n d a r y t e a c h e r s p u r s u i n g N a t i o n a l B o a r d c e r t i fi c a t i o n i n s p e c i fi c c o n t e n t d i s c i p l i n e s . U n d e r s t a n d i n g T e a c h e r L e a r n i n g f r o m t h e C e r t i fi c a t i o n P r o c e s s T h e c h a r a c t e r a n d fl a v o r o f t e a c h e r l e a r n i n g r e p o r t e d b y b o t h t h e N B P T S a n d t h e a c a d e m i c r e s e a r c h c o m m u n i t y r e fl e c t s a d i v e r s e m i x o f r e s u l t s . T h i s s t u d y a i m s t o m o v e b e y o n d t h e v a g u e , a n d g r a n d i o s e c l a i m s b y N B P T S a n d i t s c a n d i d a t e s t o u n d e r s t a n d h o w p a r t i c i p a n t s ’ e x p e r i e n c e s c a n b e u n d e r s t o o d a s i n s t a n c e s o f m e a s u r e d c h a n g e a g a i n s t a s t a n d a r d s b a s e d k n o w l e d g e d o m a i n . I n t h e p r e c e d i n g s e c t i o n , a r e v i e w o f r e l e v a n t l i t e r a t u r e p r e s e n t e d h o w d i f f e r e n t t y p e s o f s t u d i e s a n d r e p o r t s p r o d u c e d i f f e r e n t d e s c r i p t i o n s o f l e a r n i n g o u t c o m e s . Y e t , h o w t h a t l e a r n i n g m i g h t t a k e p l a c e a s a r e s u l t o f N a t i o n a l B o a r d c e r t i fi c a t i o n w a s e x c l u d e d . I n t h i s s e c t i o n , m a n y o f t h o s e s t u d i e s w i l l b e r e v i s i t e d t o b e t t e r u n d e r s t a n d h o w s u c h l e a r n i n g o u t c o m e s m i g h t o c c u r a n d c o u l d b e e x p l a i n e d w i t h i n t h e c o n t e x t a n d a v a i l a b l e r e s o u r c e s o f N a t i o n a l B o a r d c e r t i fi c a t i o n . D o t h e d i s t i l l e d l e a r n i n g o u t c o m e s i d e n t i fi e d f r o m q u a l i t a t i v e s t u d i e s m a k e s e n s e ? T o 1 7 c o m m o n t h e m e s . T h e t h e m e s i n c l u d e : r e fl e c t i o n , c o l l e g i a l i t y , p r o f e s s i o n a l a n d p e r s o n a l g r o w t h , a n d l e a r n i n g r e s o u r c e s . T h i s p o r t i o n o f t h e a n a l y s i s w i l l p r o v i d e d e s c r i p t i o n s o f t h e v a r i o u s i n s t r u m e n t a l i t i e s a n d p r o c e s s e s t h a t p o t e n t i a l l y s e r v e a s a v e n u e s f o r c l a i m e d o u t c o m e s . R e fl e c t i o n A c o m m o n c l a i m m a d e b y t e a c h e r s w h o h a v e p a r t i c i p a t e d i n N a t i o n a l B o a r d c e r t i fi c a t i o n h o v e r s a r o u n d t h e i d e a o f b e c o m i n g a ‘ m o r e r e fl e c t i v e p r a c t i o n e r ’ . F o r t h e p u r p o s e s o f t h i s d i s c u s s i o n , r e fl e c t i o n i s d e fi n e d a s a p r o c e s s b y w h i c h t e a c h e r s r e g u l a r l y a n a l y z e , e v a l u a t e , a n d s t r e n g t h e n t h e q u a l i t y a n d e f f e c t i v e n e s s o f t h e i r w o r k ( A r g l a d o , 1 9 9 9 ) . A n e c d o t a l e v i d e n c e f o r t h i s p a r t i c u l a r l e a r n i n g o u t c o m e i s p r e s e n t i n s u c h q u o t e s a s , “ I r e fl e c t m o r e o n w h a t I a m t e a c h i n g a n d h o w i t a f f e c t s t h e k i d s ” a n d “ I t h i n k m o r e a b o u t w h y I ’ m d o i n g s o m e t h i n g . I t h i n k m o r e o f t h e o b j e c t i v e s - - — w h a t I w a n t t o c o v e r a n d w h y ” ( R o t b e r g , 1 9 9 8 ) . T e a c h e r s m a y a l s o d e s c r i b e t h e i r r e fl e c t i o n i n t e r m s o f t h e q u e s t i o n s t h e a s s e s s m e n t r a i s e s . F o r e x a m p l e , i n o n e c a s e s t u d y , t h e t e a c h e r d e s c r i b e d h e r e x p e r i e n c e b y s a y i n g , “ I a m q u e s t i o n i n g a l l a s p e c t s o f m y t e a c h i n g s t y l e . ” T h i s s a m e t e a c h e r a l s o d e s c r i b e s t h e B o a r d ’ s a s s e s s m e n t p r o c e s s ’ s o v e r a l l i m p a c t u p o n h e r a s , “ I a m m u c h m o r e r e fl e c t i v e a b o u t e v e r y t h i n g I d o ” ( W i e b k e , 1 9 9 9 ) . S t i l l o t h e r s e x p r e s s t h i s i m p r o v e m e n t i n t h e i r r e fl e c t i v e c a p a b i l i t i e s b y r e f e r r i n g t o i t a s a f o r m o f s e l f - a s s e s s m e n t . F o r e x a m p l e , o n e t e s t i m o n i a l d e s c r i b e s t h e N a t i o n a l B o a r d a s s e s s m e n t a s a n o p p o r t u n i t y t o “ e v a l u a t e o u r s e l v e s h o n e s t l y ” ( A r e g l a d o , 1 9 9 9 ) . T h e a n e c d o t a l e v i d e n c e r e g a r d i n g t h e a s s e s s m e n t ’ s e f f e c t u p o n t h e r e fl e c t i v e n a t u r e o f a t e a c h e r ’ s p r a c t i c e , w o u l d s e e m t o c o i n c i d e s t r o n g l y w i t h t h e N B P T S ’ s S t a n d a r d s f o r w h a t ‘ a c c o m p l i s h e d t e a c h e r s s h o u l d k n o w a n d b e a b l e t o d o ’ . M o r e 1 8 s p e c i fi c a l l y , P r o p o s i t i o n # 4 s t a t e s t h a t t e a c h e r s s h o u l d “ t h i n k s y s t e m a t i c a l l y a b o u t t h e i r p r a c t i c e a n d l e a r n f r o m e x p e r i e n c e ” . T h e p r o p o s i t i o n t h a n e l a b o r a t e s u p o n t h i s p o i n t b y d e s c r i b i n g a c c o m p l i s h e d t e a c h e r s a s i n d i v i d u a l s w h o h a v e “ a c o m m i t m e n t t o l i f e l o n g p r o f e s s i o n a l d e v e l o p m e n t ” ( N B P T S , 1 9 9 1 ) . N B P T S p r o p o s e s t h a t t h e o b j e c t o f a t e a c h e r ’ s s y s t e m a t i c t h i n k i n g s h o u l d p e r t a i n t o a w h o l e a r r a y o f p r a c t i c e p a r a m e t e r s . F r o m c o n t e n t u n d e r s t a n d i n g t o c o l l e g i a l s o u r c e s o f t e a c h i n g ‘ w i s d o m ’ , t h e N a t i o n a l B o a r d p l a c e s a s i g n i fi c a n t e m p h a s i s u p o n t h e t e a c h e r w h o l e a r n s t o t h i n k m o r e d e e p l y a n d e x t e n s i v e l y a b o u t t h e i r p r a c t i c e ( K o w a l s k i e t a l , 1 9 9 7 ) . C o l l e g i a l i t y A n o t h e r s t r e a m o f e v i d e n c e a r o u n d w h a t t e a c h e r s l e a r n f r o m N a t i o n a l B o a r d a s s e s s m e n t c o n c e r n s t h e i n p u t o f c o l l e a g u e s a n d c o m m u n i t y a s a c o n t r i b u t i n g c o n t i n g e n c y t o t h e r i c h n e s s a n d q u a l i t y o f t e a c h i n g a n d l e a r n i n g ( K o w a l s k i e t a l , 1 9 9 7 ) . I n t h e w o r d s o f o n e r e s e a r c h e r , “ t h e c e r t i fi c a t i o n p r o c e s s o p e n e d u p a d i a l o g u e w i t h t e a c h i n g c o l l e a g u e s ” ( G a r d i n e r , 2 0 0 0 ) . T h i s e v i d e n c e s u p p o r t s t h e c o n c l u s i o n o f o t h e r s t h a t N a t i o n a l B o a r d t e a c h e r s r e p r e s e n t a l e g i t i m a t e “ d i s c o u r s e c o m m u n i t y ” o r “ c o m m u n i t y o f p r a c t i c e ” ( B u r r o u g h s , e t a l , 2 0 0 0 ) a n d t h a t t h e s e c o m m u n i t i e s c a n a l t e r t e a c h i n g ( H u b e r m a n , 1 9 9 5 ) . T h e r e a r e m a n y q u o t e s f r o m c a n d i d a t e s t h a t s u g g e s t t h a t t h e c e r t i fi c a t i o n p r o c e s s d e v e l o p e d a h i g h r e g a r d f o r c o l l e g i a l i t y . F o r e x a m p l e , “ I ’ v e i n c r e a s e d c o l l a b o r a t i o n w i t h o t h e r t e a c h e r s ” ( R o t b e r g , 1 9 9 6 ) a n d “ I ’ m f e e l i n g e x t r e m e l y g r a t e f u l t o m y f e l l o w t e a c h e r s ” ( W i e b k e , 1 9 9 9 ) . T h i s s p i r i t o f c o l l e g i a l i t y i s n o t l i m i t e d t o a s t r i c t l y l o c a l C o n t e x t . S o m e c a n d i d a t e s e x p r e s s e d r e c o g n i t i o n o f a l a r g e r c o m m u n i t y o f N a t i o n a l B o a r d t e a c h e r s s e r v i n g a s a v i t a l r e s o u r c e t o t h e i r p r a c t i c e . O n e t e a c h e r s t a t e s , 1 9 t h e u n d e r s t a n d i n g t h a t t h e t e r m ‘ g r o w t h ’ i m p l i e s a f o r m o f c a n d i d a t e l e a r n i n g . I c o m p a r e n o t e s , s h a r e e x p e r t i s e , a n d s w a p a d v i c e w i t h m y n e t w o r k o f o t h e r B o a r d - c e r t i fi e d t e a c h e r s : h u n d r e d s o f m o t i v a t e d e x p e r t t e a c h e r s w h o s h a r e k n o w l e d g e a n d s u p p o r t w i t h o n e a n o t h e r i n m e e t i n g t h e n e e d s o f c h i l d r e n . T h i s d i v e r s e g r o u p o f t e a c h e r s f r o m a c r o s s t h e U n i t e d S t a t e s h a s b e c o m e a n i n t e g r a l p a r t o f m y p r o f e s s i o n a l s u p p o r t n e t ( J e n k i n s , 2 0 0 0 ) . I t w o u l d a p p e a r t h a t N a t i o n a l B o a r d c e r t i fi c a t i o n h a s b r o k e n t h r o u g h t h e i s o l a t i o n o f m o r e t r a d i t i o n a l a p p r o a c h e s t o t e a c h i n g a n d i n f u s e d m a n y c a n d i d a t e s w i t h a n i n c r e a s e d r e g a r d f o r c o m m u n i t y m e m b e r s h i p a n d i t s r o l e i n s e r v i n g t h e n e e d s o f t e a c h e r s . D e v e l o p i n g a c o l l e g i a l i t y a m o n g t e a c h e r s i s o n e o f t h e s t a t e d a i m s o f t h e N B P T S . P r o p o s i t i o n # 5 s t a t e s t h a t ‘ t e a c h e r s a r e m e m b e r s o f l e a r n i n g c o m m u n i t i e s ’ . I t p r o v i d e s f u r t h e r e l a b o r a t i o n o n t h e p r o p o s i t i o n b y s t a t i n g , “ t h e w o r k o f t e a c h i n g r e a c h e s b e y o n d t h e b o u n d a r i e s o f i n d i v i d u a l c l a s s r o o m s t o w i d e r c o m m u n i t i e s o f l e a r n i n g ” ( N B P T S , l 9 9 1 , p 3 ) . T h e n a t u r e o f t h i s e x t e n d e d v i s i o n o f t e a c h i n g i n v o l v e s s e v e r a l f a c e t s . F o r e x a m p l e , t e a c h e r s a r e n o t o n l y e x p e c t e d t o w o r k w i t h o t h e r t e a c h e r s o n i s s u e s o f t h e i m m e d i a t e c l a s s r o o m , b u t a l s o w i t h p a r e n t s , c o m m u n i t y , a n d s c h o o l l e a d e r s f o r t h e p u r p o s e o f s c h o o l i m p r o v e m e n t a n d e d u c a t i o n r e f o r m . G r o w t h M u c h o f t h e e v i d e n c e c o l l e c t e d r e g a r d i n g t e a c h e r l e a r n i n g f r o m t h e N B P T S a s s e s s m e n t p r o c e s s c o u l d b e s t b e c h a r a c t e r i z e d a s o r i e n t e d a r o u n d p e r s o n a l a n d p r o f e s s i o n a l g r o w t h . P e r s o n a l g r o w t h i s d e fi n e d a s t h o s e a r e a s i n v o l v e d i n s e l f — e s t e e m , C o n f i d e n c e , a n d f e e l i n g s r e g a r d i n g t h e w o r k o f t e a c h i n g . I n c o n t r a s t , p r o f e s s i o n a l g r o w t h i s d e fi n e d a s l e a r n i n g i n a r e a s d i r e c t l y o r i n d i r e c t l y a s s o c i a t e d w i t h a s p e c t s o f p r a c t i c e S u c h a s c o m m u n i c a t i o n , p e d a g o g y , a n d d e v e l o p m e n t . I w i l l c o n s i d e r e a c h o f t h e s e w i t h 2 0 l e a r n i n g . T a k e n t o g e t h e r , t h e e v i d e n c e f o r b o t h p e r s o n a l a n d p r o f e s s i o n a l g r o w t h f r o m B y f a r , t h e m o s t c o m m o n r e f r a i n i n t h e l i t e r a t u r e a m o n g c a n d i d a t e s r e g a r d i n g t h e i r e x p e r i e n c e w i t h t h e N a t i o n a l B o a r d d e a l s w i t h a n a m o r p h o u s f e e l i n g o f s e l f - i m p r o v e m e n t . D e s c r i p t i o n s o f t h e c e r t i fi c a t i o n p r o c e s s s u c h a s , “ t h e m o s t d r a m a t i c a n d t r a n s f o r m i n g e x p e r i e n c e ” a n d “ i t g a v e m e a l o t o f s e l f - c o n fi d e n c e ” d o n o t r e v e a l m u c h d e t a i l r e g a r d i n g t h e h o w ’ s a n d w h y ’ s a r o u n d a s s e s s m e n t p r o c e d u r e s , b u t i n s t e a d i n d i c a t e d t h a t t h e c a n d i d a t e s ’ e m o t i o n a l c o n n e c t i o n w i t h t h e e n d e a v o r ( R o t b e r g , 1 9 9 6 ) . R e f e r e n c e s t o i n c r e a s e d f e e l i n g s o f ‘ e n l i g h t e n m e n t ’ , ‘ e m p o w e r m e n t ’ , ‘ s e l f — i m a g e ’ , a n d ‘ s e l f - r e s p e c t ’ a r e c o m m o n a m o n g i n t e r v i e w e d c a n d i d a t e s ( K o w a l s k i e t a l , 1 9 9 7 ) . O n e a l m o s t g e t s t h e s e n s e o f a ‘ r e l i g i o u s ’ e x p e r i e n c e f r o m s o m e o f t h e m o r e e x t r e m e c a s e s . I n o n e r e p o r t , a t e a c h e r c o m m e n t e d t h a t “ E a r n i n g m y c e r t i fi c a t i o n n o t o n l y m a d e m e a b e t t e r t e a c h e r , i t m a d e m e a b e t t e r p e r s o n ” ( W i e b k e , 2 0 0 0 ) . T h e i n c i d e n c e s o f p r o f e s s i o n a l g r o w t h a m o n g c a n d i d a t e s a r e e q u a l l y i n t e r e s t i n g . M a n y c o m m e n t s p e r t a i n t o a r e v i t a l i z a t i o n o r c o n f i r m a t i o n o f p r a c t i c e . F o r e x a m p l e o n e c a n d i d a t e s t a t e s t h a t N a t i o n a l B o a r d c e r t i fi c a t i o n i s o n e w a y t o “ r e i n v i g o r a t e y o u r s e l f p r o f e s s i o n a l l y ” ( C h a s e , 1 9 9 9 ) . A n o t h e r t e a c h e r s t a t e s t h a t t h e c e r t i fi c a t i o n p r o c e s s “ h e l p e d m e r e c a p t u r e t h e e n t h u s i a s m o f m y e a r l y y e a r s o f t e a c h i n g ” ( J e n k i n s , 2 0 0 0 ) . E v i d e n c e t o s u p p o r t t h e i d e a o f p r o f e s s i o n a l g r o w t h a l s o a b o u n d s i n t h e l i t e r a t u r e . T h e n a t u r e o f t h i s d a t a t e n d s t o s u p p o r t t h e n o t i o n t h a t N a t i o n a l B o a r d c e r t i fi c a t i o n h a s a g r e a t i m p a c t u p o n h o w t e a c h e r s u n d e r s t a n d w h a t t h e y d o a n d w h y . I t h e l p s t h e m d e v e l o p m o r e a d v a n c e d c o m m u n i c a t i o n s k i l l s s o t h e y m a y m o r e a c c u r a t e l y a n d e f fi c i e n t l y t a l k W i t h p e e r s , w h i c h i s a v a l u e d s k i l l a c c o r d i n g t o s o m e r e s e a r c h e r s ( W i l s o n e t a l , 1 9 8 7 ) . T h e p r o c e s s a l s o s e e m s t o ‘ v a l i d a t e ’ o r ‘ c o n fi r m ’ t h e i r i d e a s p e r t a i n i n g t o t e a c h i n g a n d t h e l i t e r a t u r e s t r o n g l y s u g g e s t s t h a t t h e c e r t i fi c a t i o n p r o c e s s i s a p o w e r f u l l e a r n i n g e x p e r i e n c e f o r t h e t e a c h e r s . T h o u g h p e r s o n a l g r o w t h i s n o t d i r e c t l y a d d r e s s e d i n t h e N a t i o n a l B o a r d ’ s s t a n d a r d s , t h e s u p p o r t i n g r h e t o r i c a r o u n d t h e s t a n d a r d s i s fi l l e d w i t h s t a t e m e n t s t h a t p r o m o t e e x a c t l y t h e s e t y p e s o f o u t c o m e s . F o r e x a m p l e , a s p a r t o f t h e i r m i s s i o n s t a t e m e n t , t h e N B P T S s a y s t h a t t h e c e r t i fi c a t i o n p r o c e s s s h o u l d “ e n h a n c e t e a c h e r s ’ s e l f - e s t e e m ” . T h e B o a r d ’ s c o m m i t m e n t t o a ‘ r i g o r o u s ’ a s s e s s m e n t m a y a l s o c o n t r i b u t e t o t h e c a n d i d a t e s ’ s e n s e o f a c c o m p l i s h m e n t ( N B P T S , 1 9 9 1 ) . T h e p r o f e s s i o n a l g r o w t h o u t c o m e s a r e m o r e d i r e c t l y r e l a t e d t o t h e s t a n d a r d s . T h e N B P T S u s e s t h e t e r m ‘ p r o f e s s i o n a l ’ t o d e n o t e o c c u p a t i o n s ( t e a c h i n g b e i n g a m o n g t h e m ) t h a t a r e b a s e d u p o n a ‘ b o d y o f s p e c i a l i z e d e x p e r t k n o w l e d g e ’ a n d a r e c o u p l e d w i t h a ‘ c o d e o f e t h i c s e m p h a s i z i n g s e r v i c e t o c l i e n t s ’ ( N B P T S , 1 9 9 1 ) . I t i s u p o n t h i s o v e r a r c h i n g a s s u m p t i o n t h a t t h e fi v e p r o p o s i t i o n s o f a c c o m p l i s h e d t e a c h i n g a r e b a s e d . T h e r e f o r e , w h e n t e a c h e r s d i s c u s s t h e i r i n c r e a s e d a w a r e n e s s o f s t u d e n t n e e d s , n e w w a y s t o t e a c h a p a r t i c u l a r l e s s o n , t h e i m p a c t o f n e w t h e o r i e s a n d a p p r o a c h e s t o p r a c t i c e , t h e y a r e a r t i c u l a t i n g e v i d e n c e f o r t h e B o a r d ’ s c o n c e p t i o n o f ‘ p r o f e s s i o n a l g r o w t h ’ . R e s o u r c e s f o r L e a r n i n g I f r e fl e c t i o n , c o l l e g i a l i t y , a n d p e r s o n a l a n d p r o f e s s i o n a l g r o w t h d e s c r i b e t h e c o n t e n t o f w h a t t e a c h e r s a r e l e a r n i n g , t h e n t h e q u e s t i o n b e c o m e s , h o w a r e t h e s e t e a c h e r s l e a r n i n g t h i s c u r r i c u l u m ? T h e N a t i o n a l B o a r d c e r t i fi c a t i o n p r o c e s s h a s t h r e e w e l l - d e fi n e d c o m p o n e n t s t h a t s e r v e a s d i r e c t l e a r n i n g r e s o u r c e s f o r t h e c a n d i d a t e s a n d a l s o p r o v i d e t h e c o n t e x t f o r i n d i r e c t l e a r n i n g r e s o u r c e s . T h e s e c o m p o n e n t s a r e : t h e p o r t f o l i o c o n s t r u c t i o n , a f o r m a l e x a m i n a t i o n a t a n o f f s i t e t e s t i n g c e n t e r , a n d t h e N a t i o n a l B o a r d ’ s P r o p o s i t i o n s 2 2 a n d S t a n d a r d s o f a c c o m p l i s h e d t e a c h i n g . I w i l l b r i e fl y d e s c r i b e e a c h o f t h e s e c o m p o n e n t s i n t e r m s o f h o w t h e y m a y e x p l i c i t l y a n d i m p l i c i t l y s u p p o r t o r p r o v i d e o p p o r t u n i t i e s f o r t e a c h e r l e a r n i n g . T h e fi r s t r e s o u r c e f o r t e a c h e r l e a r n i n g f r o m N a t i o n a l B o a r d c e r t i fi c a t i o n i n v o l v e s t h e s t a n d a r d s a n d p r 0 p o s i t i o n s f o r a c c o m p l i s h e d t e a c h i n g t h a t s e r v e a s t h e e s s e n t i a l f r a m e w o r k f o r t h e a s s e s s m e n t ( K o w a l s k i e t a l , 1 9 9 7 ) . I t s h o u l d b e n o t e d t h a t t h e s t a n d a r d s w e r e c r e a t e d u n d e r t h e B o a r d ’ s w o r k i n g a s s u m p t i o n t h a t t h e s t a n d a r d s e n u m e r a t e a b r o a d b a s e f o r t e a c h i n g a n d t h a t t h e y a l s o “ c o n c e a l t h e c o m p l e x i t i e s , u n c e r t a i n t i e s , a n d d i l e m m a s o f t h e w o r k ” ( N B P T S , 1 9 9 1 , p . 1 3 ) . S t a n d a r d s d o c u m e n t s a r e c r e a t e d f o r a s p e c i fi e d a r e a o f e x p e r t i s e ( i . e . , f o r e i g n l a n g u a g e , a r t , s c i e n c e , o r s p e c i a l n e e d s ) a n d / o r g r a d e l e v e l ( i . e . , p r i m a r y , e l e m e n t a r y , m i d d l e , s e c o n d a r y ) . C u r r e n t l y , e a c h o f t h e t w e n t y - s e v e n d i f f e r e n t a r e a s a v a i l a b l e f o r c e r t i fi c a t i o n h a v e t h e i r o w n s e t o f a r t i c u l a t e d a n d t h o r o u g h l y c o m m u n i c a t e d s t a n d a r d s r e g a r d i n g w h a t t h a t s p e c i fi e d g r o u p o f t e a c h e r s s h o u l d k n o w a n d b e a b l e t o d o . H o w e v e r , a l l t w e n t y - s e v e n c e r t i fi c a t e a r e a s t a n d a r d s a r e b a s e d u p o n t h e fi v e b a s i c p r o p o s i t i o n s p r o m o t e d b y t h e B o a r d . E v e r y t h i n g t h e c a n d i d a t e i s t o t h i n k a b o u t , e x p e r i e n c e , a n s w e r , a n d c o m m u n i c a t e s t e m s f r o m t h e e s t a b l i s h e d s t a n d a r d s p e r t a i n i n g t o t h e i r a r e a o f s p e c i a l i z a t i o n . 6 I t i s f r o m t h e s e s t a n d a r d s t h a t t h e p o r t f o l i o t a s k s a n d m a n y o f t h e s t a t e d b e n e f i t s o f c e r t i fi c a t i o n d e r i v e . F o r e x a m p l e , c a n d i d a t e s d i s c u s s t h e i m p o r t a n t r o l e t h e s t a n d a r d s a n d p r o p o s i t i o n s p l a y e d i n t h e i r a s s e s s m e n t e x p e r i e n c e . “ I fi n d t h e s t a n d a r d s g i v i n g m e — _ 6 I t i s i m p o r t a n t t o n o t e t h a t t h e s t a n d a r d s o r i g i n a t e f r o m c o m m i t t e e s m a d e u p p r e d o m i n a n t l y o f e s t a b l i s h e d t e a c h e r s f r o m d i v e r s e b a c k g r o u n d s i n t h e d e s i g n a t e d a r e a s . I t i s a n a s s u m p t i o n o f t h e N B P T S t h a t C X p e r i e n c e d t e a c h e r s h a v e k n o w l e d g e t h a t i s v a l u e d r e g a r d i n g w h a t a c c o m p l i s h t e a c h e r s k n o w a n d a r e a b l e t o d o . T h e i r ‘ w i s d o m ’ a l o n g w i t h t h e i n p u t o f a d m i n i s t r a t o r s , e d u c a t i o n l e a d e r s , a n d a c a d e m i c s m a k e u p t h e c o m m u n i t y o f e x p e r t i s e t h a t e v e n t u a l l y d e fi n e t h e s t a n d a r d s . T h e s t a n d a r d s g o t h r o u g h r e v i e w a n d r e v i s i o n c y c l e s e v e r y t h r e e y e a r s s o a s t o i n s u r e c o m m u n i t y c o n s e n s u s , r e m o v e a n y r a c i a l o r e t h n i c b i a s , a n d r e fi n e m e n t s a s d e e m e d n e c e s s a r y . 2 3 t h e e n e r g y a n d d e s i r e t o p l a n b e t t e r ” ( K o w a l s k i e t a l , 1 9 9 7 ) . O r , “ T h e s t a n d a r d s h a v e r e v i t a l i z e d m y w o r k w i t h c o l l e a g u e s ” ( A r e g l a d o , 1 9 9 9 ) . T h e s t a n d a r d s a l s o p l a y a r o l e i n d e v e l o p i n g t h e s k i l l s a n d m i n d s e t s o f r e fl e c t i o n b y e n a b l i n g a t e a c h e r t o “ c l o s e l y e x a m i n e t h e i r p r o f e s s i o n a l l i f e t h r o u g h t h e l e n s o f t h e B o a r d ’ s s t a n d a r d s a n d p r o p o s i t i o n s ” . A s o n e t e a c h e r p u t i t , “ I t g i v e s m e s o m e t h i n g t o c h e c k m y p r a c t i c e a g a i n s t . I t g o t m e o f f t h e a u t o m a t i c m o d e a s a n e x p e r i e n c e d t e a c h e r ” ( K o w a l s k i e t a l , 1 9 9 7 ) . I f t h e s t a n d a r d s f o r m t h e ‘ b r a i n ’ o f t h e o p e r a t i o n , t h e n t h e h e a r t o f t h e N a t i o n a l B o a r d ’ s a s s e s s m e n t p r o c e s s i s t h e i n d i v i d u a l c a n d i d a t e ’ s c o n s t r u c t i o n o f a d i v e r s e a n d c o m p r e h e n s i v e p r o f e s s i o n a l p o r t f o l i o . T h e c a n d i d a t e r e c e i v e s e i t h e r a fi f t e e n - p o u n d b o x t h a t c o n t a i n s a l l t h e i n s t r u c t i o n s , p e r f o r m a n c e t a s k s , l o g i s t i c a l i n f o r m a t i o n , a n d g r a d i n g r u b r i c s n e c e s s a r y t o c o m p l e t e t h e s i x - m o n t h i n t e n s i v e p r o c e s s o r t h e y m a y d o w n l o a d t h e d i g i t a l e q u i v a l e n t a f t e r o n - l i n e r e g i s t r a t i o n . F o r t h e u n a w a r e , t h i s p a c k a g e w i t h m o r e t h a n a t h o u s a n d p a g e s o f m a t e r i a l s c a n b e o v e r w h e l m i n g a n d i n t i m i d a t i n g . H o w e v e r , a f t e r t h e i n i t i a l s h o c k , c a n d i d a t e s d i s c o v e r t h e c a r e f u l l y d e s i g n e d a s s e s s m e n t i n s t r u m e n t i s r i c h w i t h a d v i c e , d e t a i l e d p r o c e d u r e s , a n d e x p l a n a t i o n s r e g a r d i n g t h e p u r p o s e s o f t h e i n d i v i d u a l c o m p o n e n t s o f t h e p o r t f o l i o . M u c h o f t h e l e a r n i n g a s s o c i a t e d w i t h r e fl e c t i o n , c o l l e g i a l i t y , a n d p e r s o n a l a n d p r o f e s s i o n a l g r o w t h a r e d i r e c t l y r e l a t e d t o t h e n u m b e r , d e p t h , a n d t y p e s o f t a s k s t h a t c o m p o s e t h e p o r t f o l i o . F o r e x a m p l e , o n e o f t h e fi r s t t h i n g s t h e c a n d i d a t e m u s t u n d e r s t a n d i s t h a t t o c o m p l e t e t h e p o r t f o l i o p r o p e r l y , e x t e n s i v e l o n g t e r m p l a n n i n g i s r e q u i r e d . T h e C a n d i d a t e n e e d s t o c l o s e l y e s t i m a t e w h a t t h e y w i l l b e t e a c h i n g t o w h o m a t a n y g i v e n W e e k d u r i n g t h e s p r i n g s e m e s t e r . S u c h a n t i c i p a t i o n o f t e a c h i n g d u t i e s , f o r c e s t h e t e a c h e r s 2 4 t o c o o r d i n a t e w i t h f a c u l t y t h a t h a v e s i m i l a r o r r e l a t e d t e a c h i n g r e s p o n s i b i l i t i e s . T h i s c o o r d i n a t i o n c a n b e s e e n a s t h e f i r s t s t e p i n e s t a b l i s h i n g a n a t m o s p h e r e o f c o l l e g i a l i t y . S e c o n d l y , s u c h m e t i c u l o u s p l a n n i n g m a y a l s o s t i m u l a t e c a n d i d a t e s t o r e fl e c t u p o n t h e i r p r a c t i c e a n d t h e c u r r i c u l u m t h e y a r e c h a r g e d t o t e a c h . W h a t i s t h e b e s t l e s s o n f o r a p a r t i c u l a r o b j e c t i v e ? W h a t t o p i c s l e n d t h e m s e l v e s t o p r o d u c t i v e c l a s s r o o m d i s c u s s i o n s ? W h a t c l a s s r o o m a c t i v i t i e s s h o w c a s e a n i n d i v i d u a l t e a c h e r ’ s a p p r o a c h t o p r a c t i c e b e s t ? W h a t a r e t h e t h e m e s o r l o n g t e r m i d e a s t h a t w i l l b e e m p h a s i z e d d u r i n g t h e t e r m ? H o w w i l l t h e s e s t r a n d s b e e x p r e s s e d i n d i f f e r e n t l e s s o n s o r u n i t s ? H o w a r e o t h e r s w i t h s i m i l a r j o b p r o fi l e s i n m y s c h o o l o r d i s t r i c t h a n d l i n g t h e s e i s s u e s ? T h e l i s t o f q u e s t i o n s g o e s o n a n d o n a n d o n . A f t e r s o l v i n g m a n y s e r i e s o f p r o b l e m s a r o u n d t h e c o n s t r u c t i o n o f t h e p o r t f o l i o , i t i s n o w o n d e r t h a t m a n y t e a c h e r s f e e l g o o d a b o u t t h e m s e l v e s . S u c c e s s f u l c o m p l e t i o n o f t h e p o r t f o l i o ( i n a d d i t i o n t o t h e i r ‘ n o r m a l ’ w o r k l o a d ) d e m a n d s p a t i e n c e , t e n a c i t y , i n t e l l i g e n c e , a n d p e r s e v e r a n c e . F i n a l l y , t h e r e i s t h e f o r m a l a s s e s s m e n t . T h e f o r m a l a s s e s s m e n t i s a 4 h o u r e x a m a d m i n i s t e r e d a f t e r t h e c o m p l e t i o n o f t h e p o r t f o l i o a n d b e f o r e t h e e n d o f J u n e a t a n o f f s i t e f a c i l i t y ( i . e . , S i l v a n L e a r n i n g C e n t e r s ) . T h e e x a m a s s e s s e s t h e t e a c h e r ’ s d e p t h a n d b r e a d t h o f c o n t e n t k n o w l e d g e u n d e r s t a n d i n g r e l a t i v e t o t h e i r c h o s e n fi e l d o f s p e c i a l i z a t i o n ( N B P T S , 2 0 0 4 ) . C a n d i d a t e s ’ c o m m e n t s a b o u t t h i s a s p e c t o f t h e c e r t i fi c a t i o n p r o c e s s a r e l i m i t e d d u e t o c o n fi d e n t i a l i t y a g r e e m e n t s b e t w e e n t h e B o a r d a n d e v e r y c a n d i d a t e a n d t h e r e f o r e i t s c o n t r i b u t i o n s t o l e a r n i n g o u t c o m e s a r e l e a s t u n d e r s t o o d o r a p p l i c a b l e t o t h e q u e s t i o n s o f t h i s a n a l y s i s . F o r e x a m p l e , o n e c a n d i d a t e w h o f a i l e d t h e e x a m c o m m e n t e d t h a t h e r e a l i z e d “ i t w a s n ’ t t h a t I d i d n ’ t h a v e t h e a b i l i t y , I j u s t d i d n ’ t d e a l w i t h a l l t h e d e t a i l s ” ( A m e r i c a n T e a c h e r , 2 0 0 0 ) . T h e i d e a s e x p r e s s e d b y t h i s t e a c h e r 2 5 i n d i c a t e l e a r n i n g r e g a r d i n g t h e p r o c e s s o f c e r t i fi c a t i o n n o t l e a r n i n g r e g a r d i n g p r a c t i c e i n t h e c l a s s r o o m . H o w e v e r , t h e l i t e r a t u r e s u g g e s t s t h a t t h e e x a m s e e m s t o t r i g g e r t e a c h e r s t o c o l l a b o r a t e i n t h e i r e f f o r t s t o p r e p a r e f o r t h e t e s t . S u c h c o l l a b o r a t i o n s e e m s t o r e i n f o r c e t h e i m p r o v e d s e n s e o f c o l l e g i a l i t y ( K o w a l s k i e t a l , 1 9 9 7 ) . T h i s ‘ t r i g g e r i n g e f f e c t ’ c a n b e t h o u g h t o f a s a n e x a m p l e o f i m p l i c i t r e s o u r c e s f o r t e a c h e r l e a r n i n g . I t i s n o t a n o f fi c i a l p a r t o f t h e a s s e s s m e n t p r o c e s s , b u t o n e t h a t s e e m s t o g r o w o u t o f t h e r e q u i r e m e n t s . S u c h i m p l i c i t r e s o u r c e s a r e c o m m o n t o a l l t h r e e e x p l i c i t i n s t r u m e n t s o f t h e a s s e s s m e n t p r o c e s s . T h e s t a n d a r d s s t i m u l a t e d i s c u s s i o n a n d s t u d y g r o u p s t h a t i n t u r n s t i m u l a t e r e fl e c t i o n , c o l l e g i a l i t y , a n d g r o w t h . P o r t f o l i o c o n s t r u c t i o n o f t e n e n t w i n e d w i t h d i s c u s s i o n s o f t h e s t a n d a r d s a n d p r o p o s i t i o n s h a s t h e s a m e e f f e c t . I t a p p e a r s t h a t t h e i m p l i c i t r e s o u r c e s d e v e l o p e d b y c a n d i d a t e s i n r e s p o n s e t o t h e e x p l i c i t t o o l s o f t h e B o a r d , a r e o f e q u a l v a l u e i n t h e i r c o n t r i b u t i o n s t o t e a c h e r l e a r n i n g o u t c o m e s . T h i s r e v i e w o f a v a i l a b l e a n d r e l e v a n t r e s e a r c h o n N a t i o n a l B o a r d c e r t i fi c a t i o n a s p r o f e s s i o n a l d e v e l o p m e n t p r o v i d e s a g e n e r a l i z e d i n d i c a t i o n o f t h e m o s t l i k e l y a r e a s o f t e a c h e r l e a r n i n g o u t c o m e s a n d t h e r e s o u r c e s a s s o c i a t e d w i t h t h a t l e a r n i n g . K n o w i n g w h a t o t h e r s c l a i m a r e l e a r n i n g o u t c o m e s f r o m N a t i o n a l B o a r d c e r t i fi c a t i o n p r o v i d e s a g o o d i n d i c a t i o n o f w h a t m i g h t b e e x p e c t e d f r o m t h i s s t u d y . I m p o r t a n c e o f t h i s S t u d y W h a t c a n t h i s / s t u d y c o n t r i b u t e t o w h a t i s a l r e a d y k n o w n ? T h e a n s w e r l i e s i n t h e q u a s i - e x p e r i m e n t a l a p p r o a c h a n d t h e k i n d o f k n o w l e d g e t h a t i t c o u l d p r o d u c e . A s a n e m p i r i c a l q u a n t i t a t i v e s t u d y , r e s u l t s a r e m e a s u r a b l e o u t c o m e s t h a t a r e g e n e r a l i z a b l e t o a S p e c i fi c p o p u l a t i o n . Q u a n t i t a t i v e r e s e a r c h c a n p r o v i d e i n f o r m a t i o n a n d k n o w l e d g e t h a t C a n b e q u a n t i fi e d , v e r i fi e d , a n d a p p l i e d t o t h e p r a g m a t i c n e e d s o f t h e e d u c a t i o n c o m m u n i t y , 2 6 s u c h a s i n fl u e n c i n g p o l i c y f o r m a t i o n a n d c l a s s r o o m p r a c t i c e . T o d a t e , t h e m o s t e x t e n s i v e q u a n t i t a t i v e i n v e s t i g a t i o n s o f N a t i o n a l B o a r d t e a c h e r s f o c u s e d o n t h e v a l i d i t y o f t h e p r o c e s s a t i d e n t i f y i n g a c c o m p l i s h e d t e a c h e r s ( B o n d e t a l , 2 0 0 0 , G o l d h a b e r e t a l , 2 0 0 4 ) . H o w e v e r , t h e s e s t u d i e s w e r e n o t d e s i g n e d t o a d d r e s s q u e s t i o n s o f h o w t h e e x p e r i e n c e o f N a t i o n a l B o a r d c e r t i fi c a t i o n m a y h a v e f a c i l i t a t e d l e a r n i n g i n t h e c a n d i d a t e s . I n t h i s s t u d y , I f o c u s o n t h e r e l a t i o n s h i p b e t w e e n t h e c e r t i fi c a t i o n p r o c e s s a n d i t p o t e n t i a l i m p a c t u p o n t e a c h e r k n o w l e d g e a n d p r o v i d e r e s u l t s t h a t s h e d n e w l i g h t o n N a t i o n a l B o a r d c e r t i f i c a t i o n a s p r o f e s s i o n a l d e v e l o p m e n t . T h e fi n d i n g s f r o m t h i s s t u d y a r e s i g n i fi c a n t t o a h o s t o f d i f f e r e n t a n d d i v e r s e a u d i e n c e s . F o r t h e N B P T S , t h e s t u d y c a n b e u s e d t o r e fi n e a n d i m p r o v e t h e c e r t i fi c a t i o n p r o c e s s a s a p r o f e s s i o n a l d e v e l o p m e n t e x p e r i e n c e f o r t e a c h e r s . F o r e d u c a t i o n a l l e a d e r s , t h e r e s u l t s o f t h i s s t u d y s h o u l d i n f o r m a n d e n r i c h t h e d i s c u s s i o n s r e g a r d i n g w h e t h e r o r n o t t o i n v e s t i n N a t i o n a l B o a r d c e r t i fi c a t i o n a s a p r o f e s s i o n a l d e v e l o p m e n t . F i n a l l y , f o r t h e s e c o n d a r y s c i e n c e c l a s s r o o m t e a c h e r s c o n t e m p l a t i n g N a t i o n a l B o a r d c e r t i fi c a t i o n , t h i s s t u d y p r o v i d e s a g o o d s e n s e o f w h a t t h e p r o b a b l e l e a r n i n g o u t c o m e s w o u l d b e f r o m t h e e x p e r i e n c e . A s f o r t h e d e b a t e b e t w e e n e d u c a t i o n a l p u n d i t s r e g a r d i n g t h e m e r i t s o f N a t i o n a l B o a r d c e r t i fi c a t i o n , t h i s s t u d y c o u l d a l s o b e a n i n fl u e n c e . T h e i d e n t i fi c a t i o n o f s p e c i fi c l e a r n i n g o u t c o m e s w o u l d s t r e n g t h e n t h e p o s i t i o n t h a t N a t i o n a l B o a r d c e r t i f i c a t i o n i s a V a l u a b l e p r o f e s s i o n a l d e v e l o p m e n t e x p e r i e n c e . S u c h fi n d i n g s w o u l d h e l p t o a d d r e s s t h e c r i t i c s ’ c o n c e r n s o f t h e N B P T S w h o s a y t h a t c a n d i d a t e c l a i m s o f b e i n g “ b e t t e r ” t e a c h e r s b e c a u s e o f t h e e x p e r i e n c e a r e “ n o t e n o u g h ” ( B a l l o u e t a l , 1 9 9 8 ; W i l c o x , 1 9 9 9 ; P o o l e t a l , 2 0 0 1 ) . T h i s i s e s p e c i a l l y t r u e f o r G e o r g e L e e f ’ 5 c l a i m t h a t : “ T h e r e i s n o e v i d e n c e t h a t 2 7 d e f i n e d . T h e q u e s t i o n , “ W h a t a r e t e a c h e r s l e a r n i n g f r o m N a t i o n a l B o a r d c e r t i fi c a t i o n ? ” t h e c e r t i fi c a t i o n p r o c e s s d o e s a n y t h i n g t o e l e v a t e a t e a c h e r ’ s a b i l i t y t o i n s t r u c t s t u d e n t s ” ( L e e f , 2 0 0 4 ) . D e m o n s t r a t i n g t h a t c a n d i d a t e s ( b o t h t h o s e w h o p a s s a n d d o n o t p a s s ) l e a r n f r o m t h e i r a s s e s s m e n t e x p e r i e n c e , w o u l d p r o v i d e p o w e r f u l e v i d e n c e t o s u p p o r t f e d e r a l , s t a t e , a n d l o c a l i n i t i a t i v e s t o s u p p o r t t e a c h e r s i n t e r e s t e d i n s e e k i n g t h e a d v a n c e d c e r t i fi c a t e . T h o u g h a t e a c h e r f a i l s t o m e e t t h e m i n i m u m r e q u i r e m e n t s f o r c e r t i fi c a t i o n , t h e y s t i l l m a y h a v e l e a r n e d a b o u t t h e i r p r a c t i c e i n w a y s t h a t r a i s e s t h e l e v e l o f t h e i r p e r f o r m a n c e a b o v e w h a t i t w a s b e f o r e t h e y b e g a n . S h o w i n g t h a t t h e 5 1 % o f A Y A S c i e n c e c a n d i d a t e s ( N B P T S , 2 0 0 2 ) w h o d o n o t s u c c e e d i n a t t a i n i n g c e r t i fi c a t i o n a r e a c t u a l l y s u c c e s s f u l i n l e a r n i n g t o a l i g n t h e i r p r a c t i c e c l o s e r t o N B P T S s t a n d a r d s g r e a t l y s t r e n g t h e n s t h e i d e a t h a t t h e c e r t i fi c a t i o n p r o c e s s i s a v a l u a b l e s t a n d a r d s b a s e d p r o f e s s i o n a l d e v e l o p m e n t e x p e r i e n c e . I n a d d i t i o n , s u b s t a n t i a t e d l e a r n i n g o u t c o m e s f r o m a d e fi n e d i n t e r v e n t i o n c a n b e v i e w e d a s a n i m p o r t a n t c o n t r i b u t i o n i n a d d r e s s i n g t h e a s s u m p t i o n s p e r t a i n i n g t o p r o f e s s i o n a l d e v e l o p m e n t a n d t e a c h e r l e a r n i n g . F i n a l l y , t h e fi n d i n g s o f t h i s s t u d y c o u l d h e l p t o v a l i d a t e C o r e P r o p o s i t i o n # 4 r e g a r d i n g a c c o m p l i s h e d t e a c h i n g , w h i c h s t a t e s “ T e a c h e r s t h i n k s y s t e m a t i c a l l y a b o u t t h e i r p r a c t i c e a n d l e a r n f r o m e x p e r i e n c e ” ( i t a l i c s a d d e d , N B P T S , 1 9 9 1 ) . T h o u g h t h e o r i g i n a l i n t e n t i o n o f t h i s p h r a s e p r o b a b l y p e r t a i n e d t o t h e d a y t o d a y w o r k o f t e a c h e r s i n t h e c l a s s r o o m , i t s m e a n i n g c o u l d b e e x p a n d e d t o i n c l u d e t h e e x p e r i e n c e o f B o a r d c e r t i fi c a t i o n . B y e n r i c h i n g t h e i n t e r p r e t a t i o n o f t h e N B P T S c o r e p r o p o s i t i o n s , t h e l e g i t i m a c y o f t h e B o a r d ’ s w o r k w o u l d b e s t r e n g t h e n e d . S u m m a r y I n C h a p t e r 1 , t h e p r o b l e m t o b e i n v e s t i g a t e d i n t h i s s t u d y w a s s i t u a t e d a n d 2 8 w a s p r e s e n t e d a n d i t s i m p o r t a n c e d i s c u s s e d . A d e s c r i p t i o n o f t h e N a t i o n a l B o a r d a n d w h a t t h e s p e c i fi c i n t e r v e n t i o n f o r t h i s s t u d y e n t a i l s w a s p r o v i d e d . A l s o , a r e v i e w o f r e l e v a n t l i t e r a t u r e t h a t p e r t a i n s t o N a t i o n a l B o a r d c e r t i fi c a t i o n a s a p r o f e s s i o n a l d e v e l o p m e n t a n d w h a t i s c u r r e n t l y k n o w n a b o u t t e a c h e r l e a r n i n g f r o m t h i s e x p e r i e n c e w a s p r e s e n t e d . F i n a l l y , a r a t i o n a l e d e s c r i b i n g t h e i m p o r t a n c e a n d i m p l i c a t i o n s o f t h i s r e s e a r c h s e t t h e s t a g e f o r t h e r e s t o f t h i s d i s s e r t a t i o n . 2 9 - - T o m P e t t y f r o m “ L e a r n i n g t o F 1 y " O v e r v i e w C H A P T E R 2 : M E T H O D O L O G Y I ' m l e a r n i n g t o fl y b u t I a i n ' t g o t w i n g s C o m i n ' d o w n i s t h e h a r d e s t t h i n g . C h a p t e r 1 d e s c r i b e d t h e p h e n o m e n o n , t h e q u e s t i o n s r a i s e d b y t h i s p h e n o m e n o n , a n d t h e r a t i o n a l e f o r i n v e s t i g a t i n g t e a c h e r l e a r n i n g f r o m N a t i o n a l B o a r d c e r t i fi c a t i o n . I n C h a p t e r 2 , t h e ‘ n u t s a n d b o l t s ’ o f p r e c i s e l y h o w t h i s s t u d y w a s c o n d u c t e d a n d w h o e x a c t l y p a r t i c i p a t e d i n t h i s r e s e a r c h i s d e s c r i b e d . A f t e r a l l t h e p l a n n i n g , t h i n k i n g , a n d i m a g i n i n g t h a t g o e s i n t o t h e ‘ p r e - p r o d u c t i o n ’ o f a r e s e a r c h p r o j e c t , i t i s h e r e w h e r e t h e ‘ r u b b e r m e e t s t h e r o a d ’ a n d t h e a c t u a l p h y s i c a l c o l l e c t i o n o f d a t a t a k e s p l a c e . S p e c i fi c r e s e a r c h p a r a m e t e r s a d d r e s s e d i n t h i s c h a p t e r i n c l u d e : 1 ) 2 ) 3 ) 4 ) 5 ) 6 ) 7 ) 8 ) 9 ) I n t r o d u c t i o n R e s e a r c h D e s i g n R e s e a r c h Q u e s t i o n H y p o t h e s i s D e s c r i p t i o n s T h r e a t s t o I n t e r n a l a n d E x t e r n a l V a l i d i t y S a m p l i n g P r o c e d u r e s P o p u l a t i o n D e m o g r a p h i c s S a m p l e D e m o g r a p h i c s I n s t r u m e n t a t i o n 1 0 ) I n t e r - R a t e r R e l i a b i l i t y F r o m t h e f o l l o w i n g d i s c u s s i o n o f m e t h o d o l o g y a n d d e m o g r a p h i c s , a n i n t e r e s t i n g a n d u n i q u e s t o r y e m e r g e s . I t i s t h e s t o r y o f h o w a I p u r s u e d a n a n s w e r t o t h e q u e s t i o n “ W h a t a r e t e a c h e r s l e a r n i n g f r o m N a t i o n a l B o a r d c e r t i fi c a t i o n ? ” I t i s t h e s t o r y o f m o r e t h a n 1 2 0 s e c o n d a r y s c i e n c e t e a c h e r s a n d t h e i r e x p e r i e n c e s . I t i s t h e s t o r y o f u n a n t i c i p a t e d ( b u t n o t u n e x p e c t e d ) p r o b l e m s a n d h o w t h e y w e r e d e a l t w i t h i n a r e s e a r c h p r o j e c t o f 3 0 f a i r l y g r e a t c o m p l e x i t y . I t i s a s t o r y t h a t m u s t b e t o l d i n o r d e r t o a p p r e c i a t e t h e s t r e n g t h s a n d w e a k n e s s e s o f t h e fi n d i n g s a n d c o n c l u s i o n s t h a t f o l l o w . I n t r o d u c t i o n T h e v a l i d i t y o f a n y c l a i m s o r c o n c l u s i o n s e m e r g i n g f r o m t h i s r e s e a r c h p r o j e c t i s c o n t i n g e n t u p o n t h e d e g r e e o f a c c u r a c y o f s e v e r a l k e y a s s u m p t i o n s . I n t h i s c h a p t e r , t w o o f t h e s e a s s u m p t i o n s w i l l b e e x a m i n e d . T h e fi r s t a s s u m p t i o n p e r t a i n s t o t h e h o m o g e n e i t y o f t h e t e a c h e r s f r o m o n e y e a r t o t h e n e x t . T h e R e c u r r e n t I n s t i t u t i o n a l C y c l e D e s i g n ( R I C D ) a s s u m e s t h e t h r e e c o h o r t s b e i n g c o m p a r e d ( 2 0 0 1 , 2 0 0 2 , a n d 2 0 0 3 ) a r e h o m o g e n e o u s . I f e a c h c o h o r t i s d e r i v e d f r o m t h e s a m e p o p u l a t i o n e a c h y e a r , a n d t h a t p o p u l a t i o n d o e s n o t c h a n g e w i t h r e g a r d s t o k e y d e m o g r a p h i c c h a r a c t e r i s t i c s i n t h e i r p r o fi l e , t h e n t h e c a u s a l e f f e c t a g e n t c a n m o r e c l e a r l y b e i d e n t i fi e d a s t h e i n t e r v e n t i o n . F o r e x a m p l e , i f 6 5 % o f t h e p o p u l a t i o n p o o l w e r e f e m a l e i n o n e y e a r , i t w o u l d b e i m p o r t a n t t h a t o t h e r y e a r s i n t h e s t u d y n o t v a r y s i g n i fi c a n t l y f r o m 6 5 % . A n y i d e n t i fi e d d i f f e r e n c e s b e t w e e n c o h o r t s w o u l d n e e d t o b e e x p l a i n e d a n d t a k e n i n t o c o n s i d e r a t i o n a s p o s s i b l e c o n f o u n d i n g v a r i a b l e s . I n a d d i t i o n , t h e h o m o g e n e i t y a s s u m p t i o n m u s t a l s o p e r t a i n t o t h e r e l a t i o n s h i p b e t w e e n a p a r e n t c o h o r t p o p u l a t i o n a n d t h e s e l e c t e d s a m p l e f o r e a c h o f t h e t h r e e y e a r s t e s t e d . T h e s e c o n d i m p o r t a n t a s s u m p t i o n c o n c e r n s t h e a c c u r a c y a n d p r e c i s i o n o f t h e a s s e s s m e n t i n s t r u m e n t s u s e d a n d t h e m e a n s b y w h i c h i n t e r v i e w s a r e c o n v e r t e d i n t o S c o r e s . I f t h e p r o t o c o l s u s e d t o i n t e r v i e w c a n d i d a t e s d o n o t a c c u r a t e l y m e a s u r e t h e S p e c i fi e d c o n s t r u c t ( t h e s t a n d a r d s o f a c c o m p l i s h e d s e c o n d a r y s c i e n c e t e a c h i n g a s d e fi n e d b y t h e N a t i o n a l B o a r d ) , t h e n t h e r e l i a b i l i t y o f t h e r e s u l t s w o u l d b e c a l l e d i n t o q u e s t i o n . T h e d e g r e e t o w h i c h t h e p r o t o c o l s a r e i n a l i g n m e n t w i t h t h e s t a n d a r d s a d d r e s s e s t h e 3 1 a c c u r a c y o f t h e r e s u l t s . A c c u r a c y ( h o w c l o s e o n e i s t o t h e t r u e s i t u a t i o n ) i s a d d r e s s e d w i t h t h e q u a l i t y o f t h e p r o t o c o l s u s e d , b u t p r e c i s i o n i s a n i s s u e t h a t f a l l s u n d e r t h e m e t h o d o l o g y a n d r u b r i c s f o r s c o r i n g . T h e i n t e r v i e w s m a y v e r y a c c u r a t e l y a d d r e s s k n o w l e d g e , e x p e r i e n c e , a n d s k i l l s w i t h i n t h e f r a m e w o r k o f t h e 1 3 s t a n d a r d s o f a c c o m p l i s h e d t e a c h i n g , b u t w i t h o u t a p r e c i s e m e a n s o f e v a l u a t i n g a n d s c o r i n g t h e d a t a , p o t e n t i a l d i f f e r e n c e s c o u l d g e t l o s t i n t h e n o i s e a n d c o n f u s i o n . T h e r e f o r e , a f a i r m e a s u r e o f a g r e e m e n t i s r e q u i r e d b e t w e e n w h a t t h e p r e p o n d e r a n c e o f e v i d e n c e i n a t r a n s c r i p t i n d i c a t e s a n d w h a t a s s e s s o r s r e p o r t . T h i s a g r e e m e n t c a n b e e x p r e s s e d i n t e r m s o f i n t e r - r a t e r r e l i a b i l i t y . T h e f o c u s o f C h a p t e r 2 w i l l b e a d i s c u s s i o n t h a t a s s e s s e s t h e s e t w o k e y a s s u m p t i o n s a n d c l a r i fi e s t h e s t r e n g t h s , w e a k n e s s e s , a n d i m p l i c a t i o n s o f e a c h o n t h e q u a l i t y o f t h e fi n a l c o n c l u s i o n s . R e s e a r c h D e s i g n T h e m e t h o d o l o g y f o r m e a s u r i n g t e a c h e r - l e a r n i n g o u t c o m e s t h a t r e s u l t f r o m a s p e c i fi e d t r e a t m e n t r e q u i r e s a n e x p e r i m e n t a l d e s i g n . T h e a i m o f s u c h r e s e a r c h i s t o d e m o n s t r a t e c a u s a l i t y b e t w e e n t h e c e r t i fi c a t i o n p r o c e s s ( i n d e p e n d e n t ) a n d t e a c h e r l e a r n i n g ( t h e d e p e n d e n t v a r i a b l e ) . C r u c i a l t o s u c h a d e s i g n i s t h e r a n d o m s e l e c t i o n o f s u b j e c t s a n d t h e i r r a n d o m a s s i g n m e n t s t o t r e a t m e n t s . H o w e v e r , p o t e n t i a l l e a r n i n g f r o m N a t i o n a l B o a r d c e r t i fi c a t i o n b e g i n s w i t h a s e l f - s e l e c t e d p o p u l a t i o n p o o l m a k i n g a p u r e l y e X p e r i m e n t a l a p p r o a c h n o t f e a s i b l e d u e t o c o n s i d e r a b l e t h r e a t s t o i n t e r n a l v a l i d i t y ( C a m p b e l l & S t a n l e y , 1 9 6 3 , C o o k & C a m p b e l l , 1 9 7 9 ) . I n r e s p o n s e , t h i s s t u d y a d o p t s a Q u a s i - e x p e r i m e n t a l d e s i g n t h a t a c c o u n t s f o r t h e v o l u n t a r y s e l f - s e l e c t e d n a t u r e o f t h e S u b j e c t s ’ p a r t i c i p a t i o n . I t i s c a l l e d t h e R e c u r r e n t I n s t i t u t i o n a l C y c l e D e s i g n ( R I C D ) a n d i t C o n t r o l s ( t o t h e e x t e n t p o s s i b l e ) f o r n o n - r a n d o m t h r e a t s t o i n t e r n a l v a l i d i t y ( C a m p b e l l & 3 2 r e s p e c t i v e l y . S t a n l e y , 1 9 6 3 ) w h i l e p r o v i d i n g a m e a n s o f e s t a b l i s h i n g s o m e d e g r e e o f c a u s a l i t y b e t w e e n t h e t r e a t m e n t a n d o b s e r v e d r e s u l t s . T h e R I C D h a s b e e n u s e d f o r t r e a t m e n t s t h a t r e c u r o n a c y c l i c a l s c h e d u l e w h e r e o n e g r o u p o f i n d i v i d u a l s i s fi n i s h i n g a n d a n o t h e r g r o u p i s j u s t b e g i n n i n g ( C a m p b e l l & M c C o r m i c k , 1 9 5 7 ; S h a v e l s o n , 1 9 8 7 ; J i m e n e z , 1 9 9 9 ) . B y c o m b i n i n g b o t h c r o s s - s e c t i o n a l a n d l o n g i t u d i n a l c o m p o n e n t s i n t o t h e r e s e a r c h d e s i g n , d a t a c a n b e c o m p a r e d i n b o t h t h e w i t h i n g r o u p a n d b e t w e e n g r o u p s d i m e n s i o n s . N u m e r o u s s t u d i e s i n t h e s o c i a l a n d m e d i c a l s c i e n c e s h a v e u s e d s o m e v a r i a t i o n o f t h e R I C D t o a d d r e s s q u e s t i o n s p e r t a i n i n g t o p r o g r a m e f f e c t i v e n e s s . I n p a r t i c u l a r , t h e R I C D h a s b e e n u s e d t o d e t e r m i n e t h e e f f e c t s o f a n i n t e r v e n t i o n o n l e a d e r s h i p d e v e l o p m e n t ( L a f f e r t y , 1 9 9 8 ) a n d e m p l o y m e n t ( L i n , 1 9 9 9 ) . H o w e v e r , t h i s s t u d y m a r k s t h e fi r s t t i m e i t h a s b e e n u s e d t o e x a m i n e t e a c h e r l e a r n i n g f r o m p r o f e s s i o n a l d e v e l o p m e n t . A p p l y i n g t h e R I C D t o i n v e s t i g a t e t h e q u e s t i o n ; “ W h a t a r e t e a c h e r s l e a r n i n g f r o m N a t i o n a l B o a r d c e r t i fi c a t i o n ? ” p r o v i d e d n u m e r o u s a d v a n t a g e s w i t h a c c e p t a b l e l i m i t a t i o n s a p p r o p r i a t e f o r a s t u d y o f t h i s s c o p e a n d m a g n i t u d e . T h e m o d e l i s d i a g r a m e d i n F i g u r e 2 - 1 w h e r e X i s t h e c y c l i c a l t r e a t m e n t ( N B P T S c e r t i fi c a t i o n ) , 0 i s t h e c o l l e c t i o n o f d a t a ( i n t e r v i e w s ) , a n d R i s r a n d o m a s s i g n m e n t . A s F i g u r e 2 - 1 i l l u s t r a t e s , R I C D a l l o w e d f o r d a t a r e l e v a n t t o t e a c h e r l e a r n i n g t o b e c o l l e c t e d b o t h c r o s s s e c t i o n a l f r o m d i f f e r e n t g r o u p s s i m u l t a n e o u s l y a n d l o n g i t u d i n a l f r o m t h e s a m e g r o u p o v e r t i m e ( C a m p b e l l & S t a n l e y , 1 9 6 3 ) . T i m e i s m e a s u r e d a l o n g t h e x - a x i s a n d g r o u p s o f s u b j e c t s a r e a l o n g t h e y - a x i s . G r o u p 1 , G r o u p 2 , a n d G r o u p 3 w e r e s e l e c t e d f r o m c o h o r t s 2 0 0 2 , 2 0 0 3 , a n d 2 0 0 4 3 3 F i g u r e 2 - 1 : D e s i g n M o d e l G r o u p l X - ) O . G r o u p 2 A R 0 2 - ) X 9 0 3 G r o u p 2 3 R X - ) 0 4 G r o u p 3 0 5 - ) X X — I n t e r v e n t i o n O — T h e c o l l e c t i o n o f f r o m I n t e r v i e w O v e r a p e r i o d o f n e a r l y 1 5 m o n t h s ( S e p t e m b e r 2 0 0 2 t h r o u g h N o v e m b e r 2 0 0 3 ) , d a t a w a s c o l l e c t e d f r o m t h r e e s e l e c t e d g r o u p s s a m p l e d f r o m t h r e e c o n s e c u t i v e c o h o r t s o f A Y A S c i e n c e c a n d i d a t e s a s i l l u s t r a t e d i n F i g u r e 2 - 2 . T h e d e s i g n a l l o w s f o r t h e c o m p a r i s o n o f t h e p r e a n d p o s t m e a s u r e s b e t w e e n g r o u p s ( c r o s s s e c t i o n a l ) a n d w i t h i n g r o u p s ( l o n g i t u d i n a l ) . B y i d e n t i f y i n g p r e t o p o s t g a i n s c o r e s , t h e r e s e a r c h d e s i g n p r o v i d e s a n a b i l i t y t o e s t a b l i s h a r e l a t i o n s h i p b e t w e e n t h e d e fi n e d i n t e r v e n t i o n a n d a n y o f t h e s p e c i fi e d l e a r n i n g o u t c o m e s . O n e o f t h e a d v a n t a g e s o f t h i s p a r t i c u l a r d e s i g n i s t h a t t h e e f f e c t o f t h e t r e a t m e n t c a n b e d e m o n s t r a t e d b y m o r e t h a n o n e c o m p a r i s o n . T h e e s t a b l i s h m e n t o f c a u s a l i t y b e t w e e n t e a c h e r l e a r n i n g a n d N a t i o n a l B o a r d c e r t i fi c a t i o n d o e s c o m e w i t h s o m e r e s t r i c t i o n s . T h e l i m i t a t i o n s m a n i f e s t t h e m s e l v e s m o s t l y i n t h e e x t e r n a l v a l i d i t y c o m p o n e n t s o f r e s e a r c h . G e n e r a l i z a t i o n s o f o u t c o m e s w o u l d b e l i m i t e d t o o n l y t h o s e i n d i v i d u a l t e a c h e r s p u r s u i n g t h e c u r r e n t v e r s i o n o f c e r t i fi c a t i o n i n A Y A S c i e n c e a n d n o t t o a l l s c i e n c e t e a c h e r s o r c e r t i fi c a t e s ( C a m p b e l l & S t a n l e y , 1 9 6 3 ) . 3 4 F i g u r e 2 - 2 : O v e r v i e w o f D a t a C o l l e c t i o n a c c o r d i n g t o S t u d y D e s i g n D a t a C o l l e c t e d D a t a C o l l e c t e d D a t a C o l l e c t e d D a t a C o l l e c t e d a t C o n c l u s i o n a t B e g i n n i n g o f a t C o n c l u s i o n a t B e g i n n i n g o f o f I n t e r v e n t i o n I n t e r v e n t i o n o f I n t e r v e n t i o n I n t e r v e n t i o n D a t a N B C C l a s s 2 0 0 1 _ 2 0 0 2 C o l l e c t e d a t ( C o h o r t l ) ' C o n c l u s i o n o f ' I n t e r v e n t i o n F a l l 2 0 0 2 ' 0 1 D a t a D a t a N B C C l a s s C o l l e c t e d a t C o l l e c t e d a t 2 0 0 2 - 2 0 0 3 B e g i n n i n g o f C o n c l u s i o n o f I n t e r v e n t i o n I n t e r v e n t i o n ( C O h o r t 2 A ) F a l l ‘ 0 2 - S u m m e r ’ 0 3 W i n t e r ‘ 0 3 0 3 0 2 D a t a C o l l e c t e d a t C o n c l u s i o n o f N B C C l a s s I n t e r v e n t i o n 2 0 0 2 - 2 0 0 3 S u m m e r ’ 0 3 ( C o h o r t 2 B ) 0 4 N B C C l a s s D a t a C o l l e c t e d a t B e g i n n i n g o f 2 0 0 3 - 2 0 0 4 I n t e r v e n t i o n 0 . 5 3 5 Q u a s i - e x p e r i m e n t a l r e s e a r c h d e s i g n s a r e p r o n e t o a t t a c k s o n t h e i r i n t e r n a l v a l i d i t y f r o m a n u m b e r o f s o u r c e s ( i . e . , h i s t o r y , m a t u r a t i o n , t e s t i n g , i n s t r u m e n t a t i o n , r e g r e s s i o n , s e l e c t i o n , m o r t a l i t y , a n d o t h e r s ) . T h o u g h n o d e s i g n i s p e r f e c t , t h e R I C D p u t s m e a s u r e s i n p l a c e t h a t a d d r e s s t h e m o s t l i k e l y a n d p o t e n t i a l l y d e v a s t a t i n g v u l n e r a b i l i t i e s ( C a m p b e l l & S t a n l e y , 1 9 6 3 , M e r r i a m , & E d w i n , 1 9 9 5 ; C o o k , 1 9 7 9 ) . T h e R I C D w a s c h o s e n a s t h e m e t h o d o f a n s w e r i n g t h e r e s e a r c h q u e s t i o n f o r s e v e r a l k e y r e a s o n s . F i r s t , t h e R I C D a l l o w s f o r t h e p r e - p o s t c o m p a r i s o n o f m u l t i p l e c o h o r t s o f i n d i v i d u a l s a l l e x p e r i e n c i n g t h e s a m e i n t e r v e n t i o n , b u t a t d i f f e r e n t t i m e s . T h i s q u a n t i t a t i v e s t r a t e g y r e q u i r e s t h e c o l l e c t i o n o f a r e l a t i v e l y l a r g e a m o u n t o f d a t a i n o r d e r t o m a k e s t a t i s t i c a l l y m e a n i n g f u l c o m p a r i s o n s . W i t h a r o u n d 6 0 0 t e a c h e r s o n a v e r a g e p u r s u i n g A Y A S c i e n c e c e r t i fi c a t i o n i n a n y o n e y e a r , a g o o d p o p u l a t i o n f r o m w h i c h t o s e l e c t a s a m p l e w a s a v a i l a b l e . S e c o n d l y , t h e R I C D i s c o s t e f f e c t i v e . I d e a l l y , t h e b e s t m e t h o d o l o g y f o r a n s w e r i n g t h e r e s e a r c h q u e s t i o n w o u l d b e t o c o l l e c t d a t a o n t h r e e c o n s e c u t i v e C o h o r t s o f c a n d i d a t e s ( i . e . p r e - p o s t f o r 2 0 0 2 , 2 0 0 3 , a n d 2 0 0 4 ) u s i n g a S o l o m o n 4 G r o u p D e s i g n . H o w e v e r , t o i m p l e m e n t s u c h a d e s i g n w o u l d r e q u i r e m o r e t h a n d o u b l i n g t h e t i m e f o r d a t a c o l l e c t i o n o v e r t h e c u r r e n t d e s i g n a n d m o r e t h a n t r i p l i n g t h e c o s t f o r s u c h r e s e a r c h . L i f e b e i n g s h o r t , t h e R I C D a l l o w s f o r t h e c o l l e c t i o n o f n e a r l y 3 y e a r s o f d a t a i n o n l y 2 y e a r s a t a m u c h l o w e r p r i c e t a g . T h e c o m p r o m i s e f o r s u c h e f f i c i e n c y i s a g r e a t e r u n c e r t a i n t y i n c o m p a r i n g r e s u l t s f r o m b e t w e e n y e a r s . H o w e v e r , t h i s u n c e r t a i n t y c a n b e a d d r e s s e d a n d r e d u c e d b y e x a m i n i n g t h e d e m o g r a p h i c c h a r a c t e r i s t i c s a n d e s t a b l i s h i n g t h e d e g r e e o f r e p r e s e n t a t i o n b e t w e e n t h e s e l e c t e d s a m p l e s a n d t h e i r r e s p e c t i v e p a r e n t p o p u l a t i o n s . I f s i g n i fi c a n t d i f f e r e n c e s i n m e a s u r e d c h a r a c t e r i s t i c s a r e i d e n t i fi e d b e t w e e n c o h o r t s , t h e s e 3 6 d i f f e r e n c e s c a n b e a d d r e s s e d a s p o s s i b l e c o n f o u n d i n g v a r i a b l e s b a s e d u p o n t h e i r t h e o r e t i c a l s i g n i fi c a n c e t o t h e p h e n o m e n o n b e i n g e x a m i n e d . F o r e x a m p l e , i f t h e a v e r a g e n u m b e r o f y e a r s o f e x p e r i e n c e f o r a l l t h r e e c o h o r t s i s 1 2 . 5 a n d o n e g r o u p i s s i g n i fi c a n t l y d i f f e r e n t f r o m t h e a v e r a g e w i t h 1 6 . 4 y e a r s o f e x p e r i e n c e , t h e n t h e i s s u e b e c o m e s o n e o f d e t e r m i n i n g i f 4 a d d i t i o n a l y e a r s o f e x p e r i e n c e d i n a f a i r l y e x p e r i e n c e d p o p u l a t i o n c o u l d e x p l a i n a n y e f f e c t s o f t r e a t m e n t o b s e r v e d . F i n a l l y , t h e R I C D ’ s ‘ p a t c h e d u p ’ a s p e c t a l l o w s f o r b u i l t i n c o n t r o l m e a s u r e s t h a t s t r e n g t h e n i n t e r n a l v a l i d i t y . S i n c e t h e O n e G r o u p P r e t e s t - P o s t t e s t D e s i g n i s s o w e a k ( i . e . o n l y G r o u p 2 A ) , a d d i t i o n a l c o m p o n e n t s h a v e b e e n a d d e d t o i m p r o v e t h e v a l i d i t y o f t h e r e s u l t s . I f o b s e r v a t i o n s 1 a n d 2 a r e e x a m i n e d i n i s o l a t i o n , t h e r e s u l t i n g d e s i g n c a n b e c a l l e d a S t a t i c - G r o u p C o m p a r i s o n . I n t h i s c o m p a r i s o n d e s i g n , t w o d i s t i n c t g r o u p s a r e o b s e r v e d . O b s e r v a t i o n 1 l o o k s a t a g r o u p t h a t j u s t c o m p l e t e d t h e t r e a t m e n t a n d O b s e r v a t i o n 2 l o o k s a t a g r o u p t h a t d i d n o t y e t e x p e r i e n c e t h e i n t e r v e n t i o n . H o w e v e r , t h e t i m i n g o f t h e s e o b s e r v a t i o n s i s s i m u l t a n e o u s . I n t h i s d e s i g n , h i s t o r y , t e s t i n g , i n s t r u m e n t a t i o n , a n d r e g r e s s i o n a r e e a c h c o n t r o l l e d f o r a s p o s s i b l e c o n f o u n d i n g v a r i a b l e s , b u t s e l e c t i o n a n d m o r t a l i t y a r e n o t . T h u s , t h e S t a t i c G r o u p C o m p a r i s o n c o m p l e m e n t s t h e O n e G r o u p P r e t e s t - P o s t t e s t D e s i g n w e l l . C a m p b e l l a n d S t a n l e y ( 1 9 6 3 ) s t a t e t h i s r e l a t i o n s h i p a s “ t h e r i g h t c o m b i n a t i o n o f t h e s e t w o i n a d e q u a t e a r g u m e n t s m i g h t h a v e c o n s i d e r a b l e s t r e n g t h . ” I t i s t h i s ‘ p a t c h e d u p ’ a p p r o a c h t o t h e m e t h o d o l o g y t h a t p r o v i d e s f o r a r e a s o n a b l e m e a s u r e o f i n t e r n a l v a l i d i t y o n a l l t h r e a t s e x c e p t m a t u r a t i o n , w h i c h w i l l b e d i s c u s s e d l a t e r . T o a c c o u n t f o r t h e p o s s i b l e t e s t - r e t e s t e f f e c t , C o h o r t 2 w a s d i v i d e d i n t o t w o g r o u p s . G r o u p 2 A w a s i n t e r v i e w e d b o t h p r e ( G r o u p 2 A - P r e ) a n d p o s t ( G r o u p 2 A - P o s t ) 3 7 i n t e r v e n t i o n . W h i l e t h e s e c o n d h a l f o f C o h o r t 2 w a s o n l y i n t e r v i e w e d p o s t i n t e r v e n t i o n ( G r o u p 2 B ) . T h i s s t r a t e g y a l l o w s f o r a n y e f f e c t s o f o b s e r v a t i o n ( s o m e t i m e s c a l l e d t h e H a w t h o r n e E f f e c t ) t o b e i d e n t i fi e d . I n o t h e r w o r d s , c o m p a r i n g G r o u p 2 A - P o s t a n d G r o u p 2 B a l l o w s f o r t h e e x p e r i e n c e o f b e i n g i n t e r v i e w e d b e f o r e t h e i n t e r v e n t i o n t o b e t a k e n i n t o c o n s i d e r a t i o n a s a p o s s i b l e c a u s e f o r o b s e r v e d c h a n g e s . D i d I a l t e r t h e p h e n o m e n o n I a m t r y i n g t o s t u d y t h r o u g h t h e a c t o f c o l l e c t i n g d a t a ? G r o u p 2 B i s d e s i g n e d t o a d d r e s s t h i s q u e s t i o n b y p r o v i d i n g a c o n t r o l t o G r o u p 2 A . S i n c e t h e s c h e d u l i n g o f t h e i n t e r v e n t i o n i s s u c h t h a t p o s t d a t a f o r o n e g r o u p a n d p r e d a t a f o r a n o t h e r g r o u p c a n b e c o l l e c t e d s i m u l t a n e o u s l y , G r o u p 3 i s a d d e d w i t h o u t t o o m u c h a d d i t i o n a l e x p e n s e . G r o u p 3 s e r v e s a s a r e d u n d a n t p r e m e a s u r e t h a t c a n b e u s e d t o u n d e r s t a n d G r o u p 2 A - P r e s c o r e s . F o r a l l i t s ‘ p a t c h e d u p ’ c h a r a c t e r i s t i c s t h e fi n a l m e t h o d o l o g y f o r t h i s s t u d y p r o v e s t o b e q u i t e e l e g a n t a n d fi n a n c i a l l y f e a s i b l e f o r a q u a s i - e x p e r i m e n t a l d e s i g n . T h e R I C D s t i l l r e l i e s o n t h e b a s i c h y p o t h e s i s t h a t t h e s p e c i fi e d i n t e r v e n t i o n w i l l r e s u l t i n i m p r o v e d o r i n c r e a s e d r e s p o n s e c o n c e r n i n g t h e p a r t i c u l a r c h a r a c t e r i s t i c ( s ) b e i n g m e a s u r e d . I n t h e c a s e o f t h i s s t u d y , c a n d i d a t e s f o r N a t i o n a l B o a r d c e r t i fi c a t i o n w i l l i m p r o v e d i n t h e i r u n d e r s t a n d i n g o f a c c o m p l i s h e d t e a c h i n g ( a s m e a s u r e d b y t h e N a t i o n a l B o a r d ’ s r u b r i c s a n d s c o r i n g m e t h o d o l o g i e s ) a s d e s c r i b e d b y t h e A Y A S c i e n c e c e r t i fi c a t e ’ s t h i r t e e n s t a n d a r d s . P u t m o r e s i m p l y , g a i n s a t t r i b u t a b l e t o t h e t r e a t m e n t c a n b e o b s e r v e d b y c o m p a r i n g t h e p r e o b s e r v a t i o n s w i t h t h e p o s t o b s e r v a t i o n s i n t h i s s t u d y . F i g u r e 2 - 3 i l l u s t r a t e s t h e b a s i c m o d e l t o b e t e s t e d w i t h t h i s r e s e a r c h d e s i g n . T h e f o l l o w i n g d i s c u s s i o n p r o v i d e s d e t a i l e d e x p l a n a t i o n s o f p a r t i c u l a r h y p o t h e s e s a n d t h e s p e c i fi c o b s e r v a t i o n s u s e d t o t e s t e a c h h y p o t h e s i s . 3 8 F i g u r e 2 - 3 : O v e r v i e w o f E x p e c t e d M o d e l f o r R e s e a r c h S c i e n c e T e a c h e r P r e - I n t e r v e n t i o n u n d e r s t a n d i n g o f s c i e n c e t e a c h i n g a s m e a s u r e d b y t h e N B P T S C e r t i fi c a t i o n P r o c e s s S c i e n c e T e a c h e r P o s t - I n t e r v e n t i o n u n d e r s t a n d i n g o f s c i e n c e t e a c h i n g a s m e a s u r e d b y t h e N B P T S . H y p o t h e s e s T h e e f f e c t o f t h e t r e a t m e n t i s d e m o n s t r a t e d i n e a c h o f t h e t h r e e d i f f e r e n t c a t e g o r i e s o f h y p o t h e s i z e d r e l a t i o n s h i p s : N o n - E q u i v a l e n t , E q u i v a l e n t , a n d C o m b i n e d . T h e fi r s t s e t o f h y p o t h e s e s ( N o n - E q u i v a l e n t H y p o t h e s e s ) e x a m i n e s a l l p o s s i b l e p r e t e s t - p o s t t e s t c o m p a r i s o n s b o t h w i t h i n a n d a c r o s s t h e t h r e e c o h o r t s . I n e a c h o f t h e s i x h y p o t h e s e s , i t i s p r e d i c t e d t h a t t h e p o s t m e a s u r e w i l l b e g r e a t e r t h a n t h e p r e - t r e a t m e n t m e a s u r e s . I f t h e a l t e r n a t i v e h y p o t h e s e s f o r t h e s e r e l a t i o n s h i p s e x i s t s ( t h a t p o s t - s c o r e s a r e h i g h e r t h a n p r e — s c o r e s ) t h a n t h e a r g u m e n t f o r t h e c a u s a l e f f e c t o f t h e t r e a t m e n t i s s t r e n g t h e n e d . T h e N o n - E q u i v a l e n t H y p o t h e s e s a r e i l l u s t r a t e d i n F i g u r e 2 - 4 . 3 9 c o l l e c t e d . F i g u r e 2 - 4 : N o n - E q u i v a l e n c e H y p o t h e s e s N B C C l a s s 2 0 0 1 - 2 0 0 2 ( G r o u p 1 ) N B C C l a s s 2 0 0 2 - 2 0 0 3 ( G r o u p 2 A ) N B C C l a s s 2 0 0 2 - 2 0 0 3 ( G r o u p 2 B ) N B C C l a s s 2 0 0 3 - 2 0 0 4 ( G r o u p 3 ) D a t a C o l l e c t e d a t C o n c l u s i o n o f I n t e r v e n t i o n , D a t a C o l l e c t e d a t B e g i n n i n g o f ' I n t e r v e n t i o n D a t a C o l l e c t e d D a t a C o l l e c t e d _ a t C o n c l u s i o n ' a t B e g i n n i n g o f o f I n t e r v e n t i o n I n t e r v e n t i o n D a t a C o l l e c t e d a t C o n c l u s i o n o f I n t e r v e n t i o n F a l l 2 0 0 2 H 6 D a t a C o l l e c t e d a t C o n c l u s i o n H 4 ‘ o f I n t e r v e n t i o n ‘ _ _ . S u m m e r ‘ 0 3 D a t a C o l l e c t e d a t C o n c l u s i o n H 2 o f I n t e r v e n t i o n S u m m e r ‘ 0 3 T h e s e c o n d s e t o f h y p o t h e s e s ( E q u i v a l e n t H y p o t h e s e s ) p r e d i c t s t h a t o b s e r v e d s c o r e s f r o m p r e - g r o u p s s h o u l d n o t b e s i g n i fi c a n t l y d i f f e r e n t f r o m o b s e r v e d s c o r e s f r o m o t h e r p r e - g r o u p s a n d t h a t p o s t - g r o u p s s h o u l d n o t b e s i g n i fi c a n t l y d i f f e r e n t f r o m o t h e r p o s t - g r o u p o b s e r v a t i o n s . T h e E q u i v a l e n t H y p o t h e s e s a r e i l l u s t r a t e d i n F i g u r e 2 - 5 . T o g e t h e r , b o t h t h e N o n - E q u i v a l e n t a n d E q u i v a l e n t s e t s o f h y p o t h e s e s a r e d e s i g n e d t o t e s t a c a u s a l r e l a t i o n s h i p b e t w e e n t h e s p e c i fi e d t r e a t m e n t a n d o b s e r v e d o u t c o m e s b y p r o v i d i n g a n i n d i c a t i o n o f t h e v a l i d i t y o f t h e m e t h o d o l o g y a n d t h e q u a l i t y o f t h e d a t a 4 0 C o m b i n e d H y p o t h e s i s a t t e m p t s t o i d e n t i f y o b s e r v e d g a i n s . F i g u r e 2 - 5 : E q u i v a l e n c e H y p o t h e s e s D a t a C o l l e c t e d D a t a C o l l e c t e d a t C o n c l u s i o n a t C o n c l u s i o n o f I n t e r v e n t i o n o f I n t e r v e n t i o n N B C C l a s s D a t a C o l l e c t e d a t C o n c l u s r o n 2 0 0 1 4 0 0 2 o f I n t e r v e n t i o n < ( G m ? 1 ) F a l l 2 0 0 2 , . . . . j “ 3 " ? 3 D a t a C o l l e c t e d N B C C h “ , 5 , ” ’ ' i ‘ i a t C o n c l u s i o n 2 0 0 2 4 0 0 3 ‘ 9 1 “ ; ‘ _ _ j ‘ , o f I n t e r v e n t i o n ( G r o u p 2 A ) W m _ _ . _ . , S u m m e r ‘ 0 3 N B C C l a s s 2 0 0 2 - 2 0 0 3 H 1 0 D a t a C o l l e c t e d ( G r o u p 2 3 ) a t C o n c l u s i o n o f I n t e r v e n t i o n S u m m e r ‘ 0 3 N B C C l a s s 2 0 0 3 - 2 0 0 4 H 8 ( G r o u p 3 ) I n t h e C o m b i n e d H y p o t h e s i s , a l l t h r e e c o h o r t s a r e c o n s i d e r e d s i m u l t a n e o u s l y a s i l l u s t r a t e d i n F i g u r e 2 - 6 . I n m a n y r e s p e c t s , t h e C o m b i n e d H y p o t h e s i s p r o v i d e s t h e m e a n s f o r a n s w e r i n g t h e r e s e a r c h q u e s t i o n . T h e C o m b i n e d H y p o t h e s i s c o m p a r e s f o u r o u t o f fi v e o b s e r v a t i o n p o i n t s , u s i n g d a t a f r o m a l l p r e a n d p o s t t e a c h e r s i n v o l v e d i n t h e s t u d y . W h e r e H y p o t h e s e s 1 - 1 0 e a c h i n d i c a t e s a r e a s w h e r e t h e d e s i g n m a y b e s t r o n g o r w e a k , t h e 4 1 F i g u r e 2 - 6 : C o m b i n e d H y p o t h e s i s D a t a C o l l e c t e d D a t a C o l l e c t e d ' D a t a C o l l e c t e d D a t a C o l l e c t e d : a t C o n c l u s i o n A a t B e g i n n i n g o f ; a t C o n c l u s i o n a t B e g i n n i n g o f o f I n t e r v e n t i o n I n t e r v e n t i o n o f I n t e r v e n t i o n I n t e r v e n t i o n . , . . , . ' t 4 , ! ' - . , . . . D a t a C o l l e c t e d a t C o n c l u s i o n o f I n t e r v e n t i o n N B C C l a s s 2 0 0 1 - 2 0 0 2 ( “ M P 1 ) F a l l 2 0 0 2 ( 0 . ) N B C C l a s s D a t a c o l l e c t e d ‘ d t A A : 2 0 0 2 , 2 0 0 3 C o n c l u s i o n o f ‘ ( G r o u p 2 A ) I n t e r v e n t i o n . ‘ S u m m e r ’ 0 3 ( 0 3 ) 2 N B C C l a s s D a t a C o l l e c t e d a t 2 0 0 2 - 2 0 0 3 H 1 1 C o n c l u s i o n o f ( G r o u p Z B ) I n t e r v e n t i o n S u m m e r ’ 0 3 ( 0 4 ) N B C C l a s s 2 0 0 3 - 2 0 0 4 ( G r o u p 3 ) F o r e a c h o f t h e 1 1 a l t e r n a t i v e h y p o t h e s e s a n d c o r r e s p o n d i n g n u l l h y p o t h e s e s , a d e t a i l e d d e s c r i p t i o n i s p r o v i d e d b e l o w . D u e t o t h e c o m p l e x i t y o f t h e d e s i g n a n d o b s e r v a t i o n c o m p a r i s o n s , T a b l e 2 - 1 p r o v i d e s a s u m m a r y o f t h e d i f f e r e n t d e s i g n a t i o n s f o r e a c h d a t a s e t o r o b s e r v a t i o n p o i n t . 4 2 T a b l e 2 - 1 : G r o u p a n d O b s e r v a t i o n D e s i g n a t i o n s C o h o r t Y e a r P r e o r P o s t S h o r t h a n d O b s e r v a t i o n G r o u p 1 2 0 0 2 P o s t G 1 0 1 G r o u p 2 A - P r e P r e G 2 A - P r e 0 2 G r o u p 2 A - P o s t 2 0 0 3 P o s t G Z A - P o s t 0 3 G r o u p 2 B P o s t G Z B 0 4 G r o u p 3 2 0 0 4 P r e G 3 O S E a c h h y p o t h e s i s ( e x c e p t t h e C o m b i n e d H y p o t h e s i s ) c o m p a r e s t w o o b s e r v a t i o n s p o i n t s . T h e a l t e r n a t i v e h y p o t h e s i s f o r e a c h c o m p a r i s o n p r e d i c t s t h a t d i f f e r e n c e s w i l l b e o b s e r v e d b e t w e e n t h e p o i n t s . E a c h c o r r e s p o n d i n g n u l l h y p o t h e s i s p r e d i c t s t h a t n o d i f f e r e n c e w i l l b e o b s e r v e d b e t w e e n t h e t w o p o i n t s . T h e f o l l o w i n g l i s t o f a l t e r n a t i v e a n d t h e i r r e s p e c t i v e n u l l h y p o t h e s e s i d e n t i fi e s w h i c h o b s e r v a t i o n s p o i n t s a r e i n v o l v e d w i t h e a c h o f t h e e l e v e n c o m p a r i s o n s . T a b l e 2 - 2 p r o v i d e s a s u m m a r y o f a l l e l e v e n h y p o t h e s e s a n d t h e t y p e o f t e s t u s e d t o d e t e r m i n e d i f f e r e n c e . T h e h y p o t h e s e s a r e : ' A l t e r n a t i v e H y p o t h e s i s 1 ( H A m ) - P o s t s c o r e s f r o m p a r t i c i p a n t s i n G r o u p 1 w i l l b e g r e a t e r t h a n p r e s c o r e s f r o m G r o u p 2 A - P r e . ' N u l l H y p o t h e s i s 1 ( H N u u r ) — P o s t s c o r e s f r o m p a r t i c i p a n t s i n G r o u p 1 w i l l n o t b e g r e a t e r t h a n p r e s c o r e s f r o m G r o u p 2 A - P r e . ' A l t e r n a t i v e H y p o t h e s i s 2 ( H A M ) — P o s t s c o r e s f r o m p a r t i c i p a n t s i n G r o u p 1 w i l l b e g r e a t e r t h a n p r e s c o r e s f r o m G r o u p 3 . " N u l l H y p o t h e s i s 2 ( H N u m ) — P o s t s c o r e s f r o m p a r t i c i p a n t s i n G r o u p 1 w i l l n o t b e g r e a t e r t h a n p r e s c o r e s f r o m G r o u p 2 A - P r e . 4 3 A l t e r n a t i v e H y p o t h e s i s 3 ( H A M ) — P o s t s c o r e s f r o m p a r t i c i p a n t s i n G r o u p 2 A - P o s t w i l l b e g r e a t e r w h e n c o m p a r e d w i t h t h e i r p r e s c o r e s i n G r o u p 2 A - P r e . N u l l H y p o t h e s i s 3 ( H u m ) - P o s t s c o r e s f r o m p a r t i c i p a n t s i n G r o u p 2 A - P o s t w i l l n o t b e g r e a t e r w h e n c o m p a r e d w i t h t h e i r p r e s c o r e s i n G r o u p 2 A - P r e . A l t e r n a t i v e H y p o t h e s i s 4 ( H A M ) — P o s t s c o r e s f r o m p a r t i c i p a n t s i n G r o u p 2 A - P o s t w i l l b e s g r e a t e r w h e n c o m p a r e d w i t h t h e p r e s c o r e s i n G r o u p 3 . N u l l H y p o t h e s i s 4 ( H u m ) - P o s t s c o r e s f r o m p a r t i c i p a n t s i n G r o u p 2 A - P o s t w i l l n o t b e g r e a t e r w h e n c o m p a r e d w i t h t h e p r e s c o r e s i n G r o u p 3 . A l t e r n a t i v e H y p o t h e s i s 5 ( H A M ) — P o s t s c o r e s f r o m p a r t i c i p a n t s i n G r o u p 2 B w i l l b e g r e a t e r w h e n c o m p a r e d w i t h t h e p r e s c o r e s i n G r o u p 3 . N u l l H y p o t h e s i s 5 O h m s ) — P o s t s c o r e s f r o m p a r t i c i p a n t s i n G r o u p 2 8 w i l l n o t b e g r e a t e r w h e n c o m p a r e d w i t h t h e p r e s c o r e s i n G r o u p 3 . A l t e r n a t i v e H y p o t h e s i s 6 ( H u m ) — P o s t s c o r e s f r o m p a r t i c i p a n t s i n G r o u p 2 8 w i l l b e g r e a t e r w h e n c o m p a r e d w i t h t h e p r e s c o r e s i n G r o u p 2 A - P r e . N u l l H y p o t h e s i s 6 ( H N u u s ) - P o s t s c o r e s f r o m p a r t i c i p a n t s i n G r o u p Z B w i l l n o t b e g r e a t e r w h e n c o m p a r e d w i t h t h e p r e s c o r e s i n G r o u p 2 A - P r e . A l t e r n a t i v e H y p o t h e s i s 7 ( H A M ) — P o s t s c o r e s i n G r o u p 2 A - P o s t w i l l d i f f e r w h e n c o m p a r e d t o t h e p o s t s c o r e s i n G r o u p 2 8 . N u l l H y p o t h e s i s 7 ( H u m ) - P o s t s c o r e s i n G r o u p 2 A - P o s t w i l l n o t d i f f e r w h e n c o m p a r e d t o t h e p o s t s c o r e s i n G r o u p 2 B . A l t e r n a t i v e H y p o t h e s i s 8 ( H A M ) - — - P r e s c o r e s i n G r o u p 2 A - P r e w i l l d i f f e r w h e n c o m p a r e d t o p r e s c o r e s i n G r o u p 3 . N u l l H y p o t h e s i s 8 ( H N u u s ) — P r e s c o r e s i n G r o u p 2 A - P r e w i l l n o t d i f f e r w h e n c o m p a r e d t o p r e s c o r e s i n G r o u p 3 . A l t e r n a t i v e H y p o t h e s i s 9 ( H A M ) — P o s t s c o r e s i n G r o u p 1 w i l l d i f f e r w h e n c o m p a r e d t o p o s t s c o r e s i n G r o u p 2 A - P o s t . N u l l H y p o t h e s i s 9 ( H u a n g ) - P o s t s c o r e s i n G r o u p 1 w i l l n o t d i f f e r w h e n c o m p a r e d t o p o s t s c o r e s i n G r o u p 2 A - P o s t . A l t e r n a t i v e H y p o t h e s i s 1 0 ( m e o ) — P o s t s c o r e s i n G r o u p 1 w i l l d i f f e r w h e n c o m p a r e d t o p o s t s c o r e s i n G r o u p 2 B . N u l l H y p o t h e s i s 1 0 ( H N u l I I O ) — P o s t s c o r e s i n G r o u p 1 w i l l n o t d i f f e r w h e n c o m p a r e d t o p o s t s c o r e s i n G r o u p Z B . A l t e r n a t i v e C o m b i n e d H y p o t h e s i s ( H m o y ) — P o s t s c o r e s f r o m G r o u p 1 a n d G r o u p 2 B w i l l b e g r e a t e r w h e n c o m p a r e d t o t h e p r e s c o r e s f r o m G r o u p 2 A - P r e a n d G r o u p 3 . N u l l C o m b i n e d H y p o t h e s i s ( H N q u V ) - P o s t s c o r e s f r o m G r o u p 1 a n d G r o u p 2 B w i l l n o t b e g r e a t e r w h e n c o m p a r e d t o t h e p r e s c o r e s f r o m G r o u p 2 A - P o s t a n d G r o u p 3 . 4 5 T a b l e 2 - 2 S u m m a r y o f H y p o t h e s e s A l t . H l 2 3 4 5 6 7 8 9 l 0 C o m b i n e d P r e d i c t e d l > 1 > 2 A - P o s t > 2 A - P o s t > 2 3 > 2 8 > 2 A - P o s t = 2 A - P r e = 2 A - P o s t = 2 B = l + 2 3 > T y p e o f t - T e s t I n d e p e n d e n t l - t a i l e d I n d e p e n d e n t l - t a i l e d D e p e n d e n t l - t a i l e d I n d e p e n d e n t l - t a i l e d I n d e p e n d e n t H a i l e d I n d e p e n d e n t l - t a i l e d I n d e p e n d e n t 2 - t a i l e d I n d e p e n d e n t 2 - t a i l e d I n d e p e n d e n t 2 - t a i l e d I n d e p e n d e n t 2 - t a i l e d l - t a i l e d S h o r t h a n d 0 1 > 0 2 0 1 > 0 5 O 3 > 0 2 O 3 > 0 5 O 4 > 0 5 O 4 > 0 2 0 3 : 0 4 0 2 : 0 5 0 3 : 0 1 0 4 : 0 1 1 4 0 4 > 0 2 + B y o p e r a t i o n a l l y d e fi n i n g ‘ l e a r n i n g ’ w i t h i n t h e c o n t e x t o f t h i s i n v e s t i g a t i o n a s o b s e r v e d p r e t o p o s t g a i n s ( e s p e c i a l l y f o r t h e C o m b i n e d H y p o t h e s i s ) , w i l l a l l o w f o r 3 ) i d e n t i f y i n g e f f e c t s o f i n t e r v e n t i o n o n 1 3 d i m e n s i o n s o f p r a c t i c e , a n d b ) a r i c h a n a l y s i s i n t o w h a t t h e o b s e r v e d ‘ l e a r n i n g ’ m i g h t m e a n . T h e e x p e r i e n c e o f e a c h c a n d i d a t e w i t h t h e i n t e r v e n t i o n o f N a t i o n a l B o a r d c e r t i fi c a t i o n s e r v e s a s t h e i n d e p e n d e n t v a r i a b l e . T h e d e p e n d e n t v a r i a b l e i s r e p r e s e n t e d b y t h e a s s e s s e d s c o r e s o f e a c h c a n d i d a t e i n e a c h o f t h e t h i r t e e n s t a n d a r d s o f a c c o m p l i s h e d s e c o n d a r y s c i e n c e t e a c h i n g e x a m i n e d . I n t e r n a l & E x t e r n a l V a l i d i t y E m b e d d e d i n t h e R I C D a r e o b s e r v a b l e t e s t s t h a t i n s u r e a g o o d m e a s u r e o f b o t h i n t e r n a l a n d e x t e r n a l v a l i d i t y . B e c a u s e o f t h e c r o s s s e c t i o n a l a n d l o n g i t u d i n a l d a t a s t r e a m s , t h e s t u d y p r o v i d e s c o n t r o l m e a s u r e s f o r i n s u r i n g i n t e r n a l v a l i d i t y . F o r e x a m p l e , H a m ( 0 ; > 0 2 ) a n d H a n s ( 0 4 > 0 5 ) b o t h h e l p r u l e o u t H i s t o r y , T e s t i n g , a n d I n s t r u m e n t a t i o n a s p o s s i b l e c a u s e s o f a n y o b s e r v e d d i f f e r e n c e s b e t w e e n t h e s e g r o u p s . T e s t i n g , S e l e c t i o n , a n d M o r t a l i t y a r e a l l e l i m i n a t e d a s c a u s e s o f o b s e r v e d d i f f e r e n c e s b y H 3 1 1 3 ( 0 3 > 0 2 ) a n d H a m , ( 0 4 > 0 2 ) . T h i s d e s i g n u n i f o r m l y f a i l s t o a c c o u n t f o r m a t u r a t i o n a s a t h r e a t t o i n t e r n a l v a l i d i t y ( C a m p b e l l & S t a n l e y , 1 9 6 3 ) . H o w e v e r , s i n c e t h e r e s e a r c h i s f o c u s e d o n t h e a c q u i s i t i o n o f a s e r i e s o f c o m p l e x a n d h i g h l y s p e c i a l i z e d s k i l l s a n d k n o w l e d g e s e t s , t h e i d e a t h a t “ j u s t g r o w i n g o l d e r o r m o r e e x p e r i e n c e d i n n o r m a l e v e r y d a y s o c i a l e x p e r i e n c e s c o u l d h a v e p r o d u c e d t h e o b s e r v e d d i f f e r e n c e s e e m s v e r y u n l i k e l y ” ( C a m p b e l l a n d S t a n l e y , p . 5 9 , 1 9 6 3 ) . C r o s s s e c t i o n a l o b s e r v e d d i f f e r e n c e s b e t w e e n G r o u p s c a n n o t b e e x p l a i n e d b y t h e e f f e c t s o f h i s t o r y o r a t e s t - r e t e s t e f f e c t . T h e b i g g e s t t h r e a t t o s u c h o b s e r v e d d i f f e r e n c e s h o w e v e r c o u l d b e d u e t o d i f f e r e n c e s i n r e c r u i t m e n t ( s e l e c t i o n ) f r o m o n e y e a r t o t h e n e x t . I T o a c c o u n t f o r t h i s p o s s i b l e c o n f o u n d i n g e x p l a n a t i o n , d e m o g r a p h i c i n f o r m a t i o n w a s c o l l e c t e d f r o m e a c h c o h o r t a n d i t s r e s p e c t i v e g r o u p t o p r o v i d e a p r o fi l e f o r c o m p a r i n g h o w e a c h c o h o r t a n d g r o u p c o m p a r e s o n t h e c h a r a c t e r i s t i c s o f g e n d e r , y e a r s o f t e a c h i n g , s c h o o l c o n t e x t , a n d s t u d e n t s a b i l i t y . F i n a l l y , s i n c e t h e i n s t r u m e n t s u s e d t o m e a s u r e d i f f e r e n c e s w e r e u n c h a n g e d t h r o u g h o u t t h e s t u d y , i t i s u n l i k e l y t h a t t h i s c o u l d b e a t h r e a t t o i n t e r n a l v a l i d i t y . T h e e x t e r n a l v a l i d i t y o f t h e fi n d i n g s f r o m t h i s i n v e s t i g a t i o n i s l i m i t e d t o t h e p o p u l a t i o n o f s e c o n d a r y s c i e n c e t e a c h e r s o p t i n g t o p u r s u e N a t i o n a l B o a r d c e r t i fi c a t i o n . T o t h e e x t e n t t h a t t h i s g r o u p i s s i m i l a r t o t h e g e n e r a l p o p u l a t i o n o f s e c o n d a r y s c i e n c e t e a c h e r s , t h e g r e a t e r t h e a b i l i t y o f t h i s s t u d y t o g e n e r a l i z e t o t h e l a r g e r t e a c h i n g c o m m u n i t y . T h e d e s i g n d o e s c o n t r o l f o r t h e I n t e r a c t i o n o f t h e T r e a t m e n t a n d T e s t i n g a s w e l l a s R e a c t i v e A r r a n g e m e n t s ( C a m p b e l l & S t a n l e y , 1 9 6 3 ) . T h e t i m i n g o f d a t a c o l l e c t i o n f o r t h i s s t u d y w a s v i t a l l y i m p o r t a n t . N a t i o n a l B o a r d c e r t i fi c a t i o n ’ s c o m p l e x c a l e n d a r d i d a l l o w w i n d o w s o f O p p o r t u n i t y t o c o l l e c t b o t h p r e a n d p o s t d a t a f r o m r e s p e c t i v e g r o u p s a t t h e s a m e t i m e . H o w e v e r , t h e r e w e r e e x a m p l e s o f p r e p o s t d a t a 4 7 c o l l e c t i o n t h a t d i d n o t o v e r l a p i n s i m u l t a n e o u s l y . C a m p b e l l a n d S t a n l e y ( 1 9 6 3 ) d i s c u s s t h e a d a p t a b i l i t y o f t h e R I C D t o t h i s p o s s i b i l i t y w h e n t h e y s t a t e : I t i s a s s u m e d t h a t i t w i l l b e f e a s i b l e t o p r e s e n t t h e p o s t t e s t f o r o n e g r o u p a t t h e s a m e c h r o n o l o g i c a l t i m e a s t h e p r e t e s t f o r a n o t h e r . T h i s i s n o t a l w a y s t h e c a s e i n s i t u a t i o n s w h e r e w e m i g h t w a n t t o u s e t h i s d e s i g n . ( C a m p b e l l & S t a n l e y , p 6 0 , 1 9 6 3 ) “ T h i s d e s i g n ” C a m p b e l l a n d S t a n l e y a r e r e f e r r i n g t o s h o w s t h e s t a g g e r e d n a t u r e o f d a t a c o l l e c t i o n a s r e p r e s e n t e d i n F i g u r e 2 - 7 . F o r s o m e d a t a c o l l e c t i o n i n t h i s s t u d y ( i . e . G r o u p 2 B a n d G r o u p 3 ) , t h i s v a r i a t i o n o f t h e m o d e l a p p l i e s . F i g u r e 2 - 7 : S t a g g e r e d D e s i g n M o d e l G r o u p l X - ) 0 1 G r o u p 2 A R 0 2 9 X 9 0 3 G r o u p 2 3 R X ‘ 9 0 4 G r o u p 3 0 5 - ) X X — I n t e r v e n t i o n O — T h e c o l l e c t i o n o f f r o m I n t e r v i e w S t u d y P o p u l a t i o n T h i s i n v e s t i g a t i o n f o c u s e d u p o n t h e p o p u l a t i o n o f s e c o n d a r y s c i e n c e t e a c h e r s w h o s e l f - s e l e c t e d t h e m s e l v e s f o r N a t i o n a l B o a r d c e r t i fi c a t i o n c a n d i d a c y . M o r e s p e c i fi c a l l y , a l l s e c o n d a r y s c i e n c e t e a c h e r s w h o q u a l i f y t o b e a c a n d i d a t e f o r N a t i o n a l B o a r d c e r t i fi c a t i o n i n A Y A S c i e n c e r e p r e s e n t t h e p o p u l a t i o n t h e r e s u l t s a r e g e n e r a l i z a b l e t o . T h e s e r e q u i r e m e n t s m a i n t a i n t h a t a p o t e n t i a l c a n d i d a t e 1 ) b e c e r t i fi e d i n t h e s t a t e i n w h i c h t h e y t e a c h , 2 ) c u r r e n t l y t e a c h a t l e a s t t w o c l a s s e s i n t h e a r e a o f c e r t i fi c a t i o n , a n d 3 ) h a v e a t l e a s t 3 y e a r s o f f u l l t i m e t e a c h i n g e x p e r i e n c e . F o r t h i s s t u d y , a n y t e a c h e r w h o r e g i s t e r e d f o r t h e c e r t i fi c a t i o n p r o c e s s h a d t o v e r i f y t h e s e r e q u i r e m e n t s b e f o r e b e i n g 4 8 a c c e p t e d a s a c a n d i d a t e f o r N a t i o n a l B o a r d c e r t i fi c a t i o n . T h e r e f o r e , i t i s f r o m t h i s p o o l o f s e l f - s e l e c t e d c a n d i d a t e s f o r A Y A S c i e n c e c e r t i fi c a t i o n t h a t t h e p o p u l a t i o n f o r t h i s s t u d y d e r i v e d . T h e p o p u l a t i o n p o o l f o r t h i s s t u d y w a s m a d e u p o f a l l r e g i s t e r e d t e a c h e r s f o r A Y A c e r t i fi c a t i o n f o r e a c h o f t h e 3 y e a r s o f t h e s t u d y . F o r e a c h y e a r t h i s r e p r e s e n t s a p p r o x i m a t e l y b e t w e e n 4 5 0 - 6 5 0 t e a c h e r s . F r o m t h i s p o o l , 4 0 t e a c h e r s w e r e s e l e c t e d f r o m e a c h o f t h e t h r e e c o h o r t s t o p a r t i c i p a t e i n t h e s t u d y t o t a l i n g 1 2 0 t e a c h e r s . R e c r u i t m e n t a n d S e l e c t i o n o f P a r t i c i p a n t s T h e r e c r u i t m e n t p r o c e s s f o r s u b j e c t s i n t h i s s t u d y d i f f e r e d f r o m t h e a n t i c i p a t e d p r o c e d u r e s . A t t h e t i m e o f t h e s t u d y ’ s i n c e p t i o n , i t w a s a n t i c i p a t e d t h a t t h e N a t i o n a l B o a r d w o u l d p r o v i d e a l i s t o f a v a i l a b l e c a n d i d a t e s f o r a p a r t i c u l a r y e a r . T h e l i s t w o u l d b e r a n d o m i z e d a n d a p r e - d e t e r m i n e d p e r c e n t o f t h e p o p u l a t i o n w o u l d b e c o n t a c t e d a n d i n v i t e d t o p a r t i c i p a t e i n t h e s t u d y . B a s e d u p o n t h e r e s u l t s f r o m t h e p i l o t s t u d y ( L u s t i c k , 2 0 0 1 ) , t h i s p r o c e s s o f r e c r u i t m e n t h a d o v e r a 5 0 % p o s i t i v e r e s p o n s e r a t e . T h e r e f o r e , w i t h a n e s t i m a t e d p o p u l a t i o n i n a n y p a r t i c u l a r c o h o r t o f a p p r o x i m a t e l y 6 0 0 t e a c h e r s a n d a n e e d f o r 4 0 p a r t i c i p a n t s f o r t h e s t u d y ; i t w a s e s t i m a t e d t h a t 1 0 0 t e a c h e r s w o u l d n e e d t o b e i n v i t e d t o a c h i e v e t h e r e q u i r e d n u m b e r . F o r t h e fi r s t c o h o r t ( G r o u p 1 P o s t O b s e r v a t i o n ) , t h i s p r o c e s s w o r k e d f a i r l y w e l l . T h e N a t i o n a l B o a r d p r o v i d e d a l i s t o f a p p r o x i m a t e l y 4 0 0 c a n d i d a t e s w h o h a d c o m p l e t e d t h e r e q u i r e m e n t s t o b e e v a l u a t e d f o r N a t i o n a l B o a r d c e r t i fi c a t i o n . T h e l i s t w a s r a n d o m i z e d u s i n g a n E x c e l s p r e a d s h e e t f u n c t i o n a n d t h e fi r s t 1 0 0 t e a c h e r s w e r e i n v i t e d t o 4 9 p a r t i c i p a t e . T h e f i r s t 4 6 r e s p o n s e s w e r e a c c e p t e d a n d c o n s t i t u t e d t h e m a k e u p o f G r o u p 1 . 7 A s p e r t h e d e s i g n , o b s e r v a t i o n s o f G r o u p 1 w e r e t o t a k e p l a c e a t t h e s a m e t i m e a s o b s e r v a t i o n s o f G r o u p 2 A - P r e . H o w e v e r , t h e r e c r u i t m e n t a n d s e l e c t i o n p r o c e d u r e s f o r G r o u p 2 A - P r e e n d e d u p b e i n g q u i t e d i f f e r e n t t h a n p l a n n e d . O r i g i n a l l y , a l i s t f r o m t h e B o a r d o f r e g i s t e r e d c a n d i d a t e s f o r c o h o r t t w o w a s t o b e o b t a i n e d , r a n d o m i z e d , a n d t h e n a p o r t i o n i n v i t e d t o p a r t i c i p a t e . T h o s e c a n d i d a t e s a g r e e i n g t o p a r t i c i p a t e w o u l d t h e n b e r a n d o m l y a s s i g n e d t o e i t h e r G r o u p 2 A o r G r o u p 2 B u n t i l e a c h s u b g r o u p h a d 2 0 t e a c h e r s i n e a c h . G r o u p 2 A w a s t o b e o b s e r v e d b o t h p r e a n d p o s t i n t e r v e n t i o n w h e r e a s G r o u p 2 B w a s o b s e r v e d o n l y p o s t i n t e r v e n t i o n . H o w e v e r , t h e r e c r u i t m e n t p r o c e d u r e s v a r i e d f r o m t h i s p l a n . T h e a l t e r a t i o n s i n p r o c e d u r e s f o r i d e n t i fi c a t i o n a n d r e c r u i t m e n t o f G r o u p 2 h a v e t h e i r b a s i s i n t h r e e d i f f e r e n t a r e a s o f c i r c u m s t a n c e : l ) L e g a l i t i e s , 2 ) I n s t i t u t i o n a l C o n s t r a i n t s , a n d 3 ) a P o l i c y C h a n g e s a t t h e N a t i o n a l B o a r d . L e g a l i t i e s U n l i k e G r o u p 1 w h i c h h a d c o m p l e t e d a n d s u b m i t t e d t h e i r p o r t f o l i o a n d t a k e n t h e i r a s s e s s m e n t c e n t e r e x e r c i s e s a t l e a s t 3 m o n t h s p r e v i o u s l y , G r o u p 2 A - P r e w e r e c a n d i d a t e s w h o h a d o n l y j u s t r e g i s t e r e d f o r c e r t i fi c a t i o n a n d i n d i c a t e d t h e i r i n t e n t t o p u r s u e N a t i o n a l B o a r d c e r t i fi c a t i o n b y p a y i n g t h e n o n - r e f u n d a b l e $ 3 0 0 r e g i s t r a t i o n f e e . O b s e r v a t i o n s w e r e t o b e m a d e d u r i n g t h i s p e r i o d b e t w e e n t h e p a y m e n t o f t h e r e g i s t r a t i o n f e e a n d t h e b e g i n n i n g o f m e a n i n g f u l a n d e a r n e s t w o r k o n t h e p o r t f o l i o . H o w e v e r , f o r G r o u p 2 A - P r e , t h e N a t i o n a l B o a r d w a s n o t a l l o w e d t o p r o v i d e a l i s t o f n e w r e g i s t r a n t s t o b e r a n d o m i z e d a n d i n v i t e d t o p a r t i c i p a t e . T h e N a t i o n a l B o a r d h i g h l i g h t e d t h e n e e d t o m a i n t a i n 7 . . . . . . T h e r e w e r e 6 a d d i t i o n a l r n t e r v r e w s c o n d u c t e d f o r t w o r e a s o n s : 1 ) t h e fi r s t f e w r n t e r v r e w s w e r e u s e d t o fi n a l i z e d t h e i n t e r v i e w p r o t o c o l s a n d i n t e r v i e w p r o c e d u r e s a n d 2 ) T e c h n i c a l d i f fi c u l t i e s w i t h t h e r e c o r d i n g e q u p m e n t m a d e 3 o t h e r i n t e r v i e w s n o t u s e a b l e . 5 0 c o n fi d e n t i a l i t y w i t h t h e s e n e w l y i d e n t i fi e d c a n d i d a t e s . T h e i r r a t i o n a l e w a s s o u n d a n d u n d e r s t a n d a b l e : i f t h e N a t i o n a l B o a r d s h a r e d t h e c o n t a c t i n f o r m a t i o n o f t h e s e n e w r e g i s t r a n t s w i t h a t h i r d p a r t y , t h o s e c a n d i d a t e s w h o w e r e n o t s u c c e s s f u l a t a c h i e v i n g c e r t i fi c a t i o n l a t e r o n m i g h t p o i n t t o t h e ‘ h a r a s s m e n t ’ o f t h e t h i r d p a r t y p r e c i p i t a t e d b y t h e N a t i o n a l B o a r d a s r e a s o n f o r t h e i r u n d e s i r a b l e o u t c o m e t o c e r t i fi c a t i o n . F o r G r o u p 1 , i t m a d e n o d i f f e r e n c e b e c a u s e a l l t h e i r w o r k h a d a l r e a d y b e e n s u b m i t t e d . H o w e v e r , f o r t h e p r e g r o u p s , n o d i r e c t c o n t a c t w o u l d b e p o s s i b l e f o r f e a r o f c o n t a m i n a t i n g t h e i r c h a n c e s o f s u c c e s s . T h e r e f o r e a n e w p r o c e d u r e n e e d e d t o b e w o r k e d o u t a n d a p p r o v e d o f b y b o t h t h e N a t i o n a l B o a r d a n d m y s e l f . T h e n e w p r o c e d u r e fi n a l l y a r r i v e d a t a f t e r s e v e r a l w e e k s o f c o l l a b o r a t i o n w a s f o r t h e N a t i o n a l B o a r d t o c o n t a c t t h e n e w r e g i s t r a n t s o n b e h a l f o f t h e r e s e a r c h s t u d y . A l e t t e r w o u l d g o o u t f r o m t h e B o a r d t o t h e n e w l y i d e n t i fi e d r e g i s t r a n t s a n d p r o v i d e a b r i e f d e s c r i p t i o n o f t h e s t u d y , t h e r e a s o n s w h y t h e N a t i o n a l B o a r d w a s w r i t i n g t h e m , a n d c o n t a c t i n f o r m a t i o n i n c l u d i n g a s e l f a d d r e s s e d p o s t c a r d t o l e a r n m o r e a b o u t t h e s t u d y a n d p o s s i b l e p a r t i c i p a t i o n . U p o n r e c e i v i n g t h i s l e t t e r , t h e c a n d i d a t e c o u l d c h o o s e t o “ l e a r n m o r e a b o u t t h e s t u d y ” o r n o t . T h o s e w i s h i n g t o l e a r n m o r e r e t u r n e d t h e p o s t c a r d w i t h t h e i r c o n t a c t i n f o r m a t i o n t o t h e i n v e s t i g a t o r s . A s a r e s u l t o f t h e a d d i t i o n a l s t e p s r e q u i r e d t o r e c r u i t t e a c h e r s f o r t h e s t u d y , t h e r a t e o f r e t u r n d r o p p e d f r o m 6 5 % f o r G r o u p 1 t o 1 0 % f o r G r o u p 2 A - P r e . N o t o n l y d i d t h e r a t e o f r e t u r n d r o p d r a m a t i c a l l y , b u t a l s o t h e p e r i o d o f t i m e b e t w e e n a c a n d i d a t e r e g i s t e r i n g f o r c e r t i fi c a t i o n a n d b e i n g c o n t a c t e d f o r m a l l y b y t h e s t u d y i n c r e a s e d s i g n i fi c a n t l y . B e t w e e n t h e t i m e a n i n d i v i d u a l a p p e a r e d i n t h e N a t i o n a l B o a r d ’ s d a t a b a s e a n d t h e t i m e o f t h e i n t e r v i e w a v e r a g e d f r o m 6 t o 8 w e e k s . T h i s c o m p a r e s t o r o u g h l y 3 5 1 w e e k s t u r n a r o u n d t i m e f o r G r o u p 1 . A f t e r r e c e i v i n g t h e p o s t c a r d s , a f o r m a l l e t t e r o f i n v i t a t i o n a n d a c o n s e n t f o r m w e r e m a i l e d o u t t o t h e c a n d i d a t e . T h e c a n d i d a t e t h e n h a d t o d o w h a t t h e G r o u p 1 c a n d i d a t e s d i d ( fi l l o u t a n d s i g n t h e c o n s e n t f o r m a n d r e t u r n i t i n t h e s e l f a d d r e s s e d s t a m p e d e n v e l o p e ) . _ I r l s t i t u t i o n i l R e s t r a i _ n _ t § T h e s e c o n d p r o b l e m a s s o c i a t e d w i t h d a t a c o l l e c t i o n f o r G r o u p 2 i n v o l v e d i n s t i t u t i o n a l c o n s t r a i n t s a t b o t h M i c h i g a n S t a t e U n i v e r s i t y a n d t h e N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s . A t t h e B o a r d , t h e r e w a s a s i g n i fi c a n t d e l a y b e t w e e n t h e d i f f e r e n t d e p a r t m e n t s . T h e e x e c u t i v e d e p a r t m e n t w a s r e s p o n s i b l e f o r a l l c o r r e s p o n d e n c e w i t h t h e i n v e s t i g a t o r s i n c l u d i n g p r o v i d i n g a n s w e r s t o q u e s t i o n s a n d d a t a f o r t h e s t u d y . O n c e a r e q u e s t w a s m a d e i n w r i t i n g t o t h e c o n t a c t p e r s o n i n t h e e x e c u t i v e d e p a r t m e n t o f t h e N a t i o n a l B o a r d f o r a p a r t i c u l a r f o r m o f d a t a , t h e c o n t a c t p e r s o n w o u l d t h e n h a v e t o s u b m i t a f o r m a l r e q u e s t i n w r i t i n g t o t h e a p p r o p r i a t e d e p a r t m e n t f o r t h e r e q u e s t t o b e fi l l e d . T h i s p r o c e s s o n a v e r a g e t o o k 7 t o 1 0 d a y s . I n a d d i t i o n , i t w a s n o w t h e r e s p o n s i b i l i t y o f t h e c o n t a c t p e r s o n i n t h e e x e c u t i v e o f fi c e t o u s e t h e c o n t a c t i n f o r m a t i o n t o g e n e r a t e a l e t t e r , m a i l i n g l a b e l s , s t u f f t h e e n v e l o p e s a n d s e n d t h e m o u t . D e p e n d i n g u p o n t h e w o r k l o a d o f t h e c o n t a c t p e r s o n , t h i s p r o c e s s c o u l d t a k e a n y w h e r e f r o m a d a y o r t w o t o a f e w w e e k s . T h e r e w a s a p e r i o d o f t i m e w h e n I w a s c o n t a c t i n g t h e N a t i o n a l B o a r d s e v e r a l t i m e s a d a y t o d e t e r m i n e t h e s t a t u s o f t h e m a i l i n g s . I t i s d i f fi c u l t t o d e t e r m i n e i f t h e c o n t a c t p e r s o n a t t h e B o a r d t r u l y a p p r e c i a t e d t h e t i m e s e n s i t i v e n a t u r e o f t h e i r t a s k . T h e a c t i o n s ( o r l a c k o f ) o f t h i s i n d i v i d u a l c o u l d b e e x p l a i n e d b y a n u m b e r o f d i f f e r e n t p o s s i b i l i t i e s a l l o f w h i c h a r e n o t r e l e v a n t t o t h i s s t u d y . W h a t i s t r u e a n d r e l e v a n t 5 2 i s t h a t t h e c o n v o l u t e d p r o c e d u r e s r e s u l t e d i n a l a r g e a n d s i g n i f i c a n t t i m e d e l a y b e t w e e n i d e n t i fi c a t i o n o f p o s s i b l e p a r t i c i p a n t s a n d t h e a c t u a l c o l l e c t i o n o f d a t a . T h e p r o b l e m s a s s o c i a t e d w i t h i d e n t i f y i n g a n d o b s e r v i n g G r o u p 2 A - P r e w e r e n o t l i m i t e d t o t h e N a t i o n a l B o a r d . M i c h i g a n S t a t e U n i v e r s i t y a l s o c o n t r i b u t e d t o t h e t i m e d e l a y a s s o c i a t e d w i t h c o l l e c t i n g d a t a o n G r o u p 2 A - P r e . E v e n w i t h a l l t h e i s s u e s a l r e a d y a s s o c i a t e d w i t h t h e l e g a l i t i e s a n d i n s t i t u t i o n a l p r o c e d u r e s o f t h e B o a r d , t h e r a t e o f r e t u r n I f o r t h o s e w h o w e r e c o n t a c t e d b y t h e B o a r d d r o p p e d t o a t r i c k l e . O n e o r t w o p o s t c a r d s w o u l d b e r e t u r n e d w h e n 1 0 t o 1 5 w e r e e x p e c t e d . S u c h a d i s a p p o i n t i n g r a t e w a s h a r d t o e x p l a i n . W a s G r o u p 2 A - P r e s o d i f f e r e n t t h e n G r o u p 1 ? W a s t h e i n i t i a l c o n t a c t f r o m t h e N a t i o n a l B o a r d s o m e h o w p o i s o n i n g t h e p o o l ? W h y w e r e f a r f e w e r t h a n e x p e c t e d r e t u r n i n g t h e i r p o s t c a r d s ? O n e e x p l a n a t i o n f o r t h e p o o r r e t u r n r a t e b e c a m e a p p a r e n t s e v e r a l m o n t h s l a t e r a f t e r G r o u p 2 w a s i d e n t i f i e d . A n u n d e r g r a d u a t e s t u d e n t h e l p e r f o r t h e d e p a r t m e n t s e c r e t a r y c o u l d n o t fi n d t h e m a i l b o x w i t h t h e m y n a m e ( i t w a s l o c a t e d o n t h e t o p s h e l f e y e - l e v e l f a r l e f t h a n d c o m e r ) a n d n e v e r a s k e d t h e s e c r e t a r y f o r a s s i s t a n c e w i t h t h e i s s u e . I n s t e a d , t h e s e p o s t c a r d s w e r e p l a c e d i n a n u n m a r k e d m a i l b o x ( b o t t o m l o w e r r i g h t c o m e r ) . I d i s c o v e r e d t h e p o s t c a r d s w h i l e c h e c k i n g o t h e r m a i l b o x e s t o s e e i f b y a c c i d e n t s o m e p r o j e c t m a i l h a d b e e n m i s p l a c e d . A p p r o x i m a t e l y 1 4 c a r d s w e r e d i s c o v e r e d . A c c o r d i n g t o t h e i r p o s t m a r k s , t h e s e c a r d s w e r e s o m e o f t h e f i r s t r e t u r n e d a n d r a i s e d t h e r a t e o f r e t u r n t o o v e r 1 0 % . F r o m t h a t m o m e n t o n , m a i l w a s c h e c k e d a t t h e p o i n t o f e n t r y i n t o t h e b u i l d i n g e v e r y d a y . T h e r e w e r e t w o i m m e d i a t e c o n s e q u e n c e s t o t h i s u n f o r t u n a t e m i s t a k e . F i r s t , r a n d o m l y d i v i d i n g G r o u p 2 i n t o 2 A a n d 2 3 w a s n o t p o s s i b l e . T h e p r i o r i t y b e c a m e t o 5 3 c o l l e c t p r e d a t a f r o m G r o u p 2 A a s s o o n a s p o s s i b l e b e f o r e c a n d i d a t e s w e r e t o o f a r a l o n g i n t h e i n t e r v e n t i o n . T h e r e f o r e , e a c h n e w G r o u p 2 p a r t i c i p a n t i d e n t i fi e d w a s i m m e d i a t e l y p l a c e d i n t o G r o u p 2 A - P r e . O n l y a f t e r G r o u p 2 A - P r e w a s c o m p l e t e w e r e a d d i t i o n a l c a n d i d a t e s p l a c e d i n t o G r o u p Z B . B e c a u s e G r o u p 2 B w a s a p o s t o b s e r v a t i o n ; a r a c e a g a i n s t t h e c l o c k w a s n o t n e c e s s a r y . I t t o o k o v e r 5 m o n t h s t o s o l i c i t t h e p a r t i c i p a t i o n o f t h e m o r e t h a n 4 0 t e a c h e r s n e c e s s a r y t o c o m p l e t e G r o u p 2 . W h e r e d a t a c o l l e c t i o n f o r G r o u p 1 w a s c o m p l e t e d i n a b o u t 6 w e e k s , G r o u p 2 A - P r e t o o k s e v e r a l m o n t h s t o fi n i s h . P o l i c y C h a n g e s a t t h e N a t i o n a l B o a r d F i n a l l y , t h e l a s t r e a s o n f o r t h e d i f fi c u l t i e s i n i d e n t i f y i n g a n d r e c r u i t i n g p a r t i c i p a n t s f o r G r o u p 2 A - P r e r e s t s w i t h c h a n g e s t o t h e a p p l i c a t i o n c a l e n d a r f o r N a t i o n a l B o a r d c e r t i fi c a t i o n . P r i o r t o t h e c l a s s o f 2 0 0 2 — 2 0 0 3 , a p p l i c a n t s w o u l d r e g i s t e r o v e r t h e s u m m e r a n d d u r i n g t h e f a l l a n d b e g i n t h e p r o c e s s o f c e r t i f i c a t i o n j u s t b e f o r e o r a f t e r C h r i s t m a s v a c a t i o n . T h i s m e a n t t h a t m o s t o f t h e c o n s t r u c t i o n o f t h e p o r t f o l i o w o u l d t a k e p l a c e d u r i n g t h e s p r i n g s e m e s t e r . H o w e v e r w i t h t h e 2 0 0 3 c o h o r t , c h a n g e s w e r e i m p l e m e n t e d t h a t m a d e i t p o s s i b l e f o r c a n d i d a t e s t o r e g i s t e r a n d b e g i n w o r k o n t h e i r p o r t f o l i o s w i t h m u c h m o r e fl e x i b i l i t y t o t h e c a l e n d a r y e a r . W h e r e a m a j o r i t y o f c a n d i d a t e s s t i l l u s e t h e t r a d i t i o n a l c a l e n d a r t o c a r r y o u t t h e r e q u i r e m e n t s o f N a t i o n a l B o a r d c e r t i fi c a t i o n , a s i g n i fi c a n t n u m b e r o p t e d f o r t h e m o r e fl e x i b l e s c h e d u l e . T h e i m p a c t o f t h i s c h a n g e o n t h e s t u d y r e s u l t e d i n a s m a l l e r p o o l o f c a n d i d a t e s t h a n a n t i c i p a t e d f o r t h e S e p t e m b e r t h r o u g h D e c e m b e r r e g i s t r a t i o n p e r i o d . T h e p r o b l e m s a s s o c i a t e d w i t h G r o u p 2 A - P r e w e r e s t u d i e d a n d a p p r o p r i a t e a c t i o n s w e r e t a k e n t o i n s u r e t h a t c o l l e c t i o n o f d a t a f o r G r o u p 3 w o u l d n o t s u f f e r t h e s a m e c o n s e q u e n c e s . T e a c h e r s f o r G r o u p 3 - P r e w e r e c o n t a c t e d b e g i n n i n g i n F e b r u a r y o f 2 0 0 3 5 4 a n d c o n t i n u e d t h r o u g h O c t o b e r o f 2 0 0 3 . A s a r e s u l t o f t h e e x p e r i e n c e s w i t h G r o u p s 2 a n d 3 , i t b e c a m e c l e a r t h a t o n e o f t h e a s s u m p t i o n s t h a t t h e s t u d y r e s t e d o n w a s s e r i o u s l y t h r e a t e n e d . T h e s t u d y w a s c o n d u c t e d u n d e r t h e a s s u m p t i o n t h a t d a t a w o u l d b e c o l l e c t e d i n c l e a r l y i d e n t i fi a b l e p r e a n d p o s t i n t e r v e n t i o n c o n d i t i o n s . P o s t o b s e r v a t i o n s w e r e m a d e a f t e r a c a n d i d a t e c o m p l e t e d a n d s u b m i t t e d a p o r t f o l i o a n d t a k e n t h e i r a s s e s s m e n t c e n t e r e x a m s a n d b e f o r e t h e y r e c e i v e d w o r d f r o m t h e N a t i o n a l B o a r d o f t h e fi n a l o u t c o m e o f t h e i r e f f o r t s . I n a l l P o s t - O b s e r v a t i o n c a s e s , t h i s t i m i n g w a s a c h i e v e d s u c c e s s f u l l y . H o w e v e r , f o r t h e P r e - o b s e r v a t i o n s , c i r c u m s t a n c e s b e c a m e m o r e c o m p l e x . F i r s t o f a l l , t h e t i m e d e l a y b e t w e e n s u b m i t t i n g a c h e c k f o r $ 3 0 0 a n d r e c e i v i n g t h e c a n d i d a t e ’ s “ B o x ” h a d b e e n e l i m i n a t e d t h r o u g h t e c h n o l o g y . I n p r e v i o u s y e a r s , t h i s d e l a y c o u l d b e a s l o n g a s 3 m o n t h s . P r e s e n t l y , c a n d i d a t e s c a n p a y t h e f e e o n l i n e w i t h a c r e d i t c a r d a n d i m m e d i a t e l y h a v e a c c e s s t o t h e i n f o r m a t i o n i n t h e “ B o x ” o n l y i n d o w n l o a d a b l e d i g i t a l f o r m . T h i s o n e c h a n g e e f f e c t i v e l y e l i m i n a t e d t h e 1 - 3 m o n t h p e r i o d o f r e l a t i v e i n a c t i v i t y f o r s o m e c a n d i d a t e s . I t w a s d u r i n g t h i s t i m e p e r i o d t h a t p r e - d a t a w a s t o b e c o l l e c t e d . A s a r e s u l t o f t h e s e d e v e l o p m e n t s , i n f o r m a t i o n w a s c o l l e c t e d f r o m e a c h c a n d i d a t e t h a t h e l p e d i d e n t i f y h o w m u c h w o r k t h e y h a d a l r e a d y p u t i n t o t h e c o n s t r u c t i o n o f t h e i r p o r t f o l i o . A f t e r f u r t h e r a n a l y s i s o f t h i s d a t a , i t b e c a m e q u i t e e v i d e n t t h a t t h e “ P r e ” o b s e r v a t i o n a s o r i g i n a l l y i n t e n d e d n o l o n g e r e x i s t e d . T h e f a c t w a s t h a t e v e r y c a n d i d a t e o b s e r v e d a s p a r t o f t h e p r e g r o u p s h a d t o s o m e e x t e n t a l r e a d y e x p e r i e n c e d p a r t o f t h e i n t e r v e n t i o n . T h i s e x p e r i e n c e t o o k t h e f o r m o f a n y o n e o r m o r e s i g n i fi c a n t d e s c r i p t i o n s . F o r e x a m p l e , r e a d i n g t h e i n s t r u c t i o n s , w o r k i n g o n e n t r i e s , c o l l e c t i n g d a t a o n s t u d e n t s , v i d e o t a p i n g , a t t e n d i n g w o r k s h o p s , a n d c o n v e r s a t i o n s w i t h l o c a l s u p p o r t g r o u p s a n d v i r t u a l c o m m u n i t i e s a l l p r e v e n t a c a n d i d a t e f r o m b e i n g l a b e l e d a p u r e “ p r e ” s u b j e c t i n t h e 5 5 o r i g i n a l s e n s e . A c a n d i d a t e ’ s e x p e r i e n c e i n G r o u p 2 A - P r e r a n g e d f r o m a l o w o f 2 % t o a h i g h o f n e a r l y 5 0 % w i t h a n a v e r a g e o f a r o u n d 2 0 % o f t h e p o r t f o l i o p r o c e s s c o m p l e t e . T h i s i s s u e w i l l b e c o m e m o r e i m p o r t a n t l a t e r o n w h e n a l l r e s u l t s a r e c o m p a r e d . D e m o g r a p h i c V a r i a b l e s T h e p r i m a r y p u r p o s e o f t h e d e m o g r a p h i c i n f o r m a t i o n i s t o t e s t t h e a s s u m p t i o n t h a t t e a c h e r s f r o m e a c h o f t h e t h r e e g r o u p s d i d n o t d i f f e r s i g n i fi c a n t l y f r o m e a c h o t h e r w i t h r e g a r d s t o a s e r i e s o f p r e d e t e r m i n e d m e a s u r e s . T h e s t u d y ’ s g o a l o f c o m p a r i n g p r e a n d p o s t r e s u l t s b e t w e e n d i f f e r e n t c o h o r t s o f t e a c h e r s i s b a s e d o n t h e a s s u m p t i o n t h a t e x c e p t f o r t h e y e a r o f c e r t i fi c a t i o n , t h e s e g r o u p s w o u l d n o t b e a l l t h a t d i f f e r e n t f r o m o n e a n o t h e r . I f d i f f e r e n c e s p r e t o p o s t a r e o b s e r v e d , t h e n t h e c o n f o u n d i n g e x p l a n a t i o n o f d i f f e r e n c e s i n c o h o r t w i l l n e e d t o b e a d d r e s s e d . T h e r e f o r e i t i s i m p e r a t i v e t o e x a m i n e t h e a v a i l a b l e d a t a t o b e s t u n d e r s t a n d h o w t h e c a n d i d a t e s f r o m d i f f e r e n t c o h o r t s c o m p a r e d a n d c o n t r a s t e d w i t h e a c h o t h e r . T o e x a m i n e t h e d e m o g r a p h i c d a t a , t h e r e a r e t h r e e s p e c i fi c q u e s t i o n s t h a t n e e d t o b e a s k e d : 1 ) H o w d o e a c h o f t h e c o h o r t s ( p a r e n t p o p u l a t i o n s f r o m w h i c h t h e s a m p l e s w e r e s e l e c t e d ) i n v o l v e d i n t h i s s t u d y c o m p a r e t o e a c h o t h e r ? 2 ) H o w w e l l d o t h e s a m p l e s s e l e c t e d f r o m t h e c o h o r t p o p u l a t i o n s a c c u r a t e l y r e fl e c t t h e c h a r a c t e r i s t i c s o f t h e p a r e n t p o p u l a t i o n ? 3 ) H o w d o t h e s a m p l e s s e l e c t e d f r o m t h e c o h o r t p o p u l a t i o n s c o m p a r e t o e a c h o t h e r ? T o a d d r e s s t h e s e q u e s t i o n s , t h e d e m o g r a p h i c a n a l y s i s i s d i v i d e d i n t o t h r e e d i s t i n c t c o m p a r i s o n s : 1 ) C o h o r t t o C o h o r t , 2 ) C o h o r t t o G r o u p , a n d 3 ) G r o u p t o G r o u p . T h e d i s c u s s i o n t h a t f o l l o w s w i l l l o o k a t e a c h o n e o f t h e s e c o m p a r i s o n s i n d e t a i l . 5 6 C o h o r t - t o - C o h o r t C o m p a r i s o n s H o w d i d e a c h o f t h e t h r e e c o h o r t s ( 2 0 0 2 , 2 0 0 3 , a n d 2 0 0 4 ) c o m p a r e w i t h e a c h o t h e r i n t h e i r d e m o g r a p h i c c h a r a c t e r i s t i c s ? T o a n s w e r t h i s q u e s t i o n t h e d a t a w a s a n a l y z e d w i t h a c o m b i n a t i o n o f p a i r e d t — t e s t s , z - s t a t i s t i c s , a n d c h i — s q u a r e t e s t s . D a t a f o r e a c h c o h o r t p r o v i d e d b y t h e N a t i o n a l B o a r d r e m a i n e d l i m i t e d t o a f e w b a s i c c h a r a c t e r i s t i c s . T h e s e v a r i a b l e s i n c l u d e d p o p u l a t i o n s i z e , g e n d e r , g e o g r a p h i c r e g i o n , y e a r s e x p e r i e n c e , a n d ( f o r C o h o r t s 1 & 2 ) t h e o u t c o m e o f c e r t i fi c a t i o n p r o c e s s f o r e a c h c a n d i d a t e . T h o u g h b y n o m e a n s e x h a u s t i v e , t h e i n f o r m a t i o n d o e s p r o v i d e a g o o d b a s i s t o c o m p a r e t h e b a s i c p r o fi l e o f e a c h y e a r ’ s p o p u l a t i o n . A s u m m a r y o f t h e C o h o r t - t o - C o h o r t c o m p a r i s o n i s p r e s e n t e d i n T a b l e 2 - 3 . 5 7 T a b l e 2 - 3 : C o m p a r i s o n o f D e m o g r a p h i c V a r i a b l e s A m o n g t h e C o h o r t s V 2 0 0 1 - 0 2 2 0 0 2 - 0 3 1 C o h o r t 2 4 3 1 P e r c e n t 7 . 1 2 . 5 3 5 . 5 7 . 3 5 1 . 5 1 5 2 . 5 3 1 8 . 1 1 4 3 . 7 1 2 . 5 3 1 3 . 2 0 . 7 6 1 c a r s o f D e v i a t i o n A c h i e v e d * C o r r e c t e d f o r D i s c o n t i n u i t y E x c l u d e d c a s e s w i t h 5 8 T e s t 2 0 0 2 2 0 0 1 1 9 . 4 9 1 3 . 1 1 6 . 1 3 . 3 7 d f = 1 0 . 3 C o h o r t 4 6 . 9 1 2 0 0 1 0 . 0 0 1 6 0 . 0 2 1 2 0 0 . 5 . 1 4 T e s t S t a t i s t i c s “ 2 0 0 2 2 0 0 1 0 . 5 8 5 d f = 1 2 0 0 2 2 0 0 1 0 . 4 4 4 0 . 0 . 5 8 1 f o r M e a n D i f f e r e n c e s 2 0 0 2 2 0 0 1 0 . 8 3 0 w o - T 2 0 0 1 0 . 4 0 7 0 . 0 5 1 0 . 2 4 1 T e s t S t a t i s t i c s “ 2 0 0 2 0 . B a s e d u p o n t h e f i v e v i t a l c h a r a c t e r i s t i c s a v a i l a b l e a t t h e c o h o r t l e v e l , i t i s c l e a r f r o m T a b l e 2 - 4 t h a t t h e c o h o r t s d o n o t d i f f e r f r o m e a c h o t h e r i n m o s t c a t e g o r i e s . G r o u p 3 i s a s m a l l e r p o p u l a t i o n t h a n t h e o t h e r t w o g r o u p s . O n e p o s s i b l e r e a s o n f o r t h i s s i t u a t i o n m a y b e i n t h e a v a i l a b i l i t y o f f u n d s t o s u p p o r t a n d e n c o u r a g e t e a c h e r s t o p u r s u e N a t i o n a l B o a r d c e r t i fi c a t i o n . T h e a v a i l a b i l i t y o f f u n d s f o r i n c e n t i v e a n d s u p p o r t i v e p u r p o s e s m a y fl u c t u a t e f r o m y e a r t o y e a r d e p e n d i n g u p o n t h e fi n a n c i a l s t a t u s o f a d i s t r i c t o r s t a t e . W i t h r e g a r d s t o c a n d i d a t e s ’ s u c c e s s a t t h e N a t i o n a l B o a r d c e r t i fi c a t i o n p r o c e s s , d a t a w a s o n l y a v a i l a b l e f o r C o h o r t s 1 a n d 2 . ( D u e t o t h e t i m i n g o f t h i s s t u d y , p a s s / f a i l d a t a w a s n o t a v a i l a b l e f o r C o h o r t 3 . ) F o r b o t h p o p u l a t i o n s , t h e r a t e o f p a s s i n g w a s v e r y c l o s e t o 4 0 % . T h i s c o m p a r e s a s e x p e c t e d w i t h t h e o v e r a l l p a s s i n g r a t e o f 5 0 % f o r a l l 2 6 c e r t i fi c a t e s c o m b i n e d a n d i n a g r e e m e n t w i t h t h e A Y A S c i e n c e h i s t o r i c a l l y s t a b l e p a s s r a t e o f n e a r l y 4 0 % . O n l y i n y e a r s o f e x p e r i e n c e i s t h e r e a n o t i c e a b l e d i f f e r e n c e b e t w e e n c o h o r t s . G r o u p 3 w o u l d a p p e a r t o h a v e f e w e r y e a r s o f e x p e r i e n c e a n d m a r g i n a l l y s i g n i fi c a n t a t t h e . 0 5 l e v e l . H o w e v e r , G r o u p 3 i s n o t s i g n i fi c a n t l y d i f f e r e n t f r o m G r o u p 2 w i t h r e g a r d s t o t h i s m e a s u r e . W h e r e d i d t h e t e a c h e r s i n e a c h o f t h e s e C o h o r t s c o m e f r o m ? T h e a n s w e r t o t h i s q u e s t i o n i s n o t s u r p r i s i n g a n d q u i t e c o n s i s t e n t a c r o s s a l l t h r e e c o h o r t s . S i n c e i t s i n c e p t i o n i n 1 9 8 7 , t h e N a t i o n a l B o a r d h a s f o u n d m o s t o f i t s s u p p o r t i n t h e S o u t h . T h i s s u p p o r t c o n t i n u e s t o d a y f o l l o w e d b y t h e W e s t e r n a n d M i d w e s t e r n S t a t e s . T h e l o w e s t r e p r e s e n t e d r e g i o n s i n a l l t h r e e c o h o r t s a r e t h e S o u t h w e s t e r n a n d N e w E n g l a n d S t a t e s . O n l y i n t h e M i d - A t l a n t i c S t a t e s d o e s a l i t t l e i n c o n s i s t e n c y a p p e a r w i t h C o h o r t 3 h a v i n g n e a r l y t w i c e t h e r e p r e s e n t a t i o n a s C o h o r t 1 . O n e p o s s i b l e e x p l a n a t i o n f o r i n c o n s i s t e n c i e s i n r e g i o n a l 5 9 r e p r e s e n t a t i o n c a n b e t r a c e d t o fl u c t u a t i o n s i n s t a t e a n d d i s t r i c t s u p p o r t f o r B o a r d c e r t i fi c a t i o n . I f o n e y e a r m o n e y i s a v a i l a b l e a n d t h e n e x t i t i s n o t , t h e n i t i s r e a s o n a b l e t h a t t h e n u m b e r s o f t e a c h e r s o p t i n g t o p u r s u e B o a r d c e r t i fi c a t i o n w o u l d p a r a l l e l t h e s e c h a n g e s . W h e n g e n d e r p r o fi l e s a r e e x a m i n e d , a n e v e n h i g h e r l e v e l o f c o n s i s t e n c y i s o b s e r v e d . F o r a l l t h r e e c o h o r t s , f e m a l e c a n d i d a t e s o u t n u m b e r m a l e c a n d i d a t e s n e a r l y 2 t o 1 . I n a h i s t o r i c a l l y f e m a l e d o m i n a t e d p r o f e s s i o n l i k e t e a c h i n g , t h i s r e s u l t i s n o t s u r p r i s i n g . H o w e v e r , t h e s t u d y d i d f o c u s o n t h e l e v e l o f s e c o n d a r y s c i e n c e t h a t t r a d i t i o n a l l y h a s a h i g h e r p e r c e n t a g e o f m a l e s t h e n o t h e r l e v e l s o f P K - 1 2 e d u c a t i o n . W i t h y e a r s o f e x p e r i e n c e , C o h o r t 3 i s s h o w n t o b e s i g n i fi c a n t l y d i f f e r e n t ( b u t o n l y m a r g i n a l l y a t t h e . 0 5 l e v e l w i t h a p v a l u e o f . 0 5 1 ) f r o m C o h o r t 1 . W i t h s l i g h t l y o v e r 1 2 y e a r s o f e x p e r i e n c e , C o h o r t 3 w o u l d a p p e a r t o b e l e s s e x p e r i e n c e d , b u t n o t n e c e s s a r i l y y o u n g e r . W i t h m o r e t e a c h e r s e n t e r i n g t h e p r o f e s s i o n a s a s e c o n d c a r e e r ( t h r o u g h T r o o p s t o T e a c h e r s f o r e x a m p l e ) , i t w o u l d a p p e a r t h a t t h e s e n o n - t r a d i t i o n a l t e a c h e r s a r e m o r e w i l l i n g t o d e l v e i n t o N a t i o n a l B o a r d c e r t i fi c a t i o n e a r l i e r t h a n t r a d i t i o n a l l y p r e p a r e d t e a c h e r s . H o w e v e r , o n e c o u l d a r g u e t h a t w i t h a l l t h r e e c o h o r t s a v e r a g i n g m o r e t h a n 1 2 a n d l e s s t h e n 1 4 y e a r s o f e x p e r i e n c e , t h a t t h i s d i f f e r e n c e d o e s n o t w a r r a n t t o o m u c h c o n c e r n . A f t e r s e v e n y e a r s o f t e a c h i n g , i t s n o t u n r e a s o n a b l e t o t h i n k o f t e a c h e r s a s e x p e r i e n c e d . O v e r a l l , a d o z e n y e a r s i n t e a c h i n g i n d i c a t e s t h a t m o s t c a n d i d a t e s f o r N a t i o n a l B o a r d c e r t i fi c a t i o n i n A Y A S c i e n c e h a v e a w e a l t h o f e x p e r i e n c e t h a t t h e y b r i n g t o t h e p r o c e s s . I t i s i m p o r t a n t t o n o t e t h a t t h e N a t i o n a l B o a r d r e q u i r e s t h a t t e a c h e r s h a v e a m i n i m u m o f 3 y e a r s f u l l t i m e t e a c h i n g e x p e r i e n c e t o q u a l i f y f o r c e r t i fi c a t i o n c a n d i d a c y . I f o n e c o h o r t h a d a n a v e r a g e y e a r s e x p e r i e n c e h a l f o f t h e o t h e r s , t h e r e w o u l d b e r e a s o n 6 0 f o r c o n c e r n . H o w e v e r , w i t h t h e s e r e s u l t s , ‘ y e a r s o f e x p e r i e n c e ’ d o e s n o t a p p e a r t o b e a s e r i o u s t h r e a t t o t h e s t u d y . A s u m m a r y o f t h e C o h o r t - C o h o r t c o m p a r i s o n i s p r o v i d e d i n T a b l e 2 - 4 . D i f f e r e n c e s p e r t a i n i n g t o g e o g r a p h i c r e g i o n s a m o n g a l l t h r e e c o h o r t s a r e n o t u n e x p e c t e d . A l l a n d a l l , t h e t h r e e p o p u l a t i o n s a r e q u i t e c l o s e t o e a c h o t h e r o n t h e i d e n t i fi e d v a r i a b l e s w i t h t h e s m a l l d i f f e r e n c e s i n s i z e a n d y e a r s e x p e r i e n c e . T h i s l e v e l o f h o m o g e n e i t y b e t w e e n c o h o r t s w o u l d a p p e a r t o s a t i s f y t h e R e c u r r e n t I n s t i t u t i o n a l C y c l e D e s i g n a s s u m p t i o n t h a t f r o m y e a r t o y e a r t h e p o p u l a t i o n s d o n o t s i g n i fi c a n t l y c h a n g e . T a b l e 2 - 4 : S u m m a r y o f C o h o r t C o m p a r i s o n D e m o g r a p h i c 0 0 1 - 0 2 2 0 0 2 - 0 3 2 0 0 3 - 0 4 V a r i a b l e o h o r t l [ C o h o r t 2 [ C o h o r t 3 [ R e g i o n [ D i f f e r e n t D i f f e r e n t D i f f e r e n t G e n d e r S a m e S a m e D i f f e r e n t Y e a r s o f E x p e r i e n c e S a m e S a m e D i f f e r e n t [ P a s s / F a i l S a m e S a m e N / A C h i S u n a r e f o r C a t e g o r i c a l \ Q g ’ a b l e s T h e s a m e p o p u l a t i o n i s d e fi n e d a s a n a v e r a g e v a l u e o f t h e t o t a l d i v i d e d b y t h e n u m b e r o f c o h o r t s c o m p a r e d . S o t h e d e v i a t i o n i s a m e a s u r e o f h o w d i f f e r e n t t h e a c t u a l i s f r o m t h e e x p e c t e d . W i t h t h i s a n a l y s i s i t i s a p p a r e n t t h a t m o s t c a n d i d a t e s c a m e f r o m t h e S o u t h , W e s t , a n d M i d w e s t a n d t h e f e w e s t c a n d i d a t e s c a m e f r o m t h e N e w E n g l a n d , M i d - A t l a n t i c , a n d S o u t h w e s t e r n s t a t e s . T h e g r e a t e s t d e v i a t i o n f r o m e x p e c t e d v a l u e s i s f o u n d i n t h o s e a r e a s r e p r e s e n t e d b y t h e s m a l l e s t s a m p l e s i z e i n d i c a t i n g t h a t t h e m o s t l i k e l y e x p l a n a t i o n f o r s u c h v a r i a b i l i t y i s d u e t o t h e s m a l l n u m b e r o f i n d i v i d u a l s . T h o u g h t h e s e d i f f e r e n c e s a r e c o n s i s t e n t a c r o s s a l l t h r e e p o p u l a t i o n s , d i f f e r e n c e s b e t w e e n g r o u p s w i t h r e s p e c t t o r e g i o n o f o r i g i n a r e s i g n i fi c a n t a t t h e . 0 5 l e v e l . 6 1 B e s i d e s a v a i l a b i l i t y o f s u p p o r t i v e f u n d i n g a t t h e s t a t e l e v e l , a n o t h e r p o s s i b l e e x p l a n a t i o n f o r i d e n t i fi e d d i f f e r e n c e s i s t h a t t h e t o t a l n u m b e r o f t e a c h e r s s e e k i n g A Y A S c i e n c e c e r t i fi c a t i o n i s s t i l l r e l a t i v e l y s m a l l w h e n c o m p a r e d t o t h e t o t a l n u m b e r o f s e c o n d a r y s c i e n c e t e a c h e r s ( 2 5 0 , 0 0 0 e s t i m a t e d s e c o n d a r y s c i e n c e t e a c h e r s a c c o r d i n g t o t h e N a t i o n a l A s s o c i a t i o n o f S c i e n c e T e a c h e r s , 2 0 0 3 ) . I n a d d i t i o n , t h e s m a l l n u m b e r s o f t o t a l c a n d i d a t e s a r e b e i n g f u r t h e r r e d u c e d i n t o s i x d i f f e r e n t c a t e g o r i e s i n c r e a s i n g t h e c h a n c e s o f i d e n t i f y i n g d i f f e r e n c e s i n p a i r w i s e c o m p a r i s o n s . R e g a r d l e s s o f w h i c h e x p l a n a t i o n i s m o r e c o r r e c t , t h e i d e n t i fi e d d i f f e r e n c e s s h o u l d n o t g r e a t l y i m p a c t t h e r e s u l t s o f t h i s s t u d y s i n c e i n a l l l i k e l i h o o d t h e n u m b e r o f t e a c h e r s w h o d e c i d e t o p u r s u e c e r t i fi c a t i o n i s b e y o n d t h e r e a l m o f c o n t r o l f o r t h e r e s e a r c h e r s . C o h o r t - t o - G r o u p C o m p a g m T u r n i n g t h e f o c u s n o w t o t h e s e l e c t e d g r o u p s f r o m t h e c o h o r t p o p u l a t i o n s , t h e q u e s t i o n b e c o m e s , “ H o w d o t h e s e l e c t e d g r o u p s c o m p a r e t o t h e i r p a r e n t c o h o r t p o p u l a t i o n s ? ” T h e s h o r t a n s w e r i s t h a t e a c h g r o u p i s a r e p r e s e n t a t i v e s a m p l e o f i t s p a r e n t p o p u l a t i o n . A n e x a m i n a t i o n o f e a c h v a r i a b l e p r o v i d e s e v e n m o r e e v i d e n c e f o r t h i s c l a i m . T a b l e 2 - 5 p r o v i d e s a d e t a i l e d s u m m a r y o f e a c h o f t h e t h r e e C o h o r t s a n d t h e i r r e s p e c t i v e g r o u p s a m p l e s . 6 2 T a b l e 2 - 5 : C o h o r t - t o - G r o u p C o m p a r i s o n 2 0 0 1 - 0 2 2 0 0 2 - 0 3 2 0 0 3 - 2 0 0 4 C o h o r t 1 G r o u p 1 C o h o r t 2 G r o u p 2 A G r o u p 2 3 C o h o r t 3 G r o u p 3 4 3 1 4 0 4 3 4 1 8 2 0 3 5 6 N e w M i d - A t l a n t i c S o u t h M i d w e s t S o u t h w e s t W e s t d f Y e a r s o f M e a n S t a n d a r d E r r o r S t a n d a r d D e v i a t i o n N * = 1 : z - s t a t i s t i c P a s s / F a i l A c h i e v e d N o t A c h i e v e d d f * C o r r e c t e d f o r D i s c o n t i n u i t y * * E x c l u d e d c a s e s w i t h d a t a . 6 3 W i t h r e s p e c t t o r e g i o n , a l l f o u r g r o u p s ( 1 , 2 A , Z B , a n d 3 ) d i d n o t d i f f e r s i g n i fi c a n t l y f r o m t h e p a r e n t p o p u l a t i o n a t t h e . 0 5 l e v e l . O n l y G r o u p 1 w a s s i g n i fi c a n t l y d i f f e r e n t a t t h e . 1 0 l e v e l . W h e n g e n d e r i s e x a m i n e d , t h e s a m e c o n d i t i o n e x i s t s : n o g r o u p d i f f e r e d f r o m i t s p a r e n t p o p u l a t i o n a t t h e . 0 5 l e v e l w i t h o n l y G r o u p 1 s h o w i n g a s i g n i fi c a n t d i f f e r e n c e a t t h e . 1 0 l e v e l . F o r t h e P a s s / F a i l c o m p a r i s o n , o n c e a g a i n d a t a w a s o n l y a v a i l a b l e f o r G r o u p s 1 a n d 2 , w h i c h s h o w e d n o s i g n i fi c a n t d i f f e r e n c e s a t e i t h e r t h e . 0 5 o r . 1 l e v e l s . I n t h e C o h o r t - G r o u p a n a l y s i s , ‘ y e a r s o f e x p e r i e n c e ’ p r o v i d e s t h e m o s t a n o m a l o u s r e s u l t s . F i r s t o f a l l , G r o u p 1 i s s i g n i fi c a n t l y d i f f e r e n t f r o m i t s p a r e n t p o p u l a t i o n a t t h e . 0 1 l e v e l w i t h G r o u p 1 h a v i n g o n a v e r a g e m o r e t h e n t h r e e y e a r s m o r e e x p e r i e n c e . T h o u g h c o m p a r i s o n s w i t h t h e o t h e r t h r e e g r o u p s w e r e n o t s i g n i fi c a n t l y d i f f e r e n t , a c l o s e r e x a m i n a t i o n r e v e a l s s o m e i m p o r t a n t t e n d e n c i e s . F o r e x a m p l e , G r o u p s 1 , 2 A , a n d 2 B a l l h a v e m o r e y e a r s e x p e r i e n c e t h a n t h e i r p a r e n t p o p u l a t i o n , t h o u g h b o t h G r o u p 2 A a n d 2 B a r e n o t s i g n i fi c a n t l y d i f f e r e n t . G r o u p 3 , h o w e v e r , h a s f e w e r y e a r s e x p e r i e n c e ( j u s t o v e r 1 y e a r d i f f e r e n c e ) t h a n i t s p a r e n t c o h o r t ( t h o u g h t h i s d i f f e r e n c e w a s a l s o n o t s i g n i fi c a n t ) . G r o u p 3 w o u l d a p p e a r t o b e l e s s e x p e r i e n c e d t h a n G r o u p s 1 a n d 2 . T h i s m a y b e d u e t o a l t e r a t i o n s i n t h e s a m p l i n g p r o c e s s a n d o n e t h a t w o u l d n e e d t o b e a d d r e s s e d i f t h i s s t u d y w a s t o b e r e p e a t e d . W h e n e a c h g r o u p i s c o m p a r e d w i t h i t s c o h o r t o n t h e a v a i l a b l e i n f o r m a t i o n , a r e m a r k a b l e l e v e l o f s i m i l a r i t y e x i s t s . I n s u m m a r y , e a c h g r o u p d e m o n s t r a t e s t h e o b s e r v e d c h a r a c t e r i s t i c s o f r e g i o n , g e n d e r , a n d p a s s / f a i l r a t e s c o n g r u o u s w i t h t h e p a r e n t c o h o r t . O n l y y e a r s o f e x p e r i e n c e s h o w e d s i g n s o f m e a n i n g f u l d i f f e r e n c e , t h o u g h t h i s i s p r o b a b l y b e s t e x p l a i n e d w i t h i n c o n s i s t e n c i e s i n s a m p l i n g p r o c e d u r e s . T h e r e a l s o a p p e a r s t o b e a 6 4 t r e n d t o w a r d s l e s s e x p e r i e n c e d t e a c h e r s a p p l y i n g f o r c e r t i f i c a t i o n w i t h e a c h e n s u i n g y e a r . F o r 2 0 0 2 , t h e a v e r a g e n u m b e r o f y e a r s w a s 1 3 . 1 6 , 2 0 0 3 w a s 1 2 . 7 2 a n d f o r 2 0 0 4 i t d r o p s t o 1 2 . 1 0 y e a r s e x p e r i e n c e . T h e s t u d y a l s o r e fl e c t s t h i s t r e n d w i t h e a c h c o n s e c u t i v e y e a r h a v i n g l e s s y e a r s e x p e r i e n c e t h e n t h e p r i o r y e a r . H o w e v e r , w h e r e s a m p l e s f o r G r o u p s 1 a n d 2 a r e h i g h e r t h a n t h e p o p u l a t i o n , s a m p l e 3 i s l o w e r . A s u m m a r y o f t h e a n a l y s i s b e t w e e n C o h o r t a n d G r o u p s i s p r o v i d e d i n T a b l e 2 - 6 . T a b l e 2 - 6 : S u m m a r y o f C o h o r t t o G r o u p C o m p a r i s o n s f o r D i f f e r e n c e s D e m o g r a p h i c 2 0 0 1 - 0 2 2 0 0 2 - 0 3 2 0 0 3 - 2 0 0 4 V a r i a b l e l C o h o r t l - G l t h o r t 2 - G 2 A [ C o h o r t 2 - G Z B l C o h o r t 3 - G 3 e g i o n N o t D i f f e r e n t N o t D i f f e r e n t N o t D i f f e r e n t N o t D i f f e r e n t G e n d e r N o t D i f f e r e n t N o t D i f f e r e n t N o t D i f f e r e n t N o t D i f f e r e n t e a r s o f E x p e r i e n c e i f f e r e n t N o t D i f f e r e n t N o t D i f f e r e n t N o t D i f f e r e n t a s s / F a i l o t D i f f e r e n t N o t D i f f e r e n t N o t D i f f e r e n t N / A G r o u l t o - G r o u p C o m p a r i s o n T h e l a s t q u e s t i o n c o n c e r n i n g d e m o g r a p h i c s t h a t n e e d s t o b e a d d r e s s e d i s “ H o w d o t h e s e l e c t e d s a m p l e s f r o m e a c h c o h o r t c o m p a r e w i t h e a c h o t h e r o n a w i d e r r a n g e o f c h a r a c t e r i s t i c s ? ” T h e R e c u r r e n t I n s t i t u t i o n a l C y c l e D e s i g n r e s t s u p o n a k e y a s s u m p t i o n t h a t f r o m y e a r t o y e a r , t h e s a m p l e s s e l e c t e d f r o m t h e p a r e n t p o p u l a t i o n s ( c o h o r t s ) f o r t h e s t u d y w i l l n o t d i f f e r g r e a t l y f r o m e a c h o t h e r . E v e n i f d i f f e r e n c e s a r e i d e n t i fi e d f r o m y e a r t o y e a r i n t h e t a r g e t p o p u l a t i o n s , t h e s e d i f f e r e n c e s m a y o r m a y n o t b e c o m e m a n i f e s t i n t h e s e l e c t e d s a m p l e s . T o f a c i l i t a t e t h e e f fi c i e n t a n a l y s i s o f t h e m o r e a b u n d a n t d e m o g r a p h i c i n f o r m a t i o n o n c a n d i d a t e s a t t h e G r o u p l e v e l i n t h i s s t u d y , v a r i a b l e s h a v e b e e n d i v i d e d i n t o c a t e g o r i c a l , c o n t i n u o u s , a n d s u r v e y t y p e d a t a . M o r e d e t a i l e d a n d e x t e n s i v e i n f o r m a t i o n r e g a r d i n g e d u c a t i o n a l h i s t o r y , i n s t i t u t i o n s a t t e n d e d , c e r t i fi c a t i o n a n d p r e p a r a t i o n p r o g r a m d e t a i l s , s t a n d a r d i z e d t e s t 6 5 s c o r e s f o r b o t h s t u d e n t s a n d t e a c h e r s , g r a d u a t i o n a n d d r o p o u t r a t e s i n s c h o o l s , d i s t r i c t p r o fi l e s , a n d s o c i o - e c o n o m i c i n d i c a t o r s s u c h a s r a t e o f f r e e a n d r e d u c e d l u n c h w e r e n o t c o l l e c t e d . I n s t e a d , t h r e e b r i e f s u r v e y q u e s t i o n s w e r e a s k e d a t t h e t i m e o f w r i t t e n c o n s e n t t h a t a s k e d e a c h c a n d i d a t e a b o u t a ) h o w t h e y l e a r n e d a b o u t N a t i o n a l B o a r d c e r t i fi c a t i o n , b ) t h e i r m o t i v a t i o n f o r p u r s u i n g N a t i o n a l B o a r d c e r t i fi c a t i o n , a n d 3 ) t h e s u p p o r t a v a i l a b l e / u t i l i z e d d u r i n g t h e i r e f f o r t s t o w a r d s c e r t i fi c a t i o n . T h e r e a s o n f o r t h e o m i s s i o n o f i n q u i r i e s i n t o o t h e r i m p o r t a n t c a n d i d a t e a n d s c h o o l c h a r a c t e r i s t i c s w a s m o r e p r a c t i c a l t h a n t h e o r e t i c a l . I w a s v e r y s e n s i t i v e t o t h e t i m e d e m a n d s o f t h e s t u d y o n t e a c h e r s w h o a l r e a d y h a d a f u l l a g e n d a o f w o r k r e l a t e d r e s p o n s i b i l i t i e s . I t w a s t h o u g h t t h a t a m o r e e x t e n s i v e a n d t h e r e f o r e t i m e - c o n s u m i n g p r e - i n t e r v i e w s u r v e y w o u l d p r o v e a s i g n i fi c a n t d e t e r r e n c e t o p a r t i c i p a t i o n i n t h e s t u d y . I n a d d i t i o n , t h e i n t e r v i e w w a s a l r e a d y l o n g e r t h a n a n h o u r . E v e r y a d d i t i o n a l q u e s t i o n w o u l d p u t m o r e d e m a n d o n t h e a t t e n t i o n o f t h e p a r t i c i p a t i n g t e a c h e r a n d t h u s m i g h t l e a d t o a d e c r e a s e o f q u a l i t y i n t h e r e s p o n s e s p r o v i d e d . T h o u g h i t w o u l d h a v e b e e n h e l p f u l t o c o l l e c t t h e o m i t t e d d a t a s e t s , p r e s s u r e s o f p r a c t i c a l i t y a n d t i m e r e s t r a i n t s r e s u l t e d i n t h e c u r r e n t c o m p r o m i s e o f d e m o g r a p h i c v a r i a b l e s . C a t e g o r i c a l V a r i a b l e s C a t e g o r i c a l v a r i a b l e s c o m m u n i c a t e i n f o r m a t i o n t h a t f a l l s w i t h i n a s e r i e s o f p a r t i c u l a r c h o i c e s ( i . e . G e n d e r ) r a t h e r t h a n a r a n g e ( i . e . a g e ) . T h e a d d i t i o n a l d e m o g r a p h i c i n f o r m a t i o n f o r p a r t i c i p a n t s i n e a c h g r o u p w a s c o l l e c t e d b o t h p r i o r t o a n d a t t h e b e g i n n i n g o f e a c h i n t e r v i e w . T h e a n a l y s i s o f c a t e g o r i c a l v a r i a b l e s i s s u m m a r i z e d i n T a b l e 2 - 7 . A C h i - S q u a r e a n a l y s i s o f t h e s e v a r i a b l e s r e v e a l s n o s i g n i fi c a n t d i f f e r e n c e s b e t w e e n g r o u p s . T h e d i s t r i b u t i o n o f t e a c h e r s w i t h r e s p e c t t o g r a d e s t a u g h t , c o n t e n t 6 6 s p e c i a l t y , s c h o o l c o n t e x t , g e o g r a p h i c l o c a t i o n , s t u d e n t t y p e , o r g e n d e r a p p e a r s t o b e t h e s a m e a c r o s s a l l g r o u p s . T a b l e 2 - 7 : G r o u p - t o - G r o u p C o m p a r i s o n s o n C a t e g o r i c a l D e m o g r a p h i c V a r i a b l e s % ) 1 0 t h 1 1 t h - 1 2 t h 1 2 t h A s p e c i a l n o t e a b o u t ‘ s t u d e n t t y p e ’ : N o o u t s i d e m e a s u r e m e n t s s u c h a s s t a n d a r d i z e d a s s e s s m e n t s , d i s t r i c t w i d e t e s t s , o r a n y o t h e r f o r m o f d a t a w a s c o l l e c t e d o n t h e s t u d e n t s o f t h e t e a c h e r s i n t h i s s t u d y . T h e d a t a o n ‘ s t u d e n t a b i l i t y ’ o r ‘ s t u d e n t t y p e ’ r e s u l t s f r o m a t e a c h e r ’ s s e l f - r e p o r t . M o r e s p e c i fi c a l l y , e a c h t e a c h e r w a s a s k e d , “ H o w w o u l d y o u g e n e r a l l y d e s c r i b e y o u r s t u d e n t s ? ” T h e a s s i g n m e n t o f a 1 , 2 , 3 , o r 4 w a s 6 7 b a s e d u p o n t h e t e a c h e r ’ s d e s c r i p t i o n . I f t h e t e a c h e r s a i d t h a t g e n e r a l l y s p e a k i n g t h e i r s t u d e n t s w e r e ‘ b e l o w a v e r a g e ” a b i l i t y o r “ l o w ” a c h i e v e r s , t h e n t h a t w a s c o d e d a s a ‘ 1 ’ . I f t h e t e a c h e r s a i d t h a t t h e i r s t u d e n t s w e r e ‘ a v e r a g e ’ a b i l i t y , t h e n t h a t w a s c o d e d a s a ‘ 2 ’ . I f a t e a c h e r s a i d t h a t t h e i r s t u d e n t s w e r e “ a b o v e a v e r a g e ” i n a b i l i t y o r “ h i g h ” a c h i e v e r s , t h e n t h i s w a s c o d e d a s a ‘ 3 ’ . I n s o m e c a s e s t h e t e a c h e r w o u l d i n d i c a t e t h a t t h e i r s t u d e n t s ‘ r a n t h e g a m u t ’ o f a b i l i t i e s o r t h a t t h e i r s t u d e n t s w e r e a ‘ m i x ’ o r ‘ v a r i e d ’ i n a b i l i t y . I n t h e e v e n t t h a t a t e a c h e r i n d i c a t e d t h a t t h e r e w a s a r a n g e o f s t u d e n t a b i l i t i e s i n t h e i r c l a s s e s , t h e r e s p o n s e w a s c o d e d a s a ‘ 4 ’ . R a t h e r t h e n b e a m e a s u r e o f s t u d e n t a b i l i t y , t h i s i n f o r m a t i o n i s m o r e o f a n i n d i c a t i o n o f h o w t e a c h e r s p e r c e i v e d t h e i r s t u d e n t s a b i l i t i e s . I n t e r e s t i n g l y e n o u g h , t e a c h e r s w h o d e s c r i b e d t h e i r s t u d e n t s a s ‘ h i g h ’ a c h i e v e r s ( c o d e d a s a 3 ) w e r e c o r r e l a t e d w i t h s u b j e c t s w h o r a t e d h i g h e r i n t h i s s t u d y . T h i s t e n d e n c y w a s c o n s i s t e n t f o r b o t h t h e p r e a n d p o s t o b s e r v a t i o n s . T r a n s l a t e d , t h i s m i g h t m e a n t h a t t e a c h e r s w h o h a d g r e a t e r f a i t h o r m o r e o p t i m i s t i c p e r c e p t i o n o f t h e i r s t u d e n t s a b i l i t i e s w e r e m o r e l i k e l y t o s c o r e h i g h e r w h e n c o m p a r e d t o t h o s e t e a c h e r s w h o r a t e d t h e i r s t u d e n t s l e s s t h a n ‘ h i g h ’ . T h o s e w h o d e s c r i b e d t h e i r s t u d e n t s a s m i x e d s c o r e d o n a p a r w i t h t h e g r o u p t h a t s a i d t h e i r s t u d e n t s w e r e a v e r a g e . T h i s a p p a r e n t r e l a t i o n s h i p c o u l d r e p r e s e n t s t e a c h e r s ’ a c c u r a t e r e fl e c t i o n o f s t u d e n t a b i l i t y a n d t h u s t e a c h e r s w i t h b e l o w a v e r a g e a c a d e m i c p e r f o r m a n c e , d o n o t s c o r e a s w e l l a s t h e i r p e e r s i n t h i s s t u d y . O r , t h e i r p e r c e p t i o n s m a y o r m a y n o t b e a n a c c u r a t e r e fl e c t i o n o f s t u d e n t a b i l i t y , b u t t e a c h e r s w h o b e l i e v e t h e i r s t u d e n t s a r e h i g h e r t h a n a v e r a g e p e r f o r m e r s ( o r a n o t h e r w a y t o t h i n k o f i t c o u l d b e t h e s e t e a c h e r s h a v e h i g h e r e x p e c t a t i o n s o f s u c c e s s ) a r e m o r e l i k e l y t o s c o r e b e t t e r i n t h i s s t u d y . E i t h e r w a y , t h e r e s u l t s d o n o t a f f e c t t h e a n a l y s i s o r r e s u l t s o f t h i s 6 8 s t u d y d i r e c t l y , b u t r a t h e r t h e o b s e r v a t i o n s e r v e s a s a n i n t e r e s t i n g p o i n t f o r p o s s i b l e f u t u r e r e s e a r c h . C o n t i n u o u s V a r i a b l e s I f t h e c o n t i n u o u s v a r i a b l e s a r e i n c l u d e d w i t h t h e g r o u p - t o — g r o u p c o m p a r i s o n , s o m e s i g n i fi c a n t d i f f e r e n c e s c a n b e i d e n t i fi e d w i t h u s e o f t - t e s t s . A d e t a i l e d s u m m a r y o f t h e s e c o m p a r i s o n s i s p r o v i d e d i n T a b l e 2 - 8 . T h o u g h g r o u p s d i d n o t d i f f e r w i t h t h e a v e r a g e s i z e o f t h e i r c l a s s e s o r t h e l e n g t h o f t h e i r r e s p o n s e s i n t h i s s t u d y , t h e y w e r e d i f f e r e n t w i t h r e s p e c t t o y e a r s o f e x p e r i e n c e ( S e e T a b l e 2 - 9 ) . E a c h c o n s e c u t i v e y e a r s a w a d e c r e a s e i n t h e a v e r a g e n u m b e r o f y e a r s t a u g h t o v e r t h e c o u r s e o f t h i s s t u d y . J u s t a s w i t h t h e p a r e n t p o p u l a t i o n s , t h e y e a r s o f e x p e r i e n c e d e c r e a s e d f r o m G r o u p 1 t o G r o u p 2 t o G r o u p 3 . M o r e s p e c i fi c a l l y , G r o u p 3 d e m o n s t r a t e s a d i f f e r e n c e a t t h e . 0 5 l e v e l . I n a d d i t i o n , n o t o n l y d o e s G r o u p 3 h a v e f e w e r y e a r s e x p e r i e n c e t h a n G r o u p s 1 a n d 2 , b u t i t a l s o s h o w s f e w e r y e a r s e x p e r i e n c e t h a n i t s p a r e n t p o p u l a t i o n . T h i s r e l a t i o n s h i p i s c o n s i s t e n t w i t h t h e C o h o r t - G r o u p c o m p a r i s o n , w h i c h a l s o s h o w e d t h a t G r o u p 3 h a d f e w e r y e a r s e x p e r i e n c e t h a n t h e o t h e r t w o p r e c e d i n g c o h o r t s . 6 9 T a b l e 2 - 8 : G r o u p - t o - G r o u p C o m p a r i s o n s o n C o n t i n u o u s D e m o g r a p h i c V a r i a b l e s G r o u p s C o m o a r i s o n s o f t h e S a n p l e G r o u m Q ) A : 2 _ 5 5 a m i a . a . a . o . l ” “ 5 8 m g L : 3 z : 1 : 1 8 E E , ' 3 e e 2 e a u . E ; o > A o o o o g a m 2 u . d : 1 8 2 0 4 0 E r p e r i e n o e . 4 6 T a b l e 2 - 9 : O r t h o g o n a l C o n t r a s t T e s t s b e t w e e n G r o u p s o n Y e a r s o f E x p e r i e n c e V S 1 v s G r o u p 2 1 3 8 . 5 9 6 3 8 . 5 9 5 9 5 2 A v s 2 B 1 3 . 8 3 . 8 S u r v e y Q u e s t i o n s B e f o r e a c a n d i d a t e w a s i n t e r v i e w e d , t h e y p r o v i d e d a s i g n e d C o n s e n t F o r m ( S e e A p p e n d i c e s I & J ) i n a c c o r d a n c e w i t h t h e U n i v e r s i t y ’ s p o l i c y r e g a r d i n g t h e e t h i c a l c o n d u c t o f r e s e a r c h . O n t h i s f o r m w e r e f o u r m u l t i p l e - c h o i c e q u e s t i o n s a i m e d a t g e t t i n g a s e n s e o f h o w t h e c a n d i d a t e a ) l e a r n e d a b o u t N a t i o n a l B o a r d c e r t i fi c a t i o n , b ) w h a t i n c e n t i v e s m a y h a v e b e e n i n v o l v e d i n t h e c h o i c e t o p u r s u e c e r t i fi c a t i o n , a n d w h a t ( i f a n y ) 7 0 r e s o u r c e s t h e y m a y h a v e u s e d d u r i n g t h e p r o c e s s . T h e r e s u l t s s h o w n i n T a b l e 2 - 1 0 i n d i c a t e s o m e i n t e r e s t i n g s i m i l a r i t i e s a n d d i f f e r e n c e s . T a b l e 2 - 1 0 : G r o u p - t o - G r o u p C o m p a r i s o n s o n S u r v e y Q u e s t i o n R e s p o n s e s G r o u p 1 G r o u p 2 A G r o u p Z B G r o u p 3 S q u a r e p < 1 . H o w d i d y o u f i r s t h e a r a b o u t N a t i o n a l B o a r d c e r t i f i c a t i o n ? a ) c o l l e a g u e 4 7 . 5 0 4 4 . 4 4 5 0 . 0 0 6 5 . 0 0 3 . 3 9 5 0 . 3 3 5 b ) m e d i a 7 . 5 0 2 7 . 7 8 2 0 . 0 0 5 . 0 0 8 . 1 5 6 0 . 0 4 3 c ) u n i o n 1 0 . 0 0 5 . 5 6 5 . 0 0 5 . 0 0 1 . 0 0 0 0 . 8 0 1 ( 1 ) s c h o o l a d m i n i s t r a t i o n 1 5 . 0 0 1 1 . 1 1 2 0 . 0 0 1 5 . 0 0 0 . 5 9 1 0 . 8 9 8 e ) o t h e r ( p l e a s e s p e c i f y ) : 3 5 . 0 0 3 3 . 3 3 2 0 . 0 0 1 5 . 0 0 5 . 1 3 1 0 . 1 6 2 N a t i o n a l B o a r d C e r t i fi c a t i o n ? 2 . W h a t i n c e n t i v e s d i d y o u r d i s t r i c t , s t a t e , o r s c h o o l o f f e r t o e n c o u r a g e t e a c h e r s t o p u r s u e a ) s a l a r y . s t e p . o r r a n k i n c r e a s e 3 7 . 5 0 3 3 . 3 3 8 0 . 0 0 3 2 . 5 0 1 4 . 1 8 4 0 . 0 0 3 b ) y e a r l y b o n u s f o r l i f e o f c e r t i fi c a t e 5 2 . 5 0 2 7 . 7 8 3 0 . 0 0 5 2 . 5 0 5 . 7 9 5 0 . 1 2 2 c ) o n e - t i m e b o n u s u p o n a c h i e v i n g c e r t i fi c a t i o n 1 2 . 5 0 2 7 . 7 8 5 0 . 0 0 1 7 . 5 0 1 1 . 6 7 9 0 . 0 0 9 ( 1 ) n o n e 1 2 . 5 0 5 . 5 6 5 . 0 0 1 2 . 5 0 1 . 4 8 0 0 . 6 8 7 e ) o t h e r ( p l e a s e s p e c i f y ) : 2 0 . 0 0 2 2 . 2 2 3 0 . 0 0 2 0 . 0 0 0 . 9 3 2 0 . 8 1 8 d o y o u a n t i c i p a t e u s i m r h a v e u s e d ? 3 . I n y o u r e f f o r t s t o c o m p l e t e t h e c e r t i fi c a t i o n r e q u i r e m e n t s , w h i c h o f t h e f o l l o w i n g r e s o u r c e ( s ) a ) s c h o o l o r d i s t r i c t s u p p o r t g r o u p 5 0 . 0 0 7 7 . 7 8 2 0 . 0 0 6 5 . 0 0 1 5 . 6 2 0 0 . 0 0 1 ' 0 ) e m a i l g r o u p 1 0 . 0 0 1 1 . 1 1 6 0 . 0 0 3 2 . 5 0 2 0 . 1 5 1 0 . 0 0 3 1 c ) w e b 2 5 . 0 0 3 8 . 8 9 2 0 . 0 0 4 0 . 0 0 3 . 8 1 2 0 . 2 8 2 d ) n o n e 1 0 . 0 0 1 1 . 1 1 5 . 0 0 2 . 5 0 2 . 4 5 0 0 . 4 8 4 ] 6 ) o t h e r ( p l e a s e s p e c i f y ) : 5 2 . 5 0 2 2 . 2 2 2 5 . 0 0 4 5 . 0 0 7 . 2 0 4 0 . 0 6 6 ] W i t h r e g a r d s t o t h e fi r s t q u e s t i o n o n h o w t h e c a n d i d a t e h e a r d a b o u t N a t i o n a l B o a r d c e r t i fi c a t i o n , o n l y G r o u p 2 A w a s d i f f e r e n t . T h e y h e a r d a b o u t t h e c e r t i fi c a t i o n p r o c e s s t h r o u g h t h e m e d i a t o a h i g h e r d e g r e e t h a n t h e r e s t o f t h e g r o u p s . T h e r e s t o f t h e g r o u p s h e a r d a b o u t N a t i o n a l B o a r d c e r t i fi c a t i o n p r i m a r i l y t h r o u g h c o l l e a g u e s ( i . e . w o r d o f m o u t h ) . Q u e s t i o n # 2 w a s p o t e n t i a l l y a v e r y i m p o r t a n t q u e s t i o n f o r t h i s s t u d y . I f e n o u g h i n d i v i d u a l s i n d i c a t e d t h a t t h e y p u r s u e d N a t i o n a l B o a r d c e r t i fi c a t i o n w i t h n o fi n a n c i a l i n c e n t i v e , t h e n a m e a n s o f c o m p a r i n g l e a r n i n g o u t c o m e s b e t w e e n t h o s e w i t h i n t r i n s i c 7 1 m o t i v a t i o n ( n o i n c e n t i v e s ) a n d t h o s e c a n d i d a t e s w i t h e x t r i n s i c m o t i v a t i o n ( i n c e n t i v e s ) w o u l d b e p o s s i b l e . U n f o r t u n a t e l y , a p p r o x i m a t e l y 9 0 % o f t h e t e a c h e r s p a r t i c i p a t i n g i n t h i s s t u d y a c r o s s a l l g r o u p s l i s t e d s o m e f o r m o f fi n a n c i a l i n c e n t i v e . T h e r e f o r e , a n i m p o r t a n t d i m e n s i o n o f l i n k i n g l e a r n i n g w i t h m o t i v a t i o n c o u l d n o t b e a d d r e s s e d . W h a t t h e r e s u l t s d o s h o w i s t h a t a m o n g t h e 9 0 % w h o h a d s o m e s o r t o f fi n a n c i a l i n c e n t i v e , G r o u p 2 B w a s s i g n i fi c a n t l y d i f f e r e n t t h a n t h e o t h e r g r o u p s i n t h a t t h e y w e r e m o r e l i k e l y t o b e e n t i c e d b y s a l a r y , s t e p , a n d / o r r a n k i n c r e a s e o r w i t h a o n e t i m e b o n u s a f t e r s u c c e s s f u l l y c o m p l e t i n g t h e p r o c e s s . W i t h r e g a r d s t o Q u e s t i o n # 3 o n s u p p o r t t h r o u g h t h e p r o c e s s , G r o u p 2 A a n d G r o u p 3 w e r e m o r e l i k e l y t o e x p e c t s u p p o r t f r o m t h e i r s c h o o l o r t h r o u g h a d i s t r i c t s u p p o r t g r o u p ; w h e r e a s G r o u p 2 B u t i l i z e d s u p p o r t f r o m a n e m a i l o r o n l i n e r e s o u r c e . G e n e r a l l y s p e a k i n g , a p p r o x i m a t e l y 9 0 % o f t h e s u b j e c t s i n t h i s s t u d y u t i l i z e d s o m e f o r m o f s u p p o r t t o h e l p t h e m t h r o u g h t h e c e r t i fi c a t i o n p r o c e s s . T o w h a t e x t e n t a n d h o w v a l u a b l e t h i s s u p p o r t w a s t o t h e i r e f f o r t s i s u n k n o w n . Q u e s t i o n s r e g a r d i n g t h e r o l e o f s u p p o r t n e t w o r k s a n d / o r m o t i v a t i n g f a c t o r s i n t h e q u a l i t y a n d q u a n t i t y o f l e a r n i n g f r o m N a t i o n a l B o a r d c e r t i fi c a t i o n m u s t b e l e f t t o f u t u r e r e s e a r c h p r o j e c t s . F o r n o w a n d f o r p u r p o s e s o f t h i s s t u d y , t h e r e s p o n s e s t o t h e s e q u e s t i o n s p a i n t a f a i r l y c l e a r p i c t u r e . F i r s t o f a l l , a m a j o r i t y o f t e a c h e r s h e a r d a b o u t N a t i o n a l B o a r d c e r t i fi c a t i o n t h r o u g h a c o l l e a g u e . F i n a l l y , N e a r l y a l l t h e t e a c h e r s w h o p a r t i c i p a t e d i n t h i s s t u d y h a d s o m e f o r m o f fi n a n c i a l i n c e n t i v e a n d u t i l i z e d s o m e f o r m o f s u p p o r t t h r o u g h t h e p r o c e s s . T h e s i g n i fi c a n t d i f f e r e n c e s i d e n t i fi e d w i t h t h i s a n a l y s i s ( i . e . G r o u p 2 A h e a r i n g a b o u t c e r t i fi c a t i o n t h r o u g h t h e m e d i a o r G r o u p 2 B ’ s d i f f e r e n c e w i t h i n c e n t i v e ) a r e m o s t l i k e l y d u e t o t h e s m a l l s a m p l e s i z e o f G r o u p 2 A ( n = 1 8 ) a n d 2 B ( n = 2 0 ) . T h i s e x p l a n a t i o n 7 2 i s s u p p o r t e d b y t h e f a c t t h a t s i g n i f i c a n t d i f f e r e n c e s w e r e n o t f o u n d i n e i t h e r o f t h e l a r g e r G r o u p 1 a n d 3 . I n a d d i t i o n , i f t h e r e s u l t s f r o m G r o u p s 2 A a n d 2 B a r e a v e r a g e d ; t h e r e d i f f e r e n c e s f r o m t h e r e s t o f t h e s t u d y w o u l d i n a l l l i k e l i h o o d d i s a p p e a r . T h e r e f o r e , i t i s n o t n e c e s s a r y t o p l a c e t o o m u c h i m p o r t a n c e o n h o w t h e s e d i f f e r e n c e s m i g h t r e l a t e t o t h e o b s e r v e d r e s u l t s . I n a n a l y z i n g t h e s i m i l a r i t i e s a n d d i f f e r e n c e s b e t w e e n G r o u p s 1 , 2 A , 2 B , a n d 3 w i t h r e g a r d s t o d e m o g r a p h i c i n f o r m a t i o n , 1 2 d i f f e r e n t c h a r a c t e r i s t i c s w e r e c o m p a r e d . T a b l e 2 - 1 1 p r o v i d e s a s u m m a r y o f w h e r e s i g n i fi c a n t d i f f e r e n c e s w e r e i d e n t i fi e d . O f t h o s e a r e a s t h a t s h o w e d d i f f e r e n c e ( i . e . Y e a r s o f E x p e r i e n c e , L e a r n i n g o f , I n c e n t i v e f o r , a n d S u p p o r t f o r N a t i o n a l B o a r d c e r t i fi c a t i o n ) , t h e m o s t i m p o r t a n t w o u l d a p p e a r t o b e Y e a r s o f E x p e r i e n c e . I n C h a p t e r 3 , t h e s e v a r i a b l e s w i l l b e r e v i s i t e d a s p o s s i b l e c o n f o u n d i n g v a r i a b l e s i n e x p l a i n i n g o b s e r v e d c h a n g e s f r o m p r e t o p o s t o b s e r v a t i o n s . T a b l e 2 - 1 1 : S u m m a r y o f G r o u p - t o - G r o u p C o m p a r i s o n s o n D e m o g r a p h i c V a r i a b l e s l D e m o g r a p h i c C h a r a c t e r i s t i c G r o u p 1 G r o u p 2 A G r o u p 2 B G r o u p 3 G R A D E S ' N D N D N D N D C O N T E N T N D N D N D N D S C H O O L N D N D N D N D R E G I O N N D N D N D N D S T U D E N T S N D N D N D N D G E N D E R N D N D N D N D Y e a r s o f T e a c h i n g E x p e r i e n c e N D N D N D D i f f e r e n t C l a s s S i z e N D N D N D N D L e n g t h o f P r o fi l e s ( W O R D S ) N D N D N D N D L e a r n o f N a t i o n a l B o a r d N D D i f f e r e n t N D N D I n c e n t i v e f o r N a t i o n a l B o a r d N D N D D i f f e r e n t N D S u p p o r t f o r N a t i o n a l B o a r d N D N D D i f f e r e n t N D N D - N o t S i g n i fi c a n t l y D i f f e r e n t I n s t r u m e n t a t i o n T h e r e w e r e t w o i n v e s t i g a t i v e i n s t r u m e n t s u s e d o v e r t h e c o u r s e o f t h i s s t u d y : t h e i n t e r v i e w p r o t o c o l s a n d t h e a s s e s s m e n t r u b r i c s . T h e i n t e r v i e w p r o t o c o l s w e r e d e v e l o p e d 7 3 d u r i n g t h e p i l o t i n v e s t i g a t i o n ( L u s t i c k , 2 0 0 1 ) a n d l a t e r r e fi n e d d u r i n g t h e i n i t i a l i n t e r v i e w s o f t h i s s t u d y . T h e p r o t o c o l s w e r e d e s i g n e d t o m i m i c t h e e n t i r e p o r t f o l i o c o n s t r u c t i o n p r o c e s s , b u t o n a m u c h s m a l l e r s c a l e . W h e r e t h e a v e r a g e c a n d i d a t e m i g h t s p e n d u p w a r d s o f 4 0 0 h o u r s c o n s t r u c t i n g t h e i r p o r t f o l i o o v e r a f o u r t o n i n e m o n t h p e r i o d , t h i s i n v e s t i g a t i o n a t t e m p t e d t o c o l l e c t t h e s a m e s o r t s o f e v i d e n c e p r o v i d e d i n a p o r t f o l i o t h r o u g h a 7 0 - m i n u t e i n t e r v i e w . T h e s t r u c t u r e d s t i m u l i - r e s p o n s e i n t e r v i e w w a s e m p l o y e d i n t h i s s t u d y b e c a u s e o f i t s a d v a n t a g e s f o r c o l l e c t i n g r i c h e r d a t a w h e n c o m p a r e d t o s u r v e y s a n d s e l f - r e p o r t i n g i n s t r u m e n t s . R e s e a r c h i n t h i s a r e a h a s i n d i c a t e d t h a t a s t r u c t u r e d i n t e r v i e w c a n r e s u l t i n a m o r e r o b u s t d a t a b a s e . A s M u l l e n s s t a t e s i n a r e p o r t o n a s s e s s i n g t h e i m p a c t o f t h e E i s e n h o w e r P r o f e s s i o n a l D e v e l o p m e n t P r o g r a m o n t e a c h e r q u a l i t y S t r u c t u r e d i n t e r v i e w s w i t h t e a c h e r s a l l o w f o r a d i f f e r e n t t y p e o f a s s e s s m e n t o f t e a c h e r s ’ e x p e r i e n c e w i t h p r o f e s s i o n a l d e v e l o p m e n t a n d o f c h a n g e s i n t h e i r k n o w l e d g e a n d p r a c t i c e s . P r o b i n g q u e s t i o n s a l l o w r e s e a r c h e r s t o g a t h e r d e t a i l e d d a t a o n t h e i n fl u e n c e o f p r o f e s s i o n a l d e v e l o p m e n t a c t i v i t i e s o n t e a c h e r s b e l i e f s y s t e m s a n d t o a l e s s e r e x t e n t p r a c t i c e s . T h i s k i n d o f i n q u i r y p r o v i d e s a b a s i s f o r u n d e r s t a n d i n g t h e e f f e c t i v e n e s s o f s p e c i fi c t y p e s o f l e a r n i n g o p p o r t u n i t i e s a n d h o w t h e d e l i v e r y o f t h o s e o p p o r t u n i t i e s b e n e fi t s t e a c h e r s m o s t . M u l l e n s e t a l , 1 9 9 6 S i n c e t h e g o a l o f t h i s s t u d y w a s t o a s s e s s k n o w l e d g e a n d ‘ c h a n g e s i n t h e i r k n o w l e d g e ’ , t h e u s e o f a s t r u c t u r e d i n t e r v i e w s e e m e d q u i t e a p p r o p r i a t e . B e c a u s e d a t a c o l l e c t i o n b y s t r u c t u r e d i n t e r v i e w i s m o r e l a b o r i n t e n s i v e a n d l e s s p r a c t i c a l t o u s e o n a l a r g e s c a l e , i t i s m u c h l e s s c o m m o n t h a n o t h e r f o r m s o f d a t a c o l l e c t i o n s u c h a s s u r v e y s o r s e l f - r e p o r t s ( M u l l e n s e t a l , 1 9 9 6 ) . T h e s t r u c t u r e d i n t e r v i e w d e v e l o p e d f o r t h i s s t u d y e m e r g e s i n p a r t f r o m a t e c h n i c a l r e p o r t b y K e n n e d y , B a l l , a n d M c D a i r m i d o n e x a m i n i n g a n d t r a c k i n g c h a n g e s i n t e a c h e r k n o w l e d g e t h r o u g h r e s e a r c h ( K e n n e d y , B a l l , a n d M c D a i r m i d , 1 9 9 3 ) . I n t h i s r e p o r t , t h e 7 4 a u t h o r s s t a t e t h a t o n e p o s s i b l e w a y o f i d e n t i f y i n g c h a n g e s i n w h a t t e a c h e r s k n o w i s b y “ p r e s e n t i n g t e a c h e r s w i t h h y p o t h e t i c a l t e a c h i n g s i t u a t i o n s ” . T h e y g o o n t o s t a t e t h a t “ i f t h e s i t u a t i o n s w e r e s t a n d a r d i z e d ” t h e n “ t h e a m o u n t o f i r r e l e v a n t , i d i o s y n c r a t i c d i f f e r e n c e s i n r e s p o n s e s ” c o u l d b e r e d u c e d a n d “ t h e d e t a i l e d , c o n t e x t u a l i z e d i n f o r m a t i o n a b o u t t e a c h e r s p e r c e p t i o n s o f p r a c t i c e ” w o u l d b e i n c r e a s e d . F o c u s i n g t h e p r o t o c o l s o n t e a c h i n g s i t u a t i o n s a n d s t a n d a r d i z i n g t h e m f o r a l l s t u d y p a r t i c i p a n t s “ a l l o w s f o r r e s e a r c h e r s t o s e e h o w t h e v a r i o u s a s p e c t s o f e x p e r t i s e — k n o w l e d g e , b e l i e f s , a t t i t u d e s a b o u t l e a r n i n g t e a c h i n g a n d s u b j e c t m a t t e r w e r e d r a w n o n t o m a k e t e a c h i n g d e c i s i o n s ” ( K e n n e d y , B a l l , & M c D a i r m i d , 1 9 9 3 ) . T h e s t r u c t u r e d s t i m u l u s - r e s p o n s e i n t e r v i e w f o r t h i s s t u d y h a d 6 s e c t i o n s r e p r e s e n t i n g a l l p a r t s o f t h e p o r t f o l i o c o n s t r u c t i o n . 8 E a c h s e c t i o n w a s m o d e l e d a f t e r e a c h t h e m e o f t h e f o u r m a n d a t o r y p o r t f o l i o e n t r i e s a s w e l l a s t h e b a c k g r o u n d a n d s c h o o l c o n t e x t i n f o r m a t i o n t h a t i s a l s o r e q u i r e d . T h e s e c t i o n i n c l u d e d a p e d a g o g i c a l ‘ s c e n a r i o ’ t y p i c a l o f a s e c o n d a r y s c i e n c e c l a s s r o o m . T a b l e 2 - 1 2 s u m m a r i z e s a c o m p a r i s o n b e t w e e n t h e s t r u c t u r e d i n t e r v i e w p r o t o c o l s a n d t h e r e q u i r e m e n t s ( p o r t f o l i o a n d a s s e s s m e n t c e n t e r e x e r c i s e s ) f o r c e r t i fi c a t i o n . T a b l e 2 - 1 2 : S t r u c t u r e d I n t e r v i e w a n d P o r t f o l i o C o n s t r u c t i o n C o m p a r i s o n D e v e l o p m e n t , a n d L e a d e r s h i p R e q u i r e d A s p e c t s S t r u c t u r e d I n t e r v i e w P r o t o c o l s N B P T S P o r t f o l i o E n t r y I n t r o d u c t o r y ( m e s t i o n s T e a c h e r B a c k g r o u n d T e a c h e r B a c k g r o u n d S c h o o l C o n t e x t S c h o o l C o n t e x t S t u d e n t P r o fi l e S t u d e n t P r o fi l e S c e n a r i o # 1 T e a c h i n g a M a j o r I d e a i n S c i e n c e T e a c h i n g a M a j o r I d e a i n S c i e n c e O v e r T i m e O v e r T i m e S c e n a r i o # 2 S c i e n t i fi c I n q u i r y S c i e n t i fi c I n q u i r y S c e n a r i o # 3 B e s t P r a c t i c e A s s e s s m e n t C e n t e r S c e n a r i o # 4 W h o l e C l a s s D i s c u s s i o n W h o l e C l a s s D i s c u s s i o n S c e n a r i o # 5 C o m m u n i t y , P r o f e s s i o n a l C o m m u n i t y , P r o f e s s i o n a l D e v e l o p m e n t . a n d L e a d e r s h i p 8 F o r a c o m p l e t e p r e s e n t a t i o n o f t h e A Y A S c i e n c e p o r t f o l i o p r o m p t s , s e e A p p e n d i x A . 7 5 F o r e a c h i n t e r v i e w , t e a c h e r s r e c e i v e d a h a n d o u t d e s c r i b i n g S c e n a r i o s 1 - 5 , b u t w e r e n o t g i v e n t h e q u e s t i o n s t h e y w o u l d b e a s k e d a b o u t e a c h o f t h o s e s c e n a r i o s d u r i n g t h e i n t e r v i e w . S e e t h e I n t e r v i e w e e a n d I n t e r v i e w e r v e r s i o n s o f t h e p r o t o c o l s i n A p p e n d i c e s B a n d C r e s p e c t i v e l y . E a c h q u e s t i o n i n e a c h S c e n a r i o ( e x c e p t s c e n a r i o # 3 ) w a s m o d e l e d a f t e r t h e s a m e s e t o f p r o m p t s p r o v i d e d i n e a c h e n t r y o f t h e p o r t f o l i o c o n s t r u c t i o n . B y m o d e l i n g t h e p r o t o c o l s o n t h e p o r t f o l i o c o n s t r u c t i o n p r o c e s s , I c o l l e c t e d d a t a i n p a r a l l e l w i t h w h a t t h e N a t i o n a l B o a r d c o l l e c t s i n t h e fi n i s h e d p o r t f o l i o . J u s t a s t h e p o r t f o l i o c o n s t r u c t i o n p r o m p t s c a n b e l i n k e d t o a o n e o r m o r e o f t h e t h i r t e e n s t a n d a r d s o f a c c o m p l i s h e d s c i e n c e t e a c h i n g , e a c h q u e s t i o n i n t h e p r o t o c o l c a n a l s o b e t r a c e d t o t h e s a m e l i s t o f t h i r t e e n s t a n d a r d s . T h e w e i g h t a n d b a l a n c e o f t h e s e s t a n d a r d s a s r e fl e c t e d i n t h e p o r t f o l i o p r o m p t s i s t h e s a m e i n t h e s t r u c t u r e d i n t e r v i e w q u e s t i o n s . F o r e x a m p l e , 1 0 % o f t h e q u e s t i o n s c a n b e l i n k e d t o t h e s t a n d a r d o f E q u i t y i n t h e c l a s s r o o m i n t h e p o r t f o l i o p r o m p t s . I n t h e i n t e r v i e w q u e s t i o n s , 1 0 % p e r t a i n t o t h e s t a n d a r d o f E q u i t y i n t h e C l a s s r o o m . T h e s e c o n d i n s t r u m e n t u s e d i n t h i s i n v e s t i g a t i o n c o n s i s t e d o f t h e e x t e n s i v e r u b r i c s a n d s c o r i n g p r o c e d u r e s d e v e l o p e d a n d u s e d b y t h e N a t i o n a l B o a r d o f P r o f e s s i o n a l T e a c h i n g S t a n d a r d s f o r C a n d i d a t e P o r t f o l i o a s s e s s m e n t a n d a d a p t e d f o r t h i s s t u d y . E x p e r i e n c e d a n d k n o w l e d g e a b l e N a t i o n a l B o a r d a s s e s s o r s f o r A Y A S c i e n c e w e r e i n v i t e d t o s c o r e t h e i n t e r v i e w t r a n s c r i p t s . T h e y w e r e i n s t r u c t e d a n d t r a i n e d t o a p p l y t h e s a m e s o p h i s t i c a t e d a n d c o m p l e x a s s e s s m e n t t o o l s t h e B o a r d u s e s i n a s s e s s i n g a c t u a l c a n d i d a t e p o r t f o l i o e n t r i e s . T h e r u b r i c s a r e b a s e d u p o n t h e 1 3 s t a n d a r d s o f a c c o m p l i s h e d s e c o n d a r y s c i e n c e t e a c h i n g . T h e f o l l o w i n g i s a b r i e f d e s c r i p t i o n o f t h e e a c h o f t h e 1 3 s c a l e s o f m e a s u r e . ( F o r a m o r e d e t a i l e d d e s c r i p t i o n o f e a c h s t a n d a r d , s e e A p p e n d i c e s D & F ) . 7 6 S t a n d a r d s t o b e A s s e s s e d T h e A Y A S c i e n c e c e r t i f i c a t e i s b a s e d u p o n a t e a c h e r ’ s a b i l i t y t o m e a s u r e u p a g a i n s t t h e 1 3 s t a n d a r d s o f a c c o m p l i s h e d t e a c h i n g . T h e s t a n d a r d s a r e t h e r e s u l t o f a n a r d u o u s a n d t i m e i n t e n s i v e p r o c e s s t h a t i n c l u d e s t h e i n p u t o f e x p e r i e n c e d s c i e n c e t e a c h e r s , a c a d e m i c s , r e s e a r c h e r s , a n d e d u c a t i o n a l l e a d e r s . T h e y a r e fi e l d t e s t e d r e g u l a r l y a n d e v e r y t h r e e t o fi v e y e a r s a r e r e - e v a l u a t e d a n d a d j u s t e d a s d e e m e d n e c e s s a r y b y t h e N a t i o n a l B o a r d a n d t h e s c i e n c e e d u c a t i o n c o m m u n i t y . T h e y r e p r e s e n t a c o n s e n s u s o f b e l i e f a s t o w h a t c o n s t i t u t e s ‘ a c c o m p l i s h e d t e a c h i n g ’ i n s c i e n c e . T h e y a r e b y n o m e a n s e x c l u s i v e o r d e fi n i t i v e , b u t r a t h e r , o n e s e t o f c h a r a c t e r i s t i c s c o n s i d e r e d b y s o m e t o r e p r e s e n t e x c e l l e n c e i n s e c o n d a r y s c i e n c e t e a c h i n g . T a b l e 2 - 1 3 p r o v i d e s a n o v e r v i e w o f t h e 1 3 s t a n d a r d s a s s e p a r a t e d i n t o f o u r s e t s . T a b l e 2 - 1 3 : O v e r v i e w o f S t a n d a r d s f o r A Y A S c i e n c e a r i n g t h e W a y - f a r P r o d u c t i v e S t u d e n t ' _ ' L e a m i L 1 . U n d e r s t a n d i n g S t u d e n t s 1 1 . K n o w l e d g e o f S c i e n c e 1 1 1 . I n s t r u c t i o n a l R e s o u r c e s . A d v a n c i n g S t u d e n t L e a r n i n g , g r I V . S c i e n c e I n q u i r y V . G o a l s & C o n c e p t u a l U n d e r s t a n d i n g V I . C o n t e x t s o f S c i e n c e , . , E S t a b L h i n g F a v o r a b l e C o n t e x t L e a r n i é r g V I I . E n g a g e m e n t V I I I . E q u i t a b l e P a r t i c i p a t i o n I X . L e a r n i n g E n v i r o n m e n t k . S u p p o r t i n g T e a c h i n g a n d L e a r n i n g ' X . F a m i l y & C o m m u n i t y O u t r e a c h X I . A s s e s s m e n t X I I . R e fl e c t i o n X I I I . C o l l e g i a l i t y & L e a d e r s h i p 7 7 S e t 1 , “ P r e p a r i n g t h e W a y f o r P r o d u c t i v e S t u d e n t L e a r n i n g ” i n c l u d e s S t a n d a r d s 1 - 3 a l l o f w h i c h p e r t a i n t o t h e i n p u t s a t e a c h e r b r i n g s w i t h t h e m t o c l a s s b e f o r e t h e s t a r t o f a l e s s o n . S t a n d a r d 1 : K n o w l e d g e o f S t u d e n t s i n v o l v e s r e s e a r c h i n g a t e a c h e r ’ s s t u d e n t s t o u n d e r s t a n d t h e i r l e a r n i n g s t y l e s , p r e v i o u s e x p e r i e n c e s i n s c i e n c e c l a s s e s , s t r e n g t h s a n d w e a k n e s s e s i n l e a r n i n g s c i e n c e , a n d l e v e l o f c u r r e n t u n d e r s t a n d i n g r e g a r d i n g m a j o r i d e a s a n d c o n c e p t s i n s c i e n c e . S t a n d a r d 1 1 : K n o w l e d g e o f S c i e n c e a n d P e d a g o g y a d d r e s s e s a t e a c h e r ’ s u n d e r s t a n d i n g o f s c i e n t i f i c c o n t e n t k n o w l e d g e i n b o t h b r e a d t h a n d d e p t h . T h e p e d a g o g i c a l c o m p o n e n t r e f e r s t o a t e a c h e r ’ s k n o w l e d g e a n d s k i l l s w h e n t e a c h i n g a p a r t i c u l a r s c i e n c e c o n c e p t t o s t u d e n t s . S t a n d a r d 1 1 1 : I n s t r u c t i o n a l R e s o u r c e s c o n c e r n s a t e a c h e r ’ s k n o w l e d g e , u s e , a n d c r e a t i o n o f r e s o u r c e s t h a t s u p p o r t l e a r n i n g i n t h e c l a s s r o o m s u c h a s t e c h n o l o g y , l a b e q u i p m e n t , s u p p l i e s , a n d m a n i p u l a t i v e s . S e t I I , A d v a n c i n g S t u d e n t U n d e r s t a n d i n g , i n c l u d e s S t a n d a r d s 4 - 6 a l l o f w h i c h p e r t a i n t o t h e a c t u a l t e a c h i n g o f c o n t e n t i n a l e s s o n . S t a n d a r d I V : S c i e n t i fi c I n q u i r y i s s p e c i fi c t o t h e s c i e n c e c e r t i fi c a t e s i n c e i n q u i r y i s c o n s i d e r e d t o b e a f u n d a m e n t a l a s p e c t o f t e a c h i n g s c i e n c e . H o w s c i e n t i s t s a s k q u e s t i o n s a n d s e e k a n s w e r s t h r o u g h a f o r m o f s y s t e m a t i c p r o c e s s i s v i t a l t o u n d e r s t a n d i n g t h e k n o w l e d g e c o n s t r u c t e d , d i s c o v e r e d , o r i n v e s t i g a t e d . S c i e n t i fi c i n q u i r y i s m o r e t h a n t h e ‘ s c i e n t i fi c m e t h o d , i t a l s o d e s c r i b e s t h e p e d a g o g y a s s o c i a t e d w i t h o p e n - e n d e d i n v e s t i g a t i o n s . S t a n d a r d V : G o a l s a n d C o n c e p t u a l U n d e r s t a n d i n g p e r t a i n s t o a t e a c h e r ’ s a b i l i t y t o s t r u c t u r e u n i t s a n d l e s s o n s s o t h a t s t u d e n t s h a v e o p p o r t u n i t i e s t o i n v e s t i g a t e , e x p l o r e , a n d l e a r n a b o u t i d e a s a t a d e e p e r l e v e l t h a n t h e m e m o r i z a t i o n o f f a c t s a n d d e fi n i t i o n s . F i n a l l y , S t a n d a r d V I : C o n t e x t s o f S c i e n c e d e s c r i b e s a t e a c h e r s ’ a b i l i t y t o h e l p s t u d e n t s c o n n e c t a b s t r a c t b i g i d e a s t o t h e i r l i v e s a n d 7 8 e x p e r i e n c e s . I t m a y i n c l u d e t h e h i s t o r y o f s c i e n c e , s c i e n c e a s a s o c i a l i s s u e , s c i e n c e a s a p o l i t i c a l i s s u e , a n d s c i e n c e a s a n i n fl u e n c e u p o n c i t i z e n s . S e t 1 1 1 , E s t a b l i s h i n g a F a v o r a b l e C o n t e x t f o r S t u d e n t L e a r n i n g , i n c l u d e s S t a n d a r d s 7 - 9 a l l d e s c r i b i n g a t e a c h e r s a b i l i t y t o c o n d u c t c l a s s i n a p o s i t i v e a n d e q u i t a b l e m a n n e r . S t a n d a r d V I I : E n g a g e m e n t p e r t a i n s t o a t e a c h e r ’ s a b i l i t y a n d s k i l l s a t a s k i n g q u e s t i o n s , l i s t e n i n g t o s t u d e n t s , a n d p r o v i d i n g w r i t t e n f e e d b a c k a n d o p p o r t u n i t i e s f o r s t u d e n t s t o p a r t i c i p a t e i n t h e l e a r n i n g p r o c e s s . S t a n d a r d V I I I : E q u i t a b l e P a r t i c i p a t i o n a d d r e s s e s a t e a c h e r ’ s a w a r e n e s s o f a n d a b i l i t y t o i n c l u d e a l l l e a r n e r s i n t h e c l a s s r o o m e x p e r i e n c e . I t a l s o r e c o g n i z e s t h a t i n d i v i d u a l s t u d e n t s m a y h a v e s p e c i a l n e e d s t h a t a t e a c h e r m u s t a d d r e s s a n d a c c o m m o d a t e i n t h e t e a c h i n g / l e a r n i n g e x p e r i e n c e . S t a n d a r d I X : L e a r n i n g E n v i r o n m e n t d e s c r i b e s h o w a t e a c h e r e f f e c t i v e l y m a n a g e s a c l a s s r o o m s o t h a t l e a r n i n g i s a p o s i t i v e e x p e r i e n c e , t h a t e v e r y o n e h a s a n o p p o r t u n i t y t o l e a r n , a n d t h a t t h e c l a s s r o o m i s a n i n t e l l e c t u a l l y a n d s c i e n t i fi c a l l y s t i m u l a t i n g p l a c e f o r l e a r n e r s t o b e . S e t I V , S u p p o r t i n g T e a c h i n g a n d L e a r n i n g , i n c l u d e s s t a n d a r d s 1 0 - 1 3 a n d a d d r e s s e s a t e a c h e r ’ s w o r k a t i m p r o v i n g s t u d e n t l e a r n i n g o u t s i d e t h e c l a s s r o o m . S t a n d a r d X : F a m i l y a n d C o m m u n i t y O u t r e a c h d e s c r i b e s t h e c o l l a b o r a t i v e n a t u r e o f a t e a c h e r ’ s w o r k w i t h p a r e n t s , g u a r d i a n s , a n d t h e g r e a t e r e d u c a t i o n a l a n d s u r r o u n d i n g c o m m u n i t i e s . S t a n d a r d X I : A s s e s s m e n t p e r t a i n s t o t h e s k i l l s a n d k n o w l e d g e t h a t t e a c h e r s b r i n g t o e v a l u a t i n g s t u d e n t u n d e r s t a n d i n g o f i d e a s t a u g h t i n c l a s s t h r o u g h b o t h f o r m a l a n d i n f o r m a l t e c h n i q u e s . S t a n d a r d X I I : R e fl e c t i o n c o n c e r n s a t e a c h e r ’ s w i l l i n g n e s s , a b i l i t y , a n d a p t i t u d e a t c r i t i c a l l y t h i n k i n g a b o u t t h e i r c l a s s r o o m p r a c t i c e a n d i t s e f f e c t u p o n s t u d e n t l e a r n i n g . A t e a c h e r r e fl e c t s o n p r a c t i c e i n o r d e r t o r e c o g n i z e t h e i r s t r e n g t h s a n d w e a k n e s s e s a n d w o r k t o b u i l d u p o n t h e f o r m e r a n d i m p r o v e t h e l a t e r . F i n a l l y , S t a n d a r d 7 9 X I I I : C o l l e g i a l i t y a n d L e a d e r s h i p d e s c r i b e s a t e a c h e r ’ s a b i l i t y t o w o r k w i t h a p r o f e s s i o n a l c o m m u n i t y o f e d u c a t o r s f o r t h e b e n e fi t o f b o t h s t u d e n t l e a r n i n g a n d t h e q u a l i t y o f e d u c a t i o n a t t h e l o c a l l e v e l a n d b e y o n d . F o r t h e N a t i o n a l B o a r d ’ s d e fi n i t i o n o f t h e s e s t a n d a r d s , s e e A p p e n d i x D . T h e r e h a v e b e e n n u m e r o u s s t u d i e s a d d r e s s i n g c o n s t r u c t v a l i d i t y o f t h e s e s t a n d a r d s a s a m e a s u r e o f t e a c h e r q u a l i t y . A m o n g t h e s e s t u d i e s , B o n d , 2 0 0 1 s t a n d s o u t a s o n e o f t h e m o s t c o m p r e h e n s i v e a n d i m p o r t a n t . I n t e r v i e w P r o t o c o l s E v e r y p h a s e o f t h i s i n v e s t i g a t i o n w a s c h a l l e n g i n g . H o w e v e r , i d e n t i f y i n g t h e m o s t e f f e c t i v e p r o t o c o l s f o r t h e i n t e r v i e w p r o c e s s p r o v e d t o b e o n e o f t h e m o s t d i f fi c u l t . I n e e d e d t o c o n s t r u c t a n i n t e r v i e w e x p e r i e n c e t h a t c l o s e l y p a r a l l e l e d t h e p o r t f o l i o c o n s t r u c t i o n p r o c e s s w i t h o u t b e i n g c l i c h é , t r i t e , o r o b v i o u s . I t a l s o h a d t o l i m i t t h e a m o u n t o f s e l f - r e p o r t i n g d a t a a n d m a x i m i z e t h e t h i r d p e r s o n a n a l y t i c a l d a t a . T h e q u e s t i o n s a n d a r t i f a c t s s h o u l d b e r e c o g n i z a b l e a s l e g i t i m a t e s c i e n c e c l a s s r o o m p o s s i b i l i t i e s f a l l i n g w i t h i n t h e p r o v i d e n c e o f a t y p i c a l s c i e n c e l e s s o n . A n d y e t , a l l b u t o n e s c e n a r i o w o u l d b e n e w s i t u a t i o n s f o r e a c h c a n d i d a t e . T h e c a n d i d a t e s h a d n e v e r s e e n t h e s e a r t i f a c t s , h e a r d t h e s e c o n v e r s a t i o n s , o r w a t c h e d t h e v i d e o . T h e i r a s s e s s m e n t a n d a n a l y s i s o f e a c h s c e n a r i o b a s e d o n t h e q u e s t i o n s t h e y w e r e a s k e d w o u l d p r o v i d e a u n i q u e g l i m p s e i n t o t h e i r k n o w l e d g e , v a l u e s , a n d b e l i e f s w h i c h c o u l d l a t e r b e m e a s u r e d a c c o r d i n g t o t h e N a t i o n a l B o a r d ’ s 1 3 s t a n d a r d s o f a c c o m p l i s h e d t e a c h i n g i n A Y A S c i e n c e . T h e b a s i c a s s u m p t i o n w a s t h a t i f t e a c h e r s i n t h e s t u d y w e r e p r e s e n t e d w i t h s o m e a r t i f a c t o f t e a c h i n g a n d l e a r n i n g s i m i l a r t o t h e i r o w n p o r t f o l i o a r t i f a c t s t h a t t h e a n a l y s i s t h e y p r o v i d e w o u l d b e a g o o d i n d i c a t i o n o f h o w t h e y w o u l d a d d r e s s t h e s a m e q u e s t i o n i n 8 0 t h e i r o w n p o r t f o l i o c o n s t r u c t i o n . F o r e x a m p l e , i f a q u e s t i o n a s k s a b o u t e q u i t y i n t h e s c e n a r i o , a n d t h e c a n d i d a t e s a y s v e r y l i t t l e a b o u t e q u i t y , t h e n w e m i g h t a s s u m e t h a t i n t h e i r o w n s e l f - a n a l y s i s f o r t h e p o r t f o l i o , t h e y w o u l d a l s o h a v e v e r y l i t t l e t o s a y a b o u t e q u i t y . T h e f o l l o w i n g i s a b r i e f d i s c u s s i o n o f e a c h o f t h e 6 p a r t s o f t h e p r o t o c o l s . F o r a n i n - d e p t h c o m p a r i s o n o f t h e i n t e r v i e w p r o t o c o l s a n d p o r t f o l i o p r o m p t s , p l e a s e s e e A p p e n d i x E . T h e p r o t o c o l s a s p r e s e n t e d h e r e r e m a i n e d b a s i c a l l y u n c h a n g e d o v e r t h e c o u r s e o f t h e s t u d y . E v e n w h e n w e a k n e s s e s w e r e l a t e r i d e n t i f i e d , t h e y w e r e n o t c o r r e c t e d f o r f e a r o f a l t e r i n g o r i n fl u e n c i n g t h e r e s u l t s . S c e n a r i o I i s m o d e l e d a f t e r t h e p o r t f o l i o e n t r y “ T e a c h i n g a M a j o r I d e a i n S c i e n c e ” . I t i n c l u d e s a n a r t i f a c t t h a t t h e t e a c h e r u s e d t o a s s e s s s t u d e n t s ’ u n d e r s t a n d i n g o f k i n e t i c t h e o r y o f m a t t e r b e f o r e a n d a f t e r t h e u n i t . K i n e t i c T h e o r y w a s c h o s e n a s t h e t o p i c b e c a u s e o f i t s p r e s e n c e i n m o s t G e n e r a l S c i e n c e , C h e m i s t r y , a n d P h y s i c s c l a s s e s . I t i s a l s o a t o p i c a d d r e s s e d t o d i f f e r i n g d e g r e e s i n m i d d l e s c h o o l . B e i n g s u c h a g e n e r a l i d e a i n s c i e n c e , i t w a s a n t i c i p a t e d t h a t m o s t s e c o n d a r y s c i e n c e t e a c h e r s w o u l d h a v e s o m e f a m i l i a r i t y w i t h i t a n d t h e r e f o r e i t w a s n o t s o e s o t e r i c a s t o b e a s u r p r i s e . A l s o , i t i s a c h a l l e n g i n g a n d a b s t r a c t c o n c e p t f o r s t u d e n t s a t o f a l l a g e s t o l e a r n . T h e q u e s t i o n s a s k e d o f t h e c a n d i d a t e s d u r i n g t h e i n t e r v i e w c l o s e l y r e s e m b l e t h e p o r t f o l i o p r o m p t s f o r t h e e n t r y o n T e a c h i n g a M a j o r I d e a i n S c i e n c e . S c e n a r i o I i s a d i f fi c u l t a n d d e m a n d i n g t a s k o f a n a l y s i s f o r t h e i n t e r v i e w e e s i n c e i t r e q u i r e s t h e t e a c h e r t o a n a l y z e a n d c o m m e n t u p o n s o m e o n e e l s e ’ s w o r k . B e c a u s e o f i t s p e r c e i v e d d i f f i c u l t y , t e a c h e r s d i s c u s s e d S c e n a r i o 1 i m m e d i a t e l y a f t e r t h e i n t r o d u c t o r y q u e s t i o n s . 8 1 S c e n a r i o I I c o n t i n u e s w i t h t h e a n a l y s i s o f a n o t h e r t e a c h e r ’ s w o r k , b u t t h i s t i m e i t i s f o c u s e d o n t h e l i f e s c i e n c e s a n d t h e d i f fi c u l t c o n c e p t o f N a t u r a l S e l e c t i o n . T h i s s c e n a r i o w a s m o d e l e d a f t e r E n t r y 2 , w h i c h i s t i t l e d “ A c t i v e S c i e n t i fi c I n q u i r y ” . T h e t h e o r y o f N a t u r a l S e l e c t i o n w a s c h o s e n f o r t h i s s e c t i o n b e c a u s e o f i t s i n c l u s i o n i n n e a r l y a l l h i g h s c h o o l t e x t b o o k s a n d c l a s s r o o m s . I t a l s o a l l o w e d f o r t e a c h e r s t o v o i c e i d e a s o n t h e c o n t r o v e r s i a l t o p i c ( i n s o m e a r e a s o f t h e c o u n t y ) c o n c e r n i n g t h e t e a c h i n g o f e v o l u t i o n g . A t r a n s c r i b e d d i a l o g b e t w e e n a g r o u p o f s t u d e n t s w o r k i n g c o o p e r a t i v e l y o n a n i n t r o d u c t o r y a c t i v i t y c o m m o n l y k n o w n a s t h e “ P e p p e r e d M o t h I n v e s t i g a t i o n ” i s p r e s e n t e d a s a s i t u a t i o n t h a t a l l o w s t e a c h e r s t o e x p r e s s t h e i r i d e a s a b o u t s c i e n t i fi c i n q u i r y , e q u i t y , e n g a g e m e n t , a n d l e a r n i n g e n v i r o n m e n t . I n m a n y r e s p e c t s , i t i s t h e m o s t c o m p l e x s c e n a r i o o f t h e i n t e r v i e w r e q u i r i n g p a r t i c i p a t i n g t e a c h e r s t o a n a l y z e c o n t e n t , s t u d e n t u n d e r s t a n d i n g , s c i e n t i fi c i n q u i r y , e q u i t y , a n d s c i e n c e p e d a g o g y a l l a t t h e s a m e t i m e . O n c e a g a i n , t h e i n t e r v i e w p r o t o c o l s c l o s e l y f o l l o w t h o s e o f t h e p o r t f o l i o p r o m p t s . F o r S c e n a r i o I I I , t h e i n t e r v i e w e e g e t s t h e o p p o r t u n i t y t o r e p o r t a n i n s t a n c e o f b e s t p r a c t i c e i n a g u i d e d s e l f - r e fl e c t i o n f o r m a t . A f t e r t w o s e c t i o n s o f i n t e n s i v e a n a l y s i s o f s o m e o n e e l s e ’ s t e a c h i n g , i t w a s a r e l i e f f o r m o s t t o b e a b l e t o d i s c u s s t h e i r o w n t e a c h i n g . T h i s s c e n a r i o i s n o t m o d e l e d a f t e r a n y p a r t i c u l a r E n t r y i n t h e p o r t f o l i o , b u t r a t h e r i s m o r e o f a s u m m a t i o n o f t h e r e fl e c t i v e p r o c e s s p r e s e n t i n a l l f o u r e n t r i e s a d d r e s s i n g a l l f o u r a r e a s o f s t a n d a r d s w i t h a s p e c i a l e m p h a s i s o n c o n t e n t k n o w l e d g e . S c e n a r i o I V i s m o d e l e d a f t e r E n t r y 3 o f t h e p o r t f o l i o , “ W h o l e C l a s s D i s c u s s i o n i n S c i e n c e ” . F o r t h i s s c e n a r i o , t h e i n t e r v i e w e e s w a t c h e d a 6 - m i n u t e c o n t i n u o u s c l i p f r o m a n 9 I t i s i n t e r e s t i n g t o n o t e , t h a t n o t o n e t e a c h e r i n t h i s s t u d y m a d e a n e g a t i v e r e m a r k a b o u t t h i s c o n t e n t a r e a . I n f a c t , t h e r e w e r e n u m e r o u s c o m m e n t s t o t h e i m p o r t a n c e o f t e a c h i n g N a t u r a l S e l e c t i o n t o s t u d e n t s . 8 2 a c t u a l 2 0 - m i n u t e t a p e i n c l u d e d a s e v i d e n c e i n a p o r t f o l i o f o r A Y A S c i e n c e . A 6 - m i n u t e c l i p w a s i n t e n t i o n a l l y c h o s e n f r o m t h e 2 0 - m i n u t e t a p e t h a t i n c l u d e d m a n y v e r y i n t e r e s t i n g m o m e n t s . M o m e n t s i n t h e d i s c u s s i o n t h a t w e r e b o t h q u i t e s t r o n g a n d q u i t e w e a k w i t h r e g a r d s t o t h e N a t i o n a l B o a r d ’ s s t a n d a r d s . T h e i d e a w a s t h a t t h i s c l i p w o u l d a l l o w f o r a w e l l t h o u g h t o u t a n d b a l a n c e d a n a l y s i s o f t h e t e a c h e r ’ s w o r k a n d t h e a p p a r e n t s t u d e n t l e a r n i n g a s e v i d e n c e d b y t h e i r c o m m e n t s a n d q u e s t i o n s b o t h t o w a r d s e a c h o t h e r a n d t h e t e a c h e r . ' 0 S i n c e i t d i d n o t s e e m t o b e a n e f fi c i e n t u s e o f t i m e o r a r e a s o n a b l e t a s k t o a s k a t e a c h e r i n a n i n t e r v i e w t o w a t c h a 2 0 m i n u t e t a p e i n a 7 0 m i n u t e i n t e r v i e w , t h e 6 m i n u t e c l i p p r o v i d e d a g o o d t a s t e f o r o b s e r v i n g a d i s c u s s i o n a n d a n s w e r i n g q u e s t i o n s w i t h d a t a c o l l e c t e d d u r i n g t h e fi r s t a n d o n l y v i e w i n g . T e a c h e r s w e r e a s k e d n o t t o w a t c h t h e s e a l e d t a p e u n t i l a f t e r i n s t r u c t e d t o d o s o d u r i n g t h e i n t e r v i e w . E v e r y t e a c h e r v e r b a l l y i n d i c a t e d t h a t t h e y h a d a b i d e d b y t h i s r e q u e s t . T h e i n t e r v i e w p r o t o c o l s t h a t f o l l o w e d t h e v i e w i n g w e r e m o d e l e d c l o s e l y u p o n t h e p o r t f o l i o p r o m p t s f o r E n t r y 3 . T h e s e p r o m p t s a d d r e s s m a n y o f t h e s t a n d a r d s d e a l i n g w i t h c o l l e g i a l i t y , a s s e s s m e n t , u n d e r s t a n d i n g a n d g o a l s , e n g a g e m e n t , a n d k n o w l e d g e o f s c i e n c e . T h e w h o l e c l a s s d i s c u s s i o n t a k e s p l a c e d u r i n g a fi e l d t r i p f o r a n ‘ A P E n v i r o n m e n t a l S c i e n c e ’ C l a s s . F o r m o s t t e a c h e r s w h o t e a c h b i o l o g y , c h e m i s t r y , o r l i f e s c i e n c e , t h e c o n c e p t s w e r e f a m i l i a r . A f e w p h y s i c s t e a c h e r s i n t h e s t u d y c o m m e n t e d t h a t t h e y d i d n o t k n o w m u c h a b o u t ‘ e c o l o g y ’ , b u t t h e d i s c u s s i o n w a s n o t j u s t a b o u t c o n t e n t , b u t t h e p r o c e s s o f s c i e n t i fi c i n q u i r y a n d d e b a t e . T h e r e s u l t s f r o m t h i s p a r t o f t h e i n t e r v i e w w e r e q u i t e i n t e r e s t i n g a n d i n f o r m a t i v e . ‘ 0 I t i s i n t e r e s t i n g t o n o t e t h a t t h e o r i g i n a l 2 0 — m i n u t e c l i p w a s u s e d b y t h e N a t i o n a l B o a r d i n t h e i r a s s e s s o r t r a i n i n g a s t h e i r b e n c h m a r k e x a m p l e o f a c c o m p l i s h e d w h o l e c l a s s d i s c u s s i o n i n s c i e n c e . I n o t h e r w o r d s . t h e t a p e w a s u s e d t o d e m o n s t r a t e t o a s s e s s o r s w h a t a ‘ 4 ’ o r h i g h l y a c c o m p l i s h e d v i d e o t a p e ‘ l o o k e d l i k e ’ . 8 3 T h e fi n a l s e c t i o n , S c e n a r i o V , o n c e a g a i n , g i v e s t e a c h e r s a n o p p o r t u n i t y t o d i s c u s s t h e i r o w n e x p e r i e n c e s a n d i d e a s . I t i s m o d e l e d a f t e r E n t r y 4 o f t h e p o r t f o l i o “ D o c u m e n t e d A c c o m p l i s h m e n t s O u t s i d e o f C l a s s ” . T h e s e c t i o n i s d i v i d e d i n t o t w o e q u a l p a r t s : P r o f e s s i o n a l D e v e l o p m e n t & L e a d e r s h i p E x p e r i e n c e s a n d C o m m u n i t y & F a m i l y E x p e r i e n c e s . I n b o t h s e c t i o n s , t e a c h e r s w e r e a s k e d w h i c h a c t i v i t i e s / a c c o m p l i s h m e n t s o u t o f a l i s t o f 1 5 d i d t h e y h a d d i r e c t e x p e r i e n c e w i t h a n d t o r a t e e a c h i t e m o n a 1 - 5 s c a l e w i t h r e g a r d s t o e a c h i t e m ’ s i m p a c t u p o n t h e i r a b i l i t y t o i m p r o v e s t u d e n t l e a r n i n g . F o r i t e m s t h a t t e a c h e r s d i d n o t h a v e d i r e c t e x p e r i e n c e w i t h , t h e a s s e s s m e n t w a s l e f t b l a n k . I n a d d i t i o n , t h e y w e r e a s k e d i f a n y t h i n g w a s m i s s i n g f r o m t h e l i s t t h a t t h e y t h o u g h t w a s e s p e c i a l l y h e l p f u l i n t h e i r o p i n i o n i n i m p r o v i n g t h e i r a b i l i t y t o b r i n g a b o u t l e a r n i n g i n t h e i r s t u d e n t s . T h e l i s t i s b y n o m e a n s e x h a u s t i v e , s o c o n t r i b u t i o n s t o t h e l i s t i n d i c a t e d a d e p t h o f p r o f e s s i o n a l a n d c o m m u n i t y e x p e r i e n c e s . I f t h e a s s u m p t i o n w e r e m a d e t h a t t h e p r o t o c o l ’ s r e l i a b i l i t y i n m e a s u r i n g l e a r n i n g a g a i n s t t h e s t a n d a r d s d e p e n d s u p o n a s t r o n g a l i g n m e n t b e t w e e n t h e s t a n d a r d s a n d t h e p r o t o c o l s , t h e n i t w o u l d a p p e a r t h a t t h e i n t e r v i e w p r o t o c o l s h a v e a v e r y g o o d r e l i a b i l i t y . T h i s c a n b e d e t e r m i n e d b y e x a m i n i n g a d e t a i l e d b r e a k d o w n o f t h e p r o t o c o l t o v e r i f y t h a t i t d o e s i n d e e d a l i g n s t r o n g l y w i t h t h e s t a n d a r d s b e i n g a s s e s s e d . W i t h s u c h a q u a l i t a t i v e a p p r o a c h t o t h i s i s s u e , A p p e n d i x E d e m o n s t r a t e s t h a t e a c h q u e s t i o n a s k e d o f t h e c a n d i d a t e o v e r t h e c o u r s e o f t h e i n t e r v i e w fi n d s i t s o r i g i n s i n t h e s t a n d a r d s o f a c c o m p l i s h e d t e a c h i n g f o r t h e A d o l e s c e n t a n d Y o u n g A d u l t C e r t i fi c a t e . M o s t o f t h e s e p r o m p t s a r e d e r i v e d d i r e c t l y f r o m e i t h e r o n e o r a c o m b i n a t i o n o f m o r e t h a n o n e p o r t f o l i o p r o m p t . O n e t h i n g t h a t i s c l e a r i s t h a t t h e d i s t r i b u t i o n o f o p p o r t u n i t i e s t o a d d r e s s s p e c i fi c 8 4 s t a n d a r d s d u r i n g t h e i n t e r v i e w i s n o t e q u a l a m o n g a l l t h i r t e e n s t a n d a r d s a s i s a l s o t r u e i n t h e p o r t f o l i o i n s t r u c t i o n s . E a c h q u e s t i o n o f t h e i n t e r v i e w p r o t o c o l s a n d t h e s e r i e s o f r e s p o n s e s f r o m b o t h p r e a n d p o s t g r o u p s c o u l d e a c h s e r v e a s a v e r y i n t e r e s t i n g q u a l i t a t i v e a n a l y s i s . U n f o r t u n a t e l y , i n t h e c o n t e x t o f a d i s s e r t a t i o n , t h i s b r i e f d e s c r i p t i o n a l o n g w i t h t h e m o r e d e t a i l e d a n a l y s i s i n A p p e n d i x E w i l l h a v e t o b e s a t i s f a c t o r y . T h i s b r i e f q u a l i t a t i v e e x a m i n a t i o n o f t h e p r o t o c o l ’ s r e l i a b i l i t y a s a n i n s t r u m e n t t o a s s e s s k n o w l e d g e a c c o r d i n g t o t h e 1 3 s t a n d a r d s o f a c c o m p l i s h e d t e a c h i n g p r o v i d e s s o m e e v i d e n c e t h a t t h e i n s t r u m e n t d o e s a d d r e s s a l l t h e s t a n d a r d s o f a c c o m p l i s h t e a c h i n g . T h e f a c t t h a t t h e i n t e r v i e w p r o t o c o l s a n d p o r t f o l i o p r o m p t s a r e s t r o n g l y a l i g n e d a s d e m o n s t r a t e d i n A p p e n d i x E i s a s t r o n g i n d i c a t i o n t h a t t h e i n s t r u m e n t ( w h e n u s e d p r o p e r l y ) w o u l d h e l p t o a s s e s s t h e c o m p l e x c o n s t r u c t t h a t i s a c c o m p l i s h e d t e a c h i n g i n A Y A S c i e n c e . I t i s t h e c o m p l e x i t y o f t a s k t h a t b e c o m e s t h e n e x t f o c u s o f a n a l y s i s w h e n I n t e r - R a t e r r e l i a b i l i t y i s e x a m i n e d . I n t e r - R a t e r R e l i a b i l i t y I n t e r - R a t e r r e l i a b i l i t y i s a m e a s u r e o f t h e d e g r e e t o w h i c h r a t e r s a g r e e i n t h e i r a s s e s s m e n t o f e a c h s t a n d a r d f o r e a c h c a n d i d a t e . A n e x a m i n a t i o n o f F i g u r e 2 - 8 r e v e a l s s o m e i m p o r t a n t o b s e r v a t i o n s . T h e fi r s t o b s e r v a t i o n i s t h e f a c t t h a t m e a s u r e s o f d i f f e r e n t s t a n d a r d s h a v e d i f f e r e n t l e v e l s o f r e l i a b i l i t y , t h o u g h t h e s e d i f f e r e n c e s o c c u p y a r a t h e r s m a l l r a n g e . W i t h a m a x i m u m a v e r a g e r e l i a b i l i t y o f 0 . 6 3 2 a n d a m i n i m u m a v e r a g e r e l i a b i l i t y o f 0 . 2 5 9 , t h e m e a n v a l u e o f 0 . 4 5 8 d e m o n s t r a t e s t h a t m o r e m e a s u r e s f a l l t o w a r d s t h e l o w e r e n d o f t h e r a n g e t h a n a t t h e h i g h . ' 1 ” I t s h o u l d b e n o t e d t h a t t h e t w o c o m p a r i s o n s m a d e b o t h i n v o l v e A s s e s s o r I . I w a s A s s e s s o r # I ( t h e s t u d y ’ s P r i n c i p l e I n v e s t i g a t o r ) a n d w a s t h e o n l y a s s e s s o r w h o s c o r e d e v e r y t r a n s c r i p t f r o m e a c h g r o u p s . A s s e s s o r s I I a n d 1 1 1 d i d n o t s c o r e e n o u g h c o m m o n t r a n s c r i p t s t o m a k e a v a l i d c o m p a r i s o n . A s a s o u r c e o f p o t e n t i a l b i a s , m y r o l e i n s c o r i n g t r a n s c r i p t s i s v e r y i m p o r t a n t . H o w e v e r , a n a n a l y s i s o f t h e s c o r e s e x c l u d i n g m y d a t a 8 5 F i g u r e 2 - 8 : C o m p a r i s o n o f I n t e r - R a t e r R e l i a b i l i t y ( P e a r s o n r ) a c r o s s s t a n d a r d s I n t e r - R a t e r R e l i a b i l i t y ( P e a r s o n r ) 0 . 7 i 0 . 6 " i ’ i ’ 0 5 ' ; , , ' ’ r ’ 0 - 4 l 7 7 7 7 l . < 0 . 3 l * " ' ” i n g ; . 0 . 2 r l ' i i s i i g l l g s v J ' ‘ . \ ‘ l ' . l . - i . - i , , 0 . 1 ! i i i i r g i i i i j I | & | l ‘ i i i n i i j 1 . ’ l i z s a r t t t t t I | & " ' — r ‘ T i § § 3 3 8 9 § E m m 3 § 9 $ 8 8 $ € ¥ 0 ° : m g 3 g 5 . 2 § _ $ g g : " : : 2 i é s a m g c fi i ‘ a z w g g . = < g ” m a m m n m c s ( I t — . 9 , m a n _ : m 3 5 © § 3 0 = % % 3 3 ° - o o m a m ” ? m a n - « 3 1 3 3 : 9 . 9 . “ s . o c n ~ ‘ ” < 0 " 2 $ 2 3 0 5 : . 0 a ( D C / ) 0 0 5 - 0 0 3 ~ 9 3 m : 6 ' : : - a m : t o 9 : 3 3 0 3 . ‘ E c o - _ ° . ¢ p = a : ( D 0 0 0 3 : . G . 2 m m 9 _ ’ a » ? C D m g ) ” , a z : - o . 6 ' M e a s u r e H o w d o e s a n o v e r a l l r e l i a b i l i t y o f 0 . 4 5 8 i n f o r m t h e e v a l u a t i o n o f a s s u m p t i o n o n t h e p r e c i s i o n o f m e a s u r e m e n t ? I n m o s t r e s e a r c h c o m m u n i t i e s , a r e l i a b i l i t y o f 0 . 4 6 c a n b e c o n s i d e r e d “ l o w t o m o d e r a t e ” . T h i s d e s c r i p t i o n o f t h e c o r r e l a t i o n c o - e f fi c i e n t i s s u p p o r t e d i n o n e s t a t i s t i c a l t e x t t h a t d e s c r i b e s a c o r r e l a t i o n c o e f f i c i e n t o f r = . 4 8 a s ' m o d e r a t e l y l a r g e ' ( S h a v e l s o n , 1 9 9 6 , p 1 7 3 ) , b u t t h e c o n t e x t o f t h i s e v a l u a t i o n o r t h e n a t u r e o f t h e r e s e a r c h t h a t i t d e s c r i b e s i s u n k n o w n . C o n s i d e r i n g t h e h i g h d e g r e e o f c o m p l e x i t y o f t h e a s s e s s m e n t t a s k s i n t h i s s t u d y , a r e l i a b i l i t y o f 0 . 4 5 8 i s u n d e r s t a n d a b l e . p r o d u c e s n e a r l y i d e n t i c a l r e s u l t s . T h i s p r o v i d e s s t r o n g e v i d e n c e t o a m i n i m a l e f f e c t f r o m a n y b i a s I m i g h t h a v e h a d d u r i n g t h i s s t u d y . 8 6 H o w e v e r , i t m u s t b e c o n s i d e r e d a s e r i o u s l i m i t a t i o n t o t h e o v e r a l l p r e c i s i o n o f t h e d a t a a n d q u a l i f y a n y c o n c l u s i o n s d r a w n f r o m t h i s s t u d y . B u t t h e q u e s t i o n s t i l l r e m a i n s , W h y i s n ’ t t h e r e l i a b i l i t y h i g h e r ? T h e c o m p l e x i t y o f t h e t a s k w o u l d h a v e t o b e t h e n u m b e r o n e r e a s o n f o r t h e m e a s u r e d r e l i a b i l i t y . T a k e f o r e x a m p l e t h e f o l l o w i n g s i t u a t i o n , w h i c h w a s q u i t e c o m m o n d u r i n g t h e a s s e s s m e n t p r o c e d u r e s . D u r i n g t h e p r o c e s s o f s c o r i n g , t h e a s s e s s o r w o u l d e n c o u n t e r e v i d e n c e . T h e q u e s t i o n t h a t w o u l d a r i s e w o u l d t h e n b e “ U n d e r w h a t c a t e g o r y ( o r s t a n d a r d ) s h o u l d t h i s e v i d e n c e b e i n c l u d e d f o r s u p p o r t o f a p a r t i c u l a r s t a n d a r d ? ” I n m o s t c a s e s , i t w o u l d b e q u i t e c l e a r t h a t a p i e c e o f e v i d e n c e w a s c l e a r l y s u p p o r t i v e o f S t a n d a r d I : K n o w l e d g e o f S t u d e n t s o r S t a n d a r d I I : K n o w l e d g e o f C o n t e n t a n d P e d a g o g y . H o w e v e r , t h e r e w e r e a l s o t h o s e i n s t a n c e s w h e r e t h e p l a c e m e n t o f a p a r t i c u l a r p i e c e o f e v i d e n c e w a s n o t s o c l e a r o r o b v i o u s . F o r e x a m p l e , i f a t e a c h e r c l a i m s t h a t t h e u s e o f a c o m p u t e r b a s e d a c t i v i t y w a s w a r r a n t e d b e c a u s e b o t h m a l e a n d f e m a l e s t u d e n t s e n j o y e d w o r k i n g w i t h c o m p u t e r s , t h e n t h e a s s e s s o r w o u l d h a v e t o d e c i d e w h e t h e r t h i s i n f o r m a t i o n i s e v i d e n c e f o r K n o w l e d g e o f S t u d e n t s , K n o w l e d g e o f P e d a g o g y , E q u i t y o f I n s t r u c t i o n , o r I n s t r u c t i o n a l R e s o u r c e s . T h e y m a y o p t t o i n c l u d e i t a s s u p p o r t i n g e v i d e n c e i n o n e o r m o r e o f t h e s e s t a n d a r d s , b u t i t i s i n t h i s j u d g m e n t t h a t m u c h o f t h e v a r i a t i o n c a n b e f o u n d . N o t a l l a s s e s s o r s w o u l d a g r e e i n w h i c h a n d i n h o w m a n y c a t e g o r i e s t o i n c l u d e . T h i s i s s u e w a s n o t s t r o n g l y a d d r e s s e d i n t h e t r a i n i n g m a t e r i a l s a n d t r a i n i n g s e s s i o n ( S e e A p p e n d i x F ) f o r t h i s s t u d y . A n o t h e r e x a m p l e o f t h e o v e r l a p p i n g n a t u r e o f s o m e o f t h e s t a n d a r d s u s e d p e r t a i n s t o a s s e s s m e n t . I n K n o w l e d g e o f S t u d e n t s , i t s t a t e s t h a t t e a c h e r s k n o w h o w t o a s s e s s t h e i r s t u d e n t s ’ l e a r n i n g . S t a n d a r d X I : A s s e s s m e n t a l s o e m p h a s i z e s s t u d e n t u n d e r s t a n d i n g . 8 7 T h e r e f o r e , a n a s s e s s o r h a s m o r e t h a n o n e c a t e g o r y i n w h i c h t o p l a c e e v i d e n c e p e r t a i n i n g t o a s s e s s m e n t . F o r t h i s s t u d y , t h e l e v e l o f a n a l y s i s w a s o n a c a n d i d a t e ’ s u n d e r s t a n d i n g o f e a c h o f t h e t h i r t e e n s t a n d a r d s . N a t i o n a l B o a r d ’ s l e v e l o f a n a l y s i s f o c u s e s u p o n t h e a c a n d i d a t e ’ s o v e r a l l s c o r e . W i t h s u c h c o m p l e x i t y a n d o p p o r t u n i t y t o p l a c e e v i d e n c e i n m o r e t h a n o n e s t a n d a r d i n t h i s s t u d y , i t i s n o t s u r p r i s i n g t h a t t h e I n t e r - r a t e r r e l i a b i l i t y i s n o t s t r o n g e r . T h e a s s e s s m e n t p r o c e s s f o r t h i s s t u d y w a s b a s e d u p o n t h e a s s e s s m e n t p r o c e d u r e s a n d e x p e r i e n c e s e m p l o y e d b y t h e N a t i o n a l B o a r d f o r t h e s c o r i n g o f ‘ l i v e ’ p o r t f o l i o s i n t h e fi e l d . I n t h a t p r a c t i c e , i t m a k e s n o d i f f e r e n c e i f e v i d e n c e a p p l i e s t o m o r e t h a n o n e s t a n d a r d , b e c a u s e t h e a s s e s s o r n e e d o n l y b e c o n c e r n e d w i t h m a k i n g a s i n g l e fi n a l e v a l u a t i o n b a s e d u p o n t h e p r e p o n d e r a n c e o f e v i d e n c e . F o r p u r p o s e s o f t h i s s t u d y , t h e s e p r o c e d u r e s w e r e a d a p t e d t o t h e q u e s t i o n s i n v e s t i g a t e d r e g a r d i n g a r e a s o f s p e c i fi c l e a r n i n g . T o a n s w e r t h e s e q u e s t i o n s , t h e p r i m a r y d i f f e r e n c e b e t w e e n t h e a c t u a l a s s e s s m e n t p r o c e d u r e s a n d t h o s e u s e d i n t h e s t u d y c a n b e t r a c e d t o t h i s i d e a t h a t a s s e s s o r s a r e s c o r i n g a “ p o r t f o l i o ” o r t r a n s c r i p t 1 3 t i m e s , n o t j u s t o n c e . T h e t o t a l s c o r e g i v e s a n i n d i c a t i o n o f t h e r e l i a b i l i t y o f t h e a s s e s s o r ’ s o v e r a l l i m p r e s s i o n o f a p a r t i c u l a r c a n d i d a t e . H o w e v e r , u n l i k e t h e a c t u a l i n t h e fi e l d p r o c e s s w h o s e g o a l i s t o d e c i d e i f t h e e v i d e n c e s u p p o r t s a c c o m p l i s h e d o r n o t a c c o m p l i s h e d t e a c h i n g , t h e a s s e s s o r s i n t h i s s t u d y w e r e n e v e r a s k e d t o m a k e t h i s o v e r a l l j u d g m e n t . I n s t e a d , t h e t o t a l r e p r e s e n t s t h e a v e r a g e o r t o t a l o f a l l t h i r t e e n m e a s u r e s f o r a n i n d i v i d u a l c a n d i d a t e i n t h e s t u d y . I f s e t s o f s t a n d a r d s a r e c o n s i d e r e d , t h e r e l i a b i l i t y r e m a i n s a t 0 . 4 1 2 , b u t t h e v a r i a b i l i t y o f t h e n u m b e r s a s m e a s u r e d b y t h e r a n g e s t a b i l i z e s g r e a t l y . W i t h a m a x i m u m o f 0 . 4 4 4 a n d a m i n i m u m o f 0 . 4 0 1 , i t i s c l e a r t h a t t h o u g h a s s e s s o r s m a y n o t h a v e b e e n a b l e 8 8 t o a g r e e o n w h i c h s t a n d a r d w i t h i n a g r o u p o f r e l a t e d s t a n d a r d s e v i d e n c e b e l o n g e d , t h e i r a g r e e m e n t v a r i e d l e s s r e g a r d i n g w h e r e e v i d e n c e b e l o n g e d i n a b r o a d e r c a t e g o r y o f s t a n d a r d s . I n t h e a n a l y s i s o f r e s u l t s , t h i s fi n d i n g w i l l b e i m p o r t a n t t o c o n s i d e r w h e n s p e c i fi c a r e a s o f p r e t o p o s t g a i n a r e c o n s i d e r e d . I n t e r - r a t e r R e l i a b i l i t y a n a l y s i s f o r t h i s s t u d y r e v e a l s a l o w t o m o d e r a t e r e l a t i o n s h i p b e t w e e n d i f f e r e n t a s s e s s o r s s c o r e s f o r t h e s a m e i n t e r v i e w . F i g u r e 2 - 8 p r o v i d e s a v i s u a l c o m p a r i s o n o f h o w A s s e s s o r 1 c o m p a r e d w i t h A s s e s s o r 2 a n d A s s e s s o r 3 . A P e a r s o n c o r r e l a t i o n o f . 4 5 8 w a s f o u n d t o e x i s t b e t w e e n a l l t h r e e r a t e r s . O n e w a y i t m i g h t h a v e b e e n i m p r o v e d i s i f m o r e t i m e a n d r e s o u r c e s h a d b e e n a l l o c a t e d f o r t h e t r a i n i n g o f t h e a s s e s s o r s f o r t h e t a s k o f s c o r i n g i n t e r v i e w s f o r t h i s s t u d y . A t t h e t i m e o f i n c e p t i o n , i t w a s t h o u g h t t h a t t h e e x t e n s i v e e x p e r i e n c e s o f e a c h a s s e s s o r i n t h e a s s e s s m e n t p r o c e s s w o u l d n e g a t e t h e n e e d f o r a m o r e e x t e n s i v e t r a i n i n g p r o c e s s . E a c h a s s e s s o r r e c e i v e d t h e s a m e p a c k e t o f t r a i n i n g m a t e r i a l s ( S e e A p p e n d i x F f o r d e t a i l s ) , i n s t r u c t i o n s o v e r t h e p h o n e , n u m b e r s o f e x e r c i s e s , a n d b i a s a w a r e n e s s t r a i n i n g . O v e r a l l , t h e e n t i r e p r o c e s s r e q u i r e d a b o u t 6 h o u r s o f w o r k . T h i s c o m p a r e s t o t h e 3 d a y s o f t r a i n i n g t h e B o a r d c o n d u c t s w i t h i t s a s s e s s o r s b e f o r e t h e y s c o r e ‘ l i v e ’ e n t r i e s . B e c a u s e t w o o f t h e a s s e s s o r s u s e d i n t h i s p r o j e c t w e r e b o t h a s s e s s o r s a n d a s s e s s o r t r a i n e r s , a m o r e t h o r o u g h t r a i n i n g w a s t h o u g h t t o b e r e d u n d a n t . H o w e v e r , i n r e t r o s p e c t , m o r e t r a i n i n g ( p o s s i b l y f a c e t o f a c e ) w o u l d p r o b a b l y h a v e i m p r o v e d i n t e r - r a t e r r e l i a b i l i t y . S u c h a n a p p r o a c h w o u l d h a v e a d d e d s i g n i fi c a n t c o s t s t o t h e p r o j e c t . O n c e a g a i n , c o m p r o m i s e s a n d n e g o t i a t i o n s p r o d u c e t h e b e s t r e s u l t s w i t h t h e a v a i l a b l e r e s o u r c e s . A s u m m a r y o f i n t e r - r a t e r r e l i a b i l i t y a m o n g a l l t h r e e a s s e s s o r s f o r e a c h s t a n d a r d , s e t o f s t a n d a r d s , a n d o v e r a l l i s p r o v i d e d i n T a b l e 2 - 1 4 . 8 9 T a b l e 2 - 1 4 : S u m m a r y o f I n t e r - R a t e r R e l i a b i l i t y 1 1 l 2 2 2 3 3 3 4 4 4 S t a n d a r d S e t 1 S e t 2 S e t S e t 0 . 1 6 1 0 . 2 1 7 0 . 1 8 8 0 . 1 6 8 0 . 1 2 1 0 . 2 0 . 1 2 4 0 . 2 9 3 0 . 1 0 . 2 2 4 0 . 1 0 . 1 8 5 0 . 1 0 7 1 . 1 . 1 2 3 1 . 3 4 5 1 . 3 3 2 2 . 0 0 2 0 . 3 6 1 0 . 4 2 0 . 4 3 8 0 . 4 2 8 0 . 3 7 1 0 . 6 6 2 0 . 3 9 2 0 . 4 6 3 0 . 0 . 4 3 2 0 . 4 3 2 0 . 4 7 1 0 . 3 2 2 . 7 3 . 3 2 9 3 . 3 2 3 4 . 5 1 3 E s t i m a t e o f T r u e S c o r e E s t i m a t e o f T o t a l E s t . o f E r r o r 0 0 0 0 0 . 3 9 8 0 . 2 6 8 0 . 1 7 1 0 . 3 0 . 2 0 8 0 . 2 7 0 0 . 2 1 7 1 . 6 1 3 1 . 1 . 9 9 1 2 . 5 1 1 E s t i m a t e d 0 . 4 4 0 . 5 1 l 0 . 4 0 . 3 9 0 . 3 2 0 0 . 3 1 0 . 6 0 0 . 5 1 0 . 3 6 1 0 . 3 9 0 . 3 3 1 0 . 4 1 0 . 0 . 4 0 1 O . T h e e s t i m a t e d r e l i a b i l i t i e s i n t h i s t a b l e w e r e c a l c u l a t e d b y d i v i d i n g t h e e s t i m a t e d t r u e s c o r e v a r i a n c e b y t h e e s t i m a t e d t o t a l v a r i a n c e . T o e s t i m a t e t h e t r u e s c o r e v a r i a n c e f o r e a c h o f t h e s t a n d a r d s , t h e c o v a r i a n c e s b e t w e e n t h e r a t i n g s o f e a c h p a i r o f a s s e s s o r s w e r e c o m p u t e d . T h e e s t i m a t e d t r u e s c o r e v a r i a n c e f o r e a c h o f t h e s t a n d a r d s i s t h e a v e r a g e o f t h e c o r r e s p o n d i n g c o v a r i a n c e s . T h e t o t a l s c o r e v a r i a n c e i s e s t i m a t e d b y a v e r a g i n g t h e v a r i a n c e s o f r a t i n g s o f e a c h o f t h e a s s e s s o r s . T h e e s t i m a t e o f e r r o r v a r i a n c e r e s u l t s f r o m s u b t r a c t i n g t h e e s t i m a t e o f t h e t r u e s c o r e v a r i a n c e f r o m t h e t o t a l v a r i a n c e . I n s u m m a r y , t h e i n s t r u m e n t a n a l y s i s i n d i c a t e s a h i g h d e g r e e o f a g r e e m e n t b e t w e e n t h e i n t e r v i e w p r o m p t s a n d t h e p o r t f o l i o p r o m p t s a s t h e y a d d r e s s i n d i v i d u a l o r g r o u p s o f s t a n d a r d s r e s p e c t i v e l y . W i t h r e g a r d s t o i n t e r - r a t e r r e l i a b i l i t y , t h e a s s e s s o r s i n t h i s s t u d y d e m o n s t r a t e d a n o v e r a l l r e l i a b i l i t y o f 0 . 4 5 8 c o n s i d e r e d l o w t o m o d e r a t e . W i t h s u c h a c o m p l e x a n d d i f f i c u l t a s s e s s m e n t t a s k , a r e l i a b i l i t y o f 0 . 4 5 8 r e p r e s e n t s a n i m p o r t a n t w e a k n e s s o f t h i s i n v e s t i g a t i o n . A l l f i n d i n g s d e r i v e d f r o m t h i s s t u d y s h o u l d b e c o n d i t i o n a l u p o n a l e s s t h a n i d e a l i n t e r - r a t e r r e l i a b i l i t y . T h e m e t h o d o l o g i c a l a s s u m p t i o n r e g a r d i n g t h e a d e q u a c y o f t h e a s s e s s m e n t i n s t r u m e n t s ’ a c c u r a c y a n d p r e c i s i o n i s s a t i s f a c t o r y t o a l i m i t e d d e g r e e , b u t l i m i t s t h e g e n e r a l i z a b i l i t y o f t h i s s t u d y ’ s fi n d i n g s . T h e e f f e c t o f t h e m o d e r a t e r e l i a b i l i t y i s t o i n fl a t e t h e v a r i a b i l i t y o f t h e s c o r e s m a k i n g t h e t e s t s o f t h e h y p o t h e s e s s t a t i s t i c a l l y m o r e c o n s e r v a t i v e ; t h a t i s , m a k i n g i t m o r e d i f fi c u l t t o r e j e c t t h e n u l l h y p o t h e s e s . T h e fi n a l a s s u m p t i o n t h a t n e e d s t o b e a d d r e s s e d p e r t a i n s t o t h e t i m i n g o f d a t a c o l l e c t i o n w i t h r e g a r d s t o t h e e x p e r i e n c e o f t h e i n t e r v e n t i o n . C o l l e c t i n g d a t a a t t h e a p p r o p r i a t e t i m e i s c r u c i a l t o s e c u r i n g t h e m o s t v a l i d r e s u l t s . A s t h e M u l l e n r e p o r t s t a t e s : T i m i n g o f d a t a c o l l e c t i o n i n a p r e - p o s t c o m p a r i s o n i s c r i t i c a l s i n c e t h e p r e c o l l e c t i o n n e e d s t o b e a s c l o s e a s p o s s i b l e t o t h e b e g i n n i n g o f t h e i n t e r v e n t i o n a n d t h e p o s t c o l l e c t i o n a t t h e a p p r o p r i a t e i n t e r v a l a f t e r t h e c h a n g e c o u l d b e r e a s o n a b l y e x p e c t e d t o o c c u r . I m p r o p e r t i m i n g c a n l e a d t o l e s s t h a n v a l i d r e s u l t s . T h i s i s e s p e c i a l l y t r u e w h e n a t t e m p t i n g t o g a u g e t h e e f f e c t o f a p a r t i c u l a r p r o f e s s i o n a l d e v e l o p m e n t . ( M u l l e n , e t a 1 , 1 9 9 6 , p 3 2 ) I n t h i s a r e a , t h e i n t e r n a l v a l i d i t y o f t h e s t u d y c a m e u p o n i t s m o s t s i g n i fi c a n t t h r e a t . I n C h a p t e r 4 , t h i s i s s u e w i l l b e e x p l o r e d a n d d i s c u s s e d a t g r e a t e r l e n g t h . S u m m a r y T h i s c h a p t e r d e a l t w i t h t h e i s s u e s a n d a p p r o a c h e s a s s o c i a t e d w i t h t h e r e s e a r c h m e t h o d o l o g y . T h e R e c u r r e n t I n s t i t u t i o n a l C y c l e D e s i g n w a s u s e d t o i n v e s t i g a t e a s e r i e s o f h y p o t h e s e s t h a t w o u l d e x p l a i n o b s e r v e d t r e a t m e n t e f f e c t s u p o n t h e l e a r n i n g o f s e c o n d a r y s c i e n c e t e a c h e r s i n t h i s s t u d y . T h r o u g h b o t h c r o s s s e c t i o n a l a n d l o n g i t u d i n a l d a t a s e t c o m p a r i s o n s , m o s t t h r e a t s t o i n t e r n a l a n d e x t e r n a l v a l i d i t y c a n b e c o n t r o l l e d f o r w i t h t h i s m e t h o d o l o g y . P r o c e d u r e s f o r r e c r u i t i n g a n d d a t a c o l l e c t i o n a s w e l l a s 9 1 d e m o g r a p h i c i n f o r m a t i o n r e g a r d i n g c o h o r t p a r t i c i p a n t s w e r e a l s o p r o v i d e d i n t h i s c h a p t e r . I n t h e n e x t c h a p t e r , I w i l l p r e s e n t t h e r e s u l t s f r o m t h e h y p o t h e s i s t e s t i n g . 9 2 C H A P T E R 3 : Q U A N T I T A T I V E R E S U L T S ' T i l y o u r e r r o r y o u c l e a r l y l e a r n . - B o b D y l a n f r o m “ L i c e n s e d t o K i l l ” O v e r v i e w I n t h i s c h a p t e r , s t a t i s t i c a l a n a l y s i s o f t h e r e s u l t s i s p r e s e n t e d . C h a p t e r 2 a d d r e s s e d t h r e e i m p o r t a n t a s s u m p t i o n s 1 ) t h e v a l i d i t y o f t h e m e t h o d o l o g y c h o s e n f o r a n s w e r i n g t h e r e s e a r c h q u e s t i o n , 2 ) t h e h o m o g e n e i t y o f t h e c o h o r t s a n d t h e i r r e s p e c t i v e s a m p l e s , a n d 3 ) t h e r e l i a b i l i t y o f t h e m e a s u r e m e n t i n s t r u m e n t s a n d p r o c e d u r e s . C h a p t e r 3 p r e s e n t s t h e r e s u l t s w i t h i n t h e c o n t e x t o f t h e i d e n t i fi e d s t r e n g t h s a n d w e a k n e s s e s s o f a r d i s c u s s e d . I n a d d i t i o n , t h i s c h a p t e r d i s c u s s e s t h e t i m i n g o f d a t a c o l l e c t i o n w i t h r e s p e c t t o t h e i n t e r v e n t i o n . I s s u e s a s s o c i a t e d w i t h d a t a c o l l e c t i o n w i l l b e e x p l o r e d i n a n a n a l y s i s a n d d i s c u s s i o n o f c a n d i d a t e ‘ s t a t u s ’ . C h a p t e r 3 p r e s e n t s a n a l y s e s f o c u s e d u p o n t h e t e s t i n g o f e a c h h y p o t h e s i s a n d t h e i d e n t i fi c a t i o n o f s p e c i fi c a r e a s o f p r e t o p o s t s c o r e g a i n . A n a l y s e s a r e d i v i d e d i n t o t w o s e c t i o n s . T h e fi r s t s e c t i o n a d d r e s s e s t h e v a l i d i t y o f t h e m e t h o d o l o g y u s e d t o a n s w e r t h e r e s e a r c h q u e s t i o n . B y c l o s e e x a m i n a t i o n o f H y p o t h e s e s 1 - 1 0 , t h e s t r e n g t h s a n d w e a k n e s s o f t h e R I C D w i l l b e a p p a r e n t . T h e s e c o n d s e c t i o n f o c u s e s o n t h e C o m b i n e d H y p o t h e s i s a n d t h e i d e n t i fi c a t i o n o f s e t s a n d s t a n d a r d s t h a t d e m o n s t r a t e t h e m o s t s i g n i f i c a n t g a i n s f r o m p r e t o p o s t o b s e r v a t i o n s . C h a p t e r 3 i s p r e s e n t e d i n t h e f o l l o w i n g o r d e r : 1 ) O v e r v i e w 2 ) D a t a C o l l e c t i o n 3 ) V a l i d i t y o f D e s i g n a . N o n - E q u i v a l e n c e H y p o t h e s e s 1 - 6 b . E q u i v a l e n c e H y p o t h e s e s 7 - 1 0 c . I s s u e o f S t a t u s ( 1 . A d j u s t e d R e s u l t s 4 ) P r e t o P o s t G a i n s A n a l y s i s : C o m b i n e d H y p o t h e s i s 9 3 5 ) C o n f o u n d i n g V a r i a b l e s 6 ) S u m m a r y D a t a C o l l e c t i o n B e f o r e d e l v i n g i n t o t h e d a t a a n a l y s i s , i t i s p r u d e n t t o t a k e a s t e p b a c k a n d e x p l a i n t h e o r i g i n o f t h e m e a n s f o r e a c h o b s e r v a t i o n p o i n t . A s m e n t i o n e d b r i e fl y i n C h a p t e r 2 , t h e t i m i n g o f d a t a c o l l e c t i o n w a s c o n s i d e r e d v e r y i m p o r t a n t t o i d e n t i f y i n g t h e p o s s i b l e e f f e c t s o f t h e i n t e r v e n t i o n . P r e - d a t a w e r e t o b e c o l l e c t e d a f t e r c a n d i d a t e s s e l f - s e l e c t e d t h e m s e l v e s f o r B o a r d c e r t i fi c a t i o n b y p a y i n g t h e n o n - r e f u n d a b l e $ 3 0 0 r e g i s t r a t i o n f e e , b u t b e f o r e m e a n i n g f u l w o r k o n p o r t f o l i o c o n s t r u c t i o n h a d b e g u n . P o s t - d a t a w a s t o b e c o l l e c t e d i n t h e t i m e p e r i o d a f t e r a c a n d i d a t e s u b m i t t e d o f t h e c o m p l e t e d p o r t f o l i o a n d fi n i s h e d t h e a s s e s s m e n t c e n t e r e x e r c i s e s ( a r o u n d J u n e ) a n d b e f o r e t h e y w e r e n o t i fi e d b y t h e B o a r d o f w h e t h e r o r n o t t h e y p a s s e d ( l a t e N o v e m b e r ) . I f t h e o v e r a l l t i m i n g o f d a t a c o l l e c t i o n w a s i m p o r t a n t , e a c h s t e p a l o n g t h e w a y d e s e r v e s s o m e d i s c u s s i o n . A f t e r r e c r u i t i n g e a c h p a r t i c i p a n t a s d e s c r i b e d i n C h a p t e r 2 , d a t a c o l l e c t i o n b e g a n w i t h t h e c o m p l e t e d c o n s e n t f o r m a n d t h e n c o n t i n u e d w i t h t h e t e l e p h o n e i n t e r v i e w o f t h e t e a c h e r - c a n d i d a t e . A f t e r t h e a u d i o t a p e d i n t e r v i e w w a s t r a n s c r i b e d , a ‘ p r o c e s s e d ’ v e r s i o n o f t h e t r a n s c r i p t i o n ” o f e a c h i n t e r v i e w w a s t h e n s c o r e d b y a t l e a s t t w o a s s e s s o r s u s i n g t h e r u b r i c s a n d s t a n d a r d s o f t h e N a t i o n a l B o a r d c e r t i fi c a t i o n p r o c e s s . T h e a s s e s s o r s t h e n p r o v i d e d o n e s c o r e f o r e a c h o f t h e 1 3 s t a n d a r d s o f a c c o m p l i s h e d t e a c h i n g i n A d o l e s c e n t ' 2 T h e ‘ p r o c e s s e d ’ t r a n s c r i p t w a s a c r u c i a l s t e p i n t h i s r e s e a r c h p r o j e c t . T h e a s s e s s o r s ’ r e s p o n s i b i l i t i e s w e r e t o r e s e m b l e t h e i r e x p e r i e n c e w i t h ‘ 1 i v e ’ p o r t f o l i o s a s m u c h a s p o s s i b l e . T o h a n d t h e m a ‘ r a w ’ t r a n s c r i p t w o u l d h a v e i m p e d e d t h e i r a b i l i t y t o a d e q u a t e l y a n d f a i r l y e v a l u a t e t h e w r i t t e n w o r d s . N a t i o n a l B o a r d i s a s t i c k l e r f o r f o r m a t ( f o n t , m a r g i n s , s p a c i n g , e t c ) a n d t h e r e s e a r c h e r s w a n t e d t h e i n t e r v i e w t r a n s c r i p t s t o r e s e m b l e a r e a l e n t r y v i s u a l l y a s m u c h a s p o s s i b l e . T h e a i m o f t h e p r o c e s s i n g w a s t o i m p r o v e t h e a p p e a r a n c e , b u t n o t t h e m e a n i n g o r i n t e n t o f t h e w o r d s . S e e A p p e n d i x I f o r c o m p l e t e d e t a i l s . 9 4 a n d Y o u n g A d u l t S c i e n c e d e s c r i b e d i n C h a p t e r 2 . T h e 1 3 a s s e s s e d s c o r e s f o r e a c h c a n d i d a t e w e r e t h e n a g g r e g a t e d t o t h e g r o u p l e v e l s o t h a t m e a n s r e p r e s e n t i n g d i f f e r e n t o b s e r v a t i o n s c o u l d b e c o m p a r e d f o r s i g n i fi c a n t d i f f e r e n c e s a t t h e o v e r a l l , s e t , a n d i n d i v i d u a l s t a n d a r d l e v e l o f a n a l y s i s . T h e p r o c e s s f o r d a t a c o l l e c t i o n i s i l l u s t r a t e d i n F i g u r e 3 - 1 . 9 5 F i g u r e 3 - 1 : T h e P a t h w a y t o D a t a C o l l e c t i o n G r o u p s z a s B E G I N N I N G r a t D a t a C o l l e c t i o n A n a l y s i s o f _ D a t a R e s e a r c h e r s S e n d N B P T S S A S P 5 f o r D i s t r i p u t i o n M P T S i n i o n n s C a n d i d a t e s o i R e s e a r c h ‘ t h r o u g h U S ' m a i l S c o r e s a r e T a b u l a t e d S c o r e d T r a n s c r i p t I s R e t u r n e d t o R e s e a r c h e r I n t e r e s t e d C a n d i d a t e R e t u r n s P o s t c a r d t o R e s e a r c h e r B E G I N N I N G o f D a t a C o l l e c t i o n R e s e a r c h e r s R e q u e a t s C o n t a c t i n t o w i t h C a n d i d a t e s i r o m C o l e c t l o n F l o w C h a r t f o r B t u R e s e a r c h e r S e n d s I n t e r e s t e d C a n d i d a t e s ' F o r m a l ' I n v i t a t i o n C a n d i d a t e r e t u r n s 1 S t a t e m e n t o f C o n s e n t i R e s e a r c h e r a n d C a n d i d a t e A r r a n g e ‘ I n t e r v i e w " i R e s e a r c h e r S e n d s C a n d i d a t e I n t e r v i e w ' ' P a c l e t ' 1 P r o c e a d T r a n s c r i p t T r a n s c r i p t i o n T a p e d C i i 5 5 6 " ! 1 0 fi l s ’ P r o c e s e d ' ‘ - I n t e r v i e w I s A S 8 8 0 ! 1 0 ' f o r S c o r i n g T r a n s c r i b e d S c o r i n g 1 ‘ — ‘ C a n d i d a t e i s s e n t G i l t C e r t i f i c a t e C a n d i d a t e l s R e m i n d e d o f S c h e d u l e d I n t e r v i e w C a n d I d a t e i s I n t e r v i e w e d C a n d i d a t e _ R e t u r n s M a t e r i a l s 9 6 H y p o t h e s e s T e s t i n g A c c o r d i n g t o t h e R e c u r r e n t I n s t i t u t i o n a l D e s i g n , t h e r e a r e t w o g r o u p s o f h y p o t h e s e s : t h o s e t h a t p r e d i c t a d i f f e r e n c e ( N o n - E q u i v a l e n c e H y p o t h e s e s 1 - 6 ) a n d t h o s e t h a t p r e d i c t n o d i f f e r e n c e ( E q u i v a l e n c e H y p o t h e s e s 7 - 1 0 ) . T h e N o n - E q u i v a l e n c e H y p o t h e s e s l o o k a t t h e p r e d i c t e d g a i n s b y c o m p a r i n g p r e g r o u p s w i t h p o s t g r o u p s . T h e p u r p o s e o f t h e E q u i v a l e n c e H y p o t h e s e s 7 - 1 0 i s t o p r o v i d e a c h e c k o f t h e m e t h o d o l o g y u s e d i n t h i s s t u d y . I f t h e m e t h o d o l o g i e s a n d i n s t r u m e n t s a r e v a l i d , t h e n t h e r e s h o u l d b e n o d i f f e r e n c e b e t w e e n p r e g r o u p - p r e g r o u p c o m p a r i s o n s a n d p o s t g r o u p - p o s t g r o u p c o m p a r i s o n s . F o r t h i s s t u d y , t h e C o m b i n e d H y p o t h e s i s w a s a d d e d t o e x a m i n e g a i n s w i t h t h e l a r g e s t p o s s i b l e d e g r e e s o f f r e e d o m m a k i n g u s e o f a l l 1 1 8 p a r t i c i p a n t s i n 4 o u t o f t h e 5 o b s e r v a t i o n p o i n t s . T h e a n a l y s i s w i l l b e g i n b y l o o k i n g a t t h e E q u i v a l e n c e H y p o t h e s e s . E q u i v a l e n c e H y p o t h e s e s L P N - H I D ) T h e d e t a i l e d r e s u l t s o f t e s t i n g H y p o t h e s e s 7 - 1 0 a r e p r o v i d e d i n T a b l e 3 - 1 . T h e t a b l e p r o v i d e s t h e r e s u l t s o f h y p o t h e s i s t e s t i n g a t t h e O v e r a l l a n d S e t l e v e l s o f a n a l y s i s . A t w o - t a i l e d i n d e p e n d e n t t — t e s t w a s u s e d t o c h e c k f o r s i g n i fi c a n t d i f f e r e n c e s i n a l l f o u r e q u i v a l e n c e h y p o t h e s e s s i n c e t h e m e a n s c o m p a r e d c o u l d m o v e i n e i t h e r a n u p o r d o w n d i r e c t i o n . S i n c e n o s i g n i fi c a n t d i f f e r e n c e s w e r e i d e n t i fi e d i n e i t h e r t h e o v e r a l l a v e r a g e o r t h e s u b s e q u e n t s e t s o f s t a n d a r d s , a n i n d i v i d u a l a n a l y s i s o f e a c h s t a n d a r d i s n o t p r e s e n t e d . A n e r r o r c o n t r o l p r o c e d u r e ( i . e . t h e B o n f e r r o n i A d j u s t m e n t ) w a s n o t u s e d i n t h e a n a l y s i s o f t h e E q u i v a l e n c e H y p o t h e s i s s i n c e e a c h o b s e r v a t i o n d a t a s e t i n v o l v e d i n a c o m p a r i s o n i s s e p a r a t e a n d d i s t i n c t . T h o u g h m u l t i p l e h y p o t h e s e s a r e b e i n g t e s t e d , e a c h h y p o t h e s i s c o m p a r e s t w o d i f f e r e n t o b s e r v a t i o n p o i n t s o r d a t a s e t s . 9 7 T a b l e 3 - 1 : A n a l y s i s o f E q u i v a l e n c e H y p o t h e s e s ( H 7 - H 1 0 ) N M e a n D e v . E r r o r 9 8 T h e r e s u l t s o f t h i s a n a l y s i s s h o w t h a t n o s i g n i f i c a n t d i f f e r e n c e s e x i s t i n e a c h o f t h e f o u r h y p o t h e s e s a t t h e . 0 5 l e v e l . H y p o t h e s i s 8 w h e n t e s t e d o n S e t 2 o f t h e s t a n d a r d s w a s s i g n i fi c a n t a t t h e . 1 0 l e v e l o f s i g n i fi c a n c e . H o w e v e r , i n a l l c a s e s , t h e i n v e s t i g a t o r f a i l s t o r e j e c t t h e n u l l h y p o t h e s i s i n d i c a t i n g t h a t t h e m e a n s c o r e s c o m p a r e d i n e a c h h y p o t h e s i s f o r e a c h l e v e l ( o v e r a l l a v e r a g e s a n d S e t s 1 , 2 , 3 , a n d 4 ) a r e n o t s i g n i fi c a n t l y d i f f e r e n t . F r o m t h i s r e s u l t , I i n f e r t h a t t h e p r e - o b s e r v a t i o n s d o n o t d i f f e r f r o m e a c h o t h e r a n d t h a t t h e p o s t o b s e r v a t i o n s d o n o t d i f f e r f r o m e a c h o t h e r . A c o m p a r i s o n o f t h e p r e - o b s e r v a t i o n s w i t h t h e p o s t - o b s e r v a t i o n s w i l l b e e x p l o r e d w i t h t h e N o n - E q u i v a l e n t H y p o t h e s e s . T a b l e 3 - 2 p r o v i d e s a s u m m a r y o f t h e E q u i v a l e n t H y p o t h e s e s r e s u l t s a n d a l s o i n c l u d e s a p o w e r m e a s u r e m e n t . T h e p o w e r f o r e a c h h y p o t h e s i s i s q u i t e l o w i n d i c a t i n g a m a x i m u m p r o b a b i l i t y o f 1 2 % a n d a m i n i m u m o f 3 % o f m a k i n g a T y p e 1 1 E r r o r o r f a i l i n g t o s e e d i f f e r e n c e w h e n d i f f e r e n c e s r e a l l y e x i s t . T a b l e 3 - 2 : R e s u l t s S u m m a r y f o r E q u i v a l e n t H y p o t h e s e s ( H 7 - H 1 0 ) a = r . ’ 3 ' 0 . 2 5 a a a h u . a " " 8 + 2 5 ' . 9 " - 1 8 E = 3 E E e r a 5 9 5 3 I . _ h E A . a a " " “ ” 5 I : “ - a a e - s e ' - a E ; a a 3 a 3 ’ ° ‘ 3 . § g a * - ' e : - = : 3 a 5 m z 5 2 7 O 3 = O 4 I n d e p . - 0 . 0 7 0 0 . 1 3 7 0 . 5 0 8 3 6 2 0 . 6 1 5 2 . 0 2 8 0 . 0 7 0 0 . 2 7 8 8 O 2 = O 5 I n d e p . 0 . 1 0 1 0 . 1 2 7 0 . 7 9 5 5 6 2 0 . 4 3 0 2 . 0 0 3 0 . 1 1 8 0 . 2 5 5 9 O 3 = O l I n d e p . - 0 . 0 6 3 0 . 1 2 5 0 . 5 0 4 4 9 2 0 . 6 1 7 2 . 0 1 0 0 . 0 7 0 0 . 2 5 0 1 0 O 4 = O 1 I n d e p . 0 . 0 0 7 0 . 1 2 1 0 . 0 5 6 5 1 2 0 . 9 5 6 2 . 0 0 8 0 . 0 2 8 0 . 2 4 3 W h y i s f i n d i n g n o d i f f e r e n c e b e t w e e n p o s t - p o s t c o m p a r i s o n s a n d p r e - p r e c o m p a r i s o n s i m p o r t a n t ? A n o t h e r w a y t o t h i n k a b o u t t h i s s e r i e s o f h y p o t h e s e s i s w h e n p r e - g r o u p s a r e c o m p a r e d r e g a r d l e s s o f y e a r o f c e r t i fi c a t i o n ; a s s e s s e d s c o r e s i n t h i s s t u d y a r e n o t s i g n i fi c a n t l y d i f f e r e n t . L i k e w i s e , w h e n p o s t - g r o u p s a r e c o m p a r e d r e g a r d l e s s o f y e a r o f c e r t i fi c a t i o n , a s s e s s e d s c o r e s i n t h i s s t u d y a r e a l s o n o t s i g n i f i c a n t l y d i f f e r e n t . 9 9 T h e s e r e s u l t s b u i l d c o n f i d e n c e i n t h e m e t h o d o l o g y a n d m e a s u r e m e n t i n s t r u m e n t s u s e d i n t h i s s t u d y . I f t h e r e s u l t s w e r e r a n d o m , t h e n i t w o u l d b e e x p e c t e d t h a t a t l e a s t h a l f o f t h e e q u i v a l e n t h y p o t h e s e s w o u l d d e m o n s t r a t e d i f f e r e n c e s i n e i t h e r d i r e c t i o n . W h e r e t w o h y p o t h e s e s d i f f e r e d i n a p o s i t i v e d i r e c t i o n ( H 8 & H 1 0 ) w h i l e t w o d i f f e r e d i n a n e g a t i v e d i r e c t i o n ( H 7 & H 9 ) , n o n e o f t h e s e d i f f e r e n c e s w e r e s i g n i fi c a n t a t t h e . 0 5 l e v e l . T h e r e f o r e , r a n d o m n e s s d o e s n o t a p p e a r t o b e t h e m a i n i n fl u e n c e o n t h e r e s u l t s f o r t h e s e e q u i v a l e n t h y p o t h e s e s s u p p o r t i n g t h e v a l i d i t y o f t h e r e s e a r c h d e s i g n . H y p o t h e s i s 7 ( O 3 : 0 4 ) i s a n e s p e c i a l l y i m p o r t a n t t e s t . H y p o t h e s i s 7 e x a m i n e s t h e t w o p o s t - o b s e r v a t i o n s o f G r o u p 2 . G r o u p 2 w a s d i v i d e d i n t o G r o u p 2 A a n d G r o u p 2 B i n o r d e r t o t e s t f o r t h e e f f e c t o f t e s t i n g . G r o u p 2 A w a s o b s e r v e d p r i o r t o t h e i n t e r v e n t i o n ( 2 A - P r e ) a n d a f t e r t h e i n t e r v e n t i o n ( 2 A - P o s t ) w h e r e a s G r o u p 2 B w a s o n l y o b s e r v e d a f t e r t h e i n t e r v e n t i o n . I f G r o u p 2 A - P o s t ( 0 3 ) w a s s i g n i fi c a n t l y d i f f e r e n t f r o m G r o u p 2 B , t h e n t h e a c t o f c o l l e c t i n g p r e i n t e r v e n t i o n d a t a o n G r o u p 2 A w o u l d b e c o m e a r i v a l e x p l a n a t i o n f o r o b s e r v e d d i f f e r e n c e s . I n o t h e r w o r d s , a n y o b s e r v e d g a i n s i n a s s e s s e d s c o r e s c o u l d b e a t t r i b u t e d t o e i t h e r t h e a m a z i n g l e a r n i n g e x p e r i e n c e o f b e i n g i n t e r v i e w e d p r i o r t o t h e i n t e r v e n t i o n o r t h e i n t e r v e n t i o n . T h e n o n - r e j e c t i o n o f t h e n u l l h y p o t h e s i s f o r H y p o t h e s i s 7 i n d i c a t e s t h a t t h e r e w a s n o o b s e r v e d e f f e c t f r o m t e s t i n g . F i g u r e 3 - 2 s h o w s a b a r g r a p h t h a t i l l u s t r a t e s t h e c o m p a r i s o n o f G r o u p 2 A - P o s t a n d G r o u p Z B o n a l l m e a s u r e s . M e a s u r e 1 4 e x a m i n e s t h e o v e r a l l a v e r a g e o f a l l t h i r t e e n s t a n d a r d s . I t c l e a r l y d e m o n s t r a t e s t h a t t h e t w o g r o u p s a r e n e a r l y i d e n t i c a l o n e a c h o f t h e o b s e r v e d m e a s u r e s , t h e r e f o r e e l i m i n a t i n g t h e e f f e c t o f t e s t i n g a s a p o s s i b l e e x p l a n a t i o n o f d i f f e r e n c e s t h a t m a y b e r e v e a l e d l a t e r o n i n t h e a n a l y s i s . 1 0 0 F i g u r e 3 - 2 : B a r G r a p h C o m p a r i n g G r o u p 2 A - P o s t a n d G r o u p 2 B E f f e c t o f T e s t i n g i n G r o u p 2 H y p o t h e s i s 7 ( 0 3 = 0 4 ) S c o r e E G r o u p 2 A P o s t I G r o u p Z B P o s t A Y A S c i S t a n d a r d s T h e f o u r e q u i v a l e n c e h y p o t h e s e s d i s c u s s e d h e r e H 7 ( 0 3 = 0 4 ) , H 8 ( 0 2 = 0 5 ) , H 9 ( 0 3 = 0 1 ) , a n d H 1 0 ( 0 4 = 0 1 ) a l l s h o w h o m o g e n e t i t y a n d n o s i g n i fi c a n t d i f f e r e n c e s b e t w e e n m e a n c o m p a r i s o n s . T h e s e h y p o t h e s e s a r e i m p o r t a n t i n a s s e s s i n g t h e i n t e r n a l v a l i d i t y o f t h e m e t h o d o l o g y u s e d i n t h i s s t u d y . A c c o r d i n g t o t h e R e c u r r e n t I n s t i t u t i o n a l C y c l e D e s i g n , t h e r e s h o u l d b e n o s i g n i fi c a n t d i f f e r e n c e s b e t w e e n p r e o b s e r v a t i o n s o f d i f f e r e n t g r o u p s a n d p o s t o b s e r v a t i o n s o f d i f f e r e n t g r o u p s . T h e r e s u l t s s u p p o r t t h e s e h y p o t h e s e s . N o n - E q u i v a l e n c e H y p o t h e s e s g H 1 - H 6 1 T h e E q u i v a l e n c e H y p o t h e s e s ( H 7 - H 1 0 ) w e r e v e r y c o n s i s t e n t i n t h e i r r e s u l t s . T h e N o n — E q u i v a l e n c e H y p o t h e s e s ( H I - H 6 ) a r e l e s s c o n s i s t e n t a n d m o r e c o m p l e x i n n a t u r e . T h e s e a r e t h e h y p o t h e s e s t h a t c o m p a r e t h e p o s t - o b s e r v a t i o n s w i t h t h e p r e - o b s e r v a t i o n s b o t h w i t h a n d b e t w e e n g r o u p s . I n e a c h h y p o t h e s i s , t h e p o s t - o b s e r v a t i o n i s e x p e c t e d t o b e h i g h e r t h a n t h e p r e — o b s e r v a t i o n . B e c a u s e o f t h e e x p e c t e d d i r e c t i o n o f d i f f e r e n c e , a 1 - 1 0 1 t a i l e d t - t e s t w a s u s e d t o c o m p a r e m e a n s . A l l t - t e s t s a r e i n d e p e n d e n t e x c e p t f o r H y p o t h e s i s 3 , w h i c h i s a d e p e n d e n t t - t e s t a n d e x a m i n e s t h e w i t h i n g r o u p d i f f e r e n c e s . A s w i t h t h e E q u i v a l e n c e H y p o t h e s e s , a n e r r o r c o n t r o l p r o c e d u r e ( i . e . t h e B o n f e r r o n i A d j u s t m e n t ) w a s n o t e m p l o y e d i n t h e a n a l y s i s o f t h e N o n - E q u i v a l e n c e H y p o t h e s i s s i n c e e a c h o b s e r v a t i o n d a t a s e t i n v o l v e d i n a c o m p a r i s o n i s s e p a r a t e a n d d i s t i n c t . T h o u g h m u l t i p l e h y p o t h e s e s a r e b e i n g t e s t e d a n d e a c h h y p o t h e s i s i s e x a m i n e d a t t h e O v e r a l l a n d i n d i v i d u a l S e t l e v e l s , t h i s s e r i e s o f h y p o t h e s i s t e s t i n g i s n o t b e i n g u s e d t o i d e n t i f y l e a r n i n g o u t c o m e s , b u t r a t h e r c o n t i n u e w i t h a l o o k a t t h e i n t e r n a l v a l i d i t y o f t h e m e t h o d o l o g y . 1 3 D e t a i l e d r e s u l t s o f h y p o t h e s i s t e s t i n g f o r H y p o t h e s e s 1 - 6 a r e p r e s e n t e d i n T a b l e 3 - 3 . T h e o r g a n i z a t i o n o f t h i s t a b l e i s t h e s a m e a s w i t h t h e E q u i v a l e n t H y p o t h e s e s d e s c r i b e d a b o v e . F i r s t , t h e o v e r a l l a v e r a g e s a r e c o m p a r e d a n d t h e n e a c h o f t h e 4 S e t s o f s t a n d a r d s i s e x a m i n e d . y ' 3 I f a B o n f e r r o n i A d j u s t m e n t w a s u s e d , a l p h a w o u l d b e s e t a t 0 . 0 1 ( 0 . 0 5 / 5 ) , H y p o t h e s i s 2 ( 0 1 > 0 5 ) w o u l d b e S i g n i fi c a n t a t t h e O v e r a l l , S e t 2 . a n d S e t 4 c o m p a r i s o n s . H y p o t h e s i s 4 ( 0 3 > 0 5 ) w o u l d b e s i g n i fi c a n t a t S e t 2 a s w e l l . 1 0 2 T a b l e 3 - 3 : N o n - E q u i v a l e n c e H y p o t h e s e s ( H 1 - H 6 ) E m u p S t a t i s t i c s I n d e p e n d e n t S a m p l e s T e s t [ S t a n d a r d s O v e r a l l A v e r a g e t - t e s t f o r E q u a l i t y o f M e a n s ' S t d . S t d . M e a n S t d . G r o u p N M e a n D e v . E r r o r t d f S i g . 2 - t a i l e d D i f f . E r r o r O v e r a l l A v e r a g e s l - P O S I 4 0 2 . 8 1 1 0 . 4 5 3 0 . 0 7 2 1 . 2 2 9 5 6 0 . 2 2 4 0 . 1 7 0 0 . 1 3 8 I H I 2 A - P r e 1 s 2 . 6 4 1 0 . 5 5 9 0 . 1 3 2 I I H l - P o s t 4 0 2 . 8 1 1 0 . 4 5 3 0 . 0 7 2 2 . 8 6 8 7 8 0 . 0 0 5 0 . 2 7 1 0 . 0 9 5 2 3 - P r e 4 0 2 . 5 4 0 0 . 3 9 1 0 . 0 6 2 I 2 A - P o s t 1 8 2 . 7 2 3 0 . 4 1 8 0 . 0 9 8 0 . 8 6 7 1 7 0 . 3 9 8 0 . 0 8 2 0 . 0 9 H 3 2 A - P r e 1 8 2 . 6 4 1 0 . 5 5 9 0 . 1 3 2 A I 2 A - P o s t 1 8 2 . 7 2 3 0 . 4 1 8 0 . 0 9 8 1 . 6 1 5 5 6 0 . 1 1 2 0 . 1 8 3 0 . 1 1 3 H 4 3 - P r e 4 0 2 . 5 4 0 0 . 3 9 1 0 . 0 6 2 I Z B — P o s t 2 0 2 . 7 9 2 0 . 4 2 5 0 . 0 9 5 2 . 2 9 1 5 8 0 . 0 2 6 0 . 2 5 3 0 . 1 l 1 1 1 5 3 - P r e 4 0 2 . 5 4 0 0 . 3 9 1 0 . 0 6 2 : 1 2 B - P o s t 2 0 2 . 7 9 2 0 . 4 2 5 0 . 0 9 5 0 . 9 4 4 3 6 0 . 3 5 1 0 . 1 5 1 0 . 1 H 6 2 A - P r e 1 8 2 . 6 4 1 0 . 5 5 9 0 . 1 3 2 fl - t 1 A v e r a g e s . ‘ j 1 - P o s t 4 0 2 . 7 8 4 0 . 4 2 1 0 . 0 6 7 0 . 6 6 0 5 6 0 . 5 1 2 0 . 0 9 0 0 . 1 3 6 ' 1 2 A - P r e 1 8 2 . 6 9 4 0 . 5 9 4 0 . 1 4 0 1 l - P o s t 4 0 2 . 7 8 4 0 . 4 2 1 0 . 0 6 7 2 . 0 3 9 7 8 0 . 0 4 5 0 . 1 9 0 0 . 0 9 3 1 1 - 1 2 3 - P r e 4 0 2 . 5 9 5 0 . 4 1 1 0 0 6 5 ' 2 A - P o s t 1 8 2 . 7 5 5 0 . 4 2 6 0 . 1 0 0 0 . 5 9 9 1 7 0 . 5 5 7 0 . 0 6 0 0 . 1 0 1 | H 3 2 A - P r e 1 8 2 . 6 9 4 0 . 5 9 4 0 . 1 4 0 I H 2 A - P o s t 1 8 2 . 7 5 5 0 . 4 2 6 0 . 1 0 0 ! 1 . 3 5 6 5 6 0 . 1 8 1 0 . 1 6 0 0 . 1 1 8 4 3 - P r e 4 0 2 . 5 9 5 0 . 4 1 1 0 . 0 6 5 Z B - P o s t 2 0 2 . 8 0 8 0 . 4 0 7 0 . 0 9 1 1 . 9 0 4 5 8 0 . 0 6 2 0 . 2 1 4 0 . 1 1 2 I H S 3 - P r e 4 0 2 . 5 9 5 0 . 4 1 1 0 . 0 6 5 Z B - P o s t 2 0 . 2 . 8 0 8 0 . 4 0 7 0 . 0 9 1 0 . 6 9 5 3 6 0 . 4 9 1 0 . 1 1 4 0 . 1 6 4 H 6 2 A - P r e 1 8 2 . 6 9 4 0 . 5 9 4 0 . 1 4 0 1 [ E L I I A v e m g e s 1 - P O S I 4 0 2 . 7 4 7 0 . 5 1 9 0 . 0 8 2 0 . 9 4 5 5 6 0 . 3 4 8 0 . 1 4 5 0 . 1 5 3 H 1 2 A - P r e 1 8 2 . 6 0 2 0 . 5 8 7 0 . 1 3 8 l - P o s t 4 0 2 . 7 4 7 0 . 5 1 9 0 . 0 8 2 3 . 5 5 2 7 8 0 . 0 0 1 0 . 3 9 2 0 . 1 1 H 2 3 - P r e 4 0 2 . 3 5 5 0 . 4 6 6 0 . 0 7 4 ( 1 2 A - P o s t 1 8 2 . 7 0 8 0 . 4 4 0 0 . 1 0 4 0 . 9 3 2 1 7 0 . 3 6 4 0 . 1 0 6 0 . 1 1 H 3 2 A - P r e 1 8 2 . 6 0 2 0 . 5 8 7 0 . 1 3 8 4 I 2 A - P o s t 1 8 2 . 7 0 8 0 . 4 4 0 0 . 1 0 4 2 . 7 1 5 5 6 0 . 0 0 9 0 . 3 5 3 0 . 1 3 H 4 3 - P r e 4 0 2 . 3 5 5 0 . 4 6 6 0 . 0 7 4 ( 1 Z B - P O S I 2 0 2 . 7 0 4 0 . 5 2 2 0 . 1 1 7 2 . 6 2 8 5 8 0 . 0 1 1 0 . 3 4 9 0 . 1 3 3 H 5 3 - P r e 4 0 2 . 3 5 5 0 . 4 6 6 0 . 0 7 4 I Z B - P o s t 2 0 2 . 7 0 4 0 . 5 2 2 0 . 1 1 7 0 . 5 6 9 3 6 0 . 5 7 3 0 . 1 0 2 0 . 1 8 H 6 2 A - P i ' e 1 8 2 . 6 0 2 0 . 5 8 7 0 . 1 3 8 ( 1 1 0 3 n o t d e m o n s t r a t e s i g n i fi c a n t d i f f e r e n c e s a t t h e O v e r a l l l e v e l a n d I f a i l t o r e j e c t t h e n u l l T a b l e 3 - 3 : N o n - E q u i v a l e n c e H y p o t h e s e s ( H I - H 6 ) C o n t i n u e d | G r o u p S t a t i s t i c s [ I n d e p e n d e n t S a m p l e s T e s t I S t a n d a r d s O v e r a l l A v e r a e I t - t e s t f o r E q u a l i t y o f M e a n s S t d . S t d . M e a n S t d . G r o u p N M e a n D e v . E r r o r t a t S i E Z - t a i l e d D i f f . E r r o r , e t 3 A v e r a g e s ‘ ' ' . l - P o s t 4 0 2 . 8 7 8 0 . 5 1 2 0 . 0 8 1 1 . 3 6 7 5 6 0 . 1 7 7 0 . 2 1 4 0 . 1 5 6 H 1 2 A - P r e 1 8 2 . 6 6 4 0 . 6 3 2 0 . 1 4 9 l - P o s t 4 0 2 . 8 7 8 0 . 5 1 2 0 . 0 8 1 2 . 6 0 2 7 8 0 . 0 1 1 0 . 2 9 4 0 . 1 1 3 H 2 3 - P r e 4 0 2 . 5 8 4 0 . 4 9 8 0 . 0 7 9 2 A - P o s t 1 8 2 . 7 2 6 0 . 5 2 2 0 . 1 2 3 0 . 5 5 3 1 7 0 . 5 8 7 0 . 0 6 1 0 . 1 1 0 H 3 2 A - P r e 1 8 2 . 6 6 4 0 . 6 3 2 0 . 1 4 9 2 A - P o s t 1 8 2 . 7 2 5 0 . 5 2 3 0 . 1 2 3 0 . 9 7 7 5 6 0 . 3 3 3 0 . 1 4 0 0 . 1 4 3 H 4 3 - P r e 4 0 2 . 5 8 4 0 . 4 9 8 0 . 0 7 9 Z B - P o s t 2 0 2 . 8 3 1 0 . 4 5 8 0 . 1 0 2 1 . 8 5 9 5 8 0 . 0 6 8 0 . 2 4 7 0 . 1 3 3 H 5 3 - P r e 4 0 2 . 5 8 4 0 . 4 9 8 0 . 0 7 9 Z B - P o s t 2 0 2 . 8 3 1 0 . 4 5 8 0 . 1 0 2 0 . 9 4 0 3 6 0 . 3 5 4 0 . 1 6 7 0 . 1 7 8 H 6 2 A - P r e 1 8 2 . 6 6 4 0 . 6 3 2 0 . 1 4 9 l - P o s t 4 0 2 . 8 5 9 0 . 4 3 8 0 . 0 6 9 1 . 8 3 6 5 6 0 . 0 7 2 0 . 2 4 6 0 . 1 3 4 H 1 2 A - P r e 1 8 2 . 6 1 3 0 . 5 4 2 0 . 1 2 8 l - P o s t 4 0 2 . 8 5 9 0 . 4 3 8 0 . 0 6 9 2 . 8 0 8 7 8 0 . 0 0 6 0 . 2 5 5 0 . 0 9 1 H 2 3 - P r e 4 0 2 . 6 0 4 0 . 3 7 2 0 . 0 5 9 2 A - P o s t 1 8 2 . 7 0 8 3 0 . 4 4 2 0 . 1 0 4 0 . 8 1 0 1 7 0 . 4 2 9 0 . 0 9 5 0 . 1 1 8 H 3 2 A - P r e 1 8 2 . 6 1 2 8 0 . 5 4 2 0 . 1 2 8 2 A - P o s t 1 8 2 . 7 0 8 0 . 4 4 2 0 . 1 0 4 0 . 9 3 5 5 6 0 . 3 5 4 0 . 1 0 5 0 . 1 1 2 H 4 3 - P r ‘ e 4 0 2 . 6 0 4 0 . 3 7 2 0 . 0 5 9 Z B - P o s t 2 0 2 . 8 1 7 0 . 4 6 2 0 . 1 0 3 1 . 9 3 2 5 8 0 . 0 5 8 0 . 2 1 4 0 . 1 1 1 H 5 3 - P r e 4 0 2 . 6 0 4 0 . 3 7 2 0 . 0 5 9 2 B - P o s t 2 0 2 . 8 1 7 0 . 4 6 2 0 . 1 0 3 1 . 2 5 5 3 6 0 . 2 1 8 0 . 2 0 4 0 . 1 6 3 H 6 2 A - P r e 1 8 2 . 6 1 3 0 . 5 4 2 0 . 1 2 8 p r e d i c t e d d i r e c t i o n a s i n d i c a t e d b y m e a n d i f f e r e n c e s t h a t a r e a l l p o s i t i v e . O u t o f t h e 6 n o n - e q u i v a l e n c e h y p o t h e s e s e x a m i n e d a t t h e O v e r a l l L e v e l , H 2 ( 0 1 > 0 5 ) a n d H 5 ( 0 4 > A l l 6 n o n - e q u i v a l e n t h y p o t h e s e s i n d i c a t e m e a n d i f f e r e n c e s i n t h e c o r r e c t o r 0 5 ) w e r e s i g n i fi c a n t a t t h e . 0 1 a n d . 0 5 l e v e l s r e s p e c t i v e l y t h e r e f o r e r e j e c t i n g t h e n u l l h y p o t h e s i s f o r e a c h . H 1 ( 0 1 > 0 2 ) , H 3 ( 0 3 > 0 2 ) , H 4 ( 0 3 > 0 5 ) , a n d H 6 ( 0 4 > 0 3 ) d i d 1 0 4 h y p o t h e s i s f o r e a c h o f t h e s e h y p o t h e s e s . I t s h o u l d b e p o i n t e d o u t t h a t h a l f o f t h e s e c o m p a r i s o n s i n c l u d e 0 2 . T h i s c i r c u m s t a n c e w i l l b e t h e f o c u s o f t h e d i s c u s s i o n a n d a n a l y s i s l a t e r w h e n t h e i s s u e o f ‘ s t a t u s ’ i s e x p l o r e d . A t t h e l e v e l o f t h e s e t s , r e s u l t s a r e c o n s i s t e n t w i t h w h a t i s f o u n d o v e r a l l . H y p o t h e s e s 2 a n d 5 i n d i c a t e d g r e a t e r s i g n i fi c a n t d i f f e r e n c e s i n m e a n s c o r e s t h a n H y p o t h e s e s 1 , 3 , 4 , a n d 6 . F o r H y p o t h e s i s 2 ( 0 1 > O S ) , S e t I w a s s i g n i fi c a n t a t t h e . 0 5 l e v e l w h i l e S e t s 1 1 , I I I , a n d I V w e r e a l l s i g n i fi c a n t a t t h e . 0 1 l e v e l . F o r H y p o t h e s i s 5 , s i g n i fi c a n c e w a s g r e a t e s t f o r S e t 1 1 a t t h e . 0 1 l e v e l w h i l e S e t s 1 , I I I , a n d I V a r e o n l y m a r g i n a l l y s i g n i fi c a n t a t t h e . 0 5 l e v e l . S e t 1 1 w a s a l s o f o u n d t o b e s i g n i fi c a n t i n H y p o t h e s i s 4 a t t h e . 0 1 l e v e l . H y p o t h e s e s 1 , 3 , a n d 6 d e m o n s t r a t e d n o s i g n i fi c a n t d i f f e r e n c e s i n m e a n s c o r e s f o r a n y o f t h e S e t s . I t s h o u l d b e n o t e d o n c e a g a i n t h a t a l l t h r e e o f t h e s e H y p o t h e s e s u s e 0 2 i n t h e i r c o m p a r i s o n s . A c l o s e r e x a m i n a t i o n o f t h e N o n - E q u i v a l e n t H y p o t h e s e s r e v e a l s s o m e i m p o r t a n t d e t a i l s s u m m a r i z e d i n T a b l e 3 - 4 . F o r e x a m p l e , i n t w o h y p o t h e s e s ( H 2 a n d H 5 ) t h a t w e r e s i g n i fi c a n t a t t h e O v e r a l l l e v e l , t h e e f f e c t s i z e i s q u i t e l a r g e a t . 6 6 f o r e a c h . T h i s m e a n s t h a t t h e e f f e c t o f t h e i n t e r v e n t i o n o f o b s e r v e d c h a n g e s t o a s s e s s e d s t a n d a r d s i s e q u a l t o 6 6 % o f a s t a n d a r d d e v i a t i o n . I n s o m e e d u c a t i o n a l r e s e a r c h l i t e r a t u r e , a n e f f e c t s i z e o f . 1 5 i s c o n s i d e r e d ‘ f a i r ’ , m a k i n g t h e d o c u m e n t e d e f f e c t s i z e i n t h e s e t w o h y p o t h e s e s o u t s t a n d i n g ( G o l d h a b e r , 2 0 0 3 ) . H o w e v e r , t h e m a g n i t u d e o f t h e s e r e s u l t s i s t e m p e r e d b y t h e o t h e r f o u r h y p o t h e s e s t h a t d i d n o t d e m o n s t r a t e d i f f e r e n c e . 1 0 5 T a b l e 3 - 4 : R e s u l t s S u m m a r y f o r N o n - E q u i v a l e n t H y p o t h e s e s ( H I - H 6 ) a = : 3 0 . 1 5 g 3 , S 8 a s 3 ; : fl E { 8 3 2 : : 1 e I ! a 5 ° ' 3 - 5 ' ‘ 5 3 . 8 : 8 8 ' a g - 2 g . h E 0 a 5 ' - > . n . e g “ 5 g ' 6 “ 5 . 2 9 ' 5 8 : g a E a o e : . 1 . - ‘ 0 - - ‘ fl 5 : 1 O 2 m E 5 E 0 U z ‘ u E 1 O 1 > 0 2 I n c h p . 0 . 1 7 0 0 . 1 3 8 1 . 2 2 9 5 6 1 0 . 1 1 2 1 . 6 7 3 0 . 3 3 1 0 . 2 3 1 2 O 1 > O 5 I n d e p . 0 . 2 7 1 0 . 0 9 5 2 8 6 8 7 8 1 0 0 1 3 1 . 6 6 5 0 . 6 6 2 3 O 3 > 0 2 D e p e m l 0 . 0 8 2 0 . 0 9 4 0 . 8 6 7 1 7 1 0 . 1 9 9 1 . 7 4 0 0 . 2 0 2 0 . 1 6 4 4 O 3 > O 5 l u m p . 0 . 1 8 3 0 . 1 1 3 1 . 6 1 5 5 6 1 0 . 0 5 6 1 . 6 7 3 0 . 4 7 7 0 . 1 9 0 5 O 4 > O 5 I n r h p . 0 2 5 3 0 . 1 1 0 2 . 2 9 1 5 8 1 0 . 0 1 3 1 . 6 7 2 0 . 6 5 8 6 O 4 > 0 2 I n d e p . 0 . 1 5 1 0 . 1 6 0 0 . 9 4 4 3 6 1 0 . 1 7 6 1 . 6 8 8 0 . 2 5 3 0 . 2 7 0 A s a g r o u p , t h e N o n - E q u i v a l e n t H y p o t h e s e s s h o w a h i g h e r p o w e r t h a n t h e E q u i v a l e n t H y p o t h e s e s s u m m a r i z e d i n T a b l e 3 - 2 . G r e a t e r p o w e r i n d i c a t e s a h i g h e r p r o b a b l y o f c o m m i t t i n g a T y p e 1 1 E r r o r ( i . e . n o t s e e i n g d i f f e r e n c e s w h e n d i f f e r e n c e a c t u a l l y e x i s t ) . S e c o n d , H y p o t h e s i s 4 i s s i g n i fi c a n t a t t h e . 1 0 l e v e l a n d o n l y m a r g i n a l l y s i g n i fi c a n t a t t h e . 0 5 l e v e l w i t h a s i g n i fi c a n c e o f . 0 5 6 . T h i s i s i m p o r t a n t b e c a u s e H y p o t h e s i s 4 i s t h e o n l y n o n - s i g n i fi c a n t h y p o t h e s i s t h a t d o e s n o t i n c l u d e a G r o u p 2 c o m p a r i s o n . T h i s o b s e r v a t i o n a d d s c r e d e n c e t o t h e n o t i o n t h a t s o m e t h i n g m a y b e w r o n g w i t h o b s e r v a t i o n n u m b e r t w o ( G r o u p 2 A - P r e ) . T h e r e m a i n i n g n o n - s i g n i fi c a n t h y p o t h e s e s ( I - I l , H 3 , a n d H 6 ) a l l i n v o l v e t h e o b s e r v a t i o n o f G r o u p 2 A - P r e . A m o n g t h e s e h y p o t h e s e s , H y p o t h e s i s 3 i s i m p o r t a n t b e c a u s e i t i s t h e o n l y l o n g i t u d i n a l m e a s u r e i n t h i s s t u d y e x a m i n i n g h o w G r o u p 2 A m i g h t c h a n g e f r o m p r e - o b s e r v a t i o n t o p o s t - o b s e r v a t i o n . W h y i s i t t h a t t h e o b s e r v a t i o n s t h a t i n c l u d e G r o u p 2 A - P r e d o n o t s h o w s i g n i fi c a n t d i f f e r e n c e s a n d t h o s e c o m p a r i s o n s t h a t d o n o t i n c l u d e G r o u p 2 A — P r e d e m o n s t r a t e s i g n i fi c a n c e ? T h e r e i s r e a s o n t o b e l i e v e t h a t s o m e t h i n g i s n o t r i g h t w i t h G r o u p 2 A - P r e . A fi e r c o n s i d e r i n g t h e p r o b l e m s o f r e c r u i t m e n t 1 0 6 f o r G r o u p 2 A - P r e d e s c r i b e d i n C h a p t e r 2 , I t h e o r i z e d t h a t t h e r e m i g h t b e a c o n n e c t i o n b e t w e e n t h e r e c r u i t m e n t i s s u e a n d t h e l a c k o f d i f f e r e n c e o b s e r v e d . I n o t h e r w o r d s , t h e u n e x p e c t e d s t a t u s c o n d i t i o n o f p a r t i c i p a n t s i n G r o u p 2 A - P r e m a y h a v e h a d a n i n fl u e n c e o n t h e q u a l i t y o f a s s e s s e d s c o r e s . T h e f o l l o w i n g s e c t i o n d i s c u s s e s t h i s p o s s i b i l i t y m o r e f u l l y . S t a t u s I s s u e I f t h e p r o b l e m o f n o t c o l l e c t i n g d a t a i n a ‘ t r u e ’ p r e - i n t e r v e n t i o n c o n d i t i o n i s r e a l a n d t h e i n t e r v e n t i o n h a s a n e f f e c t u p o n w h a t t h e c a n d i d a t e k n o w s a s i n d i c a t e d b y t h e a s s e s s e d s c o r e s o n t h e t h i r t e e n s t a n d a r d s , t h e n t h e r e m i g h t b e a r e l a t i o n s h i p b e t w e e n t h e a m o u n t o f e x p e r i e n c e a c a n d i d a t e h a s w i t h t h e i n t e r v e n t i o n ( s t a t u s ) a n d t h e o b s e r v e d s c o r e s f o r G r o u p 2 A - P r e . W i t h t h i s r e a s o n i n g , I i n v e s t i g a t e d t h e s t a t u s i s s u e a s i t m i g h t r e l a t e t o o b s e r v e d s c o r e s i n G r o u p 2 A - P r e ( S e e A p p e n d i x G f o r a c o m p l e t e d i s c u s s i o n o f h o w s t a t u s w a s c a l c u l a t e d ) . T h e r e s u l t w a s a m o d e r a t e a n d p o s i t i v e c o r r e l a t i o n b e t w e e n a m o u n t o f e x p e r i e n c e a c a n d i d a t e h a s w i t h t h e i n t e r v e n t i o n a n d t h e o b s e r v e d s c o r e s f o r t h a t c a n d i d a t e . T h e c o r r e l a t i o n i s p r e s e n t e d i n F i g u r e 3 - 3 . F i g u r e 3 - 3 : G r o u p 2 A - P r e v e r s u s F i n a l S u m S c o r e G r o u p 2 A - P r e S t a t u s v s S u m S c o r e F i n a l , V y = 0 . 3 1 4 7 x + 2 8 . 2 8 7 4 R 2 = 0 . 4 0 2 2 O S e r i e s i l — L i n e a r ( S e r i e s i ) J : 6 0 1 0 7 A P e a r s o n C o r r e l a t i o n ( r ) o f . 0 . 6 3 4 2 ( s q u a r e r o o t o f R s q u a r e d ) w a s t o o s t r o n g t o i g n o r e . I d e c i d e d t o a s k t h e q u e s t i o n , “ W h a t m i g h t t h e d a t a f o r G r o u p 2 A - P r e l o o k l i k e i f d a t a c o l l e c t i o n h a d t a k e n p l a c e u n d e r i d e a l c o n d i t i o n s ( i n a n a c t u a l p r e - i n t e r v e n t i o n c o n d i t i o n ) ? I n o t h e r w o r d s , i f a c a n d i d a t e ’ s s t a t u s w e r e r e d u c e d b y a c e r t a i n p e r c e n t a g e , h o w w o u l d t h e s i g n i fi c a n c e c h a n g e f o r a p a r t i c u l a r h y p o t h e s i s ? A t w h a t p e r c e n t a g e o f ‘ s t a t u s r e d u c t i o n ’ d o e s a p a r t i c u l a r h y p o t h e s i s b e c o m e s i g n i fi c a n t a t t h e . 1 0 a n d . 0 5 l e v e l ? A n s w e r s t o s u c h q u e s t i o n s w o u l d p r o v i d e a w a y o f c o m p a r i n g t h e r e l a t i v e s t r e n g t h o f e a c h h y p o t h e s i s t o t h e o v e r a l l m o d e l a n d s u b s t a n t i a t e t h e c l a i m t h a t G r o u p 2 A w a s p l a g u e d b y i m p o r t a n t d a t a c o l l e c t i o n i s s u e s . B e f o r e t h e s e q u e s t i o n s c a n b e a d d r e s s e d , t h e r e i s a n o t h e r i m p l i c a t i o n t o t h e p r o b l e m o f p r e - o b s e r v a t i o n a n d G r o u p 2 A - P r e . I f t h e s t a t u s i s s u e i s r e a l , i t s h o u l d a l s o b e a p r o b l e m w i t h t h e o t h e r p r e - o b s e r v a t i o n i n G r o u p 3 . T h e r e f o r e a n i d e n t i c a l a n a l y s i s w a s p e r f o r m e d o n G r o u p 3 t o s e e i f t h e s t a t u s i s s u e m a n i f e s t e d i t s e l f t h e r e a s w e l l . F i g u r e 3 - 4 i l l u s t r a t e s t h e fi n d i n g s o f t h i s a n a l y s i s . F i g u r e 3 - 4 s h o w s a p o s i t i v e c o r r e l a t i o n w i t h a P e a r s o n C o e f fi c i e n t ( r ) o f 0 . 4 9 6 1 i n d i c a t i n g a f a i r r e l a t i o n s h i p b e t w e e n s t a t u s a n d s c o r e ” , b u t n o t a s s t r o n g a s w i t h G r o u p 2 A — P r e . T h i s l o w e r c o r r e l a t i o n m i g h t b e e x p l a i n e d b y t h e s i z e o f N i n G r o u p 3 c o m p a r e d t o G r o u p 2 A - P r e . G r o u p 3 ( N = 4 0 ) w a s m o r e t h a n d o u b l e t h e s i z e o f G r o u p 2 A - P r e ( N = 1 8 ) . W i t h e v i d e n c e t h a t a c a n d i d a t e ’ s s t a t u s m a y h a v e i n fl u e n c e d t h e fi n a l s u m o f a s s e s s e d s c o r e s , a r e g r e s s i o n a n a l y s i s w o u l d p r o v i d e s o m e i n d i c a t i o n o f t h e m a g n i t u d e o f t h e p r o b l e m . ' 4 T h i s c o r r e l a t i o n d o e s n o t i n c l u d e 1 o u t l i e r w h o h a d a v e r y h i g h s t a t u s , b u t o n e o f t h e l o w e s t s c o r e s . I f t h i s o u t l i e r i s i n c l u d e d , P e a r s o n C o r r e l a t i o n d r o p s t o 0 . 3 4 6 1 . 1 0 8 F i g u r e 3 - 4 : G r o u p 3 - P r e S t a t u s v e r s u s F i n a l S u m S c o r e ‘ G r o u p 3 - 1 v s S u m S c o r e F i n a l . y = 0 . 2 6 6 x + 2 8 . 1 0 7 I H 2 = 0 . 2 4 6 1 3 2 . ‘ g f o S e r i e s i g 1 — L i n e a r ( S e r i e s i _ ) ’ ’ m 4 — ' o 1 0 2 0 3 0 4 o 5 0 P e r c e n t C o m p l e t l o n I l T a b l e 3 - 5 p r e s e n t s t h e r e s u l t s f r o m a d j u s t i n g a c a n d i d a t e ’ s s t a t u s b y a s e t p e r c e n t a g e a m o u n t . W h a t t h i s m e a n s i s t h a t i f d a t a h a d b e e n c o l l e c t e d f r o m e a c h c a n d i d a t e w i t h 1 5 % o r 3 0 % l e s s i n v o l v e m e n t w i t h t h e i n t e r v e n t i o n , t h e n t h e c h a n g e s t o d i f f e r e n c e s b e t w e e n m e a n s w o u l d b e r e fl e c t e d i n c h a n g e s t o t h e s i g n i fi c a n c e . I n t h i s r e g r e s s i o n a n a l y s i s , t h e p r o b l e m a t i c ‘ p r e ’ s c o r e s a r e e x t r a p o l a t e d t o w h a t t h e y m i g h t b e i f c l o s e r t o a t r u e ‘ p r e ’ c o n d i t i o n . T h i s e x t e n s i o n o f d a t a i s i n t e n d e d t o c l a r i f y m e a n i n g a n d e x p l o r e t h e p r o b l e m a t i c n a t u r e o f o b s e r v a t i o n 0 2 ( G r o u p 2 A - P r e ) . A t t h i s p o i n t i n t h e a n a l y s i s , I w a n t t o k n o w i f t h e i n c o n s i s t e n c y o f o b s e r v e d g a i n s i s d u e t o a ) a n i n e f f e c t i v e i n t e r v e n t i o n o r b ) a n u n f o r e s e e n p r o b l e m w i t h d a t a c o l l e c t i o n . T h e ‘ s t a t u s ’ i s s u e h o l d s p r o m i s e f o r e x p l a i n i n g t h e o b s e r v e d r e s u l t s . T h e u n e x p e c t e d m e t h o d o l o g i c a l p r o b l e m s e n c o u n t e r e d d u r i n g t h e c o l l e c t i o n o f d a t a f r o m t h e p r e - g r o u p s , s h o u l d n o t c l o u d t h e p o s s i b l e m e a n i n g o f t h e r e s u l t s . J u s t a s i t w o u l d b e u n w i s e t o c o n c l u d e t h a t t h e i n t e r v e n t i o n h a d n o o b s e r v a b l e e f f e c t b e c a u s e o f a m e t h o d o l o g i c a l i s s u e , i t w o u l d a l s o b e f o o l i s h t o i g n o r e t h e p r o b l e m s a n d i r r e s p o n s i b l e n o t t o t r y a n d c o m p e n s a t e f o r t h e m . 1 0 9 — S T a b l e 3 - 5 : A n a l y s i s o f P e r c e n t R e d u c t i o n i n S t a t u s a n d R e s u l t i n g C h a n g e i n S i g n i fi c a n c e . T y p e o f t - N o . o f w / n o S i g n . 1 5 % 3 0 % S i g n . 5 5 % H m c o m p a ' m " t e s t d f T a i l s s t a t u s s t a t u s s t a t u s s t a t u s I > 0 2 0 . 1 1 0 . 0 0 1 > 0 5 0 . 0 0 1 0 3 > 0 2 0 . 1 0 . 2 0 5 0 . 0 9 1 0 . 0 0 3 > 0 5 0 4 > O S 0 . 0 0 4 > 0 2 0 . 1 0 3 = 0 4 0 2 = 0 5 0 . 4 0 3 = O ] 0 . 0 4 = 0 1 2 3 4 5 6 7 8 9 I n T a b l e 3 - 5 , a n a n a l y s i s o f p e r c e n t r e d u c t i o n i n s t a t u s a n d t h e c o n s e q u e n t i a l c h a n g e i n s i g n i fi c a n c e i s p r e s e n t f o r b o t h t h e N o n - E q u i v a l e n t H y p o t h e s e s ( H 1 - H 6 ) a n d t h e E q u i v a l e n t H y p o t h e s e s ( H 7 - H 1 0 ) . T h e c o l u m n ‘ S i g n . w / n o s t a t u s ’ p r e s e n t s t h e r e s u l t s a s d i s c u s s e d e a r l i e r i n T a b l e 3 - 4 ; H y p o t h e s i s 2 a n d 5 a r e s i g n i fi c a n t a t t h e . 0 5 l e v e l a n d H y p o t h e s i s 4 i s s i g n i fi c a n t a t t h e . 1 0 l e v e l . W i t h a 1 5 % r e l a t i v e r e d u c t i o n t o e a c h s u b j e c t s ’ s t a t u s , H y p o t h e s i s 1 a n d H y p o t h e s i s 4 b e c o m e s s i g n i fi c a n t a t t h e . 0 5 l e v e l . H y p o t h e s i s 6 b e c o m e s s i g n i fi c a n t a t t h e . 1 0 l e v e l . O n l y H y p o t h e s i s 3 r e m a i n s i n s i g n i fi c a n t . W i t h a 3 0 % h y p o t h e t i c a l r e l a t i v e r e d u c t i o n i n e a c h s u b j e c t s ’ s t a t u s , a l l h y p o t h e s e s e x c e p t H y p o t h e s i s 3 , b e c o m e s i g n i fi c a n t a t t h e . 0 5 l e v e l . A t t h e 3 0 % r e d u c t i o n m a r k , H y p o t h e s i s 3 b e c o m e s s i g n i fi c a n t a t t h e . 1 0 l e v e l . I t i s n o t u n t i l a h y p o t h e t i c a l r e l a t i v e s t a t u s r e d u c t i o n f o r e a c h c a n d i d a t e o f 5 5 % t h a t H y p o t h e s i s 3 b e c o m e s s i g n i fi c a n t a t t h e . 0 5 l e v e l . A t t h e 5 5 % m a r k , a l l o t h e r h y p o t h e s e s a r e s i g n i fi c a n t a t t h e . 0 1 l e v e l . T h e s e p r o j e c t e d o u t c o m e s s h i n e a l i g h t o n t h e r e l a t i v e s t r e n g t h s a n d w e a k n e s s e s O f t h e n o n - e q u i v a l e n t h y p o t h e s e s . I t b e c o m e s a p p a r e n t t h a t a f t e r H y p o t h e s e s 2 , 4 , a n d 5 ; H y p o t h e s e s 1 a n d 6 a r e c l o s e s t t o s i g n i f i c a n c e . E a c h o f t h e s e h y p o t h e s e s c o m p a r e s 1 1 0 G r o u p 2 A - P r e ( 0 2 ) w i t h e a c h o f t h e o t h e r c o h o r t s . W i t h o n l y a 1 5 % r e d u c t i o n i n s t a t u s , 5 / 6 o f t h e h y p o t h e s e s b e c o m e s i g n i fi c a n t i n s u p p o r t i n g t h e r e j e c t i o n o f t h e N u l l H y p o t h e s i s . F u r t h e r m o r e , t h i s h y p o t h e t i c a l a n a l y s i s d e m o n s t r a t e s a n d c o n fi r m s t h e f a c t t h a t H y p o t h e s i s 3 i s t h e w e a k e s t o f a l l b e c o m i n g s i g n i fi c a n t a t t h e . 1 0 l e v e l w i t h a 3 0 % r e l a t i v e r e d u c t i o n i n s t a t u s a n d n o t s i g n i fi c a n t a t t h e . 0 5 l e v e l u n t i l a f u l l 5 5 % r e d u c t i o n i n s t a t u s i s a c h i e v e d . T h e s e h y p o t h e t i c a l r e s u l t s i n d i c a t e t h a t e i t h e r a ) c o l l e c t i o n o f d a t a w a s n o m i n a l a n d n o c h a n g e w a s o b s e r v e d i n G r o u p 2 A p r e t o p o s t o r e r r o r s i n d a t a c o l l e c t i o n i n t e r f e r e d w i t h t h e a c c u r a t e m e a s u r e m e n t o f e x p e r i e n c e d g a i n s b y t h e c a n d i d a t e s . G i v e n t h e f a c t t h a t m i n o r ( 1 5 % ) a d j u s t m e n t s i n s t a t u s g r e a t l y i m p a c t t h e s i g n i fi c a n c e o f t h e N o n — E q u i v a l e n t H y p o t h e s e s ( H I - H 6 ) , b u t p r o d u c e l i t t l e c h a n g e i n t h e E q u i v a l e n t H y p o t h e s e s ( H 7 - H 1 0 ) , p r o v i d e s a c l u e r e g a r d i n g G r o u p 2 A - P r e . W h y d o e s H y p o t h e s i s 3 ( 0 3 > 0 2 ) a c t m o r e l i k e t h e E q u i v a l e n t H y p o t h e s e s t h a n t h e N o n - E q u i v a l e n t H y p o t h e s e s ? I s t h e l a c k o f d i f f e r e n c e o b s e r v e d i n G r o u p 2 A d u e t o a n i n e f f e c t i v e i n t e r v e n t i o n o r s o m e p r o c e d u r a l i s s u e c h a r a c t e r i s t i c t o o n l y G r o u p 2 A ? S i n c e a l l fi v e o t h e r N o n - E q u i v a l e n t H y p o t h e s e s b e h a v e d a c c o r d i n g t o e x p e c t a t i o n s , t h e m o s t l i k e l y e x p l a n a t i o n p o i n t s t o a p r o c e d u r a l e r r o r r a t h e r t h a n a l a c k o f e f f e c t i v e t r e a t m e n t . S i n c e t h i s e x e r c i s e i s f o c u s e d o n t h e o v e r a l l fi n a l s u m s c o r e s ( a v e r a g e s ) o f e a c h o b s e r v a t i o n , I c a n a s s u m e t h a t t h e c h a n g e s i n a m o r e d e t a i l e d a n a l y s i s o f s e t s o f s t a n d a r d s a n d i n d i v i d u a l s t a n d a r d s w o u l d c o r r e s p o n d a c c o r d i n g l y . T h e r e f o r e , s i n c e t h i s h y p o t h e t i c a l a n a l y s i s w a s n o t u s e d t o s u b s t a n t i a t e t h e l e a r n i n g c a n d i d a t e s m a y h a v e d e m o n s t r a t e d , b u t r a t h e r t h e s t r e n g t h s a n d w e a k n e s s e s o f t h e m o d e l a n d m e t h o d o l o g y , a n 1 1 1 a n a l y s i s o f h o w t h i s h y p o t h e t i c a l s t a t u s r e d u c t i o n m i g h t i n fl u e n c e r e s u l t s a t t h e s e t s o r s t a n d a r d s l e v e l w i l l n o t b e c o n d u c t e d . A c r i t i c o f t h i s s t u d y c o u l d p o i n t t o t h e l a c k o f s i g n i fi c a n t d i f f e r e n c e s f o u n d i n 4 o u t o f t h e 6 N o n - E q u i v a l e n c e H y p o t h e s e s a n d c o n c l u d e t h a t t h e i n t e r v e n t i o n i s i n e f f e c t i v e i n p r o m o t i n g t e a c h e r l e a r n i n g . T o d r a w s u c h a c o n c l u s i o n w o u l d b e t o d e n y o t h e r v a l i d e x p l a n a t i o n s a n d s u p p o r t i n g e v i d e n c e t h a t s u g g e s t t h a t t h e i n t e r v e n t i o n d o e s a f f e c t t e a c h e r l e a r n i n g . T o i g n o r e t h e s t a t u s i s s u e w o u l d b e i r r e s p o n s i b l e o n m y p a r t a s P r i n c i p a l I n v e s t i g a t o r . T o f u l l y u n d e r s t a n d a n d e x p l a i n t h e o b s e r v e d r e s u l t s , a l l p o s s i b l e e x p l a n a t i o n s n e e d t o b e e x p l o r e d . S t a t u s a s a n u n f o r e s e e n p r o c e d u r a l p r o b l e m r e m a i n s a n i m p o r t a n t i s s u e , b u t o n e t h a t s h o u l d n o t i m p e d e t h e p r o c e s s o f i d e n t i f y i n g p o s s i b l e l e a r n i n g o u t c o m e s t h a t t e a c h e r s m a y b e e x p e r i e n c i n g f r o m N a t i o n a l B o a r d c e r t i fi c a t i o n . T u r n i n g t o t h e r e s u l t s o f t h e O v e r a l l H y p o t h e s i s n e x t , i t w i l l b e i m p o r t a n t t o r e m e m b e r t h e r o l e s t a t u s m a y h a v e p l a y e d i n d i m i n i s h i n g o b s e r v e d d i f f e r e n c e s . R e s u l t s o f t h e C o m b i n e d H y p o t h e s i s T h e F l o w c h a r t f o r a n a l y z i n g t h e r e s u l t s o f t h e C o m b i n e d H y p o t h e s i s i s p r e s e n t e d i n F i g u r e 3 - 5 w h i c h p r o v i d e s a b r a n c h i n g s c h e m a t i c f o r t h e d e c i s i o n m a k i n g p r o c e s s a s s o c i a t e d w i t h t h i s h y p o t h e s i s . I n t h i s a p p r o a c h , t e s t i n g c o n t i n u e s o n l y w h e n s i g n i fi c a n t d i f f e r e n c e s a r e i d e n t i fi e d a t t h e O v e r a l l , S e t s , a n d t h e n t h e S t a n d a r d s l e v e l s o f a n a l y s i s . 1 1 2 F i g u r e 3 - 5 . A n a R l e y s i s F s u l t s A l n o a w c h l y s i a s r t fl o w c h a r t l I O v e r a l l P r e - P o s t C o m p a r i s o n I s t h e r e o v e r a l l s i g n i f i c a n t c h a n g e E n d o f A n a l y s i s S t a n d a r d s w i t h n o s i g n i f i c a n t c h a n g e E n d o f A n a l y s i s s i g n i f i c a n t c h a n g e ? N O I Y E S _ W h i c h S e t s o f E n d o f S t a n d a r d s a r e A n a l y s i s r e s p o n s i b l e f o r o b s e r v e d S e t s t h a t d i f f e r e n c e s ? S e t s t h a t s h o w n o - s h o w s i g n i f i c a n t c h a n g e W h i c h s p e c i f i c s t a n d a r d s a r e r e s p o n s i b l e f o r o b s e r v e d c h a n g e ? S t a n d a r r h w i t h s i g n i f i c a n t c h a n g e W h a t o t h e r e v i d e n c e m a y s u p p o r t t h e s e r e s u l t s ? i Q u a l i t a t i v e A n a l y s i s o f a v a i l a b l e d a t a 1 1 3 T h e R e c u r r e n t I n s t i t u t i o n a l C y c l e D e s i g n f o r t h i s s t u d y y i e l d e d a t o t a l o f f i v e o b s e r v a t i o n s . T a b l e 3 - 6 p r e s e n t s t h e d e s c r i p t i v e s t a t i s t i c s f o r t h e C o m b i n e d H y p o t h e s i s u s i n g f o u r o u t o f t h e fi v e o b s e r v a t i o n s , p o o l i n g d a t a f r o m a l l 1 1 8 p a r t i c i p a n t s ] 5 A l l d a t a s e t s e x c e p t f o r O 3 ( G r o u p 2 A - P o s t ) a r e i n c l u d e d i n t h i s c o m p a r i s o n . T h r o u g h o u t 6 t h i s a n a l y s i s , o n e - t a i l e d c o n t r a s t t - t e s t s w e r e u s e d t o d e t e r m i n e s i g n i fi c a n c e . l T a b l e 3 - 6 : D e s c r i p t i v e S t a t i s t i c s f o r a l l G r o u p s i n t h e C o m b i n e d H y p o t h e s i s . S t d . S t d 9 5 % C o r fi d e m e Q u i p O b s N M m . . E m [ m e t U p p e r M n . M e t . D e m o " B o r n ! B a l d G r o u p l 1 ( p o s t ) 4 0 2 . 8 1 1 0 . 4 5 3 0 . 0 7 2 2 6 6 6 2 . 9 5 6 1 . 6 5 4 3 . 6 9 2 G r o q ) 2 A 2 m 1 8 2 . 6 4 1 0 . 5 5 9 0 . 1 3 2 2 . 3 6 3 2 . 9 1 9 1 . 7 0 2 3 . 6 1 5 G r o r p 2 B 4 ( p o s t ) 2 0 2 7 9 2 0 . 4 2 5 0 . 0 9 5 2 . 5 9 3 2 9 9 1 2 . 0 3 8 3 . 6 4 4 G r u r p 3 5 m ) 4 0 2 . 5 4 0 0 . 3 9 1 0 . 0 6 2 2 . 4 1 5 2 6 6 5 1 . 5 3 8 3 . 1 9 2 T o t a l 1 1 8 2 . 6 9 0 0 . 4 5 7 0 . 0 4 2 2 . 6 0 7 2 . 7 7 3 1 . 5 3 8 3 . 6 9 2 T h i s s t u d y a s k e d , “ D o e s N a t i o n a l B o a r d c e r t i fi c a t i o n p r o m o t e l e a r n i n g i n t e a c h e r s p a r t i c i p a t i n g i n t h e p r o c e s s ? ” I f s o , t h e p o s t - o b s e r v a t i o n s w o u l d b e g r e a t e r t h a n p r e - o b s e r v a t i o n s . T a b l e 3 - 7 p r o v i d e s t h e r e s u l t s . T h e r e a r e 1 1 4 d e g r e e s o f f r e e d o m i n d i c a t i n g e v e r y p a r t i c i p a t i n g t e a c h e r i n t h e s t u d y w a s t a k e n i n t o a c c o u n t f o r t h i s c o m p a r i s o n . T h e v a l u e o f t h e c o n t r a s t h a s a p v a l u e o f 0 . 0 0 9 , w h i c h i s s i g n i fi c a n t a t a n a l p h a l e v e l o f 0 . 0 5 . T h e c o r r e s p o n d i n g e f f e c t s i z e o f t h i s o b s e r v e d d i f f e r e n c e i s 0 . 4 7 3 o r 4 7 p e r c e n t o f a s t a n d a r d d e v i a t i o n , w h i c h i s a r e l a t i v e l y s t r o n g i n d i c a t i o n t h a t t h e r e a r e m e a n i n g f u l d i f f e r e n c e s b e t w e e n p r e a n d p o s t g r o u p s c o r e s . ' 5 I n G r o u p 2 A , o n e m o r e s u b j e c t t h a n a n t i c i p a t e d d r o p p e d o u t o f t h e c e r t i fi c a t i o n p r o c e s s ( I a n t i c i p a t e d s i x d r o p p i n g o u t o f t h e c e r t i fi c a t i o n p r o c e s s a n d t h e s t u d y , b u t t h e a c t u a l n u m b e r w a s s e v e n ) a n d t e c h n i c a l p r o b l e m s w i t h t h e t a p e r e c o r d e r d u r i n g o n e i n t e r v i e w a l l o w e d f o r o n l y 1 8 u s a b l e p r e - p o s t c o m p a r i s o n s . ' 6 T - t e s t s w e r e u s e d t o c o m p a r e t w o p o s t g r o u p s w i t h 2 p r e g r o u p s . A N O V A a n a l y s i s t h a t c o m p a r e s t h e f o u r g r o u p s w i t h o u t c o n s i d e r a t i o n o f p a i r i n g s p r o d u c e s s i m i l a r i f n o t l e s s s i g n i fi c a n t r e s u l t s . T h e s a m e t h r e e s t a n d a r d s f o u n d s i g n i fi c a n t f r o m t h e t - t e s t s r e m a i n s i g n i fi c a n t i n t h e A N O V A a n a l y s i s a t t h e . 0 5 l e v e l . S i n c e t h e c o m p a r i s o n i s b e t w e e n p a i r s o f g r o u p s a n d n o t f o u r g r o u p s i n d e p e n d e n t f r o m e a c h o t h e r , t h e c o n t r a s t i n g p a i r e d t - t e s t i s m o s t a p p r o p r i a t e . 1 1 4 T a b l e 3 - 7 : T e s t o f S i g n i fi c a n c e a t O v e r a l l L e v e l f o r t h e C o m b i n e d H y p o t h e s i s S i g . ( 1 - a r e a i f $ a n d a r d V a l u e o f C o n t r a s t S t d . D r o r t ( I f I ' 1 1 ) S i m | O v e r a l l 0 . 4 2 3 0 . 1 7 6 2 . 4 0 0 1 1 4 0 . 0 0 9 0 . | B e c a u s e a s i g n i fi c a n t c h a n g e f r o m p r e t o p o s t w a s i d e n t i fi e d i n t h e o v e r a l l c o m p a r i s o n , I c a n l o o k m o r e c l o s e l y a t t h e l e v e l o f s t a n d a r d s t o p i n p o i n t m o r e s p e c i fi c a l l y w h a t t e a c h e r s m a y h a v e l e a r n e d f r o m t h e c e r t i fi c a t i o n p r o c e s s . F o u r s e t s o f s t a n d a r d s f o r A Y A S c i e n c e r e q u i r e f o u r s e p a r a t e t - t e s t s f o r a n a l y s i s w i t h t h e s a m e d a t a s e t s , s o i t b e c o m e s n e c e s s a r y t o e m p l o y a n a d j u s t m e n t p r o c e d u r e t h a t t a k e s i n t o a c c o u n t t h e u s e o f m u l t i p l e t - t e s t s , w h i c h i n c r e a s e s t h e l i k e l i h o o d o f c o m m i t t i n g a T y p e I e r r o r . T o a d d r e s s t h i s c o n c e r n , a B o n f e r r o n i a d j u s t m e n t p r o c e d u r e w a s e m p l o y e d . T h i s c o n s e r v a t i v e a d j u s t m e n t r e d u c e s t h e r i s k o f a f a m i l y - w i s e e r r o r , w h i l e s t i l l a l l o w i n g f o r t h e i d e n t i fi c a t i o n o f o b s e r v e d d i f f e r e n c e s ( Y i p , 2 0 0 2 ) . B e c a u s e I w i s h e d t o m a i n t a i n a 0 . 0 5 a l p h a l e v e l f o r e a c h o f t h e f o u r t e s t s , s i g n i fi c a n c e w a s d e t e r m i n e d a t a n a l p h a l e v e l o f 0 . 0 1 2 5 . A t t h i s l e v e l , a s T a b l e 3 - 8 r e v e a l s , t h e c o n t r a s t s f o r S e t I I ( A d v a n c i n g S t u d e n t L e a r n i n g ) a n d S e t I V ( S u p p o r t i n g T e a c h i n g a n d S t u d e n t L e a r n i n g ) w e r e b o t h f o u n d t o b e s i g n i fi c a n t a t p = 0 . 0 0 8 a n d p = 0 . 0 0 5 r e s p e c t i v e l y . S e t I I I ( E s t a b l i s h i n g a F a v o r a b l e C o n t e x t f o r S t u d e n t L e a r n i n g ) w a s f o u n d t o b e m a r g i n a l l y s i g n i fi c a n t a t p = 0 . 0 1 3 . S e t H a n d S e t I V h a d e f f e c t s i z e s o f 0 . 4 8 2 a n d 0 . 5 2 4 r e s p e c t i v e l y i n d i c a t i n g t h e m a i n a r e a s o f o b s e r v e d l e a r n i n g . B e c a u s e s i g n i fi c a n t d i f f e r e n c e s w e r e i d e n t i fi e d i n t h r e e o u t o f t h e f o u r s e t s , I c a n e x a m i n e e a c h o f t h e s e t h r e e s e t o f s t a n d a r d s m o r e c l o s e l y t o i d e n t i f y t h e s p e c i fi c s t a n d a r d s t h a t m a y b e r e s p o n s i b l e f o r t h e o b s e r v e d l e a r n i n g . 1 1 5 T a b l e 3 - 8 : T e s t o f S i g n i f i c a n c e a t t h e S e t s o f S t a n d a r d s L e v e l f o r t h e C o m b i n e d H y p o t h e s i s S e t V a l u e o f S t d . t d f S i g . ( 1 - E f f e c t C o n t r a s t E r r o r t a i l e d ) S i z e 1 ‘ W W W ” f " m m “ 8 m m " 0 . 3 0 4 0 . 1 7 6 1 . 7 2 7 1 1 4 0 . 0 4 3 0 . 3 4 1 . _ _ W “ _ m £ I I . A d v a n c i n g S t u d e n t l e a r n i n g 0 . 4 9 4 0 . 2 0 2 2 . 4 4 2 1 1 4 0 . 0 0 8 0 . 4 8 2 1 1 1 . E s t a b l u h r n g F a v o r a b l e C o n t e x t f o r S t u d e n t 0 . 4 6 1 0 . 2 0 4 2 . 2 5 3 1 1 4 0 . 0 1 3 0 4 4 4 £ 2 2 I V . S u p p o r t i n g T e a c h i n g a n d S e L e a r n i n g 0 . 4 5 9 0 . 1 7 3 2 . 6 5 6 1 1 4 0 . 0 0 5 0 . 5 2 4 S e t s H , 1 1 1 , a n d I V h a v e a t o t a l o f 1 0 s t a n d a r d s r e q u i r i n g 1 0 t - t e s t s . O n c e a g a i n , a B o n f e r r o n i A d j u s t r n e n t p r o c e d u r e w a s u s e d t o r e d u c e t h e c h a n c e s o f a T y p e I e r r o r d u e t o r e p e a t e d u s e o f t h e t e s t . A g a i n , t o m a i n t a i n a n o v e r a l l a l p h a l e v e l o f 0 . 0 5 , t h e s i g n i fi c a n c e f o r e a c h t e s t w a s s e t a t a l p h a = 0 . 0 0 5 . A t t h i s l e v e l , t w o s t a n d a r d s a r e s i g n i fi c a n t a n d t w o a r e m a r g i n a l a s s h o w n i n T a b l e 3 — 9 . S c i e n t i f i c I n q u i r y f r o m S e t 1 1 a n d A s s e s s m e n t f r o m S e t I V a r e s i g n i fi c a n t a t 0 . 0 0 1 a n d 0 . 0 0 2 w i t h e f f e c t s i z e s o f 0 . 6 0 6 a n d 0 . 5 9 6 r e s p e c t i v e l y . T h e t w o s t a n d a r d s t h a t w e r e m a r g i n a l l y s i g n i fi c a n t i n c l u d e d G o a l s a n d C o n c e p t u a l U n d e r s t a n d i n g f r o m S e t 1 1 a n d R e fl e c t i o n fi ' o m S e t I V a t a l p h a = 0 . 0 0 9 a n d 0 . 0 0 7 r e s p e c t i v e l y . T h o u g h m a r g i n a l l y s i g n i fi c a n t a t t h e l e v e l o f t h e S e t , S e t I I I d i d n o t h a v e a n y s t a n d a r d s s i g n i fi c a n t a t t h e 0 . 0 0 5 l e v e l . 1 1 6 T a b l e 3 - 9 : T e s t o f S i g n i f i c a n c e a t I n d i v i d u a l S t a n d a r d L e v e l f o r t h e C o m b i n e d H y p o t h e s i s V a l u e o f S t d . S i g . ( 1 - E f f e c t S “ 8 m m “ C o n t r a s t E r r o r ’ d f t a i l e d ) S i z e S c i e n c e I n q u i r y 0 . 6 6 7 0 . 2 1 7 3 . 0 7 3 1 1 4 0 . 0 0 1 0 . 6 0 6 1 1 - A d v a n c i n g 0 0 “ " a n d “ “ 9 6 " “ 0 . 4 9 4 0 . 2 0 6 2 . 3 9 2 1 1 4 0 . 0 0 9 0 . 4 7 2 S t u d e n t L e a r n i n g U n d e r s t a n d r n g C o n t e x t s o f S c i e n c e 0 . 3 2 1 0 . 2 7 9 1 . 1 5 1 1 1 4 0 . 1 2 6 I n . E s t a b l i s h i n g E n g a g e m e n t 0 . 4 7 7 0 . 2 0 8 2 . 2 9 4 I 1 4 0 . 0 1 2 0 . 4 5 2 F a v o r a b l e C o n t e x t . . . _ f o r S t u d e n t E q u 1 t a b 1 e P a r t i c i p a t i o n 0 . 4 4 8 0 . 2 4 2 1 . 8 5 1 1 1 4 0 . 0 3 3 0 . 3 6 5 L e m ” L e a r n i n g E n v i r o n m e n t 0 . 4 5 7 0 . 2 2 3 2 . 0 4 9 1 1 4 0 . 0 2 1 0 . 4 0 4 F m ” a n d “ m m ” 0 . 1 7 4 0 . 2 1 7 0 . 8 0 3 1 1 4 0 . 2 1 2 I V S . O u t r e a c h ' " P m m n g A s s e s s m e n t 0 . 6 4 7 0 . 2 1 4 3 . 0 2 2 1 1 4 0 . 0 0 2 0 . 5 9 6 T e a c h i n g a n d . S t u d e n t L e a r n i n g R e f l e c t i o n 0 . 6 0 7 0 . 2 4 1 2 . 5 1 5 1 1 4 0 . 0 0 7 0 . 4 9 6 C ° n e g ' a h t y . a ” d 0 . 4 0 9 0 . 1 8 0 2 . 2 7 6 1 1 4 0 . 0 1 2 0 . 4 4 9 L e a d e r s h i p C o n f o u n d i n g V a r i a b l e s W h a t m i g h t a c c o u n t f o r t h e o b s e r v e d d i f f e r e n c e s a t t h e 9 3 9 1 1 1 , § _ e _ t § , a n d s t a n d a r d s l e v e l s o f a n a l y s i s ? A r e t h e g a i n s o b s e r v e d i n t h i s s t u d y d u e t o t h e i n t e r v e n t i o n o r s o m e t h i n g e l s e ? W h a t p e r c e n t o f t h e o b s e r v e d v a r i a n c e c a n b e a t t r i b u t e d t o p o s s i b l e c o v a r i a t e s ? T o a n s w e r t h e s e q u e s t i o n s , a n a n a l y s i s o f c o v a r i a n c e ( A N C O V A ) w a s c o n d u c t e d u s i n g p o t e n t i a l c o n f o u n d i n g f a c t o r s . C o - v a r i a t e s i n c l u d e d g e n d e r , y e a r s o f e x p e r i e n c e , c l a s s s i z e , s t u d e n t t y p e , s c h o o l c o n t e x t , a n d g e o g r a p h i c r e g i o n . T h e r e s u l t s o f t h i s a n a l y s i s a r e p r e s e n t e d i n T a b l e 3 - 1 0 . I n t h i s A N C O V A , o n l y “ S t u d e n t T y p e ” i s a s i g n i fi c a n t c o v a r i a t e a n d p o s s i b l e c o n f o u n d i n g v a r i a b l e a t t h e 0 . 0 5 l e v e l , p = 0 . 0 2 6 . T h e t e a c h e r ’ s g e n d e r , y e a r s o f e x p e r i e n c e , c l a s s s i z e , s c h o o l c o n t e x t , a n d g e o g r a p h i c r e g i o n d i d n o t c o - v a r y w i t h t h e o b s e r v e d g a i n s i n a s s e s s e d s c o r e s . S o , i s ‘ S t u d e n t T y p e ’ a v i a b l e a l t e r n a t i v e f o r e x p l a i n i n g o b s e r v e d r e s u l t s ? 1 1 7 T a b l e 3 - 1 0 A n a l y s i s o f C o v a r i a n c e D e g r e e s o f S u m o f S o m e o f V a r i a t i o n s F Y e e d o n S q u a r e s M e a n S q u a r e F V a l u e P r > F M o d e l 1 4 5 . 3 9 0 . 3 8 2 . 1 2 0 . 0 1 6 7 _ C o h o r t G r o u p 3 1 . 7 8 0 . 5 9 3 . 2 6 0 . 0 2 4 5 P r e - P o s t C o w m a n 1 0 . 6 5 0 . 6 5 3 . 5 9 0 . 0 6 1 G e n d e r o f T e a c h e r 1 0 . 2 7 0 . 2 7 1 . 4 9 0 . 2 2 5 6 Y e a r s E x p e r i e n c e 1 0 . 0 0 0 . 0 0 0 . 0 1 0 . 9 3 9 1 C l a s s S i z e 1 0 . 0 4 0 . 0 4 0 . 2 4 0 . 6 2 2 S t u d e n t T y p e 3 1 . 7 5 0 . 5 8 3 . 2 1 0 . 0 2 6 1 S c h o o l C o n t e x t 2 0 . 5 2 0 . 2 6 1 . 4 2 0 . 2 4 7 3 R e g i o n 3 1 . 0 3 0 . 3 4 1 . 8 8 0 . 1 3 7 8 E r r o r 1 0 1 1 8 . 3 6 0 . 1 8 C o r r e c t e d T o t a l 1 1 5 2 3 . 7 5 R - S q u a r e 0 . 2 2 6 9 ‘ S t u d e n t T y p e ’ i s n o t d e r i v e d f r o m a n i n d e p e n d e n t o u t s i d e m e a s u r e s u c h a s a s t a n d a r d i z e d t e s t o r f o r m a l c o g n i t i v e a s s e s s m e n t . R a t h e r , i t i s t h e s e l f - r e p o r t e d o p i n i o n o f t h e t e a c h e r . A s p a r t o f t h e i n t r o d u c t i o n t o t h e i n t e r v i e w , e a c h c a n d i d a t e w a s a s k e d , “ H o w w o u l d y o u g e n e r a l l y d e s c r i b e y o u r s t u d e n t s ? ” T e a c h e r s t h e n w e n t o n t o d e s c r i b e t h e i r s t u d e n t s i n q u i t e g e n e r a l t e r m s ( i . e . l o w , b e l o w a v e r a g e , a v e r a g e , a b o v e a v e r a g e , h i g h , v a r i e d , o r m i x e d . ) T h e s e r e s p o n s e s w e r e t h e n c o d e d i n t o o n e o f 4 p o s s i b l e c a t e g o r i e s : L o w , A v e r a g e , H i g h , o r V a r i e d . T h e r e f o r e , w h a t i s r e a l l y b e i n g e x a m i n e d i n ‘ S t u d e n t T y p e ’ i s t h e t e a c h e r ’ s p e r c e p t i o n o f t h e i r s t u d e n t s ’ g e n e r a l a b i l i t y . W h a t i s i n t e r e s t i n g i s t h a t t h o s e t e a c h e r s w h o t e n d e d t o d e s c r i b e t h e i r s t u d e n t s a b i l i t i e s i n t h e h i g h e n d o f t h e r a n g e , r e c e i v e d h i g h e r a s s e s s m e n t s c o r e s i n t h i s s t u d y . T h i s t r e n d w a s c o n s i s t e n t i n d a t a c o l l e c t e d b e f o r e t h e i n t e r v e n t i o n w i t h t h e p r e - g r o u p s a n d a f t e r t h e i n t e r v e n t i o n w i t h t h e p o s t - g r o u p s a s d e m o n s t r a t e d i n F i g u r e 3 - 6 . A c t u a l s t u d e n t a b i l i t y m a y h a v e n o t h i n g t o d o w i t h t h i s o b s e r v e d r e l a t i o n s h i p . R a t h e r , h i g h e r s c o r e s i n t h i s s t u d y m a y b e r e l a t e d t o a t e a c h e r ’ s h i g h e x p e c t a t i o n s o f t h e i r s t u d e n t s ’ a b i l i t i e s . T h o s e t e a c h e r s w h o h a d l o w e x p e c t a t i o n s o f t h e i r s t u d e n t s ’ a b i l i t i e s s c o r e d l o w e r . T a b l e 3 - 1 1 e x a m i n e s t h e e s t i m a t e d m e a n r a t i n g s b e t w e e n g r o u p a n d 1 1 8 s t u d e n t s ’ a b i l i t i e s . T h o s e t e a c h e r s w h o h a d l o w e x p e c t a t i o n s o f t h e i r s t u d e n t s ’ a b i l i t i e s s c o r e d l o w e r . T a b l e 3 - 1 1 e x a m i n e s t h e e s t i m a t e d m e a n r a t i n g s b e t w e e n g r o u p a n d s t u d e n t t y p e . I t s e e m s u n l i k e l y t h a t t h e d i f f e r e n c e s f r o m p r e t o p o s t a r e c a u s e d b y o r t h e r e s u l t o f ‘ S t u d e n t T y p e ’ , b u t r a t h e r t h e t e a c h e r s ’ s e l f r e p o r t e d d a t a a b o u t S t u d e n t T y p e m a y b e a g o o d i n d i c a t o r r e g a r d i n g w h i c h t e a c h e r s w i l l t e n d t o s c o r e h i g h e r ( b o t h p r e a n d p o s t ) i n t h i s r e s e a r c h s t u d y . F i g u r e 3 - 6 : E s t i m a t e d M e a n s R a t i n g s ( S c o r e s ) b y S t u d e n t T y p e E s t i m a t e d M e a n R a t i n g s v e r s u s ' S t u d e n t T y p e ' C o - V a r i a t e 3 . 1 0 0 3 . 0 0 0 « M M ~ M M M - 2 . 9 0 0 — ' 2 . 8 0 0 . E 2 7 0 0 J _ + G r o u p 1 P o s t 1 g ° + G r o u p 2 A P r e g 2 . 6 0 0 4 — a — G r o u p 2 8 P o s t 2 — x — G r o u p 3 P r e 2 . 5 0 0 - » — 2 . 4 0 0 - 2 . 3 0 0 1 5 M A M , M M M M M — 2 . 2 0 0 [ l o w 1 a v e r a g e 1 h i g h I v a r i e d S t u d e n t T y p e % . 1 1 9 T a b l e 3 - 1 1 : E s t i m a t e d M e a n s u s i n g S t u d e n t T y p e & G r o u p S t u d e n t T 1 ( L o w ) 2 ( A ) 3 ) 4 ( V a r i e d ) 2 . 6 3 7 2 . 8 1 3 2 . 9 7 2 2 . 7 2 6 2 . 4 7 2 2 . 6 4 7 2 . 8 0 7 2 . 5 6 1 2 . 6 2 0 2 . 7 9 6 2 . 9 5 6 2 . 7 0 9 2 . 3 2 3 2 . 4 9 8 2 . 6 5 8 2 . 4 1 2 I n F i g u r e 3 - 6 , t h e c o n s i s t e n c y o f r e s u l t s i s v e r y i n t e r e s t i n g . N o t o n l y d o t h e p o s t g r o u p s s c o r e h i g h e r t h a n t h e p r e g r o u p s , b u t t h o s e t e a c h e r s w h o i n d i c a t e d t h a t t h e i r s t u d e n t s w e r e a m i x o f a b i l i t i e s o r v a r i e d i n a b i l i t y , s c o r e d c l o s e t o t h o s e w h o i d e n t i fi e d t h e i r s t u d e n t s a s a v e r a g e . T h i s i s a n o b s e r v a t i o n w o r t h y o f f u t u r e s t u d y . I n F i g u r e 3 - 6 , t h e t w o p o s t g r o u p s ( l - P o s t a n d 2 B - P o s t ) a r e n e a r l y i d e n t i c a l . T h e t w o p r e g r o u p s ( 2 A - P r e a n d 3 - P r e ) a r e l e s s t h a n t h e p o s t , b u t a l s o d i f f e r e n t f r o m e a c h o t h e r . G r o u p 2 A — P r e s t a n d s o u t a s u n i q u e b e i n g h i g h e r t h a n t h e p r e g r o u p , b u t l o w e r t h a n t h e p o s t . T h i s i s f u r t h e r s u p p o r t o f t h e n o t i o n t h a t t h e s t a t u s o f G r o u p 2 A - P r e m a y h a v e h a d a n e g a t i v e i n fl u e n c e u p o n t h e r e s u l t s . S u m m a r y I n C h a p t e r 3 , t h e r e s u l t s o f a n a l y z i n g t h e d a t a w e r e p r e s e n t e d . T a b l e 3 - 1 2 s u m m a r i z e s e a c h g r o u p ’ s o v e r a l l m e a n s c o r e , s t a n d a r d d e v i a t i o n , a n d v a r i a n c e . I n t h i s t a b l e , t h e p o s t m e a n s a r e h i g h e r t h a n t h e p r e m e a n s . F o r G r o u p 2 A , t h e m e a n d i f f e r e n c e b e t w e e n p o s t a n d p r e o b s e r v a t i o n s i s ( 0 . 0 8 ) . I n T a b l e 3 - 1 3 , t h e r e s u l t s f r o m t h e N o n - E q u i v a l e n t H y p o t h e s e s ( H I - H 6 ) , t h e E q u i v a l e n t H y p o t h e s e s ( H 7 - H 1 0 ) , a n d t h e C o m b i n e d H y p o t h e s i s a r e p r e s e n t e d . T h e o v e r a l l a n a l y s i s o f t h e C o m b i n e d H y p o t h e s i s i n d i c a t e s t h a t s i g n i fi c a n t g a i n s w e r e o b s e r v e d f r o m p r e t o p o s t i n t h e s t u d y p o p u l a t i o n . U p o n c l o s e r e x a m i n a t i o n , t h e s e g a i n s c a n b e n a r r o w e d d o w n t o S e t s o f s t a n d a r d s 1 1 , I I I , 1 2 0 T a b l e 3 - 1 2 S u m m a r y o f G r o u p O v e r a l l M e a n S c o r e s G r o u p O b s N M e a n S t d . D e v . V a r l - P o s t O l 3 8 2 . 8 2 0 . 4 6 0 0 . 2 1 2 2 A - P r e 0 2 1 8 2 . 6 4 0 . 5 5 9 0 . 3 1 3 2 A - P o s t O 3 1 8 2 . 7 2 0 . 4 1 8 0 . 1 7 4 2 B - P o s t O 4 2 0 2 . 7 9 0 . 4 2 5 0 . 1 8 1 3 - P r e O S 4 0 2 . 5 4 0 . 3 9 1 0 . 1 5 3 2 A 0 3 - 0 2 1 8 0 . 0 8 0 . 4 0 0 0 . 1 6 0 T a b l e 3 - 1 3 S u m m a r y o f H y p o t h e s i s T e s t i n g . e ' 5 s Q 5 : 1 . : 1 m . E ' . 5 ‘ : 0 0 - 1 1 " " a 5 ’ 3 - ° . . . 2 l 3 l 8 5 3 8 t 1 2 a E 8 5 : 8 3 7 : e ' : 8 8 ‘ 5 8 3 3 a U H E 2 l . 3 z U a t a . 2 ‘ 5 1 0 1 > 0 2 I n d e p . 0 . 1 8 0 . 1 4 1 1 . 2 7 3 5 4 1 0 . 1 1 2 1 . 6 7 4 0 . 3 5 0 . . 2 0 1 > 0 5 I n d e p . 0 . 2 8 1 0 . 0 9 7 2 . 9 1 2 7 6 1 0 0 0 3 * 1 . 6 6 5 0 . 6 6 2 0 8 9 0 . 1 6 1 | 3 O 3 > 0 2 D e p e n d 0 . 0 8 2 0 . 0 9 4 0 . 8 6 7 1 7 1 0 . 1 9 9 1 . 7 4 0 2 0 . 1 6 4 | 4 O 3 > 0 5 I n d e p . 0 . 1 8 3 0 . 1 1 3 1 . 6 1 5 5 6 1 0 . 0 5 6 * * * 1 . 6 7 3 0 4 8 0 . 1 m 5 O 4 > 0 5 I n d e p . 0 . 2 5 3 0 . 1 1 2 . 2 9 1 5 8 1 0 . 0 1 3 * * 1 . 6 7 2 0 . 6 5 8 0 . 7 3 0 . 1 8 4 ] 6 . 0 . 1 5 1 0 . 9 4 4 3 6 1 0 . 1 7 6 . 0 . 2 3 7 0 3 : 0 4 h i d e p . 0 . 0 7 0 . 1 3 7 0 . 5 0 8 3 6 2 0 . 6 1 5 2 0 2 8 0 . 0 7 0 . 2 7 8 0 2 : 0 5 I n d e p . 0 . 1 0 1 0 . 1 2 7 0 . 7 9 5 5 6 2 0 . 4 3 2 . 0 0 3 0 . 1 2 0 . 2 5 5 ] 9 0 3 : 0 1 I n d e p . 0 0 9 8 0 . 1 2 8 0 . 7 6 7 5 4 2 0 . 4 8 5 2 . 0 0 5 0 . 1 1 0 . 2 5 7 ] 1 0 0 4 : 0 1 . 0 . 0 2 9 0 . 1 2 4 0 . 2 3 5 6 2 0 . 8 7 8 2 . 0 0 3 0 . 0 4 0 . O l + 0 4 C o r r b 0 2 + 0 5 C o m e s 0 . 4 3 2 0 . 1 7 6 2 4 l l 1 0 . 0 ) 9 * 1 . 6 5 8 0 . 4 7 3 0 . 7 7 0 . * S i g n i fi c a n t a t t h e . 0 1 l e v e l * * S i g n i fi c a n t a t t h e . 0 5 l e v e l * * * S i g n i fi c a n t a t t h e . 1 0 l e v e l 1 2 1 a n d I V . A p p l y i n g a B o n f e r r o n i a d j u s t m e n t t o c o n t r o l f o r e r r o r , S t a n d a r d I V ( S c i e n t i fi c I n q u i r y ) a n d S t a n d a r d X I ( A s s e s s m e n t ) d e m o n s t r a t e d s i g n i fi c a n c e a t t h e . 0 1 2 5 l e v e l . I n a d d i t i o n , t h i s c h a p t e r a l s o p r o v i d e d a d e t a i l e d a n a l y s i s o f e a c h o f t h e 6 n o n - e q u i v a l e n t h y p o t h e s e s a n d e a c h o f t h e 4 e q u i v a l e n t h y p o t h e s e s . T h e r e s u l t s o f t h e s e a n a l y s e s i n d i c a t e t h a t H y p o t h e s e s 2 a n d 5 w e r e m o s t c o n s i s t e n t i n t h e i r p r e s e n t a t i o n o f s i g n i fi c a n t g a i n s . W i t h t h e u s e o f r e g r e s s i o n a n a l y s i s , a h y p o t h e t i c a l r e l a t i v e s t a t u s r e d u c t i o n f o r e a c h c a n d i d a t e a n d t h e i r i n f e r r e d c h a n g e i n s c o r e , d e m o n s t r a t e d t h a t H y p o t h e s e s 1 , 4 , a n d 6 w o u l d l i k e l y b e c o m e s i g n i fi c a n t h a d d a t a b e e n c o l l e c t e d 1 5 % s o o n e r i n t h e P r e - G r o u p s . H y p o t h e s i s 3 r e q u i r i n g a 5 5 % r e d u c t i o n b e f o r e b e c o m i n g s i g n i fi c a n t a t t h e . 0 5 l e v e l r e v e a l e d t h e w e a k e s t c o m p a r i s o n i n v o l v i n g O b s e r v a t i o n 3 ( G r o u p 2 A - P r e ) . T h i s i s s t r o n g e v i d e n c e t h a t s o m e t h i n g i s e s c h e w e d w i t h G r o u p 2 A - P r e . F i n a l l y , a n A N C O V A o f p o s s i b l e c o n f o u n d i n g v a r i a b l e s r e v e a l e d t h a t o n l y ‘ S t u d e n t T y p e ’ w a s a s i g n i fi c a n t c o v a r i a t e . I n C h a p t e r 4 , I w i l l p r e s e n t t h e q u a l i t a t i v e e v i d e n c e f r o m t h i s s t u d y a n d d i s c u s s w h y t h e s e r e s u l t s m a k e s e n s e a n d p r o v i d e p o s s i b l e e x p l a n a t i o n s f o r t h e i r m e a n i n g . I w i l l a l s o c o n n e c t s p e c i fi c a s p e c t s o f t h e c e r t i fi c a t i o n p r o c e s s t o t h e o b s e r v e d l e a r n i n g o u t c o m e s . 1 2 2 C H A P T E R 4 : Q U A L I T A T I V E R E S U L T S W i t h e v e r y m i s t a k e , w e m u s t s u r e l y b e l e a r n i n g . - G e o r g e H a r r i s o n “ W h i l e M y G u i t a r G e n t l y W e e p s ” O v e r v i e w T h e q u a l i t a t i v e e v i d e n c e f r o m t h i s s t u d y w i l l b e e x a m i n e d a n d d i s c u s s e d i n C h a p t e r 4 . C h a p t e r 3 r e v e a l e d s p e c i fi c a r e a s o f o b s e r v e d g a i n f r o m p r e t o p o s t f r o m a q u a n t i t a t i v e p e r s p e c t i v e . H o w e v e r , t h o s e g a i n s r e m a i n o n l y n u m b e r s o n a p a g e , u n t i l a n a c c u r a t e e x p l a n a t i o n c a n a d d r e s s a s e r i e s o f k e y q u e s t i o n s . D o t h e t e a c h e r ’ s c o m m e n t s a b o u t B o a r d c e r t i fi c a t i o n c o i n c i d e w i t h o b s e r v e d l e a r n i n g o u t c o m e s ? H o w c a n t h e s e e x a m p l e s o f l e a r n i n g b e u n d e r s t o o d i n t h e c o n t e x t o f N a t i o n a l B o a r d c e r t i fi c a t i o n ? W h a t s p e c i fi c r e s o u r c e s f o r l e a r n i n g a r i s e f r o m t h e c e r t i fi c a t i o n e x p e r i e n c e ? T h e g o a l o f t h i s s t u d y w a s t r y a n d a s s e s s t e a c h e r l e a r n i n g b y q u a n t i t a t i v e l y c o m p a r i n g p r e a n d p o s t s c o r e s o n 1 3 s t a n d a r d s o f a c c o m p l i s h e d t e a c h i n g a s d e fi n e d b y N B P T S . T h e a s s u m p t i o n f o r t h i s a p p r o a c h w a s t h a t c h a n g e s i n o b s e r v e d p r e t o p o s t s c o r e s f o r a p a r t i c u l a r s t a n d a r d c o u l d t h e n b e i n f e r r e d t o r e p r e s e n t t h e c a n d i d a t e ’ s ‘ l e a r n i n g ’ o r c h a n g e i n u n d e r s t a n d i n g a s s o c i a t e d w i t h t h e s p e c i fi e d d o m a i n . I n t h i s s e c t i o n , t h e t h r e e s t a n d a r d s t h a t d e m o n s t r a t e d t h e m o s t i m p r o v e m e n t a s d e t e r m i n e d b y t h e a s s e s s m e n t p r o c e s s w i l l b e d i s c u s s e d . N a m e l y , S c i e n t i fi c I n q u i r y , A s s e s s m e n t , a n d R e fl e c t i o n . l 7 D o t h e s e l e a r n i n g o u t c o m e s m a k e s e n s e i n t h e c o n t e x t o f t h e N a t i o n a l B o a r d c e r t i fi c a t i o n p r o c e s s ? H o w c a n t h e s e e x a m p l e s o f l e a r n i n g b e s t b e d e s c r i b e d a n d e x p l a i n e d ? T o a n s w e r t h e s e q u e s t i o n s , q u a l i t a t i v e d a t a c o l l e c t e d d u r i n g t h e i n t e r v i e w w i t h e a c h c a n d i d a t e w i l l b e ' 7 T h o u g h o n l y m a r g i n a l l y s i g n i fi c a n t , R e fl e c t i o n i s i n c l u d e d i n t h i s a n a l y s i s f o r t w o r e a s o n s . F i r s t , r e f e c t i o n i s p e r v a s i v e a n d c e n t r a l t o t h e N a t i o n a l B o a r d c e r t i fi c a t i o n p r o c e s s . S e c o n d , t e a c h e r s i n t h i s s t u d y c o m m e n t e d o n ‘ r e fl e c t i o n m o r e t h a n a n y o t h e r s t a n d a r d . 1 2 3 u s e d t o c o n t e x t u a l i z e a n d e n r i c h t h e d i s c u s s i o n . I t i s t h e r e f o r e i m p o r t a n t t o u n d e r s t a n d t h e g e n e s i s o f t h i s q u a l i t a t i v e d a t a . Q u a l i t a t i v e D a t a M a n y c a n d i d a t e s , w h o g r a c i o u s l y a c c e p t e d a n i n v i t a t i o n t o p a r t i c i p a t e i n t h i s s t u d y , i n c o r r e c t l y a s s u m e d t h a t t h e ‘ c o n v e r s a t i o n ’ w i t h t h e i n t e r v i e w e r w o u l d s e r v e a s a s o u n d i n g b o a r d t o v o i c e t h e i r o p i n i o n s a n d i d e a s a b o u t t h e c e r t i fi c a t i o n p r o c e s s . T h e o f fi c i a l l e t t e r s o f c o n t a c t w i t h t h e c a n d i d a t e s ( S e e A p p e n d i x I ) n e v e r i n d i c a t e d o r i m p l i e d t h a t N a t i o n a l B o a r d c e r t i fi c a t i o n w o u l d b e t h e f o c u s o f t h e i n t e r v i e w . R a t h e r , t h e l e t t e r s t a t e d t h a t t h e c o n v e r s a t i o n w o u l d b e b a s e d u p o n t h e i r “ i d e a s a n d e x p e r i e n c e s r e l a t e d t o t e a c h i n g a n d l e a r n i n g ” . S t i l l , m a n y t e a c h e r s i n d i c a t e d t h a t t h e y w a n t e d t o d i s c u s s t h e i r s p e c i fi c e x p e r i e n c e s w i t h t h e p r o c e s s ; e s p e c i a l l y t h o s e t e a c h e r s i n t h e p o s t - g r o u p s . 1 8 I n a d d i t i o n t o c o l l e c t i n g t h e n e c e s s a r y i n f o r m a t i o n t o a s s e s s l e a r n i n g o n t h e 1 3 s t a n d a r d s o f a c c o m p l i s h e d t e a c h i n g i n A d o l e s c e n t a n d Y o u n g A d u l t S c i e n c e b y w a y o f t h e s t r u c t u r e d i n t e r v i e w , I w a s a l s o k e e n o n fi n d i n g o u t w h a t t h e s e t e a c h e r s t h o u g h t o f t h e i r e x p e r i e n c e . T h e q u e s t i o n o f h o w b e s t t o d o t h i s w i t h o u t c o n t a m i n a t i n g o r b i a s i n g t h e d a t a o n e w a y o r t h e o t h e r r e m a i n e d a n i s s u e . W h e n w o u l d b e t h e o p t i m a l o p p o r t u n i t y t o i n q u i r y w i t h c a n d i d a t e s a b o u t t h e i r e x p e r i e n c e s ? W h a t q u e s t i o n s s h o u l d b e a s k e d ? S i n c e t h e r e q u i r e m e n t s f o r N a t i o n a l B o a r d n e v e r a s k f o r c a n d i d a t e s o p i n i o n s o n t h e p r o c e s s , t h e q u e s t i o n s n e e d e d t o b e s e p a r a t e f r o m t h e o t h e r p r o t o c o l s s o t h a t i t c o u l d b e e a s i l y i s o l a t e d a n d r e m o v e d d u r i n g t r a n s c r i p t p r o c e s s i n g . I t a l s o n e e d e d t o b e t o w a r d s t h e e n d o f t h e i n t e r v i e w s o t h a t n e a r l y a l l d a t a c o u l d b e c o l l e c t e d w i t h o u t t h e i n t e r v i e w e r o r a s s e s s o r k n o w i n g w h a t t h e c a n d i d a t e m i g h t t h i n k a b o u t t h e a c t u a l p r o c e s s . T h e r e f o r e , ' 8 T o p r e v e n t s p e c u l a t i v e t y p e r e s p o n s e s f r o m t e a c h e r s i n t h e p r e - i n t e r v e n t i o n g r o u p s b e i n g i n c l u d e d i n t h i s a n a l y s i s , o n l y e v i d e n c e f r o m p o s t i n t e r v e n t i o n i n t e r v i e w s w e r e c o n s i d e r e d f o r t h i s a s p e c t o f t h e d i s c u s s i o n . 1 2 4 i m b e d d e d d e e p i n t h e f i r s t l i s t o f p r o f e s s i o n a l d e v e l o p m e n t e x p e r i e n c e s o f S c e n a r i o 5 , ‘ N a t i o n a l B o a r d c e r t i fi c a t i o n ’ i s l i s t e d a s t h e s e c o n d t o l a s t i t e m . I n t h i s p a r t o f t h e i n t e r v i e w , t e a c h e r s w e r e p r e s e n t e d w i t h a l i s t o f 1 5 p r o f e s s i o n a l d e v e l o p m e n t e x p e r i e n c e s ( S e e A p p e n d i x B f o r d e t a i l s ) . T h e y w e r e a s k e d t o i n d i c a t e t h o s e i t e m s w i t h w h i c h t h e y h a d d i r e c t e x p e r i e n c e . T h e n , t h e y w e r e t o r a t e e a c h i t e m t h e y c h e c k e d o n a 1 - 5 s c a l e r e g a r d i n g h o w w e l l t h e e x p e r i e n c e h e l p e d t h e m “ i m p r o v e t h e i r a b i l i t y t o b r i n g a b o u t l e a r n i n g i n t h e i r s t u d e n t s ’ . S i n c e t h e y h a d a l l c o m p l e t e d t h e c e r t i fi c a t i o n p r o c e s s , ‘ N a t i o n a l B o a r d c e r t i fi c a t i o n ’ w a s c h e c k e d a n d r a t e d b y e v e r y t e a c h e r . A t t h e t i m e o f r e s p o n s e , n o q u e s t i o n s w e r e a s k e d a b o u t s p e c i fi c i t e m s i n t h i s l i s t o r r e a s o n s f o r r a t i n g . H o w e v e r , a f t e r e a c h t a b l e w a s c o m p l e t e d , c a n d i d a t e s w e r e a s k e d , “ I s t h e r e a n y t h i n g i n p a r t i c u l a r m i s s i n g f r o m t h i s l i s t t h a t y o u f o u n d e s p e c i a l l y h e l p f u l i n i m p r o v i n g y o u r a b i l i t y t o b r i n g a b o u t l e a r n i n g i n y o u r s t u d e n t ? ” W h e n b o t h t a b l e s ( t h e p r o f e s s i o n a l d e v e l o p m e n t h i s t o r y a n d f a m i l y a n d c o m m u n i t y o u t r e a c h ) a n d f o l l o w - u p q u e s t i o n s w e r e c o m p l e t e , c a n d i d a t e s w e r e a s k e d : “ F r o m t h e s e t w o t a b l e s , w h i c h o n e i t e m d o y o u t h i n k w a s m o s t h e l p f u l i n i m p r o v i n g y o u r a b i l i t y t o b r i n g a b o u t l e a r n i n g i n y o u r s t u d e n t s ? ” I n r e s p o n s e t o t h i s q u e s t i o n , t e a c h e r s c o n t e m p l a t e d b o t h l i s t s a n d t h e n r e s p o n d e d w i t h t h e i r c h o i c e a n d t h e r e a s o n i n g b e h i n d i t . I f t h e t e a c h e r c h o s e ‘ N a t i o n a l B o a r d c e r t i fi c a t i o n ’ , t h e n r e s p o n s e c o m p l e t e w i t h e x p l a n a t i o n r e m a i n e d i n t h e t r a n s c r i p t , a s e v i d e n c e t o b e c o n s i d e r e d b y a s s e s s o r s a n d n o f u r t h e r i n q u i r i e s w e r e r e q u i r e d b y t h e i n t e r v i e w e r . H o w e v e r , i f t h e y c h o s e a n i t e m a n o t h e r o t h e r t h a n N a t i o n a l B o a r d c e r t i fi c a t i o n , t h e n a t t h e c o n c l u s i o n o f t h e i r r e s p o n s e t h e y w e r e a s k e d a b o u t t h e i r c e r t i fi c a t i o n e x p e r i e n c e . M o r e s p e c i fi c a l l y , t h e y w e r e a s k e d , “ B y t h e w a y , c o u l d y o u t a l k 1 2 5 a l i t t l e b i t a b o u t w h y y o u r a t e d N a t i o n a l B o a r d c e r t i f i c a t i o n a ? ” T h e b l a n k w a s fi l l e d i n w i t h w h a t e v e r r a n k i n g o n t h e 1 - 5 s c a l e t h e y c h o s e . T h e c a n d i d a t e s r e s p o n d e d w i t h a n e x p l a n a t i o n t h a t p r o v i d e d d e t a i l e d e v i d e n c e r e g a r d i n g t h e i r o v e r a l l e x p e r i e n c e s . p o s i t i v e a s p e c t s , a n d / o r p r o b l e m a t i c a s p e c t s . T h e c a n d i d a t e c o m m e n t s f r o m t h i s s e c t i o n o f t h e i n t e r v i e w a r e t h e s o u r c e o f t h e q u a l i t a t i v e d a t a u s e d i n t h i s p a r t o f t h e d i s c u s s i o n . F r o m F i g u r e s 4 - 1 a n d 4 - 2 , i t i s c l e a r t h a t t h e n u m b e r o f c a n d i d a t e s ’ c o m m e n t s r e g a r d i n g s p e c i fi c s t a n d a r d s c o r r e s p o n d w i t h t h e a c t u a l o b s e r v e d r e s u l t s . T h e s t a n d a r d s t h a t d e m o n s t r a t e t h e m o s t g a i n ( S c i e n t i fi c 4 : S c i e n t i f i c I n q u i r y , S t a n d a r d 1 1 : A s s e s s m e n t , a n d S t a n d a r d 1 2 : R e fl e c t i o n ) a l s o r e s u l t e d i n t h e m o s t q u a l i t a t i v e r e s p o n s e s f o r t h o s e s a m e a r e a s . T h i s a g r e e m e n t b e t w e e n t h e q u a n t i t a t i v e a n d q u a l i t a t i v e d a t a s t r e a m s p r o v i d e s f u r t h e r s u p p o r t f o r t h e v a l i d i t y o f o b s e r v e d l e a r n i n g o u t c o m e s . W h a t t o p i c s t e a c h e r s c h o s e t o s h a r e r e g a r d i n g B o a r d c e r t i fi c a t i o n m a p n i c e l y o n t o t h e a r e a s o f o b s e r v e d g a i n s . I n t h e d i s c u s s i o n t h a t f o l l o w s , e a c h o f t h e s e t h r e e o b s e r v a t i o n s w i l l b e e x p l o r e d a n d e x p l a i n e d , a n d u n d e r s t o o d i n t h e c o n t e x t o f l e a r n i n g r e s o u r c e s a v a i l a b l e t h r o u g h t h e c e r t i fi c a t i o n p r o c e s s . 1 2 6 F i g u r e 4 - 1 : N u m b e r o f C o m m e n t s C o r r e s p o n d i n g D i r e c t l y w i t h S t a n d a r d s , 7 Q u a l i t a t i v e P o s t - I n t e r v e n t i o n C o m m e n t s p e r S t a n d a r d 1 2 3 4 5 6 7 ‘ 8 9 1 0 1 1 1 2 1 3 1 S t a n d a r d F i g u r e 4 - 2 : O b s e r v e d G a i n s f o r I n d i v i d u a l S t a n d a r d s o n a 4 - p t S c a l e O b s e r v e d G a i n s f o r I n d i v i d u a l S t a n d a r d s o n 4 - p t S c a l e I n d i v i d u a l S t a n d a r d s 1 - 1 3 I l L S t a n d a r d s w i t h S i g n i fi c a n t O b s e r v e d G a i n s S t a n d a r d 4 , ( S c i e n t i f i c I n q u i r y ) d e m o n s t r a t e d t h e g r e a t e s t g a i n f r o m p r e t o p o s t w i t h a n e f f e c t s i z e o f 0 . 6 0 6 o r n e a r l y 6 1 % o f a s t a n d a r d d e v i a t i o n . O f a l l 1 3 s t a n d a r d s m e a s u r e d , t h i s r e p r e s e n t e d t h e g r e a t e s t a m o u n t o f i m p r o v e m e n t f r o m p r e t o p o s t o b s e r v a t i o n s . T h e s e c o n d m o r e s i g n i fi c a n t g a i n w a s f o u n d i n S t a n d a r d 1 1 ( A s s e s s m e n t ) w i t h a n e f f e c t s i z e o f 0 . 5 9 6 o r n e a r l y 6 0 % o f a s t a n d a r d d e v i a t i o n . F i n a l l y , t h e t h i r d l a r g e s t o b s e r v e d g a i n w a s i n S t a n d a r d 1 2 ( R e fl e c t i o n ) w i t h a n e f f e c t s i z e o f 0 . 4 9 6 o r 1 2 7 n e a r l y 5 0 % o f a s t a n d a r d d e v i a t i o n . T h e f o l l o w i n g d i s c u s s i o n w i l l e x a m i n e e a c h o f t h e s e o u t c o m e s a n d h o w t h e y m a k e s e n s e i n t h e c o n t e x t o f N a t i o n a l B o a r d c e r t i f i c a t i o n . S c i e n t i fi c I n q u i r y : E v i d e n c e f o r L e a r n i n g S h o r t l y a f t e r t h e f o r m e r S o v i e t U n i o n l a u n c h e d S p u t n i k i n 1 9 5 7 , t h e U n i t e d S t a t e s b e g a n f o c u s i n g t i m e a n d r e s o u r c e s o n i m p r o v i n g s c i e n c e e d u c a t i o n . A s p a r t o f t h a t s c i e n c e l i t e r a c y m o v e m e n t , t h e t e r m ‘ s c i e n t i fi c i n q u i r y ’ g a i n e d p o p u l a r i t y a s t h e n e w w a y t o t e a c h s c i e n c e . I t s m e a n i n g a s a p e d a g o g i c a l s t r a t e g y h a s c o n t i n u a l l y c h a n g e d a n d c o n t i n u e s t o e v o l v e . O n e o f t h e fi r s t p r o m o t e r s o f t h i s n e w a p p r o a c h w a s J o s e p h S c h a w b . S c h a w b ( 1 9 6 2 ) d e s c r i b e d ‘ s c i e n t i fi c i n q u i r y ’ a s a m o d e o f s c i e n c e e d u c a t i o n t h a t w o u l d m o r e a c c u r a t e l y r e fl e c t t h e s c i e n t i fi c p r o c e s s . H e e m p h a s i z e d s c i e n t i fi c i n q u i r y n o t a s h a b i t s o f m i n d i n s t u d e n t s , b u t ‘ a s a m o d e o f t e a c h i n g ’ ( I S P , 2 0 0 4 ) . I n t h i s v i e w , t h e t e a c h e r w h e n p r e s e n t i n g m a t e r i a l i n l e c t u r e s o r r e a d i n g c o n t e n t f r o m t e x t b o o k s w o u l d m o d e l t h e h a b i t s o f m i n d i n v o l v e d w i t h s c i e n t i fi c i n q u i r y , s u c h a s q u e s t i o n i n g , a n a l y z i n g , a n d e v i d e n c e g a t h e r i n g . R a t h e r t h a n j u s t d i s s e m i n a t e s c i e n t i fi c f a c t s a n d c o n c e p t s t o r e c e p t i v e s t u d e n t s , t h i s v i e w o f s c i e n c e e d u c a t i o n s t r e s s e d t h a t s t u d e n t s l e a r n h o w t o a s k q u e s t i o n s , c h a l l e n g e a s s u m p t i o n s , a n d s e e k v a l i d i t y t o p e r c e i v e d t r u t h s ( D e b o e r , 1 9 9 1 ) . I n t h e 4 0 y e a r s s i n c e i t s i n t r o d u c t i o n , s c i e n t i fi c i n q u i r y h a s d e v e l o p e d a n a r r a y o f l a b e l s a n d c a t c h p h r a s e s , s u c h a s d i s c o v e r y l e a r n i n g , h a n d s o n a c t i v i t i e s , e x p l o r a t i o n , t e a c h i n g b y p r o b l e m s o l v i n g , a n d i n d u c t i v e m e t h o d o l o g i e s ( I S P , 2 0 0 4 ) . M o s t i m p o r t a n t l y , i t h a s e x p a n d e d t o n o t o n l y r e f e r t o h o w a t e a c h e r s h o u l d t e a c h , b u t h o w a s t u d e n t s h o u l d l e a r n s c i e n c e . N a t i o n a l B o a r d ’ s d e fi n i t i o n o f s c i e n t i fi c i n q u i r y c a n t r a c e i t s r o o t s t o S c h w a b ’ s e a r l i e r c o n c e p t i o n o f t e a c h i n g s c i e n c e a s a n a l y s i s . F o r N a t i o n a l B o a r d , S c i e n t i f i c I n q u i r y 1 2 8 s e r v e s b o t h a s t h e m e a n s a n d t h e e n d s o f a t e a c h i n g - l e a r n i n g p r o c e s s . I n t h e e x t e n d e d d i s c u s s i o n o f t h e s t a n d a r d , t h e B o a r d s t a t e s : I t i s n o t a b a s i c g o a l o f s c i e n c e i n s t r u c t i o n t o fi l l s t u d e n t s w i t h a s m u c h i n f o r m a t i o n a s p o s s i b l e ; r a t h e r , i t i s t o h e l p s t u d e n t s a c q u i r e t h e m e n t a l o p e r a t i o n s , h a b i t s o f m i n d , a n d a t t i t u d e s t h a t c h a r a c t e r i z e t h e p r o c e s s o f s c i e n t i fi c i n q u i r y - - - t h a t i s , t o t e a c h t h e m h o w s c i e n t i s t s q u e s t i o n , t h i n k , a n d r e a s o n . ( N B P T S , 1 9 9 7 , p 3 1 ) A c c o r d i n g t o t h e s t a n d a r d , t h e b e s t w a y f o r t e a c h e r s t o r e a c h t h i s g o a l s u c c e s s f u l l y i s h a v e s t u d e n t s t a k e o n a n “ a c t i v e r o l e ” i n t h e i r l e a r n i n g b y a r r a n g i n g f r e q u e n t o p p o r t u n i t i e s f o r “ h a n d s o n ” s c i e n c e a c t i v i t i e s a n d “ o p e n - e n d e d i n v e s t i g a t i o n s ” c o m p l e t e w i t h p o s t a c t i v i t y t i m e f o r r e fl e c t i o n a n d a n a l y s i s o f r e s u l t s . T e a c h e r s ’ u n d e r s t a n d i n g o f t e a c h i n g w i t h s c i e n t i fi c i n q u i r y i s r e fl e c t e d i n t h e t y p e s o f c h o i c e s a n d d e c i s i o n s m a d e d u r i n g t h e i r p l a n n i n g , l e s s o n m a n a g e m e n t , a n d a s s e s s m e n t t e c h n i q u e s . T e a c h e r s c h o o s e a g e a n d s k i l l l e v e l a p p r o p r i a t e c l a s s r o o m a c t i v i t i e s t h a t a r e a s m u c h ‘ m i n d s o n ’ a s t h e y a r e ‘ h a n d s o n ’ . O t h e r i n d i c a t i o n s t h a t a t e a c h e r e f f e c t i v e l y e m p l o y s s c i e n t i fi c i n q u i r y i n t h e c l a s s r o o m p e r t a i n t o q u e s t i o n i n g s t y l e , w a i t t i m e a f t e r a s k i n g a q u e s t i o n , d i s c u s s i o n m a n a g e m e n t , a n d a n a c c e p t a n c e o f t h e ‘ u n p r e d i c t a b l e c o n s e q u e n c e s o f a n a c t i v i t y a n d s t u d e n t - c e n t e r e d p e d a g o g y ” ( N B P T S , 1 9 9 7 , p . 3 2 ) . T h o u g h t h e d e fi n i t i o n o f s c i e n t i fi c i n q u i r y m a y b e b r o a d a n d h a v e d i f f e r e n t m e a n i n g s t o d i f f e r e n t t e a c h e r s , t h e N a t i o n a l B o a r d d e fi n e s i t w i t h s p e c i fi c c h a r a c t e r i s t i c s a n d o b s e r v a b l e q u a l i t i e s . A l i t e r a l l a u n d r y l i s t o f s k i l l s , d i s p o s i t i o n s , h a b i t s o f m i n d , a n d p e d a g o g i c a l a p p r o a c h e s c h a r a c t e r i z e a t e a c h e r w h o k n o w s a n d i s a b l e t o u s e t h i s a p p r o a c h e f f e c t i v e l y i n t h e s c i e n c e c l a s s r o o m . T h e r e f o r e , i f a s s e s s m e n t i n t h i s s t u d y fi n d s i m p r o v e d s c o r e s f r o m p r e t o p o s t , I m i g h t a s s u m e t h a t t e a c h e r s a r e l e a r n i n g t o m o r e 1 2 9 c l o s e l y a l i g n t h e i r p r a c t i c e w i t h t h i s c o n c e p t i o n o f s c i e n t i f i c i n q u i r y a n d t e a c h i n g . D o e s t h e e v i d e n c e s u p p o r t t h i s a s s u m p t i o n ? F o r t h o s e t e a c h e r s w h o c o m m e n t e d o n t h e s c i e n t i f i c i n q u i r y a s p e c t o f c e r t i f i c a t i o n a s a s i g n i f i c a n t a r e a o f l e a r n i n g , i t i s a p p a r e n t t h a t t h e N a t i o n a l B o a r d ’ s v e r s i o n o f ‘ s c i e n t i fi c i n q u i r y ’ w a s a n e w a p p r o a c h t o t e a c h i n g s c i e n c e . F o r e x a m p l e , w h e n S h a r o n , a t e a c h e r f r o m W y o m i n g , w a s a s k e d w h a t s h e l e a r n e d f r o m t h e c e r t i fi c a t i o n p r o c e s s , h e r r e s p o n s e e x p r e s s e s a r e c u r r i n g t h e m e a m o n g m a n y c a n d i d a t e s . ’ 9 S h e s a i d : I w o u l d p o i n t a s a n e x a m p l e t o t h e i n c r e a s e d u s e o f i n q u i r y w i t h i n m y c l a s s r o o m . I t h i n k t h a t t h a t h a s h a d , y o u k n o w , s o m e s t r o n g b e n e f i t s i n t e r m s o f h e l p i n g s t u d e n t s t o t h i n k a b o u t w h a t s c i e n c e i s . A n d s c i e n c e i s a p r o c e s s a n d n o t j u s t a m e m o r i z a t i o n o f f a c t s a n d s p e w t h e m b a c k o u t a t t h e t e a c h e r . A n d I d o t h i n k t h a t d o i n g t h e N a t i o n a l B o a r d s h a s h e l p e d m e t o i n c o r p o r a t e t h a t m o r e i n t o t h e c l a s s r o o m . ( G r o u p 2 A - P o s t , T e a c h e r # 1 2 ) S h a r o n f r o m G r o u p 2 A - P o s t a r t i c u l a t e s p r e c i s e l y t h e s p i r i t o f w h a t N a t i o n a l B o a r d ’ s c o n c e p t i o n o f s c i e n t i fi c i n q u i r y i s a l l a b o u t . I t d e s c r i b e s a l e a r n i n g e n v i r o n m e n t w h e r e t h e t e a c h e r i s n o t t h e s o l e a u t h o r i t y o n c o n t e n t k n o w l e d g e a n d s t u d e n t c e n t e r e d a c t i v e l e a r n i n g r e s u l t s i n t h e l e a r n e r s c o n s t r u c t i n g t h e i r o w n u n d e r s t a n d i n g o f n a t u r a l p h e n o m e n o n . S e e i n g v a l u e i n t h i s a p p r o a c h , t h e t e a c h e r p o i n t s t o a n ‘ i n c r e a s e d u s e ’ o f t h i s a p p r o a c h p r e s u m a b l y b e c a u s e o f ‘ s t r o n g b e n e fi t s ’ t o s t u d e n t l e a r n i n g . F i n a l l y , t h i s t e a c h e r d e s c r i b e s h o w a s c i e n t i fi c i n q u i r y a p p r o a c h h e l p s s t u d e n t s u n d e r s t a n d n o t o n l y t h e c o n t e n t o f s c i e n c e , b u t a l s o t h e p r o c e s s o f s c i e n c e a s a v a l i d a n d i m p o r t a n t g o a l . F o r o t h e r t e a c h e r s , t h e c e r t i fi c a t i o n e x p e r i e n c e m o t i v a t e d t h e m t o i n c o r p o r a t e m o r e s c i e n t i fi c i n q u i r y i n t o t h e i r c l a s s r o o m i n s t r u c t i o n . F o r e x a m p l e , M i k e , a n o t h e r t e a c h e r f r o m W y o m i n g , s t a t e s : ’ 9 T o p r o t e c t e a c h p e r s o n ’ s i d e n t i t y , a l l o f t h e t e a c h e r s ’ n a m e s i n t h i s d i s c u s s i o n a r e p s e u d o n y m s . 1 3 0 t o b e a d i f fi c u l t c h a l l e n g e , b u t p r o b a b l y a p o w e r f u l l e a r n i n g e x p e r i e n c e . [ T h e ] N a t i o n a l B o a r d i s m a k i n g m e l o o k a t h o w m u c h s c i e n t i f i c i n q u i r y I ’ m d o i n g w h e r e t h e s t u d e n t s a r e a c t u a l l y d o i n g t h e i n q u i r y v e r s u s m e j u s t r e g u r g i t a t i n g . ( G r o u p 2 B , T e a c h e r # 3 2 ) B y d o i n g m o r e i n q u i r y - b a s e d l e s s o n s , M i k e c a m e t o a n u n d e r s t a n d i n g t h a t t h e r e i s a c l e a r d i s t i n c t i o n b e t w e e n t e a c h e r - c e n t e r e d l e c t u r e d - b a s e d i n s t r u c t i o n a n d s t u d e n t - c e n t e r e d a c t i v i t y - o r i e n t e d l e a r n i n g . R a t h e r t h a n s i m p l y ‘ r e g u r g i t a t i n g ’ i n f o r m a t i o n , s c i e n t i fi c i n q u i r y a l l o w e d s t u d e n t s t o h a v e m o r e o f a p a r t i c i p a t o r y r o l e i n t h e l e a r n i n g p r o c e s s . F o r b o t h o f t h e s e t e a c h e r s , N a t i o n a l B o a r d c e r t i fi c a t i o n a l l o w e d t h e m t o r e v i s i t , r e t h i n k , a n d t r y a g a i n a p r o c e s s t h a t t h e y w e r e a l r e a d y f a m i l i a r w i t h u s i n g i n t h e s c i e n c e c l a s s r o o m . H o w e v e r , f o r s o m e t e a c h e r s , s c i e n t i fi c i n q u i r y r e p r e s e n t e d a w h o l e n e w w a y t o t e a c h . I n a t t e m p t i n g t o f u l fi l l t h e r e q u i r e m e n t s o f t h e p o r t f o l i o , t h e y w e r e ‘ f o r c e d ’ t o t r y a n d t e a c h a c c o r d i n g t o a s c i e n t i fi c i n q u i r y m e t h o d . F o r e x a m p l e , S u s a n , a t e a c h e r f r o m A r k a n s a s , c o m m e n t s : I h a d a r e a l t o u g h t i m e c o m i n g u p w i t h a n d d e a l i n g w i t h t h e i n q u i r y b a s e p r o c e s s . A n d I f o u n d o u t t h a t o t h e r s c i e n c e t e a c h e r s t h a t h a d g o n e t h r o u g h t h e N a t i o n a l B o a r d c e r t i fi c a t i o n - s o m e w h o g o t i t a n d s o m e w h o d i d n ’ t — h a d a t o u g h t i m e w i t h t h a t . I t ’ s v e r y d i f f i c u l t t o n o t w a n t t o j u m p i n a n d h e l p t h e k i d s . A n d t o s e e t h e m s o r t o f s t r u g g l i n g a n d k i n d o f t h i n k i n g w h a t t h e y n e e d e d t o d o t y p e t h i n g . A n d e v e n t h o u g h , y o u k n o w , I w o u l d — I h a d t o b e v e r y c a r e f u l w i t h m y q u e s t i o n s s o t h a t t h e y w o u l d t h i n k o f w h a t t h e y h a d t o d o n e x t w i t h o u t m e g i v i n g t h e m a n i d e a a s t o w h a t t o d o . ( G r o u p 2 A - P o s t , T e a c h e r # 1 7 ) S u s a n i s d e s c r i b i n g h e r e x p e r i e n c e w i t h t r y i n g t o t e a c h i n a n e w w a y . T h e e f f o r t s w e r e d i f fi c u l t a n d w e n t a g a i n s t h e r e x i s t i n g t e n d e n c i e s a n d h a b i t s o f m i n d . T h i s t e a c h e r n e e d e d t o b e m u c h m o r e s e l f - c o n s c i o u s r e g a r d i n g h o w s h e a s k e d s t u d e n t s q u e s t i o n s a n d h o w h e r r e s p o n s e s t o s t u d e n t s w e r e f o r m u l a t e d . F o r a n e x p e r i e n c e d t e a c h e r w i t h w e l l - r e h e a r s e d s c r i p t s f o r i n t e r a c t i n g w i t h s t u d e n t s , t h e s t a n d a r d s f o r s c i e n t i fi c i n q u i r y p r o v e d 1 3 1 O n e r e a s o n w h y s c i e n t i f i c i n q u i r y p r o v e d t o b e a a r d u o u s t a s k f o r s o m e t e a c h e r s , m a y p e r t a i n t o t h e p e r c e i v e d c h a n g e i n t h e t e a c h e r s r o l e a s c l a s s r o o m a u t h o r i t y — t h e a d u l t p r e s e n t i n w h o n e e d s t o c o n t r o l w h a t h a p p e n s a n d w h e n . T h i s i d e a m a n i f e s t s i t s e l f b y h o w t e a c h e r s d e s c r i b e d t h e i r h a n d l i n g o f u n e x p e c t e d c o n s e q u e n c e s o r e v e n t s t h a t h a p p e n e d d u r i n g a l e s s o n . F o r e x a m p l e , C o n d o l e e z a f r o m C a l i f o r n i a s a i d : I n o t i c e d t h a t t h e r e w a s a l m o s t a s m u c h l e a r n i n g g o i n g o n f r o m s t u d e n t s m a k i n g m i s t a k e s a s s t u d e n t s d o i n g t h e r i g h t t h i n g . W h e r e a s b e f o r e I h a d d o n e t h a t — k i n d o f s t e p p e d a w a y a n d a l l o w e d s t u d e n t s t o p u r s u e i n q u i r y t r u l y a t t h e i r l e v e l — t h e i r o w n e x p e r i m e n t s — t h e i r o w n i d e a s o f w h a t w o u l d h a p p e n - t h e i r o w n a n a l y s i s - a n d p e e r d i s c u s s i o n o f w h a t w a s h a p p e n i n g i n t h e i r e x p e r i m e n t . I t r i e d t o c o n t r o l t h e s i t u a t i o n a n d m a k e s u r e t h a t t h e s t u d e n t s w o u l d g e t t h e r i g h t o u t c o m e . ( G r o u p 1 T e a c h e r # 4 0 ) F o r C o n d o l e e z a , t h e r e q u i r e m e n t s o f N a t i o n a l B o a r d c e r t i fi c a t i o n f o r c e d h e r t o r e l i n q u i s h c o n t r o l o v e r t h e l e a r n i n g p r o c e s s a n d e n c o u r a g e s t u d e n t s t o t a k e o n m o r e r e s p o n s i b i l i t y i n d e v e l o p i n g t h e i r o w n i n v e s t i g a t i o n s , p r e d i c t i o n s , a n d g r o u p e x p l a n a t i o n s f o r o b s e r v a t i o n s . ‘ M a k i n g m i s t a k e s ’ b e c o m e s a n a s p e c t o f t h e ‘ r i g h t t h i n g ’ i n t e a c h i n g s c i e n c e r a t h e r t h a n a d r e a d e d d e v i a t i o n f r o m t h e a n t i c i p a t e d p a t h o f t h e c l a s s r o o m l e s s o n . P r i o r t o c e r t i fi c a t i o n , t h i s t e a c h e r w a s s t r o n g l y f o c u s e d o n s t u d e n t s g e t t i n g t h e ‘ r i g h t o u t c o m e ’ . A s a r e s u l t o f c e r t i fi c a t i o n , s h e n o w h a s a n a p p r e c i a t i o n f o r t h e m e a n s b y w h i c h s t u d e n t s l o o k f o r a n s w e r s j u s t a s s h e d o e s f o r t h e a n s w e r i t s e l f . R a t h e r t h a n b e c o m p l e t e l y m o t i v a t e d b y t h e s t u d e n t s a c q u i s i t i o n o f c o n t e n t , t h i s t e a c h e r n o w e x p r e s s e s a v a l u e f o r t h e s t u d e n t ’ s r o l e i n d e fi n i n g w h a t c o n t e n t i s l e a r n e d a n d b y w h a t m e a n s . C o n d o l e e z a c o n t i n u e s b y s a y i n g : I n s t e a d o f b e i n g s o c o n t r o l l e d i n m a k i n g s u r e t h a t t h e s t u d e n t s g a i n e d a l l t h e c o n t e n t . I t [ N a t i o n a l B o a r d c e r t i fi c a t i o n ] f o r c e d m e t o s t e p b a c k a n d h a v e a m o r e s t u d e n t - c e n t e r e d e n v i r o n m e n t . ( G r o u p 1 T e a c h e r # 4 0 ) 1 3 2 S o m e m i g h t a r g u e t h a t ‘ m a k i n g s u r e t h e s t u d e n t s g a i n e d a l l t h e c o n t e n t ’ i s a g o o d t h i n g a n d t h a t t h e s t e p s t h i s t e a c h e r h a s t a k e n h a s w e a k e n e d h e r e f f e c t i v e n e s s r a t h e r t h a n s t r e n g t h e n e d i t . H o w e v e r , b y a d a p t i n g s c i e n t i fi c i n q u i r y a s r e q u i r e d b y t h e N a t i o n a l B o a r d , m a y n o t r e p l a c e t h e g o a l o f c o n t e n t l e a r n i n g , b u t r a t h e r , i t m a y s u p p o r t a n d e n r i c h t h e e n d e a v o r f o r s t u d e n t s a n d t h e t e a c h e r . O n e p o s s i b l e r e a s o n t h a t s c i e n t i fi c i n q u i r y p r o v i d e s a s t r o n g l e a r n i n g e x p e r i e n c e f o r t h e t e a c h e r s p e r t a i n s t o t h e c o n s e q u e n c e s o f g i v i n g u p c o n t r o l o v e r t h e i n f o r m a t i o n fl o w d u r i n g c l a s s . F o r t h o s e t e a c h e r s n e w t o t h e p e d a g o g i c a l a p p r o a c h , m o v i n g t o a m o r e ‘ s t u d e n t - c e n t e r e d e n v i r o n m e n t ’ i s s y n o n y m o u s w i t h r e l i n q u i s h i n g c o n t r o l t o p a r t i c u l a r a s p e c t s o f c l a s s r o o m m a n a g e m e n t . H o w e v e r , o n c e t h e a p p r e h e n s i o n i s o v e r c o m e f o r t h o s e t e a c h e r s , m a n y t i m e s t h e y e x p e r i e n c e u n e x p e c t e d c o n s e q u e n c e s t h a t b e c o m e p r o d u c t i v e ‘ t e a c h a b l e m o m e n t s ’ . F o r e x a m p l e , M i c h a e l f r o m W y o m i n g d e s c r i b e d a s i t u a t i o n w h e r e h e w a s w o r k i n g w i t h a g r o u p o f s t u d e n t s w h o a p p e a r e d t o b e s t u m p e d b y t h e r e s u l t s o f a p r o c e d u r e . T h e g r o u p ’ s t r o u b l e s c a u s e d h i m t o p a u s e b e f o r e e n g a g i n g t h e m w i t h q u e s t i o n s . W h e r e t h e i n c l i n a t i o n w a s t o e x p l a i n a n d r e s o l v e t h e i r i m p a s s e , M i c h a e l s u g g e s t s , “ L e t ’ s t a k e a n o t h e r l o o k a t t h i s . ” H e t h e n d e s c r i b e s w h a t m i g h t h a p p e n a s a r e s u l t o f t h i s c o m m e n t : H o p e f u l l y s o m e t h i n g w o u l d b e s p a r k e d i n s o m e b o d y ’ s b r a i n t h a t w o u l d p r o p e l t h e g r o u p i n t h e r i g h t d i r e c t i o n . ( G r o u p 2 B , T e a c h e r # 3 2 ) T h i s t e a c h e r h a s m a d e a c o n s c i o u s e f f o r t t o p l a c e m o r e c o n t r o l o v e r t h e l e a r n i n g p r o c e s s i n t h e h a n d s ( a n d m i n d s ) o f t h e s t u d e n t s i n t h e g r o u p . T h e r e s u l t s f r o m t h i s d e c i s i o n a r e k n o w n w i t h l e s s c e r t a i n t y t h a n i f t h e y w e r e j u s t t o l d t h e a n s w e r . B u t e v e n w i t h i n c r e a s e d u n c e r t a i n t y , M i c h a e l s e e s e n o u g h b e n e fi t s t o c o n t i n u e w i t h t h i s p r o c e s s . R a t h e r t h e n r e l y o n p r e d e t e r m i n e d ‘ c o o k b o o k ’ l a b o r a t o r i e s , h e s a y s : 1 3 3 I ’ m g e a r i n g m o r e o f m y l a b s t o w a r d s t h a t [ o p e n e n d e d i n v e s t i g a t i o n s ] i f i t l e n d s i t s e l f t o t h e c o n t e n t . S o t h a t w a y t h e s t u d e n t s t a k e m o r e o f a s e l f - d i s c o v e r y a p p r o a c h r a t h e r t h a n a c o o k b o o k t y p e l a b . I ’ m a v o i d i n g t h e c o o k b o o k t y p e l a b s . ( G r o u p 2 B , T e a c h e r # 3 2 ) S c i e n t i fi c I n q u i r y w a s o b s e r v e d i n t h i s s t u d y t o b e t h e s t a n d a r d o f g r e a t e s t i m p r o v e m e n t f r o m p r e t o p o s t o b s e r v a t i o n . F o r t h o s e t e a c h e r s w h o c o m m e n t e d u p o n t h i s a s p e c t o f t h e c e r t i f i c a t i o n p r o c e s s a s s i g n i fi c a n t t o t h e i r l e a r n i n g , s e v e r a l r e a s o n s e m e r g e . S c i e n t i fi c I n q u i r y f o r s o m e w a s a n e w e x p e r i e n c e t h a t o n c e t r i e d r e s u l t e d i n s o m e p o s i t i v e e f f e c t s i n t h e c l a s s r o o m . S c i e n t i f i c i n q u i r y w a s d i f fi c u l t f o r s o m e t e a c h e r s b e c a u s e i t r e q u i r e d a c h a n g e i n t h e p o s i t i o n o f t h e t e a c h e r a s t h e s i n g l e a u t h o r i t y i n t h e c l a s s r o o m . F i n a l l y , b y g i v i n g m o r e r e s p o n s i b i l i t y t o s t u d e n t s f o r t h e i r o w n l e a r n i n g , t e a c h e r s e x p e r i e n c e d u n e x p e c t e d s i t u a t i o n s , w h i c h g a v e r i s e t o p r o d u c t i v e t e a c h i n g a n d l e a r n i n g o p p o r t u n i t i e s . H o w t h o s e t e a c h e r s d e t e r m i n e d w h e t h e r a m o m e n t w a s p r o d u c t i v e o r n o t p e r t a i n s d i r e c t l y t o h o w a t e a c h e r a s s e s s e s s t u d e n t u n d e r s t a n d i n g . I t i s t o w a r d s t h e A s s e s s m e n t t h a t t h e d i s c u s s i o n t u r n s n e x t . A s s e s s m e n t : E v i d e n c e f o r L e a m g A s s e s s m e n t i n e d u c a t i o n a l c i r c l e s h a s a w i d e r a n g e o f m e a n i n g s . F r o m s t a n d a r d i z e d t e s t s t h a t p r o v i d e a p a r t i c u l a r v i e w o f w h a t a s t u d e n t o r s t u d e n t s m a y o r m a y n o t u n d e r s t a n d t o m o r e i m m e d i a t e a n d c l a s s r o o m b a s e d p r a c t i c e s . I t i s t h i s l a t e r c a t e g o r i z a t i o n t h a t i s m o s t a p p l i c a b l e t o t h i s s t u d y . A s s e s s m e n t i n t h i s s e n s e ( c o m m o n l y r e f e r r e d t o a s e m b e d d e d , f o r m a t i v e , c o n t i n u o u s , o r c l a s s r o o m - b a s e d a s s e s s m e n t ) i s d e fi n e d a s t h e p r o c e s s o f g a t h e r i n g i n f o r m a t i o n a n d t h e n e v a l u a t i n g s t u d e n t s ' i d e a s a n d r e a s o n i n g a b o u t t h e p a r t i c u l a r s u b j e c t m a t t e r b e i n g t a u g h t . T h e r e s u l t s f r o m t h i s p r o c e s s a r e t h e n u s e d t o i n f o r m i n s t r u c t i o n a l d e c i s i o n s ( G a l l a g h e r , 2 0 0 0 ) . E f f e c t i v e a s s e s s m e n t r e l i e s h e a v i l y o n a t e a c h e r ’ s s t r o n g u n d e r s t a n d i n g o f c o n t e n t . T h e N a t i o n a l B o a r d ’ s 1 3 4 a g r e e s w i t h t h i s d e fi n i t i o n o f ‘ A s s e s s m e n t ’ . I n t h e i r d e t a i l e d d i s c u s s i o n o f S t a n d a r d 1 1 : A s s e s s m e n t , t h e N a t i o n a l B o a r d d e f i n e s i t a s “ t h e p r o c e s s o f u s i n g f o r m a l a n d i n f o r m a l m e t h o d s o f d a t a - g a t h e r i n g t o d e t e r m i n e s t u d e n t s ’ g r o w i n g s c i e n t i fi c l i t e r a c y , u n d e r s t a n d i n g , a n d a p p r e c i a t i o n ” ( N B P T S , 1 9 9 7 , p . 4 5 ) . E v i d e n c e i n s u p p o r t o f l e a r n i n g r e l a t e d t o A s s e s s m e n t i n t h i s s t u d y i s s u b s t a n t i a l . T h e t h e m e t h r o u g h o u t t h i s e v i d e n c e p e r t a i n s t o t h e N a t i o n a l B o a r d ’ s r e p e a t e d r e q u i r e m e n t o f f o c u s e d , d e t a i l e d , a n d e x t e n s i v e r e v i e w o f e v i d e n c e a r o u n d s t u d e n t l e a r n i n g . F o r m a n y t e a c h e r s , t h i s i s a n e w p r a c t i c e . M a n y a r e a c c u s t o m e d t o a t r a d i t i o n a l ‘ t e a c h a n d t e s t ’ m e n t a l i t y t h a t r e s u l t s a s s e s s m e n t p r a c t i c e s t h a t f o c u s o n l y o n f a c t u a l r e c a l l a b i l i t y . T h r o u g h t h e e f f o r t s t o c o n s t r u c t a m e a n i n g f u l p o r t f o l i o , i s s u e s o f s t u d e n t a s s e s s m e n t a r e e x p l o r e d i n r i c h d e t a i l . T h e p r o c e s s “ m a d e ” K a t e , a t e a c h e r f r o m C a l i f o r n i a , t h i n k a b o u t h e r l e s s o n s “ i n m o r e d e t a i l a n d t h i n k a b o u t a s s e s s m e n t ” ( G r o u p 2 A - P o s t , T e a c h e r # 2 ) . A n o t h e r t e a c h e r , K a r e n f r o m K e n t u c k y , e x p a n d s u p o n t h i s t h e m e b y s a y i n g : W e l l , l i k e I u s e d t o j u s t g r a d e a t e s t . Y o u k n o w b a s e d o n h o w t h e g r a d e s w e r e o n t h e t e s t t h a t w o u l d k i n d o f b e m y i n d i c a t i o n o f i f t h e k i d s l e a r n e d o r n o t . A n d n o w , I j u s t s e e t h a t t h e r e ’ s a l l t y p e s o f a s s e s s m e n t a n d t h a t t h a t h o w a s t u d e n t d o e s o n y o u r t e s t i s g o i n g t o h a v e a n i n fl u e n c e o n y o u r t e a c h i n g a n d h o w y o u i n s t r u c t . Y o u k n o w I n e v e r l o o k e d a t t h a t a s a t o o l f o r c h a n g i n g m y i n s t r u c t i o n . ( G r o u p 1 , T e a c h e r # 9 ) K a r e n e x p r e s s e s a d e e p e r u n d e r s t a n d i n g a n d a p p r e c i a t i o n f o r a s s e s s m e n t t h a t d i d n o t e x i s t p r i o r t o t h e c e r t i fi c a t i o n p r o c e s s . T h e p r a c t i c e o f t e a c h i n g i s e n r i c h e d b y a s s e s s m e n t , n o t p l a g u e d b y i t . A s s e s s m e n t b e c o m e s a t o o l f o r i m p r o v i n g s t u d e n t l e a r n i n g i n s t e a d o f a r e q u i r e m e n t a t a u n i t ’ s e n d . A n o t h e r e f f e c t o f t h e d e t a i l e d a s s e s s m e n t r e q u i r e m e n t s o f N a t i o n a l B o a r d c a u s e d K a r e n t o c h a n g e h e r v i e w o f s t u d e n t s i n t h e l e a r n i n g p r o c e s s . S h e c o n t i n u e s b y s a y i n g : 1 3 5 I r e a l i z e d t h a t y o u r e a l l y n e e d t o l o o k a t a s t u d e n t ’ s i n d i v i d u a l n e e d s a n d s t y l e — y o u k n o w l i k e f o r a l o n g t i m e I t a u g h t j u s t c o l l e g e b o u n d k i d s a n d y o u k i n d o f t h i n k t h a t t h e y a r e j u s t a l l t h e s a m e . A n d t h e y a r e n o t . . . . i t j u s t m a d e m e i n d i v i d u a l i z e m o r e . ( G r o u p 1 , T e a c h e r # 9 ) K a r e n d e s c r i b e s a 1 8 0 - d e g r e e r e a d j u s t m e n t r e g a r d i n g t h e i r a p p r o a c h t o t e a c h i n g a n d l e a r n i n g . F r o m a t e a c h e r c e n t e r e d p a s s i v e l e a r n i n g e n v i r o n m e n t t o a s t u d e n t c e n t e r e d i n d i v i d u a l i z e d l e a r n i n g c o m m u n i t y . A s s e s s m e n t f a c i l i t a t e d t h i s c h a n g e b y a l l o w i n g t h e t e a c h e r t h e o p p o r t u n i t y t o m o r e c l o s e l y e x a m i n e w h a t i n d i v i d u a l s t u d e n t s m a y o r m a y n o t b e l e a r n i n g a n d t h e t e a c h e r ’ s c a u s a l r e l a t i o n s h i p t o t h e a s s e s s e d o u t c o m e . A n o t h e r t e a c h e r e c h o e s t h i s i d e a o f d i s c o v e r i n g m o r e v a l u e f o r a s s e s s m e n t t h a n j u s t a g r a d e a t t h e e n d o f a u n i t a n d u s i n g a s s e s s m e n t p r a c t i c e s t o s e e o n e ’ s s e l f a s m o r e d i r e c t l y r e s p o n s i b l e f o r e l i c i t i n g ( o r n o t ) l e a r n i n g f r o m s t u d e n t s . D u r i n g p a r t o f t h e p o r t f o l i o c o n s t r u c t i o n t h a t r e q u i r e d c l o s e a s s e s s m e n t o f s t u d e n t l e a r n i n g , M a d e l i n e f r o m R h o d e I s l a n d s t a t e s : I a c t u a l l y n o t i c e d t h i n g s t h a t t h e k i d s d i d n ’ t u n d e r s t a n d . U n d e r o t h e r c i r c u m s t a n c e s I p r o b a b l y w o u l d h a v e j u s t g o n e r i g h t b y i t a n d n o t p u t i t a l l t o g e t h e r — b u t i n t h e l a r g e r c o n t e n t — w h e n I w a s l o o k i n g a t a n e x t e n d e d u n i t a n d I w a s l o o k i n g a t t h e v a r i o u s p i e c e s - - I n o t i c e d t h a t t h e r e w e r e s e v e r a l t h i n g s t h e k i d s j u s t d i d n ’ t g e t . A n d i f I h a d n ’ t s p e n t t h e t i m e t o a n a l y z e i t , I p r o b a b l y w o u l d h a v e j u s t g o n e r i g h t b y i t . A n d j u s t s a i d “ o h t h e y j u s t d i d n ’ t g e t i t . ” B u t I r e a l l y s a w t h a t t h e r e w a s d e fi n i t e l y a p r o b l e m s o m e w h e r e w i t h t h e w a y I s t r u c t u r e d t h e l e s s o n o r t h e w a y t h a t I d e l i v e r e d t h e l e s s o n o r s o m e t h i n g t h a t I d i d t h a t s a i d t h e y d i d n ’ t g e t i t . A n d i t c a u s e d m e t o s t e p b a c k a n d c h a n g e t h e w a y t h a t I ’ l l t e a c h t h a t a g a i n . N o r m a l l y I p r o b a b l y w o u l d n ’ t h a v e d o n e t h a t . ( G r o u p 2 A - P o s t , T e a c h e r # 5 ) M a d e l i n e i s a r t i c u l a t i n g a n a p p r e c i a t i o n f o r a s s e s s m e n t p r a c t i c e s t h a t d i d n o t e x i s t p r i o r t o c e r t i fi c a t i o n . N o t o n l y w a s a p r o b l e m a t i c c o n t e n t c o n c e p t i d e n t i fi e d f r o m a n a s s e s s m e n t , b u t a l s o r e a s o n s f o r t h e l a c k o f l e a r n i n g w e r e f o r m u l a t e d . I n t h i s c a s e , t h e t e a c h e r e x p r e s s e s a b e l i e f t h a t t h e s t u d e n t s ‘ d i d n ’ t g e t i t ’ b e c a u s e o f a p r o b l e m w i t h t h e t e a c h e r ’ s p e d a g o g i c a l d e c i s i o n s o r t h e i r d e l i v e r y o f t h e l e s s o n i n c l a s s . T h e t e a c h e r c i t e s t h a t 1 3 6 N a t i o n a l B o a r d c e r t i fi c a t i o n p r o v i d e d a s e t o f ‘ c i r c u m s t a n c e s ’ t h a t w e r e i n s o m e w a y d i f f e r e n t t h a n n o r m a l . T h e s e d i f f e r e n t c i r c u m s t a n c e s c a n b e i n t e r p r e t e d t o m e a n t h e a d d i t i o n a l r e q u i r e m e n t s d e m a n d e d o f t h e t e a c h e r t o c o n s t r u c t t h e p o r t f o l i o . W i t h o u t t h e p a r t i c u l a r n e e d s o f t h e p o r t f o l i o c o n s t r u c t i o n , M a d e l i n e w o u l d p r o b a b l y h a v e n e v e r t a k e n t h e t i m e t o e x p l o r e a s s e s s m e n t t o t h e e x t e n t d e m o n s t r a t e d h e r e . T h e r e i s a s e n s e f r o m t h e q u a l i t a t i v e d a t a t h a t t h e l e a r n i n g t h a t t a k e s p l a c e i n a s s e s s m e n t i s m o r e p r o f o u n d i n c h a r a c t e r t h a n t h a t o b s e r v e d i n s c i e n t i f i c i n q u i r y . F o r e x a m p l e , o n c e t h e p o w e r o f d e t a i l e d a n d i n t e n s i fi e d a s s e s s m e n t o f s t u d e n t l e a r n i n g i s e x p e r i e n c e d , i t a c t u a l l y m a y c h a n g e a w a y a t e a c h e r t h i n k s a b o u t p r a c t i c e . F o r e x a m p l e , R i t a , a t e a c h e r f r o m K e n t u c k y r e i n f o r c e s t h i s n o t i o n b y s t a t i n g : A n d i t t r u l y — a n d i t h a s a l r e a d y c a r r i e d o v e r t o t h i s y e a r — y o u k n o w w h e n k i d s d o n ’ t w r i t e v e r y w e l l — y o u a l m o s t d r e a d r e a d i n g t h e i r w r i t i n g . B u t 1 fi n d m y s e l f r e a l l y w a n t i n g t o r e a d t h e i r l a b r e p o r t s a n d s t u f f . A n d I f e e l l i k e w h a t I s a y t o t h e m o n t h e i r p a p e r s — I d e f i n i t e l y g i v e t h e m m o r e f e e d b a c k . B u t m y f e e d b a c k i s m o r e d i r e c t . S o I f e e l l i k e I a n a l y z e t h e i r w o r k b e t t e r t h a n I d i d b e f o r e . ( G r o u p 1 , T e a c h e r # 4 1 ) I n t h i s e x a m p l e , R i t a “ l o o k s f o r w a r d ” t o a t a s k t h a t p r e v i o u s l y w a s “ d r e a d e d ” . A s s e s s m e n t h a s n o t o n l y i m p r o v e d h e r u n d e r s t a n d i n g o f s t u d e n t i d e a s a n d r e a s o n i n g , b u t h a s a l s o l e d t o a n i m p r o v e d a p p r e c i a t i o n f o r e f f e c t i v e e n g a g e m e n t t h r o u g h a p p r o p r i a t e a n d c o m p l e t e f e e d b a c k . F i n a l l y , t h e l e a r n i n g e x e m p l i fi e d h e r e a p p e a r s t o r e p r e s e n t i m m e d i a t e c h a n g e t o t h e t e a c h e r ’ s p r a c t i c e t h a t h a s c a r r i e d o v e r i n t o t h e s e m e s t e r f o l l o w i n g c o m p l e t i o n o f N a t i o n a l B o a r d c e r t i fi c a t i o n r e q u i r e m e n t s . T h i s i d e a o f i m m e d i a t e c h a n g e o f p r a c t i c e r e s u l t i n g f r o m l e a r n i n g a s s o c i a t e d d i r e c t l y w i t h a s s e s s m e n t p r o c e d u r e s i s f o u n d i n t h e f o l l o w i n g q u o t e f r o m M a r s h a , a t e a c h e r f r o m F l o r i d a . M a r s h a s t a t e s : 1 3 7 I k n o w I ’ v e c h a n g e d t h e w a y I c o r r e c t p a p e r s a f t e r h a v i n g t o g o t h r u t h a t p r o c e s s . T h e r e i s t h a t o n e s e c t i o n i n y o u r p o r t f o l i o w h e r e y o u h a d t o p u t i n s t u d e n t w o r k a n d y o u r c o m m e n t s . A n d I p u l l e d s o m e s t u d e n t w o r k a n d I s t a r t e d l o o k i n g a t i t a n d i t w a s j u s t f u l l o f m i s c o n c e p t i o n s . T h i s w a s a p h y s i c s w o r k s h e e t . A n d I s a i d , “ M y G o d , t h e s e w o u l d h a v e j u s t g o n e r i g h t b y m e i f I h a d n ’ t t a k e n t h e t i m e t o s i t d o w n a n d r e a d e v e r y w o r d t h a t t h e y w r o t e . ” A n d s o I h a v e n o w c h a n g e d t h e w a y t h a t I c o r r e c t p a p e r s . T h e k i d s - t h e r e i s m o r e r e d o n t h e p a p e r w h e n t h e y g e t i t b a c k t h e n t h e i r o r i g i n a l w r i t i n g . S o I c o r r e c t p a p e r s w i t h j u s t a r e a l e a g l e e y e n o w . A n d I r e a d e v e r y t h i n g t h a t t h e y w r i t e . A n d t h a t - a n d t o m e t h a t ’ s — t h a t w a s t h e b i g g e s t e y e o p e n e r I ’ v e h a d i n a l o n g t i m e . ( G r o u p 2 A - P o s t , T e a c h e r # 1 ) T h e d e v e l o p m e n t o f a n “ E a g l e E y e ” w i t h r e g a r d s t o w h a t s t u d e n t s a r e t h i n k i n g a s r e fl e c t e d i n t h e i r w r i t i n g e c h o e s m a n y o f t h e o t h e r i d e a s a l r e a d y e x p l o r e d i n t h i s s e c t i o n o n A s s e s s m e n t . M a r s h a h a s c h a n g e d h e r p r a c t i c e a s a r e s u l t o f e x p e r i e n c e s w i t h a s s e s s m e n t t h a t w e r e b r o u g h t a b o u t b e c a u s e o f t h e r e q u i r e m e n t s o f t h e p o r t f o l i o c o n s t r u c t i o n . T h i s e n r i c h e d a s s e s s m e n t p r a c t i c e h a s a l s o r e s u l t e d i n i m p r o v e d f e e d b a c k o r e n g a g e m e n t w i t h t h e s t u d e n t . T h e s e t y p e s o f s e l f - r e p o r t s s u g g e s t t h a t f o r a t l e a s t s o m e o f t h e t e a c h e r s s a m p l e d , a r a t h e r p r o f o u n d s h i f t h a s t a k e n p l a c e . P e r h a p s t h e s e c h a n g e s a r e p o i n t i n g t o t h e k i n d o f “ s e l f - s u s t a i n i n g , g e n e r a t i v e ” l e a r n i n g n o w r e c o g n i z e d a s a r e l a t i v e l y r a r e e v e n t i n t h e l i t e r a t u r e ( s e e f o r e x a m p l e , F r a n k e , e t a l . , 1 9 9 8 , 2 0 0 1 ) . I n t h i s c a s e , I c a n n o t k n o w h o w l o n g s u c h e f f e c t s m a y l a s t , n o r h o w s u c h r e p o r t e d i n s i g h t s a c t u a l l y m a y a f f e c t t e a c h i n g p r a c t i c e . B u t i n t h e a n n a l s o f t e a c h e r l e a r n i n g , t h e r e p o r t s o f t h e s e t e a c h e r s a r e r e m a r k a b l e i n t h e m s e l v e s , a g a i n s t t h e b a c k d r o p o f s o m a n y t e a c h e r s ’ d i s m a l a c c o u n t s o f t h e i r p r o f e s s i o n a l d e v e l o p m e n t e x p e r i e n c e s . T h e p r o c e s s o f B o a r d c e r t i fi c a t i o n a p p e a r s t o h a v e b e e n a t r a n s f o r r n a t i v e e x p e r i e n c e f o r a t l e a s t s o m e t e a c h e r s o n s o m e d i m e n s i o n s o f t h e i r p r a c t i c e . 1 3 8 R e fl e c t i o n : E v i d e n c e f o r L e a r n i n g T h e l i t e r a t u r e o n ‘ R e fl e c t i o n ’ i s a s d e e p a s i t i s w i d e . T h e r e i s a c o n s e n s u s i n t h e e d u c a t i o n a l c o m m u n i t y t h a t s o m e f o r m o f r e fl e c t i o n l i n k s e f f e c t i v e p r a c t i c e w i t h i n q u i r y a n d c o n t i n u o u s p r o f e s s i o n a l g r o w t h . W h a t t h e r e fl e c t i o n i s f o c u s e d u p o n a n d h o w e f f e c t i v e p r a c t i c e a r e p e r c e i v e d o r m e a s u r e d , r e m a i n s h i g h l y d e b a t a b l e ( F e r r a r o , 2 0 0 0 ) . J o h n D e w e y fi r s t u s e d t h e t e r m ‘ r e fl e c t i o n ’ a n d d e fi n e d i t a s “ a n a c t i v e , p e r s i s t e n t , a n d c a r e f u l c o n s i d e r a t i o n o f a n y b e l i e f o r s u p p o s e d f o r m o f k n o w l e d g e ” ( D e w e y , 1 9 3 3 , p . 9 ) . I n t h e 1 9 8 0 ’ s t h e i d e a w a s r e v i s i t e d i n S c h d n ’ s T h e R e fl e c t i v e P r a c t i o n e r ( S c h é n , 1 9 8 2 ) . S c h d n b e l i e v e d t h a t e x p e r i e n c e a l o n e w a s n o t e n o u g h t o m o v e a n o v i c e t e a c h e r t o t h e r e a l m o f a n e x p e r t . H e m a i n t a i n e d t h a t r e fl e c t i o n i n a c t i o n a n d r e fl e c t i n g o n a c t i o n w e r e i n t e r t w i n e d m e a n s o f d e v e l o p i n g e x p e r t i s e i n t e a c h i n g . S u c h a d e s c r i p t i o n o f r e fl e c t i o n a l l o w e d t h e d i s t i n c t i o n t o b e m a d e b e t w e e n r e fl e c t i n g p r a c t i o n e r s w h o u s e a c o n s t r u c t i v i s t d e c i s i o n m a k i n g p e r s p e c t i v e a n d n o n - r e fl e c t i n g e d u c a t o r s w h o u s e a n i n s t r u m e n t a l p r o b l e m s o l v i n g a p p r o a c h ( F e r r a r o , 2 0 0 0 ) . T h e s e i d e a s o f r e fl e c t i o n h a v e s t r o n g l y i n fl u e n c e d t h e w a y N a t i o n a l B o a r d d e fi n e s a n d u s e s t h e t e r m . A c c o r d i n g t o t h e N a t i o n a l B o a r d ’ s s t a n d a r d s , ‘ R e fl e c t i o n ’ o r t h e a c t o f r e g u l a r l y c o n t e m p l a t i n g “ t h e e f f e c t s o n e ’ s a c t i o n s a n d i n i t i a t i v e s a r e h a v i n g o n f o s t e r i n g s t u d e n t l e a r n i n g ” i s a n i n t e g r a l p a r t o f b e i n g a n a c c o m p l i s h e d t e a c h e r a n d “ l i f e l o n g l e a r n e r ” ( N B P T S , 1 9 9 7 , p . 5 3 ) . A s F i g u r e 4 - 1 i n d i c a t e s , S t a n d a r d 1 2 : R e fl e c t i o n g a r n e r e d t h e m a j o r i t y o f c o m m e n t s s u p p o r t i n g l e a r n i n g f r o m N a t i o n a l B o a r d c e r t i fi c a t i o n . T h o u g h S t a n d a r d 1 2 w a s t h e t h i r d h i g h e s t o b s e r v e d g a i n o u t o f t h e 1 3 s t a n d a r d s , i t h a d t h e m o s t c o m m e n t s . T h i s s i t u a t i o n m i g h t b e e x p l a i n e d b y t h e f a c t t h a t ‘ r e fl e c t i o n ’ a p p l i e s i n a n i n d i r e c t ( s o m e t i m e s d i r e c t ) w a y t o e a c h o f t h e o t h e r 1 2 s t a n d a r d s . T e a c h e r s m a y r e fl e c t 1 3 9 u p o n e q u i t y , r e s o u r c e s , a s s e s s m e n t , s c i e n t i fi c i n q u i r y , e n g a g e m e n t , a n d l e a r n i n g e n v i r o n m e n t a s w e l l a s o t h e r s b u t o n l y f o c u s o n t h e a c t o f r e fl e c t i o n i t s e l f a s s i g n i fi c a n t o r i m p o r t a n t . I n t h e d i s c u s s i o n t h a t f o l l o w s , e x a m p l e s w i l l b e d r a w n f r o m n o t o n l y d i r e c t c o m m e n t s p e r t a i n i n g t o t h e v a l u e o f a c t i v e r e fl e c t i o n , b u t a l s o r e fl e c t i o n t h a t f o c u s e s o n a s p e c i fi c i s s u e o r p r o b l e m r e l a t e d t o p r a c t i c e . A c o m m o n t h e m e t h a t r u n s t h r o u g h m a n y o f t h e s e c o m m e n t s p e r t a i n s t o t h e v a l u e o f r e fl e c t i o n t h a t i s “ f o r c e d ” u p o n t h e t e a c h e r b y t h e c e r t i fi c a t i o n p r o c e s s . A s J u d y f r o m C a l i f o r n i a s a y s : I t r e a l l y m a k e s y o u s t o p a n d t a k e a l o o k a t e v e r y l i t t l e n i t - p i c k y t h i n g y o u d o . A n d y o u s e e t h i n g s t h a t y o u d i d n ’ t s e e b e f o r e b e c a u s e y o u d o n ’ t h a v e t i m e t o s e e t h e m . S o i t f o r c e s y o u t o t a k e t h e t i m e t o r e a l l y r e fl e c t o n w h a t y o u a r e d o i n g . ( G r o u p 2 A - P o s t , T e a c h e r # 1 5 ) K i m f r o m M a r y l a n d a d d s a s i m i l a r v o i c e w h e n s h e s t a t e s : I t h i n k i t ’ s v e r y g o o d t o t a k e t i m e o u t a n d l o o k a t w h a t y o u a r e d o i n g a n d w h y y o u a r e d o i n g i t . ( G r o u p 2 B , T e a c h e r # 3 3 ) T h i s t h e m e o f t a k i n g ‘ t i m e o u t ’ t o r e fl e c t i s a b e n e f i c i a l l e a r n i n g e x p e r i e n c e . I n d e s c r i b i n g N a t i o n a l B o a r d c e r t i fi c a t i o n , A n n a b e l l e f r o m A l a b a m a s t a t e s t h a t i t i s : . . . t h e m o s t b e n e fi c i a l t h i n g t h a t I ’ v e e v e r d o n e i n t e r m s o f r e a l p e r s o n a l , p r o f e s s i o n a l d e v e l o p m e n t . B e c a u s e i t m a d e y o u t a k e a g o o d h a r d l o o k a t y o u r s e l f a n d y o u r t e a c h i n g p r a c t i c e — w h i c h o t h e r w i s e a t e a c h e r n e v e r w o u l d d o . B e c a u s e n o o n e e v e r y a s k e d y o u t o d o t h a t . ( G r o u p 2 A - P o s t , T e a c h e r # 1 6 ) T h e i d e a t h a t t h e t e a c h e r i s b e i n g ‘ f o r c e d ’ o r ‘ m a d e t o ’ r e fl e c t c a n a l s o b e i n t e r p r e t e d t o m e a n t h a t s o m e o n e o r ( i n t h e c a s e o f N a t i o n a l B o a r d c e r t i fi c a t i o n ) s o m e t h i n g ’ s r e q u e s t t o e n g a g e i n a c t i v e r e fl e c t i o n w a s a n e w a n d p o w e r f u l e x p e r i e n c e . H o w e v e r , i t s n o t j u s t t h e a c t o f r e fl e c t i n g t h a t i s i m p o r t a n t , i t i s a l s o t h e q u a l i t y o f w h a t t e a c h e r s m e a n b y r e fl e c t i n g o n p r a c t i c e . I n t e r m s o f q u a l i t y , i t a p p e a r s t h a t r e f l e c t i o n f o r m a n y t e a c h e r s i n t h i s s t u d y p e r t a i n e d t o s e l f - e x a m i n a t i o n t h a t t r i e d t o g e t 1 4 0 b e n e a t h t h e o b v i o u s . F o r e x a m p l e , M e l i n d a f r o m V i r g i n i a ( w h o a l s o e c h o e s t h e ‘ r e q u i r e d ’ n a t u r e o f t h e r e fl e c t i o n p r o c e s s ) g o e s o n t o c o m m e n t o n t h e c h a r a c t e r o f t h e r e fl e c t i o n : [ I t ] h a s r e a l l y r e q u i r e d m e t o d o m o r e a n a l y s i s o f m y d a i l y t e a c h i n g t h e n I m i g h t h a v e c o n d u c t e d o t h e r w i s e . A n d i t b r o u g h t t h i n g s t o m y a t t e n t i o n t h a t I m i g h t - t h a t I p r o b a b l y w o u l d n ’ t h a v e n o t i c e d o n m y o w n . L i k e s i t t i n g d o w n w i t h s t u d e n t s ’ w o r k f o r t h e o n e e n t r y a n d t h e w r i t t e n w o r k a n d r e a l l y r e a d i n g i t i n d e p t h a n d r e a d i n g i n - b e t w e e n t h e l i n e s a n d p i c k i n g o u t w h a t i t i s t r y i n g t o s h o w m e ; a n d a l l o f t h a t k i n d o f s t u f f . I t s o r t o f h e l p e d m e s e e h o w m y s t u d e n t s w e r e d o i n g i n a d i f f e r e n t a t m o s p h e r e t h a n 1 w o u l d h a v e c o n s i d e r e d t h e m o r i g i n a l l y . ( G r o u p 2 B , T e a c h e r # 3 6 ) M e l i n d a i n d i c a t e s t h a t r e fl e c t i o n w a s e f f e c t i v e b e c a u s e i t f o r c e d t h e m t o ‘ r e a l l y ’ r e a d s t u d e n t s ’ w o r k ‘ i n d e p t h ’ a n d t o ‘ r e a d b e t w e e n t h e l i n e s ’ i n o r d e r t o fi n d o u t h i d d e n o r l e s s a p p a r e n t m e a n i n g . F r o m t h i s k i n d o f d e s c r i p t i o n , o n e c o u l d i n f e r t h a t u n d e r n o r m a l ( n o n - r e fl e c t i n g ) c i r c u m s t a n c e s , t h e t e a c h e r o n l y r e a d s , n o t ‘ r e a l l y r e a d s ’ . T h e c o n s e q u e n c e s o f t h i s d e t a i l e d a n a l y t i c a l t y p e o f r e a d i n g r e s u l t s i n a s s e s s i n g s t u d e n t u n d e r s t a n d i n g ‘ i n a d i f f e r e n t a t m o s p h e r e ’ o r k n o w i n g t h e m i n a w a y t h a t t h e t e a c h e r h a d n o t c o n s i d e r e d p r i o r t o c e r t i fi c a t i o n . A n o t h e r w a y t o t h i n k a b o u t t h i s r e fl e c t i o n a s i n - d e p t h a n a l y s i s i s r e p r e s e n t e d b y t h e c o m m e n t s f r o m K e l l y f r o m O k l a h o m a . K e l l y e x p r e s s e d t h e ‘ r e v e a l i n g ’ n a t u r e o f t h e r e fl e c t i o n p r o c e s s a s v e r y p r o d u c t i v e . S h e s t a t e s : I t m a d e m e r e a l i z e t h a t s o m e o f t h e t h i n g s t h a t I w a s a l r e a d y d o i n g - - h o w p r o f o u n d a n i m p a c t i t h a d . A n d h o w I c o u l d d o m o r e o f i t . A n d i t a l s o s h o w e d m e t h i n g s t h a t I d i d n ’ t e v e n t h i n k m a d e a d i f f e r e n c e t h a t d o m a k e a d i f f e r e n c e . ( G r o u p 2 A - P o s t , T e a c h e r # 1 4 ) I n t h i s e x a m p l e , t h e r e fl e c t i o n p r o c e s s c a u s e d t h e t e a c h e r t o r e t h i n k s o m e p r i o r a s s u m p t i o n s a b o u t i n s t r u c t i o n a n d m a k e c o n n e c t i o n s p e r c e i v e d t o b e ‘ p r o f o u n d ’ i n n a t u r e . 1 4 1 A n o t h e r w a y t o t h i n k o f t h e ‘ p r o f o u n d ’ n a t u r e o f t h i s e x p e r i e n c e i s t h a t i t i n c r e a s e d t h e t e a c h e r ’ s a w a r e n e s s o f t h e c o m p l e x i t y o f a t a s k p r e v i o u s a s s u m e d t o b e q u i t e s i m p l e a n d s t r a i g h t f o r w a r d . F o r e x a m p l e , C a r o l f r o m N o r t h C a r o l i n a s t a t e s : I d i d n ’ t r e a l i z e u n t i l I d i d N a t i o n a l B o a r d s h o w - h o w m u c h a c t u a l t h o u g h t g o e s i n t o a l e s s o n . Y o u k n o w — a f t e r a f e w y e a r s y o u j u s t k i n d o f d o i t b y i n s t i n c t . B u t w h e n y o u h a v e t o r e a l l y t h i n k a b o u t m a n a g i n g a l l t h e s e k i d s ; f o r e x a m p l e d o e s t h a t g i r l w h o d o e s n ’ t s p e a k S p a n i s h v e r y w e l l , g e t w h a t I ’ m s a y i n g ? I t j u s t b r i n g s i t a l l b a c k u p t o t h e f o r e f r o n t a n d m a k e s y o u t h i n k a b o u t i t . ( G r o u p 2 B , T e a c h e r # 4 5 ) C a r o l n o t o n l y r e p e a t s t h e i d e a t h a t r e fl e c t i o n c a u s e s a t e a c h e r t o ‘ r e a l l y t h i n k ’ a s o p p o s e d t o j u s t ‘ t h i n k ’ , b u t a l s o i n d i c a t e s a n e w a p p r e c i a t i o n f o r t h e c o m p l e x i t y o f t a s k t e a c h i n g e n t a i l s . T h i s e x a m p l e a l s o p o i n t s o u t t h e r o l e r e fl e c t i o n p l a y s i n s o l v i n g p r o b l e m s . I n t h i s c a s e , t h e t e a c h e r q u e s t i o n s w h e t h e r o r n o t a n E n g l i s h L a n g u a g e L e a r n e r c o m p r e h e n d s t h e i n t e n d e d o b j e c t i v e s . F i n a l l y , C a r o l a l s o m e n t i o n s t h e i d e a t h a t N a t i o n a l B o a r d c e r t i fi c a t i o n ‘ m a k e s ’ a t e a c h e r r e fl e c t i n a p u r p o s e f u l a n d m e a n i n g f u l m a n n e r . B e s i d e s t h e o p p o r t u n i t y t o r e fl e c t a n d t h e q u a l i t y o f t h e r e fl e c t i o n t h a t t a k e s p l a c e , m a n y c o m m e n t s f o c u s e d o n t h e i m p a c t t h e r e fl e c t i o n h a d o n t h e q u a l i t y o r e f f e c t i v e n e s s o f t h e t e a c h e r ’ s a b i l i t y t o b r i n g a b o u t l e a r n i n g i n t h e i r s t u d e n t s . W h e t h e r a t e a c h e r m e n t i o n s i t s p e c i fi c a l l y o r n o t , t h e s e n s e i s t h a t i t ’ s a l l a b o u t t h e s t u d e n t s . F o r e x a m p l e , N a t a l i e f r o m G e o r g i a a r t i c u l a t e s t h i s v i e w b y s a y i n g : I c o u l d r e a l l y s e e , w h a t d i d I d o ? - W h a t d i d I n o t d o i n m y c l a s s r o o m r i g h t n o w t o m e e t t h o s e s t a n d a r d s ? I t a l s o h e l p s y o u a s s e s s h o w d o y o u t e a c h a n d w h a t d o y o u t e a c h . M e a n i n g a r e y o u r e a l l y t e a c h i n g t h e c o n c e p t s t h a t y o u a r e s u p p o s e d t o b e t e a c h i n g o r a r e y o u k i n d o f s k i r t i n g a r o u n d y o u r s c i e n c e c o n c e p t s ? A r e y o u t e a c h i n g i n a w a y t h a t i s u s e f u l f o r y o u r s t u d e n t s o r n o t ? S o m o s t o f w h a t I l i k e d a b o u t N a t i o n a l B o a r d s w a s t h a t i t r e a l l y m a d e m e r e fl e c t a n d a s s e s s w h a t I ’ m d o i n g i n t h e c l a s s r o o m . A n d d o I d o i t i n s u c h a w a y t h a t m y s t u d e n t s c a n fi g u r e o u t w h a t I w a n t t h e m t o g e t o u t o f e a c h d a y ’ s l e s s o n . ( G r o u p 2 B , T e a c h e r # 3 9 ) 1 4 2 I n t h i s e x a m p l e , N a t a l i e m a k e s a r a r e c o m m e n t c o n n e c t i n g r e fl e c t i o n t o t h e a c t u a l t e a c h i n g o f c o n t e n t . T h e t y p e s o f q u e s t i o n s N a t a l i e p o s e s , f o r m s a t e m p l a t e f o r f u t u r e c i r c u m s t a n c e s w i t h o t h e r s t u d e n t s i n o t h e r c l a s s e s . T h e s e q u e s t i o n s g u i d e i n s t r u c t i o n a n d a l l o w t e a c h e r s t o m a k e a l t e r a t i o n s , a s t h e y d e e m n e c e s s a r y . I f t h e e x p e r i e n c e o f r e fl e c t i o n f r o m N a t i o n a l B o a r d c e r t i fi c a t i o n r e s u l t s i n n e w h a b i t s o f m i n d a r o u n d q u e s t i o n s l i k e t h e s e , t h e n w h o i s t h e l i k e l y b e n e fi c i a r y ? O n e c o u l d c o n c l u d e t h a t t h e s t u d e n t w o u l d u l t i m a t e l y b e n e fi t f r o m a t e a c h e r s o i n t e n t o n m e e t i n g t h e n e e d s o f b o t h t h e m a n d a t e d c u r r i c u l u m ( i . e . s c i e n c e c o n c e p t s ) a n d t h e s t u d e n t s ’ l e a r n i n g . R e fl e c t i o n m a y l e a d t o b e t t e r t e a c h i n g a n d l e a r n i n g . M a r k u s f r o m W a s h i n g t o n m a k e s t h i s p o i n t w h e n h e s t a t e s : I t h i n k w h e n e v e r y o u s t a r t a n a l y z i n g w h y y o u a r e d o i n g w h a t y o u a r e d o i n g — t h e i m p a c t o n s t u d e n t s a n d s t u d e n t l e a r n i n g i s d e fi n i t e l y g o i n g t o b e p o s i t i v e ; b e c a u s e y o u s e e k a d e e p e r m e a n i n g f o r e a c h o f t h e t h i n g s t h a t y o u a r e d o i n g . ( G r o u p 2 B , T e a c h e r # 3 8 ) J i l l i a n f r o m W a s h i n g t o n p r o v i d e s f u r t h e r i n s i g h t i n t o t h e c o n n e c t i o n b e t w e e n e f f e c t i v e r e fl e c t i o n a n d b e t t e r i n s t r u c t i o n : A s y o u t r y t o e x p l a i n t o s o m e b o d y e l s e w h y y o u t h i n k s o m e t h i n g i s g o o d f o r s t u d e n t l e a r n i n g — y o u m a y g o t h r u t h e p r o c e s s o f g o i n g , “ W o w , m a y b e t h a t ’ s n o t s o g o o d . M a y b e I a l w a y s t h o u g h t i t w a s g o o d — b u t w h e r e i s t h e e v i d e n c e t h a t t h a t ’ s g o o d ? ” A n d s o i t r e a l l y m a d e y o u t h i n k a b o u t w h y y o u c h o o s e t o d o s o m e t h i n g a n d w h a t e v i d e n c e y o u h a v e n o w t o s u g g e s t t h a t t h a t i s g o o d f o r s t u d e n t s . A n d s o m e t i m e s I t h i n k t e a c h e r s — w e a s t e a c h e r s d o n ’ t d o t h a t . W e t h i n k i t ’ s g o o d b e c a u s e w e t h i n k i t ’ s g o o d . A n d w e l i k e i t . B u t i t m a y n o t a l w a y s b e g o o d f o r s t u d e n t l e a r n i n g . ( T e a c h e r # 3 4 , G r o u p 2 3 ) B o t h M a r k u s a n d J i l l i a n e x p r e s s i d e a s t h a t r e fl e c t i o n c a u s e d t h e m t o r e t h i n k , r e c o n s i d e r , o r r e a s s e s s p a r t i c u l a r a s s u m p t i o n s , i d e a s , o r b e l i e f s a b o u t t e a c h i n g a n d l e a r n i n g s c i e n c e . I t w o u l d a p p e a r t h a t t e a c h e r l e a r n i n g a s s o c i a t e d w i t h r e fl e c t i o n a t t e m p t s t o g e t b e n e a t h 1 4 3 t h e s u r f a c e o f t h e a p p a r e n t t o q u e s t i o n o r c o n s i d e r t h e u n a p p a r e n t o r h i d d e n w i t h r e g a r d s t o a s s u m p t i o n s a b o u t w h a t i s t a u g h t , h o w i t i s t a u g h t , a n d h o w i t i s l e a r n e d b y t h e s t u d e n t . T h i s fi n a l e x a m p l e q u o t e f r o m a t e a c h e r i s s p e c i a l . I t i s s p e c i a l n o t f o r w h a t i s s a y s , b u t m o r e f o r h o w i t i s s a i d . I t i s a s i f , t h e t e a c h e r w a s c a u g h t i n t h e a c t o f r e fl e c t i o n a n d i t p r o v i d e s a g l i m p s e i n t o h o w t h e t e a c h e r ’ s m i n d m a y w o r k t h r o u g h t h e r e fl e c t i o n p r o c e s s e f f e c t i v e l y . I t i s a l s o a n e x a m p l e o f h o w t h e v i d e o t a p e r e q u i r e m e n t s o f t h e c e r t i fi c a t i o n p r o c e s s c a n f a c i l i t a t e e f f e c t i v e r e fl e c t i o n . V i v i a n f r o m N o r t h C a r o l i n a i s d e s c r i b i n g a n e n z y m e l a b o r a t o r y w i t h a c l a s s o f b i o l o g y s t u d e n t s . I n h e r c o m m e n t s , V i v i a n d e s c r i b e s w h a t h a p p e n e d w h e n s h e c o m p l e t e l y m i s s h a n d l e d t h e s t u d e n t s ’ t e s t t u b e s o v e r l u n c h b y s e t t i n g t h e i n c u b a t o r o n t o o h i g h a t e m p e r a t u r e . T h e t e a c h e r c o n t i n u e s w i t h t h e s t o r y b y s a y i n g : W h e n t h e y c a m e b a c k t o l u n c h I t o l d t h e m “ g e e s g u y s I ’ v e r u i n e d t h e e x p e r i m e n t - I ’ v e b o i l e d t h e s e ” . W e t a l k e d a b o u t w h a t c o u l d a f f e c t e n z y m e s a n d t r i e d t o g e t t h e m t o t h i n k - o k w h a t c o u l d g o w r o n g ? A n d t h e y c a m e u p w i t h t h e d i f f e r e n t a s p e c t s . A n d t h e n I s a i d “ O h y e a — t e m p e r a t u r e , I k n o w I b o i l e d y o u r y e a s t t o i n fi n i t y . ” A n d s o i t w a s a c o o l l e s s o n a t t h e t i m e ; b u t w h e n I w e n t b a c k a n d w a t c h e d i t , I w a s t h i n k i n g “ O h g e e s , n e x t y e a r i f t h a t e v e r h a p p e n s — i t w o u l d b e b e t t e r t o h a v e t h e m c o m e b a c k f r o m l u n c h , g e t t h e i r t u b e s , t a k e d o w n t h e d a t a a n d r e a l i z e “ O h g e e s , i t d i d n ’ t d o w h a t w e t h o u g h t i t w a s g o i n g t o d o . ” A n d t h e n h a v e t h e m t r y a n d fi g u r e o u t w h a t i n t h e w o r l d w e n t w r o n g w i t h o u t m e t e l l i n g t h e m fi r s t . S o I s o r t o f - I t i p p e d t h e m o f f w i t h o u t r e a l i z i n g i t ; s o I r e a l i z e d t h e n t h a t I n e e d t o b e c a r e f u l . W h a t I n e e d t o l e t t h e k i d s d i s c o v e r t h i n g s o n t h e i r o w n a n d t r y t o k e e p m y m o u t h s h u t m o r e o f t e n . S o I c a n s e e t h a t ’ s h e l p e d m e a l o t . Y o u r e a l l y d o n ’ t s e e y o u r s e l f t e a c h u n l e s s y o u d o h a v e a t a p e s e t u p a n d y o u c a n g o b a c k a n d s e e w h a t h a s h a p p e n e d i n t h e l e s s o n . S o t h a t p a r t I k n o w w i l l h e l p m e n e x t y e a r . ( G r o u p 2 B , T e a c h e r # 4 1 ) W i t h t h e u s e o f t h e v i d e o , V i v i a n p r e s e n t s a d e s c r i p t i o n o f w h a t m e a n i n g f u l r e fl e c t i o n l o o k s l i k e . I n t h i s p a s s a g e , t h e t e a c h e r i d e n t i fi e s a k e y m i s t a k e t h a t c o u l d h a v e b e e n a v o i d e d . S h e r e a l i z e d t h a t r a t h e r t h a n t e l l i n g t h e s t u d e n t s a b o u t t h e m i s t a k e , i t m a y h a v e 1 4 4 b e e n a m o r e p r o d u c t i v e a n d e f f e c t i v e l e a r n i n g e x p e r i e n c e f o r t h e s t u d e n t s h a d t h e y fi g u r e d o u t t h e p r o b l e m o n t h e i r o w n . T h i s i n s i g h t o n t h e p a r t o f t h e t e a c h e r g o e s t o t h e h e a r t o f t h e s t a n d a r d s f o r a c c o m p l i s h e d t e a c h i n g . W i t h t h i s d e s c r i p t i o n , t h e t e a c h e r m o v e s f r o m b e i n g t h e g i v e r o f k n o w l e d g e t o t h e f a c i l i t a t o r o f l e a r n i n g . I t r e p r e s e n t s a m o v e f r o m t e a c h e r - c e n t e r e d p e d a g o g y t o s t u d e n t — c e n t e r e d p e d a g o g y . T h e c o m m e n t a l s o h a s r e l e v a n c e t o t h e p r e v i o u s d i s c u s s i o n s o n S c i e n c e I n q u i r y a n d A s s e s s m e n t i n v o l v i n g b o t h o f t h o s e a r e a s a s m o r e t h a n p e r i p h e r a l t o t h e r e fl e c t i o n . T h e p r e c e d i n g s a m p l e o f q u a l i t a t i v e e v i d e n c e i l l u s t r a t e s s o m e o f t h e w a y s r e fl e c t i o n c o u l d b e r e c o g n i z e d a s l e a r n i n g . T h e f a c t t h a t r e fl e c t i o n i s i n v o l v e d i n e v e r y a s p e c t o f t h e p o r t f o l i o a n d t o a c e r t a i n e x t e n t i n a l l t h e o t h e r s t a n d a r d s , m a k e s t h e o b s e r v a t i o n o f l e a r n i n g i n t h e a r e a o f R e fl e c t i o n t h a t m u c h m o r e s i g n i fi c a n t . O n e q u e s t i o n t h i s s t u d y s e t o u t t o a d d r e s s i s “ W h a t d o t e a c h e r s m e a n w h e n t h e y s a y t h e y ’ r e ‘ m o r e r e fl e c t i v e p r a c t i o n e r s ’ ? ” T h e a n s w e r a p p e a r s t o b e r e l a t e d t o t h e e x t e n t a n d m a g n i t u d e o f t h e i r w i l l i n g n e s s t o b e s e l f - c r i t i c a l . T h e m o r e a t e a c h e r i s w i l l i n g t o i n d i c a t e w e a k n e s s , p o i n t o u t m i s t a k e s i n t h e i r p l a n n i n g o r t e a c h i n g , o r m o r e t h o r o u g h l y u n d e r s t a n d w h a t a s t u d e n t m a y o r m a y n o t b e l e a r n i n g ; i n d i c a t e s h o w w e l l t h e y h a v e l e a r n e d t o i n c o r p o r a t e a r e fl e c t i v e c o m p o n e n t i n t o t h e i r p r a c t i c e . T h e r e f o r e , w h e n a t e a c h e r s a y s , “ I ’ m m o r e r e fl e c t i v e n o w ” w i t h r e g a r d s t o N a t i o n a l B o a r d c e r t i fi c a t i o n , w h a t t h e y m a y m e a n i s “ I a m m o r e w i l l i n g t o q u e s t i o n m y o w n j u d g m e n t s , a s s u m p t i o n s , a n d a c t i o n s t o d e t e r m i n e i f t h e y w i l l r e s u l t i n w h a t ’ s i n t h e s t u d e n t s ’ b e s t i n t e r e s t s . I f e v i d e n c e s u g g e s t s t h a t I c o u l d d o s o m e t h i n g b e t t e r , t h e n I w i l l t a k e a p p r o p r i a t e a c t i o n t o c o r r e c t t h e s i t u a t i o n . ” 1 4 5 R e s o u r c e s f o r L e a r n i n g D o e s i t m a k e s e n s e t h a t t h e a r e a s o f g r e a t e s t c h a n g e c o i n c i d e w i t h t h e l e a r n i n g o p p o r t u n i t i e s a f f o r d e d b y N a t i o n a l B o a r d c e r t i fi c a t i o n i n A d o l e s c e n t a n d Y o u n g A d u l t S c i e n c e ? T h e s h o r t a n s w e r i s : y e s , i t d o e s m a k e s e n s e . T h e r e s o u r c e s f o r l e a r n i n g a v a i l a b l e t o N a t i o n a l B o a r d c a n d i d a t e s i n A d o l e s c e n t a n d Y o u n g A d u l t S c i e n c e l e n d t h e m s e l v e s w e l l t o t h e o b s e r v e d l e a r n i n g o u t c o m e s i n S c i e n t i f i c I n q u i r y , A s s e s s m e n t , a n d R e f e c t i o n . T h e s e r e s o u r c e s i n c l u d e t h e d i r e c t i o n s a n d p r o m p t s f o r p o r t f o l i o c o n s t r u c t i o n , t h e 1 3 d o c u m e n t e d s t a n d a r d s o f a c c o m p l i s h e d t e a c h i n g i n s e c o n d a r y s c i e n c e , t h e v i d e o t a p e s , a n d s u p p o r t c o m m u n i t y . T h e f o l l o w i n g a n a l y s i s w i l l d i s c u s s e a c h o f t h e s e r e s o u r c e s a s a f a c e t o f t h e c u r r i c u l u m p r e s e n t e d b y N a t i o n a l B o a r d c e r t i fi c a t i o n . P o r t f o l i o M a t e r i a l s I f c e r t i fi c a t i o n s e r v e s a s t h e c u r r i c u l u m , t h e n t h e p o r t f o l i o p r o m p t s , i n s t r u c t i o n s , a n d s t a n d a r d s f u n c t i o n a s a t e x t b o o k . H o w e v e r , t h i s ‘ t e x t b o o k ’ d i f f e r s f r o m t h e t r a d i t i o n a l n o t i o n s o f w h a t a t e x t b o o k s h o u l d b e . K e l l y f r o m O k l a h o m a d e s c r i b e s t h e d i f f e r e n c e n i c e l y w h e n s h e s t a t e s . I t [ p o r t f o l i o m a t e r i a l s ] w a s n ’ t l i k e t h e y w e r e g i v i n g m e i n s t r u c t i o n o n h o w t o b e a b e t t e r t e a c h e r — t h e y w e r e j u s t t e l l i n g m e h o w t o c o l l e c t d a t a f o r t h e m — s o t h e y c o u l d s e e i f I w a s a g o o d t e a c h e r . ( G r o u p 2 A - P o s t , T e a c h e r # 1 4 ) I n o t h e r w o r d s , t h e m a t e r i a l s d o n o t i n f o r m t h e c a n d i d a t e a s t o w h a t l e s s o n s t o t e a c h o r h o w t o t e a c h t h e m , b u t r a t h e r p r o v i d e s a f r a m e w o r k t h a t i n f o r m s t h e t e a c h e r h o w h i s o r h e r p r a c t i c e c a n b e s t b e r e p r e s e n t e d b y e v i d e n c e f o r a s s e s s m e n t . T h i s q u a l i t y t o t h e p o r t f o l i o m a t e r i a l s i s q u i t e i m p o r t a n t . I t r e q u i r e s t h e t e a c h e r t o c o n t i n u a l l y m a k e d e c i s i o n s a n d j u d g m e n t s p e r t a i n i n g t o p r a c t i c e t h a t a d d r e s s t h e n e e d s o f s t u d e n t s , t h e a l i g n m e n t w i t h t h e s t a t e d s t a n d a r d s , a n d t h e r e q u i r e m e n t s f o r c e r t i f i c a t i o n . S e r v i n g t h r e e 1 4 6 m a s t e r s c o u l d r e s u l t i n t e a c h e r s c o m m e n t i n g o n h o w t h e c e r t i f i c a t i o n p r o c e s s ‘ f o r c e d ’ o r ‘ m a d e ’ t h e m r e fl e c t t o a g r e a t e r d e g r e e t h a n t h e y n o r m a l l y w o u l d d o . T h i s d e c i s i o n m a k i n g p r o c e s s i s d e m o n s t r a t e d b y M a r y f r o m N e b r a s k a w h e n s h e c o m m e n t s : . . . t r y i n g t o fi g u r e o u t w h a t l e s s o n s t h a t I d o t h a t m a t c h e d t h e c r i t e r i a t h e y w e r e l o o k i n g f o r ; a n d i f t h e y d i d n ’ t c u r r e n t l y m a t c h , h o w w o u l d I fi x t h e m . S o i t w a s r e a l l y p r e p a r i n g t h e p o r t f o l i o [ t h a t w a s m o s t h e l p f u l ] . ( G r o u p 2 A - P o s t , T e a c h e r # 1 1 ) M a r y i s f o c u s e d o n t h e n e e d s o f t h e p o r t f o l i o . W h e n s h e s a y s ‘ fi x t h e m ’ , i t c o u l d b e i n t e r p r e t e d t h a t s h e n e e d s t o m a k e a d j u s t m e n t s t o h e r l e s s t h a t m a k e i t m o r e ‘ B o a r d a c c e p t a b l e ’ . S u c h a d e c i s i o n m a y o r m a y n o t b e g o o d f o r h e r s t u d e n t s . T h e p o i n t i s t h a t s h e i s f o c u s e d o n p l e a s i n g t h e B o a r d n o t i n n e c e s s a r i l y a d d r e s s i n g t h e s p e c i fi c n e e d s o f h e r s t u d e n t s . T h i s t y p e o f e v i d e n c e w i l l h a v e i m p l i c a t i o n s l a t e r i n t h e d i s c u s s i o n r e g a r d i n g t e a c h e r q u a l i t y . A n o t h e r t e a c h e r , h o w e v e r , f o u n d t h e m a t e r i a l s p r o v i d e d b y t h e N a t i o n a l B o a r d a s a g o o d s o u r c e o f i n s p i r a t i o n a n d i d e a s . E l l i f r o m C a l i f o r n i a s t a t e s : . . . w i t h N a t i o n a l B o a r d C e r t i fi c a t i o n y o u a r e e v a l u a t i n g y o u r o w n t e a c h i n g a n d y o u ’ r e g e t t i n g n e w i d e a s a s y o u a r e r e a d i n g t h r u t h e m a t e r i a l s . G r o u p 2 A - P o s t , T e a c h e r # 4 T h e ‘ m a t e r i a l s ’ s e r v e a s s o u r c e o f i n f o r m a t i o n t h a t t h e c a n d i d a t e m u s t r e a d ( a n d i n m a n y c a s e s r e - r e a d ) a n d u l t i m a t e l y c o m e t o u n d e r s t a n d . W e n d y f r o m L o u i s i a n a d e s c r i b e s t h i s p r o c e s s b y s a y i n g : B e c a u s e w h e n y o u l o o k a t [ t h o s e m a t e r i a l s ] a n d g o t h r o u g h t h e g u i d e l i n e s a n d y o u g o t h r o u g h t h e o b j e c t i v e s a n d y o u a n s w e r t h o s e q u e s t i o n s — h a v e y o u d o n e t h i s ? - d o y o u d o t h a t ? — i f y o u d i d n ’ t , i t m a k e s y o u m o r e c o g n i z a n t o f t h e f a c t t h a t y o u p r o b a b l y s h o u l d . ( G r o u p 1 , T e a c h e r # 1 4 ) 1 4 7 W e n d y d e s c r i b e s t h i s p r o c e s s o f l e a r n i n g a s i f i t w e r e a c o n v e r s a t i o n b e t w e e n t h e t e x t a n d t h e t e a c h e r . T h e r e s u l t o f t h i s i n t e r a c t i o n i s a t e a c h e r w h o s o ‘ m o r e c o g n i z a n t ’ o r a w a r e o f a d i f f e r e n t a p p r o a c h o r a p p r o a c h e s t o p r a c t i c e . T h e m a t e r i a l s p r o v i d e d b y t h e N a t i o n a l B o a r d i n c l u d e a d e t a i l e d d e s c r i p t i o n o f t h e 1 3 s t a n d a r d s o f a c c o m p l i s h e d t e a c h i n g i n A d o l e s c e n t a n d Y o u n g A d u l t S c i e n c e . T h i s d o c u m e n t p r e s e n t s a v i t a l s o u r c e o f l e a r n i n g f o r t h e c a n d i d a t e . S o m e t e a c h e r s , s u c h a s N a o m i f r o m G e o r g i a , i n d i c a t e d t h a t t h e y f e l t ‘ f o r c e d ’ o r ‘ m a d e ’ t o “ r e a d t h o s e n a t i o n a l s c i e n c e s t a n d a r d s ’ ( T e a c h e r # 3 9 , G r o u p 2 B ) . H o w e v e r , o t h e r s e x p r e s s a v i e w t h a t d e s c r i b e d t h e d o c u m e n t a s a r i c h r e s o u r c e f o r l e a r n i n g . J o h n f r o m N e w Y o r k s t a t e s : I b e t y o u I r e a d t h a t s t a n d a r d s b o o k a f t e r I h i g h l i g h t e d i t 3 0 t i m e s - m a y b e n o t a l l t h e w a y t h r o u g h - b u t I ’ d r e a d y t h i s p a g e a n d t h a t p a g e . I r e a l l y t h o u g h t a l o t o f t h e s t u f f i n t h e s t a n d a r d s b o o k r e a l l y m a d e m e r e fl e c t a n d n o t j u s t t h e l e s s o n s t h a t I d i d f o r p a r t o f m y N a t i o n a l B o a r d ; b u t y o u k n o w s o m e o f t h e o t h e r l e s s o n s t h a t I w a s d o i n g . I a c t u a l l y t h i n k t h a t t h a t s t a n d a r d s b o o k s h o u l d b e r e q u i r e d r e a d i n g f o r a l l t e a c h e r s . I t h o u g h t t h a t w a s e x c e l l e n t . ( G r o u p 2 A - P o s t , T e a c h e r # 2 0 ) O n e g e t s a n i m a g e o f a v e r y w e l l u s e d a n d l o v e d p h y s i c a l t e x t t h a t i s w o r n a n d m a r k e d u p f r o m b e i n g r e f e r r e d t o o v e r a n d o v e r a g a i n . S u c h d o c u m e n t s b e c o m e c h e r i s h e d b y t h e l e a r n e r s a s r e p r e s e n t a t i v e o f t h e l e a r n i n g t h a t t a k e s p l a c e . T h e c o m m e n t a l s o h i n t s a t t h e n o t i o n t h a t t h e l e a r n i n g i s “ n o t j u s t ” i n t h e c o n t e x t o f N a t i o n a l B o a r d c e r t i fi c a t i o n , b u t a l s o f o r t h e ‘ o t h e r l e s s o n s ’ t h a t w e r e n o t p a r t o f t h e p o r t f o l i o c o n s t r u c t i o n . I n o t h e r w o r d s , t h i s i s e v i d e n c e t h a t t h e r e s o u r c e s f o r l e a r n i n g c a r r y o v e r i n t o n o n - c e r t i fi c a t i o n e x p e r i e n c e s . T h e s t a n d a r d s s e r v e m u l t i p l e p u r p o s e s . N o t o n l y d o t h e y f u n c t i o n a s a t e x t f r o m w h i c h a t e a c h e r m a y a c q u i r e r e l e v a n t t e a c h i n g k n o w l e d g e , b u t t h e y a l s o s e r v e a s a b e n c h m a r k a g a i n s t w h i c h c u r r e n t p r a c t i c e c a n b e c o m p a r e d . A s K e r r i f r o m K e n t u c k y s t a t e s : 1 4 8 I t w a s j u s t a c h a l l e n g e f o r m e t o m e e t t h e s t a n d a r d s t h a t a r e o u t l i n e d i n t h e N a t i o n a l S t a n d a r d s f o r P r o f e s s i o n a l T e a c h i n g . J u s t t o p u t y o u r s e l f u p a g a i n s t t h o s e s t a n d a r d s w a s j u s t a n a w e s o m e , h u m b l i n g a n d m o t i v a t i n g a l l a t t h e s a m e t i m e . T h e y d e s c r i b e w h a t t h e q u a l i t i e s o f a c c o m p l i s h e d t e a c h i n g l o o k l i k e . ( G r o u p 1 , T e a c h e r # 9 ) K e r r i d e s c r i b e s a m i x t u r e o f e m o t i o n s w h e n s h e s a y s “ a w e s o m e , h u m b l i n g , a n d m o t i v a t i n g ” . S u c h w o r d s r e v e a l t h e p o w e r o f t h i s d o c u m e n t t o i n s t i l l m e a n i n g a n d r e l e v a n c e t o a t e a c h e r ’ s p r a c t i c e . A n o t h e r v a l u a b l e s o u r c e o f l e a r n i n g f o r c a n d i d a t e s c a n b e f o u n d i n t h e v i d e o t a p e s t h a t t h e y m u s t p r o d u c e a n d s u b m i t . A s p a r t o f t h e p o r t f o l i o c o n s t r u c t i o n , c a n d i d a t e s a r e r e q u i r e d t o s u b m i t t w o 2 0 - m i n u t e v i d e o t a p e s . O n e t a p e i s f o c u s e d u p o n a c t i v e s c i e n t i fi c i n q u i r y a n d t h e o t h e r t a p e l o o k s a t w h o l e c l a s s d i s c u s s i o n i n s c i e n c e . T h e r e i s p o w e r f u l a n d a b u n d a n t e v i d e n c e t h a t t h e v i d e o t a p e p o r t i o n o f t h e a s s e s s m e n t p r o c e s s w a s a f e r t i l e a r e a f o r l e a r n i n g . F o r e x a m p l e , M o l l y f r o m M a i n e s t a t e s : . . v i d e o t a p i n g a n d b e i n g a b l e t o s e e y o u r s e l f i n a c t i o n a n d y o u k n o w a n d s o r t o f s t e p b a c k a n d l o o k a t t h e w a y y o u d e s i g n y o u r s t u f f i s - — y o u k n o w . L o o k i n g a t i t t h r u d i f f e r e n t fi l t e r s r e a l l y a l l o w s y o u t o a s k w h e t h e r o r n o t y o u t h i n k y o u a r e t h e t e a c h e r t h a t y o u s o m e t i m e s f e e l t h a t y o u a r e . ( G r o u p 1 , T e a c h e r # 3 4 ) A s a n y o n e w h o h a s h a d t o c o n f r o n t h i s o r h e r s e l f o n v i d e o t a p e m a y k n o w , t h e e x p e r i e n c e c a n b e d i f fi c u l t , p a i n f u l , a n d u n b e l i e v a b l e . W h a t i s o b s e r v e d o n t h e t a p e i s a t t i m e s f a r r e m o v e d f r o m t h e p e r c e p t i o n o f o n e ’ s s e l f a s a t e a c h e r . M o l l y i s e x p r e s s i n g t h i s p h e n o m e n o n w h e n s h e s a y s , “ w h e t h e r o r n o t y o u t h i n k y o u a r e t h e t e a c h e r t h a t y o u s o m e t i m e s f e e l t h a t y o u a r e ” . S u c h a n e x p e r i e n c e c o u l d e a s i l y m o t i v a t e a t e a c h e r t o a d j u s t , m a k e a n o t h e r t a p e , a n d r e - a s s e s s t h e p e r f o r m a n c e . T h e v i d e o t a p e w a s n o t j u s t a s o u r c e o f l e a r n i n g a b o u t t h e t e a c h e r ; i t w a s a l s o a s o u r c e o f i n f o r m a t i o n a b o u t t h e s t u d e n t s a n d t h e i r e n g a g e m e n t w i t h t h e t e a c h e r . F o r e x a m p l e , D a p h n e f r o m N e w Y o r k s t a t e s : 1 4 9 I ’ d n e v e r w o r k e d w i t h v i d e o t a p i n g b e f o r e a n d s o I w a n t e d t h e m [ t h e s t u d e n t s ] t o b e c o m f o r t a b l e . A n d I v i d e o t a p e d l i k e — p r o b a b l y a b o u t 5 0 h o u r s w o r t h o f c l a s s t i m e . A n d i n i t i a l l y i t w a s v e r y f u n n y b e c a u s e t h e y a l l b e h a v e d a c e r t a i n w a y i n f r o n t o f t h e c a m e r a — b u t t h e n l a t e r o n — y o u k n o w — i t b e c a m e m u c h m o r e r e v e a l i n g b e c a u s e I c o u l d s e e w h a t w a s h a p p e n i n g . A n d i t p r o v i d e d m e w i t h w a y s l i k e f o r q u e s t i o n i n g m y h o n o r s t u d e n t s f o r m y b i o c l a s s , l a s t y e a r , t h e y w o u l d n ’ t a n s w e r a n y q u e s t i o n s i n c l a s s . I ’ m n o t s u r e w h y ; b u t t h e y r e a l l y h a d a h a r d t i m e f e e l i n g s e c u r e e n o u g h t o a n s w e r t h i n g s . ( G r o u p 1 , T e a c h e r # 3 7 ) D a p h n e u s e d t h e v i d e o t a p e t o i d e n t i f y a p r o b l e m r e g a r d i n g e n g a g e m e n t w i t h s t u d e n t s . S h e a l s o i n d i c a t e s t h a t t h e v i d e o a n a l y s i s b e c a m e ‘ m u c h m o r e r e v e a l i n g ’ a b o u t a p a r t i c u l a r i s s u e r e g a r d i n g s t u d e n t b e h a v i o r . V i d e o t a p e a n a l y s i s c o u l d f a c i l i t a t e l e a r n i n g i n a r e a s o f e n g a g e m e n t , a s s e s s m e n t , l e a r n i n g e n v i r o n m e n t , k n o w l e d g e o f s t u d e n t s , a n d s c i e n t i fi c i n q u i r y . F i n a l l y , a l l t h e r e s o u r c e s o f l e a r n i n g a r e i m p o r t a n t , b u t i f t h e y d o n o t i n t e l l e c t u a l l y a n d p r o f e s s i o n a l l y c h a l l e n g e t h e c a n d i d a t e o r a r e n o t c o n s i d e r e d a r i g o r o u s s e r i e s o f t a s k s , t h e n t h e i r v a l u e a s r e s o u r c e s t o e x p l a i n l e a r n i n g w o u l d b e d i m i n i s h e d . A s h a s a l r e a d y b e e n t o u c h e d u p o n p r e v i o u s l y , t h e r e i s a m p l e e v i d e n c e t o s u g g e s t t h e p r o c e s s o f c e r t i fi c a t i o n i s a r i g o r o u s a n d c h a l l e n g i n g e x p e r i e n c e . R o b e r t f r o m M o n t a n a s a y s : I t h o u g h t t h e N a t i o n a l B o a r d P o r t f o l i o w a s t h e m o s t d i f fi c u l t t h i n g t h a t I ’ d e v e r y d o n e i n m y e n t i r e c a r e e r . I c o n s i d e r g e t t i n g N a t i o n a l B o a r d C e r t i fi c a t i o n f a r g r e a t e r t h a n g e t t i n g m y m a s t e r s ’ d e g r e e o r a n y t h i n g e l s e . I t h o u g h t i t w a s j u s t a n e n o r m o u s p r o j e c t a n d v e r y W o r t h w h i l e . ( G r o u p 1 , T e a c h e r # 2 7 ) A m y f r o m V i r g i n i a g e t s t h e p r i z e f o r m o s t c o n v i n c i n g d e s c r i p t i o n : I t h i n k i f I h a d t o g o b a c k a n d g e t a P h . D . o r e i t h e r t o h a v e t r i p l e t s - I w o u l d d o t h a t b e f o r e I ’ d g o t h r o u g h N a t i o n a l B o a r d a g a i n . - i t w a s a l m o s t l i k e I w a s o p e n e d u p , I w a s h u m b l e d , I s a w m y s e l f , I m e a n t h e r e a l m e a s a t e a c h e r . ( G r o u p 1 , T e a c h e r # 3 9 ) B o t h R o b e r t a n d A m y p r o v i d e e v i d e n c e f o r t h e r i g o r o u s n a t u r e o f t h e c e r t i fi c a t i o n p r o c e s s . I n a d d i t i o n , A m y ’ s c o m m e n t a b o u t s e e i n g t h e ‘ r e a l m e a s a t e a c h e r ’ i n d i c a t e s t h a t o n e t h e a c t o f c r i t i c a l s e l f - r e fl e c t i o n ( w h e n d o n e p r o p e r l y ) p r o v i d e s t h e t e a c h e r w i t h a 1 5 0 c h a l l e n g i n g a n d p o t e n t i a l l y r e w a r d i n g e x p e r i e n c e . A m y s a y s t h a t i t w a s l i k e s h e w a s “ o p e n e d u p ” ; m e a n i n g t h a t t h e p r o c e s s h a d b r o u g h t h e r t o t h e p o i n t w h e r e s h e w a s n o t o n l y c o n f r o n t i n g h e r t e a c h i n g s t r i p p e d o f a n y p r e t e n s e , b u t t h a t i t w a s d o n e i n a p u b l i c m a n n e r . T h e e x p e r i e n c e w a s ‘ h u m b l i n g ’ . A m y m a y h a v e c o m e t o a s t a r k r e a l i z a t i o n t h a t h e r o r i g i n a l d e fi n i t i o n o f w h a t a n a c c o m p l i s h e d t e a c h e r s h o u l d k n o w a n d b e a b l e t o d o w a s e n t i r e l y i n a d e q u a t e w h e n h e l d u p t o t h e B o a r d ’ s d e fi n i t i o n o f e x c e l l e n c e . I t i s t h i s d i s c r e p a n c y b e t w e e n t h e r e a l a n d t h e i d e a l t h a t m a y f u e l t h e f e e l i n g o f r i g o r i n t h e a s s e s s m e n t p r o c e s s . F o r m o s t c a n d i d a t e s , t h e d i s c r e p a n c y i s t o o m u c h t o o v e r c o m e a n d i n t h e e n d t h e i r e v i d e n c e i s i n s u f fi c i e n t f o r t h e m t o b e d e e m e d ‘ a c c o m p l i s h e d ’ . N e a r l y 5 0 % o f a l l B o a r d c a n d i d a t e s d o n o t a c h i e v e N a t i o n a l B o a r d c e r t i fi c a t i o n a n d t h o s e p u r s u i n g a n A d o l e s c e n t a n d Y o u n g A d u l t S c i e n c e c e r t i fi c a t e f a c e a n e v e n h i g h e r ( 6 0 % ) f a i l i n g r a t e ( N B P T S , 2 0 0 4 ) . O n e c a n d i d a t e , P e r r y f r o m M a s s a c h u s e t t s a c t u a l l y f o u n d t h i s t o b e a n a s s e t f o r t h e p r o c e s s . I n d e s c r i b i n g t h e v a l u e o f t h e e x p e r i e n c e s e p a r a t e f r o m t h e u l t i m a t e o u t c o m e o f c e r t i fi c a t i o n , P e r r y s t a t e s : A n d a c t u a l l y e v e n a t t h e e n d o f t h i s m o n t h t h e y t e l l m e t h a t I d i d n ’ t p a s s a n d t h a t I h a v e t o r e - d o s o m e t h i n g I ’ m n o t g o i n g t o — i t w o n ’ t b o t h e r m e a n d I w o n ’ t f e e l l i k e I w a s t e d a n y t i m e . A n d a c t u a l l y , I k i n d o f l i k e t h e i d e a t h a t m o s t p e o p l e d o n ’ t p a s s . ( G r o u p l , T e a c h e r # 4 ) T h e r e s o u r c e s d e s c r i b e d t h u s f a r r e p r e s e n t l e a r n i n g o p p o r t u n i t i e s f o r t e a c h e r s t h a t a r e b e s t e x p l a i n e d b y a n a c q u i s i t i o n m e t a p h o r o f l e a r n i n g ( i . e . , C o g n i t i v e F l e x i b i l i t y T h e o r y , C o n c e p t u a l C h a n g e T h e o r y ) ( S f a r d , 1 9 9 8 ) . T h e c a n d i d a t e s ’ c o m m e n t s a l l i n v o l v e i n t e r a c t i n g w i t h a n a r t i f a c t o f t h e c e r t i fi c a t i o n p r o c e s s . W h e t h e r t h a t a r t i f a c t i s a s t a n d a r d s d o c u m e n t , p o r t f o l i o r e l a t e d m a t e r i a l , o r v i d e o t a p e , t h e t e x t f o r l e a r n i n g r e m a i n s fi x e d a n d u n c h a n g i n g e v e n t h o u g h d i f f e r e n t t e a c h e r s m a y i n t e r p r e t , l e a r n , o r e x p e r i e n c e 1 5 1 e a c h p i e c e q u i t e d i f f e r e n t l y . F o r e x a m p l e , C o n s t a n c e f r o m S o u t h C a r o l i n a d e s c r i b e s h e r e x p e r i e n c e w i t h t h e d o c u m e n t e d r e s o u r c e s a s f o l l o w s : W h e n y o u s e e t h i n g s t h a t a r e p a r t o f t h e s t a n d a r d s , c a u s e y o u h a v e t o k n o w t h o s e s t a n d a r d s s o w e l l , w h e n y o u s e e t h i n g s t h a t y o u s h o u l d b e d o i n g b u t a r e n ’ t d o i n g — w h e n y o u a r e g o i n g t h r o u g h t h e p r o c e s s — y o u m a k e s u r e t h a t y o u d o t h o s e t h i n g s , b e c a u s e y o u k n o w t h a t y o u a r e s u p p o s e d t o b e d o i n g t h e m . A n d i f y o u h a v e n ’ t d o n e t h e m b e f o r e , y o u s t a r t . A n d t h a t ’ s g o o d b e c a u s e t h e y a r e a l l v e r y p o s i t i v e t h i n g s a n d t h i n g s w e s h o u l d a l l b e d o i n g . ( G r o u p 1 , T e a c h e r # 7 ) C o n s t a n c e i s a t t e m p t i n g t o f u l fi l l t h e r e q u i r e m e n t s a n d m e e t t h e s t a n d a r d s t o t h e b e s t o f t h e i r a b i l i t y . F r o m t h i s t e a c h e r ’ s d e s c r i p t i o n , o n e g e t s t h e s e n s e t h a t t h e s e d o c u m e n t s a r e fi x e d a n d u n c h a n g i n g a n d t h a t i t i s t h e t e a c h e r w h o i s t r y i n g t o c h a n g e t o fi t t h e s t a n d a r d s . I n t h e l a s t r e s o u r c e t o b e c o n s i d e r e d ( C o l l e a g u e s ) , a p a r t i c i p a t i o n m e t a p h o r f o r l e a r n i n g s u c h a s S i t u a t e d L e a r n i n g ( L a v e a n d W e n g e r , 1 9 9 1 ) w i l l b e m o r e i m p o r t a n t i n e x p l a i n i n g t h e o b s e r v e d l e a r n i n g o u t c o m e s . C o l l e a g e s a s R e s o u r c e s f o r L e a r n i n g O n e w a y t o u n d e r s t a n d t h e v a l u e o f a s u p p o r t n e t w o r k i n r e l a t i o n s h i p t o t h e c e r t i fi c a t i o n p r o c e s s i s t o s e e w h a t s o m e o n e w i t h n o s u p p o r t h a d t o s a y . B o n n i e f r o m O h i o s t a t e s : I f o u n d N a t i o n a l B o a r d s t o b e a s o l i t a r y p r o c e s s . . . F o r m e , N a t i o n a l B o a r d s d i d n o t h a v e t h a t c o l l a b o r a t i v e e l e m e n t . A n d I t h i n k t h a t c o l l a b o r a t i v e e l e m e n t w i t h o t h e r e d u c a t o r s i s a h u g e p i e c e . I t h i n k t h a t a n a l y z i n g t h e s t u d e n t w o r k i s a n i n c r e d i b l y v a l u a b l e e x p e r i e n c e . I m e a n t h e p i e c e s t h a t w e n t i n t o i t — w e r e p o w e r f u l . I t h i n k t h a t t o a n a l y z e s t u d e n t w o r k w i t h a g r o u p w o u l d b e m o r e p o w e r f u l . O r t o a n a l y z e t h a t v i d e o t a p e i n s o m e d e t a i l w i t h a g r o u p o f p e e r s w o u l d b e m o r e v a l u a b l e . ( G r o u p Z B , T e a c h e r # 2 9 ) A s t h e e v i d e n c e t h a t f o l l o w s i n d i c a t e s , B o n n i e m a y b e c o r r e c t i n h e r a s s e s s m e n t o f t h e s i t u a t i o n . A c o l l a b o r a t i v e s t r a n d t o t h e c e r t i fi c a t i o n p r o c e s s d o e s p r o v i d e f o r a n o p p o r t u n i t y t o l e a r n i n a d i f f e r e n t m a n n e r . 1 5 2 T a k e f o r e x a m p l e , S h a n n o n f r o m A r k a n s a s . S h a n n o n ’ s c o m m e n t a b o u t h e r e x p e r i e n c e p l a c e s t h e e m p h a s i s o n c o l l e a g u e s a s a v i t a l s o u r c e f o r h e r l e a r n i n g . S h e s t a t e s : P u r s u i n g N a t i o n a l B o a r d C e r t i fi c a t i o n h a s i m p a c t e d m e m o r e t h a n a n y t h i n g I ’ v e d o n e s i n c e I ’ v e s t a r t e d t e a c h i n g . I ’ v e l e a r n e d f r o m g o i n g t h r u t h e p r o j e c t s m o r e a b o u t w h a t i t i s t o h e l p m y s t u d e n t s . A n d I ’ v e l e a r n e d m o r e a b o u t m y s e l f t h a n a n y t h i n g e l s e h a s t a u g h t m e . A n d I h a v e m e t t h e m o s t h i g h c a l i b e r t e a c h e r s I ’ v e e v e r k n o w n t h r u t h e a p p l i c a t i o n p r o c e s s . O t h e r t e a c h e r s w h o a r e a p p l y i n g w i t h m e l a s t y e a r a n d w e w e r e g o i n g t o s u p p o r t g r o u p s a n d b e c a m e f r i e n d s . A n d w e a r e s t i l l e - m a i l i n g e a c h o t h e r a n d g o i n g t o c o n f e r e n c e s t o g e t h e r . A n d t h e r e w e r e s o m e N a t i o n a l B o a r d C e r t i fi e d t e a c h e r s i n L i t t l e R o c k w h o m e t w i t h u s t o e n c o u r a g e u s a n d w e r e r e a d e r s f o r u s . I n e v e r w o u l d h a v e i n t e r a c t e d w i t h t h o s e t e a c h e r s . A n d t h e y a r e f a n t a s t i c t e a c h e r s . A n d I ’ v e b e e n i n fl u e n c e d b y t h e m a n d h e l p e d b y t h e m . A n d t h a t w o u l d n e v e r h a v e h a p p e n e d i f I h a d n o t b e e n g o i n g t h r o u g h N a t i o n a l B o a r d s . J u s t t h e e n c o u r a g e m e n t , j u s t t h e e n e r g y l e v e l a n d t h e e x p e c t a t i o n l e v e l t h a t t h o s e t e a c h e r s h a v e h a s s t i m u l a t e d m e I g u e s s t o w a n t t o d o b e t t e r a n d t o t r y h a r d e r a n d i t ’ s j u s t b e e n g r e a t . W h e t h e r I m a k e i t o r n o t - i t h a s d e fi n i t e l y i m p a c t e d m e . ( G r o u p 2 A - P o s t , T e a c h e r # 7 ) S h a n n o n p r e s e n t s t h e i d y l l i c e x a m p l e o f N a t i o n a l B o a r d c e r t i fi c a t i o n p r o m o t i n g t e a c h e r l e a r n i n g t h r o u g h a n e v o l v i n g s e n s e o f b e l o n g i n g t o a c o m m u n i t y ( L a v e a n d W e n g e r , 1 9 9 1 ) . S h a n n o n d e s c r i b e s t h e r e l a t i o n s h i p s t h a t a r o s e f r o m t h e e x p e r i e n c e a n d h o w t h o s e r e l a t i o n s h i p s s h a p e d h e r e x p e r i e n c e a n d s e n s e o f m i s s i o n i n b e c o m i n g a b e t t e r t e a c h e r . T h e c o m m u n i t y w a s i n s p i r i n g a n d s u p p o r t i v e ; g u i d i n g a n d c o l l a b o r a t i v e ; r e s p e c t f u l , y e t c r i t i c a l . T h e c e r t i fi c a t i o n p r o c e s s f o r S h a n n o n f a c i l i t a t e d p r o f e s s i o n a l c o m m u n i c a t i o n s a n d e x p e c t a t i o n o f e x c e l l e n c e a l l b e c a u s e o f t h e i r e x p o s u r e t o ‘ a c c o m p l i s h e d t e a c h e r s ’ . I n t h i s v i e w , N a t i o n a l B o a r d b e c o m e s n o t o n l y a v e h i c l e f o r d e v e l o p i n g d i a l o g u e b e t w e e n t e a c h e r s , b u t a l s o a n e l i t e k i n d o f f r a t e r n i t y w h e r e m e m b e r s h i p h a s i t s p r i v i l e g e s . A m o n g t h e a d v a n t a g e s t h a t S h a n n o n i d e n t i fi e s i s t h e s e n s e o f c o m m u n i n g w i t h t e a c h e r s w h o a p p e a r t o h a v e g r e a t e r a b i l i t i e s , e n t h u s i a s m , e n e r g y , a n d k n o w l e d g e a b o u t t e a c h i n g . S u c h a p o s i t i v e g r o u p o f p e e r s m a y i n s p i r e o r m o t i v a t e a n e w ‘ m e m b e r ’ t o w a r d s h i g h e r 1 5 3 a c h i e v e m e n t a n d e f f e c t i v e n e s s i n t h e c l a s s r o o m . I t s h o u l d b e n o t e d t h a t S h a n n o n ’ s d e s i r e t o ‘ t r y h a r d e r ’ c a n b e i n t e r p r e t e d i n s e v e r a l w a y s . D o e s i t m e a n s h e i s t r y i n g t o b e a b e t t e r t e a c h e r , B o a r d c a n d i d a t e , o r b o t h ? H e r m e n t i o n o f t h e r o l e t h e s e ‘ f a n t a s t i c ’ t e a c h e r s p l a y a s ‘ r e a d e r s ’ h i n t s t h a t t h i s s u p p o r t g r o u p c o u l d b e f o c u s e d o n i m p r o v i n g S h a n n o n ’ s c h a n c e s o f a c h i e v i n g c e r t i fi c a t i o n a n d n o t n e c e s s a r i l y i m p r o v i n g i n s t r u c t i o n a l p r a c t i c e s . I n a m o r e s p e c i fi c e x a m p l e o f h o w c o l l a b o r a t i o n c a n f a c i l i t a t e l e a r n i n g , C l a r e f r o m K e n t u c k y d e s c r i b e s h e r e x p e r i e n c e w r e s t l i n g w i t h t h e t e r m “ s i g n i fi c a n t ” t h a t w a s u s e d f r e q u e n t l y b y m e m b e r s o f h e r s u p p o r t g r o u p . C l a r e s t a t e s : S e e t h i s w h o l e w o r d ‘ s i g n i fi c a n t ’ w a s s o m e t h i n g t h a t b a f fl e d m e t h r o u g h o u t t h e e n t i r e N a t i o n a l B o a r d g r o u p . T h e y u s e d t h a t w o r d s o m u c h . I ’ m j u s t s a y i n g i t w a s s o f u n n y c a u s e m y m e n t o r a n d I w e w e r e j u s t l i k e p o n d e r o n l i k e s i g n i fi c a n t — s i g n i fi c a n t — s i g n i fi c a n t . ( G r o u p 1 , T e a c h e r # 1 6 ) T h i s i s a n i n t e r e s t i n g e x a m p l e N a t i o n a l B o a r d c e r t i fi c a t i o n b r i n g i n g p r o f e s s i o n a l s t o g e t h e r t h r o u g h a s u p p o r t g r o u p t h a t m i g h t n o t n o r m a l l y i n t e r a c t a n d d i s c u s s c o n c e p t s t h a t m a y n o t o r i g i n a t e f r o m e v e r y d a y p r a c t i c e . C l a r e d e s c r i b e s a c o n n e c t i o n b e t w e e n h e r s e l f a n d h e r m e n t o r t h a t t h e s u p p o r t g r o u p n u r t u r e d . S h e d o e s n o t s a y w h a t t h e y d e t e r m i n e d ‘ s i g n i fi c a n t ’ t o m e a n o r t h a t t h e y e v e r r e s o l v e d t h e i s s u e . R a t h e r , i t r e p r e s e n t s a f o r m o f p r o f e s s i o n a l b o n d b e t w e e n t h e m e n t o r a n d t h e c a n d i d a t e . B e c a u s e C l a r e r e p e a t s ‘ s i g n i fi c a n t ’ t h r e e t i m e s i n t h e p h r a s e , “ w e w e r e j u s t l i k e p o n d e r o n l i k e s i g n i fi c a n t — s i g n i fi c a n t - — s i g n i f i c a n t ” , o n e g e t s t h e s e n s e t h a t t h i s w a s a f o r m o f ‘ i n s i d e j o k e ’ t h a t o n l y t h e t w o o f t h e m s h a r e d . I n e s s e n c e , t h e y m a y h a v e b e e n c o n s t r u c t i n g t h e i r o w n u n d e r s t a n d i n g o f ‘ s i g n i fi c a n t ’ q u i t e i n d e p e n d e n t o f a n y d e fi n i t i o n f r o m t h e N a t i o n a l B o a r d o r t h e s u p p o r t g r o u p . T h i s k i n d o f l e a r n i n g i s i m p o r t a n t f o r u n d e r s t a n d i n g t h e p o t e n t i a l v a l u e o f N a t i o n a l B o a r d a s a p r o f e s s i o n a l d e v e l o p m e n t , b u t i t i s d i f fi c u l t t o s e e 1 5 4 h o w i t m i g h t c o n t r i b u t e t o t h e a s s e s s e d c h a n g e s i n p r e - p o s t s c o r e s t h a t t h i s s t u d y f o c u s e d u p o n . W h e r e t h i s t y p e o f e v i d e n c e m i g h t b e a v a i l a b l e t o a s s e s s o r s f o r i n c l u s i o n i n t h e e v a l u a t i o n o f t r a n s c r i p t s r e m a i n s u n k n o w n . A n o t h e r f o r m o f c o m m u n i t y t h a t h a s b e c o m e m o r e a v a i l a b l e a n d v i t a l t o t h e p r o c e s s o f c e r t i fi c a t i o n t a k e s o n a v i r t u a l f o r m . W i t h t h e r i s e o f I n t e r n e t a n d w e b b a s e d c o m m u n i c a t i o n s , c a n d i d a t e s a r e l i k e l y t o fi n d a n s w e r s t o q u e s t i o n s , m o r a l a n d e m o t i o n a l s u p p o r t , a n d g u i d a n c e a b o u t p o r t f o l i o a n d a s s e s s m e n t i s s u e s o n l i n e . F o r e x a m p l e , Y a h o o G r o u p s h a s a n o n l i n e c o m m u n i t y j u s t f o r A d o l e s c e n t a n d Y o u n g A d u l t S c i e n c e C a n d i d a t e s z o . T e a c h e r - c a n d i d a t e s c a n a c c e s s a r c h i v e d m e s s a g e s o r p o s t o n e o f t h e i r o w n . S u c h e f f o r t s o f t e n r e s u l t i n m e a n i n g f u l a n d d i s t a n t r e l a t i o n s h i p s c e n t e r e d o n c l a s s r o o m p r a c t i c e a n d t h e c e r t i fi c a t i o n p r o c e s s . F o r e x a m p l e , V i c k i f r o m N o r t h C a r o l i n a s t a t e s : I h a d g o n e t o a c o u p l e o f c o m m u n i t y w o r k s h o p s o r d i s t r i c t w o r k s h o p s — b u t I m e a n I a t t e n d e d e v e r y t h i n g t h a t I c o u l d a t t e n d o n i t — a n d h a d s o m e g o o d s u p p o r t . A n d I e v e n f o u n d a l a d y t h a t r e a d m y e n t r i e s o v e r t h e i n t e m e t t h a t — y o u k n o w — l i v e d a c o u p l e o f h u n d r e d m i l e s a w a y f r o m m e . I d i d h e l p s o m e o t h e r t e a c h e r s t h a t w e r e d o i n g t h e a d v a n c e d — w h i c h m e a n s t h e y d i d n ’ t p a s s p a r t o f i t t h e fi r s t t i m e - I e v e n h e l p e d t h e m — y o u k n o w — e v e n t h o u g h I ’ m n o t s u r e t h a t I k n e w w h a t I w a s d o i n g . B u t a n y h o w I f e l t l i k e I h a d g a i n e d a l o t a n d h e l p e d t h e m t o w o r k o n t h e i r v i d e o s k i t s a n d t o a n a l y z e i t a n d h e l p t h e m t o — y o u k n o w — p u t t h e r i g h t w o r d s i n t h e i r q u e s t i o n s a n d t h a t k i n d o f t h i n g . A n d s e e I l i k e d o i n g t h a t t o o . I l i k e w o r k i n g w i t h o t h e r t e a c h e r s a n d t h a t ’ s t h e c o l l a b o r a t i v e t h i n g . ( G r o u p 2 B , T e a c h e r # 4 3 ) V i c k i h a d p a r t i c i p a t e d i n t r a d i t i o n a l s u p p o r t g r o u p s e t t i n g s w i t h i n t h e i r d i s t r i c t , b u t s h e a l s o f o u n d s u p p o r t o v e r t h e I n t e r n e t . T h e g i v e a n d t a k e V i c k i d e s c r i b e s i n t h i s p a s s a g e r e v e a l s a q u a l i t y o f l e a r n i n g t h a t i s m i s s i n g f r o m d e s c r i p t i o n s o f o t h e r s o u r c e s f o r l e a r n i n g d i s c u s s e d p r e v i o u s l y . V i c k i fi n d s a n i n t r i n s i c r e w a r d i n h e l p i n g o t h e r s e v e n w h e n t o g e t h e r t h e t e a c h e r s a r e u n s u r e w h a t t h e c o r r e c t s o l u t i o n m a y b e . O n e g e t s t h e s e n s e t h a t t h e e x p e r i e n c e o f c e r t i fi c a t i o n f a c i l i t a t e s c o m m o n e x p e r i e n c e s t h a t t r a n s l a t e 2 ° T h e Y a h o o g r o u p c a n b e f o u n d a t N B P T S - A d o l A d u l t - S c i @ v a h o o g r o u p s . c o m . 1 5 5 i n t o p r o f e s s i o n a l ( a n d p o s s i b l y p e r s o n a l ) r e l a t i o n s h i p s . L i k e s t r a n g e r s i n a l i f e b o a t a d r i f t o n t h e o c e a n , c a n d i d a t e s s t r u g g l i n g t o m a k e s e n s e o u t o f t h e d e m a n d i n g t a s k s o f c e r t i fi c a t i o n r e a c h o u t a n d t r y t o h e l p o n e a n o t h e r s u c c e e d . G r a n t e d , p a r t o f t h i s c o m m e n t i s d i s t u r b i n g , s u c h a s t h e r e f e r e n c e t o t h e v i d e o t a p e b e i n g a ‘ s k i t ’ , b u t t h i s w i l l b e e x p l o r e d l a t e r i n t h e a n a l y s i s . T h e n e x t e x a m p l e p r o v i d e s e v i d e n c e t h a t N a t i o n a l B o a r d c e r t i f i c a t i o n p l a y s a c r u c i a l r o l e i n s c h o o l c o m m u n i t i e s a s r a l l y i n g p o i n t f o r e d u c a t o r s . M i k e f r o m W y o m i n g d e s c r i b e s t h i s a c t i v i t y b y s a y i n g : I t a l k e d s e v e n o f o u r d e p a r t m e n t m e m b e r s i n t o t r y i n g t h e N a t i o n a l B o a r d s t h i s y e a r - s o w e c o u l d a l l s i t t h e r e a n d w o r k t o g e t h e r a n d h e l p a n d c o l l a b o r a t e o n i d e a s a n d t r y a n d u n d e r s t a n d w h a t i n t h e h e c k t h e y a r e a s k i n g u s a n d s t u f f . ( G r o u p 2 B , T e a c h e r # 3 2 ) T h i s t e a c h e r w a s a b l e t o c o n v i n c e f e l l o w d e p a r t m e n t m e m b e r s t o a l l p u r s u e N a t i o n a l B o a r d c e r t i fi c a t i o n t o g e t h e r s o t h a t t h e y c o u l d t r y a n d u n d e r s t a n d “ w h a t i n t h e h e c k ” w a s n e e d e d a n d r e q u i r e d t o c o m p l e t e t h e p o r t f o l i o s u c c e s s f u l l y . A c c o r d i n g t o M i k e , t h e t a s k s a n d c h a l l e n g e s t h a t N a t i o n a l B o a r d c e r t i fi c a t i o n p r e s e n t s t o t h e c a n d i d a t e a r e b e s t a d d r e s s e d f r o m m u l t i p l e p e r s p e c t i v e s a n d i d e a s a s r e p r e s e n t e d b y a g r o u p o f c o l l e a g u e s . 2 | S o f a r t h e r e s o u r c e s f o r l e a r n i n g a s s o c i a t e d w i t h a p a r t i c i p a t o r y m e t a p h o r h a v e e x a m i n e d s c h o o l s u p p o r t g r o u p s , o n l i n e v i r t u a l c o m m u n i t i e s , a n d d i s t r i c t w o r k s h o p s . A n o t h e r i n t e r e s t i n g m i l i e u o f c o l l a b o r a t i o n c a n b e f o u n d a t t h e U n i v e r s i t y s e t t i n g . I n m a n y p l a c e s , C o l l e g e s o f E d u c a t i o n a r e e s t a b l i s h i n g s u p p o r t n e t w o r k s b e t w e e n a c a d e m i a a n d l o c a l t e a c h e r s p u r s u i n g N a t i o n a l B o a r d c e r t i fi c a t i o n . S u c h n e t w o r k s h a v e t h e p o t e n t i a l t o o p e n l i n e s o f d i s c o u r s e b e t w e e n p r o f e s s i o n a l r e s e a r c h e r s , a c a d e m i c s , a n d 2 ' I t i s i n t e r e s t i n g t o s p e c u l a t e h o w t h i s s u p p o r t g r o u p m i g h t i n fl u e n c e t h e s c h o o l c o m m u n i t y o r i t s f a t e u p o n h e a r i n g a b o u t w h o p a s s e d a n d w h o d i d n o t . W h a t w o u l d h a p p e n ? H o w w o u l d p e r s o n a l a n d p r o f e s s i o n a l d i s a p p o i n t m e n t p l a y o u t a g a i n s t o t h e r s w h o f e l t t r i u m p h a n t a n d ‘ a c c o m p l i s h e d ’ ? H o w w o u l d p e r s o n a l f e e l i n g s i n fl u e n c e p r o f e s s i o n a l c o n d u c t ? 1 5 6 c l a s s r o o m t e a c h e r s i n n e w a n d p o s s i b l y i n t e r e s t i n g w a y s . F o r e x a m p l e , B o b f r o m W a s h i n g t o n s t a t e s : I w a s t h e o n l y t e a c h e r i n t h e s c h o o l [ p u r s i n g c e r t i fi c a t i o n ] , b u t t h e r e w a s a c o l l e g e t h a t w a s s p o n s o r i n g S a t u r d a y w o r k s h o p s , o n c e a m o n t h , s o w e ’ d g e t t o g e t h e r f o r 3 h o u r s t h e n w i t h p e o p l e a l l o v e r t h e s t a t e a n d d i s c u s s i t [ N a t i o n a l B o a r d c e r t i fi c a t i o n ] . ( G r o u p 2 B , T e a c h e r # 3 0 ) B o b d e s c r i b e s h i s e f f o r t s a t o v e r - c o m i n g i s o l a t i o n b y p a r t i c i p a t i n g i n a s t a t e w i d e s u p p o r t g r o u p c e n t e r e d a t a c o l l e g e . T h e r e i s n o i n d i c a t i o n i n t h i s c o m m e n t a b o u t t h e r e l a t i v e v a l u e o f t h e e x p e r i e n c e o r t h e n a t u r e o f t h e l e a r n i n g , b u t i t r e m a i n s i m p o r t a n t b e c a u s e i t d e m o n s t r a t e s h o w d i f f e r e n t c o m p o n e n t s o f t h e e d u c a t i o n a l s y s t e m c a n c o m e t o g e t h e r f o r a c o m m o n p u r p o s e a n d c r e a t e a d i s t i n c t c o m m u n i t y t h a t w o u l d n o t h a v e e x i s t e d h a d i t n o t b e e n f o r N a t i o n a l B o a r d c e r t i fi c a t i o n . S u m m a r y I n C h a p t e r 4 , t h e q u a l i t a t i v e e v i d e n c e f o r l e a r n i n g f r o m N a t i o n a l B o a r d c e r t i fi c a t i o n w a s p r e s e n t e d . B o t h t h e q u a n t i t y a n d q u a l i t y o f t h e c a n d i d a t e c o m m e n t s a b o u t t h e i r N a t i o n a l B o a r d c e r t i fi c a t i o n e x p e r i e n c e s u p p o r t s t h e o b s e r v e d g a i n s f o r S c i e n c e I n q u i r y , A s s e s s m e n t , a n d R e fl e c t i o n r e p o r t e d i n C h a p t e r 3 . I n a d d i t i o n , t e a c h e r l e a r n i n g i n t h e s e a r e a s w a s l i n k e d w i t h a v a i l a b l e r e s o u r c e s a s s o c i a t e d s p e c i fi c a l l y w i t h B o a r d c e r t i fi c a t i o n . T h e r e s o u r c e s d e s c r i b e d h e r e s u p p o r t b o t h a n a c q u i s i t i o n a n d p a r t i c i p a t i o n e x p l a n a t i o n o f t e a c h e r l e a r n i n g f r o m t h e c e r t i fi c a t i o n e x p e r i e n c e . I n C h a p t e r 5 , I w i l l a d d r e s s w h y t h e s e l e a r n i n g o u t c o m e s a r e i m p o r t a n t t o c l a s s r o o m s c i e n c e t e a c h e r s , t e a c h e r q u a l i t y , p o l i c y m a k e r s , a n d t h e f u t u r e o f t h e N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s . 1 5 7 C H A P T E R 5 : D I S C U S S I O N T h e t h i n g s t h a t p a s s f o r k n o w l e d g e I c a n ' t u n d e r s t a n d . - S t e e l y D a n , “ R e e l i n ' I n T h e Y e a r s ” O v e r v i e w C h a p t e r 1 p r e s e n t e d t h e p h e n o m e n o n a n d t h e i m p o r t a n c e o f t h e i n v e s t i g a t i o n f o r t r y i n g t o a n s w e r t h e q u e s t i o n : “ W h a t a r e t e a c h e r s l e a r n i n g f r o m N a t i o n a l B o a r d c e r t i fi c a t i o n ? ” I n C h a p t e r 2 , t h e M e t h o d o l o g y f o r t h e r e s e a r c h w a s d e s c r i b e d i n c l u d i n g r e s e a r c h d e s i g n , p o p u l a t i o n , s e l e c t i o n o f c a n d i d a t e s , a n d t h e p r o c e d u r e s f o r c o l l e c t i n g d a t a . C h a p t e r 3 p r e s e n t e d t h e q u a n t i t a t i v e r e s u l t s a n d d e s c r i b e d a f e w p r o c e d u r a l c o m p r o m i s e s t h a t s e r v e a s l i m i t a t i o n s t o t h e v a l i d i t y o f o b s e r v e d r e s u l t s . I n C h a p t e r 4 , t h e q u a n t i t a t i v e r e s u l t s w e r e e x a m i n e d w i t h i n t h e c o n t e x t o f q u a l i t a t i v e d a t a c o l l e c t e d o v e r t h e c o u r s e o f t h e s t u d y . I n t h i s fi n a l , I w i l l t u r n m y a t t e n t i o n t o q u e s t i o n s t h a t c o n n e c t t h i s s t u d y t o l a r g e r i s s u e s i n e d u c a t i o n . C h a p t e r 5 e x p l o r e s t h e o u t c o m e s o f t h i s s t u d y w i t h i n t h e l a r g e r c o n t e x t o f c l a s s r o o m p r a c t i c e a n d p o l i c y . M o r e s p e c i fi c a l l y , t h e t e a c h e r l e a r n i n g o u t c o m e s i d e n t i fi e d w i l l b e d i s c u s s e d w i t h i n r e g a r d s t o i t s p o t e n t i a l i m p a c t o n c h a n g i n g s c i e n c e i n s t r u c t i o n . W h a t c o u l d t h e o b s e r v e d a n d e x p l a i n e d l e a r n i n g o u t c o m e s p o s s i b l y m e a n i n r e l a t i o n t o i t s i m p a c t o n T e a c h e r Q u a l i t y ? B y d e s c r i b i n g t h r e e p o s s i b l e e x p l a n a t i o n s f o r o b s e r v e d t e a c h e r l e a r n i n g o u t c o m e s ( D y n a m i c , T e c h n i c a l , a n d D e f e r r e d ) , t h e v a l u e o f N a t i o n a l B o a r d c e r t i fi c a t i o n a s e f f e c t i v e p r o f e s s i o n a l d e v e l o p m e n t w i l l b e d i s c u s s e d . A f t e r t h e l i m i t a t i o n s o f t h e s t u d y a r e r e v i e w e d , t h e r e s u l t s f r o m t h i s s t u d y w i l l b e p l a c e d i n t o a c o n t e x t o f r e l a t e d r e s e a r c h i n t h e a r e a s o f c o r p o r a t e t r a i n i n g a n d p s y c h o t h e r a p y — t w o r e s e a r c h d o m a i n s t h a t f o c u s o n t h e e f f e c t i v e n e s s o f s p e c i fi c i n t e r v e n t i o n p r o g r a m s 1 5 8 w h o s e c h a l l e n g i n g g o a l i s h u m a n i m p r o v e m e n t . F i n a l l y , t h e r e l e v a n c e a n d i m p l i c a t i o n s o f t h i s s t u d y t o s e c o n d a r y s c i e n c e t e a c h e r s , p o l i c y m a k e r s , a n d t h e N a t i o n a l B o a r d w i l l b e p r e s e n t e d . T e a c h e r L e a r n i n g a n d T e a c h e r Q u a l i t y I f t h e e v i d e n c e p r e s e n t e d f r o m t h e q u a n t i t a t i v e a n d q u a l i t a t i v e a n a l y s e s r e p r e s e n t t e a c h e r - l e a r n i n g o u t c o m e s , t h e n t h e q u e s t i o n o f h o w t h i s l e a r n i n g e f f e c t s p r a c t i c e i s a r e a s o n a b l e o n e t o a s k . H o w m i g h t t h e s e o b s e r v e d l e a r n i n g o u t c o m e s i m p a c t T e a c h e r Q u a l i t y ? I n t h e d i s c u s s i o n t h a t f o l l o w s , “ T e a c h e r Q u a l i t y ” i s d e fi n e d a s t h e c a p a c i t y t o g e n e r a t e a n d s u s t a i n e f f e c t i v e s t u d e n t e n g a g e m e n t ( M u l l e n s e t a l , 1 9 9 6 ) . A c c o r d i n g t o t h e E i s e n h o w e r G r a n t P r o g r a m f o r P r o f e s s i o n a l D e v e l o p m e n t i n M a t h a n d S c i e n c e : T e a c h i n g Q u a l i t y i m p i n g e s d i r e c t l y o n t h e e f fi c a c y o f s t u d e n t w o r k t h r o u g h p r o f e s s i o n a l c o m p e t e n c e i n t w o a r e a s : 1 ) T e a c h e r s c o n t e n t e x p e r t i s e e x p r e s s e d a s k n o w l e d g e o f a s p e c i fi c d i s c i p l i n e a n d k n o w l e d g e o f h o w t o t e a c h t h a t d i s c i p l i n e . 2 ) T e a c h e r s ’ p e d a g o g i c a l e x p e r t i s e ( e x p r e s s e d a s a b i l i t y t o d e v e l o p a c a d e m i c t a s k s w i t h a p p r o p r i a t e c o n t e n t a n d c h a l l e n g e ) u s e s a v a r i e t y o f i n s t r u c t i o n a l s t r a t e g i e s t o a s s e s s s t u d e n t s k n o w l e d g e a n d s k i l l a n d m a n a g e a c l a s s r o o m e n v i r o n m e n t f o r o p t i m a l w o r k i n g c o n d i t i o n s . ( M u l l e n s e t a l , 1 9 9 6 p 9 ) . T h e fi r s t a r e a i s v e r y s i m i l a r t o L e e S c h u l m a n ’ s c o n c e p t o f P e d a g o g i c a l C o n t e n t ( S h u l m a n , 1 9 8 6 ) w h i l e t h e s e c o n d a r e a i s r e m i n i s c e n t o f t h e t y p e s o f c o n t e n t a n d s k i l l e m p h a s i s f o u n d i n t e a c h e r p r e p a r a t i o n p r o g r a m s ( H o l m e s G r o u p , 1 9 9 0 ) . W h a t m y s t u d y r e v e a l s i s t h a t w h e n p o s t o b s e r v a t i o n s o f c a n d i d a t e s a r e c o m p a r e d w i t h p r e o b s e r v a t i o n s o f c a n d i d a t e s ; o v e r a l l m e a n s c o r e s d e m o n s t r a t e a p o s i t i v e e f f e c t a t t r i b u t a b l e t o t h e i n t e r v e n t i o n . T h e o b s e r v e d g a i n s a r e p o w e r f u l i n t h e i r a b i l i t y t o p o i n t o u t w h e r e i n t e r e s t i n g c h a n g e s a r e l i k e l y t o b e t a k i n g p l a c e , b u t t h e y a r e o f l i t t l e v a l u e i n s a y i n g a n y t h i n g a b o u t t h e q u a l i t y o f t h o s e c h a n g e s o r t h e i r r e a l v a l u e i n t e r m s o f h o w a 1 5 9 t e a c h e r m a y b e a f f e c t e d b y N a t i o n a l B o a r d c e r t i fi c a t i o n . I t i s u p t o t h e r e s e a r c h e r t o p r o v i d e m e a n i n g t o t h e s e s t a t i s t i c a l r e s u l t s . W h a t d o t h e o b s e r v e d ‘ l e a r n i n g ’ o u t c o m e s m e a n i n t e r m s o f c h a n g e i n t e a c h e r q u a l i t y , t e a c h e r e f f e c t i v e n e s s , t e a c h e r k n o w l e d g e , o r t e a c h e r b e l i e f s ? I t w o u l d b e w r o n g . f o r e x a m p l e , t o c o n c l u d e t h a t b e c a u s e t h e r e w a s a s i g n i fi c a n t i n c r e a s e i n t h e m e a n s c o r e s f o r S c i e n t i fi c I n q u i r y t e a c h e r s a r e n e c e s s a r i l y b e t t e r a t t e a c h i n g w i t h a s c i e n t i fi c i n q u i r y m e t h o d o r t h a t t h e y n o w k n o w m o r e a b o u t t e a c h i n g w i t h s c i e n t i fi c i n q u i r y . K o w a l s k i a n d a s s o c i a t e s a l s o o b s e r v e d w h a t t h e y c a l l e d ‘ p r o f e s s i o n a l g r o w t h ’ f r o m t h e c e r t i fi c a t i o n p r o c e s s , b u t w e n t o n t o c o n c l u d e t h a t t h e a s s e s s m e n t p r o c e s s a p p e a r s o n l y t o c h a n g e t h e c l a s s r o o m b e h a v i o r s o f t h e c a n d i d a t e s s e c o n d a r i l y ( K o w a l s k i e t a l , 1 9 9 7 ) . T h e i r o b s e r v a t i o n s i n d i c a t e t h a t t e a c h e r q u a l i t y m a y o r m a y n o t b e i m p r o v e d a s a r e s u l t o f N a t i o n a l B o a r d c e r t i fi c a t i o n . H o w e v e r , t h e w e a l t h o f d a t a c o l l e c t e d f r o m t h e p a r t i c i p a n t s i n t h i s s t u d y p r o v i d e s f u r t h e r e v i d e n c e t h a t a d d r e s s e s t h i s i s s u e . T h e f o l l o w i n g d i s c u s s i o n w i l l c o n s i d e r t h r e e p o s s i b l e i n t e r p r e t a t i o n s o f t e a c h e r l e a r n i n g a n d t h e a f f e c t o f e a c h u p o n t e a c h e r q u a l i t y . T h e y a r e c a l l e d : D y n a m i c , T e c h n i c a l , a n d D e f e r r e d L e a r n i n g . H o w e v e r , b e f o r e g e t t i n g t o t h e d e t a i l s o f t h e s e i d e a s , i t i s p r u d e n t t o fi r s t d i s c u s s s o m e o f t h e a s s u m p t i o n s t h a t t h e s e i d e a s a r e b a s e d u p o n . T h e r e a r e t h r e e i m p o r t a n t a s s u m p t i o n s r e l e v a n t t o t h e s e i d e a s . F o r p u r p o s e s o f a n a l y s i s , a l l t h r e e a s s u m p t i o n s h a v e b e e n c o n s i d e r e d ‘ t r u e ’ i n o r d e r t o f o c u s o n p o s s i b l e r e l a t i o n s h i p s w i t h t h e i n t e r v e n t i o n . T h e t h r e e a s s u m p t i o n s i d e n t i fi e d h e r e c o n c e r n : a m o u n t o f w o r k , r a t e o f l e a r n i n g , a n d c a p a c i t y t o l e a r n o r l e a r n i n g s t y l e . T h e fi r s t a s s u m p t i o n p e r t a i n s t o h o w m u c h w o r k a t e a c h e r p u t s i n t o t h e p r o c e s s . I t i s a s s u m e d w h e n w e l o o k a t t e a c h e r l e a r n i n g t h a t a l l t e a c h e r s a r e t r y i n g t h e i r b e s t t o 1 6 0 s u c c e e d a t a n y g i v e n t a s k . H o w e v e r , s u c h a n a s s u m p t i o n i s n o t t r u e . D i f f e r e n t t e a c h e r s p l a c e d i f f e r i n g p r i o r i t i e s w i t h i n t h e r e s p o n s i b i l i t i e s o f t h e i r l i v e s . F o r m a n y , N a t i o n a l B o a r d c e r t i fi c a t i o n m a y b e t h e i r n u m b e r o n e p r i o r i t y d u r i n g t h e y e a r o f c e r t i fi c a t i o n , b u t f o r o t h e r s i t m a y r a n k t h i r d o r fi f t h a n d d o e s n o t r e c e i v e d t h e s a m e f o c u s e d a t t e n t i o n a n d e f f o r t . A s a r e s u l t , i t b e c o m e s p r o b l e m a t i c t o c o m p a r e T e a c h e r A ’ s l e a r n i n g e x p e r i e n c e w i t h T e a c h e r B b e c a u s e t h e i r l e a r n i n g o u t c o m e s m a y h a v e n o t h i n g t o d o w i t h t h e i n t e r v e n t i o n a n d e v e r y t h i n g t o d o w i t h t h e l e v e l o f c o m m i t m e n t t o w a r d s t h e t a s k . I n p r a c t i c a l t e r m s , T e a c h e r A w h o h a s s e t a h i g h p r i o r i t y f o r B o a r d c e r t i fi c a t i o n m a y n o t b e b o t h e r e d o r h i n d e r e d b y t h e t e c h n i c a l r e q u i r e m e n t s o f t h e c e r t i fi c a t i o n p r o c e s s ; w h e r e a s T e a c h e r B w h o h a s o t h e r m o r e p r e s s i n g r e s p o n s i b i l i t i e s fi n d s t h e t e c h n i c a l r e q u i r e m e n t s a t e d i o u s b u r d e n . T h e s e c o n d a s s u m p t i o n p e r t a i n s t o t h e r a t e o f l e a r n i n g . T h e r e i s a n a s s u m p t i o n i n t h i s s t u d y t h a t a l l t e a c h e r s l e a r n a t t h e s a m e r a t e . F o r e x a m p l e , i f t w o t e a c h e r s b e g i n t h e p r o c e s s i n S e p t e m b e r a n d c o m p l e t e i t i n J u n e , t h e n t h e a s s u m p t i o n m i g h t b e m a d e t h a t t h e y l e a r n t h e s a m e a m o u n t o f k n o w l e d g e i n t h e s a m e a m o u n t o f t i m e . A g a i n , t h i s a s s u m p t i o n i s p r o b l e m a t i c . T e a c h e r A m a y d e m o n s t r a t e a l l t h e l e a r n i n g o u t c o m e s i n J a n u a r y t h a t T e a c h e r B w i l l n o t u n d e r s t a n d u n t i l t h e f o l l o w i n g O c t o b e r . B o t h t e a c h e r s a c q u i r e d t h e s a m e k n o w l e d g e a n d s k i l l s , j u s t i n d i f f e r i n g a m o u n t s o f t i m e . T h e t h i r d a n d fi n a l a s s u m p t i o n p e r t a i n s t o a t e a c h e r ’ s c a p a c i t y f o r l e a r n i n g ( o r l e a r n i n g s t y l e ) . F o r p u r p o s e s o f t h i s s t u d y , I a s s u m e t h a t a l l t e a c h e r s h a v e a n e q u a l c a p a c i t y f o r c o m p r e h e n d i n g a n d a c q u i r i n g k n o w l e d g e a n d s k i l l s r e l e v a n t t o p r a c t i c e . T h i s a s s u m p t i o n i s a l s o p r o b l e m a t i c . N o t a l l t e a c h e r s h a v e i d e n t i c a l c a p a c i t i e s t o l e a r n t h e s a m e k n o w l e d g e a n d s k i l l s i n t h e s a m e m a n n e r . W h e r e T e a c h e r A m a y b e v e r y a b l e 1 6 1 t o l e a r n c o n c e p t s a n d s k i l l s a s s o c i a t e d w i t h S c i e n t i f i c I n q u i r y , t h e y m a y h a v e a r e a l ‘ m e n t a l b l o c k ’ w h e n i t c o m e s t o u n d e r s t a n d i n g a n d / o r a p p r e c i a t i n g t h e v a l u e o f r e fl e c t i o n i n p r a c t i c e . W h e r e T e a c h e r B fi n d s t h e k n o w l e d g e a n d s k i l l s a s s o c i a t e d w i t h R e fl e c t i o n t o b e q u i t e e a s y ‘ t o p i c k u p ’ t h e y m a y h a v e a h i s t o r y o f s t r u g g l i n g t o l e a r n p a r t i c u l a r c o n t e n t k n o w l e d g e o r l a b o r a t o r y s k i l l s . I n a d d i t i o n , s o m e t e a c h e r s m a y b e m o r e e f f e c t i v e l e a r n e r s i n a c o m m u n i t y e n v i r o n m e n t w h e r e a s o t h e r s p r e f e r l e a r n i n g f r o m a t e x t . E a c h t e a c h e r ’ s l e a r n i n g s t y l e c o u p l e d w i t h t h e u n e q u a l a c c e s s t o d i f f e r e n t r e s o u r c e s m a k e s a n a s s u m p t i o n a b o u t l e a r n i n g s t y l e s p r o b l e m a t i c . W i t h t h e u n d e r s t a n d i n g t h a t t h e s e a s s u m p t i o n s e x i s t a n d p r e s e n t p r o b l e m a t i c c o n s e q u e n c e s t o a n y d i s c u s s i o n a b o u t l e a r n i n g , t e a c h e r q u a l i t y , a n d p r o f e s s i o n a l d e v e l o p m e n t , t h e f o l l o w i n g e x p l o r a t i o n o f t h e s e t o p i c s i s p r e s e n t e d . D m a m i c L e a r n i n g T h e fi r s t i n t e r p r e t a t i o n o f h o w t e a c h e r l e a r n i n g m i g h t r e l a t e t o T e a c h e r Q u a l i t y i s c a l l e d ‘ D y n a m i c L e a r n i n g ’ . I n D y n a m i c L e a r n i n g , c h a n g e s i d e n t i fi e d f r o m p r e t o p o s t t r a n s l a t e i n t o i m m e d i a t e , e f f e c t i v e , a n d m e a n i n g f u l c h a n g e s i n a t e a c h e r s b e l i e f s , u n d e r s t a n d i n g s , a n d a c t i o n s i n t h e c l a s s r o o m . F o r e x a m p l e , w i t h t h e c h a n g e s i n S c i e n t i f i c I n q u i r y o b s e r v e d , t e a c h e r s h a v e l e a r n e d t o a s i g n i fi c a n t d e g r e e a b o u t s c i e n t i fi c i n q u i r y a n d t h e i r p r a c t i c e h a s c h a n g e d t o r e fl e c t t h i s l e a r n i n g . I n t h i s i n t e r p r e t a t i o n o f t h e i m p r o v e d s c o r e s a s s o c i a t e d w i t h S c i e n t i f i c I n q u i r y , T e a c h e r Q u a l i t y w o u l d b e c h a r a c t e r i z e d a s ‘ i m p r o v e d ’ o r ‘ i n c r e a s e d ’ . D y n a m i c L e a r n i n g m a y b e a s s o c i a t e d w i t h t e a c h e r s w h o a r e i n t r i n s i c a l l y m o t i v a t e d t o p u r s u e N a t i o n a l B o a r d c e r t i fi c a t i o n . F o r e x a m p l e , D a p h n e f r o m N e w Y o r k d e s c r i b e s h e r r e a s o n i n g f o r p u r s u i n g N a t i o n a l B o a r d w h e n s h e s a y s : 1 6 2 I n e e d t o d o s o m e t h i n g t o g e t o u t o f t h i s r u t . I h a d l o o k e d a t N a t i o n a l B o a r d s s i n c e I t h i n k i t w a s l i k e 1 9 9 8 I h a d c o n s i d e r e d i t . B u t t h e n w i t h a l l t h e s t a t e a s s i s t a n c e a n d e v e r y t h i n g , i t w a s m o r e fi n a n c i a l l y o k t o d o — s o I w e n t a h e a d a n d d i d i t . ( G r o u p 1 , T e a c h e r # 3 7 ) E x p e r i e n c e d t e a c h e r s w i t h m o r e t h a n 1 0 y e a r s e x p e r i e n c e o f t e n d e s c r i b e N a t i o n a l B o a r d c e r t i fi c a t i o n a s a n o p p o r t u n i t y t o ‘ g e t o u t o f a r u t ’ o r o v e r c o m e t e a c h e r ‘ b u r n o u t ’ . T h e y h a v e h e a r d g o o d t h i n g s a b o u t t h e p r o c e s s a n d i t s a b i l i t y t o h e l p w i t h t h i s t y p e o f p r o f e s s i o n a l f a t i g u e . T h e y m a y b e i n fl u e n c e d b y fi n a n c i a l i n c e n t i v e , b u t t h e r e a r e a l s o i m p o r t a n t a n d i n t r i n s i c r e a s o n s f o r t h e d e c i s i o n t o p a r t i c i p a t e i n t h e p r o c e s s . H o w e v e r , m o t i v a t i o n i s j u s t a p a r t o f u n d e r s t a n d i n g D y n a m i c L e a r n i n g . T h e f o l l o w i n g c o m m e n t s a n d a n a l y s i s t r y t o i l l u s t r a t e p r e c i s e l y w h a t i s m e a n t b y t h i s c a t e g o r i z a t i o n o f l e a r n i n g . D y n a m i c L e a r n i n g r e s u l t s i n i m m e d i a t e q u a l i t a t i v e c h a n g e t o p r a c t i c e t h a t i s o f t e n d e s c r i b e d a s a n i m p r o v e m e n t i n a b i l i t y t o f o s t e r l e a r n i n g i n s t u d e n t s . P e n n y f r o m H a w a i i p r o v i d e s t h e fi r s t p i e c e o f e v i d e n c e w h e n s h e s t a t e s : T h e a n a l y t i c a l p a r t o f l e a r n i n g d o e s n ’ t j u s t e n d w i t h s e n d i n g i n y o u r p a p e r w o r k t o N a t i o n a l C e r t i fi c a t i o n . I t ’ s s o m e t h i n g t h e n t h a t y o u c a n ’ t h e l p b u t c o n t i n u e t o d o . T h e q u e s t i o n s t h a t I h a d t o a n s w e r i n w r i t t e n f o r m p o p i n t o m y h e a d n o w a l l t h e t i m e . ( G r o u p 2 A - P o s t , T e a c h e r # 3 ) C a r i n a f r o m F l o r i d a p r e s e n t s a n o t h e r e x a m p l e o f t h i s i d e a w h e n s h e s t a t e s t h a t t h e e x p e r i e n c e o f s e r i o u s r e fl e c t i o n f r o m t h e c e r t i fi c a t i o n e x p e r i e n c e i s “ c a r r i e d o v e r a n d y o u a r e j u s t d i f f e r e n t . Y o u t h i n k a b o u t i t [ t e a c h i n g - l e a m i n g ] d i f f e r e n t l y ” ( G r o u p 1 , T e a c h e r # 1 2 ) . B o t h P e n n y a n d C a r i n a h a v e i n t e r n a l i z e d t h e N a t i o n a l B o a r d f r a m e w o r k o f r e fl e c t i o n a n d a c t i o n . T h e s k i l l s t h e y a c q u i r e d p e r t a i n i n g t o r e fl e c t i o n o n p r a c t i c e a n d s t u d e n t l e a r n i n g p e r s i s t m o n t h s a f t e r t h e c e r t i f i c a t i o n p r o c e s s i s o v e r . C a r i n a “ c a n ’ t h e l p ” b u t c o n t i n u e w i t h t h e s a m e a p p r o a c h t h a t w a s r e p e a t e d l y e m p l o y e d d u r i n g t h e p o r t f o l i o 1 6 3 c o n s t r u c t i o n . P e n n y d e s c r i b e s t h e e f f e c t s o f l e a r n i n g a s ‘ c a r r y i n g o v e r ’ i n t o t h e c u r r e n t s e m e s t e r . T h e s e t e a c h e r s c o u l d b e d e s c r i b e d a s ‘ m o r e e f f e c t i v e ’ o r o f ‘ h i g h e r q u a l i t y ’ b e c a u s e o f t h e r e fl e c t i v e l e a r n i n g b r o u g h t a b o u t b y N a t i o n a l B o a r d c e r t i fi c a t i o n . F o r s o m e t e a c h e r s , t h e c h a n g e s a r e m o r e s p e c i fi c t o p a r t i c u l a r a s p e c t s o r s t a n d a r d s o f p r a c t i c e . R o n f r o m N e w Y o r k , f o r e x a m p l e , d e s c r i b e s h i s i n c o r p o r a t i o n o f r u b r i c s a s a m e a n s o f c o m m u n i c a t i n g e x p e c t a t i o n s m o r e c l e a r l y w i t h s t u d e n t s . H e s a y s : T h i s y e a r i s g o i n g f a n t a s t i c — e v e n c o m p a r e d t o l a s t y e a r — w h i c h w a s a v e r y g o o d y e a r f o r m e . T h i s h a s b e e n m y b e s t y e a r i n t h e p h y s i c s c l a s s r o o m . O n e o f t h e b i g g e s t r e a s o n s w h y w a s r e a l i z i n g t h a t I w a s n ’ t g e t t i n g t h e q u a l i t y o f s t u d e n t w o r k b e c a u s e I d i d n ’ t h a v e s t a n d a r d s . W h e n I r e a l i z e d t h a t I n e e d e d t o g i v e t h e k i d s t h e s t a n d a r d b y w h i c h t h e y w o u l d b e j u d g e d - — a n d I s a t d o w n a n d d e l i b e r a t e l y t h o u g h t a b o u t e v e r y t h i n g t h a t I t h o u g h t w a s i m p o r t a n t a s f a r a s s c i e n t i fi c i n q u i r y — w h e n I d i d t h a t a n d I c a m e u p w i t h m y i n v e s t i g a t i o n r u b r i c t h a t I c r e a t e d a s a r e s u l t o f t h i s , i t t o t a l l y c h a n g e d t h e q u a l i t y o f w o r k t h a t I g e t f r o m m y k i d s . F r o m g a r b l e d i n c o m p l e t e c h u n k s o f i n c o m p r e h e n s i b l e g a r b a g e - r e a l l y f o r a l o t o f t h e m — t o y o u k n o w a m o r e f o c u s e d , a m o r e c o m p l e t e , a m o r e i n d e p t h u n d e r s t a n d i n g . ( G r o u p 1 , T e a c h e r # 2 1 ) R o n d e s c r i b e s t a n g i b l e a n d o b s e r v a b l e d i f f e r e n c e s i n t h e w a y h e t h i n k s a b o u t , p l a n s f o r , a n d i m p l e m e n t s a s c i e n t i fi c i n q u i r y l e s s o n . H e d e m o n s t r a t e s l e a r n i n g a s s o c i a t e d w i t h t h e s t a n d a r d s o f A s s e s s m e n t , E n g a g e m e n t , S c i e n t i f i c I n q u i r y , a n d R e fl e c t i o n . T h e t e a c h e r ‘ r e a l i z e d ’ t h a t t h e p r o b l e m s a s s o c i a t e d w i t h t h e l o w q u a l i t y o f s t u d e n t w o r k m i g h t b e c o r r e c t e d b y h i s d e c i s i o n s a n d a c t i o n s . R o n ‘ d e l i b e r a t e l y t h o u g h t ’ a b o u t h o w t o s o l v e o r a t l e a s t a d d r e s s t h e p r o b l e m . T h i s t e a c h e r i s a c t i n g u p o n a n e w l y a c q u i r e d u n d e r s t a n d i n g i n v o l v i n g t h e u s e o f r u b r i c s t h a t a r e u s e d e x t e n s i v e l y t h r o u g h t h e c o n s t r u c t i o n o f t h e p o r t f o l i o e n t r i e s . N o t s u r p r i s i n g l y a n d i n a g r e e m e n t w i t h o b s e r v e d p r e t o p o s t g a i n s i n t h e s t a n d a r d s , m a n y c o m m e n t s f r o m t e a c h e r s f o c u s o n t h e n e w s k i l l s a n d k n o w l e d g e g a i n e d 1 6 4 f r o m c e r t i fi c a t i o n a n d t h e i m p a c t o n t h e i r t e a c h i n g o f s c i e n t i fi c i n q u i r y . F o r e x a m p l e , S a r a h f r o m N e w Y o r k i s s t i l l i n v o l v e d w i t h p o r t f o l i o — l i k e a c t i v i t i e s . S h e s t a t e s : I ’ m s t i l l d o i n g — y o u k n o w — m o r e i n q u i r y b a s e d l a b s , m o r e p r o j e c t s . M y c l a s s r o o m h a s b e c o m e m u c h m o r e s t u d e n t c e n t e r e d a n d m o r e — h a v i n g s t u d e n t s b e m o r e a n a l y t i c a l a n d c r i t i c a l t h i n k e r s . ( G r o u p 1 , T e a c h e r # 3 6 ) S a r a h l e a r n e d a n a p p r e c i a t i o n f o r a m o r e ‘ S t u d e n t c e n t e r e d ’ a p p r o a c h a s w e l l a s e n c o u r a g i n g m o r e ‘ a n a l y t i c a l a n d c r i t i c a l ’ t h i n k i n g i n h e r s t u d e n t s . A n o t h e r e x a m p l e i s p r e s e n t e d b y C h a r i t y f r o m C a l i f o r n i a . C h a r i t y d e s c r i b e s h o w b e c o m i n g m o r e s e l f - c o n fi d e n t p r o v i d e d t h e n e c e s s a r y s t r e n g t h t o t r y a n e w t y p e o f l e s s o n w i t h t h e i r c l a s s . S h e s a y s : T h e s k i l l s t h a t I g a i n e d l a s t y e a r i n f o c u s i n g o n g o o d t e a c h i n g a n d t h e t h i n g s t h a t t h e y m a k e y o u f o c u s o n i n y o u r p o r t f o l i o — I g a i n e d a l o t o f c o n fi d e n c e i n t h o s e s k i l l s a n d t h e y b e c a m e m o r e n a t u r a l a n d e a s y f o r m e . W h e r e a s I m i g h t n o t h a v e t a k e n t h a t r i s k h a d I n o t g o n e t h r o u g h t h e p r o c e s s . ( G r o u p 1 , T e a c h e r # 4 0 ) T h e i n t e r e s t i n g d i s t i n c t i o n b e t w e e n C h a r i t y a n d S a r a h i s t h a t C h a r i t y h i n t s t h a t p r i o r t o c e r t i fi c a t i o n t h e s k i l l s i n q u e s t i o n w h e r e p r e s e n t , b u t r e m a i n e d w e a k o r u n d e r d e v e l o p e d . S k i l l s a s s o c i a t e d w i t h c o n d u c t i n g a m o r e s t u d e n t - c e n t e r e d c l a s s w h e r e t h e t e a c h e r d o e s n o t d i s p e n s e k n o w l e d g e b u t h e l p s s t u d e n t s c r e a t e t h e i r o w n u n d e r s t a n d i n g s . T h e t e a c h e r s a y s t h a t t h e s e s k i l l s b e c a m e “ m o r e e a s y ” w h i c h i n f e r s t h a t t h e y w e r e t h e r e b e f o r e t h e i n t e r v e n t i o n a n d t h a t c e r t i fi c a t i o n p r o v i d e d a n o p p o r t u n i t y f o r t h e m t o d e v e l o p . C h a r i t y i s m a k i n g a d i r e c t c o n n e c t i o n b e t w e e n t h e e x p e r i e n c e o f N a t i o n a l B o a r d c e r t i fi c a t i o n i n t h e p r e v i o u s s e m e s t e r a n d n e w l e s s o n s i m p l e m e n t e d i n t h e c u r r e n t t e r m . D y n a m i c L e a r n i n g m i g h t b e s t b e d e s c r i b e d w i t h a n o t h e r t e a c h e r ’ s d e s c r i p t i o n o f l e a r n i n g f r o m N a t i o n a l B o a r d c e r t i fi c a t i o n . P e r r y f r o m M a s s a c h u s e t t s s t a t e s : I f y o u c a n g e t a k i d t o t h i n k a b o u t a s u b j e c t t h a t y o u a r e t e a c h i n g — i f y o u c a n g e t a k i d t o i n t e r n a l i z e i t — t h e n h e ’ l l h a v e i t f o r e v e r . I t ’ s t h e s a m e t h i n g I t h i n k w i t h a d u l t s . ( G r o u p 1 , T e a c h e r # 4 ) 1 6 5 D y n a m i c L e a r n i n g m a y b e ‘ i n t e r n a l i z e d ’ , b u t t h e i m p o r t a n t e l e m e n t i s t h a t t h e t e a c h e r a c t s u p o n t h a t n e w k n o w l e d g e , s k i l l , o r u n d e r s t a n d i n g t o c o n s c i o u s l y a n d d e l i b e r a t e l y t r y a n d i m p r o v e t h e l e a r n i n g e x p e r i e n c e i n h i s / h e r c l a s s . H o w l o n g w i l l t h i s i m p r o v e d t e a c h i n g c o n t i n u e ? H o w e f f e c t i v e w i l l t h e ‘ i m p r o v e m e n t s ’ b e r e g a r d i n g s t u d e n t - l e a r n i n g o u t c o m e s ? W h a t i s t h e l o n g e v i t y o f t h i s t y p e o f l e a r n i n g ? I s i t f o r e v e r a s P e r r y s u g g e s t s ? O r , i s i t c a s t a s i d e a f t e r a f e w m o n t h s w h i l e t h e o l d w a y s ( o f t e n e a s i e r w a y s ) c r e e p b a c k i n t o p r a c t i c e ? T h e s e a r e i n t e r e s t i n g q u e s t i o n s a n d w o r t h y o f f u t u r e r e s e a r c h . T e c h n i c g l L e m U p u n t i l n o w , t h e c o m m e n t s a b o u t N a t i o n a l B o a r d c e r t i fi c a t i o n h a v e t a k e n o n a v e r y p o s i t i v e a n d p r o d u c t i v e t o n e . T h e e v i d e n c e u s e d t o d e s c r i b e T e c h n i c a l L e a r n i n g h a s a d i s t i n c t i v e l y d i f f e r e n t fl a v o r . T h e n e g a t i v e c o n n o t a t i o n s o f t h e s e c o m m e n t s a r e n o t m e a n t t o i m p l y t h a t T e c h n i c a l l e a r n i n g i s ‘ b a d ’ b u t r a t h e r d i f f e r e n t f r o m d y n a m i c l e a r n i n g . F o r e x a m p l e , G a b r i e l l a f r o m N o r t h C a r o l i n a d e s c r i b e s t h e N a t i o n a l B o a r d e x p e r i e n c e i n t h e f o l l o w i n g t e r m s : I f o u n d t h e w h o l e e x p e r i e n c e k i n d o f h u m i l i a t i n g . I m e a n t h e w h o l e t h i n g w a s s o i n c r e d i b l y f r u s t r a t i n g a n d h u m i l i a t i n g . ( G r o u p 1 , T e a c h e r # 3 8 ) T o c l a r i f y , m o s t o f G a b r i e l l a ’ s i s s u e s a r o s e b e c a u s e o f c o m m u n i c a t i o n p r o b l e m s w i t h t h e N a t i o n a l B o a r d a n d t h e d i s t r i c t p r o t o c o l s f o r c o v e r i n g t h e c o s t s o f c e r t i fi c a t i o n . H o w e v e r , t h e s i t u a t i o n n e v e r i m p r o v e d f r o m t h i s f r u s t r a t i n g b e g i n n i n g . T h e p o i n t i s : n o t e v e r y o n e fi n d s t h e e x p e r i e n c e s u c h a w o n d e r f u l l i f e c h a n g i n g p r o f e s s i o n a l d e v e l o p m e n t e x p e r i e n c e . H o w e v e r , j u s t b e c a u s e a n i n d i v i d u a l d o e s n o t l i k e o r e n j o y t h e c e r t i fi c a t i o n p r o c e s s , d o e s n o t n e c e s s a r i l y m e a n t h a t t h e y d i d n o t l e a r n f r o m t h e i r e f f o r t s . 1 6 6 T e c h n i c a l L e a r n i n g d e s c r i b e s c h a n g e s i n t h i n k i n g t h a t a r e p r o c e d u r a l i n n a t u r e . T h e y a r e l i n k e d c l o s e l y w i t h t h e g o a l o f s u c c e e d i n g w i t h t h e c e r t i fi c a t i o n p r o c e s s . T e a c h e r s a r e l e a r n i n g a b o u t s c i e n t i fi c i n q u i r y , b u t o n l y i n t h e c o n t e x t o f h o w t h e y c a n b e s t s u c c e e d a t a t t a i n i n g c e r t i fi c a t i o n . I n o t h e r w o r d s , t e a c h e r s a r e l e a r n i n g h o w t o b e b e t t e r c a n d i d a t e s f o r N a t i o n a l B o a r d c e r t i fi c a t i o n , b u t n o t n e c e s s a r i l y b e t t e r t e a c h e r s . I n t h i s i n t e r p r e t a t i o n , T e a c h e r Q u a l i t y r e m a i n s u n a f f e c t e d . B e c o m i n g g o o d a t B o a r d c e r t i fi c a t i o n d o e s n o t n e c e s s a r i l y m a k e a t e a c h e r m o r e e f f e c t i v e i n t h e c l a s s r o o m . T h e f o l l o w i n g a r e s o m e e x a m p l e s o f t e c h n i c a l l e a r n i n g . C o n s t a n c e f r o m S o u t h C a r o l i n a o b s e r v e d p h o n i n e s s i n o t h e r c a n d i d a t e s t h a t c o u l d r e s u l t i n T e c h n i c a l L e a r n i n g . S h e s t a t e s : I t h i n k t h a t w h i l e f o r s o m e t e a c h e r s i t ’ s g o i n g t o m a k e t h e m b e t t e r t e a c h e r s , f o r s o m e t e a c h e r s t h e y a r e g o i n g t o h a v e t o d o d u r i n g t h a t y e a r a n d n o t c h a n g e w h a t t h e y a r e r e a l l y d o i n g - t h a t t h e y a r e p u t t i n g o n a s h o w a n d t h e y j u s t d o t h a t w e l l . A n d w h e t h e r y o u m a i n t a i n [ t h a t k i n d o f t e a c h i n g ] a f t e r w a r d s i s w h a t I q u e s t i o n . ( G r o u p 1 , T e a c h e r # 7 ) T h e i d e a e x p r e s s e d t h a t s o m e t e a c h e r s ‘ p u t o n a s h o w ’ f o r c e r t i fi c a t i o n i s e c h o e d b y M a r k f r o m V i r g i n i a w h o s a y s : B u t I h a v e n ’ t p u t o n a d o g a n d p o n y s h o w t h i s y e a r w h e r e I ’ m i n v e n t i n g a l l o f t h e s e t e r r i fi c l e s s o n s t h a t I d i d n ’ t h a v e b e f o r e . ( G r o u p Z B , T e a c h e r # 3 1 ) M a r k w o u l d p r o b a b l y a g r e e w i t h C o n s t a n c e . T h e y b o t h p e r c e i v e s o m e o f t h e i r c o l l e a g u e s a s n o t b e i n g h o n e s t w i t h t h e s p i r i t o f s e l f - r e fl e c t i o n , s e l f - r e a l i z a t i o n , a n d p r o f e s s i o n a l d e v e l o p m e n t t h a t i s p a r t o f t h e N a t i o n a l B o a r d c e r t i fi c a t i o n p r o c e s s . T h e s e ‘ d o g a n d p o n y ’ t e a c h e r s p u t t h e i r e f f o r t s n o t i n t o i m p r o v i n g p r a c t i c e , b u t i n t o i m p r e s s i n g t h e a s s e s s o r s w h o e v a l u a t e t h e v i d e o t a p e s a n d p o r t f o l i o a r t i f a c t s . T h e y a r e p l a y i n g t o a s p e c i fi c a u d i e n c e t h a t d o e s n o t n e c e s s a r i l y i n c l u d e s t u d e n t s a n d r a t h e r t h a n b e t r u e t o t h e s t a n d a r d s , t h e y a t t e m p t t o m a n i p u l a t e t h e m f o r p u r p o s e s o f fi n a n c i a l g a i n . 1 6 7 O n e t e a c h e r i n t h e s t u d y c o n f e s s e d t o b e i n g o n e o f t h o s e ‘ d o g a n d p o n y ’ t e a c h e r s . K i m f r o m M a r y l a n d d e s c r i b e d t h e c e r t i fi c a t i o n e x p e r i e n c e a s f o l l o w s : I f e l t l i k e i t w a s m o r e o f a - m o r e o f a n e x e r c i s e i n t r y i n g t o fi n d o u t w h a t t h e y w e r e l o o k i n g f o r . A n d s o I s p e n t m o r e o f m y e n e r g y d o i n g t h a t t h e n i n a c t u a l l y r e fl e c t i n g o n m y o w n p r a c t i c e a n d w r i t i n g a b o u t i t . ( G r o u p 2 B , T e a c h e r # 3 3 ) K i m d o e s n o t a p p e a r t o b e i n t e n t i o n a l l y p h o n y o r f a k e f o r t h e a s s e s s m e n t s , b u t s o m e w h e r e a l o n g t h e l i n e , s h e g o t s o m e a d v i c e t h a t e n d e d u p i n t e r f e r i n g w i t h t h e q u a l i t y o f h e r e x p e r i e n c e . K i m ’ s f o c u s i s o n w h a t s h e t h i n k s ‘ t h e y ’ w a n t — ‘ t h e y ’ b e i n g t h e N a t i o n a l B o a r d p o r t f o l i o a s s e s s o r s . K i m c o m m i t t e d v a l u a b l e r e s o u r c e s o f t i m e a n d e n e r g y c h a s i n g d o w n a g o a l o f p l e a s i n g t h e a s s e s s o r s r a t h e r t h a n a d d r e s s i n g t h e s t u d e n t s o r h e r o w n n e e d s . W h e r e m i g h t a c a n d i d a t e r e c e i v e t h i s k i n d o f a d v i c e o r d i r e c t i o n ? A c c o r d i n g t o E l l i f r o m C a l i f o r n i a , t h e s u p p o r t g r o u p s , w h i c h m a n y t e a c h e r s c l a i m e n r i c h e d t h e c e r t i fi c a t i o n e x p e r i e n c e t h r o u g h p r o f e s s i o n a l d i s c o u r s e a n d c o m m u n i t y , r e p r e s e n t o n e s u c h s o u r c e o f a d v i c e . E l l i s a y s : I h a d a g r o u p t h a t I m e t w i t h o n c e a m o n t h t o d i s c u s s w h a t w e w e r e d o i n g . T h o s e d i s c u s s i o n s w e r e “ A r e w e m e e t i n g t h e r e q u i r e m e n t s o f N a t i o n a l B o a r d ? ” T h e y w e r e n ’ t r e a l l y d i s c u s s i o n s a b o u t o u r i n s t r u c t i o n a n d a s s e s s m e n t — e x p e c t t o e v a l u a t e e a c h o t h e r ’ s p a p e r s a n d w h e t h e r o r n o t w e t h o u g h t t h e y w e r e g o o d p a p e r s . ( G r o u p 2 A - P o s t , T e a c h e r # 1 8 ) E l l i e x p e c t e d t h e s u p p o r t g r o u p t o b e f o c u s e d u p o n c o n v e r s a t i o n s a r o u n d “ i n s t r u c t i o n a n d a s s e s s m e n t ” . I n s t e a d , s h e f o u n d t h e s u p p o r t g r o u p s f o c u s e d o n t e c h n i c a l i s s u e s . I s s u e s a s s o c i a t e d w i t h w r i t i n g , a n s w e r i n g q u e s t i o n s e f fi c i e n t l y , a n d t h e p a r t i c u l a r r e q u i r e m e n t s o f t h e d i f f e r e n t e n t r i e s i n t h e p o r t f o l i o . T h e s e t y p e s o f c o n v e r s a t i o n s m a y r e s u l t i n a t e a c h e r l e a r n i n g m o r e t e c h n i c a l k n o w l e d g e a n d s k i l l s o n h o w t o s u c c e e d i n c e r t i fi c a t i o n . T h i s l e a r n i n g h o w e v e r m a y n o t t r a n s l a t e w e l l i n t o c h a n g e s i n c l a s s r o o m p r a c t i c e . 1 6 8 P e r r y f r o m M a s s a c h u s e t t s v o i c e s a s i m i l a r o b s e r v a t i o n a b o u t h i s s u p p o r t g r o u p , b u t g o e s o n t o m a k e a v e r y i n s i g h t f u l r e m a r k . H e s a y s : I d i d s i t i n o n t h r e e o f t h e i r m e e t i n g s a n d a t l e a s t a t t h e w o r k s h o p t h a t I a t t e n d e d i t w a s a l l a b o u t h o w d o w e g e t t h r o u g h a n d h o w d o w e p a s s a n d h o w d o w e w r i t e w h a t t h e r e a d e r s w a n t y o u t o w r i t e a n d t h e y w e r e s a y i n g t h a t t h e y w e r e g o i n g t o g i v e u s d e a d l i n e s t h a t w e h a d t o h a v e o u r v i d e o d o n e b y a n d t h e y w e r e g o i n g t o d o t h i s — i t w a s j u s t t o o c o n t r i v e d a n d I t h i n k i t m i s s e d t h e m a r k o f w h a t I t h i n k t h e h e a r t o f w h a t t h e N a t i o n a l B o a r d s s t a r t e d o u t t o b e . I t h i n k I s e e t h a t a s v e r y g o o d a n d I t h i n k i t ’ s k i n d o f s a d - I h e a r d t h e P r e s i d e n t I o f t h e N a t i o n a l B o a r d m e n t i o n t h a t I g u e s s s o m e w h e r e i n V i r g i n i a — C h a r l o t t e o r I s o m e t h i n g l i k e t h a t — w h e r e t h e y h a v e a w h o l e b a n k o f r e a d e r s t h a t h e l p r e a d t h e p a p e r b e f o r e t h e y a r e s u b m i t t e d t o t h e N a t i o n a l B o a r d s a n d I t h i n k t h a t ’ s k i n d o f 1 s a d a l m o s t - t h a t t h e p e o p l e a r e t r y i n g t o m a n i p u l a t e t h e s y s t e m t o t r y t o fi n d 1 w a y s t o y o u k n o w u s e a l l t h e c o r r e c t b u z z w o r d s b u t l e a r n n o t h i n g . G r o u p 1 , T e a c h e r # 4 P e r r y n o t o n l y r e c o g n i z e s t h e i n a u t h e n t i c n a t u r e o f t h i s t y p e o f s u p p o r t , b u t a l s o f e e l s s o r r y f o r t e a c h e r s t h a t f e e l t h e n e e d t o ‘ m a n i p u l a t e t h e s y s t e m ’ i n o r d e r t o s u c c e e d . T h e s e t e a c h e r s l e a r n w h a t o t h e r s t h i n k a r e g o o d s t r a t e g i e s f o r p a s s i n g t h e p r o c e s s , t e c h n i q u e s f o r w r i t i n g t h e w a y t h e “ r e a d e r s w a n t y o u t o w r i t e ” a n d o t h e r n o n — s t a n d a r d s b a s e d s k i l l s a n d k n o w l e d g e . T h e s e t e a c h e r s a r e l e a r n i n g , b u t t h e i r l e a r n i n g i s t e c h n i c a l a n d n o t r e l a t e d t o c l a s s r o o m p r a c t i c e . T h e r e m u s t b e a p e r c e i v e d i m p o r t a n c e t o t h e t e c h n i c a l k n o w l e d g e r e g a r d i n g t h e c e r t i fi c a t i o n p r o c e s s t h a t s o m a n y t e a c h e r s a r e w i l l i n g t o c o m m i t v a l u a b l e r e s o u r c e s t o l e a r n i n g . T h e o b s e r v a t i o n r a i s e s t h e q u e s t i o n , “ W h a t i s t h e v a l u e o f t e c h n i c a l l e a r n i n g ? ” O n e p o s s i b l e a n s w e r m a y b e f o u n d i n a c o m m e n t f r o m S t a c i f r o m F l o r i d a . S t a c i v i e w s t h e p r o c e s s o f c e r t i fi c a t i o n w i t h a c y n i c a l p e r s p e c t i v e t h a t i s i n a l i g n m e n t w i t h t h e p r e v i o u s c o m m e n t s , b u t a d d s a v a l u a b l e i n s i g h t . S h e s a y s : I t h i n k a l o t o f i t i s w h a t h o o p s c a n y o u j u m p t h r o u g h a n d h o w w e l l , h o w g o o d a r e y o u a t w r i t i n g a t s a y i n g w h a t y o u n e e d t o s a y t o p r o v e b a s e d u p o n t h e r u b r i c . A r e y o u g o o d a t b e i n g a b l e t o w o r k t h r o u g h t h a t ? I f y o u a r e , t h a t ’ s g r e a t . B u t 1 6 9 s o m e o n e m i g h t b e a v e r y g o o d t e a c h e r a n d j u s t b a s e d u p o n w h a t t h e y s u b m i t , i t m i g h t n o t b e e v i d e n c e o f w h a t t h e y a r e d o i n g . ( G r o u p 1 , T e a c h e r # 2 9 ) S t a c i m a k e s a v e r y i m p o r t a n t p o i n t . A c c o m p l i s h e d t e a c h e r s m a y n o t b e g o o d a t p r o v i n g t h e y a r e a c c o m p l i s h e d . N a t i o n a l B o a r d c e r t i fi c a t i o n m a y b e t o o r e s t r i c t i v e i n f o r m a t t i n g r e q u i r e m e n t s a n d q u e s t i o n i n g s t y l e t o fi t s o m e t e a c h e r ’ s s t r e n g t h s o f c o m m u n i c a t i o n . T h e c o m m e n t a l s o u n d e r l i e s t h e i m p o r t a n c e o f t h e t e c h n i c a l k n o w l e d g e n e e d e d t o s u c c e e d a t c o m m u n i c a t i n g o n e ’ s p r a c t i c e e f f e c t i v e l y t h r o u g h t h e p o r t f o l i o . T h e c h o i c e s f o r a r t i f a c t s , d e c i s i o n s r e g a r d i n g l e s s o n s , a c t i o n s t a k e n d u r i n g t h e t a p i n g o f a c l a s s , a n d t h e d e t a i l s o f h o w t o a n a l y z e s t u d e n t w o r k a l l c o n t r i b u t e t o t e c h n i c a l l e a r n i n g . T h e p r o b l e m w o u l d s e e m t o b e w h e n t h e t e c h n i c a l l e a r n i n g o v e r w h e l m s a n d o v e r s h a d o w s t h e i n t e n d e d t e x t f o c u s e d o n s e l f - r e fl e c t i o n a n d s t u d e n t l e a r n i n g . F o r o n e t e a c h e r , t h i s p r o b l e m h a d n o r e s o l u t i o n . B e i n g t h e g o o d s c i e n c e e d u c a t o r , P a u l f r o m L o u i s i a n a c o m p a r e d t h e e x p e r i e n c e o f c e r t i fi c a t i o n t o t h e H e i s e n b e r g U n c e r t a i n t y P r i n c i p l e . P a u l s t a t e s : F r a n k l y I f o u n d t h a t i t w a s s o d i f fi c u l t . I t ’ s s o r t o f l i k e H e i s e n b e r g ’ s ’ P r i n c i p l e . Y o u c a n e i t h e r k n o w w h e r e t h e e l e c t r o n i s a n d n o t k n o w w h a t i t ’ s d o i n g o r k n o w w h a t i t ’ s d o i n g a n d n o t k n o w w h e r e i t i s . I c o u l d e i t h e r t e a c h a s a n e f f e c t i v e t e a c h e r o r I c o u l d g o t h r u t h i s p r o c e d u r e t o p r o v e I ’ m a n e f f e c t i v e t e a c h e r . ( G r o u p 2 A - 2 , T e a c h e r # 1 9 ) T h e i m p l i e d c o n c l u s i o n b e i n g “ b u t I c a n ’ t d o b o t h ” . P a u l c o u l d n o t p u t t h e t i m e a n d e n e r g y r e q u i r e d t o c o m m u n i c a t e t h e q u a l i t y o f h i s p r a c t i c e e f f e c t i v e l y t h r o u g h t h e c o n s t r u c t i o n o f t h e p o r t f o l i o a n d t e a c h w i t h t h e s a m e r e s o u r c e i n t e n s i t y t h a t h e w a s a c c u s t o m e d t o w i t h o u t t h e d e m a n d s o f t h e c e r t i fi c a t i o n p r o c e s s . S o f o r s o m e t e a c h e r s t h e c e r t i fi c a t i o n p r o c e s s a c t u a l l y s e e m e d t o b e a d i v e r s i o n f r o m t h e i r t e a c h i n g — i n f a v o r o f “ j u m p i n g t h r o u g h h o o p s ” — — r a t h e r t h a n a s t i m u l u s f o r r e fl e c t i n g o n o r l e a r n i n g a b o u t t e a c h i n g . S o d e fi n e d , l e a r n i n g f r o m c e r t i fi c a t i o n h a s v a l u e 1 7 0 t h a t i s n a r r o w l y i n s t r u m e n t a l a t b e s t . W h a t p e r c e n t a g e o f t e a c h e r s w h o f a i l c e r t i fi c a t i o n w o u l d t h i s a p p l y t o ? H o w c o u l d t h e p r o c e s s b e i m p r o v e d t o i n c l u d e t h i s k i n d o f t e a c h e r ? O r , i s p a r t o f b e i n g a n a c c o m p l i s h e d t e a c h e r t h a t t h e t e c h n i c a l k n o w l e d g e i s n o t a c h a l l e n g e ? D o e s t h e t e c h n i c a l k n o w l e d g e s o m e h o w f a c i l i t a t e t h e D y n a m i c L e a r n i n g p r e v i o u s l y d i s c u s s e d ? T h e s e a r e q u e s t i o n s a l l r a i s e d b y t h i s a n a l y s i s , b u t w h o s e a n s w e r s m u s t w a i t f o r f u t u r e r e s e a r c h . D e f e r r e d L e a r n i n g T h e t h i r d i n t e r p r e t a t i o n o f h o w l e a r n i n g m i g h t i n fl u e n c e t e a c h e r q u a l i t y i s d e s c r i b e d a s “ D e f e r r e d L e a r n i n g ” . I n t h i s c a s e , s i g n i fi c a n t c h a n g e s f r o m p r e t o p o s t d o n o t t r a n s l a t e i n t o i m m e d i a t e c h a n g e s i n t e a c h e r p r a c t i c e . H o w e v e r , c h a n g e m a y b e c o m e a p p a r e n t o r t a k e e f f e c t a f e w m o n t h s o r y e a r s a f t e r c e r t i fi c a t i o n . I n C o n c e p t u a l C h a n g e T h e o r y , S t r i k e a n d P o s n e r h i n t a t a ‘ d e f e r r e d ’ t y p e o f l e a r n i n g w h e n t h e y s a y t h a t c o n c e p t u a l c h a n g e l e a r n i n g w a s n o t i n t e n d e d t o p r o v i d e “ a d e t a i l e d a c c o u n t o f l e a r n i n g t h a t c o u l d b e i m m e d i a t e l y a p p l i e d t o t h e c l a s s r o o m ” ( S t r i k e & P o s n e r , 1 9 9 2 ) . I n o t h e r w o r d s , t h e r e c o u l d b e a d e l a y b e t w e e n l e a r n i n g a n d a c t i o n t h a t i s b a s e d u p o n t h a t l e a r n i n g . T e a c h e r s m a y r e q u i r e a c e r t a i n d i s t a n c e f r o m t h e c e r t i fi c a t i o n e x p e r i e n c e t o m a k e s e n s e o u t w h a t t h e y l e a r n e d a n d a p p l y i t t o p r a c t i c e . F o r e x a m p l e , s p e c i fi c i d e a s p e r t a i n i n g t o S c i e n t i f i c I n q u i r y m a y r e q u i r e a s i g n i fi c a n t g e s t a t i o n p e r i o d , b e f o r e t h e i r i m p o r t a n c e o r u n d e r l y i n g c o n c e p t s a r e w e l l e n o u g h u n d e r s t o o d a s t o r e s u l t i n c h a n g e s t o c l a s s r o o m p r a c t i c e . W i t h D e f e r r e d L e a r n i n g , T e a c h e r Q u a l i t y m a y i m p r o v e i n t h e f u t u r e , b u t n o t i m m e d i a t e l y a f t e r t h e e x p e r i e n c e . A n o t h e r w a y t o t h i n k a b o u t D e f e r r e d L e a r n i n g i s t o i n c l u d e t h e c o n c e p t o f u n c e r t a i n t y . T o t h e e x t e n t t h a t a t e a c h e r i s u n c e r t a i n h o w o r i f l e a r n i n g t o o k p l a c e a s a 1 7 1 r e s u l t o f N a t i o n a l B o a r d c e r t i f i c a t i o n , t h e p o s s i b i l i t y e x i s t s t h a t a l e a r n i n g o u t c o m e m i g h t b e r e a l i z e d s o m e t i m e i n t h e n e a r o r f a r f u t u r e . W h i l e M a r k f r o m V i r g i n i a d e s c r i b e d w h e t h e r o r n o t N a t i o n a l B o a r d c e r t i fi c a t i o n a f f e c t e d h i s p r a c t i c e , h e m a d e t h e f o l l o w i n g c o m m e n t : “ I ’ m n o t s u r e t h a t i t ’ s c h a n g e d a t t h i s p o i n t h o w I t a u g h t . ” B y q u a l i f y i n g t h e s t a t e m e n t w i t h “ a t t h i s p o i n t ” , M a r k l e a v e s o p e n t h e p o s s i b i l i t y t h a t l e s s o n s l e a r n e d f r o m t h e e x p e r i e n c e w i l l b e c o m e r e a l i z e d a t a f u t u r e p o i n t i n t i m e . S u c h i s t h e c h a r a c t e r o f D e f e r r e d L e a r n i n g . W h a t i s i t a b o u t t h e p r o c e s s t h a t m i g h t r e s u l t i n u n c e r t a i n t y r e g a r d i n g t h e l e a r n i n g o u t c o m e s f o r a c a n d i d a t e ? O n e p o s s i b i l i t y r e l a t e s b a c k t o t h e c o n c e p t o f t h e p r e v i o u s d i s c u s s i o n o n T e c h n i c a l L e a r n i n g . F o r e x a m p l e , M e l i s s a f r o m K e n t u c k y d e s c r i b e s h e r t h i n k i n g o n t h e t o p i c a s f o l l o w s : N o w t h a t I ’ v e c o m p l e t e d e v e r y t h i n g - i t ’ s a l l t u r n e d i n - t h e s t r e s s f u l p a r t s o f i t a r e g o n e ; a n d I h a v e t h e o p p o r t u n i t y t o s o r t o f l o o k b a c k a n d o b s e r v e a n d s e e h o w s o m e o f t h e t h i n g s h a v e b e e n i n c o r p o r a t e d i n t o m y t e a c h i n g - — I t h i n k t h a t i t w a s p a r t i c u l a r l y u s e f u l . ( T e a c h e r # 1 2 f r o m G r o u p 2 A - P o s t ) M e l i s s a i s d e s c r i b i n g t h e s t r e s s a s s o c i a t e d w i t h T e c h n i c a l L e a r n i n g i n t e r f e r i n g w i t h t h e a d v e n t o f D y n a m i c L e a r n i n g . W h a t i s r e a l l y i n t e r e s t i n g a b o u t t h i s r e m a r k i s t h e p h r a s e “ I h a v e t h e o p p o r t u n i t y t o s o r t o f l o o k b a c k a n d o b s e r v e a n d s e e h o w s o m e o f t h e t h i n g s h a v e b e e n i n c o r p o r a t e d i n t o m y t e a c h i n g ” . T h i s a c t i s a f o r m o f m e t a - c o g n i t i o n w h e r e t h e t e a c h e r e x a m i n e s h e r p r a c t i c e t o i d e n t i f y c h a n g e s a n d t h u s l e a r n i n g o u t c o m e s . T h i s t e a c h e r i s n o t c l a i m i n g t h a t t h e y a r e m o r e r e fl e c t i v e , m o r e s t u d e n t - c e n t e r e d , m o r e f o c u s e d o n p l a n n i n g o r a s s e s s m e n t o r e n g a g e m e n t . N o s p e c i fi c o u t c o m e i s i d e n t i fi e d — y e t . T h e t e a c h e r s e e s t h i s k i n d o f a n a l y s i s a s r e m o v e d f r o m t h e “ s e l f ” . A t t h i s p o i n t , t h e t e a c h e r i s u n a w a r e o f h o w h e r p r a c t i c e m a y h a v e c h a n g e d . I t m a y n o t h a v e c h a n g e d a n d t h e n a g a i n i t m a y h a v e . M e l i s s a n e e d s d i s t a n c e f r o m t h e i n t e n s e e x p e r i e n c e o f c e r t i fi c a t i o n a n d t i m e 1 7 2 t o l o o k d o w n u p o n h e r w o r k a n d t r y t o r e c o g n i z e d i f f e r e n c e s i n v a l u e s , d e c i s i o n m a k i n g , a n d b e l i e f s t h a t m a y h a v e b e e n i n s t i l l e d f r o m t h e c e r t i fi c a t i o n e x p e r i e n c e . M a l c o l m f r o m G e o r g i a m a k e s a s i m i l a r i f m o r e d e t a i l e d p o i n t a b o u t u n c e r t a i n t y a n d l e a r n i n g . M a l c o l m , l i k e M e l i s s a , w a s o v e r w h e l m e d b y t h e t e c h n i c a l l e a r n i n g r e q u i r e m e n t s o f t h e N a t i o n a l B o a r d c e r t i fi c a t i o n p r o c e s s . I n h i s c o m m e n t m a d e a p p r o x i m a t e l y 4 m o n t h s a f t e r c o m p l e t i n g h i s p o r t f o l i o a n d a s s e s s m e n t c e n t e r e x a m s , M a l c o l m d e s c r i b e s h i s l e a r n i n g e x p e r i e n c e a s f o l l o w s : I ’ m j u s t r e a l l y q u i c k l y r e m o v e d f r o m i t a n d I h a v e n ’ t e v e n f o u n d o u t i f I ’ v e g o t t e n i t y e t . B u t I s o m e t i m e s f e l t l i k e I w a s — I f e l t l i k e I — I h a d t o p u t a l o t o f t i m e a n d e f f o r t i n t o t h e N a t i o n a l B o a r d C e r t i fi c a t i o n i t s e l f s o I f e l t l i k e s o m e t i m e s t h e r e w e r e t i m e s t h a t i t t o o k a w a y f r o m t h e t i m e I c o u l d h a v e p u t i n t o t h e o v e r a l l c l a s s r o o m t o h e l p t h e s t u d e n t s b y - b y m e h a v i n g t o d o s o m e o f t h e s t u f f t h a t I w a s d o i n g f o r N a t i o n a l B o a r d — s u c h a s v i d e o t a p i n g , w h i c h i s n o t a c o m m o n p r a c t i c e . A n d t h e k i d s d o n ’ t a c t t h e s a m e o n v i d e o t a p e t h a t t h e y w o u l d a c t i n n o r m a l c i r c u m s t a n c e . G e t t i n g a l l t h e k i d s t o s i g n t h e r e l e a s e f o r m s , y o u k n o w - — j u s t y o u k n o w t h e d e t a i l s o f t h e N a t i o n a l B o a r d , I t h i n k l e a d m e t o m a y b e n o t - n o t t h i n k t h a t i t w o u l d b e n e fi t t h e s t u d e n t s a s m u c h . N o w a s k m e i n 5 y e a r s a f t e r I ’ v e g o t t e n t h e c e r t i fi c a t i o n a n d I d o n ’ t h a v e t o w o r k o n t h e s p e c i fi c s a n d d o n ’ t h a v e t o v i d e o t a p e a n d d o n ’ t h a v e t o j u m p t h r o u g h s o m e o f t h o s e h o o p s a n y m o r e . ( G r o u p 1 , T e a c h e r # 2 0 ) T h e fi r s t p o i n t o f i n t e r e s t i s M a l c o l m ’ s u s e o f t h e p h r a s e “ q u i c k l y r e m o v e d ” f r o m t h e c e r t i fi c a t i o n p r o c e s s . F o u r m o n t h s a f t e r fi n i s h i n g t h e r e q u i r e m e n t s o f c e r t i f i c a t i o n ( i n c l u d i n g a s u m m e r v a c a t i o n ) , t h i s t e a c h e r i s s t i l l r a c k e d w i t h u n c e r t a i n t y a b o u t w h a t w a s g a i n e d ( i f a n y t h i n g ) f r o m t h e e x p e r i e n c e . T h e s e c o n d i m p o r t a n t p o i n t p e r t a i n s t o t h e c o m m e n t , “ a n d I h a v e n ’ t e v e n f o u n d o u t i f I ’ v e g o t t e n i t y e t ” . F o r M a l c o l m , t h e r e i s a r e l a t i o n s h i p b e t w e e n t h e l e a r n i n g e x p e r i e n c e a n d t h e s t a t u s o f a s u c c e s s f u l c a n d i d a c y o r n o t . I f t h e t e a c h e r p a s s e s , t h e y m a y l o o k b a c k o n t h e e x p e r i e n c e i n a m o r e p o s i t i v e l i g h t a n d i d e n t i f y l e a r n i n g , i f u n s u c c e s s f u l , t h e o p p o s i t e m i g h t o c c u r . T h i s c o m m e n t p o i n t s t o 1 7 3 t h e i m p o r t a n c e o f c o l l e c t i n g d a t a f r o m t h e p o s t c a n d i d a t e s p r i o r t o t h e a n n o u n c e m e n t o f r e s u l t s a s w a s d o n e i n t h i s s t u d y . T h e t h i r d p o i n t o f i n t e r e s t i s t h e p h r a s e , “ I h a d t o p u t a l o t o f t i m e a n d e f f o r t i n t o t h e N a t i o n a l B o a r d C e r t i fi c a t i o n i t s e l f ” . T h e u s e o f t h e w o r d ‘ i t s e l f ’ i s a d i r e c t i n d i c a t i o n o f t h e t e c h n i c a l d i m e n s i o n o f l e a r n i n g a s s o c i a t e d w i t h t h e c e r t i fi c a t i o n p r o c e s s . T h e t e a c h e r i s n o t i d e n t i f y i n g s p e c i fi c i s s u e s o f p e d a g o g y a s s o c i a t e d w i t h a p a r t i c u l a r e n t r y o r a r t i f a c t ; t h e t e a c h e r i s i d e n t i f y i n g t h e p r o c e s s o f c e r t i fi c a t i o n i t s e l f a s t h e c e n t r a l i s s u e . M a l c o l m g o e s o n t o d e s c r i b e h o w t h e ‘ c e r t i fi c a t i o n i t s e l f ’ i n t e r f e r e d w i t h t h e q u a l i t y o f i n s t r u c t i o n f o r t h o s e s t u d e n t s i n c l a s s a t t h e t i m e o f t h e p o r t f o l i o c o n s t r u c t i o n . T h o u g h M a l c o l m ’ s c o m m e n t p r o v i d e s e v i d e n c e t h a t h e m a y b e a n e x a m p l e o f d e f e r r e d l e a r n i n g , h i s c o m m e n t a l s o p o i n t s t o t h e t e c h n i c a l l e a r n i n g . H i s c o m m e n t s a b o u t v i d e o s , r e l e a s e f o r m s , a n d ‘ t h e d e t a i l s o f N a t i o n a l B o a r d ’ a l l s u g g e s t t h a t h e l e a r n e d q u i t e a b i t a b o u t t h e c e r t i fi c a t i o n p r o c e s s . T h e i s s u e i s w h e t h e r t h e t e c h n i c a l l e a r n i n g M a l c o l m c l e a r l y e x p e r i e n c e d i n t e r f e r e d w i t h o r c o n t r i b u t e d t o t h e p o s s i b i l i t y o f d e f e r r e d l e a r n i n g . I n o t h e r w o r d s , i f t h e t e c h n i c a l a s p e c t s o f c e r t i fi c a t i o n w e r e n o t s u c h a d i s t r a c t i o n f o r M a l c o l m , w o u l d h i s l e a r n i n g b e m o r e c h a r a c t e r i s t i c o f D y n a m i c L e a m i n g ? T h e r e l a t i o n s h i p b e t w e e n T e c h n i c a l , D y n a m i c , a n d D e f e r r e d L e a r n i n g c o u l d b e f u r t h e r i n v e s t i g a t e d i n f u t u r e r e s e a r c h . A d d i t i o n a l C o n s i d e r a t i o n s f o r L e a r n i n g T y p e s H o w o f t e n d o e s e a c h o f t h e s e l e a r n i n g c a t e g o r i e s o c c u r ? W h a t e l s e m i g h t b e h e l p f u l i n u n d e r s t a n d i n g t h e s e p o s s i b l e i n t e r p r e t a t i o n s o f l e a r n i n g ? W h a t a r e t h e r e l a t i v e f r e q u e n c i e s a m o n g c a n d i d a t e s ? I c a n n o t a n s w e r t h e s e q u e s t i o n s f o r t h e g e n e r a l p o p u l a t i o n o f A Y A S c i e n c e c a n d i d a t e s , b u t I c a n m a k e a n e d u c a t e d g u e s s f o r e a c h w i t h i n 1 7 4 t h e c o n f i n e s o f t h e p o s t - i n t e r v e n t i o n i n t e r v i e w s f r o m t h i s s t u d y . M y e s t i m a t i o n f o r t h e p e r c e n t o c c u r r e n c e o f e a c h l e a r n i n g c a t e g o r y i s b a s e d u p o n m y r e v i e w o f a l l p o s t d e s c r i p t i o n s o f t h e N a t i o n a l B o a r d c e r t i fi c a t i o n e x p e r i e n c e a n d s e r v e s a s a p o s s i b l e i n d i c a t o r f o r t h e r e l a t i v e f r e q u e n c y o f e a c h o f t h e t h r e e l e a r n i n g t y p e s i d e n t i fi e d i n t h i s s t u d y . A r e v i e w o f a l l r e s p o n s e s c o d e d f o r d y n a m i c , t e c h n i c a l , a n d d e f e r r e d l e a r n i n g ( N : 7 8 t e a c h e r s ) r e v e a l s t h a t r o u g h l y e q u a l n u m b e r s o f t e a c h e r s c o u l d b e c a t e g o r i z e d a s e i t h e r ‘ D y n a m i c ’ o r ‘ T e c h n i c a l ’ t o t a l i n g a s i g n i fi c a n t m a j o r i t y o f n e a r l y 9 0 % o f t h e p o s t - i n t e r v i e w s . A m i n o r i t y o f 1 0 % o f t h e t e a c h e r s c o u l d b e c a t e g o r i z e d a s ‘ D e f e r r e d ’ . T h o u g h n o t s c i e n t i fi c a l l y v a l i d , t h e s e r a t e s i n d i c a t e a p o s s i b l e d i v i s i o n b e t w e e n s c i e n c e t e a c h e r s a n d t h e q u a l i t y o f t h e i r e x p e r i e n c e w i t h N a t i o n a l B o a r d t h a t w i l l b e e x p l o r e d f u r t h e r i n t h e c o n c l u d i n g t h o u g h t s s e c t i o n o f t h i s s t u d y . W i t h t h e s e l e a r n i n g t y p e s , I h a v e c a t e g o r i z e d t h e e x p r e s s e d l e a r n i n g e x p e r i e n c e s i n r e l a t i o n t o t h e i r p o t e n t i a l i m p a c t u p o n t e a c h e r q u a l i t y . H o w e v e r , t h i s i s b u t o n e o f m a n y p o s s i b l e i n t e r p r e t a t i o n s o f t h e r e s u l t s . F o r e x a m p l e , t h e t e a c h e r ’ s s e l f - r e p o r t s o f l e a r n i n g f r o m N a t i o n a l B o a r d c o u l d a l s o b e i n t e r p r e t e d f r o m a n e m o t i o n a l p e r s p e c t i v e . A r e v i e w o f t h e c o m m e n t s c l a s s i fi e d a s ‘ D y n a m i c ’ c o u l d b e i n t e r p r e t e d a s c o m i n g f r o m t e a c h e r s w h o f e l t ‘ g o o d ’ a b o u t t h e e x p e r i e n c e . F o r t h e m , N a t i o n a l B o a r d c e r t i fi c a t i o n w a s e m o t i o n a l l y a v e r y p o s i t i v e e n d e a v o r . R e g a r d l e s s o f w h e t h e r t h e y u l t i m a t e l y p a s s e d o r f a i l e d , t h e s e t e a c h e r s c o n n e c t e d w i t h a n d a p p r e c i a t e d t h e p r o c e s s o n a n i n t e l l e c t u a l , p h i l o s o p h i c a l , a n d e m o t i o n a l l e v e l . L i k e w i s e , a r e v i e w o f c o m m e n t s f r o m t e a c h e r s c l a s s i fi e d a s ‘ T e c h n i c a l ’ c o u l d b e i n t e r p r e t e d a s o r i g i n a t i n g f r o m a m o r e n e g a t i v e e m o t i o n s u c h a s f r u s t r a t i o n , d e s p a i r , a n n o y a n c e , o r f u t i l i t y . F o r t h e s e t e a c h e r s , c e r t i fi c a t i o n w a s a t r i a l b y fi r e t h a t d i d n o t l i v e 1 7 5 u p t o e x p e c t a t i o n s o r p r o v e d d i s t a s t e f u l o n a n i n t e l l e c t u a l , p h i l o s o p h i c a l , o r e m o t i o n a l l e v e l . T h e ‘ D e f e r r e d ’ l e a r n e r s m a y s i m p l y b e c o n f u s e d e m o t i o n a l l y o n e w a y o r t h e o t h e r . T h e y r e m a i n u n c e r t a i n i f t h e y l i k e d i t o r n o t a n d o n l y t i m e w i l l h e l p t h e m r e s o l v e ( i f e v e r ) t h e s i t u a t i o n . A n e m o t i o n a l i n t e r p r e t a t i o n r a i s e s t h e q u e s t i o n , “ W h y w o u l d s o m e c a n d i d a t e s r e a c t t o t h e c e r t i fi c a t i o n p r o c e s s i n a n e m o t i o n a l l y p o s i t i v e , n e g a t i v e , o r u n s u r e s u r e f a s h i o n ? ” A p o s s i b l e a n s w e r w i l l b e d i s c u s s e d i n t h e fi n a l s e c t i o n . A s t e a c h e r s r e fl e c t o n t h e p r o c e s s a f t e r t h e f a c t , m a n y m a y b e c o n s i d e r i n g h o w t o m a k e u s e o f t h i n g s t h e y l e a r n e d , e x p l o r i n g d i s c r e p a n c i e s b e t w e e n t h e i r p r e f e r r e d m e t h o d s a n d w h a t t h e y p e r c e i v e t o b e p r e f e r r e d b y t h e N a t i o n a l B o a r d . S u c h r e fl e c t i o n c a n m o v e i n t w o d i r e c t i o n s — t o r e a f fi r m a t e a c h e r ’ s c o m m i t m e n t t o h i s o r h e r e x i s t i n g p r e f e r e n c e s , o r t o p r o v o k e s o m e c h a n g e . T h i s s t u d y d o e s n o t h a v e d a t a t h a t c o u l d i d e n t i f y a t e a c h e r ’ s p r e f e r r e d b e l i e f s o r v a l u e s a b o u t t h e i r p r a c t i c e a n d h o w t h a t p r a c t i c e c o m p a r e d t o N a t i o n a l B o a r d ’ s v i s i o n o f a c c o m p l i s h e d t e a c h i n g , p r i o r t o , d u r i n g , o r a f t e r t h e i n t e r v e n t i o n . T h i s i n v e s t i g a t i o n w a s f o c u s e d o n i d e n t i f y i n g w h a t t e a c h e r s m a y o r m a y n o t h a v e l e a r n e d f r o m c e r t i fi c a t i o n , n o t i n a c t u a l c h a n g e s t o p r a c t i c e . H o w e v e r , i t i s r e a s o n a b l e t o c o n c l u d e t h a t t o t h e e x t e n t t h a t c e r t i fi c a t i o n u n s e t t l e d s o m e t e a c h e r s ’ t h i n k i n g , t h e e x p e r i e n c e h o l d s t h e p o s s i b i l i t y o f u s h e r i n g c h a n g e — b u t o n l y t h e p o s s i b i l i t y . S t u d y S u m m a r y B e f o r e p r e s e n t i n g m y c o n c l u d i n g t h o u g h t s o n t h i s r e s e a r c h , I w a n t t o s u m m a r i z e t h e fi n d i n g s f r o m t h i s i n v e s t i g a t i o n a n d p u t t h e c o n c l u s i o n s i n a c o n t e x t o f c o m p a r a b l e r e s e a r c h . T h o u g h t h e r e s u l t s f r o m t h e C o m b i n e d H y p o t h e s i s i n d i c a t e d a n o v e r a l l e f f e c t s i z e 0 . 4 7 w i t h l e a r n i n g i d e n t i fi e d i n t h e a r e a s o f S c i e n t i f i c I n q u i r y a n d A s s e s s m e n t , t h e 1 7 6 m e t h o d o l o g i c a l i s s u e s a s s o c i a t e d w i t h d a t a c o l l e c t i o n m u s t q u a l i f y a n y c o n c l u s i o n d r a w n f r o m t h e d a t a . T h e l i m i t a t i o n s o f t h i s s t u d y a r e n o t n u m e r o u s , b u t t h e y a r e v e r y i m p o r t a n t . L i m i t a t i o n s i n t h i s s t u d y a r e a s s o c i a t e d w i t h t h e r e c r u i t m e n t o f p r e - i n t e r v e n t i o n t e a c h e r s i n G r o u p 2 A , t h e s m a l l s i z e o f G r o u p 2 A , a n d a l o w i n t e r - r a t e r r e l i a b i l i t y m e a s u r e . T a k e n t o g e t h e r , t h e s e l i m i t a t i o n s e x p l a i n w h y I f a i l e d t o r e j e c t s e v e r a l N o n - E q u i v a l e n t N u l l H y p o t h e s e s . T h o u g h a l l m e a n d i f f e r e n c e s i n N o n - E q u i v a l e n t H y p o t h e s e s w e r e i n t h e p r e d i c t e d p o s i t i v e d i r e c t i o n , t h e i r m a g n i t u d e w a s n o t g r e a t e n o u g h t o b e s i g n i fi c a n t a t t h e 0 . 0 5 l e v e l . T h e m o s t l i k e l y c a u s e f o r n o n - s i g n i fi c a n t d i f f e r e n c e s c a n b e t r a c e d t o t h e l a c k o f a t r u e ‘ p r e - i n t e r v e n t i o n ’ s t a t u s f o r t h e c a n d i d a t e s . T h e l a c k o f a t r u e ‘ p r e — s t a t u s ’ w a s a t t r i b u t a b l e t o p r o b l e m s a s s o c i a t e d w i t h G r o u p 2 A . G r o u p 2 A w a s s h o w n t o b e p r o b l e m a t i c o n s e v e r a l d i f f e r e n t a c c o u n t s . F i r s t , i n s t i t u t i o n a l a n d p r o c e d u r a l o b s t a c l e s h a m p e r e d t h e t i m e l y a n d e f fi c i e n t r e c r u i t m e n t o f p a r t i c i p a n t s f o r G r o u p 2 A . T h e d e l a y s r e s u l t i n g f r o m t h e s e o b s t a c l e s r e s u l t e d i n a l e s s t h e n i d e a l ‘ p r e - i n t e r v e n t i o n ’ s t a t u s f o r d a t a c o l l e c t i o n . T h i s p r o b l e m w a s e x p l o r e d t h r o u g h a r e g r e s s i o n a n a l y s i s b e t w e e n a c a n d i d a t e ’ s s u m s c o r e a n d t h e s t a t u s o f t h e c a n d i d a t e a t t h e t i m e o f t h e p r e - i n t e r v i e w . H a d t h e p r e - i n t e r v i e w o c c u r r e d a t a n e a r l i e r p o i n t i n t h e c e r t i fi c a t i o n p r o c e s s , m o s t l i k e l y t h e d a t a c o l l e c t e d f r o m G r o u p 2 A - P r e w o u l d h a v e r e s u l t e d i n m o r e ( i f n o t a l l ) N o n - E q u i v a l e n t H y p o t h e s e s b e i n g r e j e c t e d . A n o t h e r u n f o r t u n a t e c o n s e q u e n c e t h a t r e s u l t e d f r o m d e l a y s i n r e c r u i t m e n t p e r t a i n s t o v a r i a t i o n i n t h e s e l e c t i o n a n d a s s i g n m e n t o f t e a c h e r s t o g r o u p s . I n G r o u p s 1 a n d 2 B , t e a c h e r s w e r e r a n d o m l y s e l e c t e d f r o m a l i s t o f w i l l i n g c a n d i d a t e s . H o w e v e r , f o r G r o u p s 2 a n d 3 t e a c h e r s w e r e s e l e c t e d o n a ‘ fi r s t c o m e fi r s t s e r v e ’ b a s i s . I n a d d i t i o n , G r o u p 2 t e a c h e r s w e r e o r i g i n a l l y t o b e i d e n t i fi e d b e f o r e t h e i n t e r v e n t i o n a n d t h e n r a n d o m l y 1 7 7 a s s i g n e d t o e i t h e r G r o u p 2 A o r 2 B . B e c a u s e o f t h e i s s u e s a s s o c i a t e d w i t h r e c r u i t m e n t p r o b l e m s , t h i s b e c a m e i m p o s s i b l e . I m p r o v e d r e c r u i t m e n t p r o c e d u r e s w o u l d h a v e a l l o w e d f o r m o r e c o n s i s t e n t u s e o f a r a n d o m i z e d s e l e c t i o n p r o c e s s f o r a l l t h r e e g r o u p s a n d r a n d o m a s s i g n m e n t w i t h i n G r o u p 2 t o e i t h e r 2 A o r 2 B . B e c a u s e o f t h e s e p r o b l e m s a n d t h e q u a s i - e x p e r i m e n t a l n a t u r e o f t h i s r e s e a r c h , t h e c o n c l u s i o n s f r o m t h i s s t u d y a r e g e n e r a l i z a b l e t o s e c o n d a r y s c i e n c e t e a c h e r s w h o s e l f - s e l e c t t h e m s e l v e s f o r N a t i o n a l B o a r d c e r t i fi c a t i o n i n A d o l e s c e n t a n d Y o u n g A d u l t S c i e n c e . T h u s , e x t e r n a l v a l i d i t y i s l i m i t e d t o t h i s p o p u l a t i o n o f t e a c h e r s . G r o u p s i z e w a s a n o t h e r p r o b l e m . T h e s i z e o f G r o u p 2 A w a s t o o s m a l l c o m p a r e d t o t h e o t h e r g r o u p s . B e c a u s e G r o u p 2 w a s d i v i d e d i n t o G r o u p 2 A a n d 2 B t o c h e c k f o r t h e e f f e c t o f t e s t i n g , G r o u p 2 A - P r e e n d e d u p b e i n g l e s s t h e n h a l f t h e s i z e o f G r o u p s 1 o r 3 . A n d y e t , G r o u p 2 A p l a y e d a m o r e c e n t r a l r o l e i n t h i s a n a l y s i s t h a n a n y o f t h e o t h e r 4 g r o u p s . I n c r e a s i n g G r o u p 2 ’ s s i z e w o u l d p r o b a b l y a l l e v i a t e m a n y o f t h e m e t h o d o l o g i c a l i s s u e s a s s o c i a t e d w i t h t h i s a n a l y s i s . I n r e t r o s p e c t , i t w o u l d h a v e b e e n w i s e r t o p l a c e 3 0 t e a c h e r s i n e a c h o f G r o u p s 1 , a n d 3 a n d 6 0 t e a c h e r s i n G r o u p 2 . W i t h t h i s a l l o c a t i o n , t h e r e w o u l d b e a n e q u a l d i s t r i b u t i o n o f t e a c h e r s b e t w e e n G r o u p 1 , G r o u p 2 A , G r o u p 2 B , a n d G r o u p 3 . T h e s t u d y w o u l d h a v e b e e n t h e s a m e s i z e ( n = 1 2 0 ) , b u t G r o u p s 2 A a n d 2 B w o u l d b e l a r g e r t o c o r r e s p o n d w i t h t h e i r g r e a t e r p r e s e n c e i n t h e s e r i e s o f N o n - E q u i v a l e n t a n d E q u i v a l e n t , h y p o t h e s e s . F i n a l l y , i n t e r - r a t e r r e l i a b i l i t y w a s l e s s t h a n i d e a l f o r m e a s u r e m e n t i n s t r u m e n t s . T h o u g h a r e l i a b i l i t y o f . 4 3 b e t w e e n a s s e s s o r s i s c o n s i d e r e d l o w t o m o d e r a t e i n s o c i a l r e s e a r c h , t h e r e i s r e a s o n t o b e l i e v e t h a t w i t h g r e a t e r r e s o u r c e s o f t i m e a n d m o n e y t h i s r e l i a b i l i t y m e a s u r e c o u l d h a v e b e e n i m p r o v e d . H a d a s s e s s o r s m e t t o g e t h e r a s a g r o u p i n 1 7 8 p e r s o n f o r a w e e k e n d t o w r e s t l e w i t h i s s u e s s p e c i f i c t o t h i s r e s e a r c h , m a n y o f t h e i n c o n s i s t e n c i e s o b s e r v e d c o u l d p r o b a b l y h a v e b e e n a v o i d e d . I t i s i m p o r t a n t t o r e m e m b e r t h a t c o l l e c t i n g e v i d e n c e o n e a c h o f t h e 1 3 s t a n d a r d s o f a c c o m p l i s h e d t e a c h i n g i s a c o m p l e x a c t i v i t y t h a t c o u l d b e i m p r o v e d w i t h p r a c t i c e a n d d i s c u s s i o n . T u r n i n g t o t h e q u a l i t a t i v e d a t a , t h i s s t u d y i s a l s o s i g n i fi c a n t i n i d e n t i f y i n g w h i c h a s p e c t s o f t h e N a t i o n a l B o a r d ’ s s t a n d a r d s a p p e a r e d t o e x e r t t h e g r e a t e s t i n fl u e n c e . T h e c o n s i s t e n c y b e t w e e n i d e n t i fi e d q u a n t i t a t i v e g a i n s a n d t h e n u m b e r o f t e a c h e r c o m m e n t s p e r t a i n i n g t o s p e c i fi c s t a n d a r d s p r o v i d e s s u p p o r t a n d i n t e r n a l c o n fi r m a t i o n a b o u t w h a t t e a c h e r s l e a r n e d f r o m t h e e x p e r i e n c e . W h y t h e S c i e n t i fi c I n q u i r y a n d A s s e s s m e n t a n d n o t t h e o t h e r s ? L o g i c w o u l d s u g g e s t t h a t t h e g r e a t e s t l e a r n i n g i s l i k e l y t o o c c u r w h e r e t h e r e w a s t h e l a r g e s t d i s c r e p a n c y b e t w e e n “ s t a n d a r d s - b a s e d p r a c t i c e ” a n d p r e - e x i s t i n g t e a c h i n g . I f t h i s i s r o u g h l y t r u e , t h e n t h i s s t u d y m a y i n d i c a t e t h a t m a n y s e c o n d a r y s c i e n c e t e a c h e r s a r e n o t e m p h a s i z i n g p r i n c i p l e s a n d p r a c t i c e s o f t h e s c i e n t i f i c i n q u i r y i n t h e i r i n s t r u c t i o n , n o r u s i n g a s s e s s m e n t f e e d b a c k i n o n g o i n g i n s t r u c t i o n a l d e c i s i o n - m a k i n g . T h i s c o n j e c t u r e p o i n t s t o t h e s e a s p e c t s o f p r a c t i c e a s n e e d f u l o f i m p r o v e m e n t i n b o t h p r e - s e r v i c e a n d i n - s e r v i c e e d u c a t i o n f o r s c i e n c e t e a c h e r s . I n t e r m s o f p o s s i b l e i m p a c t u p o n T e a c h e r Q u a l i t y , t h e s t u d y u n c o v e r e d a m i x o f w h a t I c a l l “ d y n a m i c , ” “ t e c h n i c a l , ” a n d “ d e f e r r e d ” l e a r n i n g . T h i s t o o s e e m s q u i t e p l a u s i b l e . S o m e t e a c h e r s m i g h t r e g a r d B o a r d c e r t i fi c a t i o n a s a g e n u i n e l e a r n i n g o p p o r t u n i t y , o t h e r s m i g h t u n d e r t a k e i t f o r t h e e x t r i n s i c r e w a r d s , a n d s t i l l o t h e r s m i g h t l e a r n f r o m t h e p r o c e s s i n a g r a d u a l l y e v o l v i n g m a n n e r . M i x e d m o t i v e s a n d o u t c o m e s a r e m o r e n e a r l y t h e n o r m i n h u m a n a f f a i r s t h a n s i n g u l a r o r p r i s t i n e r e s u l t s . I n f a c t , t h e d i f f e r e n t c a t e g o r i e s o f l e a r n i n g d e s c r i b e d i n t h i s s t u d y s u p p o r t t h e c o n c l u s i o n t h a t B o a r d 1 7 9 c e r t i fi c a t i o n p r o v i d e s t h e o p p o r t u n i t y f o r t e a c h e r s t o l e a r n a b o u t s p e c i fi c a s p e c t s o f t h e i r w o r k . H o w t h a t l e a r n i n g i m p a c t s p r a c t i c e r e m a i n s u n c l e a r h o w e v e r . T e a c h e r s i n t h i s s t u d y d e m o n s t r a t e d s i g n i fi c a n t l e a r n i n g i n t h e a r e a s o f S c i e n t i f i c I n q u i r y a n d A s s e s s m e n t r e g a r d l e s s o f w h e t h e r o r n o t t h e y w e r e s u c c e s s f u l a t a c h i e v i n g B o a r d c e r t i fi c a t i o n o r t h e c h a r a c t e r i s t i c s o f t h e i r p a r t i c u l a r s c h o o l s e t t i n g . T h e r e f o r e , i t w o u l d a p p e a r t h a t t h e b e n e fi t s o f B o a r d c e r t i fi c a t i o n g o b e y o n d t h e i m m e d i a t e fi n a n c i a l r e w a r d s s o m e s u c c e s s f u l c a n d i d a t e s r e c e i v e t o t a k e t h e f o r m o f i m p r o v e d k n o w l e d g e a n d p r a c t i c e i n s c i e n c e i n s t r u c t i o n f o r b o t h t h o s e w h o a c h i e v e a n d t h o s e w h o d o n o t a c h i e v e c e r t i fi c a t i o n . I f t e a c h e r l e a r n i n g i s c o n s i d e r e d a n i m p o r t a n t c o m p o n e n t t o i m p r o v i n g t e a c h e r q u a l i t y a n d u l t i m a t e l y s t u d e n t a c h i e v e m e n t , t h e n t h e s e r e s u l t s p o i n t t o t h e p o s s i b i l i t y t h a t t h e p r o c e s s o f B o a r d c e r t i fi c a t i o n m a y p o s i t i v e l y i m p a c t t h e q u a l i t y o f i n s t r u c t i o n ( a s d e fi n e d b y t h e N a t i o n a l B o a r d ) a n d s t u d e n t s ’ l e a r n i n g e x p e r i e n c e s r e g a r d i n g t w o v i t a l a r e a s o f i n s t r u c t i o n . F u r t h e r r e s e a r c h o n t h i s r e l a t i o n s h i p i s n e e d e d t o p i n p o i n t t h e d e g r e e t o w h i c h s c i e n c e t e a c h i n g i m p r o v e s , t h e d u r a t i o n o f t h o s e c h a n g e s , a n d t h e i m p a c t o f c h a n g e s i n p r a c t i c e u p o n s t u d e n t a c h i e v e m e n t . O n b a l a n c e , t h o u g h , I a m i n c l i n e d t o r e a d t h e o v e r a l l p a t t e r n o f r e s u l t s i n s u p p o r t o f N a t i o n a l B o a r d c e r t i fi c a t i o n a s a w o r t h w h i l e f o r m o f p r o f e s s i o n a l d e v e l o p m e n t . T h e c a v e a t s , a s a l w a y s , a r e i m p o r t a n t , b u t s o i s t h e p r e p o n d e r a n c e o f t h e e v i d e n c e . C o n c l u d i n g T h o u g h t s S o , a f t e r a l l t h e d a t a c o l l e c t i o n , a f t e r a l l t h e a n a l y s i s , a n d a f t e r t h e l e a r n i n g h a s b e e n i d e n t i fi e d , q u a n t i fi e d , a n d s u b s t a n t i a t e d , w h a t d i d I l e a r n f r o m t h i s r e s e a r c h e x p e r i e n c e t h a t m i g h t b e o f v a l u e t o t h e g r e a t e r e d u c a t i o n c o m m u n i t y ? H o w d o e s t h e i d e n t i fi e d e f f e c t s i z e o f N a t i o n a l B o a r d c e r t i fi c a t i o n c o m p a r e w i t h o t h e r s c i e n c e 1 8 0 e d u c a t i o n p r o f e s s i o n a l d e v e l o p m e n t s ? H o w d o e s t h i s s t u d y ’ s fi n d i n g s c o m p a r e w i t h o t h e r i n t e r v e n t i o n s c o n c e r n e d w i t h h u m a n i m p r o v e m e n t ? I w i l l a d d r e s s t h e l a t e r q u e s t i o n s fi r s t a n d e n d t h i s d i s c u s s i o n a r o u n d p o s s i b i l i t i e s f o r t h e f u t u r e . D e t e r m i n i n g t h e e f f e c t s o f p r o f e s s i o n a l d e v e l o p m e n t o n t e a c h i n g a n d l e a r n i n g i s n o t o r i o u s l y d i f fi c u l t a s t h e p r o c e d u r a l l i m i t a t i o n s o f t h i s s t u d y c l e a r l y i n d i c a t e . I n a d d i t i o n , t h e o r e t i c a l c o n c e r n s c o m p o u n d t h e p r o b l e m . F o r e x a m p l e , t e a c h e r s m i g h t a c q u i r e n e w k n o w l e d g e o r s k i l l s y e t c h o o s e n o t t o d e p l o y t h e m i n t h e i r p r a c t i c e . O r t h e y m i g h t m a k e c h a n g e s i n i t i a l l y , b u t r e v e r t g r a d u a l l y t o o l d w a y s . O r t h e c h a n g e s t h e y m a k e m i g h t n o t e n h a n c e t h e i r p r a c t i c e . L e a r n i n g i d e n t i fi e d m a y b e a t t r i b u t a b l e t o s o m e u n s e e n v a r i a b l e n o t i n c l u d e d i n t h e a n a l y s i s . S o m e p r i o r s c h o l a r s h i p r e v e a l s t e a c h e r s i m p o r t i n g o n l y c e r t a i n a s p e c t s o f r e f o r m s i n t o t h e i r t e a c h i n g w i t h u n c e r t a i n o v e r a l l a n d l o n g - t e r m e f f e c t s . D e s c r i b i n g s u c h p r o b l e m s , i n v e s t i g a t o r s h a v e r e s o r t e d t o s u c h m e t a p h o r s a s “ h y b r i d s ” t o i n d i c a t e t h e d i s t i n c t i v e m i x o f g r a f t i n g t h e n e w o n t o t h e o l d ( s e e , f o r e x a m p l e , C o h e n , 1 9 9 0 ; C u b a n , 1 9 9 3 ) . F u r t h e r m o r e , “ c h a n g e ” d o e s n o t a u t o m a t i c a l l y m e a n “ i m p r o v e m e n t . ” T h e l a t t e r t e r m r e q u i r e s a v a l u e j u d g m e n t a s w e l l a s a n e m p i r i c a l r e s u l t . I n c o n s e q u e n c e , m a n y p r o b l e m s a t t e n d a n y s u m m a r y c o n c l u s i o n s a b o u t t e a c h e r l e a r n i n g f r o m p r o f e s s i o n a l d e v e l o p m e n t e x p e r i e n c e s . T h e s t u d y r e p o r t e d h e r e ‘ c a n n o t r e s o l v e s u c h i s s u e s a u t h o r i t a t i v e l y . R e s u l t s r e q u i r e q u a l i fi e d i n t e r p r e t a t i o n , w h i c h I o f f e r a l o n g t h e s e l i n e s . F i r s t , t h e N a t i o n a l B o a r d s t a n d a r d s r e p r e s e n t a b r o a d c o n s e n s u s w i t h i n t h e s c i e n c e e d u c a t i o n c o m m u n i t y t h a t , i n J o s e p h S c h w a b ’ s e v o c a t i v e t e r m s , S c i e n c e i s a “ n a r r a t i v e o f i n q u i r y , ” n o t s i m p l y a “ r h e t o r i c o f c o n c l u s i o n s ” ( S c h w a b , 1 9 7 4 ) . I n s t r u c t i o n t h a t a s p i r e s t o t e a c h s t u d e n t s t h e m e t h o d s o f s c i e n c e i s a c r i t i c a l l y i m p o r t a n t i s s u e a t t h e d a w n o f t h e 1 8 1 2 1 S t c e n t u r y . C o n s e q u e n t l y , t h e u n d e r l y i n g v a l u e s r e p r e s e n t e d b y t h e N a t i o n a l B o a r d s t a n d a r d s c o n s t i t u t e a p r o f e s s i o n a l c o n s e n s u s ; w h a t t h e s e s t a n d a r d s “ t e a c h ” a b o u t s c i e n c e i n s t r u c t i o n a r e e m i n e n t l y d e f e n s i b l e . T h e n , t h e o v e r a l l e f f e c t s i z e o f 0 . 4 7 d e r i v e d f r o m m u l t i p l e c o m p a r i s o n s f a l l s w i t h i n t h e m o d e r a t e t o s t r o n g r a n g e b a s e d o n s e v e r a l c o m p a r a t i v e c r i t e r i a . I n t h e fi e l d o f s c i e n c e e d u c a t i o n , f o r e x a m p l e , a m e t a - a n a l y s i s f r o m t h e e a r l y 1 9 8 0 5 s e r v e s a s o n e c o m p a r i s o n . E n z ( 1 9 8 2 ) r e v i e w e d r e s e a r c h p r o j e c t s t h a t i n v e s t i g a t e d t h e e f f e c t s o f p r o f e s s i o n a l d e v e l o p m e n t i n s c i e n c e e d u c a t i o n o n p a r t i c i p a t i n g t e a c h e r s a n d / o r t h e i r s t u d e n t s . I n t h e s i x t e e n s t u d i e s g a t h e r e d f r o m 1 9 7 3 - 1 9 8 0 , t h e o v e r a l l a v e r a g e e f f e c t s i z e f o r s c i e n c e i n - s e r v i c e p r o j e c t s w a s 0 . 8 4 . M y r e s u l t s f a l l b e l o w t h i s a v e r a g e , w h i c h w o u l d b e r e g a r d e d a s o n t h e h i g h e n d o f t h e r a n g e . T o g a i n f u r t h e r p e r s p e c t i v e , I e x a m i n e d t w o a d d i t i o n a l c o m p a r i s o n s - C o r p o r a t e T r a i n i n g a n d P s y c h o t h e r a p y — t h a t a l s o e m b r a c e c o m p l e x i n t e r v e n t i o n s c o u p l e d w i t h a m b i g u o u s o u t c o m e c r i t e r i a . C o m p a n i e s s p e n d b i l l i o n s o f d o l l a r s a n n u a l l y t o i m p r o v e t h e i r e m p l o y e e s ’ a b i l i t y t o l e a d , p r o d u c e , s o l v e p r o b l e m s , a n d c o l l a b o r a t e , a n d s o m e r e s e a r c h h a s e x a m i n e d t h e e f f e c t s o f c o r p o r a t e t r a i n i n g . O n e r e s e a r c h s t u d y e x a m i n e d e i g h t e e n t r a i n i n g p r o g r a m s i n o n e v e r y l a r g e c o r p o r a t i o n o v e r a f o u r - y e a r p e r i o d ; i t i d e n t i fi e d e f f e c t s i z e s r a n g i n g f r o m . 0 9 t o 1 . 1 1 w i t h t r a i n i n g f o c u s e d o n m a n a g e r i a l s k i l l s r e s u l t i n g i n a n e f f e c t s i z e o f 0 . 3 1 ( M o r r o w , e t a l . , 1 9 9 7 ) . A m e t a - a n a l y s i s o f l e a d e r s h i p d e v e l o p m e n t p r o g r a m s c o v e r i n g 8 3 s t u d i e s f r o m 1 9 8 2 t o 2 0 0 1 , f o u n d e f f e c t s i z e s f o r v a r i o u s c a t e g o r i e s o f o u t c o m e s r a n g i n g f r o m 0 . 3 5 t o 1 . 3 7 ( C o l l i n s & H o l t o n , 2 0 0 4 ) . A n o t h e r m e t a - a n a l y s i s t h a t l o o k e d a t t r a i n i n g p r o g r a m s i n o r g a n i z a t i o n s f o u n d a m o r e c o n s i s t e n t r e s u l t w i t h e f f e c t s i z e s r a n g i n g f r o m 0 . 6 0 t o 0 . 6 3 ( W i n f r e d , e t a l . , 2 0 0 3 ) . 1 8 2 T h o u g h t h e r a n g e o f r e s u l t s v a r i e s , t h e e v i d e n c e d o e s s u g g e s t t h a t t h e e f f e c t s o f c o r p o r a t e t r a i n i n g g e n e r a l l y c a n b e d e s c r i b e d a s ‘ m o d e r a t e ’ t o ‘ l a r g e ’ b a s e d o n t h e c o n v e n t i o n a l s t a n d a r d ( C o h e n , 1 9 7 7 ) . R e s e a r c h t h a t e x a m i n e s t h e e f f e c t s o f p s y c h o t h e r a p y i n d i c a t e s a s i m i l a r l y l a r g e r a n g e . F o r e x a m p l e , a s e r i e s o f m e t a - a n a l y s e s t h a t e x a m i n e d d i f f e r e n t a p p r o a c h e s t o t h e r a p y a n d t h e i r i m p a c t u p o n p a t i e n t i m p r o v e m e n t f o u n d e f f e c t s i z e s f r o m 0 . 5 8 ( B u r l i n g a m e , e t a l . , 2 0 0 3 ) t o 0 . 7 7 ( G r e g o r y , e t a l . , 2 0 0 4 ) , t o 0 . 8 4 ( B o h l m e i j e r , e t a l . , 2 0 0 3 ) . O n e m e t a - a n a l y s i s t h a t l o o k e d a t B r i e f D y n a m i c P s y c h o t h e r a p y s h o w e d e f f e c t s i z e s r a n g i n g f r o m 0 . 8 1 t o 1 . 1 0 ( C r i t i s - C h r i s t o p h , 1 9 9 2 ) . A g a i n , w i t h e f f e c t s i z e s t h a t c a n b e d e s c r i b e d a s ‘ m o d e r a t e ’ t o ‘ l a r g e , ’ t h e s e s t u d i e s p r o v i d e a f a i r l y c o n s i s t e n t p i c t u r e t h a t p s y c h o t h e r a p y , a s a n i n t e r v e n t i o n , i s e f f e c t i v e a t a d d r e s s i n g t h e s h o r t - t e r m n e e d s o f p a t i e n t s . I s u p p l y t h e s e c o m p a r i s o n s j u s t t o b r a c k e t m y fi n d i n g s . I n p r a c t i c e s d e v o t e d t o h u m a n i m p r o v e m e n t , e f f e c t s o f i n t e r v e n t i o n s s p a n a b r o a d r a n g e , w i t h i n w h i c h t h e r e s u l t s o f t h i s s t u d y m a y b e p l a c e d . G e n e r a l l y , I c o n c l u d e t h a t m y fi n d i n g s f a l l w i t h i n t h e d e fi n e d r a n g e . I h a v e s p e n t t h e g o o d p a r t o f t h e l a s t f o u r y e a r s f o c u s e d u p o n t h i s r e s e a r c h p r o j e c t . T h i s w o r k h a s a l l o w e d m e t h e p r i v i l e g e o f c o n d u c t i n g a p r o l o n g e d d e e p r e fl e c t i o n o n i s s u e s o f t e a c h e r l e a r n i n g , s c i e n c e e d u c a t i o n , t e a c h e r q u a l i t y , a n d t h e N a t i o n a l B o a r d . I n t h i s s e c t i o n , I w i l l s h a r e s o m e o f t h e i d e a s t h a t t h i s r e s e a r c h e x p e r i e n c e h a s h e l p e d t o s h a p e . I d o n o t m e a n t o i m p l y t h a t t h e i d e a s t h a t f o l l o w a r e a d i r e c t r e s u l t o f o r f o u n d t o b e t r u e b e c a u s e o f t h e r e s e a r c h p r e s e n t e d i n t h i s d i s s e r t a t i o n . R a t h e r , t h i s d i s c u s s i o n i s m e a n t t o p r o v o k e t h i n k i n g a n d d i s c o u r s e a r o u n d i s s u e s u n d e r l y i n g t h e w o r k o f t h e B o a r d , 1 8 3 s e c o n d a r y s c i e n c e t e a c h e r s , a n d t h e p o l i c y c o m m u n i t y . T h e i d e a s s e t f o r t h i n t h e s e l a s t f e w p a g e s a r e e x t r a p o l a t i o n s a n d i n s i g h t s f r o m t h e e x p e r i e n c e s t h a t c o m p r i s e e v e r y f a c e t o f t h i s i n v e s t i g a t i o n . I p r e s e n t t h e m a s a m e a n s o f i n f o r m i n g e d u c a t i o n a l s t a k e h o l d e r s r e g a r d i n g i s s u e s i n h e r e n t i n t h e a r e a s p e r t i n e n t t o t h e r e s e a r c h . T h o s e a r e a s i n c l u d e t h e s t a t e o f s e c o n d a r y s c i e n c e i n s t r u c t i o n , t h e N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s , a n d t h e e d u c a t i o n a l p o l i c i e s t h a t c a n a f f e c t b o t h . T h e i d e n t i fi c a t i o n o f d y n a m i c a n d t e c h n i c a l l e a r n i n g o u t c o m e s d i v i d e d e q u a l l y a m o n g c a n d i d a t e s i n t h i s s t u d y p r o v i d e s i n s i g h t s i n t o t h e c o n f u s i n g w o r l d o f t h e s c i e n c e e d u c a t o r . W h a t m i g h t e x p l a i n s u c h a c l e a r d i v i s i o n a m o n g s c i e n c e t e a c h e r s c o n c e r n i n g t h e q u a l i t y o f t h e i r I e a m i n g e x p e r i e n c e w i t h N a t i o n a l B o a r d ? P o s s i b l e a n s w e r s i n c l u d e t h e r o l e m o t i v a t i o n p l a y s i n t h e t e a c h e r s w h o o p t t o p u r s u e c e r t i fi c a t i o n a n d t h e b e l i e f s a n d v a l u e s t e a c h e r s h o l d r e g a r d i n g t h e i r p e r s o n a l d e fi n i t i o n o f a c c o m p l i s h e d t e a c h i n g . I w i l l c o n s i d e r m o t i v a t i o n fi r s t a n d t h e n p r o f e s s i o n a l b e l i e f s . M o t i v a t i o n p l a y s a p o w e r f u l r o l e i n t h e I e a m i n g p r o c e s s . T e a c h e r s w h o a r e i n t r i n s i c a l l y m o t i v a t e d ( i . e . a d e s i r e t o i m p r o v e ) m i g h t t e n d t o e x p e r i e n c e d y n a m i c l e a r n i n g w h i l e t h o s e m o t i v a t e d b y e x t r i n s i c f o r c e s ( i . e . m o n e y ) m a y t e n d t o f a l l i n t o t h e t e c h n i c a l c a t e g o r y . S i n c e I h a v e m i n i m a l d a t a o n m o t i v a t i o n a n d 9 0 % o f m y p a r t i c i p a n t s h a d s o m e f o r m o f fi n a n c i a l i n c e n t i v e , I a m i n n o p o s i t i o n t o e x p l o r e t h i s p o s s i b l e r e l a t i o n s h i p o n a n y e m p i r i c a l g r o u n d s . H o w e v e r , I c a n p r o v i d e s o m e i n t e r e s t i n g s p e c u l a t i o n . I f t h e r e w e r e t w o d i f f e r e n t g r o u p s o f c a n d i d a t e s : 1 ) t h o s e w h o d o p u r s u e c e r t i fi c a t i o n b e c a u s e t h e y t r u l y w a n t t o b e c o n s i d e r e d B o a r d c e r t i fi e d , a n d 2 ) t h o s e w h o d o i t s t r i c t l y f o r m o n e t a r y g a i n , t h e n I c o u l d i n f e r t h a t t h e f o r m e r g r o u p w o u l d w o r k h a r d , h a v e a n o p e n m i n d , a n d p r o b a b l y b e t h o u g h t o f a s d y n a m i c l e a r n e r s . T h e l a t t e r g r o u p 1 8 4 w o u l d b e t h o s e p u r s u i n g c e r t i f i c a t i o n t o g e t t h e i n c r e a s e i n s a l a r y o r b o n u s a t t a c h e d t o s u c c e s s . F o r f o l k s i n t h i s g r o u p , I m i g h t i n f e r t h a t t h e y w o u l d l i k e t o s u c c e e d w i t h a m i n i m u m a m o u n t o f w o r k a n d s w e a t . I t w o u l d b e q u i t e r e a s o n a b l e t o t h i n k o f t h e s e e x t r i n s i c a l l y m o t i v a t e d i n d i v i d u a l s a s t h o s e w h o f a l l i n t o t h e t e c h n i c a l c a t e g o r y . H o w e v e r , s u c h a d i s t i n c t i o n i s fl a w e d . M o s t l i k e l y , t h e r e i s a r a n g e a n d m i x o f m o t i v a t i o n s r e s p o n s i b l e f o r i n d i v i d u a l s p u r s u i n g N a t i o n a l B o a r d . J u s t a s s o m e e x t r i n s i c a l l y m o t i v a t e d t e a c h e r s m i g h t e m b r a c e t h e s t a n d a r d s o f a c c o m p l i s h e d t e a c h i n g a n d b e c o m e d y n a m i c l e a r n e r s , t h e r e c o u l d b e i n t r i n s i c a l l y m o t i v a t e d l e a r n e r s w h o n e v e r g e t b e y o n d t h e t e c h n i c a l a s p e c t s o f c e r t i fi c a t i o n . W i t h t h i s p r o b a b i l i t y i n m i n d , h o w s h o u l d I t h i n k a b o u t t h e t e a c h e r s i n t h i s s t u d y ? W h o w e r e t h e y ? W h a t m o t i v a t e d t h e m ? I t h i n k t h e a n s w e r l i e s i n t h e f a c t t h a t t h e s e t e a c h e r s s e l f - s e l e c t e d t h e m s e l v e s t o p a r t i c i p a t e i n t h i s s t u d y . M y r e s p o n s e r a t e f o r t h i s s t u d y r a n g e d f r o m 1 0 t o 5 0 p e r c e n t . I f t h e s e t e a c h e r s b e l o n g e d t o t h e e x t r e m e e n d o f t h e e x t r i n s i c a l l y m o t i v a t e d , t h e n i t d o e s n o t m a k e m u c h s e n s e t h a t t h e y w o u l d v o l u n t e e r t o p a r t i c i p a t e i n a t i m e c o n s u m i n g e d u c a t i o n a l s t u d y . O n t h e o t h e r h a n d , i f t e a c h e r s h a d a h i g h d e g r e e o f i n t r i n s i c m o t i v a t i o n ( e v e n i f fi n a n c i a l i n c e n t i v e w a s p a r t o f t h e i r d e c i s i o n t o p u r s u e B o a r d c e r t i fi c a t i o n ) , t h e n I w o u l d i m a g i n e t h a t t h e y w o u l d b e m o r e l i k e l y t o a g r e e t o a n i n v i t a t i o n t o p a r t i c i p a t e i n a s t u d y . T h e r e f o r e , I w o u l d a r g u e t h a t t h e t e a c h e r s i n t h i s s t u d y c o u l d m o s t l i k e l y b e t h o u g h t o f a s i n t r i n s i c a l l y m o t i v a t e d t e a c h e r s . T h e 5 0 - 9 0 % w h o n e v e r b o t h e r e d t o l e a r n m o r e a b o u t p a r t i c i p a t i n g i n t h i s s t u d y a r e p r o b a b l y t h o s e e x t r i n s i c a l l y m o t i v a t e d l e a r n e r s w h o s e a i m w a s t o a c h i e v e c e r t i fi c a t i o n w i t h a s l i t t l e t i m e a n d e f f o r t a s p o s s i b l e . 1 8 5 W h y i s t h i s s p e c u l a t i v e a s s e r t i o n i m p o r t a n t ? B e c a u s e u n d e r s t a n d i n g t h e t e a c h e r s i n t h i s s t u d y h e l p s t o a p p r e c i a t e w h a t i t i s t h e y h a v e t o s a y . M o r e s p e c i fi c a l l y , t h e i d e n t i fi c a t i o n o f d y n a m i c a n d t e c h n i c a l I e a m i n g o u t c o m e s d i v i d e d e q u a l l y a m o n g c a n d i d a t e s i n t h i s s t u d y p r o v i d e s i n s i g h t s i n t o t h e c o n f u s i n g w o r l d o f t h e s c i e n c e e d u c a t o r . S e c o n d a r y s c i e n c e t e a c h e r s t o d a y a r e c a u g h t i n b i n d b e t w e e n d i f f e r i n g p e r c e p t i o n s o f w h a t a d v a n c e d t e a c h i n g m e a n s ( S t r a u s s , 2 0 0 4 ; A d e l s o n , 2 0 0 4 ) . O n o n e s i d e a r e t h o s e w h o p r o m o t e a n d i d e n t i f y e x c e l l e n t t e a c h e r s b y f o c u s i n g u p o n t h e o u t c o m e s o f p r a c t i c e ( i . e . s t u d e n t a c h i e v e m e n t ) a n d t h e t e a c h e r ’ s c o n t e n t k n o w l e d g e . T h e A m e r i c a n B o a r d f o r C e r t i fi e d T e a c h i n g E x c e l l e n c e r e p r e s e n t s t h i s p o s i t i o n b e s t ( A B C T E , 2 0 0 5 ) . A n o u t c o m e b a s e d d e fi n i t i o n o f s u c c e s s f u l s c i e n c e t e a c h e r s d o e s n o t c a r e h o w t e a c h e r s t e a c h a s l o n g a s t h e y u n d e r s t a n d t h e c o n t e n t a n d c a n p r o v e e f f e c t i v e n e s s t h r o u g h s t a n d a r d i z e d t e s t s c o r e s . T e a c h e r s w h o ’ f u l fi l l t h i s d e fi n i t i o n m a y r e l y h e a v i l y ( i f n o t e x c l u s i v e l y ) o n d i r e c t a n d u n d i f f e r e n t i a t e d i n s t r u c t i o n ( B i s h o p , 2 0 0 4 ) . T h e r o l e o f i n q u i r y i s a b s e n t a n d a s s e s s m e n t i s o n l y n a r r o w l y d e f i n e d . H o w t h e s e t e a c h e r s i n t e r a c t w i t h c o l l e a g u e s , w o r k w i t h f a m i l y a n d c o m m u n i t y , d e v e l o p r e l a t i o n s h i p s w i t h s t u d e n t s , a n d c o n t r i b u t e t o t h e s u c c e s s o f t h e s c h o o l i s a b s e n t f r o m t h e p i c t u r e . A l s o m i s s i n g a r e t h e v a l u e s a n d b e l i e f s a s s o c i a t e d w i t h h o w t o p r e p a r e t h e w a y f o r p r o d u c t i v e s t u d e n t I e a m i n g , h o w t o a d v a n c e s t u d e n t u n d e r s t a n d i n g , a n d h o w t o e s t a b l i s h a f a v o r a b l e c o n t e x t f o r s t u d e n t l e a r n i n g . E a c h o f t h e s e a r e a s o f k n o w l e d g e a n d s k i l l a r e c o n s i d e r e d s u p e r fl u o u s t o t h e u l t i m a t e g o a l o f h i g h e r s t u d e n t a c h i e v e m e n t . O n t h e o t h e r s i d e , t e a c h e r s a r e p r e s e n t e d w i t h a d e fi n i t i o n o f a c c o m p l i s h e d t e a c h i n g t h a t f o c u s e s o n p r o c e s s ( t h e m e a n s a n d p a r a m e t e r s o f p r a c t i c e ) . I n t h i s v i e w , r e p r e s e n t e d b y t h e N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s , o u t c o m e s a r e 1 8 6 v a l u e d , b u t m o r e b r o a d l y d e fi n e d . O u t c o m e s c a n b e t e s t s c o r e s b u t t h e y c a n a l s o b e w r i t t e n w o r k b y s t u d e n t s , a r t i f a c t s t h a t r e p r e s e n t c o g n i t i v e g r o w t h , a s w e l l a s a c t i o n s a n d a c h i e v e m e n t s o u t s i d e o f c l a s s t h a t c o n t r i b u t e t o t h e o v e r a l l q u a l i t y o f t e a c h i n g a n d I e a m i n g . T h i s c o m p l e x p e r s p e c t i v e o f a d v a n c e d t e a c h i n g d e fi n e s ‘ a c c o m p l i s h e d ’ b y n o t o n l y c o n s i d e r i n g t e a c h e r s ’ c o n t e n t k n o w l e d g e , b u t a l s o b y i n c l u d i n g t h e o t h e r d i m e n s i o n s a s s o c i a t e d w i t h p r e p a r i n g , a d v a n c i n g , a n d f a c i l i t a t i n g s t u d e n t l e a r n i n g . H o w e v e r , t h e B o a r d d o e s n o t y e t r e q u i r e s t a n d a r d i z e d t e s t s c o r e s a s e v i d e n c e o f a c c o m p l i s h e d t e a c h i n g o r h o w s t a n d a r d i z e d d a t a c o u l d b e u s e d t o i m p r o v e i n s t r u c t i o n a l d e c i s i o n s ” . F o r s e c o n d a r y s c i e n c e t e a c h e r s , t h e m e s s a g e s r e c e i v e d b y r e p r e s e n t a t i v e s f r o m b o t h s i d e s c a n b e c o n f u s i n g a n d d i s o r i e n t i n g . C o m p l i c a t i n g m a t t e r s , t h e i s s u e h a s b e c o m e p o l i t i c i z e d b y t h e B u s h a d m i n i s t r a t i o n a n d N o C h i l d L e f t B e h i n d t h a t p r o v i d e s f e d e r a l f u n d i n g f o r A B C T E , b u t h a s c u t a l l f u n d i n g t o N B P T S . W h a t i s a t e a c h e r t o d o ? T e a c h e r s a r e i n t h e i m p o s s i b l e p o s i t i o n o f t r y i n g t o fi n d a w a y t o s e r v e t w o m a s t e r s . O n t h e o n e s i d e , t e a c h e r s f e e l t r e m e n d o u s p r e s s u r e f r o m s c h o o l , d i s t r i c t , a n d s t a t e a g e n c i e s t o i m p r o v e s t u d e n t t e s t s c o r e s b y l i t e r a l l y a n y m e a n s p o s s i b l e . F o r s o m e t e a c h e r s t h i s m e a n s t e a c h i n g f o r t h e t e s t , w h i c h o f t e n r e s u l t s i n d u l l a n d r e p e t i t i v e c l a s s r o o m e x p e r i e n c e s . A n d , o n t h e o t h e r s i d e , t e a c h e r s m u s t w r e s t l e w i t h t h e c o m p l e x n a t u r e o f p r a c t i c e r e v e a l e d t o t h e m i n t e a c h e r p r e p a r a t i o n p r o g r a m s , c o l l e g e s o f e d u c a t i o n , a n d a d v a n c e d d e g r e e s p r o g r a m s . I f t h e s e t w o o p p o s i n g v i e w s w e r e n o t d i f fi c u l t e n o u g h , t e a c h e r s a l s o f a c e d e s p e r a t e p a r e n t s w h o e x p e c t t h e i r c h i l d t o n o t o n l y d o w e l l o n t e s t s , b u t a l s o d e v e l o p a h e a l t h y s e l f - e s t e e m , a p o s i t i v e s e l f - i m a g e a s a l e a r n e r , 2 2 I t s e e m s r e a s o n a b l e t o c o n s i d e r t h a t i f t h e e d u c a t i o n a l v a l u e s s h i f t t o i n c l u d e a f o c u s o n s t a n d a r d i z e d a s s e s s m e n t , t h e n t h e s k i l l s a n d k n o w l e d g e r e q u i r e d t o u s e t h i s n e w s o u r c e o f i n f o r m a t i o n t o i n f o r m c l a s s r o o m p r a c t i c e s h o u l d b e i n c l u d e d i n t h e 1 3 s t a n d a r d s o f a c c o m p l i s h e d t e a c h i n g . P o s s i b l y , i n t h e n e x t r e v i e w c y c l e t h i s i d e a c o u l d b e c o n s i d e r e d . 1 8 7 a n d t h e s k i l l s a n d k n o w l e d g e t o b e s u c c e s s f u l a f t e r g r a d u a t i o n . T e a c h e r s t o d a y f i n d t h e m s e l v e s i n a g r a v e a n d p e r i l o u s p o s i t i o n o f b e i n g d a m n e d i f t h e y d o a n d d a m n e d i f t h e y d o n ’ t . T h i s d i c h o t o m y i s b a s e d o n t h e a s s u m p t i o n t h a t a m o r e c o m p l e x a p p r o a c h t o t e a c h i n g a n d I e a m i n g m a y n o t r e s u l t i s a d e q u a t e t e s t s c o r e s o r a t l e a s t a s g o o d a s t h o s e a c h i e v e d t h r o u g h ‘ d r i l l a n d k i l l ’ d i r e c t i n s t r u c t i o n . E v e n t h e N a t i o n a l B o a r d a d m i t s t h a t a m o r e c o m p l e x a p p r o a c h t o p r a c t i c e m a y “ t e m p o r a r i l y j e o p a r d i z e s t u d e n t s ’ p e r f o r m a n c e o n s t a n d a r d i z e d t e s t s ( N B P T S , 1 9 9 1 , p . 2 5 ) . H o w e v e r , o n e s h o u l d c o n s i d e r t h e e n t i r e r a n g e o f I e a m i n g o u t c o m e s a n d n o t j u s t s t a n d a r d i z e d t e s t i n g . H o w d o e s t h i s s t u d y h e l p m e u n d e r s t a n d t h e s i t u a t i o n b e t t e r ? N a t i o n a l B o a r d w i l l n o t a n s w e r o r r e s o l v e a l l t h e i s s u e s a r o u n d e f f e c t i v e p e d a g o g y f o r s c i e n c e t e a c h e r s . I n f a c t , N a t i o n a l B o a r d c e r t i fi c a t i o n m a y r a i s e m o r e q u e s t i o n s t h a n i t a n s w e r s . B u t , t h a t ’ s a l l r i g h t b e c a u s e i n t h e r e a l m o f e d u c a t i o n w h e r e c o m p l e x i t y i s c o m m o n a n d a ‘ s i l v e r b u l l e t ’ s o l u t i o n i s a m y t h , p r o v o k i n g r e fl e c t i o n m a y b e t h e m o s t i m p o r t a n t o u t c o m e o f a n y r e f o r m e f f o r t . F o r s e c o n d a r y s c i e n c e t e a c h e r s c o n s i d e r i n g N a t i o n a l B o a r d c e r t i fi c a t i o n , t h i s s t u d y p r o v i d e s g r e a t e r a w a r e n e s s r e g a r d i n g l i k e l y I e a m i n g o u t c o m e s f r o m t h e e n d e a v o r . T e a c h e r s c a n m a k e a m o r e i n f o r m e d d e c i s i o n r e g a r d i n g w h e t h e r o r n o t t o p u r s u e N a t i o n a l B o a r d c e r t i fi c a t i o n i n A Y A S c i e n c e b a s e d u p o n w h a t t h e y a r e l i k e l y t o l e a r n . I f a t e a c h e r w i s h e s t o a l i g n h i s / h e r p r a c t i c e m o r e c l o s e l y w i t h t h e N a t i o n a l B o a r d ’ s s t a n d a r d s o f s c i e n t i fi c i n q u i r y a n d a s s e s s m e n t , t h e n t h e c e r t i fi c a t i o n p r o c e s s o f f e r s a v i a b l e o p t i o n i n t h e a r r a y o f a v a i l a b l e p r o f e s s i o n a l d e v e l o p m e n t c h o i c e s . T h e N a t i o n a l B o a r d ’ s p u r p o s e i s t o p r o m o t e a ‘ p e e r d e v e l o p e d ’ v i s i o n o f w h a t a c c o m p l i s h e d t e a c h i n g l o o k s l i k e . I f t h a t m i s s i o n i s c o n s i d e r e d a p o s i t i v e m e s s a g e ( t h a t 1 8 8 t e a c h i n g i s a c o m p l e x r e fl e c t i v e p r a c t i c e t h a t f o c u s e s o n i n d i v i d u a l s t u d e n t n e e d s i n r e l a t i o n t o t h e c o n t e n t ) , t h e n t h e B o a r d h a s b e e n s u c c e s s f u l i n g e t t i n g a p o r t i o n o f t h e t e a c h i n g c o m m u n i t y t o i n v e s t i g a t e , c o n s i d e r , a n d e v e n e x p e r i m e n t w i t h t e a c h i n g b y t h e i r s t a n d a r d s . A c c o r d i n g t o t h i s s t u d y , m o s t t e a c h e r s ’ I e a m i n g i s f o c u s e d o n t e a c h i n g s c i e n c e w i t h i n q u i r y a n d t h e a s s e s s m e n t o f s t u d e n t u n d e r s t a n d i n g . N o t e v e r y b o d y l o v e s t h e e x p e r i e n c e . F o r s o m e , t h e e x p e r i e n c e i s a d y n a m i c t r a n s f o r m a t i v e I e a m i n g v e n t u r e a n d f o r o t h e r s i t i s a n o n g o i n g t e c h n i c a l t a s k . T h e B o a r d n e e d s t o a p p r e c i a t e t h e p o s i t i v e i m p a c t i t i s h a v i n g o n r o u g h l y h a l f t h e c a n d i d a t e s , b u t a l s o n e e d s t o l i s t e n t o a n d r e s p e c t t h e v o i c e s o f t h e d i s c o n t e n t . T h e f a c t t h a t r o u g h l y 4 0 % o f c a n d i d a t e s l e a r n a b o u t t h e s t a n d a r d s a n d a p p l y t h e i r l e a r n i n g i m m e d i a t e l y t o t h e c l a s s r o o m i s a s u c c e s s r a t e t o b e p r o u d o f . H o w e v e r , t h e c h a l l e n g e f o r t h e B o a r d i s t o fi g u r e o u t h o w b e s t t o h e a r t h e , v o i c e s o f t h o s e t e a c h e r s w h o m a y v e r y w e l l b e a c c o m p l i s h e d i n t h e c l a s s r o o m , b u t j u s t d o n o t r e l a t e t o t h e B o a r d ’ s s t a n d a r d s f o r a c c o m p l i s h e d t e a c h i n g . F o r e x a m p l e , S a m f r o m W e s t V i r g i n i a m a d e t h i s c o m m e n t a b o u t t h e B o a r d : M y p r a c t i c e d o e s n ’ t m a t c h w i t h s t a n d a r d s I w a n t e d t o d o w h a t I w o u l d n o r m a l l y d o . 1 d i d a d j u s t t o c o n f o r m t o t h e b e s t I f e l t l i k e I m o r a l l y c o u l d . B u t I w a s j u s t n o t g o i n g t o m a k e a c o n t r i v e d s i t u a t i o n ; b u t I d i d t r y t o m e e t t h e i r c r i t e r i a . ( G r o u p 2 B , T e a c h e r # 4 2 ) W h y d i d S a m n o t s e e h i s v a l u e s o r i d e a s o f a c c o m p l i s h e d t e a c h i n g r e fl e c t e d i n t h e B o a r d ’ s v i s i o n ? S a m d e s c r i b e s a s t r u g g l e b e t w e e n c o n f o r m i n g t o t h e r e q u i r e m e n t s o f t h e B o a r d a n d w h a t h e b e l i e v e s t o b e b e s t f o r h i s s t u d e n t s . O n t h e o n e h a n d h e w a n t s t o ‘ t r y a n d m e e t t h e i r c r i t e r i a ’ a n d o n t h e o t h e r , h e i s ‘ n o t g o i n g t o m a k e a c o n t r i v e d s i t u a t i o n ’ . M e l i n d a f r o m O h i o h a d a s i m i l a r e x p e r i e n c e t o S a m . S h e s t a t e s : 1 8 9 I f e l t t h a t N a t i o n a l B o a r d C e r t i fi c a t i o n d i d n ’ t v a l u e t h e s a m e t h i n g s t h a t I w a s r e a l l y g o o d a t . S o 1 h a d t o c h a n g e m y w a y o f t e a c h i n g t o s a t i s f y t h o s e r e q u i r e m e n t s . ( G r o u p 1 , T e a c h e r # 1 1 ) T h i s t e a c h e r b e l i e v e s t h a t t h e B o a r d d i d n o t ‘ v a l u e t h e s a m e t h i n g s ’ t h a t s h e d i d r e g a r d i n g a c c o m p l i s h e d t e a c h i n g . T h o u g h M e l i n d a f o u n d t h e e x p e r i e n c e t o u l t i m a t e l y b e a p o s i t i v e o n e , s h e s t i l l b e l i e v e s t h a t h e r i d e a s r e g a r d i n g g o o d t e a c h i n g a r e n o t f u l l y r e p r e s e n t e d i n t h e B o a r d ’ s s t a n d a r d s . O n e p o s s i b l e e x p l a n a t i o n f o r M e l i n d a ’ s a n d S a m ’ s s t r u g g l e s i s t h a t t h e y b e l i e v e i n a v i s i o n o f t e a c h i n g w i t h f e w e r c o m p l e x i t i e s f o c u s e d m o r e o n o u t c o m e s t h a n o n p r o c e s s . M a y b e S a m a n d M e l i n d a a r e f a n t a s t i c l e c t u r e r s w h o w e a v e a t a l e o f c o n t e n t t h a t k e e p s h i s s t u d e n t s e n t h r a l l e d w i t h t h e c o n t e n t , p e r s o n a l i t i e s , a n d r e l e v a n c e o f s c i e n c e t o m o d e r n s o c i e t y . P e r h a p s , t h e y h a v e t h e s t a n d a r d i z e d t e s t s c o r e s , p a r e n t f e e d b a c k , a n d s t u d e n t a p p r o v a l t o b a c k u p t h e i r s e l f - a s s e s s m e n t . I f t r u e , B o a r d c e r t i fi c a t i o n w o u l d a l l o w l i t t l e o p p o r t u n i t y f o r b o t h t e a c h e r s t o s h o w c a s e a n d p r o v i d e e v i d e n c e f o r t h e i r s k i l l s a n d a c c o m p l i s h m e n t s . S h o u l d t h e B o a r d ’ s d e fi n i t i o n o f a c c o m p l i s h e d t e a c h i n g b e c h a n g e d t o i n c l u d e t e a c h e r s l i k e S a m a n d M e l i n d a ? I f s o , w h a t w o u l d t h e c h a n g e s l o o k l i k e ? I f t h e B o a r d w e r e t o r e v i s e i t s d e fi n i t i o n o f a c c o m p l i s h e d s c i e n c e t e a c h i n g t o i n c l u d e a r e s p e c t a n d r e c o g n i t i o n f o r t h e e f f e c t i v e u s e o f d i r e c t i n s t r u c t i o n , t h e n m a y b e S a m w o u l d n o t h a v e f e l t s o c a u g h t i n a b i n d . B y i n c l u d i n g l a n g u a g e i n t h e s t a n d a r d s t h a t s u p p o r t s t h e e f f e c t i v e a n d s e l e c t i v e u s e o f l e c t u r e a n d a p o r t f o l i o e n t r y t a r g e t i n g t h i s s e t o f s k i l l s a n d k n o w l e d g e , t h e B o a r d w o u l d p r o m o t e a m o r e b a l a n c e d v i s i o n o f h o w a c c o m p l i s h e d t e a c h i n g i s d e fi n e d . I a m n o t s a y i n g t h a t t e a c h e r s s h o u l d n o t k n o w h o w t o a s s e s s s t u d e n t u n d e r s t a n d i n g , c a r r y o u t s c i e n t i fi c i n q u i r y , o r c o n t r i b u t e t o t h e c o m m u n i t y . H o w e v e r , I d o t h i n k i t i s r e a s o n a b l e t o i n c l u d e i n t h e s t a n d a r d s a n a s p e c t o f s c i e n c e 1 9 0 i n s t r u c t i o n t h a t n e a r l y a l l s c i e n c e t e a c h e r s e m p l o y a t o n e t i m e o r a n o t h e r . S u c h a n o m i s s i o n i s q u i t e c o n s p i c u o u s . A r e w e t o a s s u m e t h a t i f a t e a c h e r k n o w s a n d c a n d o e v e r y t h i n g i n t h e s t a n d a r d s , t h e n t h e y a r e n e c e s s a r i l y e f f e c t i v e d i r e c t i n s t r u c t o r s ? S u c h a n a s s u m p t i o n w o u l d b e i n c o r r e c t . I f t h e B o a r d ’ s s t a n d a r d s r e a l l y a r e a ‘ b r o a d c o n s e n s u s ’ o f w h a t a c c o m p l i s h e d t e a c h i n g l o o k s l i k e , t h e n t h e v o i c e s o f t e a c h e r s l i k e S a m a n d M e l i n d a n e e d t o b e i n c l u d e d i n t h e s t a n d a r d s r e - e v a l u a t i o n p r o c e s s . I f t h e B o a r d i s t o r e m a i n a n o r g a n i z a t i o n r u n b y t e a c h e r s f o r t e a c h e r s , t h e n i t m u s t c o n s i d e r h o w d i f f e r i n g s k i l l s a n d t e a c h i n g c o n t e x t s m a y p r o m o t e d i f f e r i n g w a y s o f d e fi n i n g o r a t l e a s t i d e n t i f y i n g ‘ a c c o m p l i s h e d t e a c h e r s ’ . P e r h a p s i f c a n d i d a t e s h a d a c h o i c e o f c o m p l e t i n g 4 o u t o f 5 e n t r i e s o r d o i n g t h r e e m a n d a t o r y e n t r i e s a n d t h e n a c h o i c e f o r a f o u r t h , t h e n a m o r e i n c l u s i v e d e fi n i t i o n o f ‘ a c c o m p l i s h e d t e a c h i n g ’ c o u l d b e p r o m o t e d . S u c h fl e x i b i l i t y w o u l d a l l o w f o r m o r e t e a c h e r s t o s e e t h e m s e l v e s r e fl e c t e d i n t h e s t a n d a r d s w h i l e n o t n e c e s s a r i l y m a k i n g i t a n y l e s s r i g o r o u s , p r o d u c t i v e , o r v a l i d . B o a r d c e r t i fi c a t i o n o f f e r s t e a c h e r s a n o p p o r t u n i t y t o d e e p l y c o n s i d e r a v i s i o n o f a c c o m p l i s h e d t e a c h i n g t h a t m a y a p p e a r n e w , o n c e k n o w n a n d f o r g o t t e n , o r a f a m i l i a r f r i e n d . N o t a l l t e a c h e r s w i l l b e s u c c e s s f u l a n d n o t a l l t e a c h e r s w i l l e m b r a c e t h e p r o c e s s a s p r o f e s s i o n a l l y o r p e r s o n a l l y f u l fi l l i n g , b u t s o m e ( m a y b e h a l f ) w i l l fi n d t h e e x p e r i e n c e a p o w e r f u l I e a m i n g o p p o r t u n i t y t h a t h a s i m m e d i a t e a n d l a s t i n g i m p a c t . A n d t h e r e s t , t h o s e w h o l e a r n b u t d o n o t t a k e t h e i r I e a m i n g t o h e a r t , m a y b e i n fl u e n c e d b y t h e e x p e r i e n c e i n w a y s t o o s u b t l e t o o b s e r v e . I f t h e y w a i t j u s t a f e w s e c o n d s l o n g e r a f t e r a s k i n g a q u e s t i o n o r a s k a c o u p l e m o r e s t u d e n t s w h a t t h e y t h i n k b e f o r e g i v i n g a n a n s w e r o r t a k i n g a m o m e n t t o c o n s i d e r o t h e r p o s s i b i l i t i e s i n p l a n n i n g a n d a s s e s s m e n t , t h e n m a y b e t h e e x p e r i e n c e w a s w o r t h w h i l e f o r t h e m t o o . W h e t h e r a t e a c h e r i s u l t i m a t e l y s u c c e s s f u l a t 1 9 1 a c h i e v i n g N a t i o n a l B o a r d c e r t i fi c a t i o n i s s e c o n d a r y t o t h e e x p e r i e n c e i t s e l f . T h i s s t u d y p r o v i d e s e v i d e n c e t h a t s u g g e s t s t h a t B o a r d c e r t i fi c a t i o n i s a s i g n i fi c a n t I e a m i n g e x p e r i e n c e f o r A Y A S c i e n c e c a n d i d a t e s . I t t a k e s a n a m b i t i o u s a n d m o t i v a t e d t e a c h e r t o e v e n a t t e m p t N a t i o n a l B o a r d c e r t i fi c a t i o n . A n y o n e w h o t r i e s s h o u l d b e c o m m e n d e d a s h o n o r a b l e p r o f e s s i o n a l s w i l l i n g t o s t u d y t h e i r o w n p r a c t i c e t h r o u g h t h e m a g n i f y i n g g l a s s o f t h e B o a r d ’ s s t a n d a r d s o f a c c o m p l i s h e d t e a c h i n g . S o m e t e a c h e r s w i l l a l r e a d y m e a s u r e u p a n d fi t r i g h t i n t o t h e a c c o m p l i s h e d t e a c h e r p a r a d i g m . O t h e r s w i l l fi n d i t n e w a n d e x c i t i n g w o r k t o b e p a r t o f t h e e m e r g i n g p e d a g o g i c a l f r a t e r n i t y . A n d s t i l l o t h e r s m a y fi n d t h e w h o l e t h i n g a w a s t e o f t i m e . I f t e a c h e r s h a v e a d i f f i c u l t t i m e t r y i n g t o f i g u r e o u t w h a t i s t h e r i g h t t h i n g t o d o , t h e n w h a t a b o u t t h e w o r k o f p o l i c y m a k e r s ? W h a t m i g h t t h i s s t u d y m e a n t o t h e m ? T h i s i n v e s t i g a t i o n i n f o r m s t h e d i s c o u r s e s u r r o u n d i n g w h e t h e r t o p r o v i d e fi n a n c i a l a n d / o r l o g i s t i c s u p p o r t f o r A d o l e s c e n t a n d Y o u n g A d u l t S c i e n c e c a n d i d a t e s . A c c o r d i n g t o m y fi n d i n g s , i f a s c h o o l , d i s t r i c t , o r s t a t e w a n t e d t o p r o m o t e a g r e a t e r u n d e r s t a n d i n g a n d u s e o f s c i e n t i fi c i n q u i r y i n t h e i r s e c o n d a r y c l a s s r o o m s o r d e v e l o p r i c h e r a s s e s s m e n t s k i l l s a m o n g s c i e n c e t e a c h e r s , t h e n A Y A S c i e n c e c e r t i fi c a t i o n p r o v i d e s a n e f f e c t i v e a l t e r n a t i v e t o o t h e r p r o f e s s i o n a l d e v e l o p m e n t o p t i o n s . W h e r e a s n o p o l i c y i s e f f e c t i v e f o r e v e r y o n e , N a t i o n a l B o a r d c e r t i fi c a t i o n f o r A Y A S c i e n c e p r o v i d e s t e a c h e r s w i t h a n o p p o r t u n i t y t o l e a r n a b o u t a v i s i o n o f a c c o m p l i s h e d t e a c h i n g a n d m a k e p r o f e s s i o n a l d e c i s i o n s a r o u n d h o w b e s t t o i m p r o v e t h e i r p r a c t i c e w i t h s t u d e n t s a n d t h e s u r r o u n d i n g s c h o o l c o m m u n i t y . A p p r o x i m a t e l y h a l f o f t h e t e a c h e r r e p o r t s i n d i c a t e a n i m m e d i a t e p o s i t i v e i m p a c t o n t h e i r a b i l i t y t o b r i n g f o r t h I e a m i n g i n t h e i r s t u d e n t s . F o r t h e p o l i c y - m a k i n g c o m m u n i t y , 1 9 2 p r o f e s s i o n a l d e v e l o p m e n t t h a t p r o d u c e s t h e s e t y p e s o f r e s u l t s w o u l d s e e m t o b e o f c o n s i d e r a b l e v a l u e . I f p o l i c y m a k e r s o n l y c r e a t e d p o l i c i e s t h a t p l e a s e d e v e r y o n e , n o t h i n g w o u l d h a p p e n v e r y f a s t . H o w e v e r , a p o l i c y t h a t p r o v i d e s a n o p p o r t u n i t y f o r e v e r y t e a c h e r t o a t t e m p t B o a r d c e r t i fi c a t i o n a n d e n g a g e w i t h t h e s t a n d a r d s o f a c c o m p l i s h e d t e a c h i n g i s o n e t h a t h a s t h e p o t e n t i a l t o p o s i t i v e l y a f f e c t n o t o n l y a g r e a t n u m b e r o f t e a c h e r s w h o d e c i d e t o a c c e p t t h e i n v i t a t i o n , b u t t h e i r s t u d e n t s , c o l l e a g u e s , a n d c o m m u n i t i e s o f t h o s e t e a c h e r s t o o . W h a t p o l i c y p e r s o n n e l s h o u l d r e m e m b e r a b o u t t h i s s t u d y a n d B o a r d c e r t i fi c a t i o n i s t h a t e v e n i f a c a n d i d a t e d o e s n o t a c h i e v e c e r t i fi c a t i o n o n t h e fi r s t a t t e m p t , t h e e f f o r t a n d r e s o u r c e s e x p e n d e d u p o n t h a t c a n d i d a t e a r e n o t i n v a i n . S e c o n d a r y s c i e n c e t e a c h e r s l e a r n a b o u t a c c o m p l i s h e d p r a c t i c e t h r o u g h B o a r d c e r t i fi c a t i o n . T h e e f f e c t s o f t h i s I e a m i n g u p o n t e a c h e r q u a l i t y r e m a i n u n c e r t a i n . H o w e v e r , i n a fi e l d o f f a i t h a n d t r u s t l i k e e d u c a t i o n , w h e r e s c i e n t i fi c p r i n c i p l e s a n s w e r f e w q u e s t i o n s a n d i n t u i t i o n i s o v e r u s e d , i t i s u n d e r s t a n d a b l e w h y e d u c a t o r s w a n t s o m e t h i n g p o s i t i v e a n d d e p e n d a b l e . B o a r d c e r t i fi c a t i o n o f f e r s t h e e d u c a t i o n c o m m u n i t y j u s t s u c h a p r o m i s e . N a t i o n a l B o a r d c e r t i fi c a t i o n e x p o s e s t e a c h e r s t o a v i s i o n o f t h e i r p r o f e s s i o n t h a t m o v e s b e y o n d k n o w l e d g e a n d s k i l l a c q u i s i t i o n t o e m b r a c e t h e b e a u t y , c o m p l e x i t y , a n d u n c e r t a i n t y t h a t i s t h i s v i s i o n o f t e a c h i n g a n d l e a r n i n g . I f c h a n g e b e g i n s w i t h I e a m i n g , t h e n N a t i o n a l B o a r d c e r t i fi c a t i o n i s a g o o d p l a c e t o s t a r t . 1 9 3 Illllllljllllllllllljlljljll E S r J H i V z l . . . : . u ! 2 } g ; f « u m “ s a r . . 1 0 0 8 \ l . 2 — . _ _ . _ . — - . A 3 9 @ 9 7 1 W 5 L I B R A R Y M i c h i g a n S t a t e U n i v e r s i t y P L A C E I N R E T U R N B o x t o r e m o v e t h i s c h e c k o u t f r o m y o u r r e c o r d . 1 ' 0 A V O I D F I N E S r e t u r n o n o r b e f o r e d a t e d u e . M A Y B E R E C A L L E D w i t h e a r l i e r d u e d a t e i f r e q u e s t e d . D A T E D U E D A T E D U E D A T E D U E M A Y 2 5 2 0 0 9 Q 0 9 0 6 1 5 m D D e p O a C r t T m O e n R t O F P H o f T e a c I h L O S e r E d O u P c H a t Y i o n N A T I O N A L B O A R D C E R T I F I C A T I O N A S P R O F E S S I O N A L D E V E L O P M E N T : W H A T A R E T E A C H E R S L E A R N I N G ? A n E m p i r i c a l I n v e s t i g a t i o n o f t h e L e a r n i n g O u t c o m e s f r o m t h e N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s ’ C e r t i fi c a t i o n P r o c e s s V o l u m e I I B y D a v i d S c o t t L u s t i c k A D I S S E R T A T I O N S u b m i t t e d t o M i c h i g a n S t a t e U n i v e r s i t y i n p a r t i a l f u l fi l l m e n t o f t h e r e q u i r e m e n t s f o r t h e d e g r e e o f 2 0 0 5 A p p e n d i x A : P o r t f o l i o P r o m p t s § V e r s i o n 1 . 0 ! T e a c h i n g a M a j o r S c i e n t i fi c I d e a O v e r v i e w & C o n t e x t 1 . W h a t a r e t h e n u m b e r , a g e ( s ) , a n d g r a d e s ( s ) o f t h e s t u d e n t s i n t h e c l a s s f e a t u r e d i n t h i s e n t r y a n d t h e t i t l e a n d s u b j e c t m a t t e r o f t h e c l a s s ? 2 . W h a t a r e t h e r e l e v a n t f e a t u r e s o f y o u r t e a c h i n g c o n t e x t ( s c h o o l , c l a s s , s t u d e n t s , c o m m u n i t y ) t h a t w e r e i n fl u e n t i a l i n d e v e l o p i n g y o u r r e s p o n s e t o t h i s e n t r y ? 3 . W h a t i s t h e m a j o r i d e a i n s c i e n c e t h a t y o u h a v e c h o s e n a s t h e f o c u s o f y o u r r e s p o n s e t o t h i s e n t r y ? 4 . W h a t w e r e y o u r g o a l s f o r s t u d e n t l e a r n i n g i n c o n n e c t i o n t o t h e m a j o r i d e a d u r i n g t h e f e a t u r e d p e r i o d o f i n s t r u c t i o n ? 5 . W h y d o y o u c o n s i d e r t h i s m a j o r i d e a i n s c i e n c e a n d t h e s e g o a l s t o b e i m p o r t a n t a n d a p p r o p r i a t e f o r y o u r s t u d e n t s t o l e a r n a b o u t ? 6 . W h a t w e r e t h e a c t i v i t i e s y o u a n d y o u r s t u d e n t s e n g a g e d i n , a n d h o w w e r e t h e y s e q u e n c e d a n d o r g a n i z e d t o b u i l d o n s t u d e n t ’ s i n t e r e s t s , p r i o r k n o w l e d g e , a n d d e v e l o p i n g u n d e r s t a n d i n g s a s t h e s e q u e n c e u n f o l d e d ? 7 . W h a t c h a l l e n g e s a r e i n h e r e n t i n t e a c h i n g t h i s m a j o r i d e a t o y o u r s t u d e n t s ? H o w i s y o u r i n s t r u c t i o n d e s i g n e d t o m e e t t h e s e c h a l l e n g e s ? D i d y o u m o d i f y y o u r p l a n n e d i n s t r u c t i o n i n a n y w a y t o m e e t t h e s e c h a l l e n g e s ? A n a l y s i s a t I n s t r u c t i o n a n d S t u d e n t W o r k A I . W h a t a r e s p e c i f i c e x a m p l e s o f w a y s t h e t h r e e a c t i v i t i e s w o r k e d t o g e t h e r t o f u r t h e r y o u r s t u d e n t s ’ u n d e r s t a n d i n g o f t h e s e l e c t e d m a j o r i d e a i n s c i e n c e ? A 2 . W h a t a r e s p e c i f i c e x a m p l e s o f w a y s y o u p r o v i d e d s t u d e n t ’ s w i t h a c o n t e x t f o r t h e s c i e n c e f e a t u r e d i n t h i s s e q u e n c e b y e s t a b l i s h i n g c o n n e c t i o n s t o s t u d e n t ’ s b a c k g r o u n d s , e x p e r i e n c e s , a n d i n t e r e s t s a n d / o r t o o t h e r d i s c i p l i n e s a n d a r e a s o f s t u d y ( e . g . m a t h e m a t i c s , h i s t o r y , t e c h n o l o g y ’ s i m p a c t o n s o c i e t y , e t h i c s , e t c . ) I n o t h e r w o r d s , h o w d o y o u h e l p s t u d e n t s m a k e m e a n i n g o f s c i e n c e a n d i n t e r n a l i z e i t s r e l e v a n c e ? A 3 . W h a t a r e s p e c i f i c e x a m p l e s o f w a y s y o u m a k e g o o d u s e o f i n s t r u c t i o n a l r e s o u r c e s t o s u p p o r t y o u r t e a c h i n g a n d e x t e n d s t u d e n t l e a r n i n g ? B a s e d o n y o u r s t u d e n t s a n d y o u r t e a c h i n g c o n t e x t , w h y d i d y o u s e l e c t t h e s e i n s t r u c t i o n a l r e s o u r c e s t o s u p p o r t y o u r t e a c h i n g ? B I . W h a t a r e t h e e d u c a t i o n a l l y i m p o r t a n t c h a r a c t e r i s t i c s o f e a c h o f t h e t h r e e p i e c e s o f w o r k ? W h a t d o e s t h e w o r k t e l l y o u a b o u t t h e s t u d e n t s ’ g r o w t h i n u n d e r s t a n d i n g o f t h e m a j o r i d e a i n s c i e n c e w h a t d o e s t h e w o r k t e l l y o u a b o u t a n y c h a l l e n g e s o f m i s u n d e r s t a n d i n g s t h i s s t u d e n t i s e x p e r i e n c i n g ? 1 9 4 R e fl e c t i o n I . H o w s u c c e s s f u l w a s t h e i n s t r u c t i o n a l s e q u e n c e i n a d v a n c i n g s t u d e n t u n d e r s t a n d i n g o f t h e s e l e c t e d m a j o r i d e a ? W h a t w o r k e d a n d w h a t d i d n ’ t w o r k ? 2 . W h a t w o u l d y o u d o d i fl ' e r e n t l y , a n d w h y , i f y o u w e r e g i v e n t h e o p p o r t u n i t y t o t e a c h t h i s p a r t i c u l a r s e q u e n c e w i t h t h e s e s t u d e n t s a g a i n ? W h o l e C l a s s D i s c u s s i o n I n s t r u c t i o n a l C o n t e x t W h a t a r e t h e n u m b e r , a g e ( s ) , a n d g r a d e s ( s ) o f t h e s t u d e n t s i n t h e c l a s s f e a t u r e d i n t h i s e n t r y a n d t h e t i t l e a n d s u b j e c t m a t t e r o f t h e c l a s s ? W h a t a r e t h e r e l e v a n t f e a t u r e s o f y o u r t e a c h i n g c o n t e x t ( s c h o o l , c l a s s , s t u d e n t s , c o m m u n i t y ) t h a t w e r e i n fl u e n t i a l i n d e v e l o p i n g y o u r r e s p o n s e t o t h i s e n t r y ? W h a t a r e y o u r g o a l s f o r t h i s l e s s o n , i n c l u d i n g c o n c e p t s , a t t i t u d e s , p r o c e s s e s , a n d s k i l l s y o u w a n t s t u d e n t s t o d e v e l o p ? W h y a r e t h e s e i m p o r t a n t l e a r n i n g g o a l s f o r t h e s e s t u d e n t s ? H o w d o t h e s e g o a l s fi t i n t o y o u r o v e r a l l g o a l s f o r t h e y e a r ? W h y i s d i s c u s s i o n a p a r t i c u l a r l y u s e fi x l t e a c h i n g a p p r o a c h f o r a d d r e s s i n g y o u r g o a l s f o r t h i s l e s s o n ? V i d e o t g p e A n a l y s i s H o w d o e s w h a t w e s e e i n t h e v i d e o t a p e fi t i n t o t h e l e s s o n a s a w h o l e ( i . e . , w h a t c a m e b e f o r e t h i s p a r t o f t h e l e s s o n , i f a n y t h i n g , a n d w h a t f o l l o w s t h i s p a r t o f t h e l e s s o n , i f a n y t h i n g ) ? H o w w e l l w e r e t h e l e a r n i n g g o a l s f o r t h e l e s s o n a c h i e v e d ? W h a t i s t h e e v i d e n c e f o r y o u r a n s w e r ? H o w d i d y o u r d e s i g n a n d e x e c u t i o n o f t h i s l e s s o n a f f e c t t h e a c h i e v e m e n t o f y o u r i n s t r u c t i o n a l g o a l s ? W h a t i n t e r a c t i o n s o n t h e v i d e o t a p e s h o w a s t u d e n t a n d / o r s t u d e n t s l e a r n i n g t o r e a s o n a n d t h i n k s c i e n t i fi c a l l y a n d t o c o m m u n i c a t e t h a t r e a s o n i n g a n d t h i n k i n g ? H o w d o i n t e r a c t i o n s i n t h e v i d e o t a p e i l l u s t r a t e y o u r a b i l i t y t o h e l p a l l s t u d e n t s e x p l o r e a n d u n d e r s t a n d t h e s c i e n t i fi c c o n c e p t ( s ) b e i n g d i s c u s s e d ? 1 9 5 R e fl e c t i o n A s y o u r e v i e w t h e v i d e o t a p e , w h a t p a r t s o f t h e d i s c u s s i o n w e r e p a r t i c u l a r l y e f f e c t i v e i n t e r m s o f r e a c h i n g y o u r g o a l s w i t h t h i s g r o u p o f s t u d e n t s ? W h y ? W h a t w o u l d y o u d o d i fi e r e n t l y i f y o u h a d t h e o p p o r t u n i t y t o p u r s u e t h i s d i s c u s s i o n i n t h e f u t u r e w i t h a d i f f e r e n t c l a s s ? W h y ? S c i e n t i f i c I n q u i r y O v e r v i e w & C o n t e x t 1 . W h a t a r e t h e n u m b e r , a g e ( s ) , a n d g r a d e s ( s ) o f t h e s t u d e n t s i n t h e c l a s s f e a t u r e d i n t h i s e n t r y a n d t h e t i t l e a n d s u b j e c t m a t t e r o f t h e c l a s s ? 2 . W h a t a r e t h e r e l e v a n t f e a t u r e s o f y o u r t e a c h i n g c o n t e x t ( s c h o o l , c l a s s , s t u d e n t s , c o m m u n i t y ) t h a t w e r e i n fl u e n t i a l i n d e v e l o p i n g y o u r r e s p o n s e t o t h i s e n t r y ? 3 . W h a t a r e y o u r g o a l s f o r t h i s l e s s o n , i n c l u d i n g c o n c e p t s , a t t i t u d e s , p r o c e s s e s , a n d s k i l l s y o u w a n t s t u d e n t s t o d e v e l o p ? W h y a r e t h e s e i m p o r t a n t l e a r n i n g g o a l s f o r t h e s e s t u d e n t s ? 4 . H o w d o t h e s e g o a l s fi t i n t o y o u r o v e r a l l g o a l s f o r t h e y e a r ? 5 . W h y i s d i s c u s s i o n a p a r t i c u l a r l y u s e f u l t e a c h i n g a p p r o a c h f o r a d d r e s s i n g y o u r g o a l s f o r t h i s l e s s o n ? T h e V i d e o T a p e 1 . C i t i n g s p e c i fi c e v i d e n c e f r o m t h e fi r s t s e g m e n t o f t h e v i d e o t a p e , h o w d i d y o u s u p p o r t s t u d e n t i n q u i r y i n o r d e r t o c o n c e p t u a l i z e t h e p r i m a r y q u e s t i o n s a n d / o r m e t h o d o l g y o f t h e i n v e s t i g a t i o n ? 2 . C i t i n g s p e c i fi c e v i d e n c e f r o m t h e s e c o n d s e g m e n t o f t h e v i d e o t a p e , h o w d i d y o u s u p p o r t s t u d e n t i n q u i r y d u r i n g t h e c o l l e c t i o n a n d p r o c e s s i n g o f d a t a d u r i n g t h e i n v e s t i g a t i o n ? 3 . C i t i n g s p e c i fi c e v i d e n t s f r o m t h e t h i r d s e g m e n t o f t h e v i d e o t a p e , h o w d i d y o u s u p p o r t s t u d e n t i n q u i r y a s t h e y a n a l y z e d , c o n s i d e r e d , a n d e v a l u a t e d t h e fi n a l r e s u l t s o f t h e i n v e s t i g a t i o n ? 4 . H o w w e l l w e r e t h e l e a r n i n g g o a l s f o r t h i s i n q u i r y i n v e s t i g a t i o n a c h i e v e d ? 1 9 6 5 . C i t e o n e i n t e r a c t i o n o n t h e v i d e o t a p e t h a t s h o w s a s t u d e n t a n d / o r s t u d e n t s l e a r n i n g t o e n g a g e i n s c i e n t i f i c i n q u i r y . 6 . H o w d i d y o u m a k e u s e o f a v a i l a b l e r e s o u r c e s t o p r o m o t e s t u d e n t l e a r n i n g a n d i n q u i r y ? R e fl e c t i o n I . A s y o u r e v i e w t h e v i d e o t a p e , w h a t p a r t s o f t h e i n v e s t i g a t i o n w e r e p a r t i c u l a r l y e f f e c t i v e i n t e r m s o f r e a c h i n g y o u r g o a l s w i t h t h i s g r o u p o f s t u d e n t s ? W h y d o y o u t h i n k s o ? 2 . W h a t w o u l d y o u d o d i f f e r e n t l y i f y o u h a d t h e o p p o r t u n i t y t o p e r s u e t h i s i n v e s t i g a t i o n i n t h e f u t u r e w i t h a d i fi e r e n t c l a s s ? W h y ? A s s e s s m e n t S t u d e n t D e s c r i p t i o n A s s e s s m e n t o f S t u d e n t B W h y d i d y o u c h o o s e t h i s s t u d e n t ? W h a t i n s t r u c t i o n a l c h a l l e n g e ( s ) d o e s t h i s s t u d e n t r e p r e s e n t ? W h a t i s i m p o r t a n t t o k n o w a b o u t t h i s s t u d e n t t o u n d e r s t a n d a n d i n t e r p r e t t h e a t t a c h e d r e s p o n s e s ? W h a t a r e t h e e d u c a t i o n a l l y i m p o r t a n t c h a r a c t e r i s t i c s o f e a c h o f t h e p i e c e s o f w o r k ? T a k i n g t h e t h r e e p i e c e s t o g e t h e r , w h a t d o e s t h e w o r k t e l l y o u a b o u t t h e s t u d e n t ’ s g r o w t h i n c o n c e p t u a l u n d e r s t a n d i n g o f t h e c o n c e p t s o r s k i l l s f e a t u r e d i n t h i s p e r i o d o f i n s t r u c t i o n ? W h a t d o e s t h e w o r k t e l l y o u a b o u t a n y c h a l l e n g e s o r m i s u n d e r s t a n d i n g s t h i s s t u d e n t e x p e r i e n c e d ? H o w d i d y o u a s s e s s t h e s e p i e c e s o f w o r k , a n d w h a t f e e d b a c k o r f u r t h e r i n s t r u c t i o n d i d y o u p r o v i d e t o t h e s t u d e n t b a s e d o n y o u r a s s e s s m e n t ? H o w d i d y o u r i n s t r u c t i o n o r f e e d b a c k c o n t r i b u t e t o t h i s s t u d e n t ’ s g r o w t h i n u n d e r s t a n d i n g o f t h e c o n c e p t s o r s k i l l s t h a t w e r e t h e f o c u s o f y o u r i n s t r u c t i o n ? R e fl c t i o n 1 . T a k e n t o g e t h e r , w h a t d o e s t h e s t u d e n t w o r k s u g g e s t a b o u t n e x t s t e p s f o r y o u r i n s t r u c t i o n , f o r t h e c l a s s o r f o r i n d i v i d u a l s t u d e n t s ? 2 . W h a t w o u l d y o u d o d i f f e r e n t l y , a n d w h y , i f y o u w e r e g i v e n t h e o p p o r t u n i t y t o t e a c h t h i s p a r t i c u l a r s e q u e n c e w i t h t h e s e s t u d e n t s a g a i n ? 1 9 7 C o n t e x t 1 . W h a t a r e t h e n u m b e r , a g e ( s ) , a n d g r a d e s ( s ) o f t h e s t u d e n t s i n t h e c l a s s f e a t u r e d i n t h i s e n t r y a n d t h e t i t l e a n d s u b j e c t m a t t e r o f t h e c l a s s ? 2 . W h a t a r e t h e r e l e v a n t f e a t u r e s o f y o u r t e a c h i n g c o n t e x t ( s c h o o l , c l a s s , s t u d e n t s , c o m m u n i t y ) t h a t w e r e i n fl u e n t i a l i n d e v e l o p i n g y o u r r e s p o n s e t o t h i s e n t r y ? I n s t r u c t i o n a l C o n t e x t a n d A p p r o a c h t o A s s e s s m e n t W h a t w e r e y o u r g o a l s a n d s t r a t e g i e s f o r s t u d e n t l e a r n i n g d u r i n g t h e f e a t u r e d p e r i o d o f i n s t r u c t i o n ? C o n t e n t G o a l s : S k i l l O r i e n t e d G o a l s : T e a c h i n g S t r a t e g i e s : W h y d o y o u c o n s i d e r t h e s e g o a l s a n d s t r a t e g i e s t o b e i m p o r t a n t a n d a p p r o p r i a t e f o r y o u r s t u d e n t s ? W h a t g e n e r a l c r i t e r i a d o y o u u s e t o a s s e s s s t u d e n t w o r k ? H o w a r e t h e s e c r i t e r i a d e v e l o p e d a n d h o w d o y o u c o m m u n i c a t e t h e m t o y o u r s t u d e n t s ? W h a t s o u r c e s o f e v i d e n c e o f s t u d e n t s c i e n c e u n d e r s t a n d i n g d o y o u u s e i n y o u r a s s e s s m e n t o f s t u d e n t w o r k ? W h a t i s y o u r r a t i o n a l e f o r y o u r a p p r o a c h t o a s s e s s m e n t ? W h a t i s t h e r e l a t i o n s h i p b e t w e e n y o u r a p p r o a c h t o a s s e s s m e n t a n d t h e l e a r n i n g g o a l s y o u s e t f o r y o u r s t u d e n t s ? W h y i s t h i s a p p r o a c h a p p r o p r i a t e f o r y o u r s t u d e n t s ? 1 9 8 A p p e n d i x B : I n t e r v i e w e e ’ s V e r s i o n o f t h e P r o t o c o l s I N T E R V I E W P R O T O C A L S I . T e a c h i n g a n d L e a r n i n g : S e e A r t i f a c t # 1 , # 2 , & # 3 P l e a s e e x a m i n e a r t i f a c t s # 1 , 2 , a n d 3 . T h e s e a r t i f a c t s a r e f r o m a t w o - w e e k s c i e n c e u n i t o n t h e K i n e t i c T h e o r y o f M a t t e r i n a 1 0 t h g r a d e g e n e r a l c h e m i s t r y c l a s s . T h e t e a c h e r c o n d u c t e d p r e — a s s e s s m e n t s a n d a p o s t - a s s e s s m e n t s e x e r c i s e s . O n e o f t h e p r e - a n d p o s t - a s s e s s m e n t s i n v o l v e d d i s t r i b u t i n g t h e a d v e r t i s e m e n t ( A r t i f a c t # 1 ) a n d a s k i n g s t u d e n t s t o w r i t e a n e s s a y t h a t i n t e r p r e t s t h e a d f r o m a m o l e c u l a r p o i n t o f v i e w . S t u d e n t A r e s p o n d e d t o t h e p r e - a s s e s s m e n t w i t h A r t i f a c t d i s p l a y # 2 . A t t h e e n d o f t h e u n i t , S t u d e n t A r e s p o n d e d t o t h e p o s t - a s s e s s m e n t w i t h A r t i f a c t d i s p l a y # 3 . A m o n g t h e t e a c h e r ’ s l e a r n i n g o b j e c t i v e s f o r t h e u n i t w e r e : 1 ) S t u d e n t s w i l l k n o w a n d u n d e r s t a n d t h e K i n e t i c T h e o r y o f M a t t e r 2 ) S t u d e n t s w i l l m a k e c o n n e c t i o n s b e t w e e n t h e i r b a c k g r o u n d , e x p e r i e n c e s , a n d / o r i n t e r e s t s a n d t h e c o n t e n t m a t e r i a l . T h i s a s s i g n m e n t w a s u s e d b y t h e t e a c h e r t o e v a l u a t e s t u d e n t l e a r n i n g o f a c o r e c o n c e p t f r o m t h e u n i t o n t h e K i n e t i c T h e o r y o f M a t t e r . M o r e s p e c i fi c a l l y , t h e a s s i g n m e n t w a s c o n s t r u c t e d t o g a u g e h o w w e l l a s t u d e n t w a s a b l e t o d e s c r i b e t h e p r o p e r t i e s o f m a t t e r a t t h e m a c r o l e v e l o f a n a l y s i s ( s o l i d i t y a n d l i q u i d i t y ) . F u r t h e r m o r e , t h e s t u d e n t s w e r e e x p e c t e d t o t h e n e x p l a i n t h e o b s e r v a b l e p h y s i c a l p r o p e r t i e s o f m a t t e r f r o m a m o l e c u l a r l e v e l o f a n a l y s i s ( i . e . , k i n e t i c e n e r g y , i n t e r m o l e c u l a r f o r c e s , a n d p a r t i c l e p r o x i m i t y ) . A t t h i s t i m e , p l e a s e l o o k o v e r a n d e x a m i n e A r t i f a c t s 1 , 2 , a n d 3 . W h e n y o u a r e r e a d y , I w i l l a s k y o u s o m e q u e s t i o n s . 1 9 9 I m a g i n e m t J m i n u n - i c w ; 1 . “ “ n . m . L L fl s _ z ' S — o m Y e e t t h F m e ' e l a s l f T S h O a S t o L l o i o d k s . . S O F N s w s g o — ‘ W A u v m - l m m t - u h z ‘ h ' . 1 1 C 3 Q « O I 1 U U Q . . ' " T ‘ v t - ” h h h . ' m a w — m m u " - - h u M l u u i d - « " m - . — 6 M n : u ~ h w n m - A r t i f a c t # 1 M i l - t i f l A r t i f a c t # 2 - - - S t u d e n t A ’ s P r e - A s s e s s m e n t R e s p o n s e : T h e c a r i s s l e e k a n d a e r o d y n a m i c l i k e a d r o p o f w a t e r . A d r o p o f w a t e r i s m a d e o f fl u i d m o l e c u l e s a n d i t h a s n o s h a r p e d g e s . T h e c a r w i l l f l o w d o w n t h e r o a d j u s t l i k e a d r o p o f w a t e r w i l l fl o w a c r o s s a w i n d o w . T h e c a r i s n o t a f l u i d h o w e v e r . T h e c a r i s m a d e o f s o l i d m a t e r i a l s l i k e s t e e l , p l a s t i c , a n d r u b b e r . T h e s e t h i n g s h a v e s h a r p e d g e s a n d a r e m u c h s t r o n g e r t h a n l i q u i d s . C a r s m a d e o f s o l i d m o l e c u l e s a r e s a f e r f o r t h e p e o p l e i n s i d e b e c a u s e s o l i d m o l e c u l e s a r e d i f f e r e n t t h a n l i q u i d m o l e c u l e s . I t w o u l d b e r e a l l y h a r d t o b u i l d a c a r o u t o f l i q u i d s ! T w o w e e k s l a t e r a t t h e e n d o f t h e u n i t o n t h e K i n e t i c T h e o r y o f M a t t e r , t h e s a m e s t u d e n t r e s p o n d e d t o t h e s a m e q u e s t i o n w i t h t h e f o l l o w i n g r e s p o n s e : A r t i f a c t # 3 - - - S t u d e n t A ’ s P o s t - A s s e s s m e n t R e s p o n s e : T h e p h r a s e u s e d h a s m u c h t o d o w i t h c h e m i s t r y , a n d h a s m a n y l i t t l e d e t a i l s t o m a k e t h e c a r s o u n d s o u n i q u e . F i r s t o f a l l , t h e a u t h o r o f t h e q u o t e w a n t s t h e v i e w e r t o i m a g i n e t h e c a r a s a l i q u i d . A c c o r d i n g t o t h e k i n e t i c t h e o r y o f a l i q u i d ; t h e m o l e c u l e s m o v e f a s t e r t h a n i n a s o l i d , b u t n o t a s f a s t a s g a s . T h e y a r e a l w a y s i n c o n s t a n t m o t i o n , r e l a t i n g t o t h e c a r . T h e a t t r a c t i o n b e t w e e n t h e l i q u i d s i s g r e a t e r i n 2 0 0 a l i q u i d t h a n i n a g a s . T h i s a t t r a c t i o n i s k n o w n a s i n t e r m o l e c u l a r f o r c e . S i n c e t h e b o n d s a r e w e a k e r t h a n s o l i d s , l i q u i d s , c a n t a k e u p a n y s h a p e . I f t h e c a r i s l i q u i d , t h e w i n d c a n g o a r o u n d i t d e p e n d i n g o n h o w t h e l i q u i d s h a p e s i t s e l f . L i q u i d s h a v e a v e r y l o w c o m p r e s s i b i l i t y g i v i n g t h e v i e w e r s e c u r i t y a s w e l l . I n t h e e v e n t o f a n a c c i d e n t e v e n t h o u g h t t h e c a r m o v e s s o f a s t . F l u i d i t y i s a p r o p e r t y t h a t a l i q u i d c o n t a i n s . I f s o m e t h i n g f l o w s , i t i s o f t e n s e e n a s s m o o t h a n d c l e a n . L i q u i d s , b y h a v i n g s t r o n g b o n d s , b u t r e l a t i v e l y h i g h m o l e c u l a r m o v e m e n t , m o v e o v e r s u r f a c e s l i k e a s n a k e i n c o n s t a n t m o t i o n . T h i s s a m e i d e a i s t h o u g h t a b o u t t h e M e r c u r y S a b l e . W h e n t h e a u t h o r s t a t e s “ y e t f e e l s s o s o l i d ” , h e i s t r y i n g t o g i v e t h e v i e w e r c o m f o r t s i n c e t h e c a r l o o k s l i k e i t m o v e s s o q u i c k l y . T h i s r e l a t e s t o t h e k i n e t i c t h e o r y o f s o l i d s . T h e i n t e r m o l e c u l a r b o n d s b e t w e e n t h e m o l e c u l e s a r e m u c h g r e a t e r t h a n i n l i q u i d s o r g a s e s . T h e m o l e c u l e s h a v e m u c h l e s s k i n e t i c e n e r g y a n d a r e f o u n d e x t r e m e l y c l o s e t o g e t h e r . S i n c e t h e c a r f e e l s s o s o l i d , i t g i v e s t h e d r i v e r a s e n s e c o n t r o l o f w h a t h e i s d o i n g . A l s o , a s o l i d h a s n o c o m p r e s s i b i l i t y a n d i s e x t r e m e l y d e n s e , g i v i n g t h e r e a d e r s e c u r i t y i n t h e e v e n t o f a c r a s h . T h e c a r w i l l b e a b l e t o w i t h s t a n d h i g h a m o u n t s o f i m p a c t . I f s o m e t h i n g i s s o l i d , i t h a s d e f i n i t e s h a p e t o i t , t h e r e f o r e l u x u r y . T h e c a r f l o w s l i k e a l i q u i d , b u t i s s a f e a n d c o m f o r t a b l e a t t h e s a m e t i m e . 1 1 . T e a c h i n g a n d S c i e n t i f i c I n q u i r y A t e a c h e r w a l k s a r o u n d t h e l a b o r a t o r y a s s t u d e n t s w o r k i n s m a l l g r o u p s o n a l a b e x e r c i s e . T h e s t u d e n t s a r e w o r k i n g o n o n e o f t h e i r fi r s t a c t i v i t i e s t h a t a d d r e s s e s t h e e v o l u t i o n a r y c o n c e p t o f ‘ a d a p t a t i o n ’ a n d D a r w i n ’ s t h e o r y o f n a t u r a l s e l e c t i o n . S t u d e n t s a r e p e r f o r m i n g a v e r s i o n o f t h e “ P e p p e r e d M o t h ” a d a p t a t i o n l a b u s i n g t h r e e d i f f e r e n t m o t h t y p e s . I n t h e a c t i v i t y , r e d , w h i t e , a n d n e w s p a p e r p r i n t m o t h s a r e a l l s e t a g a i n s t a n e w s p a p e r b a c k g r o u n d . T h e p u r p o s e o f t h e a c t i v i t y i s t o b e t t e r u n d e r s t a n d h o w a r a n g e o f c h a r a c t e r i s t i c s i n a s p e c i e s ( i n t h i s c a s e t h e c o l o r o f t h e P e p p e r e d M o t h s ’ w i n g s ) p l a y s a r o l e i n t h e s u r v i v a l o f t h e s p e c i e s . S o m e o f t h e t e a c h e r ’ s o b j e c t i v e s f o r t h i s a c t i v i t y i n c l u d e : 1 ) S t u d e n t s w i l l u n d e r s t a n d h o w t h e e n v i r o n m e n t i n t e r a c t s w i t h a r a n g e o f c h a r a c t e r i s t i c s w i t h i n a p o p u l a t i o n t h r o u g h n a t u r a l s e l e c t i o n . 2 ) S t u d e n t s w i l l l e a r n t o r e c o r d a n d a n a l y z e d a t a . 3 ) S t u d e n t s w i l l e x p e r i e n c e t h e p r o c e s s o f s c i e n t i fi c i n q u i r y a n d s c i e n t i fi c r e a s o n i n g . 4 ) S t u d e n t s w i l l l e a r n t o w o r k c o l l a b o r a t i v e l y i n g r o u p s t o s o l v e p r o b l e m s . T h e a c t i v i t y c a n b e s t b e d e s c r i b e d a s a m o d e l i n g o f t h e p r e d a t o r - p r e y r e l a t i o n s h i p . O n e s t u d e n t m o n i t o r s t h e “ e n v i r o n m e n t ” ( n e w s p a p e r a n d c u t o u t m o t h s ) w h i l e t h e o t h e r s t u d e n t s a c t a s p r e d a t o r s . I n r e p e a t e d c y c l e s , t h e m o n i t o r a d d s n e w m o t h s t o t h e n e W s p a p e r b a c k g r o u n d a n d t h e n o t h e r s t u d e n t s i n t h e g r o u p " a t t a c k " t h e e n v i r o n m e n t , s n a t c h i n g t h e fi r s t m o t h t h e y s e e . T h e m o n i t o r t h e n r e p l e n i s h e s t h e p o p u l a t i o n w i t h o n e o f e a c h m o t h t y p e i n p r e p a r a t i o n f o r t h e n e x t r o u n d o f p r e d a t i o n . T h e f o l l o w i n g t a b l e P r o v i d e s t h e d a t a f o r t h e a c t i v i t y a f t e r 2 0 r o u n d s . 2 0 1 T h e r e i s a l o n g p a u s e a s t h e o t h e r g r o u p m e m b e r s p r o v i d e n o r e s p o n s e t o t h i s q u e s t i o n . Y o u c a n s e e t h e t h r e e m o t h t y p e s a n d h o w t h e n u m b e r s e a c h o f c h a n g e s . D a t a T a b l e : P r e d a t o r N u m b e r o f W h i t e N u m b e r o f R e d N u m b e r o f A t t a c k / N e w M o t h s M o t h s N e w s p a p e r m o t h s G e n e r a t i o n B e f o r e F i r s t A t t a c k 3 3 3 4 3 3 A f t e r 1 6 ‘ “ 3 4 1 4 4 3 A f t e r 2 t ? “ 3 3 1 5 3 A t e a c h e r l i s t e n s t o t h e g r o u p t h a t r e c o r d e d t h e i n f o r m a t i o n i n t h e a b o v e d a t a t a b l e h a v e t h e f o l l o w i n g c o n v e r s a t i o n r e g a r d i n g a q u e s t i o n o n t h e l a b o r a t o r y g u i d e s h e e t . T h e q u e s t i o n a s k s : I f t h e b a c k g r o u n d f o r t h i s a c t i v i t y w e r e c h a n g e d t o a c o l o r f u l t y p e o f p a p e r s u c h a s t h e S u n d a y c a r t o o n s e c t i o n o r c o l o r f u l w r a p p i n g p a p e r , h o w m i g h t t h e p o p u l a t i o n o f m o t h s u s e d i n t h i s e x p e r i m e n t c h a n g e ? T h e g r o u p i s m a d e u p o f 4 s t u d e n t s : 1 m a l e s - E v a n , a n d 3 f e m a l e s — L a t i s h a , Y a n p i n g , a n d A l e j a n d r a . A l e j a n d r a i s f r o m E q u a d o r a n d n e w t o t h e c l a s s . S h e s a y s n o t h i n g , b u t i s l i s t e n i n g a n d t a k i n g n o t e s . H e r e i s t h e c o n v e r s a t i o n : E v a n : I d o n ’ t t h i n k i t w o u l d h a v e a n y e f f e c t . T h e r e d o n e s w o u l d s t i l l g e t e a t e n t h e m o s t b e c a u s e t h e y a r e b r i g h t e s t a n d t h e n e w s p a p e r m o t h s w o u l d g e t e a t e n l e a s t b e c a u s e t h e y b l e n d i n t h e m o s t . Y a n p i n g : M a y b e , b u t i n o u r e x p e r i m e n t , t h e n e w s p a p e r m o t h s ’ p o p u l a t i o n g e t s b i g g e r b e c a u s e t h e y a r e h a r d e r t o s e e a g a i n s t t h e b l a c k a n d w h i t e n e w s p a p e r b a c k g r o u n d . B u t , i f t h e b a c k g r o u n d h a d l o t s o f c o l o r s , t h e n t h e y m i g h t s t i c k o u t a n d t h e r e d o n e s w o u l d b e h a r d e r t o s e e . L a t i s h a : O . K . , b u t h o w w i l l t h e p o p u l a t i o n c h a n g e ? T h e r e a r e s o f e w r e d o n e s n o w t h a t I d o n ’ t s e e h o w t h e y c o u l d g r o w i n n u m b e r s . A n d s i n c e t h e r e a r e s o m a n y n e w s p a p e r o n e s n o w , I t h i n k t h a t t h e i r p o p u l a t i o n w i l l s t a y t h e w a y i t i s . E v a n : I a g r e e . I f w e c h a n g e t o t h e c o l o r f u l b a c k g r o u n d t h e p o p u l a t i o n w i l l s t a y t h e w a y i t i s . T h e n u m b e r o f n e w s p a p e r m o t h s w i l l s t o p g r o w i n g a n d t h e r e d m o t h s w i l l s t o p g e t t i n g s m a l l e r . Y a n p i n g : W e l l , t h e r e d c a n ’ t g e t m u c h s m a l l e r . T h e i r p o p u l a t i o n i s a l r e a d y a t o n e n o w . I f i t g e t s a n y s m a l l e r , t h e y w i l l d i s a p p e a r . W h e n w e s t a r t e d t h i s e x p e r i m e n t , t h e r e w e r e e q u a l n u m b e r s o f a l l t h r e e m o t h s . W i t h t h e c o l o r f u l b a c k g r o u n d , c o u l d n ’ t t h e p o p u l a t i o n c h a n g e b a c k t o t h e w a y i t w a s ? 2 0 2 I I I . D e s c r i p t i o n o f a S u c c e s s f u l L e s s o n T a k e a m o m e n t a n d t h i n k o f a r e c e n t c l a s s t h a t w a s m e m o r a b l e b e c a u s e o f t h e s t u d e n t l e a r n i n g t h a t y o u b e l i e v e t o o k p l a c e . I t s h o u l d b e a r e c e n t o c c a s i o n f r o m a s p e c i fi c c l a s s t h a t y o u r e m e m b e r w e l l a n d a r e c o m f o r t a b l e d i s c u s s i n g . W h e n y o u h a v e a n e x a m p l e r e a d y i n y o u r m i n d , I w i l l a s k y o u s o m e q u e s t i o n s . I V . E x a m i n i n g a W h o l e c l a s s d i s c u s s i o n i n S c i e n c e T h e v i d e o t a p e ( A r t i f a c t # 4 ) c o n t a i n s a p o r t i o n o f a w h o l e c l a s s d i s c u s s i o n a b o u t s c i e n c e . T h e s e g m e n t y o u a r e a b o u t t o s e e i s f r o m a n A d v a n c e d P l a c e m e n t E n v i r o n m e n t a l S c i e n c e C l a s s m a d e u p o f c o l l e g e b o u n d 1 1 t h a n d 1 2 t h g r a d e r s . T h e y a r e a n e t h n i c a l l y a n d l i n g u i s t i c a l l y d i v e r s e g r o u p o f s t u d e n t s . C o u n t r i e s f r o m N o r t h a n d S o u t h A m e r i c a , A s i a , a n d E u r o p e a r e r e p r e s e n t e d . E n g l i s h i s a s e c o n d l a n g u a g e f o r m o s t , t h o u g h n e a r l y a l l o f t h e m h a v e b e e n s t u d y i n g E n g l i s h s i n c e t h e y s t a r t e d g o i n g t o s c h o o l . T h e y h a v e b e e n v i s i t i n g a l o c a l e c o s y s t e m a p p r o x i m a t e l y o n c e a m o n t h f o r t h e l a s t s i x m o n t h s w i t h t h e i r t e a c h e r . T h e y h a v e w o r k e d i n t e a m s a n d i n d i v i d u a l l y t o c o l l e c t b o t h b i o t i c a n d a b i o t i c d a t a t o h e l p t h e m a n s w e r t h e q u e s t i o n : “ I s t h i s a h e a l t h y e c o s y s t e m ? ” I n t h e c l i p y o u a r e a b o u t t o s e e , t h e t e a c h e r h a s j u s t a s k e d t h e s t u d e n t s , “ W h a t i s t h e o n e m o s t i m p o r t a n t o b s e r v a t i o n o r fi n d i n g f r o m y o u r i n d i v i d u a l p r o j e c t s t h a t m a y s h e d s o m e l i g h t o n t h e h e a l t h o f t h i s e c o s y s t e m ? ” T h e v i d e o c l i p p r e s e n t s s e v e r a l d i f f e r e n t s t u d e n t s ’ i n d i v i d u a l p r o j e c t s f o c u s i n g u p o n t w o d i f f e r e n t s p e c i e s : W a t e r C a b b a g e s a n d R i p p l e B u g s . P r i o r t o t h i s c l i p , e a c h o f t h e 4 t e a m s s h a r e d t h e i r c o l l e c t i v e r e s u l t s o n d i f f e r e n t a r e a s o f t h e p r e s e r v e w i t h t h e r e s t o f t h e c l a s s . A f t e r t h e c l i p , e a c h s t u d e n t w a s t o p r o v i d e a fi n a l c o n c l u s i o n r e g a r d i n g t h e h e a l t h o f t h e p r e s e r v e . T h i s i s t h e i r l a s t v i s i t t o t h e p a r k . T h e t e a c h e r h a s s e t s e v e r a l g o a l s f o r t h i s d i s c u s s i o n : 1 ) S t u d e n t s w i l l t h i n k a n d r e a s o n s c i e n t i fi c a l l y . 2 ) S t u d e n t s w i l l c o m m u n i c a t e t h e i r i d e a s c l e a r l y t o t h e g r o u p . 3 ) S t u d e n t s w i l l d e m o n s t r a t e a s e n s e o f o w n e r s h i p o v e r t h e d i s c u s s i o n . 4 ) S t u d e n t s w i l l c o m e t o a b e t t e r u n d e r s t a n d i n g r e g a r d i n g t h e c u r r e n t s t a t u s o f t h e e c o s y s t e m u n d e r i n v e s t i g a t i o n . A t t h i s t i m e , I w o u l d a s k y o u t o p l e a s e w a t c h t h e v i d e o t a p e c a r e f u l l y a n d t h e n I w i l l a s k y o u s o m e q u e s t i o n s . F e e l f r e e t o t a k e n o t e s d u r i n g t h e v i e w i n g a n d y o u m a y p u t t h e p h o n e d o w n i f y o u s o d e s i r e . 2 0 3 V . A c c o m p l i s h m e n t s O u t s i d e o f C l a s s : T h e I m p a c t o n S t u d e n t L e a r n i n g a . T h e N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s h a s d e e m e d t h a t a c c o m p l i s h e d t e a c h e r s c o n t r i b u t e t o t h e t e a c h i n g a n d l e a r n i n g o f t h e i r c o l l e a g u e s a n d t h e q u a l i t y o f t h e p r o f e s s i o n a l c o m m u n i t y a t l a r g e . F o r e a c h o f t h e f o l l o w i n g t e a c h e r p r o f e s s i o n a l d e v e l o p m e n t a c t i v i t i e s , p l e a s e i n d i c a t e w h e t h e r o r n o t y o u h a v e d i r e c t e x p e r i e n c e w i t h t h e i t e m . T h e n , o n a s c a l e o f 1 - 5 w h e r e 1 i s ‘ n o e f f e c t ’ a n d 5 i s ‘ s t r o n g e f f e c t ’ , r a t e e a c h a c t i v i t y o n i t s g e n e r a l a b i l i t y t o i m p r o v e s t u d e n t l e a r n i n g . I f y o u a r e u n s u r e o f t h e e f f e c t , y o u m a y e n t e r a “ 3 ” o r l e a v e t h e r a t i n g b l a n k . P r o f e s s i o n a l A c t i v i t y / A c c o m p l i s h m e n t Y e s N o R a t i n 3 ) A t t e n d i n g e d u c a t i o n a l c o n f e r e n c e s / w o r k s h o p s b ) P r o f e s s i o n a l d e v e l o p m e n t a c t i v i t i e s a t s c h o o l c ) R e a d i n g e d u c a t i o n a l l i t e r a t u r e d ) R e a d i n g s c i e n t i fi c l i t e r a t u r e e ) W r i t i n g e d u c a t i o n a l a r t i c l e s ( p r o f e s s i o n a l ) f ) W r i t i n g s c i e n t i fi c a r t i c l e s g ) S e r v i n g o n a n a d v i s o r y c o m m i t t e e a t t h e s c h o o l o r d i s t r i c t l e v e l h ) S e r v i n g a s a U n i o n r e p r e s e n t a t i v e i ) D e v e l o p i n g s c i e n c e c u r r i c u l u m f o r y o u r c l a s s , s c h o o l , o r d i s t r i c t j ) M e n t o r i n g a n e w / s t u d e n t t e a c h e r k ) L e a d i n g a p r o f e s s i o n a l d e v e l o p m e n t w o r k s h o p f o r y o u r c o l l e a g u e s I ) T a k i n g a s c i e n c e c o u r s e a t a l o c a l u n i v e r s i t y m ) C o l l a b o r a t i n g w i t h c o l l e a g u e s o n a n i n t e r d i s c i p l i n a r y p r o j e c t 1 1 ) P u r s u i n g N a t i o n a l B o a r d c e r t i fi c a t i o n 0 ) T a k i n g a n e d u c a t i o n a l c o u r s e a t a l o c a l u n i v e r s i t y 2 0 4 . T h e N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s h a s d e e m e d t h a t a c c o m p l i s h e d t e a c h e r s k n o w a n d m a k e g o o d u s e o f a l l a v a i l a b l e r e s o u r c e s i n t h e c o m m u n i t y t o i m p r o v e s t u d e n t l e a r n i n g i n t h e c l a s s r o o m . F o r e a c h o f t h e f o l l o w i n g c o m m u n i t y r e s o u r c e s / a c t i v i t i e s , p l e a s e i n d i c a t e w h e t h e r o r n o t y o u h a v e d i r e c t e x p e r i e n c e w i t h t h e i t e m . T h e n , o n a s c a l e o f 1 - 5 w h e r e 1 i s ‘ n o e f f e c t ’ a n d 5 i s ‘ s t r o n g e f f e c t ’ , r a t e e a c h r e s o u r c e / a c t i v i t y o n i t s g e n e r a l a b i l i t y t o i m p r o v e s t u d e n t l e a r n i n g . I f y o u a r e u n s u r e o f t h e e f f e c t , y o u m a y l e a v e t h e r a t i n g b o x b l a n k . C o m m u n i t y R e s o u r c e / A c c o m p l i s h m e n t Y e s N o R a t i n g _ a ) P a r t i c i p a t i n g i n p a r e n t - t e a c h e r c o n f e r e n c e s b ) A t t e n d i n g o p e n h o u s e n i g h t 0 ) T e l e p h o n e c a l l s t o p a r e n t s / g u a r d i a n s d ) E m a i l s c o m m u n i c a t i o n w i t h p a r e n t s / g u a r d i a n s e ) A s s i s t i n g i n s c i e n t i fi c r e s e a r c h w i t h a l o c a l c o l l e g e f ) C l a s s r o o m o b s e r v a t i o n s f r o m p a r e n t s g ) C o n t a c t i n g o u t s i d e e x p e r t s b y t e l e p h o n e o r e m a i l h ) R e c r u i t i n g g u e s t s p e a k e r s f r o m t h e c o m m u n i t y i ) S u p e r v i s i n g a f t e r s c h o o l a c t i v i t i e s ' ) C o a c h i n g y o r t s k ) W o r k i n g w i t h t h e P a r e n t - T e a c h e r A s s o c i a t i o n 1 ) E s t a b l i s h i n g a p a r t n e r s h i p w i t h a l o c a l t e a c h e r s ’ c o l l e g e m ) C o n t r i b u t i n g t i m e t o l o c a l r e l i g i o u s o r c h a r i t y g r o u p s 1 1 ) S e r v i n g a s a n a c a d e m i c a d v i s o r t o s t u d e n t s 0 ) S e r v i n g o n t h e l o c a l B o a r d o f E d u c a t i o n 2 0 5 A m o n ) ) 3 4 g t h S S i t t n u u t e e d d t e e r e e n n s a t t t c s s s h e w w a r i i n s l l ’ l l d l k m t h e n a e a o k r c n e w o i n n a t c g n o e o b d n n n t j m n c e a c t d t t e e i u e i r r o v s i n e t s a s a l n b . f e d o t r t w t e h h e e e K n u i n n i e t t t h e i w c i r e b r T a e h c : e k o g r r y o o n f d u M , a e t x t p e e r r i e n c e s , a n d / o r A p p e n d i x C : I n t e r v i e w e r ’ s S t r u c t u r e d I n t e r v i e w P r o t o c o l s I N T E R V I E W P R O T O C A L S B e f o r e w e b e g i n , d o y o u : 1 ) H a v e a c o p y o f t h e q u e s t i o n s ? 2 ) H a v e t h e v i d e o t a p e a n d a V C R a n d t e l e v i s i o n a v a i l a b l e ? 3 ) H a v e s o m e t h i n g t o w r i t e w i t h ? B e f o r e w e g o t o t h e h a n d o u t , I h a v e a f e w i n t r o d u c t o r y q u e s t i o n s I w o u l d l i k e t o a s k . I n t r o d u c t i o n Q u e s t i o n s : 1 ) H o w l o n g h a v e y o u b e e n t e a c h i n g ? 2 ) W h a t s u b j e c t s a n d g r a d e l e v e l s d o y o u t e a c h ? 3 ) H o w w o u l d y o u d e s c r i b e t h e s c h o o l i n w h i c h y o u t e a c h ? 4 ) H o w w o u l d y o u g e n e r a l l y d e s c r i b e y o u r s t u d e n t s ? 5 ) W h a t i s y o u r a v e r a g e c l a s s s i z e ? 6 ) D e s c r i b e y o u r c u r r e n t s t a t u s w i t h N a t i o n a l B o a r d r e g a r d i n g t h e P o r t f o l i o a n d a s s e s s m e n t c e n t e r e x e r c i s e s . I w a n t t o r e m i n d y o u a g a i n t h a t o u r c o n v e r s a t i o n i s c o n fi d e n t i a l a n d h a s n o i m p a c t u p o n y o u r a s s e s s m e n t e x e r c i s e s o r t h e N a t i o n a l B o a r d ’ s e v a l u a t i o n o f y o u r w o r k . I r e m i n d y o u o f t h i s s o t h a t , y o u w i l l f e e l f r e e t o s p e a k y o u r m i n d i n r e s p o n s e t o t h e q u e s t i o n s i n t h e h a n d o u t . 1 . T e a c h i n g a n d L e a r n i n g : S e e A r t i f a c t # 1 , # 2 , & # 3 P l e a s e e x a m i n e a r t i f a c t s # 1 , 2 , a n d 3 . T h e s e a r t i f a c t s a r e f r o m a t w o - w e e k s c i e n c e u n i t o n t h e K i n e t i c T h e o r y o f M a t t e r i n a 1 0 ‘ h g r a d e g e n e r a l c h e m i s t r y c l a s s . T h e t e a c h e r c o n d u c t e d p r e - a s s e s s m e n t s a n d a p o s t - a s s e s s m e n t s e x e r c i s e s . O n e o f t h e p r e - a n d p o s t - a s s e s s m e n t s i n v o l v e d d i s t r i b u t i n g t h e a d v e r t i s e m e n t ( A r t i f a c t # 1 ) a n d a s k i n g s t u d e n t s t o w r i t e a n e s s a y t h a t i n t e r p r e t s t h e a d f r o m a m o l e c u l a r p o i n t o f v i e w . S t u d e n t A r e s p o n d e d t o t h e p r e - a s s e s s m e n t w i t h A r t i f a c t d i s p l a y # 2 . A t t h e e n d o f t h e u n i t , S t u d e n t A r e s p o n d e d t o t h e p o s t - a s s e s s m e n t w i t h A r t i f a c t d i s p l a y # 3 . 2 0 6 T h i s a s s i g n m e n t w a s u s e d b y t h e t e a c h e r t o e v a l u a t e s t u d e n t l e a r n i n g o f a c o r e c o n c e p t f r o m t h e u n i t o n t h e K i n e t i c T h e o r y o f M a t t e r . M o r e s p e c i fi c a l l y , t h e a s s i g n m e n t w a s c o n s t r u c t e d t o g a u g e h o w w e l l a s t u d e n t w a s a b l e t o d e s c r i b e t h e p r o p e r t i e s o f m a t t e r a t t h e m a c r o l e v e l o f a n a l y s i s ( s o l i d i t y a n d l i q u i d i t y ) . F u r t h e r m o r e , t h e s t u d e n t s w e r e e x p e c t e d t o t h e n e x p l a i n t h e o b s e r v a b l e p h y s i c a l p r o p e r t i e s o f m a t t e r f r o m a m o l e c u l a r l e v e l o f a n a l y s i s ( i . e . , k i n e t i c e n e r g y , i n t e r m o l e c u l a r f o r c e s , a n d p a r t i c l e p r o x i m i t y ) . A t t h i s t i m e , p l e a s e l o o k o v e r a n d e x a m i n e A r t i f a c t s 1 , 2 , a n d 3 . W h e n y o u a r e r e a d y , I w i l l a s k y o u s o m e q u e s t i o n s . A r t i f a c t # 2 - - - S t u d e n t A ’ s P r e - A s s e s s m e n t R e s p o n s e : T h e c a r i s s l e e k a n d a e r o d y n a m i c l i k e a d r o p o f w a t e r . A d r o p o f w a t e r i s m a d e o f fl u i d m o l e c u l e s a n d i t h a s n o s h a r p e d g e s . T h e c a r w i l l f l o w d o w n t h e r o a d j u s t l i k e a d r o p o f w a t e r w i l l f l o w a c r o s s a w i n d o w . T h e c a r i s n o t a f l u i d h o w e v e r . T h e c a r i s m a d e o f s o l i d m a t e r i a l s l i k e s t e e l , p l a s t i c , a n d r u b b e r . T h e s e t h i n g s h a v e s h a r p e d g e s a n d a r e m u c h s t r o n g e r t h a n l i q u i d s . C a r s m a d e o f s o l i d m o l e c u l e s a r e s a f e r f o r t h e p e o p l e i n s i d e b e c a u s e s o l i d m o l e c u l e s a r e d i f f e r e n t t h a n l i q u i d m o l e c u l e s . I t w o u l d b e r e a l l y h a r d t o b u i l d a c a r o u t o f l i q u i d s ! T w o w e e k s l a t e r a t t h e e n d o f t h e u n i t o n t h e K i n e t i c T h e o r y o f M a t t e r , t h e s a m e s t u d e n t r e s p o n d e d t o t h e s a m e q u e s t i o n w i t h t h e f o l l o w i n g r e s p o n s e : A r t i f a c t # 3 - - - S t u d e n t A ’ s P o s t - A s s e s s m e n t R e s p o n s e : T h e p h r a s e u s e d h a s m u c h t o d o w i t h c h e m i s t r y , a n d h a s m a n y l i t t l e d e t a i l s t o m a k e t h e c a r s o u n d s o u n i q u e . F i r s t o f a l l , t h e a u t h o r o f t h e q u o t e w a n t s t h e v i e w e r t o i m a g i n e t h e c a r a s a l i q u i d . A c c o r d i n g t o t h e k i n e t i c t h e o r y o f a l i q u i d ; t h e m o l e c u l e s m o v e f a s t e r t h a n i n a s o l i d , b u t n o t a s f a s t a s g a s . T h e y a r e a l w a y s i n c o n s t a n t m o t i o n , r e l a t i n g t o t h e c a r . T h e a t t r a c t i o n b e t w e e n t h e l i q u i d s i s g r e a t e r i n a l i q u i d t h a n i n a g a s . T h i s a t t r a c t i o n i s k n o w n a s i n t e r m o l e c u l a r f o r c e . S i n c e t h e b o n d s a r e w e a k e r t h a n s o l i d s , l i q u i d s , c a n t a k e u p a n y s h a p e . I f t h e c a r i s l i q u i d , t h e w i n d c a n g o a r o u n d i t d e p e n d i n g o n h o w t h e l i q u i d s h a p e s i t s e l f . L i q u i d s h a v e a v e r y l o w c o m p r e s s i b i l i t y g i v i n g t h e v i e w e r s e c u r i t y a s w e l l . I n t h e e v e n t o f a n a c c i d e n t e v e n t h o u g h t t h e c a r m o v e s s o f a s t . F l u i d i t y i s a p r o p e r t y t h a t a l i q u i d c o n t a i n s . I f s o m e t h i n g f l o w s , i t i s o f t e n s e e n a s s m o o t h a n d c l e a n . L i q u i d s , b y h a v i n g s t r o n g b o n d s , b u t r e l a t i v e l y h i g h m o l e c u l a r m o v e m e n t , m o v e o v e r s u r f a c e s l i k e a s n a k e i n c o n s t a n t m o t i o n . T h i s s a m e i d e a i s t h o u g h t a b o u t t h e M e r c u r y S a b l e . W h e n t h e a u t h o r s t a t e s “ y e t f e e l s s o s o l i d ” , h e i s t r y i n g t o g i v e t h e v i e w e r c o m f o r t s i n c e t h e c a r l o o k s l i k e i t m o v e s s o q u i c k l y . T h i s r e l a t e s t o t h e k i n e t i c t h e o r y o f s o l i d s . T h e i n t e r m o l e c u l a r b o n d s b e t w e e n t h e m o l e c u l e s a r e m u c h g r e a t e r t h a n i n l i q u i d s o r g a s e s . T h e m o l e c u l e s h a v e m u c h l e s s k i n e t i c e n e r g y a n d a r e f o u n d e x t r e m e l y c l o s e t o g e t h e r . S i n c e t h e c a r f e e l s s o s o l i d , i t g i v e s t h e d r i v e r a s e n s e c o n t r o l o f w h a t h e i s d o i n g . A l s o , a s o l i d h a s 2 0 7 n o c o m p r e s s i b i l i t y a n d i s e x t r e m e l y d e n s e , g i v i n g t h e r e a d e r s e c u r i t y i n t h e e v e n t o f a c r a s h . T h e c a r w i l l b e a b l e t o w i t h s t a n d h i g h a m o u n t s o f i m p a c t . I f s o m e t h i n g i s s o l i d , i t h a s d e fi n i t e s h a p e t o i t , t h e r e f o r e l u x u r y . T h e c a r f l o w s l i k e a l i q u i d , b u t i s s a f e a n d c o m f o r t a b l e a t t h e s a m e t i m e . Q u e s t i o n s : 1 ) B a s e d u p o n t h i s s t u d e n t ’ s t w o r e s p o n s e s , h o w w o u l d y o u d e s c r i b e t h e s t u d e n t ’ s g r o w t h i n u n d e r s t a n d i n g a b o u t t h e k i n e t i c t h e o r y o f m a t t e r ? 2 ) W h a t e v i d e n c e c a n y o u i d e n t i f y f r o m t h e r e s p o n s e s t h a t s u p p o r t s y o u r c o n c l u s i o n ? 3 ) W h a t d o e s t h e w o r k t e l l y o u a b o u t a n y m i s c o n c e p t i o n s o r g a p s i n u n d e r s t a n d i n g t h i s s t u d e n t m a y b e e x p e r i e n c i n g ? 4 ) B a s e d u p o n y o u r c o m m e n t s a n d A r t i f a c t s 1 , 2 , & 3 , d e s c r i b e t h e f e e d b a c k o r f u r t h e r i n s t r u c t i o n ( i f a n y ) t h a t t h e t e a c h e r s h o u l d p r o v i d e t h e s t u d e n t ? 5 ) D o y o u t h i n k t h e c a r a d v e r t i s e m e n t i s a n e f f e c t i v e i n s t r u c t i o n a l r e s o u r c e i n e s t a b l i s h i n g a c o n n e c t i o n b e t w e e n t h e s t u d e n t ’ s b a c k g r o u n d , e x p e r i e n c e s , a n d / o r i n t e r e s t s a n d t h e c o n t e n t m a t e r i a l ? W h y o r W h y n o t ? 6 ) B a s e d u p o n y o u r c o m m e n t s a n d t h e a r t i f a c t s p r o v i d e d , w h a t a d v i c e m i g h t y o u g i v e t h i s t e a c h e r t o i m p r o v e t h i s l e s s o n / a s s i g n m e n t i n t h e f u t u r e ? 1 1 . T e a c h i n g a n d S c i e n t i fi c I n q u i r y A t e a c h e r w a l k s a r o u n d t h e l a b o r a t o r y a s s t u d e n t s w o r k i n s m a l l g r o u p s o n a l a b e x e r c i s e . T h e s t u d e n t s a r e w o r k i n g o n o n e o f t h e i r fi r s t a c t i v i t i e s t h a t a d d r e s s e s t h e e v o l u t i o n a r y c o n c e p t o f ‘ a d a p t a t i o n ’ a n d D a r w i n ’ s t h e o r y o f n a t u r a l s e l e c t i o n . S t u d e n t s a r e p e r f o r m i n g a v e r s i o n o f t h e “ P e p p e r e d M o t h ” a d a p t a t i o n l a b u s i n g t h r e e d i f f e r e n t m o t h t y p e s . I n t h e a c t i v i t y , r e d , w h i t e , a n d n e w s p a p e r p r i n t m o t h s a r e a l l s e t a g a i n s t a n e w s p a p e r b a c k g r o u n d . T h e p u r p o s e o f t h e a c t i v i t y i s t o b e t t e r u n d e r s t a n d h o w a r a n g e o f c h a r a c t e r i s t i c s i n a s p e c i e s ( i n t h i s c a s e t h e c o l o r o f t h e P e p p e r e d M o t h s ’ w i n g s ) p l a y s a r o l e i n t h e s u r v i v a l o f t h e s p e c i e s . ‘ S o m e o f t h e t e a c h e r ’ s o b j e c t i v e s f o r t h i s a c t i v i t y i n c l u d e : 5 ) S t u d e n t s w i l l u n d e r s t a n d h o w t h e e n v i r o n m e n t i n t e r a c t s w i t h a r a n g e o f c h a r a c t e r i s t i c s w i t h i n a p o p u l a t i o n t h r o u g h n a t u r a l s e l e c t i o n . 6 ) S t u d e n t s w i l l l e a r n t o r e c o r d a n d a n a l y z e d a t a . 7 ) S t u d e n t s w i l l e x p e r i e n c e t h e p r o c e s s o f s c i e n t i fi c i n q u i r y a n d s c i e n t i fi c r e a s o n i n g . 8 ) S t u d e n t s w i l l l e a r n t o w o r k c o l l a b o r a t i v e l y i n g r o u p s t o s o l v e p r o b l e m s . T h e a c t i v i t y c a n b e s t b e d e s c r i b e d a s a m o d e l i n g o f t h e p r e d a t o r - p r e y r e l a t i o n s h i p . O n e s t u d e n t m o n i t o r s t h e “ e n v i r o n m e n t ” ( n e w s p a p e r a n d c u t o u t m o t h s ) w h i l e t h e o t h e r S t u ( l e n t s a c t a s p r e d a t o r s . I n r e p e a t e d c y c l e s , t h e m o n i t o r a d d s n e w m o t h s t o t h e n e W S p a p e r b a c k g r o u n d a n d t h e n o t h e r s t u d e n t s i n t h e g r o u p " a t t a c k " t h e e n v i r o n m e n t , s n a t c h i n g t h e fi r s t m o t h t h e y s e e . T h e m o n i t o r t h e n r e p l e n i s h e s t h e p o p u l a t i o n w i t h o n e 2 0 8 o f e a c h m o t h t y p e i n p r e p a r a t i o n f o r t h e n e x t r o u n d o f p r e d a t i o n . T h e f o l l o w i n g t a b l e p r o v i d e s t h e d a t a f o r t h e a c t i v i t y a f t e r 2 0 r o u n d s . Y o u c a n s e e t h e t h r e e m o t h t y p e s a n d h o w t h e n u m b e r s e a c h o f c h a n g e s . D a t a T a b l e : P r e d a t o r N u m b e r o f W h i t e N u m b e r o f R e d N u m b e r o f A t t a c k / N e w M o t h s M o t h s N e w s p a p e r m o t h s G e n e r a t i o n B e f o r e F i r s t 3 3 3 4 3 3 A t t a c k A f t e r 1 0 F 3 4 1 4 4 3 A f t e r 2 0 i i i 3 3 5 3 A t e a c h e r l i s t e n s t o t h e g r o u p t h a t r e c o r d e d t h e i n f o r m a t i o n i n t h e a b o v e d a t a t a b l e h a v e t h e f o l l o w i n g c o n v e r s a t i o n r e g a r d i n g a q u e s t i o n o n t h e l a b o r a t o r y g u i d e s h e e t . T h e q u e s t i o n a s k s : I f t h e b a c k g r o u n d f o r t h i s a c t i v i t y w e r e c h a n g e d t o a c o l o r f u l t y p e o f p a p e r s u c h a s t h e S u n d a y c a r t o o n s e c t i o n o r c o l o r f u l w r a p p i n g p a p e r , h o w m i g h t t h e p o p u l a t i o n o f m o t h s u s e d i n t h i s e x p e r i m e n t c h a n g e ? T h e g r o u p i s m a d e u p o f 4 s t u d e n t s : 1 m a l e s - E v a n , a n d 3 f e m a l e s — L a t i s h a , Y a n p i n g , a n d A l e j a n d r a . A l e j a n d r a i s f r o m E q u a d o r a n d n e w t o t h e c l a s s . S h e s a y s n o t h i n g , b u t i s l i s t e n i n g a n d t a k i n g n o t e s . H e r e i s t h e c o n v e r s a t i o n : ( I c a n r e a d t h i s p a s s a g e t o y o u o r y o u m a y r e a d i t y o u r s e l f . W h i c h w o u l d y o u p r e f e r ? ) E v a n : I d o n ’ t t h i n k i t w o u l d h a v e a n y e f f e c t . T h e r e d o n e s w o u l d s t i l l g e t e a t e n t h e m o s t b e c a u s e t h e y a r e b r i g h t e s t a n d t h e n e w s p a p e r m o t h s w o u l d g e t e a t e n l e a s t b e c a u s e t h e y b l e n d i n t h e m o s t . Y a n p i n g : M a y b e , b u t i n o u r e x p e r i m e n t , t h e n e w s p a p e r m o t h s ’ p o p u l a t i o n g e t s b i g g e r b e c a u s e t h e y a r e h a r d e r t o s e e a g a i n s t t h e b l a c k a n d w h i t e n e w s p a p e r b a c k g r o u n d . B u t , i f t h e b a c k g r o u n d h a d l o t s o f c o l o r s , t h e n t h e y m i g h t s t i c k o u t a n d t h e r e d o n e s w o u l d b e h a r d e r t o s e e . L a t i s h a : O . K . , b u t h o w w i l l t h e p o p u l a t i o n c h a n g e ? T h e r e a r e s o f e w r e d o n e s n o w t h a t I d o n ’ t s e e h o w t h e y c o u l d g r o w i n n u m b e r s . A n d s i n c e t h e r e a r e s o m a n y n e w s p a p e r o n e s n o w , I t h i n k t h a t t h e i r p o p u l a t i o n w i l l s t a y t h e w a y i t i s . E v a n : I a g r e e . I f w e c h a n g e t o t h e c o l o r f u l b a c k g r o u n d t h e p o p u l a t i o n w i l l s t a y t h e w a y i t i s . T h e n u m b e r o f n e w s p a p e r m o t h s w i l l s t o p g r o w i n g a n d t h e r e d m o t h s w i l l s t o p g e fl i n g s m a l l e r . Y a “ p i n g : W e l l , t h e r e d c a n ’ t g e t m u c h s m a l l e r . T h e i r p o p u l a t i o n i s a l r e a d y a t o n e n o w . I f i t g e t s a n y s m a l l e r , t h e y w i l l d i s a p p e a r . W h e n w e s t a r t e d t h i s e x p e r i m e n t , t h e r e w e r e 2 0 9 “ ! ? " 5 9 e q u a l n u m b e r s o f a l l t h r e e m o t h s . W i t h t h e c o l o r f u l b a c k g r o u n d , c o u l d n ’ t t h e p o p u l a t i o n c h a n g e b a c k t o t h e w a y i t w a s ? T h e r e i s a l o n g p a u s e a s t h e o t h e r g r o u p m e m b e r s p r o v i d e n o r e s p o n s e t o t h i s q u e s t i o n . Q u e s t i o n s : 1 ) 2 ) 3 ) 4 ) 5 ) 6 ) 7 ) H o w d o y o u t h i n k t h e t e a c h e r s h o u l d r e s p o n d t o t h i s g r o u p o f s t u d e n t s i n o r d e r t o s u p p o r t s c i e n t i fi c i n q u i r y ? ( I f t h e t e a c h e r r e s p o n d s b y s a y i n g “ d o t h e e x p e r i m e n t ” , a s k w h a t i s r e c o m m e n d e d i f t i m e i s a l i m i t i n g f a c t o r . ) D o y o u t h i n k y o u r s u g g e s t i o n ( s ) s u p p o r t s s t u d e n t s c i e n t i fi c i n q u i r y ? W o u l d t h e r e b e a n o t h e r o n e t h a t m i g h t d o m o r e t o w a r d t h a t g o a l ? A n o t h e r o n e o f t h e t e a c h e r ' s g o a l s w a s t o h e l p s t u d e n t s u n d e r s t a n d h o w t h e e n v i r o n m e n t i n t e r a c t s w i t h a s p e c i e s ’ p o p u l a t i o n t h r o u g h n a t u r a l s e l e c t i o n . D o y o u t h i n k y o u r s u g g e s t i o n ( s ) h e l p s a c h i e v e t h a t g o a l ? S u p p o s e t h i s t e a c h e r a l s o s a i d s h e h a d a p r o f e s s i o n a l g o a l o f e n s u r i n g f a i r n e s s , e q u i t y a n d a c c e s s f o r a l l s t u d e n t s . W h a t s t e p s ( i f a n y ) s h o u l d t h e t e a c h e r t a k e t o f u l fi l l t h i s o b j e c t i v e ? F r o m t h e i r d i s c u s s i o n , w h a t a s p e c t s o f t h e i n t e r a c t i o n b e t w e e n t h e e n v i r o n m e n t a n d s p e c i e s ’ c h a r a c t e r i s t i c s d o a n y o r a l l o f t h e s t u d e n t s a p p e a r t o u n d e r s t a n d a n d w h a t m i s c o n c e p t i o n s m a y s t i l l r e m a i n ? D o y o u s e e a n y e v i d e n c e t h a t a n y o f t h e s e s t u d e n t s a r e l e a r n i n g t o e n g a g e i n s c i e n t i fi c i n q u i r y ? W h a t e v i d e n c e d o y o u s e e ? I f y o u h a d o b s e r v e d t h i s l e s s o n , a n d w e r e a m e n t o r t o t h i s t e a c h e r , w h a t a d v i c e o r g u i d a n c e w o u l d y o u g i v e t h i s t e a c h e r r e g a r d i n g t h e p l a n n i n g o r t e a c h i n g o f t h i s l e s s o n t o t h i s g r o u p o f s t u d e n t s ? 1 1 1 . D e s c r i p t i o n o f a S u c c e s s f u l L e s s o n T a k e a m o m e n t a n d t h i n k o f a r e c e n t c l a s s t h a t w a s m e m o r a b l e b e c a u s e o f t h e s t u d e n t l e a r n i n g t h a t y o u b e l i e v e t o o k p l a c e . I t s h o u l d b e a r e c e n t o c c a s i o n f r o m a s p e c i fi c c l a s s t h a t y o u r e m e m b e r w e l l a n d a r e c o m f o r t a b l e d i s c u s s i n g . W h e n y o u h a v e a n e x a m p l e r e a d y i n y o u r m i n d , I w i l l a s k y o u s o m e q u e s t i o n s . 1 . 2 . P l e a s e d e s c r i b e f o r m e t h e s e t t i n g f o r t h e c l a s s y o u w i l l s h a r e . ( W h a t w a s t h e s u b j e c t ? , l e n g t h o f c l a s s ? , w h e n d i d t h i s c l a s s t a k e p l a c e ? ) H o w m a n y s t u d e n t s w e r e i n t h e c l a s s a n d w h a t g r a d e l e v e l s w e r e r e p r e s e n t e d ? W h a t w e r e t h e s t u d e n t l e a r n i n g g o a l s f o r t h i s l e s s o n ? W h y w e r e t h e s e g o a l s i m p o r t a n t f o r t h e s e s t u d e n t s ? H o w d i d t h e s e g o a l s fi t i n t o y o u r o v e r a l l g o a l s f o r t h e y e a r ? W h a t a b o u t t h i s p a r t i c u l a r e x a m p l e o f t e a c h i n g a n d l e a r n i n g i s m o s t s i g n i fi c a n t t o y o u ? ( W h a t h a p p e n e d i n t h i s c l a s s t h a t w a s p a r t i c u l a r l y m e m o r a b l e f o r y o u ? ) W h a t s p e c i fi c e v i d e n c e h e l p e d y o u d e t e r m i n e t h a t y o u w e r e s u c c e s s f u l a t a c h i e v i n g t h e i d e n t i fi e d l e a r n i n g g o a l s w i t h y o u r s t u d e n t s ? 2 1 0 8 . W e r e t h e r e a n y e t h n i c , c u l t u r a l , o r l i n g u i s t i c d i v e r s i t y c i r c u m s t a n c e s y o u c o n s i d e r e d i n t h e p l a n n i n g a n d / o r t e a c h i n g o f t h i s c l a s s ? 9 . D i d t h e r a n g e o f a b i l i t i e s o f t h e s t u d e n t s ( e . g . , e x c e p t i o n a l n e e d s , c o g n i t i v e , s o c i a l / b e h a v i o r a l , a t t e n t i o n a l , s e n s o r y , a n d o r p h y s i c a l c h a l l e n g e s ) a n d / o r t h e p e r s o n a l i t y o f t h e c l a s s a f f e c t y o u r p l a n n i n g ? I f s o , h o w ? 1 0 . I n t h e t e a c h i n g o f t h i s l e s s o n , d i d s p o n t a n e i t y p l a y a r o l e i n t h e s u c c e s s o f t h i s c l a s s ? I f s o , h o w ? 1 1 . W h a t ( i f a n y t h i n g ) w o u l d y o u d o d i f f e r e n t l y i f y o u h a d t h e o p p o r t u n i t y t o p u r s u e t h i s l e s s o n i n t h e f u t u r e ? W h y ? I V . E x a m i n i n g a W h o l e c l a s s d i s c u s s i o n i n S c i e n c e T h e v i d e o t a p e ( A r t i f a c t # 4 ) c o n t a i n s a p o r t i o n o f a w h o l e c l a s s d i s c u s s i o n a b o u t s c i e n c e . T h e s e g m e n t y o u a r e a b o u t t o s e e i s f r o m a n A d v a n c e d P l a c e m e n t E n v i r o n m e n t a l S c i e n c e C l a s s m a d e u p o f c o l l e g e b o u n d 1 1 t h a n d 1 2 t h g r a d e r s . T h e y a r e a n e t h n i c a l l y a n d l i n g u i s t i c a l l y d i v e r s e g r o u p o f s t u d e n t s . C o u n t r i e s f r o m N o r t h a n d S o u t h A m e r i c a , A s i a , a n d E u r o p e a r e r e p r e s e n t e d . E n g l i s h i s a s e c o n d l a n g u a g e f o r m o s t , t h o u g h n e a r l y a l l o f t h e m h a v e b e e n s t u d y i n g E n g l i s h s i n c e t h e y s t a r t e d g o i n g t o s c h o o l . T h e y h a v e b e e n v i s i t i n g a l o c a l e c o s y s t e m a p p r o x i m a t e l y o n c e a m o n t h f o r t h e l a s t s i x m o n t h s w i t h t h e i r t e a c h e r . T h e y h a v e w o r k e d i n t e a m s a n d i n d i v i d u a l l y t o c o l l e c t b o t h b i o t i c a n d a b i o t i c d a t a t o h e l p t h e m a n s w e r t h e q u e s t i o n : “ I s t h i s a h e a l t h y e c o s y s t e m ? ” I n t h e c l i p y o u a r e a b o u t t o s e e , t h e t e a c h e r h a s j u s t a s k e d t h e s t u d e n t s , “ W h a t i s t h e o n e m o s t i m p o r t a n t o b s e r v a t i o n o r fi n d i n g f r o m y o u r i n d i v i d u a l p r o j e c t s t h a t m a y s h e d s o m e l i g h t o n t h e h e a l t h o f t h i s e c o s y s t e m ? ” T h e v i d e o c l i p p r e s e n t s s e v e r a l d i f f e r e n t s t u d e n t s ’ i n d i v i d u a l p r o j e c t s f o c u s i n g u p o n t w o d i f f e r e n t s p e c i e s : W a t e r C a b b a g e s a n d R i p p l e B u g s . P r i o r t o t h i s c l i p , e a c h o f t h e 4 t e a m s s h a r e d t h e i r c o l l e c t i v e r e s u l t s o n d i f f e r e n t a r e a s o f t h e p r e s e r v e w i t h t h e r e s t o f t h e c l a s s . A f t e r t h e c l i p , e a c h s t u d e n t w a s t o p r o v i d e a fi n a l c o n c l u s i o n r e g a r d i n g t h e h e a l t h o f t h e p r e s e r v e . T h i s i s t h e i r l a s t v i s i t t o t h e p a r k . T h e t e a c h e r h a s s e t s e v e r a l g o a l s f o r t h i s d i s c u s s i o n : 5 ) S t u d e n t s w i l l t h i n k a n d r e a s o n s c i e n t i fi c a l l y . 6 ) S t u d e n t s w i l l c o m m u n i c a t e t h e i r i d e a s c l e a r l y t o t h e g r o u p . 7 ) S t u d e n t s w i l l d e m o n s t r a t e a s e n s e o f o w n e r s h i p o v e r t h e d i s c u s s i o n . 8 ) S t u d e n t s w i l l c o m e t o a b e t t e r u n d e r s t a n d i n g r e g a r d i n g t h e c u r r e n t s t a t u s o f t h e e c o s y s t e m u n d e r i n v e s t i g a t i o n . A t t h i s t i m e , I w o u l d a s k y o u t o p l e a s e w a t c h t h e v i d e o t a p e c a r e f u l l y a n d t h e n I w i l l a s k Y O U s o m e q u e s t i o n s . F e e l f r e e t o t a k e n o t e s d u r i n g t h e v i e w i n g a n d y o u m a y p u t t h e p h o n e d o w n i f y o u s o d e s i r e . 2 1 1 Q u e s t i o n s : 1 ) 2 ) 3 ) 4 ) 5 ) 6 ) 7 ) 8 ) H o w d o y o u d e s c r i b e t h e a c a d e m i c a t m o s p h e r e ( l e a r n i n g e n v i r o n m e n t ) c r e a t e d b y t h e t e a c h e r ? S u p p o s e y o u w e r e w a t c h i n g t h i s c l a s s r o o m a s a r e p r e s e n t a t i v e o f a n a d v i s o r y c o m m i t t e e f o c u s e d o n a s c h o o l w i d e c o n c e r n r e g a r d i n g t e a c h e r s t r e a t i n g t h e i r s t u d e n t s f a i r l y a n d e q u i t a b l y . W h a t e v i d e n c e ( i f a n y ) c a n y o u s i t e f r o m t h e t a p e t h a t i n d i c a t e s t h a t t h i s t e a c h e r w a s , o r w a s n o t , f a i r a n d e q u i t a b l e w i t h l e a r n e r s ? H o w w o u l d y o u d e s c r i b e t h e l e v e l o f s t u d e n t e n g a g e m e n t i n t h i s c l i p ? A c c o r d i n g t o t h e N a t i o n a l B o a r d ’ s s t a n d a r d s , a c c o m p l i s h e d s c i e n c e t e a c h e r s f a c i l i t a t e a n d s u p p o r t m e a n i n g f u l s c i e n t i f i c d i s c u s s i o n . D o y o u t h i n k t h e t e a c h e r h e l p s s t u d e n t s e x p l o r e a n d u n d e r s t a n d i m p o r t a n t s c i e n t i fi c i d e a s ? ( W h a t d o e s t h i s t e a c h e r d o o r n o t d o t h a t s u p p o r t s y o u r a n s w e r ? ) H o w w o u l d y o u d e s c r i b e t h e q u a l i t y o f s t u d e n t - t o - s t u d e n t i n t e r a c t i o n s w i t h r e g a r d s t o s c i e n t i fi c , a n a l y t i c a l a n d / o r c r i t i c a l t h o u g h t ? B a s e d u p o n t h e s t u d e n t s w h o p a r t i c i p a t e d i n t h i s c l i p , h o w w o u l d y o u d e s c r i b e t h e l e v e l o f s t u d e n t u n d e r s t a n d i n g r e g a r d i n g t h e p r o c e s s o f s c i e n t i fi c i n q u i r y a n d c o n t e n t r e l a t e d t o e n v i r o n m e n t a l s c i e n c e s ? I f t h i s t e a c h e r w e r e a c o l l e a g u e o f y o u r s a n d a p p r o a c h e d y o u f o r s o m e i n p u t i n t o t h i s l e s s o n , w h a t a d v i c e , g u i d a n c e , o r i n s i g h t s w o u l d y o u o f f e r t h a t m i g h t i m p r o v e t h e t e a c h i n g a n d l e a r n i n g i n t h i s c l a s s ? I n y o u r o p i n i o n , w h a t i s t h e p r o p e r r o l e ( s ) o f t h e t e a c h e r i n a w h o l e c l a s s d i s c u s s i o n a b o u t s c i e n c e ? I f t h e t e a c h e r a s k s a b o u t t h e i d e n t i t y o f t h e t e a c h e r o r s t u d e n t s , s a y : D u e t o c o n fi d e n t i a l i t y a g r e e m e n t s w i t h t h e N a t i o n a l B o a r d a n d M i c h i g a n S t a t e U n i v e r s i t y , I a m n o t a l l o w e d t o c o m m e n t o n t h e i d e n t i t y o f a n y o n e a p p e a r i n g i n t h e t a p e . 2 1 2 V . A c c o m p l i s h m e n t s O u t s i d e o f C l a s s : T h e I m p a c t o n S t u d e n t L e a r n i n g b . T h e N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s h a s d e e m e d t h a t a c c o m p l i s h e d t e a c h e r s c o n t r i b u t e t o t h e t e a c h i n g a n d l e a r n i n g o f t h e i r c o l l e a g u e s a n d t h e q u a l i t y o f t h e p r o f e s s i o n a l c o m m u n i t y a t l a r g e . F o r e a c h o f t h e f o l l o w i n g t e a c h e r p r o f e s s i o n a l d e v e l o p m e n t a c t i v i t i e s , p l e a s e i n d i c a t e w h e t h e r o r n o t y o u h a v e d i r e c t e x p e r i e n c e w i t h t h e i t e m . T h e n , o n a s c a l e o f 1 - 5 w h e r e 1 i s ‘ n o e f f e c t ’ a n d 5 i s ‘ s t r o n g e f f e c t ’ , r a t e e a c h a c t i v i t y o n i t s g e n e r a l a b i l i t y t o i m p r o v e s t u d e n t l e a r n i n g . I f y o u a r e u n s u r e o f t h e e f f e c t , y o u m a y e n t e r a “ 3 ” o r l e a v e t h e r a t i n g b l a n k . P r o f e s s i o n a l A c t i v i t y / A c c o m p l i s h m e n t Y e s N o R a t i n g ) 0 ) A t t e n d i n g e d u c a t i o n a l c o n f e r e n c e s / w o r k s h o p s p ) P r o f e s s i o n a l d e v e l o p m e n t a c t i v i t i e s a t s c h o o l q ) R e a d i n g e d u c a t i o n a l l i t e r a t u r e r ) R e a d i n g s c i e n t i fi c l i t e r a t u r e 5 ) W r i t i n g e d u c a t i o n a l a r t i c l e s ( p r o f e s s i o n a l ) t ) W r i t i n g s c i e n t i fi c a r t i c l e s u ) S e r v i n g o n a n a d v i s o r y c o m m i t t e e a t t h e s c h o o l o r d i s t r i c t l e v e l v ) S e r v i n g a s a U n i o n r e p r e s e n t a t i v e w ) D e v e l o p i n g s c i e n c e c u r r i c u l u m f o r y o u r c l a s s , s c h o o l , o r d i s t r i c t x ) M e n t o r i n g a n e w / s t u d e n t t e a c h e r y ) L e a d i n g a p r o f e s s i o n a l d e v e l o p m e n t w o r k s h o p f o r y o u r c o l l e a g u e s 2 ) T a k i n g a s c i e n c e c o u r s e a t a l o c a l u n i v e r s i t y a a ) C o l l a b o r a t i n g w i t h c o l l e a g u e s o n a n i n t e r d i s c i p l i n a r y p r o j e c t b b ) P u r s u i n g N a t i o n a l B o a r d c e r t i fi c a t i o n 0 ) T a k i n g a n e d u c a t i o n a l c o u r s e a t a l o c a l u n i v e r s i t y 1 . I s t h e r e a n y o t h e r a c t i v i t y m i s s i n g f r o m t h i s l i s t t h a t y o u t h i n k i s e s p e c i a l l y h e l p f u l i n i m p r o v i n g s t u d e n t l e a r n i n g ? 2 1 3 . T h e N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s h a s d e e m e d t h a t a c c o m p l i s h e d t e a c h e r s k n o w a n d m a k e g o o d u s e o f a l l a v a i l a b l e r e s o u r c e s i n t h e c o m m u n i t y t o i m p r o v e s t u d e n t l e a r n i n g i n t h e c l a s s r o o m . F o r e a c h o f t h e f o l l o w i n g c o m m u n i t y r e s o u r c e s / a c t i v i t i e s , p l e a s e i n d i c a t e w h e t h e r o r n o t y o u h a v e d i r e c t e x p e r i e n c e w i t h t h e i t e m . T h e n , o n a s c a l e o f 1 - 5 w h e r e l i s ‘ n o e f f e c t ’ a n d 5 i s ‘ s t r o n g e f f e c t ’ , r a t e e a c h r e s o u r c e / a c t i v i t y o n i t s g e n e r a l a b i l i t y t o i m p r o v e s t u d e n t l e a r n i n g . I f y o u a r e u n s u r e o f t h e e f f e c t , y o u m a y l e a v e t h e r a t i n g b o x b l a n k . C o m m u n i t y R e s o u r c e / A c c o m p l i s h m e n t Y e s N o R a t i g a ) P a r t i c i p a t i n g i n p a r e n t - t e a c h e r c o n f e r e n c e s b ) A t t e n d i n g o p e n h o u s e n i g h t c ) T e l e p h o n e c a l l s t o p a r e n t s / g u a r d i a n s d ) E m a i l s c 0 m m u n i c a t i o n w i t h p a r e n t s / g u a r d i a n s e ) A s s i s t i n g i n s c i e n t i fi c r e s e a r c h w i t h a l o c a l c o l l e g e 0 C l a s s r o o m o b s e r v a t i o n s f r o m p a r e n t s g ) C o n t a c t i n g o u t s i d e e x p e r t s b y t e l e p h o n e o r e m a i l h ) R e c r u i t i n g g u e s t s p e a k e r s f r o m t h e c o m m u n i t y i ) S u p e r v i s i n g a f t e r s c h o o l a c t i v i t i e s j ) C o a c h i n g s p o r t s k ) W o r k i n g w i t h t h e P a r e n t - T e a c h e r A s s o c i a t i o n 1 ) E s t a b l i s h i n g a p a r t n e r s h i p w i t h a l o c a l t e a c h e r s ’ c o l l e g e m ) C o n t r i b u t i n g t i m e t o l o c a l r e l i g i o u s o r c h a r i t y g r o u p s 1 1 ) S e r v i n g a s a n a c a d e m i c a d v i s o r t o s t u d e n t s 0 ) S e r v i n g o n t h e l o c a l B o a r d o f E d u c a t i o n I s t h e r e a n y o t h e r a c t i v i t y m i s s i n g f r o m t h i s l i s t t h a t y o u t h i n k i s e s p e c i a l l y h e l p f u l i n i m p r o v i n g s t u d e n t l e a r n i n g ? B a s e d u p o n b o t h o f t h e a b o v e l i s t s , w h i c h o n e a c t i v i t y d o y o u t h i n k i s m o s t i m p o r t a n t t o h e l p i n g a t e a c h e r b e c o m e m o r e e f f e c t i v e a t i m p r o v i n g s t u d e n t l e a r n i n g ? P l e a s e e x p l a i n y o u r r e a s o n s f o r m a k i n g t h i s c h o i c e . ( I f t h e y d o n ’ t c h o o s e b o a r d c e r t i fi c a t i o n , a s k a b o u t w h y t h e y r a t e d N B C a . ) 2 1 4 T h i s c o n c l u d e s o u r c o n v e r s a t i o n . I w a n t t o t h a n k y o u f o r y o u r t i m e a n d p a r t i c i p a t i o n i n t h i s s t u d y . Y o u r t h o u g h t f u l a n s w e r s a r e g r e a t l y a p p r e c i a t e d . T h e r e a r e a f e w fi n a l r e m i n d e r s I w o u l d l i k e t o l e a v e y o u w i t h : F i n a l R e m i n d e r s : 1 ) P l e a s e fi l l o u t t h e t o p o f p a g e 1 a n d s e n d t h e h a n d o u t a n d v i d e o t a p e b a c k t o m e i n t h e S A S E a t y o u r e a r l i e s t c o n v e n i e n c e . 2 ) A f t e r I r e c e i v e t h e h a n d o u t a n d v i d e o t a p e , y o u s h o u l d e x p e c t t o r e c e i v e y o u r $ 2 5 g i f t c e r t i fi c a t e t o A m a z o n . c o m i n 8 - 1 2 w e e k s . I w i l l s e n d y o u a n e m a i l h e a d s u p w h e n i t w i l l a r r i v e . 3 ) O n c e a g a i n , o n b e h a l f o f t h e N a t i o n a l B o a r d a n d M i c h i g a n S t a t e U n i v e r s i t y , I w a n t t o t h a n k y o u f o r y o u r v a l u a b l e c o n t r i b u t i o n s t o t h i s s t u d y . G o o d L u c k w i t h N a t i o n a l B o a r d c e r t i fi c a t i o n a n d y o u r t e a c h i n g ! 2 1 5 t h a t s t u d e n t s m a k e c o n n e c t i o n s a c r o s s t h e d i s c i p l i n e s o f s c i e n c e a n d i n t o o t h e r s u b j e c t A p p e n d i x D : T h e N B P T S S t a n d a r d s f o r A c c o m p l i s h e d T e a c h i n g i n A Y A S c i e n c e 1 . P r e p a r i n g t h e W a y f o r P r o d u c t i v e S t u d e n t L e a r n i n g 1 . U n d e r s t a n d i n g S t u d e n t s - T h i s s c a l e p e r t a i n s t o T e a c h e r K n o w l e d g e o f s t u d e n t s . M o r e s p e c i fi c a l l y , t e a c h e r s k n o w h o w s t u d e n t s l e a r n , a c t i v e l y g e t t o k n o w s t u d e n t s a s i n d i v i d u a l s , a n d d e t e r m i n e s t u d e n t s ’ u n d e r s t a n d i n g s o f s c i e n c e a s w e l l a s t h e i r i n d i v i d u a l l e a r n i n g b a c k g r o u n d s . I I . K n o w l e d g e o f S c i e n c e - T h i s s c a l e p e r t a i n s t o t e a c h e r s b r o a d a n d c u r r e n t k n o w l e d g e o f s c i e n c e a n d s c i e n c e e d u c a t i o n , a l o n g w i t h i n - d e p t h k n o w l e d g e o f o n e o f t h e s u b fi e l d s o f s c i e n c e , w h i c h t h e y u s e t o s e t i m p o r t a n t a p p r o p r i a t e l e a r n i n g g o a l s . I I I . I n s t r u c t i o n a l R e s o u r c e s - T h i s s c a l e p e r t a i n s t o t e a c h e r s a b i l i t y t o s e l e c t a n d a d a p t i n s t r u c t i o n a l r e s o u r c e s , i n c l u d i n g t e c h n o l o g y a n d l a b o r a t o r y a n d c o m m u n i t y r e s o u r c e s , a n d c r e a t e t h e i r o w n t o s u p p o r t a c t i v e s t u d e n t e x p l o r a t i o n s o f s c i e n c e . 1 1 . A d v a n c i n g S t u d e n t L e a r n i n g I V . S c i e n c e I n q u i r y - T h i s s c a l e p e r t a i n s t o a t e a c h e r ’ s a b i l i t y t o d e v e l o p i n s t u d e n t s t h e m e n t a l o p e r a t i o n s , h a b i t s o f m i n d , a n d a t t i t u d e s t h a t c h a r a c t e r i z e t h e p r o c e s s o f s c i e n t i fi c i n q u i r y . V . C o n c e p t u a l U n d e r s t a n d i n g s - T h i s s c a l e p e r t a i n s t o t e a c h e r ’ s u s e o f a v a r i e t y o f i n s t r u c t i o n a l s t r a t e g i e s t o e x p a n d s t u d e n t s ’ u n d e r s t a n d i n g s o f t h e m a j o r i d e a s o f s c i e n c e . V I . C o n t e x t s o f S c i e n c e — T h i s s c a l e p e r t a i n s t o t h e a b i l i t y o f a t e a c h e r t o c r e a t e O p p o r t u n i t i e s f o r s t u d e n t s t o e x a m i n e t h e h u m a n c o n t e x t s o f s c i e n c e , i n c l u d i n g i t s h i s t o r y , r e c i p r o c a l r e l a t i o n s h i p w i t h t e c h n o l o g y , t i e s t o m a t h e m a t i c s , a n d i m p a c t s o n s o c i e t y s o a r e a s . 2 1 6 1 H . E s t a b l i s h i n g a F a v o r a b l e C o n t e x t f o r S t u d e n t L e a r n i n g V I I . E n g a g e m e n t - T h i s s c a l e p e r t a i n s t o t e a c h e r s a b i l i t y t o s t i m u l a t e i n t e r e s t i n s c i e n c e a n d t e c h n o l o g y a n d e l i c i t a l l t h e i r s t u d e n t s ’ s u s t a i n e d p a r t i c i p a t i o n i n l e a r n i n g a c t i v i t i e s . V I I I . E q u i t a b l e P a r t i c i p a t i o n — T h i s s c a l e p e r t a i n s t o a b i l i t y o f a t e a c h e r t o t a k e s t e p s t h a t e n s u r e t h a t a l l s t u d e n t s , i n c l u d i n g t h o s e f r o m g r o u p s w h i c h h a v e h i s t o r i c a l l y n o t b e e n e n c o u r a g e d t o e n t e r t h e w o r l d o f s c i e n c e , p a r t i c i p a t e i n t h e s t u d y o f s c i e n c e . I X . L e a r n i n g E n v i r o n m e n t - T h i s s c a l e p e r t a i n s a t e a c h e r s a b i l i t y t o c r e a t e s a f e a n d s u p p o r t i v e l e a r n i n g e n v i r o n m e n t s t h a t f o s t e r h i g h e x p e c t a t i o n s f o r t h e s u c c e s s o f a l l s t u d e n t s a n d i n w h i c h s t u d e n t s e x p e r i e n c e t h e v a l u e s i n h e r e n t i n t h e p r a c t i c e o f s c i e n c e . I V . S u p p o r t i n g T e a c h i n g a n d S t u d e n t L e a r n i n g X . F a m i l y a n d C o m m u n i t y O u t r e a c h - T h i s s c a l e p e r t a i n s t o t h e t e a c h e r ’ s a b i l i t y t o p r o a c t i v e l y w o r k w i t h f a m i l i e s a n d c o m m u n i t i e s t o s e r v e t h e b e s t i n t e r e s t s o f e a c h s t u d e n t . X I . A s s e s s m e n t - T h i s s c a l e p e r t a i n s t o a t e a c h e r ’ s a b i l i t y t o a s s e s s s t u d e n t l e a r n i n g t h r o u g h a v a r i e t y o f m e a n s t h a t a l i g n w i t h s t a t e d l e a r n i n g g o a l s . X I I . R e fl e c t i o n - T h i s s c a l e p e r t a i n s t o a t e a c h e r ’ s a b i l i t y t o c o n s t a n t l y a n a l y z e , e v a l u a t e , a n d s t r e n g t h e n t h e i r p r a c t i c e i n o r d e r t o i m p r o v e t h e q u a l i t y o f t h e i r s t u d e n t s ’ l e a r n i n g C X p e r i e n c e s . X I I I . C o l l e g i a l i t y a n d L e a d e r s h i p - T h i s s c a l e p e r t a i n s t o a t e a c h e r ’ s w i l l i n g n e s s a n d a b i l i t y t o c o n t r i b u t e t o t h e q u a l i t y o f t h e p r a c t i c e o f t h e i r c o l l e a g u e s , t o t h e i n s t r u c t i o n a l P r o g r a m o f t h e s c h o o l , a n d t o t h e w o r k o f t h e l a r g e r p r o f e s s i o n a l c o m m u n i t y . 2 1 7 A p p e n d i x E : P o r t f o l i o P r o m p t s a n d I n t e r v i e w P r o t o c o l s C o m p a r i s o n N B P T S N B P T S P o r t f o l i o P r o m p t I n t e r v i e w P r o m p t S u p p o r t e d P o r t f o l i o S t a n d a r d i n E n t r y A Y A S c i e n c e C o n t e x t W h a t a r e t h e r e l e v a n t f e a t u r e s W h a t s u b j e c t s a n d g r a d e l e v e l s d o I . o f y o u r t e a c h i n g c o n t e x t y o u t e a c h ? H o w w o u l d y o u U n d e r s t a n d i n g ( s c h o o l , c l a s s , s t u d e n t s , d e s c r i b e t h e s c h o o l i n w h i c h y o u S t u d e n t s c o m m u n i t y ) t h a t w e r e t e a c h ? W h a t i s y o u r a v e r a g e c l a s s i n fl u e n t i a l i n d e v e l o p i n g y o u r s i z e ? r g r o n s e t o t h i s e n t r y ? W h a t a r e t h e n u m b e r , a g e ( s ) , H o w w o u l d y o u g e n e r a l l y d e s c r i b e I . a n d g r a d e s ( s ) o f t h e s t u d e n t s y o u r s t u d e n t s ? W h a t s u b j e c t s a n d U n d e r s t a n d i n g i n t h e c l a s s f e a t u r e d i n t h i s g r a d e l e v e l s d o y o u t e a c h ? S t u d e n t s e n t r y a n d t h e t i t l e a n d s u b j e c t m a t t e r o f t h e c l a s s ? 1 . T e a c h i n g a W h a t a r e t h e e d u c a t i o n a l l y B a s e d u p o n t h i s s t u d e n t ’ s t w o X . A s s e s s m e n t M a j o r I d e a i m p o r t a n t c h a r a c t e r i s t i c s o f r e s p o n s e s , h o w w o u l d y o u d e s c r i b e o v e r T i m e e a c h o f t h e t h r e e p i e c e s o f t h e s t u d e n t ’ s g r o w t h i n w o r k ? W h a t d o e s t h e w o r k t e l l y o u a b o u t t h e s t u d e n t s ’ g r o w t h i n u n d e r s t a n d i n g o f t h e m a j o r i d e a i n s c i e n c e ? u n d e r s t a n d i n g a b o u t t h e k i n e t i c t h e o r y o f m a t t e r ? H o w s u c c e s s f u l w a s t h e i n s t r u c t i o n a l s e q u e n c e i n a d v a n c i n g s t u d e n t u n d e r s t a n d i n g o f t h e s e l e c t e d m a j o r i d e a ? W h a t w o r k e d a n d w h a t d i d n ’ t w o r k ? W h a t e v i d e n c e c a n y o u i d e n t i f y f r o m t h e r e s p o n s e s t h a t s u p p o r t s y o u r c o n c l u s i o n ? X . A s s e s s m e n t W h a t d o e s t h e w o r k t e l l y o u W h a t d o e s t h e w o r k t e l l y o u a b o u t I I . K n o w l e d g e a b o u t a n y c h a l l e n g e s o f a n y m i s c o n c e p t i o n s o r g a p s i n o f S c i e n c e m i s u n d e r s t a n d i n g s t h i s s t u d e n t u n d e r s t a n d i n g t h i s s t u d e n t m a y b e i s e x p e r i e n c i fl ? e x p e r i e n c i g ? T a k e n t o g e t h e r , w h a t d o e s t h e B a s e d u p o n y o u r c o m m e n t s a n d V I I I . s t u d e n t w o r k s u g g e s t a b o u t A r t i f a c t s 1 , 2 , & 3 , d e s c r i b e t h e C o n c e p t u a l n e x t s t e p s f o r y o u r i n s t r u c t i o n , f e e d b a c k o r f u r t h e r i n s t r u c t i o n ( i f U n d e r s t a n d i n g s f o r t h e c l a s s o r f o r i n d i v i d u a l a n y ) t h a t t h e t e a c h e r s h o u l d p r o v i d e s t u d e n t s ? t h e s t u d e n t ? W h a t a r e s p e c i fi c e x a m p l e s o f D o y o u t h i n k t h e c a r a d v e r t i s e m e n t 1 1 ] . w a y s y o u p r o v i d e d s t u d e n t ’ s i s a n e f f e c t i v e i n s t r u c t i o n a l I n s t r u c t i o n a l w i t h a c o n t e x t f o r t h e s c i e n c e r e s o u r c e i n e s t a b l i s h i n g a R e s o u r c e s f e a t u r e d i n t h i s s e q u e n c e b y e s t a b l i s h i n g c o n n e c t i o n s t o s t u d e n t ’ s b a c k g r o u n d s , e x p e r i e n c e s , a n d i n t e r e s t s a n d / o r t o o t h e r d i s c i p l i n e s a n d a r e a s o f s t u d y ( e . g . m a t h e m a t i c s , h i s t o r y , t e c h n o l o g y ’ s i m p a c t o n s o c i e t y , e t h i c s , e t c . ) I n o t h e r w o r d s , h o w d o y o u h e l p s t u d e n t s m a k e m e a n i n g o f s c i e n c e a n d i n t e r n a l i z e i t s r e l e v a n c e ? c o n n e c t i o n b e t w e e n t h e s t u d e n t ’ s b a c k g r o u n d , e x p e r i e n c e s , a n d / o r i n t e r e s t s a n d t h e c o n t e n t m a t e r i a l ? W h y o r W h y n o t ? 2 1 8 W h a t a r e s p e c i fi c e x a m p l e s o f w a y s y o u m a k e g o o d u s e o f i n s t r u c t i o n a l r e s o u r c e s t o s u p p o r t y o u r t e a c h i n g a n d e x t e n d s t u d e n t l e a r n i n g ? B a s e d o n y o u r s t u d e n t s a n d y o u r t e a c h i n g c o n t e x t , w h y d i d y o u s e l e c t t h e s e i n s t r u c t i o n a l r e s o u r c e s t o s u p p o r t y o u r t e a c h i n g ? W h a t w o u l d y o u d o B a s e d u p o n y o u r c o m m e n t s a n d t h e X 1 1 . d i f f e r e n t l y , a n d w h y , i f y o u a r t i f a c t s p r o v i d e d , w h a t a d v i c e C o l l e g i a l i t y w e r e g i v e n t h e o p p o r t u n i t y t o m i g h t y o u g i v e t h i s t e a c h e r t o a n d L e a d e r s h i p t e a c h t h i s p a r t i c u l a r s e q u e n c e i m p r o v e t h i s l e s s o n / a s s i g n m e n t i n w i t h t h e s e s t u d e n t s a g a i n ? t h e f u t u r e ? I I . A c t i v e H o w d i d y o u s u p p o r t s t u d e n t H o w d o y o u t h i n k t h e t e a c h e r V I I . S c i e n c e S c i e n t i fi c i n q u i r y a s t h e y a n a l y z e d , s h o u l d r e s p o n d t o t h i s g r o u p o f I n q u i r y I V . I n q u i r y c o n s i d e r e d , a n d e v a l u a t e d t h e s t u d e n t s i n o r d e r t o s u p p o r t E n g a g e m e n t fi n a l r e s u l t s o f t h e s c i e n t i fi c i n q u i r y ? i n v e s t i g a t i o n ? H o w d i d y o u s u p p o r t s t u d e n t D o y o u t h i n k y o u r s u g g e s t i o n ( s ) V I I . S c i e n c e i n q u i r y i n o r d e r t o s u p p o r t s s t u d e n t s c i e n t i fi c i n q u i r y ? I n q u i r y c o n c e p t u a l i z e t h e p r i m a r y W o u l d t h e r e b e a n o t h e r o n e t h a t X I I I . q u e s t i o n s a n d / o r m e t h o d o l o g y m i g h t d o m o r e t o w a r d t h a t g o a l ? R e fl e c t i o n o f t h e i n v e s t i g a t i o n ? H o w d i d y o u s u p p o r t s t u d e n t i n q u i r y d u r i n g t h e c o l l e c t i o n a n d p r o c e s s i n g o f d a t a d u r i n g t h e i n v e s t i g a t i o n ? A n o t h e r o n e o f t h e t e a c h e r ' s g o a l s w a s t o h e l p s t u d e n t s u n d e r s t a n d h o w t h e e n v i r o n m e n t i n t e r a c t s w i t h a s p e c i e s ’ p o p u l a t i o n t h r o u g h n a t u r a l s e l e c t i o n . D o y o u t h i n k y o u r s u g g e s t i o n ( s ) h e l p s a c h i e v e t h a t g o a l ? I X . C o n t e x t s o f S c i e n c e I I . K n o w l e d g e o f S c i e n c e H o w d o i n t e r a c t i o n s i n t h e v i d e o t a p e i l l u s t r a t e y o u r a b i l i t y t o h e l p a l l s t u d e n t s e x p l o r e a n d u n d e r s t a n d t h e s c i e n t i fi c c o n c e p t ( s ) b e i n g d i s c u s s e d ? S u p p o s e t h i s t e a c h e r a l s o s a i d s h e h a d a p r o f e s s i o n a l g o a l o f e n s u r i n g f a i r n e s s , e q u i t y a n d a c c e s s f o r a l l s t u d e n t s . W h a t s t e p s ( i f a n y ) s h o u l d t h e t e a c h e r t a k e t o f u l fi l l t h i s o b j e c t i v e ? V I . E q u i t a b l e P a r t i c i p a t i o n H o w w e l l w e r e t h e l e a r n i n g g o a l s f o r t h i s i n q u i r y i n v e s t i g a t i o n a c h i e v e d ? F r o m t h e i r d i s c u s s i o n , w h a t a s p e c t s o f t h e i n t e r a c t i o n b e t w e e n t h e e n v i r o n m e n t a n d s p e c i e s ’ c h a r a c t e r i s t i c s d o a n y o r a l l o f t h e s t u d e n t s a p p e a r t o u n d e r s t a n d a n d w h a t m i s c o n c e p t i o n s m a y s t i l l r e m a i n ? X . A s s e s s m e n t C i t e o n e i n t e r a c t i o n o n t h e v i d e o t a p e t h a t s h o w s a s t u d e n t a n d / o r s t u d e n t s l e a r n i n g t o c i g a g e i n s c i e n t i fi c i n q u i r y . D o y o u s e e a n y e v i d e n c e t h a t a n y o f t h e s e s t u d e n t s a r e l e a r n i n g t o e n g a g e i n s c i e n t i fi c i n q u i r y ? W h a t e v i d e n c e d o L o u s e e ? V I I . S c i e n c e I n q u i r y W h a t p a r t s o f t h e i n v e s t i g a t i o n w e r e p a r t i c u l a r l y e f f e c t i v e i n t e r m s o f r e a c h i n g y o u r g o a l s w i t h t h i s g r o u p o f s t u d e n t s ? W h y d o y o u t h i n k s o ? W h a t w o u l d y o u d o d i f f e r e n t l y i f I f y o u h a d o b s e r v e d t h i s l e s s o n , a n d w e r e a m e n t o r t o t h i s t e a c h e r , w h a t a d v i c e o r g u i d a n c e w o u l d y o u g i v e t h i s t e a c h e r r e g a r d i n g t h e p l a n n i n g o r t e a c h i n g o f t h i s l e s s o n t o t h i s g r o u p o f s t u d e n t s ? X I I I . R e fl e c t i o n X I I . C o l l e g i a l i t y a n d L e a d e r s h i p 2 1 9 y o u h a d t h e o p p o r t u n i t y t o p u r s u e t h i s i n v e s t i g a t i o n i n t h e f u t u r e w i t h a d i f f e r e n t c l a s s ? W h y ? I I I . W h o l e C l a s s D i s c u s s i o n A s y o u r e v i e w t h e v i d e o t a p e , w h a t p a r t s o f t h e d i s c u s s i o n w e r e p a r t i c u l a r l y e f f e c t i v e i n t e r m s o f r e a c h i n g y o u r g o a l s w i t h t h i s g r o u p o f s t u d e n t s ? W h y ? H o w d o y o u d e s c r i b e t h e a c a d e m i c a t m o s p h e r e ( l e a r n i n g e n v i r o n m e n t ) c r e a t e d b y t h e t e a c h e r ? V . L e a r n i n g E n v i r o n m e n t D e s c r i b e a s p e c i fi c e x a m p l e S u p p o s e y o u w e r e w a t c h i n g t h i s V I . E q u i t a b l e f r o m t h i s l e s s o n a s s e e n o n t h e c l a s s r o o m a s a r e p r e s e n t a t i v e o f a n P a r t i c i p a t i o n v i d e o t a p e t h a t s h o w s h o w y o u a d v i s o r y c o m m i t t e e f o c u s e d o n a e n s u r e f a i r n e s s , e q u i t y , a n d s c h o o l w i d e c o n c e r n r e g a r d i n g a c c e s s f o r a l l s t u d e n t s i n y o u r t e a c h e r s t r e a t i n g t h e i r s t u d e n t s c l a s s . f a i r l y a n d e q u i t a b l y . W h a t e v i d e n c e ( i f a n y ) c a n y o u s i t e f r o m t h e t a p e t h a t i n d i c a t e s t h a t t h i s t e a c h e r w a s , o r w a s n o t , f a i r a n d e q u i t a b l e w i t h l e a r n e r s ? W h a t i n t e r a c t i o n s o n t h e v i d e o H o w w o u l d y o u d e s c r i b e t h e l e v e l I V . t a p e s h o w a s t u d e n t a n d / o r o f s t u d e n t e n g a g e m e n t i n t h i s c l i p ? E n g a g e m e n t s t u d e n t s l e a r n i n g t o r e a s o n a n d t h i n k s c i e n t i fi c a l l y a n d t o c o m m u n i c a t e t h a t r e a s o n i n g a n d t h i n k fl g ? W h a t i n t e r a c t i o n s o n t h e v i d e o A c c o r d i n g t o t h e N a t i o n a l B o a r d ’ s V I I I . t a p e s h o w a s t u d e n t a n d / o r s t a n d a r d s , a c c o m p l i s h e d s c i e n c e C o n c e p t u a l s t u d e n t s l e a r n i n g t o r e a s o n a n d t e a c h e r s f a c i l i t a t e a n d s u p p o r t U n d e r s t a n d i n g s t h i n k s c i e n t i fi c a l l y a n d t o m e a n i n g f u l s c i e n t i fi c d i s c u s s i o n . 1 1 . K n o w l e d g e c o m m u n i c a t e t h a t r e a s o n i n g D o y o u t h i n k t h e t e a c h e r h e l p s o f S c i e n c e a n d t h i n k i n g ? s t u d e n t s e x p l o r e a n d u n d e r s t a n d i m p o r t a n t s c i e n t i fi c i d e a s ? ( W h a t d o e s t h i s t e a c h e r d o o r n o t d o t h a t s u p p o r t s y o u r a n s w e r ? ) 2 2 0 I V . I n y o u r w o r k o u t s i d e t h e 5 . B a s e d u p o n b o t h o f t h e a b o v e l i s t s , X I I . C o m m u n i t y c l a s s r o o m , w h a t w a s m o s t w h i c h o n e a c t i v i t y d o y o u t h i n k i s C o l l e g i a l i t y a n d e f f e c t i v e i n i m p a c t i n g s t u d e n t m o s t i m p o r t a n t t o h e l p i n g a t e a c h e r a n d l e a d e r s h i p P r o f e s s i o n a l l e a r n i n g ? W h y ? b e c o m e m o r e e f f e c t i v e a t i m p r o v i n g X I . F a m i l y a n d D e v e l o p m e n t s t u d e n t l e a r n i n g ? P l e a s e e x p l a i n C o m m u n i t y y o u r r e a s o n s f o r m a k i n g t h i s c h o i c e . O u t r e a c h C o n s i d e r i n g t h e p a t t e r n s 4 . I s t h e r e a n y o t h e r a c t i v i t y m i s s i n g X I I I . e v i d e n t i n a l l o f y o u r f r o m t h i s l i s t t h a t y o u t h i n k i s R e fl e c t i o n a c c o m p l i s h m e n t s t a k e n e s p e c i a l l y h e l p f u l i n i m p r o v i n g I I I . t o g e t h e r , w h a t i s y o u r p l a n t o s t u d e n t l e a r n i n g ? I n s t r u c t i o n a l f u r t h e r i m p a c t s t u d e n t l e a r n i n g R e s o u r c e s i n t h e f u t u r e ? S u c c e s s f u l W h a t a r e t h e r e l e v a n t f e a t u r e s P l e a s e d e s c r i b e f o r m e t h e s e t t i n g f o r 1 . L e s s o n o f y o u r t e a c h i n g c o n t e x t t h e c l a s s y o u w i l l s h a r e . ( W h a t w a s U n d e r s t a n d i n g ( I n t e r v i e w ( s c h o o l , c l a s s , s t u d e n t s , t h e s u b j e c t ? , l e n g t h o f c l a s s ? , w h e n S t u d e n t s O n l y ) c o m m u n i t y ) t h a t w e r e d i d t h i s c l a s s t a k e p l a c e ? ) i n fl u e n t i a l i n d e v e l o p i n g y o u r r e s p o n s e t o t h i s e n t r y ? W h a t a r e t h e n u m b e r , a g e ( s ) , H o w m a n y s t u d e n t s w e r e i n t h e c l a s s I . a n d g r a d e s ( s ) o f t h e s t u d e n t s i n a n d w h a t g r a d e l e v e l s w e r e U n d e r s t a n d i n g t h e c l a s s f e a t u r e d i n t h i s e n t r y r e p r e s e n t e d ? S t u d e n t s a n d t h e t i t l e a n d s u b j e c t m a t t e r o f t h e c l a s s ? W h a t a r e y o u r g o a l s f o r t h i s W h a t w e r e t h e s t u d e n t l e a r n i n g g o a l s V I I I . l e s s o n , i n c l u d i n g c o n c e p t s , f o r t h i s l e s s o n ? C o n c e p t u a l a t t i t u d e s , p r o c e s s e s , a n d s k i l l s U n d e r s t a n d i n g s y o u w a n t s t u d e n t s t o d e v e l o p ? W h y a r e t h e s i m p o r t a n t l e a r n i n g g o a l s f o r t h e s e s t u d e n t s ? , W h y a r e t h e s e i m p o r t a n t W h y w e r e t h e s e g o a l s i m p o r t a n t f o r 1 . l e a r n i n g g o a l s f o r t h e s e t h e s e s t u d e n t s ? U n d e r s t a n d i n g s t u d e n t s ? S t u d e n t s H o w d o t h e s e g o a l s fi t i n t o H o w d i d t h e s e g o a l s fi t i n t o y o u r I X . C o n t e x t s o f y o u r o v e r a l l g o a l s f o r t h e y e a r ? o v e r a l l g o a l s f o r t h e y e a r ? S c i e n c e 2 2 1 A p p e n d i x F : A s s e s s o r T r a i n i n g M a t e r i a l s A s s e s s o r T r a i n i n g M a t e r i a l s f o r t h e R e s e a r c h P r o j e c t o n N a t i o n a l B o a r d C e r t i fi c a t i o n P r i n c i p a l I n v e s t i g a t o r : D a v i d L u s t i c k l u s t g t l @ m s u . e d u I n s t i t u t i o n : M i c h i g a n S t a t e U n i v e r s i t y S p r i n g , 2 0 0 3 2 2 2 r p w e w a s e P T a b l e o f C o n t e n t s I n t r o d u c t i o n C o n fi d e n t i a l i t y A g g r e e m e n t N B P T S A Y A S c i e n c e S t a n d a r d s I n t e r v i e w P r o t o c o l s a n d S t a n d a r d s N o t e s o n A s s e s s i n g P r o t o c o l R e s p o n s e s S c o r i n g R u b r i c G u i d e f o r u s i n g S c o r i n g R u b r i c E x a m p l e # 1 . E x a m p l e # 2 1 0 . E x a m p l e # 3 1 1 . T r i a l T r a n s c r i p t A 1 2 . T r i a l T r a n s c r i p t B 2 2 3 N a t i o n a l B o a r d y F O R P R O F E S S I O N A L T E A C H I N G S T A N D A R D S A G R E E M E N T F O R T H E C O N F I D E N T I A L A N D A P P R O P R I A T E U S E o r N B P T S D A T A T h e N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s ( N B P T S ) w e l c o m e s y o u r w i l l i n g n e s s t o e n g a g e i n a n i m p o r t a n t r e s e a r c h s t u d y r e l a t e d t o t h e N B P T S a s s e s s m e n t s a n d a s s e s s m e n t p r o c e s s . I n p e r m i t t i n g y o u a c c e s s t o N B P T S d a t a h o w e v e r , i t i s c r i t i c a l t h a t t h e c o n fi d e n t i a l i t y o f i n d i v i d u a l s a n d i n s t i t u t i o n s n o t b e c o m p r o m i s e d . I t i s a l s o c r i t i c a l t h a t N B P T S b e i n f o r m e d o f r e s e a r c h i n i t i a t i v e s f o r w h i c h N B P T S d a t a w i l l b e u s e d . T h e r e f o r e , w e a s k f o r y o u r s i g n a t u r e t o i n d i c a t e y o u r a g r e e m e n t t o t h e f o l l o w i n g t e r m s o f c o n fi d e n t i a l i t y a n d d a t a u s e : 1 . Y o u w i l l h a v e a c c e s s t o N B P T S d a t a c o l l e c t e d f o r a n d d e r i v e d f r o m a r e s e a r c h s t u d y o f t h e p r o f e s s i o n a l d e v e l o p m e n t l e a r n i n g o f h i g h s c h o o l s c i e n c e t e a c h e r s w h o p a r t i c i p a t e i n t h e N a t i o n a l B o a r d c e r t i fi c a t i o n p r o c e s s ( h e r e a f t e r r e f e r r e d t o a s “ T H E D A T A ” ) b e i n g c a r r i e d o u t b y M r . D a v i d L u s t i c k a t M i c h i g a n S t a t e U n i v e r s i t y . U s e o f t h e d a t a f o r a n y o t h e r s t u d i e s w i l l b e c o n s i d e r e d a s a s e p a r a t e r e q u e s t a n d w i l l b e g o v e r n e d b y t h e N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s ’ P o l i c y a n d G u i d e l i n e s f o r R e l e a s e o f N B P T S D a t a f o r E d u c a t i o n a l R e s e a r c h ( s e e a t t a c h e d ) . 2 . Y o u w i l l b e r e s p o n s i b l e f o r m a i n t a i n i n g c o n fi d e n t i a l i t y a n d a p p r o p r i a t e u s e o f t h e d a t a b y a n y a n d a l l c o l l e a g u e s w h o m a y c o m e i n t o c o n t a c t w i t h t h e d a t a i n t h e c o n t e x t o f d o i n g t h e a f o r e m e n t i o n e d r e s e a r c h . 3 . Y o u w i l l b e r e s p o n s i b l e f o r e n s u r i n g t h a t t h e d a t a a r e n o t s h a r e d w i t h a n y o t h e r i n d i v i d u a l s , w i t h o u t e x p r e s s w r i t t e n c o n s e n t f r o m N B P T S . 4 . Y o u w i l l b e r e s p o n s i b l e f o r p r o t e c t i n g a l l N B P ’ I ‘ S d a t a b y e n s u r i n g t h a t t h e d a t a a r e s t o r e d i n a s e c u r e m a n n e r . 5 . Y o u w i l l b e r e s p o n s i b l e f o r e n s u r i n g t h a t a l l N B P T S d a t a c o l l e c t e d f o r , d e r i v e d f r o m a n d u s e d i n c a r r y i n g o u t t h e a f o r e m e n t i o n e d r e s e a r c h a r e r e t u r n e d t o N B P T S a t t h e c o n c l u s i o n o f t h e s t u d y . 6 . T h e t e r m s a n d c o n d i t i o n s o f t h i s a g r e e m e n t s h a l l r e m a i n i n e f f e c t i n p e r p e t u i t y u n l e s s a m e n d e d i n w r i t i n g b y t h e N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s . A g r e e d t o b y : D a v i d L u s t i c k D a t e P r i n c i p a l I n v e s t i g a t o r B a r r o n D . T h a t c h D a t e P r o j e c t M a n a g e r 2 2 4 D e a r A s s e s s o r s , S c o r i n g t h e s e ‘ e n t r i e s ’ i s q u i t e s i m i l a r t o o u r w o r k d u r i n g t h e s u m m e r , h o w e v e r t h e r e a r e s o m e k e y d i f f e r e n c e s t h a t I w i l l e l a b o r a t e u p o n h e r e . E v e r y e f f o r t h a s b e e n t a k e n t o m a k e t h e s e e n t r i e s v i s u a l l y r e s e m b l e t h e r e a l t h i n g . A l l o f t h e m h a v e 1 2 p o i n t N Y T i m e s f o n t a n d a r e d o u b l e s p a c e d . I h a v e i n c r e a s e d t h e m a r g i n s s l i g h t l y t o r e d u c e t h e n u m b e r o f p a g e s . T h e p r o m p t q u e s t i o n s a r e a l l i n b o l d f o n t , w h i l e t h e a n s w e r s a r e n o t . T h e k e y d i f f e r e n c e w i t h r e g a r d t o t h e r e a l t h i n g , i n v o l v e s t h e f a c t t h a t t h e s e e n t r i e s a d d r e s s a l l o f t h e s t a n d a r d s f o r a c c o m p l i s h e d s c i e n c e t e a c h i n g a n d n o t j u s t t h o s e s p e c i fi c t o o n e e n t r y . T h i s m e a n s t h a t y o u w i l l h a v e t o f a m i l i a r i z e y o u r s e l f w i t h s o m e o f t h e d i f f e r e n t e n t r i e s a n d t h e ‘ f o r e i g n ’ s t a n d a r d s s u c h a s t h o s e d e a l i n g w i t h P r o f e s s i o n a l A c c o m p l i s h m e n t s a n d C o m m u n i t y O u t r e a c h . O n c e f a m i l i a r w i t h a l l t h e s t a n d a r d s a n d w h a t t y p e o f e v i d e n c e t o c o l l e c t f o r e a c h , t h e a c t u a l s c o r i n g s h o u l d f o l l o w t h i s r o u t i n e : 1 ) 2 ) 3 ) 4 ) 5 ) M a k e s u r e t h a t t h e I D n u m b e r o n t h e S c o r i n g R u b r i c m a t c h e s t h e I D n u m b e r o n t h e e n t r y a n d e n v e l o p e . A f t e r r e a d i n g e a c h o f t h e s i x p a r t s t o e a c h e n t r y , s t o p a n d w r i t e d o w n a n y p e r t i n e n t e v i d e n c e i n t h e s p a c e p r o v i d e d . T h e s i x p a r t s i n c l u d e t h e I n t r o d u c t o r y q u e s t i o n s a n d t h e n t h e 5 p r o b l e m s . S i n c e e a c h q u e s t i o n r e p r e s e n t s t h e f o c u s o f a n e n t i r e p o r t f o l i o e n t r y , i t h e l p s t o s t o p a f t e r e a c h o n e . I w o u l d n o t r e a d t h e w h o l e t h i n g a n d t h e n d o e v i d e n c e . S i n c e t h e q u e s t i o n s , a r t i f a c t s , a n d v i d e o a r e t h e s a m e f o r e v e r y e n t r y , y o u w i l l s o o n b e a b l e t o s k i p o v e r a l l t h e b o l d p a r t s c u t t i n g y o u r w o r k i n g t i m e s i g n i fi c a n t l y . W h e n w r i t i n g e v i d e n c e , t r y t o i n c l u d e s p e c i fi c e x a m p l e s a n d g e n e r a l i z e d i m p r e s s i o n s . W h a t d o e s t h e p r e p o n d e r a n c e o f e v i d e n c e s u g g e s t a b o u t a p a r t i c u l a r s t a n d a r d ? T h o u g h I h a v e d o n e m y b e s t t o a l i g n s p e c i fi c q u e s t i o n s w i t h s p e c i fi c s t a n d a r d s , m u c h o v e r l a p r e m a i n s . E v i d e n c e f r o m a n y r e s p o n s e c a n b e u s e d t o s u p p o r t a n y s t a n d a r d . O n c e y o u h a v e g o n e t h r o u g h a l l t h e q u e s t i o n s a n d w r i t t e n d o w n e v i d e n c e , l o o k o v e r y o u r w o r k a n d fi l l i n a n y g a p s o r f o r g o t t e n e v i d e n c e . T h e n , w r i t e d o w n y o u r s c o r e i n t h e s p a c e p r o v i d e d f o r e a c h s t a n d a r d . Y o u r l o w e s t s c o r e s h o u l d b e a “ 1 . 0 ” . W r i t e a “ 1 ” i f i t s r e a l l y t e r r i b l e o r n o e v i d e n c e i s p r e s e n t e d . M a k e s u r e a n d i n i t i a l y o u r S c o r i n g S h e e t i n t h e u p p e r r i g h t h a n d c o m e r , u s e t h e p a p e r c l i p t o a t t a c h i t t o t h e e n t r y , a n d p l a c e b o t h i t e m s i n t o t h e p r o p e r l y m a r k e d e n v e l o p e . I h a v e i n c l u d e d a d i s k w i t h t h e S c o r i n g R u b r i c a s a W o r d fi l e . I f o u n d w r i t i n g t h e c o m m e n t s o n t h e c o m p u t e r a n d t h e n p r i n t i n g i t o u t , t o b e e a s i e r t h a n d o i n g i t b y h a n d . H o w e v e r , t h e c h o i c e i s u p t o y o u . I f a t a n y t i m e y o u h a v e q u e s t i o n s o r i s s u e s , d o n ’ t h e s i t a t e t o e m a i l m e . O n e m o r e s u g g e s t i o n , m a k e t h i s e x p e r i e n c e a s p l e a s u r a b l e a s p o s s i b l e . D o n ’ t t r y a n d d o t o m a n y a t o n c e . T a k e b r e a k s . O n c e y o u s t a r t o n e , d o y o u r b e s t t o fi n i s h i t a t t h a t s i t t i n g . T h a n k s f o r y o u r c o n t r i b u t i o n s t o t h i s s t u d y a n d p l e a s e l e t m e k n o w h o w I c a n h e l p . D a v i d L u s t i c k , l u s t i c k l @ m s u . e d u 2 2 5 A Y A S c i e n c e S t a n d a r d s P r e p a r i n g t h e W a y f o r P r o d u c t i v e S t u d e n t L e a r n i n g I . U n d e r s t a n d l n g S t u d e n t s ( p . 7 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s k n o w h o w s t u d e n t s l e a r n , a c t i v e l y c o m e t o k n o w t h e i r s t u d e n t s a s i n d i v i d u a l s , a n d d e t e r m i n e s t u d e n t s ’ u n d e r s t a n d i n g s o f s c i e n c e a s w e l l a s t h e i r i n d i v i d u a l l e a r n i n g b a c k g r o u n d s . l l . K n o w l e d g e o f S c i e n c e ( p . 1 1 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s h a v e a b r o a d a n d c u r r e n t k n o w l e d g e o f s c i e n c e a n d s c i e n c e e d u c a t i o n , a l o n g w i t h i n - d e p t h k n o w l e d g e o f o n e o f t h e s u b f i e l d s o f s c i e n c e , w h i c h t h e y u s e t o s e t i m p o r t a n t a p p r o p r i a t e l e a r n i n g g o a l s . I I I . I n s t r u c t i o n a l R e s o u r c e s ( p . 1 7 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s s e l e c t a n d a d a p t i n s t r u c t i o n a l r e s o u r c e s , i n c l u d i n g t e c h n o l o g y a n d l a b o r a t o r y a n d c o m m u n i t y r e s o u r c e s , a n d c r e a t e t h e i r o w n t o s u p p o r t a c t i v e s t u d e n t e x p l o r a t i o n s o f s c i e n c e . A d v a n c i n g S t u d e n t L e a r n i n g I V . S c i e n c e I n q u i r y ( p . 3 3 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s d e v e l o p i n s t u d e n t s t h e m e n t a l o p e r a t i o n s , h a b i t s o f m i n d , a n d a t t i t u d e s t h a t c h a r a c t e r i z e t h e p r o c e s s o f s c i e n t i fi c i n q u i r y . V . C o n c e p t u a l U n d e r s t a n d i n g s ( p . 3 7 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s u s e a v a r i e t y o f i n s t r u c t i o n a l s t r a t e g i e s t o e x p a n d s t u d e n t s ’ u n d e r s t a n d i n g s o f t h e m a j o r i d e a s o f s c i e n c e . V I . C o n t e x t s o f S c i e n c e ( p . 4 1 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s c r e a t e o p p o r t u n i t i e s f o r s t u d e n t s t o e x a m i n e t h e h u m a n c o n t e x t s o f s c i e n c e , i n c l u d i n g i t s h i s t o r y , r e c i p r o c a l r e l a t i o n s h i p w i t h t e c h n o l o g y , t i e s t o m a t h e m a t i c s , a n d i m p a c t s o n s o c i e t y s o t h a t s t u d e n t s m a k e c o n n e c t i o n s a c r o s s t h e d i s c i p l i n e s o f s c i e n c e a n d i n t o o t h e r s u b j e c t a r e a s . E s t a b l i s h i n g a F a v o r a b l e C o n t e x t f o r S t u d e n t L e a r n i n g V I . E n g a g e m e n t ( p . 2 1 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s s t i m u l a t e i n t e r e s t i n s c i e n c e a n d t e c h n o l o g y a n d e l i c i t a l l t h e i r s t u d e n t s ’ s u s t a i n e d p a r t i c i p a t i o n i n l e a r n i n g a c t i v i t i e s . V I I . E q u i t a b l e P a r t i c i p a t i o n ( p . 2 9 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s t a k e s t e p s t o e n s u r e t h a t a l l s t u d e n t s , i n c l u d i n g t h o s e f r o m g r o u p s w h i c h h a v e h i s t o r i c a l l y n o t b e e n e n c o u r a g e d t o e n t e r t h e w o r l d o f s c i e n c e , p a r t i c i p a t e i n t h e s t u d y o f s c i e n c e . 2 2 6 V I I I . L e a r n i n g E n v i r o n m e n t ( p . 2 5 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s c r e a t e s a f e a n d s u p p o r t i v e l e a r n i n g e n v i r o n m e n t s t h a t f o s t e r h i g h e x p e c t a t i o n s f o r t h e s u c c e s s o f a l l s t u d e n t s a n d i n w h i c h s t u d e n t s e x p e r i e n c e t h e v a l u e s i n h e r e n t i n t h e p r a c t i c e o f s c i e n c e . S u p p o r t i n g T e a c h i n g a n d S t u d e n t L e a r n i n g X . F a m i l y a n d C o m m u n i t y O u t r e a c h ( p . 4 9 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s p r o a c t i v e l y w o r k w i t h f a m i l i e s a n d c o m m u n i t i e s t o s e r v e t h e b e s t i n t e r e s t s o f e a c h s t u d e n t . X I . A s s e s s m e n t ( p . 4 5 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s a s s e s s s t u d e n t l e a r n i n g t h r o u g h a v a r i e t y o f m e a n s t h a t a l i g n w i t h s t a t e d l e a r n i n g g o a l s . X I I . R e fl e c t i o n ( p . 5 3 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s c o n s t a n t l y a n a l y z e , e v a l u a t e , a n d s t r e n g t h e n t h e i r p r a c t i c e i n o r d e r t o i m p r o v e t h e q u a l i t y o f t h e i r s t u d e n t s ’ l e a r n i n g e x p e r i e n c e s . X I I I . C o l l e g i a l i t y a n d L e a d e r s h i p ( p . 5 1 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s c o n t r i b u t e t o t h e q u a l i t y o f t h e p r a c t i c e o f t h e i r c o l l e a g u e s , t o t h e i n s t r u c t i o n a l p r o g r a m o f t h e s c h o o l , a n d t o t h e w o r k o f t h e l a r g e r p r o f e s s i o n a l c o m m u n i t y . 2 2 7 I N T E R V I E W P R O T O C A L S a n d A s s o c i a t e d S t a n d a r d s I n t r o d u c t i o n Q u e s t i o n s : T h e s e fi r s t 5 q u e s t i o n s a r e m e a n t c o r r e s p o n d w i t h e a c h T e a c h e r ’ s c o v e r p a g e t o t h e e n t r y . I t s h o u l d p r o v i d e s o m e c o n t e x t f o r t h e r e v i e w e r t o b e t t e r u n d e r s t a n d t h e a n s w e r s t h a t f o l l o w . 7 ) H o w l o n g h a v e y o u b e e n t e a c h i n g ? 8 ) W h a t s u b j e c t s a n d g r a d e l e v e l s d o y o u t e a c h ? 9 ) H o w w o u l d y o u d e s c r i b e t h e s c h o o l i n w h i c h y o u t e a c h ? I . U n d e r s t a n d i n g S t u d e n t s ( p . 7 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s k n o w h o w s t u d e n t s l e a r n , a c t i v e l y c o m e t o k n o w t h e i r s t u d e n t s a s i n d i v i d u a l s , a n d d e t e r m i n e s t u d e n t s ’ u n d e r s t a n d i n g s o f s c i e n c e a s w e l l a s t h e i r i n d i v i d u a l l e a r n i n g b a c k g r o u n d s . 1 0 ) H o w w o u l d y o u g e n e r a l l y d e s c r i b e y o u r s t u d e n t s ? I . U n d e r s t a n d i n g S t u d e n t s ( p . 7 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s k n o w h o w s t u d e n t s l e a r n , a c t i v e l y c o m e t o k n o w t h e i r s t u d e n t s a s i n d i v i d u a l s , a n d d e t e r m i n e s t u d e n t s ' u n d e r s t a n d i n g s o f s c i e n c e a s w e l l a s t h e i r i n d i v i d u a l l e a r n i n g b a c k g r o u n d s . 1 1 ) W h a t i s y o u r a v e r a g e c l a s s s i z e ? 2 2 8 t e a - 2 “ ' h e ! 5 ' T h i s ( ‘ O l l C w i g p m p F u r t j p m p i n t e r . 1 . T e a c h i n g a n d L e a r n i n g : S e e A r t i f a c t # 1 , # 2 , & # 3 T h i s Q u e s t i o n f o c u s e s o n t h e s t a n d a r d s a d d r e s s e d i n t h e f o l l o w i n g e n t r y : T e a c h i n g A M a j o r I d e a O v e r T i m e - T e a c h e r s d e m o n s t r a t e h o w t h e d e s i g n a n d a c t u a l p r a c t i c e o f t h e i r t e a c h i n g o v e r t i m e w o r k s t o f u r t h e r s t u d e n t s ' u n d e r s t a n d i n g o f a m a j o r i d e a i n s c i e n c e . T e a c h e r d e m o n s t r a t e t h e i r a b i l i t y t o s e l e c t a n d j u s t i f y t h e a p p r o p r i a t e n e s s o f a m a j o r i d e a i n s c i e n c e f o r t h e i r s t u d e n t s , a n d t o p l a n a n d i m p l e m e n t s e q u e n c e d i n s t r u c t i o n t o f a c i l i t a t e t h e i r s t u d e n t s u n d e r s t a n d i n g o f t h a t i d e a . T e a c h e r s s u b m i t a w r i t t e n c o m m e n t a r y a n d a c t i v i t i e s t h a t p r o v i d e t h e c o n t e x t f o r t h e i r i n s t r u c t i o n a l c h o i c e s a n d d e s c r i b e , a n a l y z e . a n d r e f l e c t o n t h e s t u d e n t w o r k a n d t h e i r t e a c h i n g . O v e r v i e w : P l e a s e e x a m i n e a r t i f a c t s # 1 , 2 , a n d 3 . T h e s e a r t i f a c t s a r e f r o m a t w o - w e e k s c i e n c e u n i t o n t h e K i n e t i c T h e o r y o f M a t t e r i n a 1 0 “ I g r a d e g e n e r a l c h e m i s t r y c l a s s . T h e t e a c h e r c o n d u c t e d a p r e - a s s e s s m e n t a n d a p o s t - a s s e s s m e n t e x e r c i s e . B o t h t h e p r e - a n d p o s t - a s s e s s m e n t s i n v o l v e d d i s t r i b u t i n g t h e a d v e r t i s e m e n t ( A r t i f a c t # 1 ) a n d a s k i n g s t u d e n t s t o w r i t e a n e s s a y t h a t i n t e r p r e t s t h e a d f r o m a m o l e c u l a r p o i n t o f v i e w . S t u d e n t A r e s p o n d e d t o t h e p r e - a s s e s s m e n t w i t h A r t i f a c t d i s p l a y # 2 . T w o w e e k s l a t e r , S t u d e n t A r e s p o n d e d t o t h e p o s t - a s s e s s m e n t w i t h A r t i f a c t d i s p l a y # 3 . T w o o f t h e t e a c h e r ’ s l e a r n i n g o b j e c t i v e s f o r t h e u n i t w e r e : 5 ) S t u d e n t s w i l l k n o w a n d u n d e r s t a n d t h e K i n e t i c T h e o r y o f M a t t e r 6 ) S t u d e n t s w i l l m a k e c o n n e c t i o n s b e t w e e n t h e t h e i r b a c k g r o u n d , e x p e r i e n c e s , a n d / o r i n t e r e s t s a n d t h e c o n t e n t m a t e r i a l . T h i s a s s i g n m e n t w a s u s e d b y t h e t e a c h e r t o e v a l u a t e s t u d e n t l e a r n i n g o f a c o r e c o n c e p t f r o m t h e u n i t o n t h e K i n e t i c T h e o r y o f M a t t e r . M o r e s p e c i f i c a l l y , t h e a s s i g n m e n t w a s c o n s t r u c t e d t o g a u g e h o w w e l l a s t u d e n t w a s a b l e t o d e s c r i b e t h e p r o p e r t i e s o f m a t t e r a t t h e m a c r o l e v e l o f a n a l y s i s ( s o l i d i t y a n d l i q u i d i t y ) . F u r t h e r m o r e , t h e s t u d e n t s w e r e e x p e c t e d t o t h e n e x p l a i n t h e o b s e r v a b l e p h y s i c a l p r o p e r t i e s o f m a t t e r f r o m a m o l e c u l a r l e v e l o f a n a l y s i s ( i . e . , m o l e c u l a r b o n d s , i n t e r m o l e c u l a r f o r c e s , a n d p a r t i c l e p r o x i m i t y ) . A r t i f a c t # 2 - - - S t u d e n t A ’ s P r e - A s s e s s m e n t R e s p o n s e : T h e c a r i s s l e e k a n d a e r o d y n a m i c l i k e a d r o p o f w a t e r . A d r o p o f w a t e r i s m a d e o f f l u i d m o l e c u l e s a n d i t h a s n o s h a r p e d g e s . T h e c a r w i l l f l o w d o w n t h e r o a d j u s t l i k e a d r o p o f w a t e r w i l l f l o w a c r o s s a w i n d o w . T h e c a r i s n o t a fl u i d h o w e v e r . T h e c a r i s m a d e o f s o l i d m a t e r i a l s l i k e s t e e l , p l a s t i c , a n d r u b b e r . T h e s e t h i n g s h a v e s h a r p e d g e s a n d a r e m u c h s t r o n g e r t h a n l i q u i d s . C a r s m a d e o f s o l i d m o l e c u l e s a r e s a f e r f o r t h e p e o p l e i n s i d e b e c a u s e s o l i d m o l e c u l e s a r e d i f f e r e n t t h a n l i q u i d m o l e c u l e s . I t w o u l d b e r e a l l y h a r d t o b u i l d a c a r o u t o f l i q u i d s ! 2 2 9 t o i n “ \ i e “ m o l t C O N 3 l i q b o n d W i n d v e r y j a c c i d l c o n t a h a t i n l i k e a m i . l h t o r t h a n t i t r e ] c o n t r d e n s e “ l i h S ‘ t h e r e ! s a m e ' Q u e s 7 ) 8 ) T w o w e e k s l a t e r a t t h e e n d o f t h e u n i t o n t h e K i n e t i c T h e o r y o f M a t t e r , t h e s a m e s t u d e n t r e s p o n d e d t o t h e s a m e q u e s t i o n w i t h t h e f o l l o w i n g r e s p o n s e : A r t i f a c t # 3 - - - S t u d e n t A ’ s P o s t - A s s e s s m e n t R e s p o n s e : T h e p h r a s e u s e d h a s m u c h t o d o w i t h c h e m i s t r y , a n d h a s m a n y l i t t l e d e t a i l s t o m a k e t h e c a r s o u n d s o u n i q u e . F i r s t o f a l l , t h e a u t h o r o f t h e q u o t e w a n t s t h e v i e w e r t o i m a g i n e t h e c a r a s a l i q u i d . A c c o r d i n g t o t h e k i n e t i c t h e o r y o f a l i q u i d ; t h e m o l e c u l e s m o v e f a s t e r t h a n i n a s o l i d , b u t n o t a s f a s t a s g a s . T h e y a r e a l w a y s i n c o n s t a n t m o t i o n , r e l a t i n g t o t h e c a r . T h e a t t r a c t i o n b e t w e e n t h e l i q u i d s i s g r e a t e r i n a l i q u i d t h a n i n a g a s . T h i s a t t r a c t i o n i s k n o w n a s i n t e r m o l e c u l a r f o r c e . S i n c e t h e b o n d s a r e w e a k e r t h a n s o l i d s , l i q u i d s , c a n t a k e u p a n y s h a p e . I f t h e c a r i s l i q u i d , t h e w i n d c a n g o a r o u n d i t d e p e n d i n g o n h o w t h e l i q u i d s h a p e s i t s e l f . L i q u i d s h a v e a v e r y l o w c o m p r e s s i b i l i t y g i v i n g t h e v i e w e r s e c u r i t y a s w e l l . I n t h e e v e n t o f a n a c c i d e n t e v e n t h o u g h t t h e c a r m o v e s s o f a s t . F l u i d i t y i s a p r o p e r t y t h a t a l i q u i d c o n t a i n s . I f s o m e t h i n g f l o w s , i t i s o f t e n s e e n a s s m o o t h a n d c l e a n . L i q u i d s , b y h a v i n g s t r o n g b o n d s , b u t r e l a t i v e l y h i g h m o l e c u l a r m o v e m e n t , m o v e o v e r s u r f a c e s l i k e a s n a k e i n c o n s t a n t m o t i o n . T h i s s a m e i d e a i s t h o u g h t a b o u t t h e M e r c u r y S a b l e . W h e n t h e a u t h o r s t a t e s “ y e t f e e l s s o s o l i d ” , h e i s t r y i n g t o g i v e t h e v i e w e r c o m f o r t s i n c e t h e c a r l o o k s l i k e i t m o v e s s o q u i c k l y . T h i s r e l a t e s t o t h e k i n e t i c t h e o r y o f s o l i d s . T h e i n t e r m o l e c u l a r b o n d s b e t w e e n t h e m o l e c u l e s a r e m u c h g r e a t e r t h a n i n l i q u i d s o r g a s e s . T h e m o l e c u l e s h a v e m u c h l e s s k i n e t i c e n e r g y a n d a r e f o u n d e x t r e m e l y c l o s e t o g e t h e r . S i n c e t h e c a r f e e l s s o s o l i d , i t g i v e s t h e d r i v e r a s e n s e c o n t r o l o f w h a t h e i s d o i n g . A l s o , a s o l i d h a s n o c o m p r e s s i b i l i t y a n d i s e x t r e m e l y d e n s e , g i v i n g t h e r e a d e r s e c u r i t y i n t h e e v e n t o f a c r a s h . T h e c a r w i l l b e a b l e t o w i t h s t a n d h i g h a m o u n t s o f i m p a c t . I f s o m e t h i n g i s s o l i d , i t h a s d e f i n i t e s h a p e t o i t , t h e r e f o r e l u x u r y . T h e c a r f l o w s l i k e a l i q u i d , b u t i s s a f e a n d c o m f o r t a b l e a t t h e s a m e t i m e . Q u e s t i o n s : 7 ) B a s e d u p o n t h i s s t u d e n t ’ s t w o r e s p o n s e s , h o w w o u l d y o u d e s c r i b e t h e s t u d e n t ’ s g r o w t h i n u n d e r s t a n d i n g a b o u t t h e k i n e t i c t h e o r y o f m a t t e r ? X . A s s e s s m e n t ( p . 4 5 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s a s s e s s s t u d e n t l e a r n i n g t h r o u g h a v a r i e t y o f m e a n s t h a t a l i g n w i t h s t a t e d l e a r n i n g g o a l s . 8 ) W h a t e v i d e n c e c a n y o u i d e n t i f y f r o m t h e r e s p o n s e s t h a t s u p p o r t s y o u r c o n c l u s i o n ? 2 3 0 X . A s s e s s m e n t ( p . 4 5 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s a s s e s s s t u d e n t l e a r n i n g t h r o u g h a v a r i e t y o f m e a n s t h a t a l i g n w i t h s t a t e d l e a r n i n g g o a l s . 9 ) W h a t d o e s t h e w o r k t e l l y o u a b o u t a n y c h a l l e n g e s o r m i s u n d e r s t a n d i n g s t h i s s t u d e n t i s e x p e r i e n c i n g ? l l . K n o w l e d g e o f S c i e n c e ( p . 1 1 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s h a v e a b r o a d a n d c u r r e n t k n o w l e d g e o f s c i e n c e a n d s c i e n c e e d u c a t i o n , a l o n g w i t h i n - d e p t h k n o w l e d g e o f o n e o f t h e s u b f i e l d s o f s c i e n c e , w h i c h t h e y u s e t o s e t i m p o r t a n t a p p r o p r i a t e l e a r n i n g g o a l s . ’ 1 0 ) D e s c r i b e t h e f e e d b a c k o r f u r t h e r i n s t r u c t i o n ( i f a n y ) t h a t t h e t e a c h e r s h o u l d p r o v i d e t h e s t u d e n t b a s e d u p o n A r t i f a c t s l , 2 , & 3 ? V I I I . C o n c e p t u a l U n d e r s t a n d i n g s ( p . 3 7 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s u s e a v a r i e t y o f i n s t r u c t i o n a l s t r a t e g i e s t o e x p a n d s t u d e n t s ’ u n d e r s t a n d i n g s o f t h e m a j o r i d e a s o f s c i e n c e . 1 1 ) D o y o u t h i n k t h e c a r a d v e r t i s e m e n t i s a n e f f e c t i v e i n s t r u c t i o n a l r e s o u r c e i n e s t a b l i s h i n g a c o n n e c t i o n b e t w e e n t h e s t u d e n t ’ s b a c k g r o u n d , e x p e r i e n c e s , a n d / o r i n t e r e s t s a n d t h e c o n t e n t m a t e r i a l ? W h y o r W h y n o t ? I I I . I n s t r u c t i o n a l R e s o u r c e s ( p . 1 7 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s s e l e c t a n d a d a p t i n s t r u c t i o n a l r e s o u r c e s , i n c l u d i n g t e c h n o l o g y a n d l a b o r a t o r y a n d c o m m u n i t y r e s o u r c e s , a n d c r e a t e t h e i r o w n t o s u p p o r t a c t i v e s t u d e n t e x p l o r a t i o n s o f s c i e n c e . 1 2 ) B a s e d u p o n t h e a r t i f a c t s p r o v i d e d , w h a t a d v i c e m i g h t y o u g i v e t h i s t e a c h e r t o i m p r o v e t h i s l e s s o n i n t h e f u t u r e ? X I I . C o l l e g i a l i t y a n d L e a d e r s h i p ( p . 5 1 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s c o n t r i b u t e t o t h e q u a l i t y o f t h e p r a c t i c e o f t h e i r c o l l e a g u e s , t o t h e i n s t r u c t i o n a l p r o g r a m o f t h e s c h o o l , a n d t o t h e w o r k o f t h e l a r g e r p r o f e s s i o n a l c o m m u n i t y . 2 3 1 i i i T h e f A c t i i F o r 1 h ” C m j j r e p e a t 5 & 1 a n ( p r e d a P i e p u a c m h 1 1 . T e a c h i n g a n d S c i e n t i f i c I n q u i r y T h e f o c u s o f t h i s q u e s t i o n i s t o a d d r e s s t h e s t a n d a r d s c o v e r e d b y t h e f o l l o w i n g e n t r y : 0 A c t i v e S c i e n t i f i c i n q u i r y - T e a c h e r s d e m o n s t r a t e h o w t h e y e n g a g e t h e i r s t u d e n t s i n a c t i v e s c i e n t i f i c i n q u i r y . T e a c h e r s d e m o n s t r a t e h o w t h e y u s e d i s c u s s i o n t o s u p p o r t t h e i r s t u d e n t s t h r o u g h d i f f e r e n t s t a g e s o f t h e i n q u i r y p r o c e s s . T e a c h e r s d e m o n s t r a t e t h e i r a b i l i t y t o a s s i s t s t u d e n t s t o c o n c e p t u a l i z e a n i n v e s t i g a t i o n p r i o r t o t h e c o l l e c t i o n o f d a t a t o h e l p s t u d e n t s i n q u i r e a b o u t t h e d a t a a s i t i s b e i n g c o l l e c t e d a n d p r o c e s s e d , a n d t o a n a l y z e , i n t e r p r e t a n d s y n t h e s i z e t h e r e s u l t s o f t h e i r i n v e s t i g a t i o n s . T e a c h e r s s u b m i t a t w e n t y - m i n u t e v i d e o t a p e a n d w r i t t e n c o m m e n t a r y t h a t c o n t e x t u a i i z e s , a n a l y z e s , a n d e v a l u a t e s t h e i r t e a c h i n g t h r o u g h o u t t h i s p r o c e s s o f s c i e n t i f i c i n q u i r y . O v e r v i e w : A t e a c h e r w a l k s a r o u n d t h e l a b o r a t o r y a s s t u d e n t s w o r k i n s m a l l g r o u p s o n a l a b e x e r c i s e . T h e s t u d e n t s a r e w o r k i n g o n o n e o f t h e i r fi r s t a c t i v i t i e s t h a t a d d r e s s e s t h e e v o l u t i o n a r y c o n c e p t o f ‘ a d a p t a t i o n ’ a n d D a r w i n ’ s t h e o r y o f n a t u r a l s e l e c t i o n . S t u d e n t s a r e p e r f o r m i n g t h e “ P e p p e r e d M o t h ” a d a p t a t i o n l a b u s i n g r e d , w h i t e , a n d n e w s p a p e r p r i n t m o t h s s e t a g a i n s t a n e w s p a p e r b a c k g r o u n d . T h e p u r p o s e o f t h e a c t i v i t y i s t o b e t t e r u n d e r s t a n d h o w a r a n g e o f c h a r a c t e r i s t i c s i n a s p e c i e s ( i n t h i s c a s e t h e c o l o r o f t h e P e p p e r e d M o t h s ’ w i n g s ) p l a y s a r o l e i n t h e s u r v i v a l o f t h e s p e c i e s . T h e t e a c h e r h a s s e v e r a l o b j e c t i v e s i n m i n d f o r t h i s a c t i v i t y : 9 ) S t u d e n t s w i l l u n d e r s t a n d h o w t h e e n v i r o n m e n t i n t e r a c t s w i t h a r a n g e o f c h a r a c t e r i s t i c s w i t h i n a p o p u l a t i o n t h r o u g h n a t u r a l s e l e c t i o n . 1 0 ) S t u d e n t s w i l l l e a r n t o r e c o r d a n d a n a l y z e d a t a . 1 1 ) S t u d e n t s w i l l e x p e r i e n c e t h e p r o c e s s o f s c i e n t i f i c i n q u i r y a n d s c i e n t i f i c r e a s o n i n g . 1 2 ) S t u d e n t s w i l l l e a r n t o w o r k c o l l a b o r a t i v e l y i n g r o u p s t o s o l v e p r o b l e m s . A c t i v i t y D e s c r i p t i o n : F o r t h e a c t i v i t y , s t u d e n t s w o r k i n g r o u p s o f 4 o r 5 . O n e s t u d e n t m o n i t o r s t h e “ e n v i r o n m e n t ” ( n e w s p a p e r a n d c u t o u t m o t h s ) w h i l e t h e o t h e r s t u d e n t s a c t a s p r e d a t o r s . I n r e p e a t e d c y c l e s , t h e m o n i t o r a d d s n e w m o t h s t o t h e n e w s p a p e r b a c k g r o u n d a n d t h e n o t h e r s t u d e n t s i n t h e g r o u p " a t t a c k " t h e e n v i r o n m e n t , s n a t c h i n g t h e fi r s t m o t h t h e y s e e ( p r e d a t i o n ) . T h e m o n i t o r t h e n r e p l e n i s h e s t h e p o p u l a t i o n w i t h o n e o f e a c h m o t h t y p e i n p r e p a r a t i o n f o r t h e n e x t r o u n d o f p r e d a t i o n . T h e f o l l o w i n g t a b l e p r o v i d e s t h e d a t a f o r t h e a c t i v i t y a f t e r 2 0 r o u n d s o f p r e d a t i o n . 2 3 2 D a t a T a b l e : P r e d a t o r N u m b e r o f W h i t e N u m b e r o f R e d N u m b e r o f A t t a c k / N e w M o t h s M o t h s N e w s p a p e r m o t h s G e n e r a t i o n B e f o r e F i r s t 3 3 3 4 3 3 A t t a c k A f t e r 1 0 “ 3 4 1 4 4 3 A f t e r 2 0 ‘ " 3 3 1 5 3 T h e S i t u a t i o n : A t e a c h e r l i s t e n s t o o n e g r o u p h a v e t h e f o l l o w i n g c o n v e r s a t i o n r e g a r d i n g a q u e s t i o n o n t h e L a b o r a t o r y g u i d e s h e e t . T h e q u e s t i o n a r e a s k e d t o a d d r e s s i s : I f t h e b a c k g r o u n d f o r t h i s a c t i v i t y w e r e c h a n g e d t o a c o l o r f u l t y p e o f p a p e r s u c h a s t h e S u n d a y c a r t o o n s e c t i o n o r p a g e s f r o m a c o m i c b o o k , h o w m i g h t t h e p o p u l a t i o n o f m o t h s u s e d i n t h i s e x p e r i m e n t c h a n g e ? T h e g r o u p i s m a d e u p o f 4 s t u d e n t s ( 1 m a l e s - E v a n , a n d 3 f e m a l e s — L a t i s h a , Y a n p i n g , a n d A l e j a n d r a ) . A l e j a n d r a i s f r o m E q u a d o r a n d n e w t o t h e c l a s s . S h e s a y s n o t h i n g , b u t i s l i s t e n i n g a n d t a k i n g n o t e s . H e r e i s t h e c o n v e r s a t i o n : E v a n : I d o n ’ t t h i n k i t w o u l d h a v e a n y e f f e c t . T h e r e d o n e s w o u l d s t i l l g e t e a t e n t h e m o s t b e c a u s e t h e y a r e b r i g h t e s t a n d t h e n e w s p a p e r m o t h s w o u l d g e t e a t e n l e a s t b e c a u s e t h e y b l e n d i n t h e m o s t . Y a n p i n g : M a y b e , b u t i n o u r e x p e r i m e n t , t h e n e w s p a p e r m o t h s ’ p o p u l a t i o n g e t s b i g g e r b e c a u s e t h e y a r e h a r d e r t o s e e a g a i n s t t h e b l a c k a n d w h i t e n e w s p a p e r b a c k g r o u n d . B u t , i f t h e b a c k g r o u n d h a d l o t s o f c o l o r s , t h e n t h e y m i g h t s t i c k o u t a n d t h e r e d o n e s w o u l d b e h a r d e r t o s e e . L a t i s h a : O . K . , b u t h o w w i l l t h e p o p u l a t i o n c h a n g e ? T h e r e a r e s o f e w r e d o n e s n o w t h a t I d o n ’ t s e e h o w t h e y c o u l d g r o w i n n u m b e r s . A n d s i n c e t h e r e a r e s o m a n y n e w s p a p e r o n e s n o w , I t h i n k t h a t t h e i r p o p u l a t i o n w i l l s t a y t h e w a y i t i s . E v a n : I a g r e e . I f w e c h a n g e t o t h e c o l o r f u l b a c k g r o u n d t h e p o p u l a t i o n w i l l s t a y t h e w a y i t i s . T h e n u m b e r o f n e w s p a p e r m o t h s w i l l s t o p g r o w i n g a n d t h e r e d m o t h s w i l l s t o p g e t t i n g s m a l l e r . Y a n p i n g : W e l l , t h e r e d c a n ’ t g e t m u c h s m a l l e r . T h e i r p o p u l a t i o n i s a l r e a d y a t o n e n o w . I f i t g e t s a n y s m a l l e r , t h e y w i l l d i s a p p e a r . W h e n w e s t a r t e d t h i s e x p e r i m e n t , t h e r e w e r e e q u a l n u m b e r s o f a l l t h r e e m o t h s . W i t h t h e c o l o r f u l b a c k g r o u n d , c o u l d n ’ t t h e p o p u l a t i o n c h a n g e b a c k t o t h e w a y i t w a s ? T h e r e i s a l o n g p a u s e a s t h e o t h e r g r o u p m e m b e r s p r o v i d e n o r e s p o n s e t o t h i s q u e s t i o n . 2 3 3 Q u e s t i o n s : 8 ) H o w d o y o u t h i n k t h e t e a c h e r s h o u l d r e s p o n d t o t h i s g r o u p o f s t u d e n t s i n o r d e r t o s u p p o r t s c i e n t i f i c i n q u i r y ? V I I . S c i e n c e I n q u i r y ( p . 3 3 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s d e v e l o p i n s t u d e n t s t h e m e n t a l o p e r a t i o n s , h a b i t s o f m i n d , a n d a t t i t u d e s t h a t c h a r a c t e r i z e t h e p r o c e s s o f s c i e n t i f i c i n q u i r y . 9 ) R e c a l l t h a t o n e o f t h e t e a c h e r s ' g o a l s w a s t o s u p p o r t s t u d e n t s c i e n t i f i c i n q u i r y . D o y o u t h i n k y o u r i d e a s u p p o r t s s t u d e n t s c i e n t i f i c i n q u i r y ? W o u l d t h e r e b e a n o t h e r o n e t h a t m i g h t d o m o r e t o w a r d t h a t g o a l ? V l l . S c i e n c e I n q u i r y ( p . 3 3 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s d e v e l o p i n s t u d e n t s t h e m e n t a l o p e r a t i o n s , h a b i t s o f m i n d , a n d a t t i t u d e s t h a t c h a r a c t e r i z e t h e p r o c e s s o f s c i e n t i f i c i n q u i r y . X l l l . R e f l e c t i o n ( p . 5 3 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s c o n s t a n t l y a n a l y z e , e v a l u a t e , a n d s t r e n g t h e n t h e i r p r a c t i c e i n o r d e r t o i m p r o v e t h e q u a l i t y o f t h e i r s t u d e n t s ’ l e a r n i n g e x p e r i e n c e s . 1 0 ) A n o t h e r o n e o f t h e t e a c h e r ' s g o a l s w a s t o h e l p s t u d e n t s u n d e r s t a n d h o w t h e e n v i r o n m e n t i n t e r a c t s w i t h a s p e c i e s ’ p o p u l a t i o n t h r o u g h n a t u r a l s e l e c t i o n . D o y o u t h i n k y o u r i d e a h e l p s a c h i e v e t h a t g o a l ? W o u l d t h e r e b e a n o t h e r r e s p o n s e t h a t m i g h t d o m o r e t o w a r d t h a t g o a l ? l X . C o n t e x t s o f S c i e n c e ( p . 4 1 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s c r e a t e o p p o r t u n i t i e s f o r s t u d e n t s t o e x a m i n e t h e h u m a n c o n t e x t s o f s c i e n c e , i n c l u d i n g i t s h i s t o r y , r e c i p r o c a l r e l a t i o n s h i p w i t h t e c h n o l o g y , t i e s t o m a t h e m a t i c s , a n d i m p a c t s o n s o c i e t y s o t h a t s t u d e n t s m a k e c o n n e c t i o n s a c r o s s t h e d i s c i p l i n e s o f s c i e n c e a n d i n t o o t h e r s u b j e c t a r e a s . l l . K n o w l e d g e o f S c i e n c e ( p . 1 1 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s h a v e a b r o a d a n d c u r r e n t k n o w l e d g e o f s c i e n c e a n d s c i e n c e e d u c a t i o n , a l o n g w i t h i n - d e p t h k n o w l e d g e o f o n e o f t h e s u b f i e l d s o f s c i e n c e , w h i c h t h e y u s e t o s e t i m p o r t a n t a p p r o p r i a t e l e a r n i n g g o a l s . t i e s t o m a t h e m a t i c s , a n d i m p a c t s o n s o c i e t y s o t h a t s t u d e n t s m a k e c o n n e c t i o n s a c r o s s t h e d i s c i p l i n e s o f s c i e n c e a n d i n t o o t h e r s u b j e c t a r e a s . 2 3 4 1 1 ) S u p p o s e t h i s t e a c h e r a l s o s a i d s h e h a d a g o a l o f e n s u r i n g f a i r n e s s , e q u i t y a n d a c c e s s f o r a l l s t u d e n t s . W h a t s t e p s s h o u l d t h e t e a c h e r t a k e t o f u l f i l l t h i s o b j e c t i v e ? V l . E q u i t a b l e P a r t i c i p a t i o n ( p . 2 9 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s t a k e s t e p s t o e n s u r e t h a t a l l s t u d e n t s , i n c l u d i n g t h o s e f r o m g r o u p s w h i c h h a v e h i s t o r i c a l l y n o t b e e n e n c o u r a g e d t o e n t e r t h e w o r l d o f s c i e n c e , p a r t i c i p a t e i n t h e s t u d y o f s c i e n c e . 1 2 ) F r o m t h e i r d i s c u s s i o n , w h a t a s p e c t s o f t h e i n t e r a c t i o n b e t w e e n t h e e n v i r o n m e n t a n d s p e c i e s ’ c h a r a c t e r i s t i c e s d o t h e s t u d e n t s a p p e a r t o u n d e r s t a n d a n d w h a t m i s c o n c e p t i o n s s t i l l r e m a i n ? X . A s s e s s m e n t ( p . 4 5 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s a s s e s s s t u d e n t l e a r n i n g t h r o u g h a v a r i e t y o f m e a n s t h a t a l i g n w i t h s t a t e d l e a r n i n g g o a l s . 1 3 ) D o y o u s e e a n y e v i d e n c e t h a t a n y o f t h e s e s t u d e n t s a r e l e a r n i n g t o e n g a g e i n s c i e n t i f i c i n q u i r y ? W h a t e v i d e n c e d o y o u s e e ? V I I . S c i e n c e I n q u i r y ( p . 3 3 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s d e v e l o p i n s t u d e n t s t h e m e n t a l o p e r a t i o n s , h a b i t s o f m i n d , a n d a t t i t u d e s t h a t c h a r a c t e r i z e t h e p r o c e s s o f s c i e n t i f i c i n q u i r y . 1 4 ) I f y o u h a d o b s e r v e d t h i s l e s s o n , a n d w e r e a m e n t o r t o t h i s t e a c h e r , w h a t a d v i c e o r g u i d a n c e w o u l d y o u g i v e t h i s t e a c h e r r e g a r d i n g t h e p l a n n i n g o r t e a c h i n g o f t h i s l e s s o n t o t h i s g r o u p o f s t u d e n t s ? X I I I . R e fl e c t i o n ( p . 5 3 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s c o n s t a n t l y a n a l y z e , e v a l u a t e , a n d s t r e n g t h e n t h e i r p r a c t i c e i n o r d e r t o i m p r o v e t h e q u a l i t y o f t h e i r s t u d e n t s ’ l e a r n i n g e x p e r i e n c e s . X l l . C o l l e g i a l i t y a n d L e a d e r s h i p ( p . 5 1 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s c o n t r i b u t e t o t h e q u a l i t y o f t h e p r a c t i c e o f t h e i r c o l l e a g u e s , t o t h e i n s t r u c t i o n a l p r o g r a m o f t h e s c h o o l , a n d t o t h e w o r k o f t h e l a r g e r p r o f e s s i o n a l c o m m u n i t y . 2 3 5 V I . D e s c r i p t i o n o f a S u c c e s s f u l L e s s o n T h i s q u e s t i o n a d d r e s s m o s t o f t h e s t a n d a r d s e x a m i n e d i n t h e A s s e s s m e n t C e n t e r E x e r c i s e s : E x e r c i s e 1 : D a t a A n a l y s i s - T e a c h e r s w i l l d e m o n s t r a t e a n a b i l i t y t o u s e s o u n d p r i n c i p l e s o f d a t a a n a l y s i s . T e a c h e r s w i l l b e a s k e d t o a n a l y z e , i n t e r p r e t , p r e d i c t ( e x t r a p o l a t e , i n t e r p o l a t e ) , o r i n t e r u s i n g g r a p h s o r o t h e r d a t a . E x e r c i s e 2 : I n t e r r e l a t i o n s h i p s - T e a c h e r s w i l l s h o w t h e i r k n o w l e d g e o f a n u n d e r s t a n d i n g o f t h e i n t e r r e l a t i o n s h i p s t h a t e x i s t w i t h i n t h e i r d i s c i p l i n e . T h e y w i l l d e s c r i b e , p r o v i d e s p e c i f i c e x a m p l e s , a n d a n a l y z e i n t e r r e l a t i o n s h i p s . E x e r c i s e 3 : F u n d a m e n t a l C o n c e p t s - T e a c h e r s w i l l b e a s k e d t o d e m o n s t r a t e a d e p t h o f c o n t e n t k n o w l e d g e i n t h e i r s p e c i a l i z e d f i e l d . T h e y w i l l b e g i v e n a v i s u a l o r g r a p h i c a l r e p r e s e n t a t i o n o f a c o n c e p t a n d w i l l g i v e a d e s c r i p t i o n o f t h e c o n c e p t , a n a l y z e r e l a t i o n s h i p s , a n d d i s c u s s c o n s e q u e n c e s o f c h a n g e s . E x e r c i s e 4 : C h a n g e o v e r T i m e ( B i o l o g i c a l , P h y s i c a l , a n d E a r t h S c i e n c e s ) - T e a c h e r s w i l l e x h i b i t t h e i r k n o w l e d g e o f c h a n g e s t h a t o c c u r o v e r t i m e i n s c i e n c e . T e a c h e r s w i l l e x p l a i n c h a n g e s t h a t o c c u r o v e r t i m e t h r o u g h a d i s c u s s i o n o f t h e u n d e r l y i n g c o n c e p t s o r p r i n c i p l e s , a d e s c r i p t i o n o f t h e m e c h a n i s m s o f c h a n g e , a n d a d i s c u s s i o n o f t h e v a r i a b l e s i n v o l v e d . E x e r c i s e 5 : C o n n e c t i o n s i n S c i e n c e - T e a c h e r s w i l l s h o w t h e i r a b i l i t y t o r e l a t e s c i e n c e c o n t e n t i n t h e i r a r e a o f s p e c i a l i z a t i o n t o a n o t h e r c o n t e x t o f s c i e n c e . T h e y w i l l d e s c r i b e a f u n d a m e n t a l c o n c e p t f r o m t h e i r o w n s p e c i a l t y a n d r e l a t e t h e c o n c e p t t o o t h e r a r e a s o f s c i e n c e o r t o h i s t o r i c a l c o n t e x t , t e c h n o l o g y . o r s o c i e t y . E x e r c i s e 6 : B r e a d t h o f K n o w l e d g e - T e a c h e r s w i l l d e m o n s t r a t e k n o w l e d g e a c r o s s t h e s c i e n c e d i s c i p l i n e s . T e a c h e r s w i l l d e s c r i b e a m a j o r i d e a i n s c i e n c e . T h e y w i l l t h e n e x p l a i n a c o n c e p t i n e a c h o f t h e t h r e e m a j o r s c i e n c e s n o t i n t h e i r s p e c i a l t y a n d r e l a t e t h e c o n c e p t s t o t h e m a j o r i d e a . T a k e a m o m e n t a n d t h i n k o f a r e c e n t c l a s s t h a t w a s m e m o r a b l e b e c a u s e o f t h e s t u d e n t l e a r n i n g t h a t y o u b e l i e v e t o o k p l a c e . 1 . P l e a s e d e s c r i b e f o r m e t h e s e t t i n g , s u b j e c t m a t t e r , a n d c o n t e x t ( s c h o o l ! c o m m u n i t y ) o f t h i s c l a s s . 2 . H o w m a n y s t u d e n t s w e r e i n t h e c l a s s a n d w h a t g r a d e l e v e l s w e r e r e p r e s e n t e d ? 3 . W h a t w e r e t h e s t u d e n t l e a r n i n g g o a l s f o r t h i s l e s s o n ? V I I I . C o n c e p t u a l U n d e r s t a n d i n g s ( p . 3 7 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s u s e a v a r i e t y o f i n s t r u c t i o n a l s t r a t e g i e s t o e x p a n d s t u d e n t s ’ u n d e r s t a n d i n g s o f t h e m a j o r i d e a s o f s c i e n c e . 2 3 6 4 . W h y w e r e t h e s e g o a l s i m p o r t a n t f o r t h e s e s t u d e n t s ? I . U n d e r s t a n d i n g S t u d e n t s ( p . 7 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s k n o w h o w s t u d e n t s l e a r n , a c t i v e l y c o m e t o k n o w t h e i r s t u d e n t s a s i n d i v i d u a l s , a n d d e t e r m i n e s t u d e n t s ’ u n d e r s t a n d i n g s o f s c i e n c e a s w e l l a s t h e i r i n d i v i d u a l l e a r n i n g b a c k g r o u n d s . 5 . H o w d i d t h e s e g o a l s f i t i n t o y o u r o v e r a l l g o a l s f o r t h e y e a r ? I X . C o n t e x t s o f S c i e n c e ( p . 4 1 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s c r e a t e o p p o r t u n i t i e s f o r s t u d e n t s t o e x a m i n e t h e h u m a n c o n t e x t s o f s c i e n c e , i n c l u d i n g i t s h i s t o r y , r e c i p r o c a l r e l a t i o n s h i p w i t h t e c h n o l o g y , t i e s t o m a t h e m a t i c s , a n d i m p a c t s o n s o c i e t y s o t h a t s t u d e n t s m a k e c o n n e c t i o n s a c r o s s t h e d i s c i p l i n e s o f s c i e n c e a n d i n t o o t h e r s u b j e c t a r e a s . 6 . H o w d i d ( i f a t a l l ) t h e c h a r a c t e r i s t i c s o f t h i s c l a s s i n f l u e n c e y o u r p l a n n i n g o r i n s t r u c t i o n a l s t r a t e g i e s f o r t h i s p a r t i c u l a r l e s s o n ? F o r e x a m p l e , w e r e t h e r e a n y e t h n i c , c u l t u r a l , o r l i n g u i s t i c d i v e r s i t y c i r c u m s t a n c e s y o u c o n s i d e r e d ? I . U n d e r s t a n d i n g S t u d e n t s ( p . 7 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s k n o w h o w s t u d e n t s l e a r n , a c t i v e l y c o m e t o k n o w t h e i r s t u d e n t s a s i n d i v i d u a l s , a n d d e t e r m i n e s t u d e n t s ’ u n d e r s t a n d i n g s o f s c i e n c e a s w e l l a s t h e i r i n d i v i d u a l l e a r n i n g b a c k g r o u n d s . V I . E q u i t a b l e P a r t i c i p a t i o n ( p . 2 9 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s t a k e s t e p s t o e n s u r e t h a t a l l s t u d e n t s , i n c l u d i n g t h o s e f r o m g r o u p s w h i c h h a v e h i s t o r i c a l l y n o t b e e n e n c o u r a g e d t o e n t e r t h e w o r l d o f s c i e n c e , p a r t i c i p a t e i n t h e s t u d y o f s c i e n c e . 7 . D i d t h e r a n g e o f a b i l i t i e s o f t h e s t u d e n t s ( e . g . , e x c e p t i o n a l n e e d s , c o g n i t i v e , s o c i a l / b e h a v i o r a l , a t t e n t i o n a l , s e n s o r y , a n d o r p h y s i c a l c h a l l e n g e s ) a n d / o r t h e p e r s o n a l i t y o f t h e c l a s s a f f e c t y o u r p l a n n i n g ? I f s o , h o w ? 2 3 7 1 . U n d e r s t a n d i n g S t u d e n t s ( p . 7 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s k n o w h o w s t u d e n t s l e a r n , a c t i v e l y c o m e t o k n o w t h e i r s t u d e n t s a s i n d i v i d u a l s , a n d d e t e r m i n e s t u d e n t s ’ u n d e r s t a n d i n g s o f s c i e n c e a s w e l l a s t h e i r i n d i v i d u a l l e a r n i n g b a c k g r o u n d s . 8 . I n t h e t e a c h i n g o f t h i s l e s s o n , d i d s p o n t a n e i t y p l a y a r o l e i n t h e s u c c e s s o f t h i s c l a s s ? I f s o , h o w ? X I I I . R e f l e c t i o n ( p . 5 3 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s c o n s t a n t l y a n a l y z e , e v a l u a t e , a n d s t r e n g t h e n t h e i r p r a c t i c e i n o r d e r t o i m p r o v e t h e q u a l i t y o f t h e i r s t u d e n t s ’ l e a r n i n g e x p e r i e n c e s 9 . W h a t a b o u t t h i s p a r t i c u l a r e x a m p l e o f t e a c h i n g a n d l e a r n i n g i s m o s t s i g n i f i c a n t t o y o u ? V . L e a r n i n g E n v i r o n m e n t ( p . 2 5 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s c r e a t e s a f e a n d s u p p o r t i v e l e a r n i n g e n v i r o n m e n t s t h a t f o s t e r h i g h e x p e c t a t i o n s f o r t h e s u c c e s s o f a l l s t u d e n t s a n d i n w h i c h s t u d e n t s e x p e r i e n c e t h e v a l u e s i n h e r e n t i n t h e p r a c t i c e o f s c i e n c e . X I I I . R e f l e c t i o n ( p . 5 3 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s c o n s t a n t l y a n a l y z e , e v a l u a t e , a n d s t r e n g t h e n t h e i r p r a c t i c e i n o r d e r t o i m p r o v e t h e q u a l i t y o f t h e i r s t u d e n t s ’ l e a r n i n g e x p e r i e n c e s I V . E n g a g e m e n t ( p . 2 1 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s s t i m u l a t e i n t e r e s t i n s c i e n c e a n d t e c h n o l o g y a n d e l i c i t a l l t h e i r s t u d e n t s ’ s u s t a i n e d p a r t i c i p a t i o n i n l e a r n i n g a c t i v i t i e s . 1 0 . W h a t s p e c i f i c e v i d e n c e h e l p e d y o u d e t e r m i n e t h a t y o u w e r e s u c c e s s f u l a t a c h i e v i n g t h e i d e n t i f i e d l e a r n i n g g o a l s w i t h y o u r s t u d e n t s ? X . A s s e s s m e n t ( p . 4 5 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s a s s e s s s t u d e n t l e a r n i n g t h r o u g h a v a r i e t y o f m e a n s t h a t a l i g n w i t h s t a t e d l e a r n i n g g o a l s . 2 3 8 1 1 . W h a t w o u l d y o u d o d i f f e r e n t l y i f y o u h a d t h e o p p o r t u n i t y t o p u r s u e t h i s l e s s o n i n t h e f u t u r e ? W h y ? X I I I . R e f l e c t i o n ( p . 5 3 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s c o n s t a n t l y a n a l y z e , e v a l u a t e , a n d s t r e n g t h e n t h e i r p r a c t i c e i n o r d e r t o i m p r o v e t h e q u a l i t y o f t h e i r s t u d e n t s ’ l e a r n i n g e x p e r i e n c e s V I I . E x a m i n i n g a W h o l e c l a s s d i s c u s s i o n i n S c i e n c e T h i s q u e s t i o n a d d r e s s e s t h e s t a n d a r d s c o v e r e d i n t h e f o l l o w i n g e n t r y : W h o l e C l a s s D i s c u s s i o n s A b o u t S c i e n c e - T e a c h e r s d e m o n s t r a t e h o w t h e y e n g a g e a w h o l e c l a s s o f s t u d e n t s i n a d i s c u s s i o n t h a t i n c r e a s e s t h e i r u n d e r s t a n d i n g o f s c i e n c e a n d s c i e n t i fi c t h i n k i n g a s t h e t e a c h e r f a c i l i t a t e s a d i s c u s s i o n t h a t i s i n t e r e s t i n g , a c c e s s i b l e a n d r e l e v a n t . T e a c h e r s d e m o n s t r a t e h o w t h e y c r e a t e a p o s i t i v e c l a s s r o o m e n v i r o n m e n t t o d e v e l o p s t u d e n t c o n c e p t u a l u n d e r s t a n d i n g a n d t h e i r a b i l i t y t o e n g a g e i n s c i e n t i fi c t h i n k i n g a n d r e a s o n i n g . T e a c h e r s s u b m i t a t w e n t y — m i n u t e v i d e o t a p e t o s h o w h o w t h e y a n d t h e i r s t u d e n t s e n g a g e i n s c i e n t i fi c d i s c o u r s e a s t h e w h o l e c l a s s e x p l o r e s a s c i e n t i fi c t h e o r y , c o n c e p t , p r i n c i p l e , i s s u e o r m e t h o d o l o g i c a l a p p r o a c h . T e a c h e r s a l s o s u b m i t w r i t t e n c o m m e n t a r y t h a t c o n t e x t u a l i z e s , a n a l y z e s , a n d e v a l u a t e s t h e i r t e a c h i n g t h r o u g h w h o l e c l a s s d i s c u s s i o n . T h e v i d e o t a p e ( A r t i f a c t # 4 ) c o n t a i n s a p o r t i o n o f a w h o l e c l a s s d i s c u s s i o n a b o u t s c i e n c e . T h e s e g m e n t y o u a r e a b o u t t o s e e i s f r o m a n A d v a n c e d P l a c e m e n t E n v i r o n m e n t a l S c i e n c e C l a s s m a d e u p o f c o l l e g e b o u n d 1 1 t h a n d 1 2 t h g r a d e r s . T h e y a r e a n e t h n i c a l l y a n d l i n g u i s t i c a l l y d i v e r s e g r o u p o f s t u d e n t s . C o u n t r i e s f r o m N o r t h a n d S o u t h A m e r i c a , A s i a , a n d E u r o p e a r e r e p r e s e n t e d . E n g l i s h i s a s e c o n d l a n g u a g e f o r m o s t . T h e y h a v e b e e n v i s i t i n g s t u d y i n g a l o c a l e c o s y s t e m a p p r o x i m a t e l y o n c e a m o n t h f o r t h e l a s t s i x m o n t h s w i t h t h e i r t e a c h e r . T h e y h a v e w o r k e d i n t e a m s a n d i n d i v i d u a l l y t o c o l l e c t b o t h b i o t i c a n d a b i o t i c d a t a t o h e l p t h e m a n s w e r t h e q u e s t i o n : “ I s t h i s a h e a l t h y e c o s y s t e m ? ” T h e v i d e o t a p e s h o w s t h e s t u d e n t s a n d t h e i r t e a c h e r d i s c u s s i n g h o w t h e i r i n d i v i d u a l r e s e a r c h p r o j e c t s m a y h e l p a d d r e s s t h i s q u e s t i o n b y s h a r i n g t h e o n e m o s t i m p o r t a n t o b s e r v a t i o n t h e y e a c h h a v e m a d e i n t h e i r w o r k . T h e v i d e o c l i p p r e s e n t s s e v e r a l d i f f e r e n t s t u d e n t s ’ i n d i v i d u a l p r o j e c t s t h a t f o c u s u p o n t w o d i f f e r e n t s p e c i e s : W a t e r C a b b a g e s a n d R i p p l e B u g s . P r i o r t o t h i s c l i p , e a c h o f t h e 4 g r o u p s h a d j u s t fi n i s h e d d i s c u s s i n g t h e i r c o l l e c t i v e r e s u l t s o n d i f f e r e n t a r e a s o f t h e p r e s e r v e . A f t e r t h e c l i p , e a c h s t u d e n t w a s t o p r o v i d e a fi n a l c o n c l u s i o n r e g a r d i n g t h e h e a l t h o f t h e p r e s e r v e . T h i s i s t h e i r fi n a l v i s i t t o t h e p a r k . T h e t e a c h e r h a s s e t s e v e r a l g o a l s f o r t h i s d i s c u s s i o n : 1 ) S t u d e n t s w i l l t h i n k a n d r e a s o n s c i e n t i f i c a l l y . 2 ) S t u d e n t s w i l l c o m m u n i c a t e t h e i r i d e a s c l e a r l y t o t h e g r o u p . 3 ) T h e t e a c h e r w i l l s u p p o r t a n d f a c i l i t a t e t h e d i s c u s s i o n . 2 3 9 4 ) S t u d e n t s w i l l c o m e t o a b e t t e r u n d e r s t a n d i n g r e g a r d i n g t h e c u r r e n t s t a t u s o f t h e e c o s y s t e m u n d e r i n v e s t i g a t i o n . P l e a s e w a t c h c a r e f u l l y a n d t h e n I w i l l a s k y o u s o m e q u e s t i o n s . F e e l f r e e t o t a k e n o t e s d u r i n g t h e v i e w i n g . Q u e s t i o n s : 9 ) H o w d o y o u d e s c r i b e t h e l e a r n i n g e n v i r o n m e n t c r e a t e d b y t h e t e a c h e r ? V . L e a r n i n g E n v i r o n m e n t ( p . 2 5 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s c r e a t e s a f e a n d s u p p o r t i v e l e a r n i n g e n v i r o n m e n t s t h a t f o s t e r h i g h e x p e c t a t i o n s f o r t h e s u c c e s s o f a l l s t u d e n t s a n d i n w h i c h s t u d e n t s e x p e r i e n c e t h e v a l u e s i n h e r e n t i n t h e p r a c t i c e o f s c i e n c e . 1 0 ) W h a t e v i d e n c e ( i f a n y ) c a n y o u s i t e f r o m t h e t a p e t h a t i n d i c a t e s t h a t t h i s t e a c h e r i s f a i r a n d e q u i t a b l e w i t h l e a r n e r s ? V I . E q u i t a b l e P a r t i c i p a t i o n ( p . 2 9 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s t a k e s t e p s t o e n s u r e t h a t a l l s t u d e n t s , i n c l u d i n g t h o s e f r o m g r o u p s w h i c h h a v e h i s t o r i c a l l y n o t b e e n e n c o u r a g e d t o e n t e r t h e w o r l d o f s c i e n c e , p a r t i c i p a t e i n t h e s t u d y o f s c i e n c e . 1 1 ) H o w w o u l d y o u d e s c r i b e t h e l e v e l o f s t u d e n t e n g a g e m e n t i n t h e c l a s s ? I V . E n g a g e m e n t ( p . 2 1 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s s t i m u l a t e i n t e r e s t i n s c i e n c e a n d t e c h n o l o g y a n d e l i c i t a l l t h e i r s t u d e n t s ’ s u s t a i n e d p a r t i c i p a t i o n i n l e a r n i n g a c t i v i t i e s . . 1 2 ) D o y o u t h i n k t h a t t h e t e a c h e r h a s b e e n e f f e c t i v e i n f a c i l i t a t i n g a n d s u p p o r t i n g m e a n i n g f u l s c i e n t i f i c d i s c u s s i o n w h e r e s t u d e n t s e x p l o r e a n d h a v e t h e o p p o r t u n i t y t o u n d e r s t a n d i m p o r t a n t s c i e n t i fi c i d e a s ? W h a t d o e s t h i s t e a c h e r d o o r n o t d o t h a t s u p p o r t s y o u r a n s w e r ? V I I I . C o n c e p t u a l U n d e r s t a n d i n g s ( p . 3 7 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s u s e a v a r i e t y o f i n s t r u c t i o n a l s t r a t e g i e s t o e x p a n d s t u d e n t s ’ u n d e r s t a n d i n g s o f t h e m a j o r i d e a s o f s c i e n c e . 2 4 0 1 3 ) H o w w o u l d y o u d e s c r i b e t h e q u a l i t y o f s t u d e n t - t o - s t u d e n t i n t e r a c t i o n s w i t h r e g a r d s t o s c i e n t i fi c , a n a l y t i c a l a n d / o r c r i t i c a l t h o u g h t ? X . A s s e s s m e n t ( p . 4 5 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s a s s e s s s t u d e n t l e a r n i n g t h r o u g h a v a r i e t y o f m e a n s t h a t a l i g n w i t h s t a t e d l e a r n i n g g o a l s . 1 4 ) B a s e d u p o n t h e d i s c u s s i o n p r e s e n t e d i n t h i s c l i p , h o w w o u l d y o u d e s c r i b e t h e l e v e l o f s t u d e n t u n d e r s t a n d i n g r e g a r d i n g p e r t i n e n t s c i e n t i fi c i d e a s ? I . U n d e r s t a n d i n g S t u d e n t s ( p . 7 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s k n o w h o w s t u d e n t s l e a r n , a c t i v e l y c o m e t o k n o w t h e i r s t u d e n t s a s i n d i v i d u a l s , a n d d e t e r m i n e s t u d e n t s ’ u n d e r s t a n d i n g s o f s c i e n c e a s w e l l a s t h e i r i n d i v i d u a l l e a r n i n g b a c k g r o u n d s . 1 5 ) I f t h i s t e a c h e r w e r e a c o l l e a g u e o f y o u r s a n d a p p r o a c h e d y o u f o r s o m e i n p u t i n t o t h i s l e s s o n , w h a t a d v i c e , g u i d a n c e , o r i n s i g h t s w o u l d y o u o f f e r t h a t m i g h t i m p r o v e t h e t e a c h i n g a n d l e a r n i n g i n t h i s c l a s s ? X I I . C o l l e g i a l i t y a n d L e a d e r s h i p ( p . 5 1 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s c o n t r i b u t e t o t h e q u a l i t y o f t h e p r a c t i c e o f t h e i r c o l l e a g u e s , t o t h e i n s t r u c t i o n a l p r o g r a m o f t h e s c h o o l , a n d t o t h e w o r k o f t h e l a r g e r p r o f e s s i o n a l c o m m u n i t y . X I I I . R e f l e c t i o n ( p . 5 3 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s c o n s t a n t l y a n a l y z e , e v a l u a t e , a n d s t r e n g t h e n t h e i r p r a c t i c e i n o r d e r t o i m p r o v e t h e q u a l i t y o f t h e i r s t u d e n t s ’ l e a r n i n g e x p e r i e n c e s . 8 ) A n d w h a t i s t h e t e a c h e r s ’ r o l e i n t h a t d i s c u s s i o n ? I V . E n g a g e m e n t ( p . 2 1 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s s t i m u l a t e i n t e r e s t i n s c i e n c e a n d t e c h n o l o g y a n d e l i c i t a l l t h e i r s t u d e n t s ’ s u s t a i n e d p a r t i c i p a t i o n i n l e a r n i n g a c t i v i t i e s . 2 4 1 V I I I . A c c o m p l i s h m e n t s O u t s i d e o f C l a s s : T h e I m p a c t o n S t u d e n t L e a r n i n g T h i s q u e s t i o n a d d r e s s e s t h e s t a n d a r d s f r o m t h e f o l l o w i n g e n t r y : D o c u m e n t e d A c c o m p l i s h m e n t s : C o n t r i b u t i o n s t o S t u d e n t L e a r n i n g - T e a c h e r s d e m o n s t r a t e t h e i r c o m m i t m e n t t o s t u d e n t l e a r n i n g t h r o u g h t h e i r w o r k w i t h s t u d e n t s ' f a m i l i e s a n d c o m m u n i t y , t h e i r d e v e l o p m e n t a s l e a r n e r s a n d a s l e a d e r s / c o l l a b o r a t o r s . T h i s e n t r y i s d e s i g n e d t o c a p t u r e e v i d e n c e o f t h e w a y i n w h i c h t h e r o l e o f a t e a c h e r i s b r o a d e r t h a n w h a t t h e t e a c h e r d o e s i n h i s o r h e r c l a s s r o o m . T e a c h e r s s u b m i t d e s c r i p t i o n s a n d a n a l y s i s o f a c t i v i t i e s a n d a c c o m p l i s h m e n t s t h a t c l e a r l y a n d s p e c i fi c a l l y d e s c r i b e w h y t h e y a r e s i g n i fi c a n t i n t h e i r p a r t i c u l a r t e a c h i n g c o n t e x t a n d w h a t i m p a c t t h e y h a d o n s t u d e n t l e a r n i n g . I n a d d i t i o n , t e a c h e r s a r e a s k e d t o c o m p o s e a b r i e f i n t e r p r e t i v e s u m m a r y r e l a t e d t o t h e s e a c c o m p l i s h m e n t s . a . T h e N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s h a s d e e m e d t h a t a c c o m p l i s h e d t e a c h e r s c o n t r i b u t e t o t h e t e a c h i n g a n d l e a r n i n g o f t h e i r c o l l e a g u e s a n d t h e q u a l i t y o f t h e p r o f e s s i o n a l c o m m u n i t y a t l a r g e . O n a s c a l e o f 0 - 5 w h e r e 0 i s n o e f f e c t a n d 5 i s s t r o n g e f f e c t , h o w d o y o u r a t e e a c h o f t h e f o l l o w i n g p r o f e s s i o n a l a c t i v i t i e s f o r a t e a c h e r i n t h e i r g e n e r a l e f f e c t a t i m p r o v i n g s t u d e n t l e a r n i n g ? P r o f e s s i o n a l A c t i v i t y / A c c o m l i s h m e n t Y e s N o R a t i n g _ j c c ) A t t e n d i n g e d u c a t i o n a l c o n f e r e n c e s / w o r k s h o p s d d ) P r o f e s s i o n a l d e v e l g m e n t a c t i v i t i e s a t s c h o o l e e ) R e a d i n g e d u c a t i o n a l l i t e r a t u r e f f ) R e a d i n g s c i e n t i fi c l i t e r a t u r e ) W r i t i n g e d u c a t i o n a l a r t i c l e s ( p r o f e s s i o n a l ) h h ) W r i t i n g s c i e n t i fi c a r t i c l e s i i ) S e r v i n g o n a n a d v i s o r y c o m m i t t e e a t t h e s c h o o l o r d i s t r i c t l e v e l j j ) S e r v i n g a s a U n i o n r e p r e s e n t a t i v e k k ) D e v e l o p i n g s c i e n c e c u r r i c u l u m f o r y o u r c l a s s , s c h o o l , o r d i s t r i c t 1 1 ) M e n t o r i n g a n e w / s t u d e n t t e a c h e r m m ) L e a d i n g a p r o f e s s i o n a l d e v e l o p m e n t w o r k s h o p f o r y o u r c o l l e a g u e s n n ) T a k i n g a s c i e n c e c o u r s e a t a l o c a l u n i v e r s i t y o o ) C o l l a b o r a t i n g w i t h c o l l e a g u e s o n a n i n t e r d i s c i p l i n a r y p r o j e c t p p ) P u r s u i n g N a t i o n a l B o a r d c e r t i fi c a t i o n 0 ) T a k i n g a n e d u c a t i o n a l c o u r s e a t a l o c a l u n i v e r s i t y 2 4 2 X I I . C o l l e g i a l i t y a n d L e a d e r s h i p ( p . 5 1 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s c o n t r i b u t e t o t h e q u a l i t y o f t h e p r a c t i c e o f t h e i r c o l l e a g u e s , t o t h e i n s t r u c t i o n a l p r o g r a m o f t h e s c h o o l , a n d t o t h e w o r k o f t h e l a r g e r p r o f e s s i o n a l c o m m u n i t y . . I s t h e r e a n y o t h e r a c t i v i t y m i s s i n g f r o m t h i s l i s t t h a t y o u t h i n k i s i m p o r t a n t t o i m p r o v i n g s t u d e n t l e a r n i n g ? X I I I . R e f l e c t i o n ( p . 5 3 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s c o n s t a n t l y a n a l y z e , e v a l u a t e , a n d s t r e n g t h e n t h e i r p r a c t i c e i n o r d e r t o i m p r o v e t h e q u a l i t y o f t h e i r s t u d e n t s ’ l e a r n i n g e x p e r i e n c e s . C o m m u n i t y R e s o u r c e / A c c o m p l i s h m e n t Y e s N o a ) P a r t i c i p a t i n g i n p a r e n t - t e a c h e r c o n f e r e n c e s b ) A t t e n d i n g o p e n h o u s e n i g h t c ) T e l e p h o n e c a l l s t o p a r e n t s / g u a r d i a n s d ) E m a i l s c o m m u n i c a t i o n w i t h p a r e n t s / g u a r d i a n s e ) A s s i s t i n g i n s c i e n t i fi c r e s e a r c h w i t h a l o c a l c o l l e g e f ) C l a s s r o o m o b s e r v a t i o n s f r o m p a r e n t s ) C o n t a c t i n g o u t s i d e e x p e r t s b y t e l e p h o n e o r e m a i l h ) R e c r u i t i n g g u e s t s p e a k e r s f r o m t h e c o m m u n i t y i ) S u p e r v i s i n g a f t e r s c h o o l a c t i v i t i e s ' ) C o a c h i n g s p o r t s k ) W o r k i n g w i t h t h e P a r e n t - T e a c h e r A s s o c i a t i o n 1 ) E s t a b l i s h i n g a p a r t n e r s h i p w i t h a l o c a l t e a c h e r s ’ c o l l e g e m ) C o n t r i b u t i n g t i m e t o l o c a l r e l i g i o u s o r c h a r i t y g r o u p s 1 1 ) S e r v i n g a s a n a c a d e m i c a d v i s o r t o s t u d e n t s 0 ) S e r v i n g o n t h e l o c a l B o a r d o f E d u c a t i o n X I . F a m i l y a n d C o m m u n i t y O u t r e a c h ( p . 4 9 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s p r o a c t i v e l y w o r k w i t h f a m i l i e s a n d c o m m u n i t i e s t o s e r v e t h e b e s t i n t e r e s t s o f e a c h s t u d e n t . 6 . I s t h e r e a n y o t h e r a c t i v i t y m i s s i n g f r o m t h i s l i s t t h a t y o u t h i n k i s i m p o r t a n t t o i m p r o v i n g s t u d e n t l e a r n i n g ? X I . F a m i l y a n d C o m m u n i t y O u t r e a c h ( p . 4 9 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s p r o a c t i v e l y w o r k w i t h f a m i l i e s a n d c o m m u n i t i e s t o s e r v e t h e b e s t i n t e r e s t s o f e a c h s t u d e n t . 2 4 3 1 ] . T I ” ; l f x b e . m l I e q t . I l l . T n : fi l e 3 . 8 » ! a h . F C 0 , “ : X I I I . R e f l e c t i o n ( p . 5 3 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s c o n s t a n t l y a n a l y z e , e v a l u a t e , a n d s t r e n g t h e n t h e i r p r a c t i c e i n o r d e r t o i m p r o v e t h e q u a l i t y o f t h e i r s t u d e n t s ’ l e a r n i n g e x p e r i e n c e s . 7 . B a s e d u p o n t h e a b o v e l i s t s , w h i c h o n e a c t i v i t y d o y o u t h i n k i s m o s t i m p o r t a n t t o h e l p i n g a t e a c h e r b e c o m e m o r e e f f e c t i v e a t i m p r o v i n g s t u d e n t l e a r n i n g ? P l e a s e e x p l a i n y o u r r e a s o n s f o r m a k i n g t h i s c h o i c e . I I I . I n s t r u c t i o n a l R e s o u r c e s ( p . 1 7 ) A c c o m p l i s h e d s c i e n c e t e a c h e r s s e l e c t a n d a d a p t i n s t r u c t i o n a l r e s o u r c e s , i n c l u d i n g t e c h n o l o g y a n d l a b o r a t o r y a n d c o m m u n i t y r e s o u r c e s , a n d c r e a t e t h e i r o w n t o s u p p o r t a c t i v e s t u d e n t e x p l o r a t i o n s o f s c i e n c e . N o t e s t o A s s e s s o r s : S u g g e s t i o n s o n E a c h P a r t o f t h e E n t g y : I n t r o d u c t o r y Q u e s t i o n s G i v e s y o u a s e n s e o f t h e c o n t e x t t h i s t e a c h e r w o r k s i n . W h a t a r e t h e i r s t u d e n t s l i k e ? T h e i r s c h o o l ? H o w l o n g h a v e t h e y b e e n t e a c h i n g ? A d d i t i o n a l l y , e v i d e n c e c a n b e f o u n d r e g a r d i n g t h e i r k n o w l e d g e o f s t u d e n t s a n d l e a r n i n g e n v i r o n m e n t . 1 . T e a c h i n g a n d L e a r n i n g : S e e A r t i f a c t # 1 , # 2 , & # 3 T h i s q u e s t i o n i s m o d e l e d a f t e r E n t r y 1 T e a c h i n g a M a j o r I d e a o v e r T i m e . I t h i n k i t i s i m p o r t a n t t o l o o k f o r b a l a n c e i n t h e s e r e s p o n s e s . W h e n a l l t h e a n s w e r s t o t h i s s e c t i o n a r e v i e w e d , a g o o d a n a l y s i s w o u l d n o t b e l i m i t e d t o a n a s s e s s m e n t t h a t i s c o m p l e t e l y p o s i t i v e o r c o m p l e t e l y n e g a t i v e . I I . T e a c h i n g a n d S c i e n t i fi c I n q u i r y T h i s q u e s t i o n i s m o d e l e d a f t e r E n t r y 2 S c i e n t i fi c I n q u i r y . O n c e a g a i n , b a l a n c e d r e s p o n s e s I t h i n k a r e b e s t . F o r e a c h p a r t , t h e r e i s p l e n t y t o c r i t i c i z e a n d c o m m e n d . T h e b e s t a n s w e r s d o b o t h . T h o u g h t e a c h e r s a r e t o l d t h e r e i s n o ‘ r i g h t o r w r o n g ’ a n s w e r s t o a n y q u e s t i o n , t h e r e a r e s o m e t h i n g s w h i c h a r e m o r e i m p o r t a n t t h a n o t h e r s . F o r e x a m p l e , i n t h i s s c e n a r i o , A l e j a n d r a r e p r e s e n t s a r e a l c h a l l e n g e t o t h e t e a c h e r a n d t h e i s s u e o f e q u i t y a n d f a i r n e s s . I f t h e t e a c h e r i g n o r e s t h i s , i t i s a p r o b l e m . H I . D e s c r i p t i o n o f a S u c c e s s f u l L e s s o n T h i s q u e s t i o n i s a c o m b i n a t i o n o f E n t r i e s 1 , 2 a n d 3 . W h e r e t h e fi r s t t w o q u e s t i o n s a s k t e a c h e r s t o a n a l y z e a t h i r d p a r t s i t u a t i o n , Q u e s t i o n 1 1 1 a l l o w s t h e t e a c h e r t o d i s c u s s a n e x a m p l e o f t h e i r o w n p r a c t i c e . I t a l s o g i v e s a s e c o n d w i n d o w o f o p p o r t u n i t y f o r t h e a s s e s s o r t o fi n d a d d i t i o n a l e v i d e n c e f o r a n y o f t h e s t a n d a r d s . A n s w e r s t o t h e s e p r o m p t s a l s o p r o v i d e e v i d e n c e t o t h e c o n s i s t e n c y o f a t e a c h e r s r e s p o n s e s . D o t h e i r a n s w e r s c o r r e s p o n d t o o t h e r a n s w e r s i n t h e e n t r y ? 2 4 4 0 t h t o r o f l [ 0 I a h t h e . h m F i l l . l a s t t h e ) l i l o I V . E x a m i n i n g a W h o l e c l a s s d i s c u s s i o n i n S c i e n c e ( A r t i f a c t # 4 ) O f c o u r s e t h i s q u e s t i o n i s m o s t s i m i l a r t o E n t r y 4 o n W h o l e c l a s s d i s c u s s i o n o n s c i e n c e . I w o u l d w a t c h t h e t a p e f o r t h e p r a c t i c e p i e c e s . B y t h e t i m e y o u a r e d o n e w i t h t h e fi r s t f e w , y o u s h o u l d k n o w i t w e l l e n o u g h t o n o t w a t c h i t a g a i n . T h e v i d e o c l i p i s f r o m o u r s u m m e r t r a i n i n g e x e r c i s e s . I u s e d a s i x m i n u t e p o r t i o n o f m y o w n e n t r y . I t i s t h e s a m e v i d e o u s e d a s a # 4 B e n c h m a r k i n o u r t r a i n i n g . T h o u g h u s e d a s a “ 4 ” , t h e 6 m i n u t e c l i p I c h o s e i s f a r f r o m p e r f e c t . T h e r e i s p l e n t y o f g o o d t h i n g s h a p p e n i n g , b u t a l s o l o t s o f r o o m f o r i m p r o v e m e n t a n d c r i t i c i s m . O n c e a g a i n , a b a l a n c e r e s p o n s e i n t h e e n t r i e s i s s t r o n g e s t . V . A c c o m p l i s h m e n t s O u t s i d e o f C l a s s : T h e I m p a c t o n S t u d e n t L e a r n i n g T h i s q u e s t i o n i s m o d e l e d a f t e r E n t r y 4 P r o f e s s i o n a l A c c o m p l i s h m e n t s a n d C o m m u n i t y O u t r e a c h . F o r m o s t c a s e s , t h i s Q u e s t i o n V w i l l b e t h e o n l y o p p o r t u n i t y t o a s s e s s t h e s t a n d a r d s o f P r o f e s s i o n a l A c c o m p l i s h m e n t s a n d C o m m u n i t y O u t r e a c h . I n m a n y w a y s , t h i s i s t h e t r i c k i e s t t o a s s e s s . B a s i c a l l y , t h e r e a r e t w o p a r t s t o e a c h s e c t i o n : T h e t a b l e s a n d t h e s h o r t a n s w e r s . L o o k a t e a c h s e c t i o n s e p a r a t e l y . T h e fi r s t t a b l e s h o w s r e s p o n s e s t o P r o f e s s i o n a l A c t i v i t i e s . U s e t h i s t a b l e t o g e t a n i d e a o f w h e r e t h i s t e a c h e r h a s e x p e r i e n c e a n d w h e r e t h e y d o n o t . W h e r e a r e t h e i r p r i o r i t i e s ? D o t h e y p r e f e r s t r u c t u r e d o r u n s t r u c t u r e d T e a c h e r P r o f e s s i o n a l D e v e l o p m e n t ( T P D ) e x p e r i e n c e s ? D o t h e y v a l u e p e d a g o g y ? C o n t e n t k n o w l e d g e ? C o l l a b o r a t i o n ? W h a t d o t h e y r a t e t h e h i g h e s t ? L o w e s t ? W h a t d o e s t h i s s a y a b o u t t h e i r C o l l e a g i a l i t y a n d l e a d e r s h i p ? D o t h e y h a v e s o m e t h i n g t o a d d t o t h e l i s t ? T h e l i s t i s N O T c o m p r e h e n s i v e . I f t h e y d o n ’ t h a v e s o m e t h i n g t o a d d , t h i s s h o u l d c o u n t a g a i n s t t h e m i n s c o r i n g . I f t h e y d o p r o v i d e a n a d d i t i o n a l a c t i v i t y t o t h i s l i s t , d o t h e y a l s o e x p l a i n h o w i t i s r e l a t e d t o s t u d e n t l e a r n i n g ? I s t h e i r e x p l a n a t i o n c l e a r a n d t h o r o u g h ? F o r t h e s e c o n d t a b l e , t h e t e a c h e r i s r e p o r t i n g o n t h e i r e x p e r i e n c e s a n d i d e a s a b o u t C o m m u n i t y R e s o u r c e s a n d O u t r e a c h . L o o k t o s e e h o w t h e y v a l u e a n d i n t e r a c t w i t h p a r e n t s h e r e . D o t h e y r a t e e n c o u n t e r s w i t h p a r e n t s r e l a t i v e l y h i g h ( c o m p a r e d t o t h e i r o t h e r r a t i n g s ) ? W h a t a r e t h e i r e x t r a c u r r i c u l a r a c t i v i t i e s ? H o w d o t h e y p e r c e i v e t h e c o m m u n i t y ? W h a t d o t h e y r a t e t h e h i g h e s t ? L o w e s t ? W h a t d o e s i t s a y a b o u t t h e i r v i s i o n o f c o m m u n i t y a n d o u t s i d e r e s o u r c e s t o s t u d e n t l e a r n i n g ? D o t h e y h a v e s o m e t h i n g t o a d d t o t h e l i s t ? T h e l i s t i s N O T c o m p r e h e n s i v e . F o r e x a m p l e , t e c h n o l o g y i s c o m p l e t e l y a b s e n t f r o m b o t h l i s t s . I f t h e y d o n ’ t h a v e s o m e t h i n g t o a d d , t h i s s h o u l d c o u n t a g a i n s t t h e m i n s c o r i n g . I f t h e y d o p r o v i d e a n a d d i t i o n a l a c t i v i t y t o t h i s l i s t , d o t h e y a l s o e x p l a i n h o w i t i s r e l a t e d t o s t u d e n t l e a r n i n g ? I s t h e i r e x p l a n a t i o n c l e a r a n d t h o r o u g h ? F i n a l l y , t h e l a s t q u e s t i o n a b o u t w h i c h i s m o s t i m p o r t a n t a n d w h y , g i v e s t h e a s s e s s o r o n e l a s t o p p o r t u n i t y t o fi n d o u t w h e r e t h e t e a c h e r s p r i o r i t i e s / v a l u e s / e x p e r i e n c e s l i e a n d h o w t h e y c o n n e c t i t t o s t u d e n t l e a r n i n g . U s e t h e s e a n s w e r s t o e n r i c h t h e e v i d e n c e f o r t h e s e t w o s t a n d a r d s . 2 4 5 P r o d u c t i v e S t u d e n t L e a r n i n g L e a r n i n g U n d e r s t a n d i n g O u t r e a c h 2 4 6 P A G E L E F T B L A N K 2 4 7 L l l l I E l - - - \ l i N - N i a l k S t u d e n t L e a r n i n g U n d e r s t a n d i n g o f S c i e n c e a c t i v e l y c o m e t o k n o w t h e m a s i n d i v i d u a l s , a n d d e t e r m i n e s t u d e n t s ’ u n d e r s t a n d i n g o f s c i e n c e a s w e l l a s c i e n c e a n d s c i e n c e e d u c a t i o n a l o n g w i t h i n d e p t h k n o w l e d g e o f a s u b fi e l d o f s c i e n c e w h i c h t h e y u s e t o r e s o u r c e s i n c l u d i n g t e c h n o l o g y , l a b o r a t o r y . a n d c o m m u n i t y r e s o u r c e s a n d c r e a t e t h e i r o w n t o s u p p o r t h a b i t s o f m i n d , a n d a t t i t u d e s t h a t s e t a r e a p p r o p r i a t e , a n d c e n t r a l t o s t u d e n t s a n d a r e a v a r i e t y o f i n s t r u c t i o n a l s t r a t e g i e s u s e d t o e x p a n d s t u d e n t s ’ c r e a t e t o e x a m i n e t h e h u m a n c o n t e x t s o f s c i e n c e , r e l a t i o n s h i p s w i t h t e c h n o l o g y . t i e s t o m a t h , i m p a c t u p o n s o c i e t y , a n d e l i c i t a l l t h e i r s t u d e n t s ’ s u s t a i n e d s t e p s t o e n s u r e s t u d e n t s , i n c l u d i n g t h o s e f r o m g r o u p s w h i c h h a v e h i s t o r i c a l l y n o t b e e n e n c o u r a g e d t o e n t e r t h e w o r l d a l e a r n i n g e n v i r o n m e n t t h a t f o s t e r s h i g h e x p e c t a t i o n s f o r t h e s u c c e s s o f a l l s t u d e n t s a n d r e fl e c t s v a l u e s 2 4 8 I V . S u p p o r t i n g T e a c h i n g a n d S t u d e n t L e a r n i n g j ) F a m i l y a n d C o m m u n i t y D o e s t h e t e a c h e r p r o a c t i v e l y w o r k w i t h f a m i l i e s a n d O u t r e a c h c o m m u n i t i e s t o f a c i l i t a t e o n g o i n g m u t u a l l y b e n e fi c i a l i n t e r a c t i o n s t h a t s e r v e t h e b e s t i n t e r e s t s o f e a c h s t u d e n t ’ s d e v e l o p m e n t a n d e d u c a t i o n ? k ) A s s e s s m e n t D o e s t h e t e a c h e r a c c e s s s t u d e n t l e a r n i n g t h r o u g h a v a r i e t y o f m e a n s t h a t a l i g n w i t h , e n h a n c e t h e l e a r n i n g o f , a n d f u r t h e r s t a t e d l e a m i n g g o a l s ? l ) R e fl e c t i o n D o e s t h e t e a c h e r a c c u r a t e l y a n d i n s i g h t f u l l y a n a l y z e , e v a l u a t e , m o d i f y , a n d / o r s t r e n g t h e n t e a c h i n g b y s u g g e s t i n g n e x t s t e p s o r a l t e r n a t i v e a p p r o a c h e s t h a t m a y i m p r o v e s t u d e n t s ’ l e a r n i n g ? m ) C o l l e g i a l i t y a n d L e a d e r s h i p D o e s t h e t e a c h e r c o n t r i b u t e t o t h e q u a l i t y o f t h e i r c o l l e a g u e s ’ p r a c t i c e , t h e i n s t r u c t i o n a l p r o g r a m , a n d t h e w o r k o f t h e p r o f e s s i o n a l c o m m u n i t y t h r o u g h c o l l a b o r a t i o n o r l e a d e r s h i p ? 2 4 9 T R A I N I N G E N T R Y # 1 I n t r o d u c t i o n Q u e s t i o n s : 1 2 ) H o w l o n g h a v e y o u b e e n t e a c h i n g ? 1 0 y e a r s 1 3 ) W h a t s u b j e c t s a n d g r a d e l e v e l s d o y o u t e a c h ? E a r t h s c i e n c e a n d e n v i r o n m e n t a l s c i e n c e - — 9 t h t h r u 1 2 ‘ h 1 4 ) H o w w o u l d y o u d e s c r i b e t h e s c h o o l i n w h i c h y o u t e a c h ? W e l l i t ’ s e x t r e m e l y m u l t i - c u l t u r a l - i t ’ s l a r g e , w e h a v e a r o u n d 3 4 0 0 s t u d e n t s . I t ’ s i n s u b u r b a n a r e a . W e h a v e — i t ’ s f r o m F l o r i d a — w e ’ v e g o t p e o p l e f r o m a l l o v e r t h e p l a c e 1 5 ) H o w w o u l d y o u g e n e r a l l y d e s c r i b e y o u r s t u d e n t s ? R i g h t n o w — n o t i n v e r y g o o d t e r m s — G e n e r a l l y t h e y a r e b e h i n d i n r e a d i n g — I t e a c h r e g u l a r k i d s . A n d t h e y c a n ’ t r e a d . T h e y c a n n o t w r i t e . T h e y h a v e v e r y p o o r c o m p r e h e n s i o n o f w h a t t h e y r e a d . T h e y c o m e f r o m a l o w e r m i d d l e c l a s s - i t ’ s a m i d d l e c l a s s t y p e f a m i l y . W e h a v e h a d a n i n fl u x t h i s y e a r o f s t u d e n t s f r o m t h e G l a d e s - w h i c h i s p o o r . W e h a v e - - I ’ m n o t s u r e h o w m a n y o n f r e e l u n c h a n d f r e e b r e a k f a s t — p r o b a b l y n o t a s m a n y a s u s e d t o b e a t — I ’ d s a y p r o b a b l y a r o u n d 1 0 — 1 5 % . I t m a y h a v e g o n e u p t h i s y e a r 1 6 ) W h a t i s y o u r a v e r a g e c l a s s s i z e ? W e l l b e c a u s e w e a r e g o i n g t h r u a c c r e d i t a t i o n t h e y a r e a l l 3 5 2 5 0 1 . T e a c h i n g a n d L e a r n i n g : S e e A r t i f a c t # 1 , # 2 , & # 3 1 3 ) B a s e d u p o n t h i s s t u d e n t ’ s t w o r e s p o n s e s , h o w w o u l d y o u d e s c r i b e t h e s t u d e n t ’ s g r o w t h i n u n d e r s t a n d i n g a b o u t t h e k i n e t i c t h e o r y o f m a t t e r ? H e g o e s i n t o a l o t m o r e d e t a i l i n t h e 2 n d r e s p o n s e . H e s e e m s t o u n d e r s t a n d m o r e o f t h e a t t r a c t i o n b e t w e e n t h e m o l e c u l e s — h o w i t w o r k s — h o w t h e m o l e c u l e s m o v e — t h e f l u i d i t y o f t h e m . A n d a l s o t h e f a c t t h e s o l i d s , o f c o u r s e , d o n ’ t m o v e a s q u i c k l y a n d a r e c l o s e r t o g e t h e r - e x t r e m e l y d e n s e — w a s t h e t e r m u s e d . S o i t s e e m s t o o t h a t h e h a s g a i n e d m u c h g r e a t e r u n d e r s t a n d i n g o f t h e k i n e t i c t h e o r y o f m a t t e r . 1 4 ) W h a t e v i d e n c e c a n y o u i d e n t i f y f r o m t h e r e s p o n s e s t h a t s u p p o r t s y o u r c o n c l u s i o n ? 1 5 ) W h a t d o e s t h e w o r k t e l l y o u a b o u t a n y c h a l l e n g e s o r m i s u n d e r s t a n d i n g s t h i s s t u d e n t i s e x p e r i e n c i n g ? R e a d i n g i t a s q u i c k l y a s I d i d I d i d n ’ t r e a l l y n o t i c e t h a t . . . . I t s a y s i t h a s s h a r p e d g e s a n d t h a t ’ s n o t n e c e s s a r i l y t r u e . 1 6 ) D e s c r i b e t h e f e e d b a c k o r f u r t h e r i n s t r u c t i o n ( i f a n y ) t h a t t h e t e a c h e r s h o u l d p r o v i d e t h e s t u d e n t b a s e d u p o n A r t i f a c t s l , 2 , & 3 ? W e l l - t h a t ’ s k i n d o f d i f fi c u l t b e c a u s e I d o n ’ t k n o w w h a t h e w a s l o o k i n g f o r t o b e g i n w i t h r e a l l y . I t h i n k t h a t i f I h a d a r u b r i c g o i n g f o r i t I w o u l d w a n t t o k n o w t h e o h — t h e a t t r a c t i o n b e t w e e n t h e m o l e c u l e s — b e i n g b e t w e e n t h e s o l i d a n d t h e l i q u i d m o l e c u l e . A n d y o u k n o w t h e b o n d s a n d a l l t h a t — w h i c h h e s e e m s t o h a v e g o t t e n . H e s a y s i n h e r e s o m e t h i n g a b o u t — t h e c a r i s l i q u i d , t h e w i n d c a n g o a r o u n d i t d e p e n d i n g o n t h e l i q u i d s h a p e i t s e l f — h a v e a l o w c o m p r e s s i b i l i t y - w h e r e i s w h a t I ’ m l o o k i n g f o r — i n t h e e v e n t o f a n a c c i d e n t e v e n t h o u g h t h e c a r m o v e s s o f a s t — t h a t ’ s w e l l a n y w a y — t a l k i n g a b o u t t h e s e c u r i t y i f i t w e r e a l i q u i d - — i n t h e e v e n t o f a n 2 5 1 a c c i d e n t e v e n t h o u g h t h e c a r m o v e s s o f a s t — b u t t h e n h e t a l k s d o w n h e r e a n d s a i d - t h e s o l i d i s e x t r e m e l y d e n s e a n d g i v e s t h e r e a d e r g r e a t e r s e c u r i t y i n t h e e v e n t o f a c r a s h . S o h e ’ s s a y i n g t h a t t h e y a r e b o t h s e c u r e . W e l l I w o u l d w a n t t o k n o w w h i c h o n e w o u l d h a v e t h e g r e a t e r s e c u r i t y . I m e a n c a n t h e l i q u i d b e p u n c t u r e d y o u k n o w ? W e l l h e h a s d e fi n i t e l y g o t t h e p o i n t b e t w e e n t h e a t t r a c t i o n b e t w e e n t h e m o l e c u l e s a n d t h e g a s — s o t h a t w o u l d b e a p o s i t i v e t h i n g . T h e g a s e s - t h e y a r e s t a g e d f u r t h e r a p a r t — l i q u i d s a r e g r e a t e r t h a n a g a s — I m e a n l e s s t h a n a g a s t h a n a s o l i d t h i n g m o r e d e n s e - s o h e h a s d e fi n i t e l y g o t t h a t a n d t h a t ’ s a g o o d t h i n g . H e t a l k s a b o u t t h e b o n d s . T h a t ’ s g o o d . A n d h e h a s g o t t h e p o i n t t h a t t h e r e i s a g r e a t e r f l o w w i t h l i q u i d s t h a n t h e r e i s o b v i o u s l y w i t h a s o l i d . T h e y m o v e — t h e y a r e m o r e fl u i d . I t m o v e s m o r e q u i c k l y . A n d t h e i n t e r m o l e c u l a r b o n d s b e t w e e n m o l e c u l e s g r e a t e r i n l i q u i d t h a n i n g a s e s . W a i t a m i n u t e a m 1 r e a d i n g t h a t r i g h t ? T h e i n t e r m o l e c u l a r b o n d s b e t w e e n t h e m o l e c u l e s a r e m u c h g r e a t e r t h a n i n l i q u i d o r g a s e s . O k . H e ’ s g o t t h e k i n e t i c e n e r g y i n t h e r e . 1 7 ) D o y o u t h i n k t h e c a r a d v e r t i s e m e n t i s a n e f f e c t i v e i n s t r u c t i o n a l r e s o u r c e i n e s t a b l i s h i n g a c o n n e c t i o n b e t w e e n t h e s t u d e n t ’ s b a c k g r o u n d , e x p e r i e n c e s , a n d / o r i n t e r e s t s a n d t h e c o n t e n t m a t e r i a l ? W h y o r W h y n o t ? Y e a — I t h i n k i t ’ s a n i n t e r e s t i n g w a y t o l o o k a t i t . W e l l b e c a u s e I t h i n k i t w i l l g e t t h e k i d s ’ a t t e n t i o n . T h e y a r e i n t e r e s t e d i n c a r s . 1 8 ) B a s e d u p o n t h e a r t i f a c t s p r o v i d e d , w h a t a d v i c e m i g h t y o u g i v e t h i s t e a c h e r t o i m p r o v e t h i s l e s s o n i n t h e f u t u r e ? I d o n ’ t k n o w — I t h i n k i t - p r o b a b l y i f h e c o u l d — I d o n ’ t k n o w i f y o u c o u l d d o i t o r n o t b u t I w a s t h i n k i n g m a y b e t r y t o s h o w u s i n g s o m e t h i n g t h a t w e r e n o t a s s o l i d — y o u k n o w a m o l d o f s o m e s o r t n o t a s o l i d — l i k e a j e l l o o r s o m e t h i n g a n d m o v i n g t h a t a n d a c a r t h r o u g h y o u d i f f e r e n t t h i n g s a n d s h o w i n g h o w t h e y m o v e . T h a t m i g h t 2 5 2 h a v e a l i t t l e b i t y o u k n o w - I d o n ’ t k n o w j u s t r i g h t o f f t h e t o p o f m y h e a d I d o n ’ t k n o w . S o m e k i n d o f a d e m o n s t r a t i o n — y o u k n o w p r i o r t o g i v i n g t h e m t h i s a d v e r t i s e m e n t - y o u k n o w m a y b e p u n c h i n g i t w i t h a p e n o r l i k e a s o l i d a n d s h o w i n g t h a t t h e p e n d i d n ’ t g o t h r o u g h t h a t b u t I m e a n w a t e r - s o m e t h i n g l i k e t h a t - - s o m e k i n d o f a d e m o n s t r a t i o n p r o b a b l y . I I . T e a c h i n g a n d S c i e n t i fi c I n q u i r y C . H o w d o y o u t h i n k t h e t e a c h e r s h o u l d r e s p o n d t o t h i s g r o u p o f s t u d e n t s i n o r d e r t o s u p p o r t s c i e n t i fi c i n q u i r y ? E v a n t h i n k s t h e r e d o n e w i l l g e t e a t e n t h e m o s t b e c a u s e t h e y a r e t h e b r i g h t e s t a n d t h e n e w s p a p e r m o t h s w i l l g e t e a t e n l e a s t b e c a u s e t h e y a r e b l e n d e d m o s t . O k w e l l i f t h e y a r e — y o u s h o u l d p r o b a b l y a s k i f t h e y s t a n d o u t m o r e - w o u l d n ’ t t h e r e b e a g r e a t e r c h a n g e . I n o t h e r w o r d s i f t h e r e d o n e s — w e ’ l l g o d o w n t o L a t i s h a - t h e r e a r e s o f e w r e d o n e s n o w I d o n ’ t s e e h o w t h e y c a n g r o w i n n u m b e r s s i n c e t h e r e a r e s o m a n y n e w s p a p e r o n e s n o w I t h i n k t h e r e p o p u l a t i o n w i l l s t a y t h e w a y i t i s . C o u l d n ’ t s h e s a y w e l l w h a t i f t h e n e w s p a p e r m o t h s s t o o d o u t m o r e n o w ? Y o u k n o w — b e c a u s e t h e n t h e r e d o n e s w o u l d b l e n d i n m o r e a n d t h e y m i g h t c o m e b a c k . R e c a l l t h a t o n e o f t h e t e a c h e r s ' g o a l s w a s t o s u p p o r t s t u d e n t s c i e n t i fi c i n q u i r y . D o y o u t h i n k y o u r i d e a s u p p o r t s s t u d e n t s c i e n t i fi c i n q u i r y ? W e l l , i f y o u a r e a s k i n g t h e m — I m e a n I w o u l d p u t i t i n a q u e s t i o n f o r m a n d l e t t h e m g i v e m e t h e a n s w e r . I m e a n L a t i s h a i s h y p o t h e s i z i n g t h a t t h a t t h e r e d o n e s a r e g o i n g t o d i e o f f . S h e d o e s n ’ t t h i n k t h a t t h e y a r e g o i n g t o b e a b l e t o g r o w i n n u m b e r s . B u t y o u a r e a s k i n g t h e m t o t h i n k a b o u t — y o u a r e a s k i n g t h e m t o h y p o t h e s i z e a b o u t w h a t w o u l d h a p p e n i f t h e n e w s p a p e r m o t h / o n e s s t a r t e d s t a n d i n g o u t . A n d t h e n i f y o u c h a n g e t h e c o l o r f u l b a c k g r o u n d , y o u a r e a s k i n g t h e s a m e t h i n g . I t s a y s t h e n u m b e r 2 5 3 o f n e w s p a p e r — t h e y t h i n k t h e n u m b e r o f n e w s p a p e r m o t h w i l l s t o p g r o w i n g a n d t h e r e d m o t h s w i l l s t o p g e t t i n g s m a l l e r . S o t h e y a r e h y p o t h e s i z i n g t h a t f f w e c h a n g e t h e c o l o r f u l b a c k g r o u n d p o p u l a t i o n i t w i l l s t a y t h e w a y i t i s — o k — s o y o u c o u l d a s k E v a n t o e x p l a i n w h y h e b e l i e v e s t h a t t h e p o p u l a t i o n w i l l s t a y t h e w a y i t i s a n d y o u k n o w s u b s t a n t i a t e h i s h y p o t h e s i s . A n o t h e r o n e o f t h e t e a c h e r ' s g o a l s w a s t o h e l p s t u d e n t s u n d e r s t a n d h o w t h e e n v i r o n m e n t i n t e r a c t s w i t h a s p e c i e s ’ p o p u l a t i o n t h r o u g h n a t u r a l s e l e c t i o n . D o y o u t h i n k y o u r i d e a h e l p s a c h i e v e t h a t g o a l ? Y e s I d o . B e c a u s e I ’ m a s k i n g t h e m t o l o o k a t t h i s a n d s e e w h a t ’ s g o i n g t o h a p p e n i f t h e b a c k g r o u n d c h a n g e s . A n d t h e m o t h — y o u k n o w d i f f e r e n t m o t h s s t a n d m o r e . I f y o u l o o k a t t h e p e p p e r e d m o t h e x p e r i m e n t — y o u k n o w — t w o d i f f e r e n t a r e a s — t h e d a r k e r o n e s u r v i v e d o n e a r e a a n d t h e l i g h t e r s u r v i v e d t h e o t h e r . Y o u k n o w . S o y e a . S u p p o s e t h i s t e a c h e r a l s o s a i d s h e h a d a g o a l o f e n s u r i n g f a i r n e s s , e q u i t y a n d a c c e s s f o r a l l s t u d e n t s . W h a t s t e p s s h o u l d t h e t e a c h e r t a k e t o f u l fi l l t h i s o b j e c t i v e ? P r o b a b l y m a k e s u r e t h a t A l e j a n d r a i s i n c l u d e d i n t h e g r o u p , w h i c h s h e h a s n ’ t b e e n . P e r h a p s s h e c o u l d d r a w o n e o f t h e o t h e r k i d s a s i d e a n d s a y - b r i n g h e r i n t o t h e g r o u p s o m e h o w . I ’ v e d o n e t h a t a n d t h a t w o r k s — k i d s a r e a l w a y s w a n t i n g t o h e l p e a c h o t h e r i f y o u s u g g e s t i t — o r p e r h a p s t h e t e a c h e r c o u l d e v e n b r i n g h e r i n t o t h e g r o u p . B u t u s u a l l y b e t t e r t o l e t t h e p e e r d o i t . F r o m t h e i r d i s c u s s i o n , w h a t a s p e c t s o f t h e i n t e r a c t i o n b e t w e e n t h e e n v i r o n m e n t a n d s p e c i e s ’ c h a r a c t e r i s t i c s d o t h e s t u d e n t s a p p e a r t o u n d e r s t a n d a n d w h a t m i s c o n c e p t i o n s s t i l l r e m a i n ? W e l l i t l o o k s l i k e t h e y u n d e r s t a n d t o a c e r t a i n e x t e n t t h a t t h e m o t h c a m o u f l a g e o n t h e n e w s p r i n t . 8 0 t h e y u n d e r s t a n d t h a t . A n d t h e y u n d e r s t a n d t h a t t h e p o p u l a t i o n i s g o i n g t o g e t l a r g e r i f t h e y a r e h a r d e r t o s e e . S o t h e y w o u l d u n d e r s t a n d t h a t . B u t I 2 5 4 d o n ’ t k n o w t h a t t h e y u n d e r s t a n d t h e p o p u l a t i o n c h a n g e — c a u s e t h e y a r e t a k i n g a b o u t — t h e y t h i n k t h e r e d o n e s w i l l d i e o u t c o m p l e t e l y — w h i c h t h e y m i g h t — b u t I m e a n — I d o n ’ t t h i n k t h e y a r e r e a l s u r e a b o u t t h a t . D o y o u s e e a n y e v i d e n c e t h a t a n y o f t h e s e s t u d e n t s a r e l e a r n i n g t o e n g a g e i n s c i e n t i fi c i n q u i r y ? W h a t e v i d e n c e d o y o u s e e ? Y e a . W e l l t h e y a r e a s k i n g q u e s t i o n s - y o u k n o w . T h e y a r e h y p o t h e s i z i n g . T h e y a r e a s k i n g q u e s t i o n s . W i l l t h e c o l o r f u l b a c k g r o u n d — c o u l d t h e p o p u l a t i o n c h a n g e b a c k t h e w a y i t w a s . I f w e c h a n g e t h e c o l o r f u l b a c k g r o u n d , t h e p o p u l a t i o n w i l l s t a y t h e w a y i t i s — t h e y a r e s a y i n g — y o u k n o w a n d t h e n - t h e y a r e s a y i n g t h e n u m b e r o f n e w s p a p e r m o t h s w i l l s t o p g r o w i n g a n d t h e r e d m o t h s w i l l s t o p g e t t i n g s m a l l e r . S o t h e y a r e h y p o t h e s i z i n g t h e r e . T h e n a n o t h e r o n e - L a t i s h a s a y s s i n c e t h e r e a r e s o m a n y n e w s p a p e r o n e s n o w I t h i n k t h a t t h e i r p o p u l a t i o n w i l l s t a y t h e w a y i t i s . S o I m e a n t h e y r e a l l y — t h e y h a v e d i f f e r i n g o p i n i o n s — y o u k n o w a n d t h e y a r e f o r m i n g d i f f e r e n t h y p o t h e s e s . A n d t h e n y o u k n o w — o t h e r s w i l l c o m e u p w i t h a q u e s t i o n . W h y ? I f y o u h a d o b s e r v e d t h i s l e s s o n , a n d w e r e a m e n t o r t o t h i s t e a c h e r , w h a t a d v i c e o r g u i d a n c e w o u l d y o u g i v e t h i s t e a c h e r r e g a r d i n g t h e p l a n n i n g o r t e a c h i n g o f t h i s l e s s o n t o t h i s g r o u p o f s t u d e n t s ? I d o n ’ t k n o w w h a t s h e l e d o f f w i t h — y o u k n o w — I d o n ’ t k n o w h o w s h e s e t u p t h e a c t i v i t y . I t h i n k p e r h a p s I w o u l d h a v e g i v e n t h e m a l i t t l e b i t m o r e g u i d a n c e a s f a r a s a - s h e s a y s s h e g a v e t h e m a l a b o r a t o r y g u i d e s h e e t . I s t h i s t h e o n l y t h i n g t h a t w a s o n t h e l a b o r a t o r y g u i d e s h e e t — i f t h e b a c k g r o u n d w e r e c h a n g e d f r o m a c o l o r f u l — i s t h a t t h e o n l y q u e s t i o n ? I f s h e g a v e t h e m l a b o r a t o r y g u i d e s h e e t , t h e n p e r h a p s s h e s h o u l d h a v e g o n e o v e r i t w i t h t h e m fi r s t . I n a g r o u p a n d c l e a r e d u p a n y m i s u n d e r s t a n d i n g s o r m i s c o n c e p t i o n s t h e y h a v e p r i o r t o d o i n g t h e i n q u i r y . 2 5 5 I X . D e s c r i p t i o n o f a S u c c e s s f u l L e s s o n 1 . P l e a s e d e s c r i b e f o r m e t h e s e t t i n g , s u b j e c t m a t t e r , a n d c o n t e x t ( s c h o o l / c o m m u n i t y ) o f t h i s c l a s s . S u b j e c t m a t t e r w a s w a t e r s a m p l i n g — w e w e r e c h e c k i n g f o r n u t r i e n t s i n t h e w a t e r i n a n e n v i r o n m e n t a l c l a s s — w e h a p p e n t o h a v e a c a n a l o u t b a c k o f t h e s c h o o l . W e w e r e o n a b l o c k s c h e d u l e — s o a p p r o x i m a t e l y 9 0 t o 1 0 0 m i n u t e s — c a n ’ t r e m e m b e r e x a c t l y h o w m a n y m i n u t e s . I t w a s i n t h e m o r n i n g c o u p l e o f w e e k s a g o . 2 . H o w m a n y s t u d e n t s w e r e i n t h e c l a s s a n d w h a t g r a d e l e v e l s w e r e r e p r e s e n t e d ? 3 5 s t u d e n t s 1 0 t h t h r u 1 2 t h 3 . W h a t w e r e t h e s t u d e n t l e a r n i n g g o a l s f o r t h i s l e s s o n ? T h e g o a l s — w e h a v e a w a t e r p r o b l e m d o w n h e r e - a s I ’ m s u r e e v e r y b o d y i n t h e w o r l d d o e s w i t h t h e e v e r g l a d e s r e s t o r a t i o n — a n d I w a n t e d t o b r i n g h o m e t o t h e m t h e f a c t t h a t t h e n u t r i e n t s i n t h e w a t e r w h a t t h e y d o — w h a t c a u s e d w h a t h a p p e n e d . M y o b j e c t i v e w a s t o s h o w t h e m w h a t t h e n u t r i e n t s c a n d o a n d t h i s c a n a l — i t ’ s o u t — i t ’ s b e h i n d a s u b d i v i s i o n . T h e r e a r e a l l i g a t o r s i n t h e c a n a l — t h e r e i s v e r y l i t t l e fi s h t h a t w e c o u l d n o t i c e i n t h e r e . W h e n I s a w fi s h I m e a n m i n n o w s o r a n y t h i n g l i k e t h a t . C a u s e i t a p p e a r s t h a t p e o p l e a r e p r o b a b l y p u m p i n g t h e i r w a s h e r s i n t o t h e c a n a l . A n d I w a n t e d t o j u s t g i v e t h e m a l i t t l e b r i e f e x a m p l e c a u s e a l l o f t h e s e c a n a l s y s t e m s a r e t i e d i n t o t h e e v e r g l a d e s . A n d I w a n t e d t h e m t o t e s t f o r n u t r i e n t s j u s t t o — y o u k n o w t h e p h o s p h o r i t e s , n i t r a t e s - t h i n g s l i k e i n t h e w a t e r . A n y w a y a l l o f t h e s e c a n a l s y s t e m s a r e t i e d i n t o t h e e v e r g l a d e s t h a t g o e s t o L a k e A u g o t s h o e ' c h o b i e . A n d I t h o u g h t t h a t t h i s i s w h a t w e a r e g o i n g t o d o . I a l s o h a d g o n e o u t t o A u g o t s c h o e c h o b i e a n d I g o t w a t e r s a m p l e s f o r m t h e n o r t h s i d e o f t h e l a k e a n d t h e s o u t h o f t h e l a k e . A n d b r o u g h t t h e m 2 5 6 b a c k f o r t h e m t o s a m p l e t h o s e . I c h e c k e d — I d i d t h e D O o b v i o u s l y o u t a t t h e l a k e c a u s e y o u c a n ’ t - y o u h a v e t o d o t h a t r i g h t a w a y . B u t w e c h e c k e d f o r d i s s o l v e d o x y g e n c o n t e n t a n d i n t h e c a n a l s I h a d t h e w a t e r s a m p l i n g — t h e k i n d s w e r e d o i n g t h a t a n d t h e y - T h e y r e a l l y g o t i n t o i t . T h e y w e r e i n g r o u p s o f 3 t o 4 a n d t h e y w e r e u s i n g c h e m i c a l s . S o m e o f t h e m p r o b a b l y f o r t h e fi r s t t i m e b e c a u s e t h e y d o n ’ t t a k e c h e m i s t r y . T h e y t a k e e n v i r o n m e n t a l s c i e n c e f o r t h e i r t h i r d s c i e n c e c r e d i t . T h e y w e r e e x c i t e d — t h e y w e r e h a v i n g f u n . A n d y o u k n o w t h e y j u s t r e a l l y g o t i n t o t h e c l a s s . A n d s i n c e t h e n a n y t i m e a n y o n e m e n t i o n s a n y n u t r i e n t s t h e y k n o w e x a c t l y w h a t w e a r e t a k i n g a b o u t . N u t r i e n t i z a t i o n . 4 . W h y w e r e t h e s e g o a l s i m p o r t a n t f o r t h e s e s t u d e n t s ? B e c a u s e t h i s a f f e c t s t h e m i n e v e r y d a y l i f e . I m e a n t h i s i s o u r w a t e r s u p p l y . I w a n t e d t o b r i n g i t h o m e t o t h e m . A l s o t h e f a c t t h a t t h e s e s t u d e n t s a r e n o t — h a v e n e v e r r e a l l y b e e n e n v i r o n m e n t a l i s t s s o t o s p e a k — t h e y d o n ’ t r e a l l y c a r e a b o u t t h e e n v i r o n m e n t — i t ’ s t h e r e a n d i t ’ s a l w a y s g o i n g t o b e t h e r e a s f a r a s t h e y a r e c o n c e r n e d . B u t n o w t h e y a r e s e e i n g t h a t t h e p o s s i b i l i t y o f t h e f a c t t h a t m a y b e i t w o n ’ t b e . 5 . H o w d i d t h e s e g o a l s fi t i n t o y o u r o v e r a l l g o a l s f o r t h e y e a r ? W e l l , p a r t o f o u r s u n s h i n e s t a t e s t a n d a r d s i s t o m a k e t h e m a w a r e o f t h e i r e n v i r o n m e n t a n d p a r t i c u l a r l y i n t h e F l o r i d a — i n t h e e v e r g l a d e s . T h a t ’ s o n e o f o u r c u r r i c u l u m t h a t w e a r e r e q u i r e d t o t e a c h d o w n h e r e . S o i t fi t i n v e r y w e l l . 6 . H o w d i d ( i f a t a l l ) t h e c h a r a c t e r i s t i c s o f t h i s c l a s s i n f l u e n c e y o u r p l a n n i n g o r i n s t r u c t i o n a l s t r a t e g i e s f o r t h i s p a r t i c u l a r l e s s o n ? F o r e x a m p l e , w e r e t h e r e a n y e t h n i c , c u l t u r a l , o r l i n g u i s t i c d i v e r s i t y c i r c u m s t a n c e s y o u c o n s i d e r e d ? 2 5 7 . P 4 A Y e s i t d i d . B e c a u s e I h a v e a k i d t h a t ’ s i n a w h e e l c h a i r . A n d I d i d t a l k t o t h e s t u d e n t s p r i o r t o t h i s a n d s a y h o w a b o u t h e l p i n g m e o u t h e r e . A n d w h a t t h e y d i d w i t h B i l l y w a s j u s t b a s i c a l l y p i c k e d t h e w h e e l c h a i r u p w i t h h i m i n i t a n d o f f w e w e n t . I a l s o h a v e s o m e E S L s t u d e n t s - y o u k n o w — t h e y d o n ’ t s p e a k E n g l i s h t h a t w e l l . A n d I m i x t h e m i n . I t r y t o m a k e m y g r o u p s a s h e t e r o g e n e o u s a s p o s s i b l e . B u t f o r t h i s I d e fi n i t e l y m i x e d t h e m u p a n d i t w a s k i n d o f n e a t t o s e e t h e m i n t e r a c t i n g . 7 . D i d t h e r a n g e o f a b i l i t i e s o f t h e s t u d e n t s ( e . g . , e x c e p t i o n a l n e e d s , c o g n i t i v e , s o c i a l / b e h a v i o r a l , a t t e n t i o n a l , s e n s o r y , a n d o r p h y s i c a l c h a l l e n g e s ) a n d / o r t h e p e r s o n a l i t y o f t h e c l a s s a f f e c t y o u r p l a n n i n g ? I f s o , h o w ? W e l l y e a , b e c a u s e s o m e o f t h e k i d s d o n ’ t s p e a k E n g l i s h a s w e l l . S o t h a t ’ s w h y I p u t t h e m i n t o t h e h e t e r o g e n e o u s g r o u p s . T h e y a r e f r o m a l l o v e r t h e p l a c e - s o I m e a n I d o n ’ t h a v e t o d e a l w i t h i t t h a t m u c h . T h e k i d s a r e r e a l l y — I ’ m a m a z e d - — I m e a n I ’ m c o n s t a n t l y b e i n g s u r p r i s e d a t t h e i r w i l l i n g n e s s t o h e l p e a c h o t h e r . Y o u k n o w t h e y w i l l t e a s e t h e m s o m e t i m e s b u t t h a t ’ s o k b e c a u s e t h e w a y t h e y d o i t i s n o t i n a h a r m f u l w a y — a n d t h e y r e a l l y b e g i n t o f e e l l i k e p a r t o f t h e c r o w d . A n d I ’ v e n o t i c e d t o o , t h a t s i n c e d o i n g t h i s t h a t t h e c r o w d h a s r e a l l y b o n d e d — t h e c l a s s h a s r e a l l y b o n d e d a l o t m o r e - y o u k n o w . A n d t h e r e i s a l o t m o r e i n t e r a c t i o n b e t w e e n t h e m . A n d t h e H i s p a n i c , B r a z i l i a n , T h a i , e v e r y t h i n g e l s e I ’ v e g o t i n t h a t c l a s s a r e m o r e w i l l i n g t o g e t u p a n d d o a p r e s e n t a t i o n o r a t t e m p t a p r e s e n t a t i o n i n c l a s s . T h e y a r e n o t w o r r i e d a b o u t b e i n g l a u g h e d a t . Y o u k n o w t h e y c a n c l a p f o r t h e m s e l v e s . 8 . I n t h e t e a c h i n g o f t h i s l e s s o n , d i d s p o n t a n e i t y p l a y a r o l e i n t h e s u c c e s s o f t h i s c l a s s ? I f s o , h o w ? Y e a , t o s o m e e x t e n t . I h a d a l r e a d y p r e p a r e d t h e m a n d I e v e n h a d a s p e a k e r c o m e i n f r o m t h e w a t e r d i s t r i c t — a n d w e h a v e v i d e o s a n d e v e r y t h i n g e l s e . 2 5 8 9 . W h a t a b o u t t h i s p a r t i c u l a r e x a m p l e o f t e a c h i n g a n d l e a r n i n g i s m o s t s i g n i fi c a n t t o y o u ? 1 0 . W h a t s p e c i fi c e v i d e n c e h e l p e d y o u d e t e r m i n e t h a t y o u w e r e s u c c e s s f u l a t a c h i e v i n g t h e i d e n t i fi e d l e a r n i n g g o a l s w i t h y o u r s t u d e n t s ? B e c a u s e t h e y w e r e d i s c u s s i n g i t a m o n g t h e m s e l v e s . T h e y h a v e a s k e d m e i f w e c a n d o i t a g a i n . A n d I ’ v e k i n d o f — c a r r i e d o u t i n f r o n t o f t h e i r n o s e — t h a t w e m i g h t e v e n g o o u t t o t h e l a k e a n d d o t h i s . A n d t h e y a r e a f t e r m e t o d o t h a t . I ’ v e t a k e n t h e m o u t b e f o r e — i t ’ s a l o t o f f u n . 2 5 9 t o P r o d u c t i v e S t u d e n t L e a r n i n g U n d e r s t a n d i n g a C o n t e x t f o r S t u d e n t s c h o o l c o n t e x t . S e e m s t o r e l a t e t o s t u d e n t s a n d t h e i r i s s u e s . S e n s i t i v e t o l a c k o f c h e m i s t r y . u s e t o t o i m p r o v e l e s s o n . D i s c u s s e s w a t e r a n a l y s i s , s m a l l g r o u p s , h e t e r o g e n e o u s g r o u p i n g . u s e l o c a l l a k e f o r w a t e r a n a l y s i s . C h e m i c a l k i t s . n o t s u g g e s t e x p e r i m e n t . R a t h e r , t e a c h e r s h o u l d c l e a r u p m i s u n d e r s t a n d i n g s b e f o r e a c t i v i t y . s t r a t e g i e s t o g e t t h e m t o u n d e r s t a n d . c a s e a s t h e w o r k . L i n k s c l a s s w o r k t o s t a t e f r a m e w o r k s a n d s t u d e n t s l i v e s . v a l u e s s t u d e n t p a r t i c i p a t i o n f r o m a l l . F o s t e r s a s t r o n g c l a s s r o o m s u p p o r t i v e c o m m u n i t y . a r e c o m m e n d a t i o n t h a t a p e e r d o m o r e t o i n c l u d e h e r . W o r k s w i t h E S L , p h y s i c a l l y d i s a b l e d , a n d l o w p e r f o r m i n g s t u d e n t s . m o r e s t r u c t u r e t o s e n s i t i v e t o d i f f e r e n c e s . 2 6 0 I V . S u p p o r t i n g T e a c h i n g a n d S t u d e n t L e a r n i n g w ) F a m i l y a n d C o m m u n i t y N / a ’ l O u t r e a c h x ) A s s e s s m e n t G o o d a s s e s s m e n t o f s t u d e n t u n d e r s t a n d i n g w i t h K T i n 3 . 5 q u e s t i o n I . R e l i e s p r i m a r i l y o n i n f o r m a l a s s e s s m e n t s . N o m e n t i o n o f D a t a c o l l e c t i o n . y ) R e f l e c t i o n T h o r o u g h r e fl e c t i o n w i t h g o o d i n s i g h t s — c l a s s b o n d i n g , 3 . 5 p r e s e n t a t i o n s , i n t e r a c t i o n s . C o l l e g i a l i t y a n d L e a d e r s h i p D o e s n o t o f f e r a n y p o s i t i v e f e e d b a c k t o t e a c h e r s . b u t d o e s 3 . 0 m a k e r e c o m m e n d a t i o n s . 2 6 1 T R A I N I N G E N T R Y # 2 I n t r o d u c t i o n Q u e s t i o n s : 1 7 ) H o w l o n g h a v e y o u b e e n t e a c h i n g ? T h i s i s m y 8 t h y e a r 1 8 ) W h a t s u b j e c t s a n d g r a d e l e v e l s d o y o u t e a c h ? I t e a c h s c i e n c e - I t e a c h c h e m i s t r y a n d p h y s i c a l s c i e n c e — I h a v e m o s t 1 0 t h g r a d e r s b u t I g e t t h e w h o l e r a n g e o f h i g h s c h o o l e r s . 1 9 ) H o w w o u l d y o u d e s c r i b e t h e s c h o o l i n w h i c h y o u t e a c h ? W e h a v e a b o u t 1 5 0 0 s t u d e n t s i n t h e s c h o o l - - A n d i t ’ s a b o u t I d o n ’ t k n o w — 4 0 % A r a b i c . 2 0 ) H o w w o u l d y o u g e n e r a l l y d e s c r i b e y o u r s t u d e n t s ? H o w w o u l d I d e s c r i b e m y s t u d e n t s — u h m . . . j u s t a v e r a g e t e e n a g e r s I g u e s s 2 1 ) W h a t i s y o u r ’ a v e r a g e c l a s s s i z e ? 2 4 2 6 2 1 . T e a c h i n g a n d L e a r n i n g : S e e A r t i f a c t # 1 , # 2 , & # 3 1 9 ) B a s e d u p o n t h i s s t u d e n t ’ s t w o r e s p o n s e s , h o w w o u l d y o u d e s c r i b e t h e s t u d e n t ’ s g r o w t h i n u n d e r s t a n d i n g a b o u t t h e k i n e t i c t h e o r y o f m a t t e r ? H o w w o u l d I d e s c r i b e t h e g r o w t h . . . . . I t h i n k h e h a d o r s h e — I g u e s s h e — I w o u l d s a y s o u n d s l i k e h e l e a r n e d a l o t . H e ’ s g o t a l o t m o r e o f t h e v o c a b u l a r y i n t h e r e a n d s e e m s t o u n d e r s t a n d t h e c o n c e p t a l o t b e t t e r i n t h e 2 w e e k . 0 k — I t h i n k h e u n d e r s t a n d s t h e s t u f f m u c h b e t t e r i n A r t i f a c t # 3 t h a n h e d i d i n # 2 . I t s o u n d s l i k e h e r e a l l y g o t t h e p o i n t a l o t b e t t e r . 2 0 ) W h a t e v i d e n c e c a n y o u i d e n t i f y f r o m t h e r e s p o n s e s t h a t s u p p o r t s y o u r c o n c l u s i o n ? J u s t — l e t ’ s s e e . . h e t a l k s a b o u t t h e c o m p r e s s i b i l i t y a n d w h a t h a p p e n s i n a c r a s h h e r e . H e s a y s t h e s o l i d h a s a d e fi n i t e s h a p e a n d l e t ’ s s e e — t a l k s a b o u t l i q u i d s a n d t h e b o n d s a l i t t l e b i t a n d h o w f a s t t h e m o l e c u l e s a r e m o v i n g - S o i t s o u n d s l i k e h e ’ s g o t a b e t t e r i d e a o v e r a l l . 2 1 ) W h a t d o e s t h e w o r k t e l l y o u a b o u t a n y c h a l l e n g e s o r m i s u n d e r s t a n d i n g s t h i s s t u d e n t i s e x p e r i e n c i n g ? M i s u n d e r s t a n d i n g — o k . . . u h m . . . l e t ’ s s e e . . . . . . U h . . . . y o u k n o w I d o n ’ t s e e a n y m i s u n d e r s t a n d i n g s i n i t . S e e m s l i k e a g o o d j o b . I d i d n ’ t s e e a n y — a n y p r o b l e m s . 2 2 ) D e s c r i b e t h e f e e d b a c k o r f u r t h e r i n s t r u c t i o n ( i f a n y ) t h a t t h e t e a c h e r s h o u l d p r o v i d e t h e s t u d e n t b a s e d u p o n A r t i f a c t s l , 2 , & 3 ? W e l l — l e t m e s e e — A s k t h e q u e s t i o n a g a i n — h o w w o u l d I m a k e i t b e t t e r i s t h a t ? 0 k . . . . f e e d b a c k . . . . . . O k . . . . . . . . . . W e l l I t h i n k i t l o o k s p r e t t y g o o d — I m e a n h e s e e m s l i k e h e u n d e r s t o o d t h e k i n e t i c t h e o r y p r e t t y w e l l . T h e t e a c h e r s h o u l d j u s t l e a v e i t t h e w a y i t i s — I w o u l d s a y . 2 6 3 2 3 ) D o y o u t h i n k t h e c a r a d v e r t i s e m e n t i s a n e f f e c t i v e i n s t r u c t i o n a l r e s o u r c e i n e s t a b l i s h i n g a c o n n e c t i o n b e t w e e n t h e s t u d e n t ’ s b a c k g r o u n d , e x p e r i e n c e s , a n d / o r i n t e r e s t s a n d t h e c o n t e n t m a t e r i a l ? W h y o r W h y n o t ? I t h i n k s o — y e a I r e a l l y l i k e d t h e i d e a o f u s i n g t h e c a r . A t fi r s t I d i d n ’ t l i k e i t — b u t w h e n y o u s a y d o e s i t c a p t u r e h i s i n t e r e s t — i t d e fi n i t e l y g o t h i s i n t e r e s t h e r e a n d I t h i n k t h a t m i g h t b e o n e o f t h e b i g p o i n t s y o u k n o w . G e t t h e m i n t e r e s t e d i n i t . S o I t h i n k i t r e a l l y d o e s . 2 4 ) B a s e d u p o n t h e a r t i f a c t s p r o v i d e d , w h a t a d v i c e m i g h t y o u g i v e t h i s t e a c h e r t o i m p r o v e t h i s l e s s o n i n t h e f u t u r e ? O h . . a d v i c e t o i m p r o v e . . . Y o u k n o w i t ’ s h a r d t o s a y f r o m o n e A r t i f a c t h o w i f e v e r y b o d y g o t t h e i d e a b u t t h a t ’ s w h a t w o u l d m a k e m e i n t e r e s t e d — t o s e e h o w e v e r y o n e e l s e r e a c t e d . T h i s m i g h t b e l i k e h i s b e s t s t u d e n t a n d h e r e a l l y g o t t h e — I m e a n i f e v e r y o n e g o t i t a s w e l l a s t h i s g u y d i d — I ’ d s a y k e e p t h i s l e s s o n t h e w a y i t i s . I f s o m e f o l k s d i d n ’ t g e t i t — m a y b e — y o u k n o w a f e w m o r e e x a m p l e s . I I . T e a c h i n g a n d S c i e n t i fi c I n q u i r y i . H o w d o y o u t h i n k t h e t e a c h e r s h o u l d r e s p o n d t o t h i s g r o u p o f s t u d e n t s i n o r d e r t o s u p p o r t s c i e n t i fi c i n q u i r y ? H o w t o r e s p o n d t o t h i s g r o u p o f s t u d e n t s . . . . t o s u p p o r t s c i e n t i fi c . . . . U h m — w e l l Y a n p i n g s a y s t h e r e d c a n ’ t g e t m u c h s m a l l e r — b u t m a y b e t h e t e a c h e r m i g h t s a y — w e l l i s t h e r e a n u m b e r l e s s o n o n e — y o u k n o w — a n d t h e y w i l l s a y w e l l y e a — o f c o u r s e z e r o — s o s h e m i g h t — t h e t e a c h e r m i g h t a s k — w h a t d o w e c a l l i t w h e n t h e r e ’ s n o — n o m o r e o f t h a t s p e c i e s l e f t . A n d m a y b e t h e y m i g h t u n d e r s t a n d e x t i n c t i o n a l i t t l e b i t t h a t w a y t o o . j . R e c a l l t h a t o n e o f t h e t e a c h e r s ' g o a l s w a s t o s u p p o r t s t u d e n t s c i e n t i fi c i n q u i r y . D o y o u t h i n k y o u r i d e a s u p p o r t s s t u d e n t s c i e n t i fi c i n q u i r y ? W o u l d t h e r e b e a n o t h e r o n e t h a t m i g h t d o m o r e t o w a r d t h a t g o a l ? 2 6 4 H o w d o e s m y s u g g e s t i o n s u p p o r t s t u d e n t s c i e n t i fi c i n q u i r y ? U h m . . . i t m i g h t h e l p t h e m a s k h o w s o m e s p e c i e s d i s a p p e a r o r g e t i n s t i n c t a n d h o w s o m e a c t u a l l y t h r i v e i n a c h a n g i n g e n v i r o n m e n t . A n o t h e r o n e o f t h e t e a c h e r ' s g o a l s w a s t o h e l p s t u d e n t s u n d e r s t a n d h o w t h e e n v i r o n m e n t i n t e r a c t s w i t h a s p e c i e s ’ p o p u l a t i o n t h r o u g h n a t u r a l s e l e c t i o n . D o y o u t h i n k y o u r i d e a h e l p s a c h i e v e t h a t g o a l ? W o u l d t h e r e b e a n o t h e r r e s p o n s e t h a t m i g h t d o m o r e t o w a r d t h a t g o a l ? I t h i n k s o . U h m . . . . w e l l i f t h e p o p u l a t i o n g e t s s o l o w t h a t t h e y ’ r e n a t u r a l l y s e l e c t e d o u t ; I t h i n k t h a t t h e y n e e d t o u n d e r s t a n d t h e e n v i r o n m e n t - t h e c h a n g e i n t h e e n v i r o n m e n t m a k e s a b i g d i f f e r e n c e . U h m . . . . o r a t t h e e n d h e r e Y a n p i n g s a y s s o m e t h i n g a b o u t t h e r e d c a n ’ t g e t m u c h s m a l l e r a n d t h e r e ’ s o n l y o n e m o t h - o n e r e d m o t h a t t h e e n d . S o t h e t e a c h e r m i g h t s a y w e l l w h a t i f w e h a d a n o t h e r r o u n d — w h a t m i g h t h a p p e n - y o u k n o w — e v e n i f w e c h a n g e d t h e b a c k g r o u n d s - t h e r e ’ s o n l y o n e r e d m o t h l e f t . T h e y s e e t h a t r e d m o t h t h e n t h a t ’ s t h e e n d o f h i m . S u p p o s e t h i s t e a c h e r a l s o s a i d s h e h a d a g o a l o f e n s u r i n g f a i r n e s s , e q u i t y a n d a c c e s s f o r a l l s t u d e n t s . W h a t s t e p s s h o u l d t h e t e a c h e r t a k e t o f u l fi l l t h i s o b j e c t i v e ? S h e w a n t s t o g e t e q u i t y a n d a c c e s s f o r a l l s t u d e n t s . . . . U h m . . w e l l i t s e e m s l i k e t h e o n e s t u d e n t t h e r e i s j u s t t a k i n g n o t e s a n d n o t r e a l l y — n o t r e a l l y p a r t i c i p a t i n g . S o I m i g h t s u g g e s t a s m a l l e r g r o u p s . U h m . . . I t h i n k t h a t w o u l d f o r c e m o r e o f t h e m t o g e t i n v o l v e d . F r o m t h e i r d i s c u s s i o n , w h a t a s p e c t s o f t h e i n t e r a c t i o n b e t w e e n t h e e n v i r o n m e n t a n d s p e c i e s ’ c h a r a c t e r i s t i c s d o t h e s t u d e n t s a p p e a r t o u n d e r s t a n d a n d w h a t m i s c o n c e p t i o n s s t i l l r e m a i n ? 0 k — w h a t d o t h e y u n d e r s t a n d ? W e l l E v a n t a l k s a b o u t h o w t h e r e d o n e s g e t e a t e n m o s t c a u s e t h e y a r e t h e b r i g h t e s t — s o u h m . . I t h i n k h e u n d e r s t a n d s t h a t — o h y e a , 2 6 5 0 . c a u s e t h e n e w s p a p e r o n e s g e t e a t e n l e a s t c a u s e t h e y b l e n d i n t h e m o s t . S o h e u n d e r s t o o d t h a t — m a y b e h e d i d n ’ t u n d e r s t a n d w h a t — h o w — l e t ’ s s e e . . . ( r e d o n e s s t i l l g e t e a t e n t h e m o s t c a u s e t h e y ’ r e t h e b r i g h t e s t — t h e y b l e n d i n ) . . I d o n ’ t t h i n k - I t h i n k h e u n d e r s t o o d t h a t t h e n e w s p a p e r m o t h s b l e n d e d i n a n d t h e r e d o n e s w e r e b r i g h t s o t h e y d i d n ’ t b l e n d i n — s o I d o n ’ t t h i n k h e u n d e r s t a n d s u n l e s s h e a c t u a l l y s e e s i t — h o w t h e n e w e n v i r o n m e n t i s g o i n g t o a f f e c t i t . I d o n ’ t t h i n k t h a t h e u n d e r s t a n d s t h a t t h e r e d o n e s m i g h t n o t s t i c k o u t a s m u c h a n d t h e n e w s p a p e r c o l o r e d o n e s a r e g o i n g t o a c t u a l l y m a y b e n o t b l e n d i n a s m u c h a s t h e y d i d b e f o r e . U h m . . . . L a t i s h a a n d Y a n p i n g s a y ‘ w e l l t h e r e a r e s o f e w r e d o n e s n o w t h a t t h e y m i g h t d i s a p p e a r a n d t h e y a r e n o t s u r e t h a t y o u k n o w t h e p o p u l a t i o n c a n m a k e a c o m e b a c k . A n d I t h i n k t h a t ’ s s o m e t h i n g t h a t w a s a g o o d i d e a t o — c a u s e I t h i n k i f t h e r e d o n e s g e t s o l o w t h a t t h e y m i g h t n o t b e a b l e t o c o m e b a c k . O n e l i t t l e p r e d a t o r c o m e s a l o n g a n d g e t s t h a t l a s t o n e - j u s t b y c h a n c e m a y b e a n d t h e y a r e g o n e . S o I t h i n k — I t h i n k t h e y u n d e r s t a n d t h a t t h e p o p u l a t i o n c h a n g e c a n a c t u a l l y b e - y o u k n o w - a l o s s o f a n e n t i r e g r o u p . D o y o u s e e a n y e v i d e n c e t h a t a n y o f t h e s e s t u d e n t s a r e l e a r n i n g t o e n g a g e i n s c i e n t i fi c i n q u i r y ? W h a t e v i d e n c e d o y o u s e e ? U h m . . . . . I s e e L a t i s h a h e r e s h e s a i d u h m . . . . t h e r e d o n e s w o u l d b e h a r d e r t o s e e — a n d s h e s a y s o k h o w i s t h e p o p u l a t i o n c h a n g e ? T h e r e i s s o f e w r e d o n e s n o w I d o n ’ t s e e h o w t h e y c a n g r o w i n n u m b e r . S o a g a i n , s h e i s c o n c e r n e d a b o u t — y o u k n o w t h e r e d m o t h s c o m p l e t e l y g o i n g a w a y a n d h o w c a n t h e p o p u l a t i o n c h a n g e . S o I t h i n k s h e i s a s k i n g a g o o d q u e s t i o n . I f y o u h a d o b s e r v e d t h i s l e s s o n , a n d w e r e a m e n t o r t o t h i s t e a c h e r , w h a t a d v i c e o r g u i d a n c e w o u l d y o u g i v e t h i s t e a c h e r r e g a r d i n g t h e p l a n n i n g o r t e a c h i n g o f t h i s l e s s o n t o t h i s g r o u p o f s t u d e n t s ? 2 6 6 U h m . . . . I t h i n k t h e o n e t h i n g I ’ d s u g g e s t w o u l d b e a s m a l l e r g r o u p . I t h i n k 4 m i g h t b e - 4 m i g h t b e t o o b i g - - I t h i n k i t s a i d t h e y h a d g r o u p s o f 4 o r 5 . I m i g h t l i k e t o s e e g r o u p s o f 2 o r 3 . T o k e e p e v e r y b o d y m o r e i n v o l v e d i n t h a t . A n d u h m . . . . . m a y b e I d o n ’ t k n o w — d o i t — d o i t o n c e a n d h a v e t h e m fi g u r e o u t w h a t ’ s g o i n g o n . A n d t r y a g a i n a n d m a y b e t h r o w i n n o t o n l y t h e a c t u a l c o m i c s t u f f t h e n e x t t i m e — y o u k n o w t h e c o m i c n e w s p a p e r — m a y b e t h r o w i n a o h I d o n ’ t k n o w — s o m e s u p e r m o t h o r g e n e t i c a l l y e n h a n c e d m o t h o r s o m e t h i n g l i k e t h a t — o n e w e i r d o n e l i k e t h a t . U h m m m . . . . . l i k e I d o n ’ t k n o w s a y t h e y h a v e a m o t h t h a t ’ s c u t o u t o f — y o u k n o w t h e c o m i c s a n d i t w o u l d b l e n d i n n i c e l y w i t h t h e c o m i c s a n d t h e n t h e y h a v e o n e c u t o u t o f I d o n ’ t k n o w — b r i g h t y e l l o w c o n s t r u c t i o n a p p e a r a n d h e d o e s n ’ t b l e n d i n w i t h a l m o s t a n y t h i n g . S o m a y b e - y o u k n o w — t h e y w o u l d — I d o n ’ t k n o w i f i t p r o b a b l y a n e x t e n s i o n o f t h e l e s s o n — b u t y o u k n o w h o w t h i n g s c h a n g e a n d m u t a t e — t h i s m i g h t a c t u a l l y h e l p u n d e r s t a n d — h e l p t h e s t u d e n t s u n d e r s t a n d a l i t t l e m o r e a b o u t h o w t h e e n v i r o n m e n t r e a c t s w i t h t h e p o p u l a t i o n . N o w s u p p o s e t h a t t h i s c o n v e r s a t i o n - t h i s s i t u a t i o n t h a t w e h a v e h e r e - s u p p o s e i t t a k e s p l a c e w i t h v e r y l i t t l e t i m e l e f t i n c l a s s . I n l i g h t o f y o u r l a s t s u g g e s t i o n r e g a r d i n g t r y i n g t h e e x p e r i m e n t w i t h a d i f f e r e n t c o l o r , w h a t w o u l d y o u r e c o m m e n d t h e t e a c h e r d o i n t h a t s i t u a t i o n ? O h I t h i n k t h a t ’ s a g o o d a c t i v i t y . I ’ d h a v e t h e m t r y a g a i n o n t h e n e x t d a y o r a c o u p l e o f d a y s l a t e r . A c t u a l l y s l e e p o n i t o v e r n i g h t — t h e y m i g h t t h i n k a b o u t i t a l i t t l e m o r e t O O . 2 6 7 X . D e s c r i p t i o n o f a S u c c e s s f u l L e s s o n P l e a s e d e s c r i b e f o r m e t h e s e t t i n g , s u b j e c t m a t t e r , a n d c o n t e x t ( s c h o o l / c o m m u n i t y ) o f t h i s c l a s s . I h a d o n e r e a l s h o r t t h i n g i n a p h y s i c a l s c i e n c e c l a s s r e c e n t l y — w e w e r e t a l k i n g a b o u t h o w t h i n g s o f d i f f e r e n t m a s s c a n a c t u a l l y f a l l a t t h e s a m e s p e e d a n d t h e s t u d e n t s d i d n ’ t g e t t h a t r i g h t a w a y - s o t h e t e x t b o o k h a d a p i c t u r e a n d w e a c t u a l l y d i d i t i n c l a s s . W e t o o k t w o i d e n t i c a l s h e e t s o f p a p e r a n d s a i d o k — t h e y a r e t h e s a m e s h e e t o f p a p e r r i g h t ? — S a m e — e v e r y t h i n g i s t h e s a m e o n i t - y e p o k - t h e y a r e t h e s a m e . A n d w e c r u m p l e d o n e u p i n a s m a l l b a l l a n d w e d r O p p e d t h e m b o t h a t t h e s a m e t i m e a n d t h e fl a t s h e e t o f p a p e r , o f c o u r s e , f e l l m o r e s l o w l y t h a n t h e c r u m p l e d u p o n e b e c a u s e i t h a d m o r e a r e a i n i t . A n d I s a i d w e l l w h y d i d t h e c r u m p l e d u p o n e f a l l f a s t e r ? A n d s o m e o f t h e m s a i d b e c a u s e i t w a s m o r e d e n s e . A n d I s a i d w e l l t h a t ’ s p r o b a b l y t r u e — i t ’ s a l i t t l e m o r e d e n s e — I s a i d t h e r e ’ s m o r e t o i t t h a n t h a t . A n d I s a i d w h a t a c t u a l l y fl o a t e d d o w n ? A n d t h e y s a i d o h w e l l t h e a i r — y o u k n o w t h e fl o a t s h e e t d o w n . I s a i d g o o d , g o o d — I s a i d — I a s k e d t h e m - y o u k n o w — h o w w o u l d t h i s w o r k o n t h e m o o n ? A n d t h e y s a i d w e l l s i n c e t h e r e ’ s n o a i r o n t h e m o o n a n d t h e r e i s n o g r a v i t y i t w o u l d j u s t fl o a t t h e r e . A n d I s a i d w a i t a m i n u t e , t h e r e ’ s n o g r a v i t y o n t h e m o o n . S o I g o t a l i t t l e v i d e o a n d I s h o w e d t h e m t h e A p o l l o 1 3 a s t r o n a u t s d r o p p i n g t h e h a m m e r a n d f e a t h e r o n t h e m o o n . A n d t h e y s a i d — o h w e l l o k — S o t h e y k i n d o f g o t t h a t s i n c e t h e r e ’ s n o a i r — b u t t h e r e i s g r a v i t y — t h a t t h e y f a l l a t t h e s a m e t i m e . A n d w e t a l k e d a l i t t l e b i t a b o u t G a e l l o e ’ s e x p e r i m e n t a n d t h e n o u t o f t h e b l u e t h i s o n e k i d - - - h e s a y s M r . B r o w n I g o t a n e x p e r i m e n t t o s h o w y o u h e r e — s o h e t o o k t h e s a m e c r u m p l e d u p s h e e t o f p a p e r a n d t o o k t h e s a m e fl a t s h e e t o f p a p e r — o n l y t h i s t i m e h e 2 6 8 p u t t h e fl a t s h e e t o f p a p e r — h e l d i t b y t h e e n d s a n d i t j u s t l i k e c u t t h r u t h e a i r - — i t h a d n o a i r r e s i s t a n c e a t a l l . I t w a s o n l y l i k e 3 f e e t o f f t h e g r o u n d — - a n d i t h i t t h e fl o o r fi r s t . I s a i d w o w t h a t w a s p r e t t y g o o d . A n d h e r e a l l y t o o k i t a s t e p f u r t h e r t h a n I e v e r h a d b e f o r e . H e t u r n e d t h e p a p e r s i d e w a y s a n d - y o u k n o w — t h e t h i n p a r t o f t h e p a p e r — w e n t s t r a i g h t d o w n — i t j u s t d r o p p e d r i g h t t o t h e g r o u n d b e f o r e t h e o t h e r s h e e t o f p a p e r — y o u k n o w t h e c r u m p l e d u p o n e . S o h e a c t u a l l y - y o u k n o w — I t h i n k h e a c t u a l l y l e a r n e d s o m e t h i n g a n d h e u n d e r s t o o d t h e c o n c e p t . H o w m a n y s t u d e n t s w e r e i n t h e c l a s s a n d w h a t g r a d e l e v e l s w e r e r e p r e s e n t e d ? T h e r e w a s a b o u t 2 2 s t u d e n t s i n t h i s c l a s s a n d m o s t l y 9 t h a n d 1 0 t h g r a d e r s — I t h i n k t h e y a r e a l l 9 t b a n d 1 0 t h g r a d e r s - - - t h e c l a s s p e r i o d - ~ 5 5 m i n u t e s - - - I t w a s a c t u a l l y a b o u t 3 w e e k s a g o W h a t w e r e t h e s t u d e n t l e a r n i n g g o a l s f o r t h i s l e s s o n ? W e l l I w a n t e d t h e m t o u n d e r s t a n d t h a t t h i n g s f a l l a t d i f f e r e n t r a t e s o n e a r t h b e c a u s e o f a i r r e s i s t a n c e n o t b e c a u s e o f h o w g r a v i t y a f f e c t s t h e m . W h y w e r e t h e s e g o a l s i m p o r t a n t f o r t h e s e s t u d e n t s ? W h y i s i t i m p o r t a n t f o r t h e s e s t u d e n t s ? . . . . u h m — l e t m e t h i n k . . . . I t h i n k i t ’ s j u s t a g o o d g e n e r a l s c i e n c e c o n c e p t t h a t h e l p s t h e m u n d e r s t a n d t h e w o r l d a r o u n d t h e m . H o w d i d t h e s e g o a l s fi t i n t o y o u r o v e r a l l g o a l s f o r t h e y e a r ? I w o u l d s a y i t w a s - I t h i n k i t fi t w e l l — I t h i n k i t w a s a g o o d l e a r n i n g e x p e r i e n c e t h a t w e h a d . H o w d i d ( i f a t a l l ) t h e c h a r a c t e r i s t i c s o f t h i s c l a s s i n fl u e n c e y o u r p l a n n i n g o r i n s t r u c t i o n a l s t r a t e g i e s f o r t h i s p a r t i c u l a r l e s s o n ? F o r e x a m p l e , w e r e t h e r e a n y e t h n i c , c u l t u r a l , o r l i n g u i s t i c d i v e r s i t y c i r c u m s t a n c e s y o u c o n s i d e r e d ? 2 6 9 U h m . . . I d o t h i n k a b o u t t h a t - f o r t u n a t e l y o u r s c h o o l h a s a b i - l i n g u a l p r o g r a m f o r t h e A r a b i c s t u d e n t s — s o a l o t o f t h e m a r e b i - l i n g u a l i n m y c l a s s s o — I g i v e t h e m a l i t t l e e x t r a t i m e i n c l a s s — j u s t l i k e o n e h a s t o i n t e r p r e t a w o r d o r t w o f o r a n o t h e r s t u d e n t . S o t h a t ’ s t h e o n l y d i v e r s i t y p r o b l e m t h a t I s o m e t i m e s s e e . 7 . D i d t h e r a n g e o f a b i l i t i e s o f t h e s t u d e n t s ( e . g . , e x c e p t i o n a l n e e d s , c o g n i t i v e , s o c i a l / b e h a v i o r a l , a t t e n t i o n a l , s e n s o r y , a n d o r p h y s i c a l c h a l l e n g e s ) a n d / o r t h e p e r s o n a l i t y o f t h e c l a s s a f f e c t y o u r p l a n n i n g ? I f s o , h o w ? T h e i r p e r s o n a l i t y o f t h e c l a s s a f f e c t s m y p l a n n i n g . T h e y a r e a p r e t t y w i l d g r o u p s o I t e n d n o t t o h a v e t o o m a n y c r a z y a c t i v i t i e s f o r t h e m . A t l e a s t n o t i n - d o o r s . A t l e a s t n o t i n - d o o r s . I f w e a r e g o i n g t o d o s o m e t h i n g r e a l l y a c t i v e — I t a k e t h e m o u t s i d e . 8 . I n t h e t e a c h i n g o f t h i s l e s s o n , d i d s p o n t a n e i t y p l a y a r o l e i n t h e s u c c e s s o f t h i s c l a s s ? I f s o , h o w ? Y e a a c t u a l l y i t d i d . T h a t o n e s t u d e n t g o t u p — h e r e M r . B r o w n l e t m e s h o w y o u t h i s — a n d h e t o o k t h e 2 s h e e t s o f p a p e r — s o t h a t w a s r e a l l y g o o d . I g a v e h i m e x t r a c r e d i t f o r t h a t - — c a u s e i t w a s s u c h a l e a p f o r w a r d f o r h i m e s p e c i a l l y . W o w M r . B r o w n l e a r n e d s o m e t h i n g f r o m o n e o f u s - t h a t ’ s g r e a t . 9 . W h a t a b o u t t h i s p a r t i c u l a r e x a m p l e o f t e a c h i n g a n d l e a r n i n g i s m o s t s i g n i fi c a n t t o y o u ? 1 0 . W h a t s p e c i fi c e v i d e n c e h e l p e d y o u d e t e r m i n e t h a t y o u w e r e s u c c e s s f u l a t a c h i e v i n g t h e i d e n t i fi e d l e a r n i n g g o a l s w i t h y o u r s t u d e n t s ? W e l l I d i d h a v e a fi n a l t e s t f o r t h e m t h a t a s k e d s o m e v e r y s p e c i fi c q u e s t i o n s a b o u t t h i n g s d r o p p i n g l i k e t h a t a n d m o s t o f t h e m s e e m e d t o g e t — t h e r e w e r e a f e w t h a t j u s t s t i l l h u n g o n t o t h e i r p e r c e i v e d n o t i o n t h a t - y o u k n o w - w h e n I c r u m p l e d u p t h e o n e i t h a d m o r e m a s s t h a n t h e o t h e r s h e e t o f p a p e r - s o I g u e s s t h e y m i s s e d i t — b u t I ’ d s a y o u t o f t h e 2 2 s t u d e n t s — I ’ d s a y 1 8 o f t h e m r e a l l y g o t i t . U h m . . . j u s t s o m e 2 7 0 l l . c o n v e r s a t i o n s w e h a d d i s c u s s i o n s — e s p e c i a l l y a f t e r t h e A p o l l o 1 3 v i d e o — I ’ m s o r r y A p o l l o 1 7 v i d e o . W h a t w o u l d y o u d o d i f f e r e n t l y i f y o u h a d t h e o p p o r t u n i t y t o p u r s u e t h i s l e s s o n i n t h e f u t u r e ? W h y ? W h a t w o u l d I d o d i f f e r e n t . . . . . P r o b a b l y a f t e r t h e t e s t t h a t I g a v e I w o u l d p r o b a b l y i f I h a d t i m e — p l e n t y o f t i m e — I w o u l d t a k e t h e 4 s t u d e n t s w h o s t i l l d i d n ’ t g e t i t a n d t r y — I d o n ’ t k n o w — d r u m i t i n t o t h e m — r e - t e a c h t h e m — d o s o m e t h i n g - a s k t h e m w h y t h e y d i d n ’ t g e t i t a n d t h e o t h e r f o l k s d i d . T h e y a r e s t i l l c l i n g i n g t o t h e i r m i s c o n c e p t i o n s f r o m t h e p a s t . 2 7 1 S t a n d a r d t o A s s e s s E v i d e n c e t o S u p p o r t S t a n d a r d T 2 S c o r e 1 . P r e p a r i n g t h e W a y f o r ' i i Y P r o d u c t i v e S t u d e n t - L e a r n i r L . U n d e r s t a n d i n g S t u d e n t s W e a k d e s c r i p t i o n o f s t u d e n t s “ a v e r a g e 2 . 7 5 t e e n a g e r s ” . R e f e r s t o s p e c i fi c s t u d e n t s a s e v i d e n c e . R e c o g n i z e s b i l i n g u a l i s s u e s a n d t a k e s m i n i m u m s t e p s t o a d d r e s s . K n o w l e d g e o f S c i e n c e D i d n o t i d e n t i f y a n y m i s c o n c e p t i o n s i n s t u d e n t 2 , 5 w o r k . M e n t i o n s e x t i n c t i o n , b u t i s v a g u e o n t h e r e l a t i o n s h i p o f m o l e c u l e s , b o n d s , f o r c e s . I n s t r u c t i o n a l R e s o u r c e s I n v e n t i n g a ‘ s u p e r m o t h ’ . U s e o f v i d e o o f 3 . 2 5 A p o l l o 1 7 . C r u m p l e d u p p a p e r . I I . A d v a n c i n g S t u d e n t W " W W W W W “ - I W . . . - ' W L e a r n i n g S c i e n c e I n q u i r y M a k e s n o t e x p l i c i t r e c o m m e n d a t i o n t h a t 2 s t u d e n t s c a r r y o n w i t h m o t h e x p e r i m e n t . C o n c e p t u a l U n d e r s t a n d i n g D e s c r i b e s s t u d e n t s ’ g r o w t h a s ‘ g o o d ’ . N o 2 c o n n e c t i o n t o f r a m e w o r k . C o n t e x t s o f S c i e n c e N o c o n t e x t s p r o v i d e d o r s p e c i fi c r e a s o n s f o r l i m p o r t a n c e . I I I . E s t a b l i s h i n g a F a v o r a b l e C o n t e x t f o r S t u d e n t L e a r n i g g W . E n g a g e m e n t P r e f e r s t o a s k s t u d e n t s d i r e c t c o n t e n t q u e s t i o n s 2 . 2 5 r a t h e r t h a n s e l f - d i s c o v e r y o r g u i d e d i n q u i r y . E q u i t a b l e P a r t i c i p a t i o n S u g g e s t i o n s a b o u t A l e j a n d r a ( n o t m e n t i o n e d b y 2 . 2 5 n a m e ) , m a y b e i n e f f e c t i v e . N o o t h e r s u g g e s t i o n s o f f e r e d . L e a r n i n g E n v i r o n m e n t O n e g e t s t h e s e n s e t h a t i t i s a v e r y c o n t r o l l e d 2 . 5 e n v i r o n m e n t “ w i l d b u n c h ” . T e a c h e r c e n t e r e d . I n s i d e / o u t s i d e a c t i v i t i e s / 2 7 2 I V . S u p p o r t i n g T e a c h i n g ' a n d S t u d e n t L e a r n i n g F a m i l y a n d M a 1 C o m m u n i t y O u t r e a c h A s s e s s m e n t F a i r l y a c c u r a t e d e s c r i p t i o n o f s t u d e n t 3 . 7 5 u n d e r s t a n d i n g . U s e s f o r m a l a n d i n f o r m a l a s s e s s m e n t s . D a t a c o l l e c t i o n l 7 / 2 2 g o t i t . R e fl e c t i o n C a n n o t p r o v i d e i d e a s r e g a r d i n g p o s s i b l e 2 i m p r o v e m e n t s t o A r t i f a c t l . R e fl e c t i o n i s o n e d i m e n s i o n a l — i e s m a l l e r g r o u p s . C o l l e g i a l i t y a n d V e r y l i t t l e s u p p o r t o f f e r e d t o v i r t u a l c o l l e a g u e s . 2 L e a d e r s h i p 2 7 3 T R A I N I N G E N T R Y # 3 I n t r o d u c t i o n Q u e s t i o n s : 1 ) H o w l o n g h a v e y o u b e e n t e a c h i n g ? 7 o r 8 o r 9 y e a r s - — I h a v e n ’ t r e a l l y s t o p p e d t o c o u n t t o g i v e y o u a n e x a c t n u m b e r I h a v e c o u n t e d r e c e n t l y d o y o u w a n t m e t o g i v e y o u a n e x a c t n u m b e r ? 2 2 ) W h a t s u b j e c t s a n d g r a d e l e v e l s d o y o u t e a c h ? C u r r e n t l y I t e a c h p h y s i c s 1 0 t h a n d p h y s i c s 1 2 2 3 ) H o w w o u l d y o u d e s c r i b e t h e s c h o o l i n w h i c h y o u t e a c h ? I n t e r - c i t y e x a m s c h o o l . I t ’ s 7 t h t h r o u g h 1 2 - t h e k i d s i n t h e 6 ’ ” g r a d e i n t h e C i t y o f B o s t o n t a k e a n e x a m a n d b a s i c a l l y i f t h e y p a s s t h e e x a m t h e n t h e y a r e a l l o w e d t o c o m e t o s c h o o l h e r e . I t ’ s t h e o l d e s t g i r l s s c h o o l i n t h e c o u n t r y b u t i t ’ s n o t a g i r l s s c h o o l a n y m o r e . 2 4 ) H o w w o u l d y o u g e n e r a l l y d e s c r i b e y o u r s t u d e n t s ? B e h i n d e v e r y s t u d e n t i s a p r e p a r e d p a r e n t t h a t c a r e s v e r y m u c h a b o u t t h e m 2 5 ) W h a t i s y o u r a v e r a g e c l a s s s i z e ? 2 6 2 7 4 I . T e a c h i n g a n d L e a r n i n g : S e e A r t i f a c t # 1 , # 2 , & # 3 2 5 ) B a s e d u p o n t h i s s t u d e n t ’ s t w o r e s p o n s e s , h o w w o u l d y o u d e s c r i b e t h e s t u d e n t ’ s g r o w t h i n u n d e r s t a n d i n g a b o u t t h e k i n e t i c t h e o r y o f m a t t e r ? I t l o o k s g o o d . I t l o o k s l i k e t h e s t u d e n t p r o g r e s s e d m e a s u r a b l y . 2 6 ) W h a t e v i d e n c e c a n y o u i d e n t i f y f r o m t h e r e s p o n s e s t h a t s u p p o r t s y o u r c o n c l u s i o n ? B e c a u s e i n t h e 2 “ d r e s p o n s e h e i s u s i n g t e r m i n o l o g y t h a t t h e t e a c h e r w o u l d h a v e o b v i o u s l y w a n t e d h i m t o u s e . H e i s u s i n g i t c o r r e c t l y . I ’ m a s s u m i n g t h a t t h i s s t u d e n t i s a b o y . I t l o o k s g o o d . 2 7 ) W h a t d o e s t h e w o r k t e l l y o u a b o u t a n y c h a l l e n g e s o r m i s u n d e r s t a n d i n g s t h i s s t u d e n t i s e x p e r i e n c i n g ? O k — m i s u n d e r s t a n d i n g s — l e t m e g o o v e r t h i s a g a i n . I t ’ s d i f fi c u l t t o a s s e s s w h a t m i s u n d e r s t a n d i n g s t h e k i d h a s b e c a u s e t h e r e u s i n g t h i s a n a l o g y s o i t ’ s h a r d t o k n e w w h e t h e r t h e k i d b e c a u s e t h e y a r e r e l a t i n g i t t o t h e a d v e r t i s e m e n t i t s e l f u n d e r s t a n d s t h e c h e m i c a l c o n c e p t s o r m i s u n d e r s t a n d s t h e c h e m i c a l c o n c e p t s o r w h e t h e r t h e k i d i s j u s t r e l a t i n g i t t o t h e a d v e r t i s e m e n t . S o I m e a n i t ’ s h a r d t o a s s e s s j u s t f r o m t h i s b u t i t l o o k s l i k e t h e s t u d e n t h a s d o n e w h a t t h e t e a c h e r h a s a s k e d . 2 8 ) D e s c r i b e t h e f e e d b a c k o r f u r t h e r i n s t r u c t i o n ( i f a n y ) t h a t t h e t e a c h e r s h o u l d p r o v i d e t h e s t u d e n t b a s e d u p o n A r t i f a c t s l , 2 , & 3 ? L i k e I s a i d i t l o o k s g o o d t o m e . I w o u l d t h i n k t h a t t h e t e a c h e r w o u l d h a v e t h e s a m e c o n s t r a i n t s o f c u r r i c u l u m s o t h a t t h i s w o u l d n ’ t b e v e r y m u c h t i m e f o r t h e m t o g o t o o m u c h f u r t h e r i n t o t h i s . S o t h e t e a c h e r w o u l d p r o b a b l y h a v e t o g o o n a n d p r o b a b l y c o m p a r e d t o t h e r e s t o f t h e c l a s s t h i s i s p r o b a b l y o n e o f t h e b e t t e r p a p e r s . 2 7 5 2 9 ) D o y o u t h i n k t h e c a r a d v e r t i s e m e n t i s a n e f f e c t i v e i n s t r u c t i o n a l r e s o u r c e i n e s t a b l i s h i n g a c o n n e c t i o n b e t w e e n t h e s t u d e n t ’ s b a c k g r o u n d , e x p e r i e n c e s , a n d / o r i n t e r e s t s a n d t h e c o n t e n t m a t e r i a l ? W h y o r W h y n o t ? N o t r e a l l y . B e c a u s e i t i s s u c h a s t r e t c h a n d t h e n — w e l l y e s a n d n o I d o n ’ t r e a l l y k n o w w h a t t h e t e a c h e r d i d i n b e t w e e n . T h e t h i n g i s i t c o u l d h a v e b e e n o r i t c o u l d h a v e b e e n n o t r e a l l y a n d t h a t ’ s w h y I s a y t h a t t h e k i d t h e w a y i t ’ s w r i t t e n i t c o u l d b e t h a t t h e k i d u n d e r s t a n d s i t a n d i s m a k i n g t h e r e l a t i o n s h i p a n d i s u s i n g E n g l i s h p r o s a n d a n a l o g i e s t o d o t h i s o r i t m i g h t b e t h a t t h e k i d j u s t h a s m i s c o n c e p t i o n s t h a t a r e n ’ t v i s i b l e b e c a u s e I d o n ’ t k n o w — i t a l l d e p e n d s o n w h a t h a p p e n e d i n b e t w e e n . A n d a l s o i t a l l d e p e n d s o n t h e r e s t o f t h e c l a s s c a u s e i f t h i s w a s — y o u c o u l d h a v e t h i s b e — t h i s c o u l d b e o n e k i d i n i s o l a t i o n a n d t h e r e s t o f t h e c l a s s i s f a r b e h i n d . S o i t ’ s t o o l i t t l e t o g o o n b u t i t l o o k s l i k e t h e r e s t o f t h e c l a s s i s g o i n g l i k e t h i s t h e n i t l o o k s l i k e i t w a s e f f e c t i v e . 3 0 ) B a s e d u p o n t h e a r t i f a c t s p r o v i d e d , w h a t a d v i c e m i g h t y o u g i v e t h i s t e a c h e r t o i m p r o v e t h i s l e s s o n i n t h e f u t u r e ? I d o n ’ t h a v e s u f fi c i e n t — l o o k i n g a t t h e s t u d e n t w o r k i t ’ s v e r y h a r d t o s a y w h a t t h e t e a c h e r d i d . I m e a n I c a n s e e h o w t h e s t u d e n t p r o g r e s s e d a n d I c a n s e e t h e h a n d o u t t h a t w a s g i v e n t o t h e s t u d e n t r i g h t — I d o n ’ t k n o w w h a t w a s r e a l l y s a i d a n d w h a t t h e m a n n e r o f i n s t r u c t i o n s a r e — s o i t ’ s v e r y h a r d f o r m e t o t e l l — l i k e I s a i d i t l o o k s fi n e . 1 1 . T e a c h i n g a n d S c i e n t i fi c I n q u i r y 1 ) H o w d o y o u t h i n k t h e t e a c h e r s h o u l d r e s p o n d t o t h i s g r o u p o f s t u d e n t s i n o r d e r t o s u p p o r t s c i e n t i fi c i n q u i r y ? W e l l t h e o b v i o u s q u e s t i o n i s l e t ’ s t r y i t . 2 7 6 2 ) R e c a l l t h a t o n e o f t h e t e a c h e r s ' g o a l s w a s t o s u p p o r t s t u d e n t s c i e n t i fi c i n q u i r y . D o y o u t h i n k y o u r i d e a s u p p o r t s s t u d e n t s c i e n t i fi c i n q u i r y ? W o u l d t h e r e b e a n o t h e r o n e t h a t m i g h t d o m o r e t o w a r d t h a t g o a l ? S c i e n t i fi c i n q u i r y - W e l l o f c o u r s e , b e c a u s e t h e k i d s h a v e p u t u p q u e s t i o n s a n d t h e y h a v e p u t u p h y p o t h e s i s a n d t h e y w a n t t o t e s t t h e i r q u e s t i o n s . T h e t e a c h e r c o u l d h a v e t a k e n a m o m e n t a n d I m e a n i f t h e t e a c h e r d i d n ’ t h a v e t i m e t o g o o v e r a n d d o t h i s e x p e r i m e n t — t h e t e a c h e r c o u l d h a v e t o l d t h e m h o w e a c h o f t h e m k i n d o f h i t o n d i f f e r e n t a s p e c t s o f g e n e t h e o r y i n d e p e n d e n t l y o f e a c h o t h e r . G e n e t h e o r y a n d p o p u l a t i o n c h a n g e s a n d c o u l d h a v e b a s i c a l l y c o n g r a t u l a t e d e a c h o f t h e m f o r t h e i r t h o u g h t p r o c e s s e s u s e d - b u t t h a t w o u l d s t o p e v e r y t h i n g r i g h t t h e r e . T h a t ’ s w h y i f y o u a c t u a l l y w a n t t o d o t h i s o n a n i n q u i r y b a s i s m e t h o d I w o u l d t h i n k t h a t y o u w o u l d g o r i g h t a h e a d i f y o u h a d t i m e l e f t i n t h e c l a s s . 3 ) A n o t h e r o n e o f t h e t e a c h e r ' s g o a l s w a s t o h e l p s t u d e n t s u n d e r s t a n d h o w t h e e n v i r o n m e n t i n t e r a c t s w i t h a s p e c i e s ’ p o p u l a t i o n t h r o u g h n a t u r a l s e l e c t i o n . D o y o u t h i n k y o u r i d e a h e l p s a c h i e v e t h a t g o a l ? W o u l d t h e r e b e a n o t h e r r e s p o n s e t h a t m i g h t d o m o r e t o w a r d t h a t g o a l ? I f t h e s t u d e n t s c h a n g e t h e e n v i r o n m e n t a n d g o a n d d o a n o t h e r t r i a l t h e n y e s . 4 ) S u p p o s e t h i s t e a c h e r a l s o s a i d s h e h a d a g o a l o f e n s u r i n g f a i r n e s s , e q u i t y a n d a c c e s s f o r a l l s t u d e n t s . W h a t s t e p s s h o u l d t h e t e a c h e r t a k e t o f u l fi l l t h i s o b j e c t i v e ? W e l l s h e n e e d s t o g e t A l e j a n d r a i n v o l v e d s o m e h o w a n d t h a t w o u l d m e a n — p r o b a b l y t h e b e s t w a y t o d o i t w o u l d b e t o a s k A l e j a n d r a w h a t s h e t h i n k s a n d w h a t w o u l d s h e d o — l i k e I s a i d c a u s e t h e o b v i o u s n e x t q u e s t i o n a n d t h e o b v i o u s n e x t a n s w e r i s t o t r y i t . A n d i n t h a t c a s e t h e n y o u c a n m a k e A l e j a n d r a g i v e h e r s o m e s o r t o f r e s p o n s i b i l i t y a n d s h e c o u l d b e t h e p e r s o n w h o s e t s u p t h e e x p e r i m e n t f o r t h e o t h e r s s o t h a t s h e h a s a s p e c i a l r o l e — s o t h a t s h e i s m a d e t o f e e l l i k e s h e i s m o r e o f a n e q u a l r a t h e r t h a n j u s t a n o b s e r v e r . 2 7 7 5 ) F r o m t h e i r d i s c u s s i o n , w h a t a s p e c t s o f t h e i n t e r a c t i o n b e t w e e n t h e e n v i r o n m e n t a n d s p e c i e s ’ c h a r a c t e r i s t i c s d o t h e s t u d e n t s a p p e a r t o u n d e r s t a n d a n d w h a t m i s c o n c e p t i o n s s t i l l r e m a i n ? W e l l t h e m i s c o n c e p t i o n s w o u l d h a v e b e e n E v a n ’ s fi r s t t h i n g s a y i n g t h a t b e c a u s e t h e y w e r e b r i g h t — b u t t h e n a g a i n t h a t m i g h t n o t h a v e b e e n a m i s c o n c e p t i o n b e c a u s e t h e y s t i l l m i g h t b e b r i g h t e r t h a n t h e i r e n v i r o n m e n t — c a u s e w e a r e n o t r e a l s u r e w h a t c o l o r r e d t h e y a r e u s i n g . 0 k — t h e n t h e n e x t o n e — o k t h e n Y a n p i n g ’ s n e x t c o m m e n t s h e k i n d a t o l d E v a n w h y s h e t h i n k s t h a t t h a t m i g h t b e a m i s t a k e s o t h a t ’ s o k . L a t i s h a d o e s n ’ t s e e h o w t h e r e d p o p u l a t i o n c a n g r o w . T h a t ’ s a s m a l l m i s c o n c e p t i o n t h e r e a n d t h a t w o u l d b e c l e a r e d u p i f t h e y d i d a n o t h e r t r i a l . I f t h e y d o a n o t h e r t r i a l d o y o u t h i n k t h a t t h e y s h o u l d s t a r t w i t h t h e s a m e n u m b e r t h e y s t a r t e d w i t h i n t h e 1 S t o n e o r s h o u l d t h e y c o n t i n u e f r o m w h e r e t h e y a r e n o w ? T h e y c a n d o i t b o t h w a y s . A n d t h e t h i n g i s i f t h e y d o i t b o t h w a y s a n d c o n t i n u e f r o m w h e r e t h e y a r e r i g h t n o w L a t i s h a ’ s q u e s t i o n o f w h e t h e r o r n o t t h e n u m b e r s c a n g r o w w o u l d b e a n s w e r e d . A n d a l s o i f y o u w e r e d o i n g m u l t i p l e g r o u p s a c r o s s t h e c l a s s Y a n p i n g ’ s o b s e r v a t i o n s t h a t t h e r e d o n e s m i g h t d i s a p p e a r c o m p l e t e l y c o u l d c o m e t o h a p p e n w h i c h i s j u s t a n e x a m p l e o f g e n e t i c d r i f t — W h i c h w o u l d j u s t h e l p p r o v e g e n e t i c d r i f t w h i c h I ’ m s u r e i s g o i n g t o b e n e x t i n t h e c u r r i c u l u m o r s o m e w h e r e i n t h e c u r r i c u l u m . 6 ) D o y o u s e e a n y e v i d e n c e t h a t a n y o f t h e s e s t u d e n t s a r e l e a r n i n g t o e n g a g e i n s c i e n t i fi c i n q u i r y ? W h a t e v i d e n c e d o y o u s e e ? Y e a — i t s e e m s l i k e a l l f o u r o f t h e m a r e . I d o n ’ t u n d e r s t a n d w h a t y o u m e a n ? W e l l b e c a u s e t h e y a r e a l l h y p n o t i z i n g a b o u t w h a t ’ s g o i n g t o h a p p e n n e x t . T h e o n l y t h i n g t h a t t h e y h a v e n ’ t d o n e i s — i s p r o p o s e t o d o i t a n d t o s e t u p a t e s t o f t h e i r h y p o t h e s e s . 2 7 8 4 ) I f y o u h a d o b s e r v e d t h i s l e s s o n , a n d w e r e a m e n t o r t o t h i s t e a c h e r , w h a t a d v i c e o r g u i d a n c e w o u l d y o u g i v e t h i s t e a c h e r r e g a r d i n g t h e p l a n n i n g o r t e a c h i n g o f t h i s l e s s o n t o t h i s g r o u p o f s t u d e n t s ? W e l l t h a t w o u l d a l l d e p e n d o n w h a t t h e t e a c h e r d i d k n o w . Y o u k n o w t h a t ’ s a h a r d q u e s t i o n b e c a u s e I s e e w h a t t h e s t u d e n t s d i d a n d I d o n ’ t k n o w w h a t t h e t e a c h e r ’ s r e a c t i o n i s . I ’ d p a t h i m o n t h e b a c k a n d s a y k e e p i t u p . I t o t a l l y b e l i e v e i n g r o u p w o r k — t h e m o r e y o u c a n g e t t h e k i d s t a l k i n g t o e a c h o t h e r t h e b e t t e r o f f . X I . D e s c r i p t i o n o f a S u c c e s s f u l L e s s o n 1 . P l e a s e d e s c r i b e f o r m e t h e s e t t i n g , s u b j e c t m a t t e r , a n d c o n t e x t ( s c h o o l / c o m m u n i t y ) o f t h i s c l a s s . O k - t h e d a y b e f o r e y e s t e r d a y , i t w a s 1 0 t h g r a d e p h y s i c s — a n e w c u r r i c u l u m w e a r e t r y i n g t o — i t ’ s a n e w c u r r i c u l u m s o e v e r y t h i n g i s n e w - I d o n ’ t k n o w w h a t t h e b a c k g r o u n d ~ — e s p e c i a l l y t h e m a t h e m a t i c a l b a c k g r o u n d o f t h e k i d s a r e a n d o n e o f t h e s t a t e s ’ f r a m e w o r k s t h a t I w a s t r y i n g t o a d d r e s s w a s t o c o n c e p t u a l l y u n d e r s t a n d N e w t o n ’ s L a w o f u n i v e r s a l g r a v i t a t i o n w h i c h i s F o r c e e q u a l s t h e g r a v i t a t i o n a l c o n s t a n t t i m e s t h e m a s s o f t h e fi r s t b o d y t i m e s t h e m a s s o f t h e s e c o n d b o d y d i v i d e d b y t h e d i s t a n c e b e t w e e n t h e s q u a r e s . A n y w a y t h a t ’ s a b i g e q u a t i o n — i t ’ s p r o b a b l y o n e o f t h e b i g g e s t e q u a t i o n s t h a t t h e s e k i d s h a v e s e e n u p u n t i l n o w . A n d t h e d a y b e f o r e I r e a l i z e d t h a t t h e m a t h e m a t i c s i t s e l f w a s w h a t w a s b o g g i n g t h i n g s d o w n . A n d t h e f a c t t h a t t h e k i d s d i d n ’ t k n o w h o w t o d e a l w i t h v e r y v e r y l a r g e n u m b e r s o r v e r y v e r y s m a l l n u m b e r s . A n d w i t h t h i s p a r t i c u l a r f o r m u l a y o u a r e d e a l i n g w i t h b o t h e x t r e m e l y s m a l l a n d e x t r e m e l y l a r g e . W i t h t h i s p a r t i c u l a r f o r m u l a y o u a r e d e a l i n g w i t h b o t h t h e e x t r e m e l y s m a l l c a u s e t h e g r a v i t a t i o n a l u n i v e r s e / c o n s t a n t i s i n t h e m a g n i t u d e o f 1 0 3 a n d n e g a t i v e 1 1 a n d y o u a r e 2 7 9 a l s o d e a l i n g w i t h t h e v e r y l a r g e — b e c a u s e y o u a r e d e a l i n g w i t h t h e m a s s e s l i k e t h e m a s s o f J u p i t e r w h i c h w o u l d b e 1 0 t o t h e 2 7 ‘ ” . A n d t h e n y o u a r e d e a l i n g w i t h m u l t i p l y i n g a n d d i v i d i n g n u m b e r s t h a t a r e j u s t h u g e a n d m i n d b o g g l i n g a s f a r a s t h e k i d s a r e c o n c e r n e d a n d h o w t o p u t t h e m i n t o t h e i r c a l c u l a t o r s . P l u s y o u h a v e t h e a d d e d p r o b l e m o f a l g e b r a a n d t h e i d e a o f t h e m m u l t i p l y i n g s e v e r a l v a r i a b l e s a c r o s s t h e t o p o f a f r a c t i o n a n d d i v i d i n g s e v e r a l v a r i a b l e s a c r o s s t h e b o t t o m . O k - s o t h a t ’ s t h e s e t t i n g . A n d s o I d e c i d e d t o d e v o t e a w h o l e c l a s s p e r i o d o n j u s t - t r y i n g t o - I w o r k e d w i t h t h e m t o s e t u p t h e p r o b l e m a n d t h e n t o h a v e t h e m a c t u a l l y i n p u t t h e p r o b l e m s i n t o t h e i r c a l c u l a t o r s - a n d f o r t h e m t o w a n t e d t o l e a r n - — b a s i c a l l y t o l e a r n a n e w b u t t o n o n t h e i r c a l c u l a t o r w h i c h i s t h e — i t s h o w s u p a s e i t h e r t h e s e c o n d f u n c t i o n e e b u t t o n o r a b u t t o n a l l t o i t s e l f w h i c h i s e e o r a b u t t o n t h a t s a y s e x t . D i f f e r e n t c a l c u l a t o r m a k e r s m a k e t h e m d i f f e r e n t l y . T h a t w a s o n e t h i n g . A n o t h e r o n e w a s t h e a l g e b r a i c m a n i p u l a t i o n — a n d t h e n a n o t h e r t h i n g w a s t o b e a b l e t o d i v i d e s e v e r a l v a r i a b l e s a c r o s s t h e d e n o m i n a t o r . I t w a s a c t u a l l y v e r y g o o d b e c a u s e t h e t h i n g i s t h a t o n c e I g o t t h e m g o i n g — o n c e I g o t a f e w s u c c e s s f u l p e o p l e - I t u r n e d t h e k i d s t o h e l p t e a c h e a c h o t h e r . A n d t h e t h i n g i s w h e n I s a y i t w a s s u c c e s s f u l I k n o w b y l o o k i n g a t t h e m o m e n t u m o f t h e c l a s s b e c a u s e i n s t e a d o f - t h e y s t a r t e d s q u e a l i n g w i t h h a p p i n e s s c a u s e t h e y c o u l d a c t u a l l y g e t t h e n u m b e r s , w h i c h i s a r a r e t h i n g . A n d y o u k n o w t h a t t h e y a r e e x c i t e d b e c a u s e t h e y h a v e t h i s c a l c u l a t o r w i t h m a n y m a n y b u t t o n s a n d t h e y d o n ’ t k n o w w h a t h a l f o f t h e m a r e a t t h i s p o i n t i n t h e i r l i f e . A n d o n e t h e y a r e l e a r n i n g s o m e t h i n g n e w a b o u t t h e i r c a l c u l a t o r s . A n d t w o t h e y a r e b e i n g a b l e t o b e s u c c e s s f u l i n m a t h w h i c h a l o t o f t h e k i d s i n t h e 1 0 ‘ h g r a d e — I m e a n t h e y c o m e i n t o m y 2 8 0 c l a s s s a y i n g t h a t t h e y a r e n o t g o i n g t o d o w e l l b e c a u s e t h e y h a t e m a t h a n d t h e y h a v e d e c i d e d t h a t t h e y c a n ’ t d o m a t h . S o i t w a s v e r y s u c c e s s f u l a c t u a l l y . 2 . H o w m a n y s t u d e n t s w e r e i n t h e c l a s s a n d w h a t g r a d e l e v e l s w e r e r e p r e s e n t e d ? 3 2 3 . W h a t w e r e t h e s t u d e n t l e a r n i n g g o a l s f o r t h i s l e s s o n ? 4 . W h y w e r e t h e s e g o a l s i m p o r t a n t f o r t h e s e s t u d e n t s ? 5 . H o w d i d t h e s e g o a l s fi t i n t o y o u r o v e r a l l g o a l s f o r t h e y e a r ? 6 . H o w d i d ( i f a t a l l ) t h e c h a r a c t e r i s t i c s o f t h i s c l a s s i n fl u e n c e y o u r p l a n n i n g o r i n s t r u c t i o n a l s t r a t e g i e s f o r t h i s p a r t i c u l a r l e s s o n ? F o r e x a m p l e , w e r e t h e r e a n y e t h n i c , c u l t u r a l , o r l i n g u i s t i c d i v e r s i t y c i r c u m s t a n c e s y o u c o n s i d e r e d ? W e l l m y c l a s s i s b a s i c a l l y a r e p r e s e n t a t i o n o f t h e U n i t e d N a t i o n s . A s f a r a s w a s t h a t a n i m p o r t a n t f a c t o r i n t h i s p a r t i c u l a r l e s s o n — n o . B u t t h e s i z e o f t h e c l a s s c e r t a i n l y e f f e c t e d w h a t I c o u l d d o . A n d t h a t ’ s t h e w h o l e r e a s o n w h y I e m p l o y e d t h e k i d s t h e m s e l v e s t o t e a c h e a c h o t h e r . T h e w h o l e i d e a — m y i n s t r u c t i o n s t o t h e m w a s - I ’ d w a l k a r o u n d a n d i f t h e k i d g o t t h e r i g h t a n s w e r - I ’ d t e l l h i m t o w i p e o u t h i s c o m p u t e r — h i s c a l c u l a t o r s c r e e n — a n d t o h e l p o n e o f h i s f r i e n d s t h r o u g h b u t n o t d o i t f o r t h e f r i e n d . B a s i c a l l y t o w a l k t h e m t h r o u g h i t w i t h o u t d o i n g i t f o r t h e m . S o b a s i c a l l y b y e m p l o y i n g t h e e x p e r t i s e o f t h e k i d s t h a t fi n i s h e d f a s t e r w a s t h e r e a l t h i n g t h a t w o u l d e n a b l e m e t o d e a l w i t h s u c h a l a r g e c l a s s . 7 . D i d t h e r a n g e o f a b i l i t i e s o f t h e s t u d e n t s ( e . g . , e x c e p t i o n a l n e e d s , c o g n i t i v e , s o c i a l / b e h a v i o r a l , a t t e n t i o n a l , s e n s o r y , a n d o r p h y s i c a l c h a l l e n g e s ) a n d / o r t h e p e r s o n a l i t y o f t h e c l a s s a f f e c t y o u r p l a n n i n g ? I f s o , h o w ? O h y e a , l i k e I s a i d . I k n o w t h a t t h e r e a r e k i d s t h a t c a m e i n t o m y c l a s s w h o w h e t h e r i t ’ s b e c a u s e o f a c o g n i t i v e r e a s o n o r w h e t h e r i t ’ s b e c a u s e o f a p e r s o n a l b l o c k o r w h e t h e r i t ’ s b e c a u s e o f a p a s t t e a c h e r o r r e s p e c t e d a d u l t w h o s a i d t h a t t h e y d o n ’ t l i k e m a t h - A l o t o f t h e s e k i d s c o m e i n a n d t h e y f e e l t h a t i t ’ s o k t o b e c o m e a n a d u l t a n d n o t k n o w 2 8 1 1 0 . l l . a n y t h i n g a b o u t m a t h a n d , t h e r e f o r e , t h e y w o n ’ t d o a n y m a t h o r t h e y w i l l t r y n o t t o p a r t i c i p a t e w h e n e v e r p o s s i b l e . S o I k n e w t h a t I c o m i n g u p f a c e m e — b u t i n o r d e r t o c i r c u m v e n t t h a t — t h a t ’ s w h y I e m p l o y e d t h e i r f r i e n d s . T h e k i d s i t t i n g n e x t t o t h e m — s o t h a t i n s t e a d o f m e t e l l i n g t h e m w h a t t h e r i g h t w a y t o d o t h i n g s w e r e I h a d t h e i r f r i e n d s h e l p i n g t h e m . A n d t h a t e n a b l e d t h e w h o l e c l a s s t o c o m e u p t o t h e s a m e l e v e l . I n t h e t e a c h i n g o f t h i s l e s s o n , d i d s p o n t a n e i t y p l a y a r o l e i n t h e s u c c e s s o f t h i s c l a s s ? I f s o , h o w ? O h t h e y a l w a y s d o — l e t m e s e e — t h a t c l a s s — o h y e a , a t t h e e n d o f t h e c l a s s I w a s t a l k i n g a b o u t t h e r e l a t i o n s h i p o f t h e d i f f e r e n t v a r i a b l e s t o e a c h o t h e r a n d I w a s t a l k i n g a b o u t h o w d i f f e r e n t m a s s e s a n d s o m e k i d , I f o r g e t h o w h e a s k e d t h e q u e s t i o n , a s k e d a b o u t e x t r e m e c a s e s o f m a s s - y o u k n o w w h a t ’ s t h e h e a v i e s t t h i n g a n d s o t h e r e w a s a s h o r t d i s c u s s i o n o n w h a t a b l a c k h o l e i s a n d w h a t i f t h e s u n b e c a m e a b l a c k h o l e w o u l d t h e g r a v i t a t i o n a l p u l l a g a i n s t t h e e a r t h s t i l l b e t h e s a m e ? d i f f e r e n t ? O r g r e a t e r ? A n d i t w a s a c t u a l l y v e r y g o o d . W h e n e v e r a k i d a s k s a q u e s t i o n I t r y a n d a n s w e r i t . T h e o n e t h i n g t h a t I t h i n k i s r e a l l y a w f u l t o d o i s t o s a y o h w e ’ l l g e t t o t h a t i n t w o w e e k s b e c a u s e b y t h e n t h e q u e s t i o n i s a l r e a d y c o l d a n d n o b o d y c a r e s a n d s o m e t i m e s t h e k i d w i l l b e a n g r y a t y o u f o r p u t t i n g h i m o f f . W h a t a b o u t t h i s p a r t i c u l a r e x a m p l e o f t e a c h i n g a n d l e a r n i n g i s m o s t s i g n i fi c a n t t o y o u ? W h a t s p e c i fi c e v i d e n c e h e l p e d y o u d e t e r m i n e t h a t y o u w e r e s u c c e s s f u l a t a c h i e v i n g t h e i d e n t i fi e d l e a r n i n g g o a l s w i t h y o u r s t u d e n t s ? W h a t w o u l d y o u d o d i f f e r e n t l y i f y o u h a d t h e o p p o r t u n i t y t o p u r s u e t h i s l e s s o n i n t h e f u t u r e ? W h y ? I w o u l d h a v e d o n e i t a d a y e a r l i e r . W e l l w h a t I m e a n b y t h a t i s I t r i e d t h e d a y b e f o r e — l i k e I s a i d t h i s i s a n e w c u r r i c u l u m — t h i s i s t h e fi r s t t i m e w e ’ v e b e e n t e a c h i n g 2 8 2 l 6 ) 2 ) p h y s i c s i n t h e 1 0 t h g r a d e — S o I d i d n ’ t a n t i c i p a t e t h e s e p r o b l e m s w i t h m a t h e m a t i c s . S o w h e n I c a m e t o t h i s b i g e q u a t i o n I d i d n ’ t e x c e p t t h a t t h e y w o u l d n ’ t k n o w h o w t o p u t i n a s u p e r l a r g e n u m b e r i n t o t h e i r c a l c u l a t o r . A n d s o , I w o u l d h a v e a d d r e s s e d t h i s e a r l i e r r a t h e r t h a n y o u k n o w — t h e d a y b e f o r e w a s n ’ t a s p r o d u c t i v e a s i t c o u l d h a v e b e e n . X I I . E x a m i n i n g a W h o l e c l a s s d i s c u s s i o n i n S c i e n c e ( T a p e d i d n o t w o r k ) H o w d o y o u d e s c r i b e y o u r ‘ i d e a l ’ c l a s s r o o m d i s c u s s i o n a b o u t s c i e n c e ? T h e r e i s a w h o l e b u n c h o f w a y s t o g e t t h e k i d s b a c k i n t o e a c h o t h e r - t h e r e i s s o m a n y t o d e s c r i b e — I m e a n I d o n ’ t k n o w w h e r e y o u w a n t m e t o b e g i n . M y f a v o r i t e — w e l l t o - o n e t h i n g I l i k e c o m p e t i t i o n s a n d I l i k e d i s c u s s i o n s w h e r e y o u g i v e k i d s t o p i c s a n d t h e n y o u p u t t h e m i n g r o u p s a n d g i v e t h e m q u e s t i o n s b u t fi r s t y o u h a v e t h e m d i s c u s s t h e d i f f e r e n t t o p i c s a n d t h e n y o u p o s e t h e q u e s t i o n s a n d a l l o w p e o p l e f r o m t h e g r o u p t o c h o o s e w h o i s g o i n g t o a n s w e r t h e q u e s t i o n s fi r s t . A n d t h e n y o u g i v e t h e m a q u e s t i o n a n d m a k e s u r e t h a t e v e r y b o d y i n e a c h g r o u p i s a b l e t o a n s w e r - t h a t o n e i s f u n . Y o u g e t t h r o u g h a l o t o f m a t e r i a l a n d i t s e e m s t o b e r e a l l y g o o d . W h a t t y p e o f t o p i c s d o y o u u s u a l l y w o r k w i t h i n a d i s c u s s i o n ? W e l l e i t h e r r e v i e w o f i n t r o d u c t o r y . I t h i n k d i s c u s s i o n s a r e u s u a l l y b e s t e i t h e r r i g h t a s a t e s t r e v i e w t y p e o f t h i n g b e c a u s e I ’ m w o r k i n g t o t r y a n d g o o v e r m a t e r i a l s a n d p o s s i b l y I ’ v e c o v e r e d i n c o m p l e t e l y . O r a s a n i n t r o d u c t o r y t y p e o f t h i n g w h e n y o u b r i n g i n s o m e m a n i p u l a t i v e s o r c h a n c e f o r o b j e c t s , d e m o n s t r a t i o n s a n d s o f o r t h . A c t u a l l y t h e r e i s a w e b s i t e t h a t I u s e t o g e t a l o t o f t h o s e d e m o s f r o m c a l l e d t h e ‘ s m i l e ’ w e b s i t e . I l i k e g o i n g t h e r e f o r a u n i t c a u s e I t e a c h h i g h s c h o o l a n d t h e s m i l e s i t e h a s a l o t o f t h i n g s d e s i g n e d f o r e l e m e n t a r y , b u t t h e o t h e r — b u t t h e e l e m e n t a r y 2 8 3 3 ) l e s s o n p l a n a c t u a l l y m a k e v e r y g o o d d e m o s — I ’ v e m a d e d e m o s f o r h i g h s c h o o l . A n d y o u c a n u s e t h o s e d e m o s t o e i t h e r p o s e a q u e s t i o n o r t o e x p l a i n a p o i n t o r a c o n c e p t t h a t y o u a r e g o i n g t o b e g e t t i n g i n t o . A n d I t h i n k i t ’ s a r e a l l y n i c e h o o k f o r a n i n t r o d u c t o r y t y p e . A n d h o w d o y o u s e e a s y o u r r o l e i n t h e w h o l e c l a s s d i s c u s s i o n a b o u t s c i e n c e ? W e l l i t d e p e n d s o n i f i t ’ s d i s c u s s i o n o r r e v i e w o f m a i n l y t h e f a c i l i t a t o r a n d s c o r e k e e p e r . I f i t ’ s f o c u s e d u p o n d e m o s o r i n t r o d u c t o r y t y p e o f o n e t h e n I ’ m k i n d a t h e f a c i l i t a t o r . W h a t m y r o l e i s i n t h e fi r s t o n e i s t o t r y a n d g e t t h e m t o a s k q u e s t i o n s . I d o n ’ t l i k e t o p o p u p w i t h t h e a n s w e r s t o o f a s t - I m e a n l i k e I l i k e t h e m t o r a i s e t h e i r h a n d a n d g i v e m e v a r i o u s h y p o t h e s e s o f w h y s o m e t h i n g i s d o i n g w h a t i t ’ s d o i n g . A n d I ’ l l s o m e t i m e s w r i t e t h o s e h y p o t h e s e s d o w n a n d l e t t h e m d e b a t e a n d a r g u e w i t h o n e a n o t h e r w h y o n e i s b e t t e r o r w h y o n e i s n ’ t b e t t e r . A n d t h e n i n t h e v e r y e n d I ’ l l t r y a n d g e t t h e m t o r e a c h s o m e s o r t o f c o n s e n s u s a n d e v e n i f i t ’ s a n i n c o r r e c t c o n s e n s u s I ’ l l s t i l l b e l i k e o k w i t h t h a t b e c a u s e t h e n I ’ l l s t a r t i n t r o d u c i n g t h i n g s o f e i t h e r w h y t h e c o n s e n s u s i s c o r r e c t o r i n c o r r e c t . O r , w h y t h e y d i d n ’ t p u t i t i n t o t h e i r e v a l u a t i o n . A n d i f t h e y w e r e i n c o r r e c t t h e n I t e l l t h e m a f e w m o r e t h i n g s t o t h i n k a b o u t t h a t w i l l e v e n t u a l l y r e a c h t h e c o r r e c t r e a s o n s . A n d I t h i n k i t ’ s b e t t e r i f t h e y r e a c h t h e r e a s o n s o n t h e i r o w n c a u s e t h e n i t ’ s m o r e l i k e t h e y d i d i t r a t h e r t h a n I w a s s t a n d i n g u p t h e r e a n d t e l l i n g t h e m t h e w a y t h i n g s a r e . 2 8 4 X I I I . A c c o m p l i s h m e n t s O u t s i d e o f C l a s s : T h e I m p a c t o n S t u d e n t L e a r n i n g P r o f e s s i o n a l A c t i v i t y / A c c o m p l i s h m e n t * Y e s N o R a t i n g q q ) A t t e n d i n g e d u c a t i o n a l x 5 c o n f e r e n c e s / w o r k s h o p s r r ) P r o f e s s i o n a l d e v e l o p m e n t a c t i v i t i e s x l a t s c h o o l 5 5 ) R e a d i n g e d u c a t i o n a l l i t e r a t u r e x 2 f t ) R e a d i n g s c i e n t i fi c l i t e r a t u r e x 4 u u ) W r i t i n g e d u c a t i o n a l a r t i c l e s x ( p r o f e s s i o n a l ) v v ) W r i t i n g s c i e n t i fi c a r t i c l e s x 1 W W ) S e r v i n g o n a n a d v i s o r y c o m m i t t e e x 2 a t t h e s c h o o l o r d i s t r i c t l e v e l x x ) S e r v i n g a s a U n i o n r e p r e s e n t a t i v e x y y ) D e v e l o p i n g s c i e n c e c u r r i c u l u m f o r x 4 y o u r c l a s s , s c h o o l , o r d i s t r i c t 2 2 ) M e n t o r i n g a n e w / s t u d e n t t e a c h e r x 4 a a ) L e a d i n g a p r o f e s s i o n a l x 3 d e v e l o p m e n t w o r k s h o p f o r y o u r c o l l e a g u e s b b b ) T a k i n g a s c i e n c e c o u r s e a t a l o c a l x 3 u n i v e r s i t y c c c ) C o l l a b o r a t i n g w i t h c o l l e a g u e s o n x 2 a n i n t e r d i s c i p l i n a r y p r o j e c t d d d ) P u r s u i n g N a t i o n a l B o a r d x 5 c e r t i fi c a t i o n 0 ) T a k i n g a n e d u c a t i o n a l c o u r s e a t a l o c a l u n i v e r s i t y x 3 2 . I s t h e r e a n y o t h e r a c t i v i t y m i s s i n g f r o m t h i s l i s t t h a t y o u t h i n k i s i m p o r t a n t t o i m p r o v i n g s t u d e n t l e a r n i n g ? Y e a - t h e s u m m e r w o r k s h o p s — t h e d i f f e r e n t o n e s t h a t a r e o f f e r e d b y t h e d i f f e r e n t i n s t i t u t e s , o r g a n i z a t i o n s , g o v e r n m e n t a g e n c i e s w h e r e p e o p l e f r o m a c r o s s t h e c o u n t r y g e t t o g e t t o g e t h e r t o w o r k a n d t o l e a r n a b o u t s c i e n c e — t h o s e a r e r e a l l y g o o d — t h o s e a r e r e a l l y r e a l l y g o o d 2 8 5 § < > < > < > < J U J D > N < > N < — > < > < > < I A m A > m C o m m u n i t y R e s o u r c e / A c c o m p l i s h m e n t a ) P a r t i c i p a t i n g i n p a r e n t - t e a c h e r c o n f e r e n c e s b ) A t t e n d i n g o p e n h o u s e n i g h t 0 ) T e l e p h o n e c a l l s t o p a r e n t s / g u a r d i a n s d ) E m a i l s c o m m u n i c a t i o n w i t h p a r e n t s / g u a r d i a n s e ) A s s i s t i n g i n s c i e n t i fi c r e s e a r c h w i t h a l o c a l c o l l e g e i ) C l a s s r o o m o b s e r v a t i o n s f r o m p a r e n t s g ) C o n t a c t i n g o u t s i d e e x p e r t s b y t e l e p h o n e o r e m a i l h ) R e c r u i t i n g g u e s t s p e a k e r s f r o m t h e c o m m u n i t y i ) S u p e r v i s i n g a f t e r s c h o o l a c t i v i t i e s j ) C o a c h i r g s p o r t s x k ) W o r k i n g w i t h t h e P a r e n t - T e a c h e r A s s o c i a t i o n x 1 ) E s t a b l i s h i n g a p a r t n e r s h i p w i t h a l o c a l t e a c h e r s ’ c o l l e g e m ) C o n t r i b u t i n g t i m e t o l o c a l r e l i g i o u s o r c h a r i t y g r o u p s x 1 1 ) S e r v i n g a s a n a c a d e m i c a d v i s o r t o s t u d e n t s X 4 0 ) S e r v i n g o n t h e l o c a l B o a r d o f E d u c a t i o n x N o R a t i n ; X t » I s t h e r e a n y o t h e r a c t i v i t y m i s s i n g f r o m t h i s l i s t t h a t y o u t h i n k i s i m p o r t a n t t o i m p r o v i n g s t u d e n t l e a r n i n g ? S o m e o f t h e i n t e r n s h i p s w h i c h I s h o v e s o m e o f t h e k i d s o f f t o — s o m e o f t h e s u m m e r p r o g r a m s — I ’ m n o t i n v o l v e d w i t h t h e m d i r e c t l y b u t t h e r e i s B o s t o n U n i v e r s i t y h a s s o m e S a t u r d a y p r o g r a m s w h i c h I c a n g i v e s o m e e x t r a c r e d i t t o t h e k i d s f o r g o i n g t o s e e — t h e s e a r e s o m e i n s t r u m e n t s a n d s t u f f t h a t w e d o n ’ t h a v e a v a i l a b l e a t o u r s c h o o l — A n d t h e n t h e r e i s a l s o s o m e o f t h e s u m m e r p r o g r a m s t h a t I c a n r e c o m m e n d s o m e o f t h e k i d s t o g o t o — t h e r e i s o n e f o r i n t e r - c i t y k i d s i n t e r e s t e d i n m e d i c i n e a n d o n e f o r t h e k i d s i n t e r e s t e d i n E n g i n e e r i n g a n d a c o u p l e o f o t h e r s t h a t c o m e m y w a y t h a t g e t p a s s e d o n t o t h e k i d s . A n d I t h i n k f o r t h e i n d i v i d u a l k i d t h o s e a r e v e r y u s e f u l . B a s e d u p o n t h e a b o v e l i s t s , w h i c h o n e a c t i v i t y d o y o u t h i n k i s m o s t i m p o r t a n t t o h e l p i n g a t e a c h e r b e c o m e m o r e e f f e c t i v e a t i m p r o v i n g s t u d e n t l e a r n i n g ? P l e a s e e x p l a i n y o u r r e a s o n s f o r m a k i n g t h i s c h o i c e . E i t h e r t h e N a t i o n a l B o a r d s o r t h e s u m m e r w o r k s h o p s . A s f o r t h e N a t i o n a l B o a r d s , w e l l — I t h i n k i t w o u l d h a v e b e e n m u c h l e s s i f I h a d g o n e t h r o u g h t h e — m y d i s t r i c t I g u e s s 2 8 6 t h e y w a n t N a t i o n a l B o a r d c e r t i f i e d t e a c h e r s s o t h e y h a v e a p r o g r a m t o k i n d o f h e l p y o u t h r o u g h i t . A n d I g u e s s t o h e l p y o u w r i t e , h e l p y o u t a k e l e s s o n s a n d a l l t h a t k i n d o f s t u f f — s o I d i d n ’ t h a v e t i m e f o r t h a t . T h a t w o u l d h a v e b e e n a n e x t r a 2 h o u r c o m m i t m e n t e v e r y w e e k a n d I j u s t d i d n ’ t h a v e t h e t i m e f o r i t . I t h i n k i f I w o u l d h a v e d o n e t h a t i t w o u l d h a v e b e e n m u c h l e s s o f a m e a n i n g f u l e x p e r i e n c e . I t h i n k t h e w h o l e c r u x o f e v e r y t h i n g t h a t t h e N a t i o n a l B o a r d c e r t i fi c a t i o n p r o c e s s i s i s t h a t a s e l f r e fl e c t e d a n a l y s i s o f h o w y o u a r e i n t e r a c t i n g w i t h y o u r c u n i c u l u m a n d w i t h y o u r s t u d e n t s a n d r e a l l y y o u a r e t h e o n l y p e r s o n t h a t c a n r e a l l y j u d g e t h a t . I d i d s i t o n t h r e e o f t h e i r m e e t i n g s a n d a t l e a s t a t t h e w o r k s h o p t h a t I a t t e n d e d i t w a s a l l a b o u t h o w d o w e g e t t h r o u g h a n d h o w d o w e p a s s a n d h o w d o w e w r i t e w h a t t h e r e a d e r s w a n t y o u t o w r i t e a n d t h e y w e r e s a y i n g t h a t t h e y w e r e g o i n g t o g i v e u s d e a d l i n e s t h a t w e h a d t o h a v e o u r v i d e o d o n e b y a n d t h e y w e r e g o i n g t o d o t h i s — i t w a s j u s t t o o c o n t r i v e d a n d I t h i n k i t m i s s e d t h e m a r k o f w h a t I t h i n k t h e h e a r t o f w h a t t h e N a t i o n a l B o a r d s s t a r t e d o u t t o b e . A n d t h e w h o l e t h i n g e v e n t — t h a t t y p e o f p r o c e s s w o u l d h a v e n e g l e c t e d t h e w h o l e i n t e r s e c t i o n . I n t r o s p e c t i v e a s p e c t o f t e a c h i n g w h i c h I t h i n k i s t h e m o s t i m p o r t a n t a s p e c t . B e c a u s e j u s t l i k e i f y o u c a n g e t a k i d t o t h i n k a b o u t a s u b j e c t t h a t y o u a r e t e a c h i n g - i f y o u c a n g e t a k i d t o i n t e r n a l i z e i t — t h e n h e ’ l l h a v e i t f o r e v e r . I t ’ s t h e s a m e t h i n g I t h i n k w i t h a d u l t s . I t ’ s j u s t h a r d e r f o r a d u l t s t o b e i n t r o s p e c t i v e a n d I t h i n k b e c a u s e I d i d i t a l o n e a n d I m e a n I w e n t t o m y p e e r s t o h a v e t h e m I m e a n p e o p l e t h a t I r e s p e c t e d i n m y s c h o o l t o h a v e t h e m r e a d w h a t I h a d w r i t t e n — y o u k n o w j u s t t o g e t t h e i r f e e d b a c k — b u t e v e n t h a t w a s n ’ t a v e r y h e a l t h y p r o c e s s . S o y e s i t i s e a s i l y o n e o f t h e b e s t p r o f e s s i o n a l d e v e l o p m e n t s I ’ v e e v e r g o n e t h r o u g h . A n d a c t u a l l y e v e n a t t h e 2 8 7 e n d o f t h i s m o n t h t h e y t e l l m e t h a t I d i d n ’ t p a s s a n d t h a t I h a v e t o r e - d o s o m e t h i n g I ’ m n o t g o i n g t o — i t w o n ’ t b o t h e r m e a n d I w o n ’ t f e e l l i k e I w a s t e d a n y t i m e . 2 8 8 t o P r o d u c t i v e S t u d e n t S t u d e n t s S c i e n c e a n d P e d a g o g y . R e s o u r c e s U n d e r s t a n d i n g a F a v o r a b l e C o n t e x t f o r S t u d e n t P a r t i c i p a t i o n E n v i r o n m e n t t o a n y a s s e s s m e n t . s e n s e o f a c o m p e t i t i v e s p i r i t t o f o s t e r h e a l t h y c l a s s r o o m d i s c u s s i o n s . L i t t l e d e t a i l r e g a r d i n g d r i f t , a n d n a t u r a l s e l e c t i o n . M e n t i o n s g r o u p w o r k , s t u d e n t c e n t e r e d l e a r n i n g , m o t i v a t i o n , a n d p e e r t o n e w u s e o f w e b s i t e s a s t e a c h e r r e s o u r c e s . o n e g e t s t h e s e n s e t h a t i n q u i r y n o t c o m m o n i n h i s c l a s s . t o p r e p a r e w a y p h y s i c s c o n c e p t s . P l a c e s n a t u r a l s e l e c t i o n i n t o a b r o a d e r c o n t e x t — g e n e t i c d r i f t - t h e o r y . g e n e t i c d r i f t a n d n a t u r a l b u t t h e b i g p i c t u r e i s m i s s i n g . w e r e e x e r c i s e a n d h o w p e e r t e a c h i n g t o o k p l a c e . L i k e s d e m o s t o s t i m u l a t e i n t e r e s t . [ 0 m e a n i n g f u l m a n n e r . m a t h e m a t i c s a n d s u p p o r t e d t h e i r i n d i v i d u a l e f f o r t s . P r e f e r s s t u d e n t s r a i s e h a n d s t o t a l k . 2 8 9 I V . S u p p o r t i n g T e a c h i n g a n d S t u d e n t L e a r n i n g , . 7 7 _ . A i i ) F a m i l y a n d G e n e r a l l y d o e s n o t p l a c e a h i g h v a l u e o n p a r e n t 2 . 2 5 C o m m u n i t y i n v o l v e m e n t . L i k e s c l a s s r o o m v i s i t s b y p a r e n t s . E n j o y s O u t r e a c h g u i d i n g s t u d e n t s o n a c a d e m i c i s s u e s o n e o n o n e . V a l u e s g u e s t s p e a k e r s . j j ) A s s e s s m e n t A s s e s s m e n t d e s c r i b e d a r e p r i m a r i l y i n f o r m a l — s t u d e n t 2 . 0 e m o t i o n a l r e s p o n s e s , r e a c t i o n s , c o m m e n t s . k k ) R e fl e c t i o n R e fl e c t i o n i s g o o d , b u t p r e f e r s a v a g u e a n a l y s i s o v e r a 3 . 5 m o r e d e t a i l e d p o s s i b i l i t y . S t r o n g v a l u e s o f s e l f - r e fl e c t i o n a s a m e a n i n g f u l T P D . l l ) C o l l e g i a l i t y P r o v i d e s p o s i t i v e f e e d b a c k . F i n d s c o n t e n t r e l a t e d T P D 4 . 0 a n d L e a d e r s h i p v a l u a b l e a n d h a s m e n t o r e d a n d l e d s c i e n c e w o r k s h o p s . S u m m e r w o r k s h o p s . N o t m u c h m e n t i o n o f c o l l e a g u e s . 2 9 0 T R A I N I N G E N T R Y A I n t r o d u c t i o n Q u e s t i o n s : 2 6 ) H o w l o n g h a v e y o u b e e n t e a c h i n g ? 8 y e a r s 2 7 ) W h a t s u b j e c t s a n d g r a d e l e v e l s d o y o u t e a c h ? I t e a c h b i o l o g y — t h i s i s t h e fi r s t y e a r I ’ m t e a c h i n g b i o l o g y . F o r t h e p a s t 5 y e a r s I h a v e n ’ t t a u g h t i t . T h e fi r s t t i m e a s 1 0 t h g r a d e r s . A n d I a l s o t e a c h C h e m 1 , w h i c h i s m o s t l y 1 1 l h g r a d e r s b u t t h e r e a r e s o m e 1 1 0 ’ h g r a d e r s i n t h e r e a l s o . A n d I t e a c h C h e m 2 , w h i c h i s 1 1 ‘ h a n d 1 2 t h g r a d e r s . 2 8 ) H o w w o u l d y o u d e s c r i b e t h e s c h o o l i n w h i c h y o u t e a c h ? I t ’ s v e r y l a r g e a n d o v e r c r o w d e d - 4 2 0 0 k i d s - i t ’ s b a s i c a l l y a n u p p e r m i d d l e c l a s s p o p u l a t i o n — b u t i t ’ s m i x e d — i t d r a w s f r o m p a r t l y a r e n t a l c o m m u n i t y a n d a h i g h e n d h o u s i n g c o m m u n i t y 2 9 ) H o w w o u l d y o u g e n e r a l l y d e s c r i b e y o u r s t u d e n t s ? T h e y a r e p r e t t y g o o d — I m e a n I fi n d t h e r e a r e n o b e h a v i o r a l p r o b l e m s o r a n y t h i n g l i k e t h a t - m y g e n e r a l p r o b l e m i s l a z i n e s s - y o u k n o w — n o t r e s p o n s i b l e e n o u g h - d o n ’ t t u r n i n w o r k o n t i m e — y o u k n o w w e h a v e t h e t e s t t o d a y k i n d o f a t t i t u d e , s o m e t i m e s . A n d s o m e a r e g r e a t s t u d e n t s . Y o u k n o w , y o u t e n d t o r e m e m b e r t h e o n e s t h a t w i n d u p n o t d o i n g i t b u t m o s t o f t h e m a r e p r e t t y g o o d s t u d e n t s 3 0 ) W h a t i s y o u r a v e r a g e c l a s s s i z e ? M y c h e m i s t r y c l a s s t h i s y e a r a r e a c t u a l l y s m a l l — t h e y a r e l i k e 3 3 k i d s a n d m y b i o l o g y c l a s s h a s 3 5 k i d s i n i t , 3 6 I t a k e t h a t b a c k . T h e y b o t h h a v e 3 6 i n t h e r e . 2 9 1 I . T e a c h i n g a n d L e a r n i n g : S e e A r t i f a c t # 1 , # 2 , & # 3 5 ) B a s e d u p o n t h i s s t u d e n t ’ s t w o r e s p o n s e s , h o w w o u l d y o u d e s c r i b e t h e s t u d e n t ’ s g r o w t h i n u n d e r s t a n d i n g a b o u t t h e k i n e t i c t h e o r y o f m a t t e r ? I d e fi n i t e l y , d e fi n i t e l y s a y i t ’ s a d v a n c e d . I n A r t i f a c t # 1 I w a s s u r p r i s e d o r r a t h e r A r t i f a c t # 2 , t h e p r e - a s s e s s m e n t , s u r p r i s e d a t s o m e o f t h e i n f o r m a t i o n t h a t w a s i n t h e r e f o r a r e g u l a r C h e m i s t r y s t u d e n t . I t h o u g h t i t w a s - I d o n ’ t w a n t t o s a y a d v a n c e d i n f o r m a t i o n - b u t s e e m s h i g h e r l e v e l t h a n a g e n e r a l C h e m i s t r y s t u d e n t . B u t w h e n y o u g o t o A r t i f a c t # 3 , e v e n s o , t h e r e i s d e fi n i t e l y a n a d v a n c e d u n d e r s t a n d i n g , d e s c r i b e s i n t e r m o l e c u l a r b o n d s , t h e d i f f e r e n c e s , c o m p r e s s i b i l i t y b e t w e e n l i q u i d s a n d s o l i d s a n d m a d e s o m e c o n n e c t i o n s t h e r e . D e fi n i t e l y a d v a n c e d l e a r n i n g t h e r e . 6 ) W h a t e v i d e n c e c a n y o u i d e n t i f y f r o m t h e r e s p o n s e s t h a t s u p p o r t s y o u r c o n c l u s i o n ? F r o m t h e p r e — I t h o u g h t t h a t i t w a s a d v a n c e d t h a t t h e y m a d e i t l o o k l i k e a d r o p o f w a t e r . T o m e t h a t w a s a b i g c o n n e c t i o n f o r g e n e r a l c h e m i s t r y k i d s a n d t h a t a d r o p o f w a t e r i s m a d e o f fl u i d m o l e c u l e s a n d h a s n o s h a r p e d g e s . J u s t t h e f a c t t h a t t h e w o r d i n g t o m e w a s a d v a n c e d f o r a r e g u l a r g e n e r a l c h e m i s t r y k i n d o f s t u d e n t . Y o u k n o w a n d t h e r e w a s a l o t o f i m a g i n a r y i n t h e r e , w h i c h I w o u l d n o t n e c e s s a r i l y s e e f r o m m y s t u d e n t s , w h i c h i s w h a t I ’ m c o m p a r i n g i t t o . I n A r t i f a c t # 3 , i t s h o w s k n o w l e d g e t h a t i n t h e l i q u i d t h e m o l e c u l e s m o v e f a s t e r t h a n s o l i d b u t n o t a s f a s t a s a g a s a s c o m p a r i n g a l l t h r e e s t a t e s o f m a t t e r . T h e y a r e a l w a y s i n c o n s t a n t m o t i o n , w h i c h e v e n t h o u g h a l o t o f s t u d e n t s t h i n k i n s o l i d s , t h e r e i s n o m o t i o n - t h e a t t r a c t i o n b e t w e e n t h e l i q u i d i s g r e a t e r t h a n i n t h e g a s - I a s s u m e t h e y a r e r e f e r r i n g t o t h e m o l e c u l a r a t t r a c t i o n t h e r e - i t ’ s t e l l i n g t h a t i t ’ s a n i n t e r - m o l e c u l a r f o r c e — i t ’ s b e t w e e n m o l e c u l e s n o t w i t h i n s o t h a t ’ s h i g h e r l e a r n i n g r i g h t t h e r e . T h e n e x t 2 9 2 s t a t e m e n t i s a l s o s a y i n g t h a t t h e b o n d s , i t ’ s i m p l y i n g t h a t t h e b o n d s a r e s t r o n g e r t h a n s o l i d s t h a n i n l i q u i d s a n d t h a t i s w h y l i q u i d s c a n t a k e t h e i r s h a p e . I t t a l k s a b o u t a e r o d y n a m i c s t h e r e w h i c h g e t s b e y o n d r e a l l y c h e m i s t r y , b u t t h a t w a s o k t o o . T h a t w a s g o o d . A n d t h e n e x t s e n t e n c e m a d e n o s e n s e t o m e . I d o n ’ t k n o w i f i t w a s a t y p o o r w h a t b u t i t a c t u a l l y m a d e n o s e n s e . “ I n t h e e v e n t o f a n a c c i d e n t , e v e n t h o u g h t t h e c a r m o v e d s o f a s t ” ; T h a t w a s s o m e e r r o r . I t g a v e p r o p e r t y o f l i q u i d t h a t i t ’ s fl u i d . I t c a n fl o w . D i d s a y i n g t h a t t h e b o n d s a r e s t r o n g b u t t h e y a r e s t i l l m o v i n g - I m e a n i t ’ s r e p e t i t i v e a l i t t l e b i t b u t w e a r e g e t t i n g t h e p o i n t a c r o s s t h e r e , t r y i n g t o g e t t h e p o i n t a c r o s s t o t h a t l i q u i d . T h e n i t g o e s o n t o s o l i d s , y o u k n o w i t a l s o m a d e t h e r e l a t i o n s h i p t h a t e v e n t h o u g h t h e c a r l o o k s l i k e a fl u i d , i t ’ s g o i n g t o t h a t y o u w a n t i t t o f e e l s o l i d a n d g r e a t e r b o n d s a n d s o l i d s , i t ’ s a l s o r e p e t i t i v e a g a i n b u t i t ’ s t r y i n g t o g e t t h e p o i n t a c r o s s . 7 ) W h a t d o e s t h e w o r k t e l l y o u a b o u t a n y c h a l l e n g e s o r m i s u n d e r s t a n d i n g s t h i s s t u d e n t i s e x p e r i e n c i n g ? I t ’ s n o t q u i t e a s s t r u c t u r e d a n a n s w e r t h a t I ’ d w a n t , b u t i t p r e t t y m u c h g e t s t h e p o i n t a c r o s s t h a t t h e b o n d i n g i s d e fi n i t e i n t h e s o l i d a n d l i q u i d . A n d t h e b o n d i n g , b e c a u s e i t ’ s s t r o n g e r i n a s o l i d , i t ’ s n o t g o i n g t o m o v e a s m u c h a s a l i q u i d c a n . I t g i v e s c o n n e c t i v i t y p a r t i c l e s m o v i n g m o r e q u i c k l y i n t h e l i q u i d t h a n a s o l i d . I t h i n k i t k i n d a g e t s t h e p o i n t a c r o s s . I t ’ s a l i t t l e r e p e t i t i v e a n d n o t a s c l e a r a s I w o u l d w a n t t o s e e i t s t a t e d , b u t y o u c o u l d d i g o u t t h e i n f o r m a t i o n i n t h e r e . 8 ) D e s c r i b e t h e f e e d b a c k o r f u r t h e r i n s t r u c t i o n ( i f a n y ) t h a t t h e t e a c h e r s h o u l d p r o v i d e t h e s t u d e n t b a s e d u p o n A r t i f a c t s l , 2 , & 3 ? I w o u l d p r o b a b l y j u s t g o t h r o u g h t h e 3 s t a t e s o f m a t t e r a g a i n a n d j u s t m a k e s u r e t h a t t h e y w e r e c l e a r o n c o m p r e s s i b i l i t y , o n t h e i n t r a - m o l e c u l a r p r o p e r t y . e v e n t h e i n t e r - m o l e c u l a r 2 9 3 p r o p e r t i e s t h e r e . I d o n ’ t k n o w , I t o l d y o u o n t h a t s t u f f I ’ m n o t q u i c k o n t h a t . I h a v e t o l o o k a t i t a n d t h i n k a b o u t i t . I w o u l d p r o b a b l y g o o v e r t h a t a g a i n j u s t t o r e i n f o r c e i t . A n d j u s t t o m a k e s u r e a n d p u l l o u t t h e a n s w e r s f r o m t h e k i d s . Y o u k n o w t o m a k e s u r e t h a t t h e y h a d t h e i n f o r m a t i o n a n d i t w a s c o r r e c t . I t l o o k s l i k e i t ’ s p r e t t y m u c h t h e r e t h r o u g h f o r a g e n e r a l c h e m i s t r y c l a s s . 9 ) D o y o u t h i n k t h e c a r a d v e r t i s e m e n t i s a n e f f e c t i v e i n s t r u c t i o n a l r e s o u r c e i n e s t a b l i s h i n g a c o n n e c t i o n b e t w e e n t h e s t u d e n t ’ s b a c k g r o u n d , e x p e r i e n c e s , a n d / o r i n t e r e s t s a n d t h e c o n t e n t m a t e r i a l ? W h y o r W h y n o t ? I d o n ’ t t h i n k I w o u l d h a v e c h o s e n t h a t a d v e r t i s e m e n t t h e r e b u t i t w o u l d b e c a u s e I t h i n k t h e h i g h s c h o o l s t u d e n t s t h e y a r e a l l i n t o c a r s , t h e y a r e g e t t i n g t h e i r l i c e n s e , e t c . s o i t ’ s k i n d a a h o o k t o g e t t h e m i n t e r e s t e d i n l o o k i n g a t i t a n d i t ’ s s o m e t h i n g t h a t t h e y c a n r e l a t e t o a n d t h e y w o u l d t h i n k a b o u t i t a n d f e e l y o u k n o w t h e y w o u l d h a v e s o m e c o n n e c t i o n t o i t r a t h e r t h a n u s i n g s o m e o t h e r s i t u a t i o n t h a t h a d n o r e l e v a n c e t o t h e m . 1 0 ) B a s e d u p o n t h e a r t i f a c t s p r o v i d e d , w h a t a d v i c e m i g h t y o u g i v e t h i s t e a c h e r t o i m p r o v e t h i s l e s s o n i n t h e f u t u r e ? W e l l I t h i n k I w o u l d d e fi n i t e l y u s e a d i f f e r e n t A r t i f a c t # 1 — s o m e t h i n g t h a t w o u l d b e a l i t t l e m o r e c a t c h y . I d o n ’ t e v e n k n o w i f I ’ d u s e a n a d v e r t i s e m e n t . I ’ d j u s t u s e a c a r I t h i n k O r m a y b e s o m e y o u k n o w t h e t o p p a r t o f i t i s fi n e a l t h o u g h t h e b o t t o m p a r t i s a l i t t l e d i s j o i n t e d t o o . B u t s o m e t h i n g t h a t ’ s e v e n m o r e I m e a n a s a b l e i s a r e a l i s n o t a n e y e c a t c h e r f o r a 1 6 , 1 7 y e a r o l d s t u d e n t s . I ’ d u s e s o m e t h i n g a l i t t l e fl a s h i e r c a r w i s e t h e r e . S o m e t h i n g t h a t t h e y c o u l d r e a l l y k i n d a m o r e s o t h i n k a n d i m a g i n e t o . I d o n ’ t t h i n k i t ’ s s o m e t h i n g t h a t a s s t i m u l a t i n g a s i f I p u t a F e r r a r i o n t h e r e o r s o m e t h i n g l i k e t h a t . 2 9 4 1 1 . T e a c h i n g a n d S c i e n t i fi c I n q u i r y a . H o w d o y o u t h i n k t h e t e a c h e r s h o u l d r e s p o n d t o t h i s g r o u p o f s t u d e n t s i n o r d e r t o s u p p o r t s c i e n t i fi c i n q u i r y ? I w o u l d p r o b a b l y t e l l t h e m t o p e r f o r m t h e e x p e r i m e n t a n d d o i t o n a n e w s p a p e r b a c k g r o u n d a n d s e e w h a t h a p p e n s t o t h e m o t h p o p u l a t i o n c a u s e t h e y a r e d i s c u s s i n g i t — t h e y a r e o b v i o u s l y n o t c o m i n g t o a c o n c l u s i o n a n d I w o u l d h a v e t h e m d o i t t o s e e w h a t t h e c h a n g e w o u l d b e . b . R e c a l l t h a t o n e o f t h e t e a c h e r s ' g o a l s w a s t o s u p p o r t s t u d e n t s c i e n t i fi c i n q u i r y . D o y o u t h i n k y o u r i d e a s u p p o r t s s t u d e n t s c i e n t i fi c i n q u i r y ? W o u l d t h e r e b e a n o t h e r o n e t h a t m i g h t d o m o r e t o w a r d t h a t g o a l ? Y e s , b e c a u s e t h e n t h e y a r e g o i n g b a c k a n d t h e y a r e g o i n g t o a c t u a l l y s e e w h a t ’ s g o n g t o h a p p e n b y c o n d u c t i n g a n i n q u i r y . T h e y a r e g o i n g t o s e e i f t h e y a r e r i g h t , t h e y a r e w r o n g . T h e y a r e g o i n g t o g a t h e r m o r e d a t a . T h e y a r e g o i n g t o i n t e r a c t a n d g e t a c o n c l u s i o n t o i t . c . A n o t h e r o n e o f t h e t e a c h e r ' s g o a l s w a s t o h e l p s t u d e n t s u n d e r s t a n d h o w t h e e n v i r o n m e n t i n t e r a c t s w i t h a s p e c i e s ’ p o p u l a t i o n t h r o u g h n a t u r a l s e l e c t i o n . D o y o u t h i n k y o u r i d e a h e l p s a c h i e v e t h a t g o a l ? W o u l d t h e r e b e a n o t h e r r e s p o n s e t h a t m i g h t d o m o r e t o w a r d t h a t g o a l ? I t h i n k t h a t y o u c o u l d l o g i c a l l y m a y b e g o b a c k t o t h e o t h e r o n e a n d s e e h o w , w h a t s t u c k o u t a n d i f t h e y w o u l d p u t s o m e t h i n g o n t h e c o l o r e d b a c k g r o u n d - s e e w h i c h o n e s w o u l d a p p a r e n t l y s t i c k o u t m o r e t h a t w o u l d p r e d a t i o n t h a t w o u l d o c c u r t o i t a n d m a y b e i f t h e y c o u l d v i s u a l i z e w i t h o u t a c t u a l l y g o i n g t h r o u g h i t t h e y m a y s e e t h a t t h e p o p u l a t i o n m a y c h a n g e o v e r t i m e . S o t h a t o n e o f t h e m m i g h t d e c r e a s e , i t m a y n o t c h a n g e s o m u c h s i n c e t h e y s a i d t h a t t h e y o n l y h a d o n e r e d m o t h b u t i t m a y d e c r e a s e a n o t h e r p o p u l a t i o n w h e r e i t c o u l d g o t o w a r d e x t i n c t i o n e v e n . W e l l I d o t h i n k i f y o u c h a n g e t h e b a c k g r o u n d y o u , t h a t ’ s r e l a t i n g t o c h a n g i n g t h e e n v i r o n m e n t . S o i f y o u s h o w a n e n v i r o n m e n t a l c h a n g e 2 9 5 a n d t h e n s h o w w h a t h a p p e n s t o t h e p e p p e r e d m o t h a s a r e s u l t o f i t — i t i s s h o w i n g / a c h i e v i n g t h a t g o a l . d . S u p p o s e t h i s t e a c h e r a l s o s a i d s h e h a d a g o a l o f e n s u r i n g f a i r n e s s , e q u i t y a n d a c c e s s f o r a l l s t u d e n t s . W h a t s t e p s s h o u l d t h e t e a c h e r t a k e t o f u l fi l l t h i s o b j e c t i v e ? S h e m a y h a v e c h a n g e d a r o u n d t h e j o b s t h a t p e o p l e d i d t o m a k e s u r e t h a t e v e r y b o d y g o t a f a i r s h a r e a t e i t h e r b e i n g a p r e d a t o r o r r e c o r d e r o r p u t t i n g t h e m o t h i n o r s o m e t h i n g l i k e t h a t . S h e m a y a l s o m a k e o n e l i k e a t e a m l e a d e r a n d y o u k n o w a s k q u e s t i o n s a f t e r e a c h p r e d a t i o n a n d m a k e s u r e t h a t e v e r y b o d y s p e a k s t o e a c h o t h e r t h e r e . Y o u k n o w t h a t t h e y h a v e t o f u l l y c o m m u n i c a t e w i t h e a c h o t h e r . I ’ v e u s e d t h i n g s w i t h c a r d s , w h e r e y o u p u t d i f f e r e n t n u m b e r e d c a r d s a n d t h e y k i n d a j u s t s w i t c h s o t h a t e v e r y b o d y g e t s a j o b o r g e t s t o d o e v e r y t h i n g . N o t j u s t o n e p e r s o n w a t c h i n g a n d s o m e p e r s o n d o e s e v e r y t h i n g . e . F r o m t h e i r d i s c u s s i o n , w h a t a s p e c t s o f t h e i n t e r a c t i o n b e t w e e n t h e e n v i r o n m e n t a n d s p e c i e s ’ c h a r a c t e r i s t i c e s d o t h e s t u d e n t s a p p e a r t o u n d e r s t a n d a n d w h a t m i s c o n c e p t i o n s s t i l l r e m a i n ? I t h i n k t h a t f r o m t h e i n i t i a l e x p e r i m e n t t h a t t h e y s e e t h a t i f s o m e t h i n g b l e n d s i n t o t h e b a c k g r o u n d i t w o n ’ t b e n o t i c e d a n d t h e r e f o r e i t w o n ’ t b e t a k e n u p b y a p r e d a t o r a n d i t w i l l c a r r y o n . A n d i n t h e s e c o n d p a r t , I t h i n k t h a t t h e y a r e n o t a s c l e a r b e c a u s e o n e g i v e s a b a c k g r o u n d t h a t t o t a l l y b l e n d s i n a n d t h e o t h e r o n e i s n o t a t o t a l b l e n d s o t h e y a r e n o t q u i t e a s s u r e a s w h a t ’ s g o i n g t o h a p p e n a s f a r a s p r e d a t i o n g o e s . B e c a u s e i n t h e fi r s t o n e t h e y h a d a n e w s p a p e r , i t w a s o n a n e w s p a p e r a n d o n e o f t h e m o t h s w a s a n e w s p a p e r s o i t w a s a d i r e c t b l e n d t h e r e . W h e r e a s i n t h e o t h e r o n e t h e c a r t o o n , e a c h o n e m i g h t s t a n d o u t s o m e w h a t , i t ’ s n o t g o i n g t o b e a s m u c h o f a b l e n d s o i t ’ s m o r e d i f fi c u l t t o p r e d i c t e x a c t l y w h a t ’ s g o i n g t o h a p p e n . f . D o y o u s e e a n y e v i d e n c e t h a t a n y o f t h e s e s t u d e n t s a r e l e a r n i n g t o e n g a g e i n s c i e n t i fi c i n q u i r y ? W h a t e v i d e n c e d o y o u s e e ? 2 9 6 Y e a , w e l l t h e y a r e q u e s t i o n i n g e a c h o t h e r a n d t h e y a r e s e e m s l i k e t h e y a r e k i n d o f d i g e s t i n g w h a t t h e y a r e s a y i n g . T h e y d i d n ’ t c o m e u p w i t h t h e s p e c i fi c a n s w e r h e r e b u t a t l e a s t t h e r e w a s d i s c u s s i o n g o i n g o n . I t w a s n ’ t l i k e t h e y a l l a g r e e d w i t h o n e p e r s o n , a n d t h a t w a s t h e e n d o f i t . T h e y a l l h a d a n o p i n i o n e x c e p t f o r t h e p e r s o n t h a t d i d n ’ t t a l k a n d t h e y w e r e c o m m u n i c a t i n g w i t h e a c h o t h e r . g . I f y o u h a d o b s e r v e d t h i s l e s s o n , a n d w e r e a m e n t o r t o t h i s t e a c h e r , w h a t a d v i c e o r g u i d a n c e w o u l d y o u g i v e t h i s t e a c h e r r e g a r d i n g t h e p l a n n i n g o r t e a c h i n g o f t h i s l e s s o n t o t h i s g r o u p o f s t u d e n t s ? I t h i n k I w o u l d h a v e h a d t h e l a b s e t u p b o t h w a y s , a s I h a d m e n t i o n e d b e f o r e . T o d o i t o n e w a y w i t h t h e n e w s p a p e r b a c k g r o u n d a n d t h e n s w i t c h t h e b a c k g r o u n d . L e t t h e m d i s c u s s i t a n d t h e n l e t t h e m a c t u a l l y c a r r y i t o n t h e o t h e r w a y s o i t w o u l d b e m o r e o f a c o m p l e t e — t h e y w o u l d r e a l l y g e t — t h e fi r s t t i m e c o u l d b e b y c h a n c e b u t t h e s e c o n d t i m e i f t h e y s a w t h a t i t b e c a u s e i t b l e n d s i n t o t h e b a c k g r o u n d t h a t m a y h i t t h e p o i n t h o m e m o r e c l e a r l y . I d o n ’ t t h i n k i t w a s b a d t h e w a y i t w a s b u t i t m a y b e m o r e g i v e t h e m m o r e i n f o r m a t i o n , m o r e d a t a c o l l e c t i o n , m o r e e x p e r i e n c e , m o r e d i s c u s s i o n a n d k i n d a g e t t h e i n t e r a c t i o n o f s t u d e n t s g o i n g a n d c o m e u p t o a s t r o n g e r c o n c l u s i o n . X I V . D e s c r i p t i o n o f a S u c c e s s f u l L e s s o n 1 . P l e a s e d e s c r i b e f o r m e t h e s e t t i n g , s u b j e c t m a t t e r , a n d c o n t e x t ( s c h o o l / c o m m u n i t y ) o f t h i s c l a s s . I t w a s a b i o l o g y c l a s s i n s c h o o l . I t w a s a l a b o r a t o r y t h a t w e / t h a t t h e k i d s d i d o n t h e c e l l - t h e p a r t s o f t h e c e l l 2 . H o w m a n y s t u d e n t s w e r e i n t h e c l a s s a n d w h a t g r a d e l e v e l s w e r e r e p r e s e n t e d ? 3 6 s t u d e n t s — 1 0 t h g r a d e r s 2 9 7 W h a t w e r e t h e s t u d e n t l e a r n i n g g o a l s f o r t h i s l e s s o n ? T o w o r k c o l l a b o r a t i v e l y - t o b e r e s p o n s i b l e a n d t o l e a r n t h e p a r t s o f t h e c e l l — d i f f e r e n t o r g a n e l l e s a n d t h e i r f u n c t i o n W h y w e r e t h e s e g o a l s i m p o r t a n t f o r t h e s e s t u d e n t s ? W e l l w e a r e j u s t b e g i n n i n g a b i o l o g y a n d t h e c e l l i s t h e b a s i c u n i t o f s t r u c t u r e a n d f u n c t i o n i n a l l l i v i n g t h i n g s . S o b y u n d e r s t a n d i n g t h e p a r t s o f t h e o r g a n e l l e s t h a t m a k e i t u p a n d t h e i r f u n c t i o n , i t h e l p s t o u n d e r s t a n d t h e w h o l e o r g a n i s m a s a w h o l e a n d h o w s p e c i a l i z a t i o n h a s h e l p e d t h i n g s a d v a n c e o v e r t i m e H o w d i d t h e s e g o a l s fi t i n t o y o u r o v e r a l l g o a l s f o r t h e y e a r ? I t ’ s j u s t p a r t o f t h e b u i l d i n g p r o c e s s t o l e a r n — y o u n e e d t o l e a r n t h e b a s i c s i n o r d e r f o r u s t o e x p a n d a n d l e a r n m o r e d i f fi c u l t m a t e r i a l a s t h e y e a r g o e s o n . E v e r y t h i n g r e a l l y g o e s b a c k t o c e l l p a r t s a n d t o f u n c t i o n - s t r u c t u r e a n d f u n c t i o n a n d i t t i e s i n a l l o v e r e v e r y t h i n g — s t r u c t u r e a n d f u n c t i o n s i z e , h o w e v e r y t h i n g l e n d s i t s e l f t o a l l fi t t i n g t o g e t h e r w h e t h e r y o u l o o k a t t h e m o l e c u l a r l e v e l o r t h e m i c r o s c o p i c l e v e l i t a l l g o e s b a c k t o t h a t . H o w d i d ( i f a t a l l ) t h e c h a r a c t e r i s t i c s o f t h i s c l a s s i n fl u e n c e y o u r p l a n n i n g o r i n s t r u c t i o n a l s t r a t e g i e s f o r t h i s p a r t i c u l a r l e s s o n ? F o r e x a m p l e , w e r e t h e r e a n y e t h n i c , c u l t u r a l , o r l i n g u i s t i c d i v e r s i t y c i r c u m s t a n c e s y o u c o n s i d e r e d ? N o - A l m o s t a l l m y k i d s a r e E n g l i s h S p e a k e r s . T h e y m a y h a v e d i f f e r e n t e t h n i c b a c k g r o u n d s b u t I h a v e t h e m s p l i t u p i n t o l a b g r o u p s t h a t m i x e s i t . A n d b y h a v i n g t o w o r k t o g e t h e r a n d e a c h s t u d e n t h a v i n g a r e s p o n s i b i l i t y t h e y c o l l a b o r a t i v e l y a l l h a d t o i n t e r a c t w i t h e a c h o t h e r , c o m m u n i c a t e w i t h e a c h o t h e r . A n d b e s i d e s b u i l d i n g s c i e n c e s k i l l s t h e y w e r e b u i l d i n g i n t e r - p e r s o n a l s k i l l s t o o . 2 9 8 7 . D i d t h e r a n g e o f a b i l i t i e s o f t h e s t u d e n t s ( e . g . , e x c e p t i o n a l n e e d s , c o g n i t i v e , s o c i a l / b e h a v i o r a l , i n t e n t i o n a l , s e n s o r y , a n d o r p h y s i c a l c h a l l e n g e s ) a n d / o r t h e p e r s o n a l i t y o f t h e c l a s s a f f e c t y o u r p l a n n i n g ? I f s o , h o w ? N o t r e a l l y . I d o h a v e o n e s t u d e n t t h a t i s g i f t e d a n d a l s o l e a r n i n g d i s a b l e d a n d I h a v e h i m w o r k i n g i n a g r o u p w i t h a n o t h e r g i f t e d s t u d e n t a n d t w o o t h e r j u s t i n t e l l i g e n t s t u d e n t s a n d t h e y h e l p h i m b e c a u s e h e h a s d i s g r a p h i a ( ( ? ? s p e l l i n g ) a n d d y s l e x i a a n d a w h o l e b u n c h o f o t h e r s t u f f . S o m a n i p u l a t i v e l y i t w a s g o o d f o r h i m t o h a v e t o w o r k w i t h i n a g r o u p . B u t g e n e r a l l y , t h e k i d s a r e m o r e o r l e s s h o m o g e n o u s . 8 . I n t h e t e a c h i n g o f t h i s l e s s o n , d i d s p o n t a n e i t y p l a y a r o l e i n t h e s u c c e s s o f t h i s c l a s s ? I f s o , h o w ? T h e r e w a s a l i t t l e b i t o f i m p r o v i s i n g . I m e a n s o m e o n e s t u d e n t f o r g o t t o b r i n g s o m e t h i n g i n a n d s o m e b o d y w a s a b s e n t i n a n o t h e r g r o u p a n d t h e y a t t h e l a s t m i n u t e t e a m e d u p t o g e t h e r t w o g r o u p s a n d w e r e a b l e t o b o r r o w s o m e s t u f f a n d g e t i t t o g e t h e r — s o t h e r e w a s a l i t t l e b i t o f s p o n t a n e i t y a s f a r a s t h a t g o e s . B u t m o s t o f i t w a s w e l l p l a n n e d b e f o r e . 9 . W h a t a b o u t t h i s p a r t i c u l a r e x a m p l e o f t e a c h i n g a n d l e a r n i n g i s m o s t s i g n i fi c a n t t o y o u ? I t ’ s t h e e x c i t e m e n t — i t c r e a t e d a l o t o f e x c i t e m e n t . I d i d n ’ t t h i n k i t w a s g o i n g t o - n o t t h a t I d i d n ’ t t h i n k i t w a s g o i n g t o b e s o g r e a t c a u s e t h i s i s m y fi r s t y e a r t e a c h i n g b i o l o g y f o r t h e p a s t 5 y e a r s a n d n o n e o f t h e o t h e r t e a c h e r s d o t h i s a n d I h a d d o n e t h i s p r e v i o u s l y w i t h s t u d e n t s . A n d i t r e a l l y c r e a t e d a w h o l e a i r o f e x c i t e m e n t . I t h a d t o b e d o n e i n o n e c l a s s s e s s i o n w h i c h w a s a n h o u r . T h e y h a d t o w o r k t o g e t h e r a n d b y t h e e n d o f i t t h e y r e a l l y h a d a g r e a t t i m e . I t w a s a g o o d e x p e r i e n c e . I t w o u n d u p b e i n g a g o o d l e a r n i n g e x p e r i e n c e f o r t h e m t o o . 1 0 . W h a t s p e c i fi c e v i d e n c e h e l p e d y o u d e t e r m i n e t h a t y o u w e r e s u c c e s s f u l a t a c h i e v i n g t h e i d e n t i fi e d l e a r n i n g g o a l s w i t h y o u r s t u d e n t s ? 2 9 9 E v e r y o n e w a s a b l e t o c o m p l e t e t h e i r p r o j e c t b y t h e e n d o f t h e h o u r . T h e y a l l b r o u g h t i n t h e i r m a t e r i a l s . T h e y a l l w o r k e d c o l l a b o r a t i v e l y t o fi n i s h i t u p a n d I w e n t g r o u p t o g r o u p a n d q u i z z e d t h e m o n e v e r y o r g a n e l l e t h e y h a d t o s h o w m e t h e s t r u c t u r e a n d t e l l m e t h e f u n c t i o n . A n d i t w a s k i n d a l i k e a q u e e n “ o ” — b u t t h e t i m e d t h i n g — s o i t w a s k i n d a l i k e a q u i c k i e y o u k n o w w h e r e t h e y w e r e c o m p e t i n g w i t h e a c h o t h e r . A n d t h e n t h e r e w a s a w h o l e c l a s s w h e r e t h e y w e n t a r o u n d a n d e x a m i n e d e v e r y b o d y e l s e s ’ p r o j e c t a n d v o t e d f o r o n e b e s t i n t h e c l a s s . I t w a s k i n d a w i t h i n t h e i r g r o u p — t h e y w e r e c o m p e t i n g a n d t h e n — n o t c o m p e t i n g — t h e y w e r e w o r k i n g c o l l a b o r a t i v e l y b u t t h e n i t b e c a m e k i n d a l i k e a c l a s s k i n d o f c o m p e t i t i o n a l i t t l e b i t . 1 1 . W h a t w o u l d y o u d o d i f f e r e n t l y i f y o u h a d t h e o p p o r t u n i t y t o p u r s u e t h i s l e s s o n i n t h e f u t u r e ? W h y ? T o t e l l y o u t h e t r u t h , I r e a l l y l i k e d t h e w a y i t t u r n e d o u t . I w a s s u r p r i s e d t h a t i t d i d . I d i d n ’ t k n o w t h a t i t w a s g o i n g t o b e a s g o o d a l e a r n i n g e x p e r i e n c e a s i t w o u n d u p b e i n g . A n d t h e k i d s w e r e r e a l l y e x c i t e d a b o u t i t , w h i c h w a s r e a l l y i m p o r t a n t t o o - i n s t e a d o f j u s t y o u k n o w — a n o t h e r k i n d o f l a b w i t h a n a t t i t u d e . T h e y w e r e v e r y e x c i t e d a b o u t d o i n g i t a n d b r i n g i n g i t i n a n d g e t t i n g i t t o g e t h e r . S o i t w o u n d u p b e i n g a r e a l l y g o o d l e s s o n . X V . E x a m i n i n g a W h o l e c l a s s d i s c u s s i o n i n S c i e n c e 1 7 ) H o w d o y o u d e s c r i b e t h e l e a r n i n g e n v i r o n m e n t c r e a t e d b y t h e t e a c h e r ? I t h i n k t h a t i t w a s a g o o d a t m o s p h e r e . I t h i n k b e i n g o u t d o o r s r i g h t i n t h e s i t u a t i o n w a s g o o d . T h e k i d s f e l t c o m f o r t a b l e a n d i t w a s i n a p l e a s a n t e n v i r o n m e n t t o c a r r y o n a n e c o l o g i c a l d i s c u s s i o n . 3 0 0 1 8 ) W h a t e v i d e n c e ( i f a n y ) c a n y o u s i t e f r o m t h e t a p e t h a t i n d i c a t e s t h a t t h i s t e a c h e r i s f a i r a n d e q u i t a b l e w i t h l e a r n e r s ? H e s e e m e d t o b e f a i r . W h e n t w o s t u d e n t s s t a r t e d t o t a l k a t t h e s a m e t i m e , h e y o u k n o w , s a i d y o u g o fi r s t a n d t h e n e x t o n e w i l l g o a f t e r w a r d s . A n d I r e m e m b e r a t t h e e n d h e a l s o - t h e r e w e r e t w o n e w s t u d e n t s t h a t h a d s o m e i n f o r m a t i o n — - i t k i n d o f s t o p p e d a t t h a t p o i n t — b u t h e w a s g e t t i n g i n n e w s t u d e n t s a n d k i n d o f g e t t i n g t h e m i n t o t h e g r o u p t h e r e a n d i t s e e m e d l i k e i t w a s y o u k n o w h e h a d i t — i t w a s u n d e r c o n t r o l . A n d p e o p l e h a d a c h a n c e . H e w a s n ’ t g o i n g t o s t o p a n y b o d y f r o m t a l k i n g . H a v i n g t h e m h a v e t h e o p p o r t u n i t y t o m a k e t h e i r o b s e r v a t i o n s , o r w h a t e v e r . 1 9 ) H o w w o u l d y o u d e s c r i b e t h e l e v e l o f s t u d e n t e n g a g e m e n t i n t h e c l a s s ? I t s e e m e d t o b e p r e t t y g o o d . I w o u l d n ’ t s a y t h a t e v e r y b o d y s a i d s o m e t h i n g o n t h e p i e c e t h a t I s a w b u t t h e y w e r e - t h e y h a d s o m e t h i n g t o s a y . I m e a n b e i n g t h a t t h e r e w e r e I t h i n k t h e y w e r e n ’ t E n g l i s h s p e a k e r s a s t h e i r p r i m a r y l a n g u a g e — t h e y s e e m e d t o g e t i t a c r o s s i n t h e b e g i n n i n g — I c o u l d n ’ t u n d e r s t a n d t h e v i d e o t h a t w e l l b u t I t h i n k t h e r e w a s a p r e t t y g o o d e n g a g e m e n t f o r t h e s h o r t s e g m e n t t h a t I s a w . 2 0 ) D o y o u t h i n k t h a t t h e t e a c h e r h a s b e e n e f f e c t i v e i n f a c i l i t a t i n g a n d s u p p o r t i n g m e a n i n g f u l s c i e n t i fi c d i s c u s s i o n w h e r e s t u d e n t s e x p l o r e a n d h a v e t h e o p p o r t u n i t y t o u n d e r s t a n d i m p o r t a n t s c i e n t i fi c i d e a s ? W h a t d o e s t h i s t e a c h e r d o o r n o t d o t h a t s u p p o r t s y o u r a n s w e r ? Y e s , I m e a n h e i n t h e b e g i n n i n g h e r e - c a p p e d s o m e t h i n g . H e m e n t i o n e d I t h i n k I w o u l d h a v e — t h e r e c o u l d h a v e b e e n a l i t t l e m o r e d i s c u s s i o n o f y o u k n o w h o w w o u l d y o u g o a b o u t t o fi n d t h i s . W h a t k i n d o f e x p e r i m e n t a l t h i n g c o u l d y o u d o a n d m a y b e m a k e a l i t t l e b i t m o r e o f a c o n n e c t i o n — t h e y m a d e s o m e w h a t o f a c o n n e c t i o n t h a t t h e r a i n m a y h a v e c h a n g e d t h e fl o w a n d t h e r e f o r e t h e r e w e r e l e s s c a b b a g e s a n d t h e n m a y b e l e s s b u g s . W h a t k i n d o f e x p e r i m e n t s c o u l d h a v e b e e n d o n e t o d e t e r m i n e i f t h e 3 0 1 c a b b a g e a c t u a l l y g a v e t h e b u g t h e k i n d o f p l a c e t o h i d e s o t h e p r e d a t o r s d i d n ’ t s e e t h e m o r w h a t k i n d o f t h i n g s t h e y c o u l d h a v e d o n e o r l o o k e d f o r . I m e a n t h e r e w e r e s o m e c o n n e c t i o n s m a d e b u t I t h i n k a f e w m o r e c o u l d h a v e b e e n m a d e i n t h e r e . 2 1 ) H o w w o u l d y o u d e s c r i b e t h e q u a l i t y o f s t u d e n t - t o - s t u d e n t i n t e r a c t i o n s w i t h r e g a r d s t o s c i e n t i fi c , a n a l y t i c a l a n d / o r c r i t i c a l t h o u g h t ? I d i d n ’ t s e e t h a t m u c h s t u d e n t t o s t u d e n t . I s a w t w o s t u d e n t s t h a t I r e m e m b e r t h a t k i n d o f h a d a p o i n t b a c k a n d f o r t h w i t h e a c h o t h e r . T h e r e w a s n ’ t t h a t m u c h s t u d e n t t o s t u d e n t i n t e r a c t i o n . I t s e e m e d m o r e l i k e s t u d e n t t e a c h e r t o m e a l i t t l e b i t b u t t h e y w e r e u s i n g i n f o r m a t i o n t h a t t h e y l e a r n e d a b o u t e c o l o g y t o d i s c u s s w h y t h e y t h o u g h t t h i n g s m i g h t h a v e h a p p e n e d — w h e t h e r i t b e c l i m a t i c a n d i t d i d c o n n e c t t h e a b i o t i c a n d b i o t i c f a c t o r s t h e c l i m a t e , t h e r a i n h a d s o m e e f f e c t o n t h e t h i n g s i n t h e e c o s y s t e m . 2 2 ) B a s e d u p o n t h e d i s c u s s i o n p r e s e n t e d i n t h i s c l i p , h o w w o u l d y o u d e s c r i b e t h e l e v e l o f s t u d e n t u n d e r s t a n d i n g r e g a r d i n g p e r t i n e n t s c i e n t i fi c i d e a s ? T h e r e w a s a l o t o f o b s e r v a t i o n a l s k i l l s t h e r e . I d i d n ’ t s e e a s m u c h a n a l y t i c a l d e d u c i n g a n d g e t t i n g i n t o h o w t h r o u g h t h e f o o d c h a i n o r t h r o u g h t h e e c o s y s t e m a n a l y s i s o f w h a t w a s g o i n g o n . T h e r e w a s a l o t o f o b s e r v a t i o n s , b u t I d i d n ’ t s e e a s m u c h a n a l y s i s o f t h e i n f o r m a t i o n . 2 3 ) I f t h i s t e a c h e r w e r e a c o l l e a g u e o f y o u r s a n d a p p r o a c h e d y o u f o r s o m e i n p u t i n t o t h i s l e s s o n , w h a t a d v i c e , g u i d a n c e , o r i n s i g h t s w o u l d y o u o f f e r t h a t m i g h t i m p r o v e t h e t e a c h i n g a n d l e a r n i n g i n t h i s c l a s s ? I t h i n k t h a t a s l a b g r o u p s — - w e l l I a s s u m e d t h a t t h e y w o r k e d i n g r o u p s — t h a t t h e y a s t h e y h a d t h e i r d i f f e r e n t q u e s t i o n i n g m a y b e i t c o u l d h a v e g o n e o n t o s e t u p s o m e s c i e n t i fi c p r o j e c t t o t e s t t h e q u e s t i o n o r t h e h y p o t h e s i s o r w h a t e v e r t h e y c a m e u p w i t h . A n d t o g o a l i t t l e b i t f u r t h e r , m a y b e d i f f e r e n t g r o u p s c o u l d c h e c k d i f f e r e n t 3 0 2 t h i n g s s o t h a t a t t h e e n d o n c e t h e y c o l l a b o r a t e d w i t h t h e i r r e s u l t s a t t h e e n d , t h e y w o u l d c o m e u p w i t h a m o r e c o n c r e t e s o l u t i o n r a t h e r t h a n a c o n c r e t e r e a s o n a s t o w h a t h a p p e n e d i n s t e a d o f j u s t l i k e g u e s s i n g a s t o w h a t h a p p e n e d . T h i s w o u l d g i v e t h e m m o r e i n f o r m a t i o n a s t o w h y i t d i d h a p p e n . I t c o u l d h a v e b e e n g o n e f u r t h e r a n d y o u k n o w t i r e d u p t h e i n f o r m a t i o n b e t t e r . T h a t w a s a l i t t l e c l i p . 8 ) W h a t c r i t e r i a o r v a l u e s i n t e a c h i n g f o r t e a c h i n g a n d l e a r n i n g a r e u s i n g w h e n y o u a r e m a k e y o u r r e c o m m e n d a t i o n s ? ” I ’ m j u s t — I l i k e t o s e e s t u d e n t s c o m e t o s o m e k i n d o f c o n c l u s i o n — n o t t o b e l e f t h a n g i n g . Y o u k n o w t h e r e w a s a l o t o f i n f o r m a t i o n , o b s e r v a t i o n s , b u t t h e r e w a s n o c o n c r e t e a n s w e r t o i t . A n d l o t s o f s c i e n c e d o e s n ’ t h a v e c o n c r e t e a n s w e r s b u t I t h i n k t h e r e s o u r c e s w e r e a v a i l a b l e t o c o m e u p w i t h a m o r e c o n c r e t e d e c i s i o n a n d I t h i n k t h a t s t u d e n t s w i l l w a l k a w a y fi r s t o f a l l l e a r n i n g h o w t o i n q u i r e , t o c o m e u p w i t h s o m e t h i n g a n d t o t e s t i t a n d n o t e v e r y t h i n g w o r k s o u t i n l i f e . A n d t h a t g o o d i n f o r m a t i o n , l i k e p o s i t i v e r e s u l t s , a s w e l l a s n e g a t i v e r e s u l t s a r e g o o d i n f o r m a t i o n a n d i t w o u l d t e a c h t h e m f u r t h e r h o w t o g o o n a n d u s e s c i e n t i fi c i n q u i r y t o s o l v e a p r o b l e m . 3 0 3 X V I . A c c o m p l i s h m e n t s O u t s i d e o f C l a s s : T h e I m p a c t o n S t u d e n t L e a r n i n g P r o f e s s i o n a l A c t i v i t y / A c c o m p l i s h m e n t Y e s N o R a t i n g e e e ) A t t e n d i n g e d u c a t i o n a l c o n f e r e n c e s / w o r k s h o p s x f f f ) P r o f e s s i o n a l d e v e l o p m e n t a c t i v i t i e s a t s c h o o l x 2 _ g g g ) R e a d i n g e d u c a t i o n a l l i t e r a t u r e x 3 h h h ) R e a d i n g s c i e n t i fi c l i t e r a t u r e x 5 i i i ) W r i t i n g e d u c a t i o n a l a r t i c l e s ( p r o f e s s i o n a l ) x j j j ) W r i t i n g s c i e n t i fi c a r t i c l e s x 3 k k k ) S e r v i n g o n a n a d v i s o r y c o m m i t t e e a t t h e s c h o o l x 5 o r d i s t r i c t l e v e l 1 1 1 ) S e r v i n g a s a U n i o n r e p r e s e n t a t i v e x m m m ) D e v e l o p i n g s c i e n c e c u r r i c u l u m f o r y o u r c l a s s , x 5 s c h o o l , o r d i s t r i c t n n n ) M e n t o r i n g a n e w / s t u d e n t t e a c h e r x 5 L e a d i n g a p r o f e s s i o n a l d e v e l o p m e n t w o r k s h o p f o r y o u r x 5 c o l l fl u e s o o o ) T a k i n g a s c i e n c e c o u r s e a t a l o c a l u n i v e r s i t y x 5 P P P ) C o l l a b o r a t i n g w i t h c o l l e a g u e s o n a n x 4 i n t e r d i s c i p l i n a r y p r o j e c t ( 1 9 ( 1 ) P u r s u i n g N a t i o n a l B o a r d c e r t i fi c a t i o n . x 4 0 ) T a k i n g a n e d u c a t i o n a l c o u r s e a t a l o c a l u n i v e r s i t y x 3 2 . I s t h e r e a n y o t h e r a c t i v i t y m i s s i n g f r o m t h i s l i s t t h a t y o u t h i n k i s i m p o r t a n t t o i m p r o v i n g s t u d e n t l e a r n i n g ? I t ’ s n o t n e c e s s a r i l y a d v i s o r y c o m m i t t e e s b u t i n - s c h o o l t y p e c o m m i t t e e s . T h e a d v i s o r y c o m m i t t e e t h a t I t o o k f o r l e t t e r g — w a s m o r e o f a p a r e n t t y p e a d v i s o r y c o m m i t t e e - l i k e s c h o o l p a r e n t c o m m u n i t y a d v i s o r y c o m m i t t e e — b u t I ’ v e b e e n o n o t h e r a d v i s o r y c o m m i t t e e s w i t h i n t h e s c h o o l t h a t a r e j u s t l i k e t e a c h e r s a n d a d m i n i s t r a t o r s t h a t h a v e b e e n h e l p f u l . A s f a r a s d i s c i p l i n a r y a t t e n d a n c e — y o u k n o w s c h o o l r u l e s a n d r e g u l a t i o n s t h a t d i r e c t l y i m p a c t s t u d e n t s . 3 0 4 ¢ > < > I J L < I > < I L I > U h - I I L x x x x C o m m u n i t y R e s o u r c e / A c c o m p l i s h m e n t Y e s N o R a t i n g fi a ) P a r t i c i p a t i n g i n p a r e n t - t e a c h e r c o n f e r e n c e s b ) A t t e n d i n g g e n h o u s e n i g h t c ) T e l e p h o n e c a l l s t o p a r e n t s / g u a r d i a n s d ) E m a i l s c o m m u n i c a t i o n w i t h p a r e n t s / g u a r d i a n s e ) A s s i s t i n g i n s c i e n t i fi c r e s e a r c h w i t h a l o c a l c o l l e g e x > 4 f ) C l a s s r o o m o b s e r v a t i o n s f r o m p a r e n t s ) C o n t a c t i n g o u t s i d e e x p e r t s b y t e l e p h o n e o r e m a i l x h ) R e c r u i t i n g g u e s t s p e a k e r s f r o m t h e c o m m u n i t y x i ) S u p e r v i s i n g a f t e r s c h o o l a c t i v i t i e s j ) C o a c h i n g s p o r t s k ) W o r k i n g w i t h t h e P a r e n t - T e a c h e r A s s o c i a t i o n 1 ) E s t a b l i s h i n g a p a r t n e r s h i p w i t h a l o c a l t e a c h e r s ’ c o l l e g e m ) C o n t r i b u t i g t i m e t o l o c a l r e g g i o u s o r c h a r i t x g r o u p s x 2 1 1 ) S e r v i n g a s a n a c a d e m i c a d v i s o r t o s t u d e n t s x 5 0 ) S e r v i n g o n t h e l o c a l B o a r d o f E d u c a t i o n x 8 . I s t h e r e a n y o t h e r a c t i v i t y m i s s i n g f r o m t h i s l i s t t h a t y o u t h i n k i s i m p o r t a n t t o i m p r o v i n g s t u d e n t l e a r n i n g ? W e l l I h a v e a w e b s i t e a n d I a l s o h a v e g r a d e s o n l i n e a n d t h a t d o e s n ’ t e x a c t l y fi t i n t o t o t a l l y h e r e . I h a v e m o r e o f a n i n t e r a c t i v e a c c e s s f o r t h e p a r e n t s . I h a v e a w e b s i t e t h a t h a s t h e a s s i g n m e n t o n i t a l l t h e t i m e - t h a t h a s l i n k s o n i t t o t h e i r g r a d e s s o t h e y c a n g e t i n t o t h e i r g r a d e s a l l t h e t i m e — a n d a l i n k t o e - m a i l — s o i t ’ s m o r e o f a c o m m u n i c a t i o n s i t u a t i o n t h a t d o e s e x i s t . S o t h a t t h e p a r e n t s h a v e m o r e d i r e c t v i e w i n g o f s t u d e n t g r a d e s a n d I u p l o a d t h e m c o n s t a n t l y . 9 . B a s e d u p o n t h e a b o v e l i s t s , w h i c h o n e a c t i v i t y d o y o u t h i n k i s m o s t i m p o r t a n t t o h e l p i n g a t e a c h e r b e c o m e m o r e e f f e c t i v e a t i m p r o v i n g s t u d e n t l e a r n i n g ? P l e a s e e x p l a i n y o u r r e a s o n s f o r m a k i n g t h i s c h o i c e . T h e y a r e s o i n t e r - r e l a t e d — I ’ m g o i n g t o h a v e t o s a y f o r m y s e l f - o b v i o u s l y , s t u d e n t l e a r n i n g — r e a l l y r e a d i n g s c i e n t i fi c l i t e r a t u r e . T h e m o r e k n o w l e d g e t h a t I f e e l t h a t I h a v e a n d t h e m o r e c o n n e c t i o n s t h a t I c o u l d m a k e t o t h e i r l e a r n i n g i n t h e c l a s s r o o m I c a n m a k e t h i n g s m o r e i n t e r e s t i n g , m o r e r e l e v a n t , m o r e e n g a g i n g f o r t h e m a n d t h a t t o m e i s w h e r e m o s t o f t h e i r l e a r n i n g i s . I f I c a n c o n n e c t w i t h t h e m a n d e n g a g e t h e m b e c a u s e I a m k n o w l e d g e a b l e a n d h a v e a l o t o f i n f o r m a t i o n t o s h a r e w i t h t h e m a n d c r e a t e a l o t o f r e l e v a n c e f o r t h e m , I t h i n k t h a t i s , t h a t s t a y s i n w i l l a c a d e m i c a l l y d o w e l l f o r m e . A n d 3 0 5 t h a t ’ s h o w I r e a l l y d o c o n d u c t m y c l a s s r o o m a n d t h e r e s t o f i t i s j u s t c o l l a t e r a l h e l p f u l n e s s . B u t t h a t t o m e i s t h e m o s t i m p o r t a n t t h i n g . 3 0 6 S t a n d a r d t k o t s s L I ’ t e p a r i n g t h e W a y f m ‘ e r s u x l e r fl m n i n g a ) m e l e d g e d S t u c b n s E v i d e n c e t o S t m x t S t a e r a r d T A R e t m n t o l V S U b ) K m M e d g e o f S c i e m e a r x l M a g o g y c ) I r m r r fi c m l R e s o u r c e s E A d v m r d r t h t n h t l e a n i n g d ) S c i e m e I r q r i 1 - y e ) G n l s a n d C o m e p m l W i g f ) C u x e x t s o f S c i e m e fi F s t a fl i d i r g a F a v u fl i e C u m i n - S u k i ' 9 5 1 9 m m h ) q u i t a b l e P a r t i c i p a i o n i ) L m r i n g fi r v i m r e r t I V . S t r m t x fi n n g d 1 i r g a n l M j ) F a r r i l y a r x l C o r r r m r i t y Q n m e h k ) A s s e s s r r e r t l ) M e d i a n m ) C o l l e g i a l i t y a r x i I m b s h i p 3 0 7 T R A I N I N G E N T R Y # B I n t r o d u c t i o n Q u e s t i o n s : 3 1 ) H o w l o n g h a v e y o u b e e n t e a c h i n g ? I n t h i s c o u n t r y , n o w , I h a v e b e e n t e a c h i n g f o r 6 y e a r s . B e f o r e t h a t I t a u g h t i n m y h o m e c o u n t r y , i n G i a n a , ( ( ? ? s p ) S o u t h A m e r i c a a n d a l s o I t a u g h t f o r 7 y e a r s i n t h e B a h a m a s 3 2 ) W h a t s u b j e c t s a n d g r a d e l e v e l s d o y o u t e a c h ? I ’ v e b e e n t e a c h i n g s c i e n c e a l l t h e t i m e . B i o l o g y , m y l i c e n s e a r e a i s i n P h y s i c s a n d B i o l o g y a n d I ’ v e a l s o t a u g h t C h e m i s t r y . I ’ v e t a u g h t a t t h e h i g h s c h o o l l e v e l — 9 t h r o u g h 1 2 3 3 ) H o w w o u l d y o u d e s c r i b e t h e s c h o o l i n w h i c h y o u t e a c h ? T h e s c h o o l I ’ m t e a c h i n g n o w i s t e c h n i c a l a n d v o c a t i o n a l h i g h s c h o o l — i t ’ s i n t h e B r o n x , N e w Y o r k C i t y 3 4 ) H o w w o u l d y o u g e n e r a l l y d e s c r i b e y o u r s t u d e n t s ? I w o u l d s a y t h e y a r e a b o u t j u s t a l i t t l e b e l o w a v e r a g e — t h o u g h t h e r e a r e a f e w t h a t a r e d o i n g v e r y w e l l a n d I w o u l d s a y a v e r a g e — y o u h a v e m a n y t h a t a r e a v e r a g e - a f e w t h a t a r e b e l o w a v e r a g e — b u t g e n e r a l l y s p e a k i n g t h e y a r e j u s t b e l o w a v e r a g e 3 5 ) W h a t i s y o u r a v e r a g e c l a s s s i z e ? 3 4 3 0 8 1 . T e a c h i n g a n d L e a r n i n g : S e e A r t i f a c t # 1 , # 2 , & # 3 1 1 ) B a s e d u p o n t h i s s t u d e n t ’ s t w o r e s p o n s e s , h o w w o u l d y o u d e s c r i b e t h e s t u d e n t ’ s g r o w t h i n u n d e r s t a n d i n g a b o u t t h e k i n e t i c t h e o r y o f m a t t e r ? O k , I w o u l d s a y t h a t t h e s t u d e n t s h o w s m u c h i m p r o v e m e n t a n d i s a b l e t o p u t t h e i r t h o u g h t s i n a b e t t e r w a y . I s a b l e t o e x p a n d o n t h e i r i d e a s a n d s h o w s c o m p l e t e u n d e r s t a n d i n g a n d k n o w l e d g e o f i n t e r m o l e c u l a r f o r c e s , i n t e r k i n e t i c t h e o r y o f m a t t e r a n d t h e a t t r a c t i o n b e t w e e n t h e p a r t i c l e s i n c o m p a r i s o n w i t h i n l i q u i d s , s o l i d s a n d g a s e s . A n d i s a b l e t o m a k e c o n c l u s i o n s b a s e d o n t h a t k n o w l e d g e g a i n e d a n d a l s o i s a b l e t o c o m p a r e t h e fl u i d i t y o f t h e l i q u i d i n p a r t i c u l a r w i t h t h a t o f t h e m e r c u r y t h e m e r c u r y s a b l e . H o w e v e r , I t h i n k t h a t I w o n d e r i f t h e s t u d e n t h a s s e e n t h e l i q u i d m e r c u r y i t s e l f , w h a t w e k n o w o f a s q u i c k s i l v e r b e c a u s e t h a t m o v e s v e r y s m o o t h l y a c r o s s a n y s u r f a c e — e s p e c i a l l y a s m o o t h s u r f a c e . A l s o , p r o b a b l y t h e s t u d e n t d i d n ’ t q u i t e r e s e a r c h t h e m e a n i n g o f fl u i d — t h e s o l i d i t y w h i c h i s r e a l l y i n c l u d e s b o t h l i q u i d s a n d g a s e s . B u t I t h i n k g e n e r a l l y i t ’ s a g o o d a n a l y s i s a n d t h e s t u d e n t i s a b l e t o m a k e t h e c o m p a r i s o n s , h i g h l i g h t t h e c o m p a r i s o n s a n d a l s o m a k e c o n c l u s i o n s w h i c h i s g o o d . 1 2 ) W h a t e v i d e n c e c a n y o u i d e n t i f y f r o m t h e r e s p o n s e s t h a t s u p p o r t s y o u r c o n c l u s i o n ? Y e a , w e l l t h e s t u d e n t i s a b l e t o fi r s t o f a l l , t h e s t u d e n t g i v e i n t h e f i r s t A r t i f a c t # 2 , t h e s t u d e n t u s e s p e r s o n a l l y e x p e r i e n c e s o f w h a t i s a s o l i d , a l i q u i d a n d w a s a b l e t o r e l a t e t h e fl u i d i t i y o f t h e c a r t o t r o u b l e d w a t e r , w h i c h i s a c t u a l l y s o m e t h i n g t h a t t h e s t u d e n t s a c t u a l l y s e e n - s o m e t h i n g c o n c r e t e . T h a t t h e s t u d e n t i s u s i n g t h a t e x p e r i e n c e t o e x p l a i n w h a t i s m e a n t b y t h e fl u i d i t i y a n d t h e s t a t e m e n t i m a g i n e s o m e t h i n g t h a t l o o k s s o fl u i d y e t s e e m s t o s o l i d . S o t h e s t u d e n t , t h i s s t u d e n t s h o w s t h a t a b i l i t y t o b e a b l e t o a s s e s s t h e s i t u a t i o n f r o m o b s e r v a t i o n s a n d f r o m p r e v i o u s e x p e r i e n c e s a n d t o b e a b l e t o 3 0 9 c o m e u p w i t h a c o n c l u s i o n i n A r t i f a c t # 2 . I n A r t i f a c t # 3 t h e s t u d e n t g o e s e v e n f u r t h e r a n d i t s h o w s t h a t s o m e d e g r e e o f l e a r n i n g h a s t a k e n p l a c e u p o n t h e k i n e t i c t h e o r y o f m a t t e r i n t h a t h e i s a b l e t o m a k e c o m p a r i s o n s w i t h s o l i d s , l i q u i d s a n d g a s e s . 1 3 ) W h a t d o e s t h e w o r k t e l l y o u a b o u t a n y c h a l l e n g e s o r m i s u n d e r s t a n d i n g s t h i s s t u d e n t i s e x p e r i e n c i n g ? 0 k . O n e o f t h e m i s u n d e r s t a n d i n g s , I t h i n k , i s t h e i d e a t h a t fl u i d s i n c l u d e b o t h l i q u i d s a n d g a s e s . 1 4 ) D e s c r i b e t h e f e e d b a c k o r f u r t h e r i n s t r u c t i o n ( i f a n y ) t h a t t h e t e a c h e r s h o u l d p r o v i d e t h e s t u d e n t b a s e d u p o n A r t i f a c t s l , 2 , & 3 ? O k . L e t ’ s l o o k a t A r t i f a c t 1 a g a i n . I t h i n k t h e c a r l o o k s g r e a t , a n d i s a t t r a c t i v e . I t l o o k s v e r y g o o d , I g u e s s t h a t a t t r a c t s t h e a t t e n t i o n o f t h e k i d s a n d i t ’ s b i g a n d t h e n t h e s t a t e m e n t i s v e r y b o l d . I t h i n k f o r A r t i f a c t 1 I d o n ’ t s e e m u c h t h a t y o u c a n a d d t o i t w h a t i t h a s t h e r e e x c e p t t h e p r i n t d o w n a t t h e b o t t o m i s a l i t t l e s m a l l . 1 5 ) D o y o u t h i n k t h e c a r a d v e r t i s e m e n t i s a n e f f e c t i v e i n s t r u c t i o n a l r e s o u r c e i n e s t a b l i s h i n g a c o n n e c t i o n b e t w e e n t h e s t u d e n t ’ s b a c k g r o u n d , e x p e r i e n c e s , a n d / o r i n t e r e s t s a n d t h e c o n t e n t m a t e r i a l ? W h y o r W h y n o t ? O k . Y e s , I t h i n k s o . I t h i n k t h a t t h e fi n e p r i n t m a y b e i s a l i t t l e t o o fi n e ; s o m e o f t h e w o r d s a r e d i f fi c u l t t o m a k e o u t a n d t h e w o r d s a b o v e ‘ 1 0 0 , 0 0 0 ’ . T h e p i c t u r e t h e r e , I ’ m w o n d e r i n g i f i t ’ s a fi s h . Y o u k n o w j u s t t o t h e r i g h t o f 1 0 0 , 0 0 0 , t o m e i t ’ s l o o k i n g l i k e t h e h e a d o f a fi s h . A n d t h e n a m e w h i c h i s s h o w n a l i t t l e t o t h e r i g h t o f t h e b a c k o f t h e c a r , ‘ M e r c u r y S a b l e L S a u t o m o b i l e m a g a z i n e - a l l s t a r a n d d e s i g n o f t h e y e a r ’ . I t h i n k i t i s . H o w e v e r , t h e p r i n t i s a l i t t l e s m a l l f o r s o m e o f t h e s t u d e n t s . I d o n ’ t k n o w i f t h e y w i l l b e a b l e t o r e a d t h o s e fi n e p r i n t s . 3 1 0 1 6 ) B a s e d u p o n t h e a r t i f a c t s p r o v i d e d , w h a t a d v i c e m i g h t y o u g i v e t h i s t e a c h e r t o i m p r o v e t h i s l e s s o n i n t h e f u t u r e ? F o r t h e p i c t u r e , I d o n ’ t s e e m u c h y o u c a n d o e x c e p t s o m e t h i n g t o s h o w t h a t t h e c a r i s m o v i n g - m a y b e s o m e l i n e s a t t h e b a c k o r s o m e t h i n g l i k e t h a t . F o r t h e A r t i f a c t 2 , I d o n ’ t t h i n k t h e r e i s m u c h y o u c a n d o t h e r e b e c a u s e t h a t s h o u l d b e l i k e y o u r p r e t e s t . F o r A r t i f a c t 3 , I g u e s s t h e t e a c h e r m i g h t h a v e t o p r o b a b l y t h e t e a c h e r h a s t a u g h t t h e t h i n g s b u t t h e k i d d i d n o t q u i t e g e t i t , t h a t a fl u i d i n c l u d e s b o t h l i q u i d s a n d g a s e s . A n d a l s o , c a n a d d s o m e a c t i v i t y t h a t s h o w s l i q u i d m e r c u r y m o v i n g a c r o s s t h e s u r f a c e . A n d t h a t m i g h t e n h a n c e a n d g i v e m o r e s u p p o r t t o t h e n a m e M e r c u r y o f t h e c a r . I t h i n k t h e s t u d e n t i s a b l e t o d o a v e r y g o o d a n a l y s i s h e r e a n d a r r i v i n g a t a s u i t a b l e c o n c l u s i o n . G e n e r a l l y , I t h i n k t h i s i s i t ’ s g o o d w o r k b y t h e s t u d e n t . 1 1 . T e a c h i n g a n d S c i e n t i fi c I n q u i r y a . H o w d o y o u t h i n k t h e t e a c h e r s h o u l d r e s p o n d t o t h i s g r o u p o f s t u d e n t s i n o r d e r t o s u p p o r t s c i e n t i fi c i n q u i r y ? I t h i n k w h e n I a t p a g e 4 , t h a t i f t h e b a c k g r o u n d o f h i s a c t i v i t y w e r e c h a n g e d t o a c o l o r f u l t y p e o f p a p e r , s u c h a s t h e S u n d a y c a r t o o n s e c t i o n o f p a g e s f r o m a c o m i c b o o k , h o w m i g h t t h e p o p u l a t i o n o f m o t h s d o w h e n t h e y e x a m i n e c h a n g e ? I t h i n k t h a t E v a n w h e n h e s t a r t e d o u t , E v a n a n d Y a n p i n g t h e y w e r e d o i n g v e r y w e l l i n t h e i r s t a t e m e n t s — w h e n E v a n s a i d I d o n ’ t t h i n k i t w i l l h a v e a n y e f f e c t . T h e r e d o n e s w i l l s t i l l g e t e a t e n t h e m o s t b e c a u s e t h e y a r e t h e b r i g h t e s t . T h a t w a s g o o d . A n d t h e n Y a n p i n g s a i d o k m a y b e i n o u r e X p e r i m e n t t h a t z e r o m o t h s p o p u l a t i o n g e t s b i g g e r b e c a u s e t h e y a r e h a r d e r t o s e e . T h a t i s a l s o v e r y g o o d . A n d i f t h e b a c k g r o u n d c h a n g e s , l o t s o f c o l o r s , t h e r e d o n e s m i g h t s t i c k o u t m o r e a n d g e t e a t e n . H o w e v e r , w h e n w e g e t t o L a t i s h a , I t h i n k L a t i s h a k i n d a m i s l e a d e v e r y b o d y h e r e w h e n s h e s a i d o k h o w w i l l t h e p o p u l a t i o n c h a n g e , t h e r e a r e s o f e w r e d 3 1 . 1 o n e s n o w . I t h i n k s h e d i d n ’ t u n d e r s t a n d t h a t y o u a r e g o i n g t o s t a r t t h e e x p e r i m e n t f r o m f r e s h a l l o v e r a g a i n - w i t h t h e n u m b e r s t h a t y o u s t a r t e d t h e f i r s t e x p e r i m e n t w i t h , 3 3 , 3 4 , 3 3 . S h e w a s o f t h e o p i n i o n t h a t y o u w e r e s t a r t i n g t h e e x p e r i m e n t a f t e r t h e 2 0 t h r o u n d , 3 3 , 1 a n d 5 3 . Y e a , a n d f r o m t h e r e o n t h e y g o t k i n d a b o g g e d d o w n a n d d i d n ’ t s e e t h a t t h e e x p e r i m e n t w a s s u p p o s e d t o b e r e p e a t e d c o m p l e t e l y f r o m t h e b e g i n n i n g . A n d I t h i n k t h e t e a c h e r w o u l d h a v e t o s p e n d a l i t t l e t i m e t h e r e t o c o r r e c t t h a t m i s c o n c e p t i o n . b . R e c a l l t h a t o n e o f t h e t e a c h e r s ' g o a l s w a s t o s u p p o r t s t u d e n t s c i e n t i fi c i n q u i r y . D o y o u t h i n k y o u r i d e a s u p p o r t s s t u d e n t s c i e n t i fi c i n q u i r y ? W o u l d t h e r e b e a n o t h e r o n e t h a t m i g h t d o m o r e t o w a r d t h a t g o a l ? I t h i n k i t d o e s s u p p o r t s c i e n t i fi c i n q u i r y b e c a u s e t h e s t u d e n t s a r e l e a r n i n g t h r o u g h e x p e r i m e n t a t i o n h e r e a n d a b l e t o a r r i v e a t c o n c l u s i o n . E v a n a n d Y a n p i n g w e r e d o i n g v e r y g o o d w i t h t h e i r c o n c l u s i o n s b u t t h e n , a s I s a i d , t h e y w e r e k i n d a m i s l e a d b y L a t i s h a ; a n d t h e n t h e y f o r g o t t h e o r i g i n a l s t a t e m e n t a n d t o o k o f f w i t h L a t i s h a ’ s s t a t e m e n t t h a t t h e r e d o n e s w e r e s o f e w i n n u m b e r s , j u s t o n e l e f t a n d t h a t k i n d a t h r o u g h t h e c o n v e r s a t i o n o f f t h e t r a c k . S o m a y b e h e ’ l l h a v e t o p o i n t o u t t o t h e m t h a t t h e e x p e r i m e n t i s s t a r t i n g a g a i n w i t h 3 3 , 3 4 , 3 3 ; w i t h t h e c o l o r f u l b a c k g r o u n d , b e c a u s e i t ’ s a n e w e x p e r i m e n t . Y e s , i t ’ s n o t a n e x p e r i m e n t o f w i t h s t a r t i n g w i t h t h e n e w n u m b e r s b u t t h e r e d o n e i s o n t h e e n d — e s p e c i a l l y . W h a t i f y o u w e r e t o c o n t i n u e t h e e x p e r i m e n t w i t h t h e l o w n u m b e r s a n d j u s t c h a n g e t h e b a c k g r o u n d w i t h t h e l o w n u m b e r s , w i t h t h e n u m b e r s a f t e r 2 0 r o u n d s ? W h a t i f t h e s t u d e n t s u g g e s t e d t h a t ? O k . T h e w h i t e m o t h w o u l d d e fi n i t e l y b e a t a d i s a d v a n t a g e a s t h e y w o u l d b e c a u g h t e a s i l y b e c a u s e o n a c o l o r f u l b a c k g r o u n d t h e y w i l l s t i c k o u t . T h e m o t h s w i l l b e b l a c k a n d w h i t e a n d t h e y m i g h t a l s o d e c r e a s e i n n u m b e r - b e c a u s e t h e y w i l l k i n d a b e s h o w u p m o r e o n a t h e c o l o r f u l b a c k g r o u n d . I w o u l d h o p e t h a t t h e y w o u l d a s k t h o s e t w o t y p e s o f 3 1 2 q u e s t i o n s fi r s t a n d w e w o u l d b e a b l e t o g o i n t o t h a t k i n d a o f i n f o r m a t i o n , o f c o u r s e . I / w e w o u l d e x p e c t t h a t t h e y w o u l d a s k i f t h e n e w s p a p e r m o t h s w i l l t a k e t h e c o l o r p e r t h e c o l o r f u l n e w s p a p e r . O r i f t h e y w i l l r e m a i n a s b l a c k a n d w h i t e . I f t h e y r e m a i n a s b l a c k a n d w h i t e t h e n t h e n u m b e r s w i l l d e c r e a s e b e c a u s e t h e y w i l l b e c o n s p i c u o u s t h e r e o n t h a t c o l o r f u l b a c k g r o u n d a n d , t h e r e f o r e , t h e i r n u m b e r s w i l l d e c r e a s e . A n d t h e w h i t e m o t h s a s w e l l t h e n u m b e r s w i l l d e c r e a s e . T h e r e d m o t h s , s i n c e y o u ’ l l b e a d d i n g r e d m o t h s , a n d I g u e s s t h e c o l o r f u l b a c k g r o u n d w i l l h a v e s o m e r e d , t h e n m o r e w i l l s u r v i v e b e c a u s e y o u k e e p a d d i n g o n e e a c h r o u n d . c . A n o t h e r o n e o f t h e t e a c h e r ' s g o a l s w a s t o h e l p s t u d e n t s u n d e r s t a n d h o w t h e e n v i r o n m e n t i n t e r a c t s w i t h a s p e c i e s ’ p o p u l a t i o n t h r o u g h n a t u r a l s e l e c t i o n . D o y o u t h i n k y o u r i d e a h e l p s a c h i e v e t h a t g o a l ? W o u l d t h e r e b e a n o t h e r r e s p o n s e t h a t m i g h t d o m o r e t o w a r d t h a t g o a l ? I t h i n k s o , t h a t t h e s t u d e n t s w i l l s e e t h a t t h e e n v i r o n m e n t h a s a l o t t o d o w i t h n a t u r a l s e l e c t i o n . ( 1 . S u p p o s e t h i s t e a c h e r a l s o s a i d s h e h a d a g o a l o f e n s u r i n g f a i r n e s s , e q u i t y a n d a c c e s s f o r a l l s t u d e n t s . W h a t s t e p s s h o u l d t h e t e a c h e r t a k e t o f u l fi l l t h i s o b j e c t i v e ? P r o b a b l y , e v e r y o n e t h e r e w a s a b l e t o p a r t i c i p a t e i n t h e a c t i v i t y b u t p r o b a b l y i n t h e c a s e o f w h e n t h e y w e r e r e p e a t i n g i t t o t h e c o l o r f u l b a c k g r o u n d s h e c o u l d c h a n g e a r o u n d s o m e o f t h e r o l e s — h a v e a d i f f e r e n t m o d e r a t o r . Y o u k n o w e v e r y o n e h a s a c h a n c e t o p a r t i c i p a t e i n e a c h d i f f e r e n t a c t i v i t y . c . F r o m t h e i r d i s c u s s i o n , w h a t a s p e c t s o f t h e i n t e r a c t i o n b e t w e e n t h e e n v i r o n m e n t a n d s p e c i e s ’ c h a r a c t e r i s t i c s d o t h e s t u d e n t s a p p e a r t o u n d e r s t a n d a n d w h a t m i s c o n c e p t i o n s s t i l l r e m a i n ? O k , t h e s t u d e n t s s e e m t o g e t t h e i d e a t h a t o f c a m o u fl a g e . T h a t b e c a u s e t h e n e w s p a p e r m o t h s h a d a s i m i l a r c o l o r t o t h e n e w s p a p e r b a c k g r o u n d t h e y w e r e a b l e t o s u r v i v e a n d i n c r e a s e i n n u m b e r s . T h i s s t o r y b r i n g s m e t o o n e t h a t I t a u g h t i n o n e o f m y c l a s s e s , t h e 3 1 3 p e p p e r e d m o t h a l s o w h e r e y o u h a d t h e s e b i r d s e a t i n g u p t h e m o t h s . O r i g i n a l l y , b e f o r e t h e I n d u s t r i a l R e v o l u t i o n t h e t r e e s h a d a l i g h t c o l o r e d b a r k a n d t h e s e m o t h s w o u l d r e s t o n t h e m , w h e n t h e y a r e p l a n n i n g o n f e e d i n g o r l o o k i n g f o r f o o d . A n d t h e s e p r e d a t o r b i r d s w o u l d b e a b l e t o c a t c h t h e d a r k c o l o r e d o n e s b e c a u s e t h e y h a d l e s s a b i l i t y t o h i d e i n t h e b a c k g r o u n d o f t h e t r e e t r u n k . A n d l a t e r o n a f t e r t h e i n c r e a s e i n i s o l a t i o n , a l l t h a t p o l l u t i o n c a u s e d t h e c h a n g e i n t h e c o l o r o f t h e t r e e t r u n k s f o r t h e b a r k o f t h e t r e e t o o k o n a d a r k e r c o l o r . A n d a s a r e s u l t o f t h a t t h e l i g h t c o l o r e d m o t h b e c a m e m o r e c o n s p i c u o u s n o w o n t h a t d a r k b a c k g r o u n d a n d e a s i l y c a u g h t b y t h e b i r d s . H o w e v e r , t h e y w e r e a f e w o f t h o s e d a r k c o l o r e d m o t h s a r o u n d a t t h e t i m e w h e n t h e t r e e t r u n k s w e r e l i g h t c o l o r e d a n d a s t h e t i m e p a s s e d t h e i r p o p u l a t i o n i n c r e a s e d i n a s i m i l a r w a y a s t o t h e n e w s p a p e r m o t h s i n y o u r e x p e r i m e n t h e r e . B e c a u s e t h e b a c k g r o u n d w a s m o r e s u i t a b l e f o r t h e m t o h i d e . A s t h e p o l l u t i o n c h a n g e d t h e c o l o r s o f t h e b a r k o f t h e t r e e s . A n d s o m o r e a n d m o r e o f t h e m w e r e a b l e t o s u r v i v e a n d t h i s y o u k n o w , I t h i n k t h e y g o t t h e i d e a o f n a t u r a l s e l e c t i o n f r o m t h i s a c t i v i t y i n t h e s a m e w a y a s t h e m o t h s w i t h t h e g e n e s f o r d a r k c o l o r w e r e a b l e t o s u r v i v e . f . D o y o u s e e a n y e v i d e n c e t h a t a n y o f t h e s e s t u d e n t s a r e l e a r n i n g t o e n g a g e i n s c i e n t i fi c i n q u i r y ? W h a t e v i d e n c e d o y o u s e e ? N o t v e r y c l e a r l y b u t t h e y w e r e a b l e t o s a y t h a t i f t h e y c o u l d b l e n d i n t o t h e s a m e c o l o r o f t h e b a c k g r o u n d , t h e r e i s a g r e a t e r c h a n c e o f t h e m s u r v i v i n g . T h e y g o t t h a t i d e a . I t h i n k t h e t e a c h e r c a n n o w e x p a n d o n t h a t a n d b r i n g o u t t h e i d e a o f n a t u r a l s e l e c t i o n a n d g o o n e v e n t o b r i n g u p t h e i d e a o f e v o l u t i o n , a s c h a n g e s t a k e p l a c e o v e r a s e r i e s o f g e n e r a t i o n s . 6 ) D o y o u s e e a n y e v i d e n c e o f m i s c o n c e p t i o n s i n t h e c o n v e r s a t i o n s ? A p a r t f r o m t h e o n e s t h a t I h i g h l i g h t e d e a r l i e r , w h e r e L a t i s h a d i d n o t q u i t e u n d e r s t a n d t h a t y o u a r e g o i n g t o s t a r t t h e e x p e r i m e n t b a c k f r o m t h e b e g i n n i n g , I t h i n k t h a t ’ s o n e m i s c o n c e p t i o n t h a t t h e t e a c h e r h a s t o c l e a r u p . Y e s - T h e y h a v e c a r r i e d o u t t h e a c t i v i t y . 3 1 4 T h e y h a v e a n a l y z e d t h e d a t a . O k . T h e y a r e a b l e t o c o m e u p w i t h s o m e k i n d o f c o n c l u s i o n a t l e a s t E v a n a n d Y a n p i n g w e r e a b l e t o c o m e u p w i t h s a t i s f a c t o r y c o n c l u s i o n s t h e r e . g . I f y o u h a d o b s e r v e d t h i s l e s s o n , a n d w e r e a m e n t o r t o t h i s t e a c h e r , w h a t a d v i c e o r g u i d a n c e w o u l d y o u g i v e t h i s t e a c h e r r e g a r d i n g t h e p l a n n i n g o r t e a c h i n g o f t h i s l e s s o n t o t h i s g r o u p o f s t u d e n t s ? I w o u l d p r o b a b l y h a v e t h e t e a c h e r e x t e n d t h e l e s s o n a n o t h e r p e r i o d , t h e n e x t d a y a n d h a v e t h e m d o t h e a c t i v i t y w i t h a c o l o r f u l b a c k g r o u n d . X V I I . D e s c r i p t i o n o f a S u c c e s s f u l L e s s o n 1 . P l e a s e d e s c r i b e f o r m e t h e s e t t i n g , s u b j e c t m a t t e r , a n d c o n t e x t ( s c h o o l / c o m m u n i t y ) o f t h i s c l a s s . A l o w g r a d e c l a s s a n d w e a r e l o o k i n g a t a t o p i c o f w a t e r p o l l u t i o n i n a l i v i n g e n v i r o n m e n t o f a b i o l o g y c l a s s . I t c o m e s u n d e r t h e t 0 p i c o f t h e e f f e c t s o f h u m a n a c t i v i t i e s o n e n v i r o n m e n t o n t h e e c o l o g y s e c t i o n . 2 . H o w m a n y s t u d e n t s w e r e i n t h e c l a s s a n d w h a t g r a d e l e v e l s w e r e r e p r e s e n t e d ? 3 2 s t u d e n t s — I O m I g r a d e r s 3 . W h a t w e r e t h e s t u d e n t l e a r n i n g g o a l s f o r t h i s l e s s o n ? O k , t h e s t u d e n t s s h o u l d h a v e b e e n a b l e t o c o m p a r e w a t e r f r o m d i f f e r e n t s o u r c e s a n d i d e n t i f y s o m e o f t h e p o l l u t a n t s i n t h e d i f f e r e n t s a m p l e s o f w a t e r . 4 . W h y w e r e t h e s e g o a l s i m p o r t a n t f o r t h e s e s t u d e n t s ? T h i s i s i m p o r t a n t i n o r d e r f o r t h e m t o g e t t h e i d e a t o u n d e r s t a n d t h a t t h e w a t e r f r o m t h e s e d i f f e r e n t s o u r c e s c a n h a v e d i f f e r e n t f o r e i g n s u b s t a n c e s i n s i d e w h i c h w e c a l l p o l l u t a n t s a n d i t c a n a f f e c t t h e l i v i n g t h i n g s i n t h e w a t e r 3 1 5 5 . H o w d i d t h e s e g o a l s fi t i n t o y o u r o v e r a l l g o a l s f o r t h e y e a r ? W e l l t h e s e a r e g o a l s t h a t w i l l , t h e o v e r a l l g o a l f o r t h e y e a r w o u l d b e t o g e t t h e s t u d e n t s p r e p a r e d f o r t h e r e g e n t s e x a m i n a t i o n t h a t w e h a v e i n N e w Y o r k a n d t o g e t t h e m t o u n d e r s t a n d t h e e f f e c t s o f h u m a n a c t i v i t i e s o n t h e e n v i r o n m e n t a n d h o w s o m e o f t h e s e e f f e c t s c a n b e h a r m f u l . 6 ) W h a t a b o u t t h i s p a r t i c u l a r e x a m p l e o f t e a c h i n g a n d l e a r n i n g i s m o s t s i g n i fi c a n t t o y o u ? W h y i s t h i s t h e e x a m p l e y o u t h o u g h t o f ? ” Y e s , w e l l s t u d e n t s w o u l d b e a b l e t o s e e t h e r e l a t i o n s h i p b e t w e e n h u m a n a c t i v i t i e s , p o l l u t i o n o f s u r r o u n d i n g s , a n d t h e e f f e c t s o f l i v i n g t h i n g s o n t h e s u r r o u n d i n g s t h a t u t i l i z e t h e s e r e s o u r c e s . O k , s o t h a t t h e y w i l l b e a b l e t o m a k e r e c o m m e n d a t i o n s o n h o w o k t h e s t u d e n t s a f t e r g o i n g t h r o u g h t h e a c t i v i t i e s a n d g e t t i n g t o u n d e r s t a n d t h e c o n c e p t s , t h e y w o u l d n o w b e a b l e t o m a k e r e c o m m e n d a t i o n s o n h o w w e c a n p r e v e n t p o l l u t i o n o f o u r r e s o u r c e s , s u c h a s t h e w a t e r r e s o u r c e s . 7 ) W h a t e v i d e n c e d o y o u h a v e t h a t y o u w e r e s u c c e s s f u l t o w i t h i n a c e r t a i n e x t e n t ? I t h i n k s o t o s o m e e x t e n t . T h e y w e r e a b l e t o i d e n t i f y s o m e o f t h e p o l l u t i o n , p o l l u t a n t s i n t h e d i f f e r e n t s a m p l e s o f w a t e r a n d g i v e s o m e e x p l a n a t i o n o f h o w t h e y g o t i n t o t h e w a t e r , w h a t a r e t h e s o u r c e s o f t h e s e p o l l u t i o n s , a g e n t s . A n d i n a d d i t i o n t h e y w e r e a b l e t o p a r t i c i p a t e i n a d i s c u s s i o n i n a l a t e r l e s s o n w h e r e t h e y a n a l y z e d t h e d a t a t h e y c o l l e c t e d f r o m e x p e r i m e n t s t h a t w e r e d o n e t o i d e n t i f y s o m e o f t h e s e p o l l u t a n t s a n d t h e n m a k e r e c o m m e n d a t i o n s o n h o w w e c a n r e d u c e t h e a m o u n t o f p o l l u t i o n . 8 . H o w d i d ( i f a t a l l ) t h e c h a r a c t e r i s t i c s o f t h i s c l a s s i n fl u e n c e y o u r p l a n n i n g o r i n s t r u c t i o n a l s t r a t e g i e s f o r t h i s p a r t i c u l a r l e s s o n ? F o r e x a m p l e , w e r e t h e r e a n y e t h n i c , c u l t u r a l , o r l i n g u i s t i c d i v e r s i t y c i r c u m s t a n c e s y o u c o n s i d e r e d ? 3 1 6 T h e r e w a s d i v e r s i t y , t h e t y p e o f s t u d e n t s c a u s e t h i s w a s a n i n c l u s i o n c l a s s . A n i n c l u s i o n c l a s s i s o n e t h a t h a s a m i x t u r e o f s t u d e n t s f r o m t h e s p e c i a l e d d e p a r t m e n t a n d w o r k i n g w i t h s t u d e n t s i n t h e g e n e r a l e d u c a t i o n d e p a r t m e n t s o f t h e s c h o o l t h a t g a t h e r i n t h e s a m e c l a s s r o o m . B e c a u s e o f t h i s , I d i d - I r e a l i z e d t h a t i t w a s i m p o r t a n t t o h a v e m o r e h a n d s o n a c t i v i t i e s f o r t h e s t u d e n t s s o t h a t t h e y c a n s e e t h e t h i n g s i n a c o n c r e t e w a y a n d s o t h e y w i l l b e a b l e t o m a k e a b e t t e r a s s e s s m e n t a n d c o m e u p w i t h c o n c l u s i o n s t h a t a r e m o r e s a t i s f a c t o r y . 9 . S o i n t h e t e a c h i n g o f t h i s l e s s o n d i d s p o n t a n e i t y p l a y a r o l e i n t h e s u c c e s s o f t h i s c l a s s — i f s o h o w ? ” Y e a , y e s t h e r e w e r e o c c a s i o n s w h e r e t h e r e w e r e s t u d e n t s w h o w e r e k i n d a m o r e r e s e r v e d a n d t h e a c t i v i t i e s h e l p e d t h e m t o r a i s e t h e i r l e v e l o f p a r t i c i p a t i o n a n d e v e n p a r t i c i p a t e i n t h e d i s c u s s i o n . T h e y w e r e a b l e t o d o a b e t t e r j o b t h e n i f i t h a d n o t b e e n a h a n d s o n . 9 . W h a t w o u l d y o u d o d i f f e r e n t l y i f y o u h a d t h e o p p o r t u n i t y t o p u r s u e t h i s l e s s o n i n t h e f u t u r e ? I w o u l d d e fi n i t e l y u s e m o r e t i m e f o r t h e a c t i v i t y b e c a u s e I c o u l d h a v e u s e d m o r e t i m e f o r t h e a n a l y z i n g o f t h e d i f f e r e n t s a m p l e s i n p a r t i c u l a r . W e a n a l y z e d , l e t m e j u s t g i v e y o u a n i d e a , w e a n a l y z e d r i v e r w a t e r , t h a t ’ s w a t e r f r o m t h e B r o n x R i v e r a n d t h e n w e h a d p o n d w a t e r , w e h a d r a i n w a t e r , a n d t h e r i v e r w a t e r , p o n d w a t e r , a n d w a t e r f r o m a l a k e i n V a n c o u v e r P a r k . A n d s o w e w o u l d h a v e s p e n t m o r e t i m e o n i t — o n t h e a c t i v i t i e s p a r t . I t b r o u g h t o u t q u i t e a l o t o f s t u f f a n d y o u k n o w t h e r e i s m u c h m o r e y o u c a n d o a n d t h a t w o u l d e n h a n c e t h i n g s t h a t w e r e d o n e i n o t h e r t o p i c s e a r l y i n t h e y e a r . 3 1 7 X V I I I . E x a m i n i n g a W h o l e c l a s s d i s c u s s i o n i n S c i e n c e ( A r t i f a c t # 4 ) 2 4 ) H o w d o y o u d e s c r i b e t h e l e a r n i n g e n v i r o n m e n t c r e a t e d b y t h e t e a c h e r ? O k . I t h i n k i n t h e c i r c u m s t a n c e s i t ’ s g o o d b u t t h e y s e e m t o b e o u t d o o r a n d t h e y s e e m t o b e i n t h e a r e a w h e r e t h e y d i d t h e i r i n v e s t i g a t i o n . 2 5 ) W h a t e v i d e n c e ( i f a n y ) c a n y o u s i t e f r o m t h e t a p e t h a t i n d i c a t e s t h a t t h i s t e a c h e r i s f a i r a n d e q u i t a b l e w i t h l e a r n e r s ? I t h i n k t h e t e a c h e r w a s f a i r i n t h a t t h e t e a c h e r w a s a b l e t o g e t q u i t e a f e w o f t h e s t u d e n t s i n v o l v e d i n t h e d i s c u s s i o n . H o w e v e r , i t i f w e r e p o s s i b l e I w o u l d h a v e t r i e d t o g e t a k i n d o f s e m i - c i r c l e a r r a n g e m e n t f o r t h e s t u d e n t s . A n d t h a t w a y I w o u l d h a v e b e e n a b l e t o g e t m o r e o f t h e m i n v o l v e d b e c a u s e t h e r e w e r e a f e w t o t h e b a c k , t h e e n d c l o s e s t t o m e , t h a t I t h i n k h e s h o u l d h a v e c a l l e d o n t h e m - o n e o r t w o o f t h e m a n d t o t r y a n d g e t t h e m i n v o l v e d . A l s o , i t w o u l d h a v e b e e n n i c e , i f i t w a s p o s s i b l e , t o z o o m i n o n t h e s p e a k e r s w h i l e t h e y w e r e h a v i n g t h e d i s c u s s i o n . 2 6 ) H o w w o u l d y o u d e s c r i b e t h e l e v e l o f s t u d e n t e n g a g e m e n t i n t h e c l a s s ? I t h i n k t h e l e v e l w a s g o o d . T h e s t u d e n t s , t h e y s h o w e d s c i e n t i fi c r e a s o n i n g a n d t h i n k i n g , t h e y w e r e a b l e t o c o m m u n i c a t e t h e i r i d e a s c l e a r l y t o t h e g r o u p a n d t h e y d e f e n d e d t h e i r s t a t e m e n t s s o t h e y s h o w e d o w n e r s h i p o v e r t h e d i s c u s s i o n . G e n e r a l l y , I t h i n k t h e c a m e t o a b e t t e r u n d e r s t a n d i n g r e g a r d i n g t h e s t a t u s o f t h e l e g a l s y s t e m , t h o u g h i t w a s n o t c l e a r w h o w a s l e a d i n g w h a t . L i k e t h e y c o u l d n ’ t s a y f o r s u r e w h a t w e r e s o m e o f t h e r e l a t i o n s h i p s i n t h e f o o d c h a i n . E s p e c i a l l y i n r e g a r d s t o t h e r i p p l e b u g . 2 7 ) D o y o u t h i n k t h a t t h e t e a c h e r h a s b e e n e f f e c t i v e i n f a c i l i t a t i n g a n d s u p p o r t i n g m e a n i n g f u l s c i e n t i fi c d i s c u s s i o n w h e r e s t u d e n t s e x p l o r e a n d h a v e t h e o p p o r t u n i t y t o u n d e r s t a n d i m p o r t a n t s c i e n t i fi c i d e a s ? W h a t d o e s t h i s t e a c h e r d o o r n o t d o t h a t s u p p o r t s y o u r a n s w e r ? 3 1 8 Y e s , I t h i n k s o . T h e t e a c h e r h a d t h e s t u d e n t s c a r r y o u t t h e s e i n v e s t i g a t i o n s , I g u e s s t h e y w o r k e d i n s m a l l g r o u p s o r i n t e a m s a n d t h e y w e r e a b l e t o , a s w e l l a s i n d i v i d u a l l y , c o l l e c t e d d a t a a n d a b i o t i c a n d t h e y w e r e a l s o f o c u s i n g o n t h e q u e s t i o n — I s t h i s a h e a l t h y e c o s y s t e m ? S o I t h i n k t h a t t h e y w e r e . T h e t e a c h e r a c t u a l l y , t h e w a y t h a t t h e y w e r e b e h i n d o n o r g a n i z e d t h e a c t i v i t i e s - i t s h o w s t h a t h e w a s e n g a g i n g t h e s t u d e n t s i n t h i s k i n d o f a c t i v i t y . 2 8 ) H o w w o u l d y o u d e s c r i b e t h e q u a l i t y o f s t u d e n t - t o - s t u d e n t i n t e r a c t i o n s w i t h r e g a r d s t o s c i e n t i fi c , a n a l y t i c a l a n d / o r c r i t i c a l t h o u g h t ? W e l l , t h e y d i d s o m e a n a l y s i s o f o n e a n o t h e r s c o m m e n t s a n d w h a t t h e y s a i d i n t h e d i s c u s s i o n a n d k i n d o f — t h e r e w e r e s o m e c h a l l e n g e a t t i m e s t o w h a t t h e s t u d e n t s e x p l a i n e d a n d s o t h e s t u d e n t h a d t o g o a l i t t l e d e e p e r a n d e x p l a i n f u r t h e r — w h i c h I t h i n k i s c o m m e n d a b l e . 2 9 ) B a s e d u p o n t h e d i s c u s s i o n p r e s e n t e d i n t h i s c l i p , h o w w o u l d y o u d e s c r i b e t h e l e v e l o f s t u d e n t u n d e r s t a n d i n g r e g a r d i n g p e r t i n e n t s c i e n t i fi c i d e a s ? I t h i n k t h a t t h e s t u d e n t s w e r e a b l e t o l e a r n f r o m t h e e n g a g e m e n t i n t h e s e a c t i v i t i e s a n d t h e y w e r e a b l e t o s e e r e l a t i o n s h i p s b e t w e e n o r g a n i s m s . T h o u g h I t h i n k t h e t e a c h e r w i l l h a v e t o d o a l i t t l e b i t m o r e t o s h o w t h e i r m o r e i n - d e p t h r e l a t i o n s h i p s i n t h e f o o d c h a i n . T h e r o l e s o f t h e d i f f e r e n t i n d i v i d u a l s . 3 0 ) I f t h i s t e a c h e r w e r e a c o l l e a g u e o f y o u r s a n d a p p r o a c h e d y o u f o r s o m e i n p u t i n t o t h i s l e s s o n , w h a t a d v i c e , g u i d a n c e , o r i n s i g h t s w o u l d y o u o f f e r t h a t m i g h t i m p r o v e t h e t e a c h i n g a n d l e a r n i n g i n t h i s c l a s s ? I t h i n k I d i d n o t s e e m u c h e v i d e n c e o f t h e t e a c h e r c o m m e n d i n g t h e s t u d e n t s f o r t h e i r i d e a s . I t h i n k t h a t t h a t c o u l d h a v e h e l p e d t o k i n d o f b o a s t t h e m u p a l i t t l e m o r e a n d m a k e t h e m m o r e l i k e l y t o p a r t i c i p a t e . 3 1 9 < > < > ¢ > < > < i u k I - h - > m < > < w A > A 3 1 ) A n d w h a t c r i t e r i a f o r t e a c h i n g a n d l e a r n i n g a r e y o u u s i n g w h e n y o u a r e m a k i n g t h e s e r e c o m m e n d a t i o n s o r w h e n y o u l o o k a t t h i s t a p e ? I w o u l d g u e s s I w o u l d t r y t o s o m e t i m e s r a t h e r t h a n j u s t a l l o w t h e o n e s w h o a r e v o l u n t e e r i n g t o s p e a k — s o m e t i m e s i t ’ s a g o o d i d e a t o c a l l o n t h o s e w h o a r e a l i t t l e m o r e r e s e r v e d t o g e t t h e m i n v o l v e d . B e c a u s e s o m e o f t h e m h a v e i d e a s o r m i s c o n c e p t i o n s a n d t h e y w i l l g o a w a y w i t h t h o s e r a t h e r t h a n s h a r i n g t h e m . A n d i f t h e y a r e m i s c o n c e p t i o n s , i f t h e y d o n o t s p e a k o u t , n o o n e w i l l e v e r k n o w . A n d s o , i t w o u l d b e a g o o d i d e a t o c a l l o n s o m e o f t h o s e s t u d e n t s . T h e q u i e t o n e s a n d h a v e e v e r y o n e h e a r t h e i r p o i n t o f v i e w , t h e i r i d e a s . T h e n y o u g e t a n i d e a a l s o a s t o w h a t i t i s t h a t t h e y a r e g e t t i n g f r o m t h e a c t i v i t y o r t h e l e s s o n . S o t h e n y o u c a n m a k e a d j u s t m e n t s b a s e d u p o n w h a t y o u o b s e r v e . X I X . A c c o m p l i s h m e n t s O u t s i d e o f C l a s s : T h e I m p a c t o n S t u d e n t L e a r n i n g P r o f e s s i o n a l A c t i v i t y / A c c o m p l i s h m e n t Y e s N o R a t i n g _ A t t e n d i n g e d u c a t i o n a l c o n f e r e n c e s / w o r k s h o p s P r o f e s s i o n a l d e v e l o p m e n t a c t i v i t i e s a t s c h o o l R e a d i n g e d u c a t i o n a l l i t e r a t u r e R e a d i n g s c i e n t i fi c l i t e r a t u r e W r i t i n g e d u c a t i o n a l a r t i c l e s ( p r o f e s s i o n a l ) W r i t i n g s c i e n t i fi c a r t i c l e s S e r v i n g o n a n a d v i s o r y c o m m i t t e e a t t h e s c h o o l o r d i s t r i c t l e v e l S e r v i n g a s a U n i o n r e p r e s e n t a t i v e x D e v e l o p i n g s c i e n c e c u r r i c u l u m f o r y o u r c l a s s , s c h o o l , o r d i s t r i c t x 5 M e n t o r i n g a n e w / s t u d e n t t e a c h e r x 4 L e a d i n g a p r o f e s s i o n a l d e v e l o p m e n t w o r k s h o p f o r y o u r x 4 c o l l e a g u e s T a k i n g a s c i e n c e c o u r s e a t a l o c a l u n i v e r s i t y x 4 C o l l a b o r a t i n g w i t h c o l l e a g u e s o n a n i n t e r d i s c i p l i n a r y p r o j e c t x 5 P u r s u i n g N a t i o n a l B o a r d c e r t i fi c a t i o n x 5 0 ) T a k i n g a n e d u c a t i o n a l c o u r s e a t a l o c a l u n i v e r s i t y x 4 2 . I s t h e r e a n y o t h e r a c t i v i t y m i s s i n g f r o m t h i s l i s t t h a t y o u t h i n k i s i m p o r t a n t t o i m p r o v i n g s t u d e n t l e a r n i n g ? I w o u l d s a y c o l l a b o r a t i n g w i t h t e a c h e r s i n y o u r s u b j e c t a r e a . C o l l a b o r a t i n g a n d p l a n n i n g c u r r i c u l u m a n d e v e n l e s s o n p l a n s . 3 2 0 C o m m u n i t y R e s o u r c e / A c c o m p l i s h m e n t Y e s N o R a t i n g _ a ) P a r t i c i p a t i n g i n p a r e n t - t e a c h e r c o n f e r e n c e s x . 4 b ) A t t e n d i n g o p e n h o u s e n i g h t x 4 c ) T e l e p h o n e c a l l s t o p a r e n t s / g u a r d i a n s x 4 d ) E m a i l s c o m m u n i c a t i o n w i t h p a r e n t s / g u a r d i a n s x e ) A s s i s t i n g i n s c i e n t i f i c r e s e a r c h w i t h a l o c a l c o l l e g e x f ) C l a s s r o o m o b s e r v a t i o n s f r o m p a r e n t s x g ) C o n t a c t i n g o u t s i d e e x p e r t s b y t e l e p h o n e o r e m a i l x 4 h ) R e c r u i t i n g g u e s t s p e a k e r s f r o m t h e c o m m u n i t y x 5 i ) S u p e r v i s i n g a f t e r s c h o o l a c t i v i t i e s x 3 j ) C o a c h i n g s p o r t s x 3 k ) W o r k i n g w i t h t h e P a r e n t - T e a c h e r A s s o c i a t i o n x 1 ) E s t a b l i s h i n g a p a r t n e r s h i p w i t h a l o c a l t e a c h e r s ’ c o l l e g e x m ) C o n t r i b u t i n g t i m e t o l o c a l r e l i g i o u s o r c h a r i t y g r o u p s x 3 n ) S e r v i n g a s a n a c a d e m i c a d v i s o r t o s t u d e n t s x 4 0 ) S e r v i n g o n t h e l o c a l B o a r d o f E d u c a t i o n x 1 0 . I s t h e r e a n y o t h e r a c t i v i t y m i s s i n g f r o m t h i s l i s t t h a t y o u t h i n k i s i m p o r t a n t t o i m p r o v i n g s t u d e n t l e a r n i n g ? I t h i n k t h i s c o v e r s m o s t e v e r y t h i n g h e r e 1 1 . B a s e d u p o n t h e a b o v e l i s t s , w h i c h o n e a c t i v i t y d o y o u t h i n k i s m o s t i m p o r t a n t t o h e l p i n g a t e a c h e r b e c o m e m o r e e f f e c t i v e a t i m p r o v i n g s t u d e n t l e a r n i n g ? P l e a s e e x p l a i n y o u r r e a s o n s f o r m a k i n g t h i s c h o i c e . I t h i n k t h a t t h e o n e f a c t o r t h a t m i g h t b e m o s t u s e f u l t o e n c o u r a g e s t u d e n t l e a r n i n g w o u l d b e g r e a t e r p a r e n t a l i n v o l v e m e n t . I t h i n k i f t h i s t e a c h i n g - l e a m i n g t h i n g i s a p a r t n e r s h i p a n d t h e p a r t n e r s h i p i n c l u d e s t h e t e a c h e r , t h e s t u d e n t a n d t h e p a r e n t s . A n d e a c h o f t h o s e a r e a s m u s t b e a d d r e s s e d . T h e p a r e n t s ’ s u p p o r t a n d e n c o u r a g e m e n t t o t h e i r s t u d e n t s , t o t h e i r k i d s , t h a t ’ s v e r y i m p o r t a n t . U s u a l l y t h e s t u d e n t s w h o a r e s u c c e s s f u l , i t ’ s b e c a u s e t h e y h a v e g r e a t s u p p o r t f r o m t h e i r p a r e n t s . A n d I t h i n k t h a t t h a t w o u l d p l a y a g r e a t p a r t , e s p e c i a l l y i n N e w Y o r k C i t y . 3 2 1 S t a n d a r d t k o e s s L I ’ r ' a n r i n g t I B W a y f a ' e r S t u I e m L e a n i r g E v i d e m e t o S t m r r t S t a n l a r d ' I B R e t m n m l e U W o r m K m M e d g o f S c i e m e a n d I n s t n n i m a l R e s a m e s E A d v a u ' n g S t u h t m m G o a l s a n d e o e j x m l C a l e x t s o f S c i m o e I I L I ' h t d i i s l l ' r g t h w x a fl e C i n e x t f t r S u t h I m i n g E ' l l P " . m I m m i n n g i r m m t w w w — s a n e - 1 m g F a n i l y a r x l C h n m r i t y O t n e a d i R e fl e a i m C o l l e g i a l i t y a r l e e a r h s h i p 3 2 2 e m i T r e v O a e d I 1 y r t n E t n c e e t l i a l l r P o C W 3 2 3 P l a n E n t r y 3 D i s c u s s i o n C o l l e c t W r i t e T O T A L S T A T U S A p p e n d i x G C o d i n g a n d C a l c u l a t i o n o f S t a t u s f o r G r o u p 2 A - P r e E X A M P L E # 1 3 0 1 7 5 7 8 5 1 C o d e d a s a 1 4 % S t a t u s T : B e g i n n i n g I n t e r v i e w e r : - W h i c h m e a n s ? T : B e g i n n i n g m e a n s — I ’ v e fi l l e d o u t a l l t h e p a p e r w o r k , p a i d a l l t h e f e e s a n d g o t t h e b o x I n t e r v i e w e r : G r e a t — o k . A n y t h i n g e l s e ? T : A n d w e l l I ’ v e r e a d t h e m a t e r i a l a f e w t i m e s , g o n e t o a s e m i n a r . E X A M P L E # 2 3 1 7 8 7 0 3 6 7 C o d e d a s a 5 2 % S t a t u s T : I ’ m j u s t fi n i s h e d a n d a m r e a d y t o s e a l t h e e n t r y e n v e l o p e 4 w i t h m y d o c u m e n t e d a c c o m p l i s h m e n t s . Y o u k n o w , j u s t p u t i t a w a y - I ’ v e r e w r i t t e n i t s o m a n y t i m e s . O n e n t r y 2 I t h i n k I ’ m m o r e t h a n V 2 w a y — I h a v e m y i n t r o d u c t i o n a n d m y d a t a a n a l y s i s a n d I ’ m g e t t i n g t h e c o n c l u s i o n t h i s w e e k . H o p e f u l l y o n t a p e . I ’ m m o s t o f t h e w a y t h r o u g h — m a y b e I ’ m 1 / 2 w a y t h r o u g h w r i t i n g a n d I w i l l r e - w r i t e a l o t . S o I w o u l d s a y c l o s e t o 5 0 % fi n i s h e d w i t h e n t r y 2 . I ’ m j u s t g e t t i n g s t a r t e d o n t h e w r i t i n g o n e n t r y 1 — b u t I h a v e a h e a d f u l l o f i t . I t ’ s j e l l i n g a n d I h a v e m y u n i t s c h o s e n a n d m y - t h e p i e c e s o f w o r k t h a t I w i l l u s e f o r t h e I d e a I ’ m t e a c h i n g . T h a t o n e i s i n p r o c e s s i n m y h e a d a n d I e x p e c t i t t o b e t h e m o s t c h a l l e n g i n g i n t h e w r i t i n g f o r m e . A n d t h e d i s c u s s i o n I ’ v e j u s t p i c k e d a c o u p l e o f t h i n g s I t h i n k I m a y u s e a n d I h a v e n ’ t e v e n s t a r t e d o n t h a t y e t e x c e p t t o b e g i n t h i n k i n g a b o u t w h i c h t o p i c s I t h i n k w o u l d m a k e g o o d d i s c u s s i o n t o p i c s a n d w h i c h c l a s s . A n d I h a v e n ’ t g i v e n o n e t h o u g h t t o t h e a s s e s s m e n t c e n t e r t a s k s y e t . S t a t u s C o d i n g E x p l a n a t i o n I n o r d e r t o g e t t h e m o s t a c c u r a t e a s s e s s m e n t o f a t e a c h e r ’ s s t a t u s w i t h r e g a r d s t o t h e N a t i o n a l B o a r d c e r t i f i c a t i o n p r o c e s s , a d e t a i l e d q u a l i t a t i v e a n a l y s i s w a s p e r f o r m e d . T h i s a n a l y s i s i n v o l v e d c o d i n g e a c h p a r t i c i p a n t s r e s p o n s e t o t h e q u e s t i o n : “ C o u l d y o u p l e a s e d e s c r i b e y o u r c u r r e n t s t a t u s w i t h t h e c e r t i fi c a t i o n p r o c e s s ? ” T h e y w e r e a s k e d t h i s q u e s t i o n a f t e r t h e i n t r o d u c t o r y q u e s t i o n s a n d b e f o r e S c e n a r i o 1 . T h e r e s p o n s e s p r o v i d e d e v i d e n c e a s t o w h a t t h e t e a c h e r h a d d o n e , c o m p l e t e d , w o r k e d o n , t h o u g h t a b o u t , w r i t t e n , v i d e o t a p e d , a n d s t u d i e d . A c o d i n g s c h e m e w a s d e v i s e d t h a t a l l o c a t e d a c e r t a i n p e r c e n t a g e o f t h e e n t i r e p o r t f o l i o p r o c e s s . F o r e x a m p l e , r e c e i v i n g m a t e r i a l s c o u n t e d a s 2 % o f t h e t o t a l a m o u n t o f w o r k r e q u i r e d t o c o m p l e t e t h e p o r t f o l i o . T h e p e r c e n t a g e s w e r e b a s e d u p o n t h e r e s e a r c h e r ’ s e x p e r i e n c e a n d f a m i l i a r i t y 3 2 4 w i t h t h e c e r t i fi c a t i o n p r o c e s s a n d a f e w b a s i c a s s u m p t i o n s . E x a m p l e s 1 & 2 a b o v e d e m o n s t r a t e t h e t y p e o f e v i d e n c e a n d t h e r e s u l t i n g c o d e d s t a t u s . T h e fi r s t b a s i c a s s u m p t i o n i s t h a t a l l f o u r e n t r i e s a r e o f e q u a l d i f fi c u l t y a n d r e q u i r e e q u a l a m o u n t s o f t i m e . T h i s o f c o u r s e i s n o t n e c e s s a r i l y t r u e , b u t i t d o e s a l l o w f o r t e a c h e r s d o i n g d i f f e r e n t t y p e s o f w o r k t o b e c o m p a r e d . T h e a s s u m p t i o n o f e q u a l i t y b e t w e e n e n t r i e s i s n o t u n w a r r a n t e d . T h e p r o c e s s i s i d e n t i c a l f o r e v e r y E n t r y . E a c h E n t r y r e q u i r e s a c a n d i d a t e t o p l a n t h e i r a c t i v i t i e s a n d r e s p o n s e , c o l l e c t e v i d e n c e , a n a l y z e t h a t e v i d e n c e , a n d t h e n w r i t e a b o u t t h e i r e x p e r i e n c e . F o r t h i s a n a l y s i s , c o m p l e t i n g a l l f o u r e n t r i e s a c c o u n t s f o r 8 0 % o f t h e p o r t f o l i o c o n s t r u c t i o n . T h e r e m a i n i n g 2 0 % i n c l u d e s p a p e r w o r k , p e r m i s s i o n s l i p s , p r e l i m i n a r y r e a d i n g , a n d p r e p a r a t i o n . T h e r e s u l t i n g s t a t u s m e a s u r e f o r e a c h c a n d i d a t e i s o n a v e r a g e w i t h i n 5 % o f t h e c a n d i d a t e s o w n e s t i m a t i o n . 3 2 5 A p p e n d i x H : T r a n s c r i p t P r o c e s s i n g E x p l a n a t i o n s a n d E x a m p l e s I n s t r u c t i o n s f o r P r o c e s s i n g T r a n s c r i g t s 1 ) D e l e t e “ I N T E R V I E W P R O T O C A L S V E R S I O N 4 O C T O B E R 1 6 , 2 0 0 2 ” 2 ) B r i n g “ I n t r o d u c t i o n Q u e s t i o n s : ” t o t o p o f p a g e 3 ) M a k e s u r e t h a t t h e T a b l e s f o r q u e s t i o n V h a v e b e e n a d d e d t o t h e e n d o f t h e d o c u m e n t . 4 ) A l l Q u e s t i o n s i n B O L D 5 ) A l l A n s w e r s i n r e g u l a r t y p e ( n o t b o l d ) 6 ) A l l q u e s t i o n s s i n g l e s p a c e d 7 ) A l l A n s w e r s d o u b l e s p a c e d ( e x c e p t i n i n t r o d u c t o r y q u e s t i o n s w h e r e a n s w e r s a r e s i n g l e s p a c e d ) . 8 ) O n l y o n e d o u b l e s p a c e b e t w e e n l a s t l i n e o f a n s w e r a n d fi r s t l i n e o f n e x t q u e s t i o n 9 ) R e m o v e a l l o f D a v e ’ s c o m m e n t s a n d q u e s t i o n s a n d t h e n b r i n g t o g e t h e r t h e a n s w e r s o f t h e p a r t i c i p a n t i n t o a u n d e r s t a n d a b l e m e a n s . 1 0 ) D e l e t e Q u e s t i o n n u m b e r 6 a n d i t s a n s w e r . 1 1 ) B r i n g “ 1 . T e a c h i n g a n d L e a r n i n g : S e e A r t i f a c t # 1 , # 2 , & # ” t o t h e t o p o f p a g e 2 1 2 ) D e l e t e e v e r y t h i n g i n q u e s t i o n I . b e t w e e n a n d i n c l u d i n g “ O v e r v i e w : « - Q u e s t i o n s : ” 1 3 ) D e l e t e n o n - c o n t e n t b a s e d c o n v e r s a t i o n s b e t w e e n D a v e a n d s u b j e c t . F o r e x a m p l e , e x c h a n g e s d e a l i n g w i t h c l a r i fi c a t i o n o f q u e s t i o n s , c o n fi r m a t i o n o f a n s w e r s , r e p e a t i n g o f a n s w e r s , r e s t a t i n g o f - q u e s t i o n s , c o r d i a l c o m m e n t s f r o m D a v e , f a c i l i t a t i n g q u e s t i o n s f r o m D a v e , e t c . N o t e : I f c o m m e n t s f r o m D a v e a r e r e m o v e d , t h e n a n y c o n t e n t r e l a t e d a n s w e r r e m a i n i n g f r o m t h e s u b j e c t , m u s t b e m a d e u n d e r s t a n d a b l e . F o r e x a m p l e , i f D a v e a s k s “ Y o u m e a n t h e t e a c h e r ? ” a n d t h e s u b j e c t r e s p o n d s “ Y e s , t h e m ” , t h e n i t w o u l d b e c h a n g e d t o r e a d , “ Y e s , I m e a n t h e t e a c h e r ” . 1 4 ) D e l e t e e v e r y t h i n g i n q u e s t i o n I I . b e t w e e n a n d i n c l u d i n g “ O v e r v i e w : - - - Q u e s t i o n s : ” 1 5 ) D e l e t e n o n - c o n t e n t b a s e d c o n v e r s a t i o n s o r e x t r a n e o u s p r o m p t s b e t w e e n D a v e a n d s u b j e c t . F o r e x a m p l e , e x c h a n g e s d e a l i n g w i t h c l a r i fi c a t i o n o f q u e s t i o n s , c o n fi r m a t i o n o f a n s w e r s , r e p e a t i n g o f a n s w e r s , r e s t a t i n g o f q u e s t i o n s , c o r d i a l c o m m e n t s f r o m D a v e , f a c i l i t a t i n g q u e s t i o n s f r o m D a v e , e t c . N o t e : I f c o m m e n t s f r o m D a v e a r e r e m o v e d , t h e n a n y c o n t e n t r e l a t e d a n s w e r r e m a i n i n g f r o m t h e s u b j e c t , m u s t b e m a d e u n d e r s t a n d a b l e . F o r e x a m p l e , i f D a v e a s k s “ Y o u m e a n t h e t e a c h e r ? ” a n d t h e s u b j e c t r e s p o n d s “ Y e s , t h e m ” , t h e n i t w o u l d b e c h a n g e d t o r e a d , “ Y e s , I m e a n t h e t e a c h e r ” . 1 6 ) F o r Q u e s t i o n I V , d e l e t e e v e r y t h i n g b e t w e e n a n d i n c l u d i n g “ T h e v i d e o t a p e ( A r t i f a c t # 4 ) ” a n d “ Q u e s t i o n s : ” 1 7 ) F o r Q u e s t i o n V , t a k e c a n d i d a t e r a t i n g s a n d p u t t h e m i n t o t h e a p p r o p r i a t e t a b l e . D o n o t i n c l u d e c o m m e n t s t o r a t i n g s . F o r “ n o ” a n s w e r s , l e a v e c o r r e s p o n d i n g r a t i n g b l a n k . O n c e t a b l e s a r e c o m p l e t e , d e l e t e a l l t h e c o n v e r s a t i o n s a r o u n d t a b l e i t e m s . P l a c e q u e s t i o n t w o o n “ a d d i t i o n a l i t e m ” b e l o w fi r s t t a b l e . 1 8 ) Q u e s t i o n 3 o n N B C r a t i n g , m u s t b e c u t a n c o p i e d o n t o s e p a r a t e d o c u m e n t . 3 2 6 1 9 ) Q u e s t i o n s 4 & 5 m u s t b e c u t a n d p a s t e b e l o w s e c o n d t a b l e . 2 0 ) D e l e t e “ c o n c l u s i o n o f i n t e r v i e w . 2 1 ) C h e c k s p a c i n g a n d w i d e n m a r g i n s . S t a r t e a c h q u e s t i o n a t t o p o f n e x t p a g e w h e r e p r a c t i c a l . M a k e i t l o o k c l e a n a n d u n i f o r m . 2 2 ) C h a r a c t e r i s t i c e s t o c h a r a c t e r i s t i c s 2 3 ) D e l e t e “ ( R e c e i v i n g A w a r d s , H o n o r s , o r S p e c i a l r e c o g n i t i o n ) ” F r o m V t a b l e 1 . 2 4 ) F i r s t l i n e i n d e n t s e t a t 0 2 5 ) L e f t t a b a n d H a n g i n g i n d e n t s e a t . 2 5 ” 2 6 ) R i g h t t a b s e t a t 6 . 5 ” T h e f o l l o w i n g a r e 6 e x a m p l e s o f t h e a b o v e r u l e s a n d p r o c e d u r e s a t w o r k . T h e o r i g i n a l v e r s i o n i s p r e s e n t e d fi r s t e x a c t l y h o w t h e t r a n s c r i p t i o n i s t t y p e s o u t w h a t s h e h e a r d . T h e o r i g i n a l i s i m m e d i a t e l y f o l l o w e d b y t h e p r o c e s s e d v e r s i o n . E X A M P L E # 1 O r i g i n a l V e r s i o n : 3 2 ) B a s e d u p o n t h e d i s c u s s i o n p r e s e n t e d i n t h i s c l i p , h o w w o u l d y o u d e s c r i b e t h e l e v e l o f s t u d e n t u n d e r s t a n d i n g r e g a r d i n g p e r t i n e n t s c i e n t i fi c i d e a s ? I r e a l l y — d o n ’ t u n d e r s t a n d y o u r q u e s t i o n s . A s k m e y o u r q u e s t i o n a g a i n . D a v e — O k . B a s e d u p o n t h e d i s c u s s i o n t h a t y o u s a w i n t h e c l i p , h o w w o u l d y o u d e s c r i b e t h e l e v e l o f s t u d e n t u n d e r s t a n d i n g r e g a r d i n g t h e p r o c e s s o f s c i e n t i fi c i n q u i r y i n c o n t e n t r e l a t e d t o e n v i r o n m e n t a l s c i e n c e s ? A n o t h e r w a y t o t h i n k a b o u t i t i s - d i d t h e k i d s a p p e a r t o k n o w w h a t t h e y w e r e t a l k i n g a b o u t a n d w e r e t h e y t h i n k i n g i n a s c i e n t i fi c m a n n e r ? O K — T h a t w a s p r e t t y h a r d t o a s s e s s f o r m e b e c a u s e I t h i n k t h a t t h e p r o j e c t t h a t t h e y w e r e w o r k i n g o n w a s n ’ t n a r r o w e d d o w n r e a l l y v e r y w e l l . I m e a n i t ’ s h a r d — i n e n v i r o n m e n t a l s c i e n c e - p r o b a b l y t o d o t h i s . A n d s o t h a t t h e l e v e l d i d n o t s e e m r e a l l y h i g h t o m e . T h e s t u d e n t s w e r e g r a p p l i n g w i t h s o m a n y d i f f e r e n t f a c t o r s t h a t t h e y — i t d i d n ’ t l o o k l i k e t h e y w e r e a b l e t o g e t a h a n d l e o n w h a t w a s t r u l y g o i n g o n . A n d w h i l e t h a t m a y b e a r e a l p a r t o f s c i e n t i fi c i n q u i r y - i t w o u l d h a v e b e e n n i c e t o s e e a l i t t l e n a r r o w e r q u e s t i o n o r n a r r o w e r s e t o f q u e s t i o n s f o r t h e i r r e s e a r c h s o t h a t t h e y c o u l d h a v e a t l e a s t f e l t l i k e t h e y h a d s o m e k i n d o f a n s w e r s . I t s e e m e d l i k e i t w a s v e r y d i f f u s e a n d t h e y d i d n ’ t h a v e a n y a n s w e r s . S o m e k i d s w e r e l o o k i n g a t p a r a m e t e r s . I m e a n — s o m e k i d s r e a l l y d i d a p p e a r t o b e u s i n g s c i e n t i fi c r e a s o n i n g . S c i e n t i fi c t h o u g h t y e s , b u t t h e y w e r e d i s s a t i s fi e d b e c a u s e t h e y c o u l d n ’ t c o m e u p w i t h a n y r e a l l y m e a n i n g f u l c o n c l u s i o n s . 3 2 7 F i n a l V e r s i o n : 3 3 ) B a s e d u p o n t h e d i s c u s s i o n p r e s e n t e d i n t h i s c l i p , h o w w o u l d y o u d e s c r i b e t h e l e v e l o f s t u d e n t u n d e r s t a n d i n g r e g a r d i n g p e r t i n e n t s c i e n t i fi c i d e a s ? T h a t w a s p r e t t y h a r d t o a s s e s s f o r m e b e c a u s e I t h i n k t h a t t h e p r o j e c t t h a t t h e y w e r e w o r k i n g o n w a s n ’ t n a r r o w e d d o w n r e a l l y v e r y w e l l . I m e a n i t ’ s h a r d — i n e n v i r o n m e n t a l s c i e n c e - p r o b a b l y t o d o t h i s . A n d s o t h a t t h e l e v e l d i d n o t s e e m r e a l l y h i g h t o m e . T h e s t u d e n t s w e r e g r a p p l i n g w i t h s o m a n y d i f f e r e n t f a c t o r s t h a t t h e y - i t d i d n ’ t l o o k l i k e t h e y w e r e a b l e t o g e t a h a n d l e o n w h a t w a s t r u l y g o i n g o n . A n d w h i l e t h a t m a y b e a r e a l p a r t o f s c i e n t i f i c i n q u i r y — i t w o u l d h a v e b e e n n i c e t o s e e a l i t t l e n a r r o w e r q u e s t i o n o r n a r r o w e r s e t o f q u e s t i o n s f o r t h e i r r e s e a r c h s o t h a t t h e y c o u l d h a v e a t l e a s t f e l t l i k e t h e y h a d s o m e k i n d o f a n s w e r s . I t s e e m e d l i k e i t w a s v e r y d i f f u s e a n d t h e y d i d n ’ t h a v e a n y a n s w e r s . S o m e k i d s w e r e l o o k i n g a t p a r a m e t e r s . I m e a n — s o m e k i d s r e a l l y d i d a p p e a r t o b e u s i n g s c i e n t i fi c r e a s o n i n g . S c i e n t i fi c t h o u g h t y e s , b u t t h e y w e r e d i s s a t i s fi e d b e c a u s e t h e y c o u l d n ’ t c o m e u p w i t h a n y r e a l l y m e a n i n g f u l c o n c l u s i o n s . 3 2 8 E X A M P L E # 2 O r i g i n a l V e r s i o n : 1 . W h a t a b o u t t h i s p a r t i c u l a r e x a m p l e o f t e a c h i n g a n d l e a r n i n g i s m o s t s i g n i fi c a n t t o y o u ? D a v e — W h a t h a p p e n e d i n t h i s c l a s s t h a t w a s m e m o r a b l e f o r y o u ? C a n y o u t e l l m e w h a t h a p p e n e d ? Y e a . L o o k e d a t — t h e s t u d e n t s s e t u p t h e i r l i t t l e f e r m e n t a t i o n c h a m b e r s a n d t h e i r f e r m e n t a t i o n l o c k s a n d t h e y h a d a c o u p l e d i f f e r e n t c a r b o h y d r a t e s m o n o s a c k r o d s , d i s s e c t r o d s a n d p o l y s a c k r o d s . A n d a s t u d e n t i n e a c h g r o u p w o u l d h a v e a d i f f e r e n t o n e . A n d t h e s t u d e n t s s a w t h a t t h e y m e a s u r e d t h e r a t e o f f e r m e n t a t i o n b y t h e n u m b e r o f c a r b d i o x i d e s b u b b l e s p r o d u c e d p e r m i n u t e i n t h e f e r m e n t a t i o n l o c k . A n d t h e y g a t h e r e d d a t a a n d t h e n s h a r e d t h e d a t a a n d g r a p h e d a n d s a w t h a t t h e m o n o s a c k r o d s a n d d i s s e c t r o d s a r e t h e h i g h e s t r a t e o f f e r m e n t a t i o n . A n d t h e p o l y s a c k r o d s h a v e t h e l o w e s t r a t e . A n d w e c o u l d m o v e t h a t i n t o a d i s c u s s i o n o f w h y a n d w a s a b l e t o a s s e s s s t u d e n t s u n d e r s t a n d i n g o f d i f f e r e n c e s b e t w e e n t h e s i m p l e r s u r g a r s i n p o l y s a c k r o d s a n d k i n d o f m o v e i n t o a d i s c u s s i o n o f w h y t h e r e i s d i f f e r e n c e s i n r a t e s o f f e r m e n t a t i o n e x i s t a n d r e l a y t h a t t o t h e d i f f e r e n c e s t h e y k n o w b e t w e e n t h e m o l e c u l a r s t r u c t u r e s o f t h e s e d i f f e r e n t m o l e c u l e s . F i n a l V e r s i o n : 2 . W h a t a b o u t t h i s p a r t i c u l a r e x a m p l e o f t e a c h i n g a n d l e a r n i n g i s m o s t s i g n i fi c a n t t o y o u ? Y e a . L o o k e d a t — t h e s t u d e n t s s e t u p t h e i r l i t t l e f e r m e n t a t i o n c h a m b e r s a n d t h e i r f e r m e n t a t i o n l o c k s a n d t h e y h a d a c o u p l e d i f f e r e n t c a r b o h y d r a t e s m o n o s a c c h a r i d e , d i s a c c h a r i d e s , a n d p o l y s a c c h a r i d e s . A n d a s t u d e n t i n e a c h g r o u p w o u l d h a v e a d i f f e r e n t o n e . A n d t h e s t u d e n t s s a w t h a t t h e y m e a s u r e d t h e r a t e o f f e r m e n t a t i o n b y t h e n u m b e r o f c a r b o n d i o x i d e b u b b l e s p r o d u c e d p e r m i n u t e i n t h e f e r m e n t a t i o n l o c k . A n d t h e y g a t h e r e d d a t a a n d t h e n s h a r e d t h e d a t a a n d g r a p h e d a n d s a w t h a t t h e m o n o s a c c h a r i d e a n d d i s s e c t r o d s a r e t h e h i g h e s t r a t e o f f e r m e n t a t i o n . A n d t h e p o l y s a c c h a r i d e s h a v e t h e l o w e s t r a t e . A n d w e c o u l d m o v e t h a t i n t o a d i s c u s s i o n o f w h y a n d w a s a b l e t o a s s e s s s t u d e n t s u n d e r s t a n d i n g o f d i f f e r e n c e s b e t w e e n t h e s i m p l e r s u g a r s i n p o l y s a c c h a r i d e s a n d k i n d o f m o v e i n t o a d i s c u s s i o n o f w h y t h e r e i s d i f f e r e n c e s i n r a t e s o f f e r m e n t a t i o n e x i s t a n d r e l a y 3 2 9 t h a t t o t h e d i f f e r e n c e s t h e y k n o w b e t w e e n t h e m o l e c u l a r s t r u c t u r e s o f t h e s e d i f f e r e n t m o l e c u l e s . E X A M P L E # 3 O r i g i n a l V e r s i o n : 3 1 ) B a s e d u p o n t h i s s t u d e n t ’ s t w o r e s p o n s e s , h o w w o u l d y o u d e s c r i b e t h e s t u d e n t ’ s g r o w t h i n u n d e r s t a n d i n g a b o u t t h e k i n e t i c t h e o r y o f m a t t e r ? W e l l t h e y h a v e c e r t a i n s t a t e m e n t s t h a t s h o w s t h a t t h e y h a v e l e a r n e d a b o u t k i n e t i c t h e o r y — l i k e t h a t t h e m o l e c u l e s i n a l i q u i d m o v e f a s t e r t h a n t h a t i n a s o l i d b u t n o t o f g a s . T h e f a c t t h a t t h e y a r e i n c o n s t a n t m o t i o n — a t t r a c t i o n — i n t e r m o l e c u l a r f o r c e s . H o w e v e r , I d o n ’ t k n o w w h e t h e r t h e t e a c h e r w a s t r y i n g t o g i v e t h e m a n a n a l o g y t o u s e t h e c a r a d v e r t i s e m e n t a s a n a n a l o g y f o r k i n e t i c t h e o r y o r u h m . . . t o b e a b l e t o a c t u a l l y e x p l a i n t h e c a r i n t e r m s o f k i n e t i c t h e o r y . A n d s i n c e t h i s i s a n a d v e r t i s e m e n t , I w o u l d a s s u m e t h a t i t ’ s k i n d o f l i k e a n a n a l o g y - l i k e w h a t i s i t t h e y a r e t r y i n g t o i m p r e s s u p o n t h e b u y e r . D a v e — Y e s D o e s t h a t — i s t h a t w h a t y o u m e a n ? D a v e — W e l l t h e i n s t r u c t i o n s t h a t w e r e p r o v i d e d t o s t u d e n t s s a y t o i n t e r p r e t t h e a d f r o m a m o l e c u l a r p o i n t o f v i e w . I t ’ s s o r t o f a n i n t e r e s t i n g q u e s t i o n b e c a u s e t h e a d c e r t a i n l y i s n ’ t s u p p o s e d t o m e a n a n y t h i n g m o l e c u l a r . P e o p l e a r e g o i n g t o b e b u y i n g a c a r w i l l n o t b e l o o k i n g a t i t i n t e r m s o f — o f m o l e c u l e s I d o n ’ t t h i n k — o r e v e n t h i n k i n g a b o u t i t i n t e r m s o f k i n e t i c t h e o r y . D a v e — I t h i n k t h a t t h e a i m i s t o i n t e r p r e t t h e h e a d l i n e o n t h e a d . O k — t h a t m a k e s m o r e s e n s e . O k — s o y o u r q u e s t i o n s i s h o w w e l l d i d t h e s t u d e n t s l e a r n i t ? D a v e — H o w w o u l d y o u d e s c r i b e t h e g r o w t h a n d u n d e r s t a n d i n g a b o u t t h e k i n e t i c t h e o r y o f m a t t e r f o r t h e s t u d e n t ? I w o u l d s a y t h a t t h e s t u d e n t d e fi n i t e l y h a s d e m o n s t r a t e d s o m e g r o w t h a n d u n d e r s t a n d i n g . D a v e — D e m o n s t r a t e d w h a t ? G r o w t h a n d u n d e r s t a n d i n g 3 3 0 F i n a l V e r s i o n : 3 2 ) B a s e d u p o n t h i s s t u d e n t ’ s t w o r e s p o n s e s , h o w w o u l d y o u d e s c r i b e t h e s t u d e n t ’ s g r o w t h i n u n d e r s t a n d i n g a b o u t t h e k i n e t i c t h e o r y o f m a t t e r ? W e l l t h e y h a v e c e r t a i n s t a t e m e n t s t h a t s h o w s t h a t t h e y h a v e l e a r n e d a b o u t k i n e t i c t h e o r y — l i k e t h a t t h e m o l e c u l e s i n a l i q u i d m o v e f a s t e r t h a n t h a t i n a s o l i d b u t n o t o f g a s . T h e f a c t t h a t t h e y a r e i n c o n s t a n t m o t i o n - a t t r a c t i o n - i n t e r m o l e c u l a r f o r c e s . H o w e v e r , I d o n ’ t k n o w w h e t h e r t h e t e a c h e r w a s t r y i n g t o g i v e t h e m a n a n a l o g y t o u s e t h e c a r a d v e r t i s e m e n t a s a n a n a l o g y f o r k i n e t i c t h e o r y o r u h m . . . t o b e a b l e t o a c t u a l l y e x p l a i n t h e c a r i n t e r m s o f k i n e t i c t h e o r y . A n d s i n c e t h i s i s a n a d v e r t i s e m e n t , I w o u l d a s s u m e t h a t i t ’ s k i n d o f l i k e a n a n a l o g y - l i k e w h a t i s i t t h e y a r e t r y i n g t o i m p r e s s u p o n t h e b u y e r . I t ’ s s o r t o f a n i n t e r e s t i n g q u e s t i o n b e c a u s e t h e a d c e r t a i n l y i s n ’ t s u p p o s e d t o m e a n a n y t h i n g m o l e c u l a r . P e o p l e a r e g o i n g t o b e b u y i n g a c a r w i l l n o t b e l o o k i n g a t i t i n t e r m s o f — o f m o l e c u l e s I d o n ’ t t h i n k — o r e v e n t h i n k i n g a b o u t i t i n t e r m s o f k i n e t i c t h e o r y . I w o u l d s a y t h a t t h e s t u d e n t d e fi n i t e l y h a s d e m o n s t r a t e d s o m e g r o w t h a n d u n d e r s t a n d i n g . E X A M P L E # 4 O r i g i n a l V e r s i o n : 3 4 ) D o y o u t h i n k t h a t t h e t e a c h e r h a s b e e n e f f e c t i v e i n f a c i l i t a t i n g a n d s u p p o r t i n g m e a n i n g f u l s c i e n t i fi c d i s c u s s i o n w h e r e s t u d e n t s e x p l o r e a n d h a v e t h e o p p o r t u n i t y t o u n d e r s t a n d i m p o r t a n t s c i e n t i fi c i d e a s ? W h a t d o e s t h i s t e a c h e r d o o r n o t d o t h a t s u p p o r t s y o u r a n s w e r ? S c i e n t i fi c i d e a s ? Y e a — f o r e x a m p l e t h e f a c t t h a t t h e r e - c h a n g e s i n t h e o r g a n i s m s o r f e w e r o r m o r e o f o n e t y p e o f o r g a n i s m . T h e y d i d n ’ t j u s t l o o k f o r o n e r e a s o n . T h e y t a l k e d a b o u t a l l t h e d i f f e r e n t r e a s o n s a n d h o w m a y b e w h a t t h e y s a w d i d n ’ t e x p l a i n i t - b e c a u s e t h e y w e r e t h e r e j u s t b r i e fl y . A n d I t h o u g h t t h a t w a s g o o d . D a v e — A n d h o w d i d t h e t e a c h e r h e l p s u p p o r t t h a t ? W e l l — h e a f fi r r n e d i t . H e s o r t o f w a s l i k e y e a . I t h o u g h t j u s t s o r t o f r e - a g r e e i n g w i t h t h e s t u d e n t s . D a v e — I ’ m s o r r y I c o u l d n ’ t h e a r A g r e e i n g o r a f fi r m i n g w i t h t h e s t u d e n t s t h a t m a d e t h o s e c o m m e n t s 3 3 1 F i n a l V e r s i o n : 3 5 ) D o y o u t h i n k t h a t t h e t e a c h e r h a s b e e n e f f e c t i v e i n f a c i l i t a t i n g a n d s u p p o r t i n g m e a n i n g f u l s c i e n t i fi c d i s c u s s i o n w h e r e s t u d e n t s e x p l o r e a n d h a v e t h e o p p o r t u n i t y t o u n d e r s t a n d i m p o r t a n t s c i e n t i fi c i d e a s ? W h a t d o e s t h i s t e a c h e r d o o r n o t d o t h a t s u p p o r t s y o u r a n s w e r ? Y e a — f o r e x a m p l e t h e f a c t t h a t t h e r e - — c h a n g e s i n t h e o r g a n i s m s o r f e w e r o r m o r e o f o n e t y p e o f o r g a n i s m . T h e y d i d n ’ t j u s t l o o k f o r o n e r e a s o n . T h e y t a l k e d a b o u t a l l t h e d i f f e r e n t r e a s o n s a n d h o w m a y b e w h a t t h e y s a w d i d n ’ t e x p l a i n i t — - b e c a u s e t h e y w e r e t h e r e j u s t b r i e fl y . A n d I t h o u g h t t h a t w a s g o o d . W e l l - h e a f fi r r n e d i t . H e s o r t o f w a s l i k e y e a . I t h o u g h t j u s t s o r t o f r e - a g r e e i n g w i t h t h e s t u d e n t s - - a g r e e i n g o r a f fi r m i n g w i t h t h e s t u d e n t s t h a t m a d e t h o s e c o m m e n t s . E X A M P L E # 5 O r i g i n a l V e r s i o n : 3 3 ) D e s c r i b e t h e f e e d b a c k o r f u r t h e r i n s t r u c t i o n ( i f a n y ) t h a t t h e t e a c h e r s h o u l d p r o v i d e t h e s t u d e n t b a s e d u p o n A r t i f a c t s 1 , 2 , & 3 ? U h m . . . . s e e — I w o u l d r e a l l y l i k e t o g o b a c k & r e r e a d e v e r y t h i n g a g a i n t o f u l l y a n s w e r t h a t q u e s t i o n . I ’ m i t ’ s a l s o — I h i t u p o n t h i s s o m e w h a t — u h m . . . . . . . I ’ m n o t r e a l l y s u r e . S o m e o f t h e l i q u i d s b y h a v i n g s t r o n g b o n d s b u t r e l a t i v e l y h i g h m o l e c u l a r m o v e m e n t - m o v e o v e r s u r f a c e s l i k e a s n a k e i n c o n s t a n t m o t i o n . T o m e — I - p e r s o n a l l y I w o u l d n o t - I w o u l d n o t u s e t h a t a n d I r e a l l y w o u l d n ’ t w a n t a s t u d e n t t o s o r t o f e q u a t e t h e t w o t o g e t h e r . D a v e — u h m . . . . U h m . . . . I w o u l d h a v e g o t h r o u g h a n d r e a l l y l o o k a t i t i n m o r e d e t a i l a n d t h i n k a b o u t i t D a v e — o k B u t I f e e l t h a t t h e s t u d e n t h a s — w a i t a m i n u t e t h i s i s n ’ t — n o t h e o t h e r o n e i s ~ - . . . . . . . . . . w h a t l e v e l w a s t h i s — 1 0 ’ h g r a d e o k — U h m . . . . y e a , I ’ v e h a v e t o r e a d i t — I d o n ’ t r e a l l y k n o w w h a t t h e t e a c h e r w o u l d d o t o b e y o n d t h i s p o i n t . D a v e — o k B e c a u s e I ’ v e n e v e r g o t t e n i n t o — I ’ v e n e v e r t a u g h t c h e m i s t r y D a v e — t h a t ’ s fi n e 3 3 2 F i n a l V e r s i o n : 3 4 ) D e s c r i b e t h e f e e d b a c k o r f u r t h e r i n s t r u c t i o n ( i f a n y ) t h a t t h e t e a c h e r s h o u l d p r o v i d e t h e s t u d e n t b a s e d u p o n A r t i f a c t s 1 , 2 , & 3 ? s e e — I w o u l d r e a l l y l i k e t o g o b a c k & r e r e a d e v e r y t h i n g a g a i n t o f u l l y a n s w e r t h a t q u e s t i o n . I ’ m i t ’ s a l s o — I h i t u p o n t h i s s o m e w h a t - . . . . . . . I ’ m n o t r e a l l y s u r e . S o m e o f t h e l i q u i d s b y h a v i n g s t r o n g b o n d s b u t r e l a t i v e l y h i g h m o l e c u l a r m o v e m e n t - m o v e o v e r s u r f a c e s l i k e a s n a k e i n c o n s t a n t m o t i o n . T o m e — I — p e r s o n a l l y I w o u l d n o t - I w o u l d n o t u s e t h a t a n d I r e a l l y w o u l d n ’ t w a n t a s t u d e n t t o s o r t o f e q u a t e t h e t w o t o g e t h e r . . . . . I w o u l d h a v e g o t h r o u g h a n d r e a l l y l o o k a t i t i n m o r e d e t a i l a n d t h i n k a b o u t i t - - B u t I f e e l t h a t t h e s t u d e n t h a s — w a i t a m i n u t e t h i s i s n ’ t - n o t h e o t h e r o n e i s - - . . . . . . . . . . w h a t l e v e l w a s t h i s — 1 0 t h g r a d e o k - . . . . y e a , I ’ v e h a v e t o r e a d i t — I d o n ’ t r e a l l y k n o w w h a t t h e t e a c h e r w o u l d d o t o b e y o n d t h i s p o i n t . B e c a u s e I ’ v e n e v e r g o t t e n i n t o — I ’ v e n e v e r t a u g h t c h e m i s t r y . 3 3 3 E X A M P L E # 6 O r i g i n a l V e r s i o n : S u p p o s e t h i s t e a c h e r a l s o s a i d s h e h a d a g o a l o f e n s u r i n g f a i r n e s s , e q u i t y a n d a c c e s s f o r a l l s t u d e n t s . W h a t s t e p s s h o u l d t h e t e a c h e r t a k e t o f u l fi l l t h i s o b j e c t i v e ? I t h i n k t h e fi r s t t h i n g w o u l d b e t o a s k q u e s t i o n s o f A l e j a n d r a . U h m b u t p e r s o n a l l y t h e y w o u l d b e - t h e y w o u l d n ’ t b e t h e m o s t c h a l l e n g i n g o n t h e s p o t q u e s t i o n s . B u t t h e y w o u l d b e m o r e q u e s t i o n s t o m a k e s u r e t h a t s h e f e e l s c o m f o r t a b l e w i t h t h e g r o u p a n d c o m f o r t a b l e s p e a k i n g w i t h t h e g r o u p . A n d I g u e s s i t r e a l l y d e p e n d s t o o , s h e ’ s f r o m E q u a d o r , a n d i t d e p e n d s o n i f s h e i s u n c o m f o r t a b l e s p e a k i n g E n g l i s h . I w o u l d a l s o p r o b a b l y t r y a n d t a k e t h a t i n t o a c c o u n t . I f s h e d o e s n ’ t s p e a k E n g l i s h a t a l l o f v e r y v e r y l i t t l e u h m — y o u k n o w - t a k i n g n o t e s w o u l d b e k i n d o f a c h a l l e n g e . I ’ m a s s u m i n g t h a t s h e s p e a k s a l i t t l e b i t . U h m — t h a t w o u l d b e d e fi n i t e l y o n e o f m y fi r s t s t e p s . U h m — I g u e s s i t d e p e n d s o n t h e c l a s s r o o m e n v i r o n m e n t a n d w h y s h e h a s E v a n w o r k i n g w i t h 3 g a l s a n d t h a t k i n d o f s t u f f — i t ’ s t o u g h t o s a y D a v e - H a s E v a n w o r k i n g w h a t ? W i t h 3 g a l s - g i r l s . D a v e — O h I ’ m s o r r y — I s t h a t s o m e t h i n g t h a t w o u l d b e — y o u ’ d w a n t t o k n o w w h y — i s t h a t w h a t y o u s a i d ? U h m — i t w o u l d n ’ t w e l l I I ’ m i n t e r e s t e d i n i t i f i f o n e o f h e r p r o f e s s i o n a l g o a l s i s w o r k i n g o n e q u i t y i n t h e c l a s s r o o m . U h m — y o u k n o w — i t d e p e n d s o n t h e r a t i o o f g u y s t o g i r l s i n t h e c l a s s r o o m a n d t h a t k i n d o f s t u f f ; b u t . D a v e - A n y t h i n g e l s e ? N o p e t h a t ’ s i t . 3 3 4 F i n a l V e r s i o n : S u p p o s e t h i s t e a c h e r a l s o s a i d s h e h a d a g o a l o f e n s u r i n g f a i r n e s s , e q u i t y a n d a c c e s s f o r a l l s t u d e n t s . W h a t s t e p s s h o u l d t h e t e a c h e r t a k e t o f u l fi l l t h i s o b j e c t i v e ? I t h i n k t h e fi r s t t h i n g w o u l d b e t o a s k q u e s t i o n s o f A l e j a n d r a . b u t p e r s o n a l l y t h e y w o u l d b e - t h e y w o u l d n ’ t b e t h e m o s t c h a l l e n g i n g o n t h e s p o t q u e s t i o n s . B u t t h e y w o u l d b e m o r e q u e s t i o n s t o m a k e s u r e t h a t s h e f e e l s c o m f o r t a b l e w i t h t h e g r o u p a n d c o m f o r t a b l e s p e a k i n g w i t h t h e g r o u p . A n d I g u e s s i t r e a l l y d e p e n d s t o o , s h e ’ s f r o m E q u a d o r , a n d i t d e p e n d s o n i f s h e i s u n c o m f o r t a b l e s p e a k i n g E n g l i s h . I w o u l d a l s o p r o b a b l y t r y a n d t a k e t h a t i n t o a c c o u n t . I f s h e d o e s n ’ t s p e a k E n g l i s h a t a l l o f v e r y v e r y l i t t l e — y o u k n o w - - t a k i n g n o t e s w o u l d b e k i n d o f a c h a l l e n g e . I ’ m a s s u m i n g t h a t s h e s p e a k s a l i t t l e b i t . — t h a t w o u l d b e d e fi n i t e l y o n e o f m y fi r s t s t e p s . - — I g u e s s i t d e p e n d s o n t h e c l a s s r o o m e n v i r o n m e n t a n d w h y s h e h a s E v a n w o r k i n g w i t h 3 g a l s a n d t h a t k i n d o f s t u f f — i t ’ s t o u g h t o s a y . — i t w o u l d n ’ t w e l l I I ’ m i n t e r e s t e d i n i t i f i f o n e o f h e r p r o f e s s i o n a l g o a l s i s w o r k i n g o n e q u i t y i n t h e c l a s s r o o m . — y o u k n o w - i t d e p e n d s o n t h e r a t i o o f g u y s t o g i r l s i n t h e c l a s s r o o m a n d t h a t k i n d o f s t u f f . 3 3 5 A p p e n d i x 1 : I m p o r t a n t C o m m u n i c a t i o n s w i t h C a n d i d a t e s 1 . L e t t e r f r o m t h e N a t i o n a l B o a r d t o P r o s p e c t i v e P a r t i c i p a n t s a n b e r 4 , 2 m 2 D e a r N a t i o n a l B o a r d C a n d i d a t e , T h e N a t i o n a l B o a r d o f t e n e n c o u r a g e s r e s e a r c h o n i s s u e s r e g a r d i n g t h e N a t i o n a l B o a r d C e r t i fi c a t i o n p r o c e s s , i t ’ s i m p a c t o n t e a c h e r s a n d s t u d e n t l e a r n i n g . A s a N a t i o n a l B o a r d C a n d i d a t e , m a n y r e s e a r c h e r s w a n t t o c o n t a c t y o u a n d g e t y o u r i n s i g h t t o t h e p r o c e s s . W e h e r e a t t h e N a t i o n a l B o a r d a l w a y s s t r i v e t o p r o t e c t c a n d i d a t e ’ s p r i v a c y w h e n r e q u e s t s a r e m a d e f o r i n f o r m a t i o n . T h a t i s w h y w e a r e s e n d i n g t h i s l e t t e r t o y o u . P l e a s e b e - a d v i s e d t h a t y o u r p a r t i c i p a t i o n i n a n y r e s e a r c h s t u d y w i l l h a v e n o i m p a c t o n y o u r s c o r i n g o r p e r f o r m a n c e r a t i n g f o r a c h i e v i n g N a t i o n a l B o a r d C e r t i fi c a t i o n . T h e c u r r e n t r e s e a r c h e r r e q u e s t i n g y o u r p a r t i c i p a t i o n i s M r . D a v i d L u s t i c k . H e i s a N a t i o n a l B o a r d C e r t i fi e d T e a c h e r a n d r e s e a r c h s p e c i a l i s t a t M i c h i g a n S t a t e U n i v e r s i t y . H e i s d o i n g a n i n d e p e n d e n t s t u d y o f t e a c h e r s p u r s u i n g N a t i o n a l B o a r d C e r t i fi c a t i o n . T h e s t u d y p r o p o s e s t o i n v e s t i g a t e t h e e x p e r i e n c e s o f s c i e n c e t e a c h e r s p a r t i c i p a t i n g i n t h e N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s c e r t i fi c a t i o n p r o c e s s . P a r t i c i p a n t s w i l l b e i n t e r v i e w e d b y t e l e p h o n e t h i s f a l l . D a t a w i l l b e c o l l e c t e d t h r o u g h a n i n t e r v i e w w i t h e a c h s e l e c t e d p a r t i c i p a n t . T h e r e c o r d e d i n t e r v i e w s w i l l t h e n b e a n a l y z e d t o i d e n t i f y t e a c h e r p e r c e p t i o n s , i d e a s , a n d p r a c t i c e s i n r e l a t i o n t o t h e c e r t i fi c a t i o n a s s e s s m e n t a n d t h e s t a n d a r d s o f a c c o m p l i s h e d t e a c h i n g i n s c i e n c e . T h e i n t e r v i e w w i l l t a k e a b o u t a n h o u r . Y o u w i l l b e c o m p e n s a t e d f o r y o u r t i m e w i t h a $ 2 5 g i f t c e r t i fi c a t e t o A m a z o n o n l i n e s t o r e s . I f y o u a r e i n t e r e s t e d i n l e a r n i n g m o r e a b o u t p a r t i c i p a t i n g i n t h i s s t u d y , c o n t a c t D a v i d L u s t i c k u s i n g t h e a t t a c h e d s e l f - a d d r e s s s t a m p e d p o s t c a r d . F o r y o u r c o n v e n i e n c e , y o u m a y a l s o c h o o s e t o c a l l h i m a t ( 5 1 7 ) 4 3 2 - 3 0 4 3 o r e m a i l h i m a t : l u s t i c k l @ m s u . e d u . S i n c e r e l y , A n n H a r m a n , P h . D . D i r e c t o r o f R e s e a r c h 3 3 6 2 . P o s t c a r d I n c l u d e d w i t h t h e L e t t e r f r o m N a t i o n a l B o a r d m I a m p u r s i n g N a t i o n a l B o a r d C e r t i fi c a t i o n f o r 2 0 0 4 a n d a m i n t e r e s t e d i n l e a r n i n g m o r e a b o u t r e c e i v i n g a $ 2 5 g i f t c e r t i fi c a t e t o A m a z o n . c o m a n d p a r t i c i p a t i n g i n a p r e s t i g i o u s s t u d y o n t h e N B P T S c e r t i fi c a t i o n p r o c e s s . F i r s t N a m e L a s t N a m e A d d r e s s C i t y S t a t e — Z i p T e l e p h o n e E m a i l I w i l l c o n t a c t y o u u p o n r e c e i p t . T h a n k s ! D a v i d L u s t i c k 3 3 7 3 . L e t t e r s e n t t o C a n d i d a t e w h o e x p r e s s e d a n i n t e r e s t i n p a r t i c i p a t i n g J a n u a r y 2 3 , 2 0 0 3 « fi r s t _ n a m e » « l a s t _ n a m e » « s t r e e t _ a d d r e s s » « C i t y » , « S t a t e » « Z i p » D e a r « fi r s t _ n a m e » « l a s t _ n a m e » , T h a n k y o u f o r d e m o n s t r a t i n g a n i n t e r e s t i n m y s t u d y o n N a t i o n a l B o a r d c e r t i fi c a t i o n . I a m a N a t i o n a l B o a r d c e r t i fi e d s e c o n d a r y s c i e n c e t e a c h e r a n d a r e s e a r c h s p e c i a l i s t a t M i c h i g a n S t a t e U n i v e r s i t y . Y o u h a v e b e e n c h o s e n a s a p o t e n t i a l p a r t i c i p a n t i n a n i n d e p e n d e n t s t u d y o f t e a c h e r s p u r s u i n g N a t i o n a l B o a r d c e r t i fi c a t i o n . I i n v i t e y o u t o c o n s i d e r t h i s p r o f e s s i o n a l a n d w o r t h w h i l e o f f e r . Y o u w i l l b e c o m p e n s a t e d f o r y o u r t i m e w i t h a $ 2 5 g i f t c e r t i fi c a t e t o A m a z o n o n l i n e s t o r e s . T h e r e s e a r c h b e i n g c o n d u c t e d i s i n d e p e n d e n t o f t h e N B P T S a n d y o u r p a r t i c i p a t i o n i n t h i s s t u d y w i l l h a v e n o b e a r i n g o n t h e N a t i o n a l B o a r d ’ s a s s e s s m e n t o f y o u r c e r t i f i c a t i o n e f f o r t s . T h i s s t u d y p r o p o s e s t o i n v e s t i g a t e t h e e x p e r i e n c e s a n d a p p r o a c h e s t o t e a c h i n g a n d l e a r n i n g o f s e c o n d a r y s c i e n c e t e a c h e r s p a r t i c i p a t i n g i n t h e N B P T S c e r t i fi c a t i o n p r o c e s s . P a r t i c i p a n t s w i l l b e i n t e r v i e w e d o n c e o r t w i c e b y t e l e p h o n e w i t h t h e fi r s t i n t e r v i e w t h i s w i n t e r a n d t h e s e c o n d l a t e r i n 2 0 0 3 . T h e r e c o r d e d i n t e r v i e w s w i t h e a c h p a r t i c i p a n t w i l l t h e n b e a n a l y z e d t o i d e n t i f y t e a c h e r p e r c e p t i o n s , i d e a s , a n d p r a c t i c e s i n r e l a t i o n t o t h e c e r t i fi c a t i o n a s s e s s m e n t a n d t h e s t a n d a r d s o f a c c o m p l i s h e d t e a c h i n g i n s c i e n c e . E a c h i n t e r v i e w w i l l t a k e a b o u t a n h o u r . Y o u r p r i v a c y w i l l b e p r o t e c t e d t o t h e m a x i m u m e x t e n t a l l o w a b l e b y l a w . T h e s u b j e c t s s h a l l n o t b e i d e n t i fi a b l e i n a n y r e p o r t o f r e s e a r c h fi n d i n g s ; o n r e q u e s t a n d w i t h i n t h e s e r e s t r i c t i o n s r e s u l t s m a y b e m a d e a v a i l a b l e t o s u b j e c t s . I f y o u h a v e a n y q u e s t i o n s a b o u t t h i s s t u d y , p l e a s e d o n o t h e s i t a t e t o c o n t a c t m e . I f y o u h a v e q u e s t i o n s o r c o n c e r n s r e g a r d i n g y o u r r i g h t s a s a s t u d y p a r t i c i p a n t , o r a r e d i s s a t i s fi e d a t a n y t i m e w i t h a n y a s p e c t o f t h i s s t u d y , y o u m a y c o n t a c t ( a n o n y m o u s l y , i f y o u w i s h ) A s h i r K u m a r , M . D . , C h a i r o f t h e U n i v e r s i t y C o m m i t t e e o n R e s e a r c h I n v o l v i n g H u m a n S u b j e c t s ( U C R I H S ) b y p h o n e : ( 5 1 7 ) 3 5 5 - 2 1 8 0 , f a x : ( 5 1 7 ) 4 3 2 - 4 5 0 3 , e - m a i l : u c r i h s @ m s u . e d u , o r r e g u l a r m a i l : 2 0 2 O l d s H a l l , E a s t L a n s i n g , M I 4 8 8 2 4 . m e a t ( 5 1 7 ) 4 3 2 - 3 0 4 3 . I f y o u w o u l d l i k e t o p a r t i c i p a t e , s i m p l y fi l l o u t t h e s t a t e m e n t o f c o n s e n t f o r m a n d r e t u r n i t t o m e i n t h e s e l f - a d d r e s s e d s t a m p e d e n v e l o p e . I i n v i t e y o u t o s e r i o u s l y c o n s i d e r t h i s w o r t h w h i l e o p p o r t u n i t y a n d I l o o k f o r w a r d t o y o u r r e s p o n s e . S i n c e r e l y , D a v i d L u s t i c k 3 3 8 a ) C ) d ) e ) a ) b ) c ) e ) 4 . S t a t e m e n t o f C o n s e n t a n d I n t r o d u c t o p y S u r v e y Q u e s t i o n s S t a t e m e n t o f C o n s e n t P l e a s e r e a d t h e f o l l o w i n g s t a t e m e n t o f c o n s e n t . I f y o u a g r e e t o p a r t i c i p a t e , p l e a s e s i g n , a n s w e r t h e 4 g e n e r a l q u e s t i o n s , a n d r e t u r n t h i s p a g e i n t h e s e l f - a d d r e s s e d s t a m p e d e n v e l o p e a t y o u r e a r l i e s t c o n v e n i e n c e . I f y o u w o u l d l i k e a n e l e c t r o n i c v e r s i o n o f t h e l e t t e r a n d a g r e e m e n t , I c a n p r o v i d e o n e u p o n r e q u e s t . A f t e r r e a d i n g t h e a c c o m p a n y i n g l e t t e r , y o u f r e e l y c o n s e n t t o p a r t i c i p a t e i n t h i s s t u d y o f t h e N a t i o n a l B o a r d o f P r o f e s s i o n a l T e a c h i n g S t a n d a r d s ( N B P T S ) c e r t i fi c a t i o n p r o c e s s . Y o u r p a r t i c i p a t i o n i s v o l u n t a r y a n d y o u m a y c h o o s e n o t t o p a r t i c i p a t e a t a l l , m a y r e f u s e t o p a r t i c i p a t e i n c e r t a i n p r o c e d u r e s o r a n s w e r c e r t a i n q u e s t i o n s o r m a y d i s c o n t i n u e t h e e x p e r i m e n t a t a n y t i m e w i t h o u t p e n a l t y o r l o s s o f b e n e fi t s t o w h i c h y o u a r e o t h e r w i s e e n t i t l e d . Y o u i n d i c a t e y o u r v o l u n t a r y a g r e e m e n t t o p a r t i c i p a t e b y c o m p l e t i n g a n d r e t u r n i n g t h i s f o r m i n t h e e n c l o s e d s e l f - a d d r e s s s t a m p e d e n v e l o p e . N a m e ( P l e a s e P r i n t C l e a r l y ) S i g n a t u r e D a t e T e l e p h o n e N u m b e r E m a i l W h i c h S t a n d a r d T i m e a r e y o u o n ? E T , C T , M T , o r P T Y e a r o f N B c e r t i fi c a t i o n ? P l e a s e a n s w e r t h e f o l l o w i n g q u e s t i o n s ( c i r c l e a l l t h a t a p p l y ) : H o w d i d y o u fi r s t h e a r a b o u t N a t i o n a l B o a r d c e r t i f i c a t i o n ? c o l l e a g u e m e d i a u n i o n s c h o o l a d m i n i s t r a t i o n o t h e r ( p l e a s e s p e c i f y ) : W h a t i n c e n t i v e s d i d y o u r d i s t r i c t , s t a t e , o r s c h o o l o fi ’ e r t o e n c o u r a g e t e a c h e r s t o p u r s u e N a t i o n a l B o a r d C e r t i fi c a t i o n ? s a l a r y , s t e p , o r r a n k i n c r e a s e y e a r l y b o n u s f o r l i f e o f c e r t i f i c a t e o n e - t i m e b o n u s u p o n a c h i e v i n g c e r t i fi c a t i o n n o n e o t h e r ( p l e a s e s p e c i f y ) : 3 3 9 3 . a ) b ) C ) e ) I n y o u r e f f o r t s t o c o m p l e t e t h e c e r t i fi c a t i o n r e q u i r e m e n t s , w h i c h o f t h e f o l l o w i n g r e s o u r c e ( s ) d o y o u a n t i c i p a t e u s i n g o r h a v e u s e d ? s c h o o l o r d i s t r i c t s u p p o r t g r o u p e m a i l g r o u p w e b n o n e o t h e r ( p l e a s e s p e c i f y ) : W h i c h s t a t e m e n t b e s t d e s c r i b e s y o u r w o r k o n t h e p o r t f o l i o e n t r i e s t o d a t e ? I h a v e r e c e i v e d m y m a t e r i a l s , b u t h a v e y e t t o b e g i n w o r k c o n s t r u c t i n g m y p o r t f o l i o e n t r i e s . I h a v e c o m p l e t e d 2 5 % o r l e s s o f m y p o r t f o l i o . I h a v e c o m p l e t e d a b o u t 5 0 % o f m y p o r t f o l i o . I h a v e c o m p l e t e d a b o u t 7 5 % o r m o r e o f m y p o r t f o l i o . o t h e r ( p l e a s e s p e c i f y ) : 3 4 0 5 . L e t t e r o f I n s t r u c t i o n s e n t w i t h v i d e o t a p ; a r t i f a c t s , a n d h a n d o u t f o r i n t e r v i e w N o v e m b e r 2 6 , 2 0 0 2 « fi r s t _ n a m e » « l a s t _ n a m e » « s t r e e t _ a d d r e s s » « C i t y » , « S t a t e » « Z i p » D e a r « fi r s t _ n a m e » , T h a n k y o u f o r a g r e e i n g t o p a r t i c i p a t e i n a s t u d y o n s c i e n c e t e a c h e r s p u r s u i n g N a t i o n a l B o a r d c e r t i fi c a t i o n . I k n o w h o w v a l u a b l e y o u r t i m e i s a n d a p p r e c i a t e y o u r w i l l i n g n e s s t o b e i n t e r v i e w e d . E n c l o s e d a r e t h e m a t e r i a l s y o u w i l l n e e d f o r o u r u p c o m i n g c o n v e r s a t i o n . I f I h a v e n o t y e t r e a c h e d y o u b y p h o n e t o a r r a n g e a n a p p o i n t m e n t , I w i l l d o s o s h o r t l y . T h e e n c l o s e d m a t e r i a l s i n c l u d e : 1 ) A 9 - p a g e h a n d o u t t h a t i n c l u d e s A r t i f a c t s 1 , 2 , & 3 a s w e l l a s 5 q u e s t i o n s w e w i l l d i s c u s s . I f y o u w i s h , y o u m a y l o o k o v e r t h e q u e s t i o n s b e f o r e t h e i n t e r v i e w , b u t i t i s n o t r e q u i r e d . 2 ) A v i d e o t a p e l a b e l e d A r t i f a c t # 4 . P l e a s e d o _ r _ 1 _ o _ t v i e w p r i o r t o o u r c o n v e r s a t i o n . 3 ) A s e l f - a d d r e s s e d s t a m p e d e n v e l o p e f o r r e t u r n i n g t h e 9 - p a g e h a n d o u t a n d t h e v i d e o t a p e a f t e r t h e i n t e r v i e w . A f e w t h i n g s t o r e m e m b e r : 1 ) I t i s i m p o r t a n t t o u n d e r s t a n d t h a t t h e r e i s n o ‘ r i g h t ’ a n s w e r t o a n y q u e s t i o n . 2 ) W h e n y o u a r e i n t e r v i e w e d , y o u s h o u l d h a v e a c c e s s t o a V C R a n d T V t o w a t c h t h e 6 - m i n u t e s e g m e n t d u r i n g t h e i n t e r v i e w . Y o u d o n o t h a v e t o p h y s i c a l l y h o l d t h e p h o n e w h e n y o u w a t c h t h e t a p e . I t i s p e r f e c t l y a c c e p t a b l e t o p u t t h e r e c e i v e r d o w n a n d g o t o a n o t h e r r o o m t o v i e w t h e t a p e a n d t h e n r e t u r n . 3 ) Y o u w i l l n e e d t o h a v e a p e n o r p e n c i l t o j o t d o w n s o m e n o t e s a n d a n s w e r a f e w q u e s t i o n s o n t h e h a n d o u t . 4 ) T h e i n t e r v i e w s h o u l d t a k e a b o u t a n h o u r . S i n c e I w i l l b e r e c o r d i n g t h e c o n v e r s a t i o n , t h e p l a c e y o u c h o o s e t o t a l k s h o u l d b e q u i e t w i t h a m i n i m u m o f b a c k g r o u n d n o i s e . O n c e a g a i n l e t m e a s s u r e y o u t h a t y o u w i l l n o t b e i d e n t i fi a b l e i n a n y r e p o r t o f t h e r e s e a r c h fi n d i n g s . Y o u r p r i v a c y w i l l b e p r o t e c t e d t o t h e m a x i m u m e x t e n t a l l o w a b l e b y l a w . I f y o u h a v e a n y q u e s t i o n s a b o u t t h e e n c l o s e d m a t e r i a l s , t h e p r o c e d u r e s d e s c r i b e d , o r t h e s t u d y i t s e l f , p l e a s e d o n o t h e s i t a t e t o c o n t a c t m e o r a s k f o r c l a r i fi c a t i o n d u r i n g t h e i n t e r v i e w . I l o o k f o r w a r d t o t a l k i n g w i t h y o u s o o n . S i n c e r e l y , D a v i d L u s t i c k 3 4 1 6 . E m a i l m e s s a g e s e n t t o c a n d i d a t e s i n G r o u p s 2 a n d 3 . D e a r « fi r s t _ n a m e » , T h a n k y o u f o r c o n t a c t i n g m e r e g a r d i n g t h e s t u d y o n N a t i o n a l B o a r d c e r t i fi c a t i o n . Y o u r w i l l i n g n e s s t o l e a r n m o r e a n d p o t e n t i a l l y p a r t i c i p a t e i n t h e s t u d y i s g r e a t l y a p p r e c i a t e d . I w i l l b e s e n d i n g o u t a f o r m a l l e t t e r o f i n v i t a t i o n a n d a C o n s e n t F o r m f o r t h i s s t u d y w i t h a S A S E t h r o u g h s n a i l m a i l t o m o r r o w . H o w e v e r , i n t h e m e a n t i m e , c o u l d y o u p l e a s e l o o k o v e r y o u r c o n t a c t i n f o r m a t i o n a n d c o n fi r m / c o r r e c t / o r c o m p l e t e i t ? I w a n t t o m a k e s u r e t h a t I h a v e i t a c c u r a t e . N a m e : « f i r s t _ n a m e » « l a s t _ n a m e » A d d r e s s : « s t r e e t _ a d d r e s s » C i t y : « C i t y » S t a t e : « S t a t e » Z i p : « Z i p » T e l e p h o n e : « P h o n e » F i n a l l y , W h i c h s t a t e m e n t b e s t d e s c r i b e s y o u r w o r k o n t h e p o r t f o l i o e n t r i e s t o d a t e ? a ) _ _ I h a v e r e g i s t e r e d , b u t h a v e n o t b e g u n c o n s t r u c t i n g m y p o r t f o l i o e n t r i e s . b ) _ _ I h a v e c o m p l e t e d 2 5 % o r l e s s o f m y p o r t f o l i o . c ) _ I h a v e c o m p l e t e d a b o u t 5 0 % o f m y p o r t f o l i o . d ) _ I h a v e c o m p l e t e d a b o u t 7 5 % o r m o r e o f m y p o r t f o l i o . e ) _ _ o t h e r ( p l e a s e s p e c i f y ) : T h a n k y o u f o r y o u r t i m e a n d I l o o k f o r w a r d t o y o u r r e s p o n s e . I f y o u h a v e a n y q u e s t i o n s o r c o n c e r n s , p l e a s e d o n o t h e s i t a t e t o c o n t a c t m e . S i n c e r e l y , D a v i d L u s t i c k N B C T M i c h i g a n S t a t e U n i v e r s i t y S p e c i a l i s t / R e s e a r c h e r 3 4 2 7 . L e t t e r o f A p o l o g y S e n t t o C a n d i d a t e s t h a t w o u l d h a v e b e e n G r o u p 2 A J a n u a r y 1 6 , 2 0 0 3 « fi r s t _ n a m e » « l a s t _ n a m e » « s t r e e t _ a d d r e s s » « C i t y » , « S t a t e » « Z i p » D e a r « fi r s t _ n a m e » « l a s t _ n a m e » , T h a n k y o u f o r a g r e e i n g t o p a r t i c i p a t e i n a s t u d y o n s c i e n c e t e a c h e r s p u r s u i n g N a t i o n a l B o a r d c e r t i fi c a t i o n . I fi r s t w a n t t o a p o l o g i z e f o r t h e l a t e n e s s o f t h i s l e t t e r . I b e c a m e a w a r e o f y o u r r e s p o n s e s o n l y t o d a y . I t s e e m s t h a t t h e y w e r e m i s p l a c e d i n t o a n u n u s e d m a i l b o x a n d w e r e o n l y d i s c o v e r e d t o d a y b y a s e c r e t a r y . N o o n e i s m o r e d i s a p p o i n t e d b y t h i s d e v e l o p m e n t t h a n m e . T h o u g h I t r y t o f o l l o w u p o n e v e r y p o s s i b l e c o n t i n g e n c y w h e n t r a c k i n g a n d m o n i t o r i n g t h e s e r e s p o n s e s , s o m e t i m e s m i s t a k e s a r e m a d e . U n f o r t u n a t e l y , t h e p h a s e o f t h e s t u d y f o r w h i c h y o u w e r e w i l l i n g t o p a r t i c i p a t e i s c o m p l e t e . O n c e a g a i n , I a m s o r r y f o r a n y i n c o n v e n i e n c e o r d i s a p p o i n t m e n t t h i s e r r o r m a y c a u s e y o u . I h o p e t h i s e x p e r i e n c e w i l l n o t s o u r y o u r d e s i r e t o p a r t i c i p a t e i n e d u c a t i o n a l r e s e a r c h i n t h e f u t u r e . Y o u r w i l l i n g n e s s t o c o n t r i b u t e t o t h e k n o w l e d g e a b o u t o u r p r o f e s s i o n i s g r e a t l y a p p r e c i a t e d . I w i s h y o u w e l l a n d t h e b e s t o f l u c k i n a l l o f y o u r e n d e a v o r s , S i n c e r e l y , D a v i d L u s t i c k 3 4 3 8 . L e t t e r o f U m L a t e t o e v e r y c a n d i d a t e w h o p a r t i c i p a t e d i n e a c h o f t h e 3 g r o u p s . J u l y 1 0 , 2 0 0 4 I h o p e t h i s u p d a t e fi n d s y o u d o i n g w e l l a n d e n j o y i n g t h e s u m m e r w e a t h e r . I h a v e b e e n v e r y b u s y e x a m i n i n g t h e d a t a f r o m o u r s t u d y o n N a t i o n a l B o a r d c e r t i fi c a t i o n . I a m w r i t i n g n o w t o b r i n g y o u u p t o d a t e o n w h e r e t h i n g s s t a n d . I i n t e n d t o fi n i s h p r i m a r y w r i t i n g b y t h e e n d o f t h e m o n t h . A f t e r a r e v i e w a n d e d i t i n g p h a s e , t h e fi n a l r e p o r t w i l l b e d e l i v e r e d i n S e p t e m b e r . A t t h i s t i m e , I w i l l c o n t a c t y o u a g a i n w i t h i n s t r u c t i o n s f o r a c c e s s i n g t h e d o c u m e n t . Y o u r c o n t r i b u t i o n s t o t h i s s t u d y a r e g r e a t l y a p p r e c i a t e d . I c o n s i d e r m y s e l f h o n o r e d a n d h u m b l e d t o h a v e h a d t h e o p p o r t u n i t y t o t a l k w i t h y o u a b o u t t e a c h i n g , l e a r n i n g , s c i e n c e , a n d N a t i o n a l B o a r d c e r t i f i c a t i o n . T h e o u t c o m e s o f m y i n t e r v i e w s d e m o n s t r a t e s o m e v e r y i n t e r e s t i n g a n d ( I h o p e ) m e a n i n g f u l i n s i g h t s i n t o t h e c e r t i fi c a t i o n p r o c e s s a n d s c i e n c e e d u c a t i o n . S o m e d a y , I h o p e w e c a n m e e t a t a c o n f e r e n c e o r c o l l a b o r a t e o n a n o t h e r r e s e a r c h p r o j e c t . I f t h e r e i s e v e r a t i m e w h e n I m i g h t b e a b l e t o h e l p y o u w i t h s o m e t h i n g , p l e a s e d o n o t h e s i t a t e t o a s k . R e g a r d s , D a v i d L u s t i c k M i c h i g a n S t a t e U n i v e r s i t y 9 . E m a i l r e m i n d e r t o C a n d i d a t e s a b o u t r e c e i v i n g t h e i r G i f t C e r t i fi c a t e T h i s a n e m a i l ' h e a d s u p ' r e m i n d e r t h a t y o u r $ 2 5 g i f t c e r t i fi c a t e t o A m a z o n . c o m w i l l a r r i v e s o o n . P l e a s e b e o n t h e l o o k o u t f o r a n e m a i l m e s s a g e f r o m A m a z o n . c o m t h a t w i l l c o n t a i n t h e o n l i n e g i f t c e r t i fi c a t e . B e c a r e f u l n o t t o d e l e t e i t . I f y o u h a v e a fi l t e r f o r y o u r e m a i l p r o g r a m t h a t b l o c k s m e s s a g e s f r o m A m a z o n , y o u m a y w a n t t o a d j u s t t h e m u n t i l t h e c e r t i fi c a t e a r r i v e s . I f y o u w o u l d l i k e i t s e n t t o a d i f f e r e n t e m a i l a d d r e s s , p l e a s e l e t m e k n o w t h e a d d r e s s b y t h i s w e e k e n d . I h o p e y o u r t e a c h i n g t h i s y e a r i s g o i n g w e l l . I t w o n ' t b e t o o l o n g b e f o r e y o u fi n d o u t a b o u t N B P T S . U n o f fi c i a l w o r d f r o m t h e B o a r d i s t h a t d e c i s i o n s w i l l b e p o s t e d b y t h e fi r s t w e e k i n D e c e m b e r . T h e s t u d y i s g o i n g w e l l . I w i l l c o n t a c t y o u a g a i n n e x t y e a r w i t h t h e r e s u l t s . T h a n k s f o r y o u r p a r t i c i p a t i o n i n t h e p r o j e c t . F o n d l y , D a v i d L u s t i c k 3 4 4 A p p e n d i x J : U C R I H S A P P R O V A L R E N E W A L A P P L I C A T I O N F O R R E N E W E D A P P R O V A L O F A P R O J E C T I N V O L V I N G H U M A N S U B J E C T S U n i v e r s i t y C o m m i t t e e o n R e s e a r c h I n v o l v i n g H u m a n S u b j e c t s ( U C R I H S ) A s h i r K u m a r , M D , C h a i r 2 0 2 O l d s H a l l , M i c h i g a n S t a t e U n i v e r s i t y E a s t L a n s i n g , M I 4 8 8 2 4 - 1 0 4 6 P H O N E ( 5 1 7 ) 3 5 5 - 2 1 8 0 F A X ( 5 1 7 ) 4 3 2 - 4 5 0 3 E - M a i l - U C R I H S @ m s u . e d u W E B S I T E - h t t p : / / w w w . h u m a n r e s e a r c h . m s u . e d u / O f f i c e H o u r s : M - F ( 8 : 0 0 A . M . - - 5 : 0 0 P . M . ) P l e a s e w r i t e i n y o u r I R B # [ W W - 7 2 8 I D I R E C T I O N S : 1 . P l e a s e c o m p l e t e a l l q u e s t i o n s o n t h i s f o r m a n d 2 ) A t t a c h a c o p y o f y o u r C U R R E N T C O N S E N T F O R M . 3 . R e s p o n s i b l e I n v e s t i g a t o r m u s t s i g n t h i s p a g e . “ N O T E : T h i s R e n e w a l f o r m w i t h i t s r e s p e c t i v e e n c l o s u r e s ( e . g . c u r r e n t c o n s e n t I o r r n s , r e v i s e d i n s t r u m e n t s , e t c . ) m a y n o w b e s u b m i t t e d e l e c t r o n i c a l l y a s a n e m a i l a t t a c h m e n t . T h i s e m a i l m u s t b e s e n t f r o m t h e M S U p i l o t a c c o u n t o f t h e R e s p o n s i b l e P r i n c i p l e I n v e s t i g a t o r ( i . e . , 1 “ R E Q U I R E D I F A P P U C A B L E 1 . m m P r 0 i e c t I n v e s t i g a t o r . 2 . S e c o n d a g y I n v e s t i g a t o r . ( M S U F a c u l t y o r s t a f f s m e r v i s o r ) ( " S t u d e n t s _ M g t P r o v i d e S t u d e n t | D # * ' ) N a m e : P r o f . M a r y K e n n e r N a m e : D a v i d L u s t i c k S o c i a l S e c u r i t y # : 3 7 7 - 4 2 - 1 9 1 8 S t u d e n t I D # : o r S S # 1 1 9 4 0 - 3 0 4 0 Z - P l D 2 4 0 3 9 2 6 9 6 D e p a r t m e n t T e a c h e r E d u c a t i o n D e p a r t m e n t : T e a c h e r E d u c a t i o n C o l l e g e : C o l l e g g E d u c a t i o n C o l l e g e : C o l l e g e o f E d u c a t i o n A m d e m ' c F i a n i c A m d e r r i c F i a n l c N a i l i n g 1 1 6 F E r i c k s o n H a l l N a i l i n g 1 1 6 U E r i c k s o n H a l l A d d r e s s : M S U , E a s t L a n s i n g , M I A d d r e s s : M S U , F a s t I a n s i n g , M I P h o n e ( 5 1 7 ) 4 3 2 - 5 5 4 9 P h o n e : ( 5 1 7 4 3 2 - 3 0 4 3 F a x : £ 1 7 ) 4 3 2 - 4 0 9 2 F a x : ( 5 1 7 ) 3 5 3 6 3 9 3 E m a i l : m k e n n e d y @ m s u . e d u E m a i l : L u s t i c k i @ m s u . e d u ' I h e p r o v i d e d i n f o r m a t i o n i s c o m p l e t e a n d A d d i t i o n a l I n v e a i g m o r l n l o m a t i m a c c u r a t e ; f u r t h e n n o r e , I a c c e p t c o n t i n u e d 3 . N a m e : r e s p o n s i b i l i t y f o r c o n d u c t i n g t h e p r o p o s e d S t u d e n t l D # : o r S S # r e s e a r c h i n a c c o r d a n c e w i t h t h e p r o t e c t i o r r s o f 4 . N a m e : h u m a n s u b j e c t s a s s p e c i fi e d b y U C R I H S , i n c l u d i n g t h e s u p e r v i s i o n o f f a c u l t y a n d s t u d e n t c o - i n v e s t i g a t o r s . S t u d e n t I D # : o r S S # S I G N H E R E 5 . N a m e : D a t e : S t u d e n t I D # : o r S S # N o t e : W i t h e r s s i g t a t u r e , a i p l i c a t i o n c a n _ n g t b e p r o c e s s e d l 1 o u t “ ” W e 3 m m m o m m a . “ 3 4 5 6 , T i t l e o f N a t i o n a l B o a r d C e r t i fi c a t i o n a s P r o f e s s i o n a l D e v e l o p m e n t : P r o j e c t : W h a t a r e T e a c h e r s L e a r n i n g ? [ ] C h e c k b o x i f t h e r e i s a t i t l e c h a n g e . I n v e s t i g a t o r o f r e c o r d ) . 3 4 6 R E F E R E N C E S A B C T E , 2 0 0 5 . A m e r i c a n B o a r d f o r C e r t i f i e d T e a c h i n g E x c e l l e n c e , l a s t a c c e s s e d F e b r u a r y 5 , 2 0 0 5 f r o m : h t t p z / l w w w a b c t e x g l A d e l s o n , R . ( 2 0 0 4 ) . I n s t r u c t i o n v e r s u s e x p l o r a t i o n i n s c i e n c e l e a r n i n g : R e c e n t p s y c h o l o g i c a l r e s e a r c h c a l l s ' d i s c o v e r y l e a r n i n g ’ i n t o q u e s t i o n , M o n i t o r 0 n P s y c h o l o g y , 3 5 ( 6 ) : 3 4 ; l a s t a c c e s s e d o n F e b r u a r y 4 , 2 0 0 5 f r o m : . . l m : / / w w w ; 1 p a . o r g l m o n i t o r / i u n O 4 / i n s t r u c t . h t m l . A m e r i c a n T e a c h e r . ( 2 0 0 0 ) . A m e r i c a n T e a c h e r , 8 4 , 3 . A r e g l a d o , N . ( 1 9 9 9 ) . I b e c a m e c o n v i n c e d . J o u r n a l o f S t a f f D e v e l o p m e n t , 2 0 ( 1 ) , 3 5 - 3 7 . A t h a n a s e s , S . Z . ( 1 9 9 4 ) . T e a c h e r s ' r e p o r t s o f t h e e f f e c t s o f p r e p a r i n g p o r t f o l i o s o f l i t e r a c y i n s t r u c t i o n . T h e E l e m e n t a r y S c h o o l J o u r n a l 9 4 ( 4 ) : 4 2 1 - 4 3 9 . B a i l e y , D . L . & H e l m s , R . G . ( 2 0 0 0 ) . T h e n a t i o n a l b o a r d c e r t i fi e d t e a c h e r . F a s t b a c k 4 7 0 . B l o o m i n g t o n , I N : P h i D e l t a K a p p a n E d u c a t i o n F o u n d a t i o n , p p 8 - 4 7 . B a l l , D . , & C o h e n , D . ( 1 9 9 5 ) . D e v e l o p i n g p r a c t i c e , d e v e l o p i n g p r a c t i t i o n e r s : T o w a r d a p r a c t i c e - b a s e d t h e o r y o f p r o f e s s i o n a l e d u c a t i o n . N e w Y o r k : N a t i o n a l C o m m i s s i o n o n T e a c h i n g a n d A m e r i c a ' s F u t u r e . B a l l o u , D . & P o d g u r s k y , M ( 1 9 9 8 ) . S o m e u n a n s w e r e d q u e s t i o n s c o n c e m i n g N a t i o n a l B o a r d c e r t i fi c a t i o n o f t e a c h e r s . E d u c a t i o n a l L e a d e r s h i p C o u n c i l [ 1 9 9 8 , A p r i l ] . B e n z , J . ( 1 9 9 7 ) . M e a s u r i n g u p : A p e r s o n a l j o u r n e y t h r o u g h N a t i o n a l B o a r d C e r t i fi c a t i o n i n A r t . A r t E d u c a t i o n , 5 0 ( 5 ) , 2 0 - 2 4 , 4 9 - 5 0 . B i s h o p , W . ( 2 0 0 4 ) . D i r e c t I n s t r u c t i o n I n S c i e n c e I s M o r e E f f e c t i v e , M a t h - T e a c h / M a t h - L e a r n p o s t o f 1 0 N o v 2 0 0 4 0 9 : 3 9 : 1 0 - 0 8 0 0 ; l a s t a c c e s s e d F e b r u a r y 5 , 2 0 0 5 f r o m : h t t p : / / m a t h f o r u m . o r g / e p i g o n e / m a t h t e g c h / s k u n g p h a fl o n / 5 . 1 . 0 . 1 4 . 2 . 2 0 0 4 1 1 1 0 0 9 3 4 0 1 . 0 5 8 7 4 b a 0 @ e x c h g g e c a l s t a t e l g e d u B o h l m e i j e r E . , S m i t F . , C u i j p e r s , P . ( 2 0 0 3 ) . E f f e c t s o f r e m i n i s c e n c e a n d l i f e r e v i e w o n l a t e - l i f e d e p r e s s i o n : A m e t a - a n a l y s i s . I n t e r n a t i o n a l J o u r n a l o f G e r i a t r i c P s y c h i a t r y 1 8 ( 1 2 ) , 1 0 8 8 - 1 0 9 4 . B o n d , L . , S m i t h , T . , B a k e r , W . , & H a t t i e , J . ( 2 0 0 0 ) . T h e C e r t i fi c a t i o n S y s t e m o f t h e N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s : A c o n s t r u c t a n d c o n s e q u e n t i a l v a l i d i t y s t u d y . G r e e n s b o r o , N C : C e n t e r f o r E d u c a t i o n a l R e s e a r c h a n d E v a l u a t i o n a t t h e U n i v e r s i t y o f N o r t h C a r o l i n a a t G r e e n s b o r o . B o s h i e r , R . ( 1 9 9 4 ) . I n i t i a t i n g R e s e a r c h . I n D . R . G a r r i s o n ( E d . ) , R e s e a r c h P e r s p e c t i v e s i n A d u l t E d u c a t i o n ( 1 s t e d . , p p . 7 3 - 1 1 6 ) . M a l a b a r , F L : K r i e g e r P u b l i s h i n g C o m p a n y . 3 4 7 B u r l i n g a m e , G . M . , F u h r i m a n , A . , e t a 1 . ( 2 0 0 3 ) . T h e d i f f e r e n t i a l e f f e c t i v e n e s s o f g r o u p p s y c h o t h e r a p y : A m e t a - a n a l y t i c p e r s p e c t i v e . G r o u p D y n a m i c s , 7 ( 1 ) , 3 - 1 2 . B u r r o u g h s , R . , S c h w a r t z , T . A . , & H e n d r i c k s - L e e , M . ( 2 0 0 0 ) . C o m m u n i t i e s o f p r a c t i c e a n d d i s c o u r s e c o m m u n i t i e s : N e g o t i a t i n g b o u n d a r i e s i n N B P T S c e r t i fi c a t i o n . T e a c h e r ' s C o l l e g e R e c o r d , 1 0 2 ( 2 ) , 3 4 4 - 3 7 4 . B u s h , G . W . ( 2 0 0 1 ) . N o C h i l d L e f t B e h i n d . D i s t r i c t o f C o l u m b i a , D e p a r t m e n t o f E d u c a t i o n , W a s h i n g t o n , D C . O f fi c e o f t h e S e c r e t a r y : 3 4 . B u s h , G . W . ( 2 0 0 2 ) . P r e s i d e n t L a u n c h e s Q u a l i t y T e a c h e r I n i t i a t i v e , P R N e w s w i r e , l a s t a c c e s s e d A u g u s t 4 , 2 0 0 4 f r o m : h t t p : / / w w w . b o s t o n . c o n v d a i h / n e w s / 0 6 3 / w a s h _ / _ P r e s i d e n t _ L a u n c h e s _ Q u a l i t y _ T e : . s h t m . C a m p b e l l , D o n a l d & M c C o r m a c k , T h e l m a H . ( 1 9 5 7 ) . M i l i t a r y e x p e r i e n c e a n d a t t i t u d e s t o w a r d a u t h o r i t y . A m e r i c a n J o u r n a l o f S o c i o l o g y , 6 2 , 4 8 2 - 4 9 0 . C a m p b e l l , D o n a l d & S t a n l e y , J u l i a n ( 1 9 6 3 ) . E x p e r i m e n t a l a n d Q u a s i - e x p e r i m e n t a l D e s i g n s f o r R e s e a r c h . H o p e w e l l , N J : H o u g h t o n M i f fl i n C o m p a n y . C h a s e , B . ( 1 9 9 9 ) . N E A T o d a y , 2 / 9 9 , I 7 . C h i t t e n d e n , E . , & J o n e s , J . ( 1 9 9 7 ) . A n o b s e r v a t i o n a l s t u d y o f N a t i o n a l B o a r d c a n d i d a t e s a s t h e y p r o g r e s s t h r o u g h t h e c e r t i f i c a t i o n p r o c e s s . M a r c h 2 4 - 2 8 . P a p e r p r e s e n t e d a t t h e a n n u a l m e e t i n g o f t h e A m e r i c a n E d u c a t i o n a l R e s e a r c h A s s o c i a t i o n , C h i c a g o , I L . C l i n t o n , W i l l i a m ( 1 9 9 7 ) . T h e S t a t e o f t h e U n i o n A d d r e s s , W a s h i n g t o n , D C , l a s t a c c e s s e d F e b r u a r y 4 , 1 9 9 7 , f r o m : h t t p : / / c l i n t o n 2 . n a _ r a _ 1 . g o v / W H / S O U 9 7 / . C o h e n , D a v i d . K . ( 1 9 8 8 ) . T e a c h i n g p r a c t i c e : P l u s c a c h a n g e . I n P h i l i p W . J a c k s o n ( E d . ) , C o n t r i b u t i n g t o e d u c a t i o n a l c h a n g e : P e r s p e c t i v e s o n r e s e a r c h a n d p r a c t i c e ( p p . 2 7 - 8 4 ) . B e r k e l e y , C A : M c C u t c h a n . C o h e n , D a v i d . K . ( 1 9 9 0 ) . T h e C a s e o f M s . O u b l i e r . E d u c a t i o n a l E v a l u a t i o n a n d P o l i c y A n a l y s i s , 1 2 ( 3 ) , 3 2 7 - 3 4 5 . C o h e n , J . ( 1 9 7 7 ) . S t a t i s t i c a l p o w e r a n a l y s i s f o r t h e b e h a v i o r a l s c i e n c e s . N e w Y o r k , A c a d e m i c P r e s s . C o l l i n s , D . B . & H o l t o n , E . ( 2 0 0 4 ) . T h e e f f e c t i v e n e s s o f m a n a g e r i a l l e a d e r s h i p d e v e l o p m e n t p r o g r a m s : A m e t a - a n a l y s i s o f s t u d i e s f r o m 1 9 8 2 t o 2 0 0 1 . H u m a n R e s o u r c e D e v e l o p m e n t Q u a r t e r l y , 1 5 ( 2 ) , p p 1 5 3 - 1 7 0 . 3 4 8 C o o k , T h o m a s D . & C a m p b e l l , D o n a l d T . ( 1 9 7 9 ) . Q u a s i - E x p e r i m e n t a t i o n : D e s i g n & A n a l y s i s I s s u e s f o r F i e l d S e t t i n g s ( F i r s t e d . ) . B o s t o n : H o u g h t o n M i f f l i n C o m p a n y . C r a w f o r d , J . & I m p a r a , J a m e s . ( 2 0 0 1 ) . C r i t i c a l I s s u e s , C u r r e n t T r e n d s , a n d P o s s i b l e F u t u r e s i n Q u a n t i t a t i v e M e t h o d s . I n V . R i c h a r d s o n ( E d . ) , H a n d b o o k o f r e s e a r c h o n t e a c h i n g ( 4 t h e d . , ) . W a s h i n g t o n , D C : A m e r i c a n E d u c a t i o n a l R e s e a r c h A s s o c i a t i o n . C R E D E , ( 2 0 0 2 ) . C e n t e r f o r R e s e a r c h o n E d u c a t i o n , D i v e r s i t y & E x c e l l e n c e , l a s t a c c e s s e d M a y 2 3 , 2 0 0 4 f r o m : h t t p : / / w w w . c r e d e . u c s c . e d u / s t a n d a r d s / s t a n d a r d s . h t m l . C r i t s - C h r i s t o p h , P . ( 1 9 9 2 ) . T h e e f fi c a c y o f b r i e f d y n a m i c p s y c h o t h e r a p y : A m e t a - a n a l y s i s . A m e r i c a n J o u r n a l o f P s y c h i a t r y , 1 4 9 ( 2 ) , 1 5 1 - 1 5 8 . D a r l i n g - H a m m o n d , L . a n d M c L a u g h l i n , I d a ( 1 9 9 6 ) . P o l i c i e s t h a t S u p p o r t P r o f e s s i o n a l D e v e l o p m e n t i n a n E r a o f R e f o r m . I n M . W . O . M c L a u g h l i n , I d a ( E d . ) , T e a c h e r L e a r n i n g ( F i r s t e d . , p p . 2 0 2 - 2 1 8 ) . N e w Y o r k : T e a c h e r s C o l l e g e P r e s s . D a r l i n g - H a m m o n d , L i n d a ( 2 0 0 1 ) . T h e R e s e a r c h a n d R h e t o r i c o n T e a c h e r C e r t i fi c a t i o n : A R e s p o n s e t o " T e a c h e r C e r t i fi c a t i o n R e c o n s i d e r e d " . E d u c a t i o n P o l i c y A n a l y s i s A r c h i v e s , l a s t a c c e s s e d F e b r u a r y 1 0 , 2 0 0 4 f r o m : h t t p : / / e p a a . a s u . e d u / e p a a / v 1 0 n 3 6 . h t m l , V o l u m e 1 0 N u m b e r 3 6 S e p t e m b e r 6 , 2 0 0 2 . D e w e y , J o h n ( 1 9 3 3 ) : H o w W e T h i n k . B o s t o n , D . C . H e a t h . E d u c a t i o n a l T e s t i n g S e r v i c e , E T S . ( 1 9 9 9 ) . T e c h n i c a l A n a l y s i s R e p o r t . P r i n c e t o n , N J : N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s . E n z , J u d i t h a n d e t a l . ( 1 9 8 2 ) . R e v i e w a n d a n a l y s i s o f r e p o r t s o f s c i e n c e i n s e r v i c e p r o j e c t s : R e c o m m e n d a t i o n s f o r t h e f u t u r e . P a p e r p r e s e n t e d a t t h e a n n u a l M e e t i n g o f t h e N a t i o n a l S c i e n c e T e a c h e r s A s s o c i a t i o n , A p r i l , 1 9 8 2 , C h i c a g o , I L . F l o d e n , R o b e r t . E . ( 2 0 0 1 ) . R e s e a r c h o n E f f e c t s o f T e a c h i n g : A c o n t i n u i n g M o d e l f o r R e s e a r c h o n T e a c h i n g . I n V . R i c h a r d s o n ( E d . ) , H a n d b o o k o f r e s e a r c h o n t e a c h i n g ( 4 t h e d . , ) . W a s h i n g t o n , D C : A m e r i c a n E d u c a t i o n a l R e s e a r c h A s s o c i a t i o n . G a l l a g h e r , J a m e s . J . ( 2 0 0 0 ) . T e a c h i n g f o r U n d e r s t a n d i n g a n d A p p l i c a t i o n o f S c i e n c e K n o w l e d g e . S c h o o l S c i e n c e a n d M a t h e m a t i c s 1 0 0 ( 6 ) : 3 1 0 - 1 8 . G a r d i n e r , S . ( 2 0 0 0 ) . I l e a v e w i t h m o r e i d e a s t h a n I c a n e v e r u s e . J o u r n a l o f S t a f f D e v e l o p m e n t , 2 1 ( 4 ) , 1 4 - 1 7 . G a r e t , M . 8 . , P o r t e r , A n d r e w . C . ( 2 0 0 1 ) . “ W h a t M a k e s P r o f e s s i o n a l D e v e l o p m e n t E f f e c t i v e ? R e s u l t s f r o m a N a t i o n a l S a m p l e o f T e a c h e r s . ” A m e r i c a n E d u c a t i o n a l R e s e a r c h J o u r n a l 3 8 ( 4 ) : 9 1 5 — 4 5 . 3 4 9 G o l d h a r b e r , D a n ; P e r r y D a v i d ; A n t h o n y , E m i l y . ( 2 0 0 3 ) . W h o A p p l i e s a n d W h a t F a c t o r s a r e A s s o c i a t e d w i t h S u c c e s s , U n i v e r s i t y o f W a s h i n g t o n , l a s t a c c e s s e d M a y 1 1 , 2 0 0 4 f r o m : h t t p : / / w w w . e v a n s u w . o r g / F A C / G o l d h a b e r / p d f / N B P T S A - S . p d f . G r e g o r y , R . , S c h w e r - C a n n i n g , S . , L e e , T . , & W i s e , J . ( 2 0 0 4 ) . C o g n i t i v e b i b l i o t h e r a p y f o r d e p r e s s i o n : A m e t a - a n a l y s i s . P r o f e s s i o n a l P s y c h o l o g y : R e s e a r c h a n d P r a c t i c e , 3 5 ( 3 ) , 2 7 5 - 2 8 0 . G r i f fi n , K e n n a ( 2 0 0 3 ) . B o n u s e s g o i n g t o t e a c h e r s w i t h n a t i o n a l c e r t i fi c a t i o n , T h e D a i l y O k l a h o m a n , S a t u r d a y , F e b r u a r y 8 , 2 0 0 3 , O k l a h o m a C i t y , p 1 . H a r g r a e v e s , A . ( 1 9 9 5 ) . D e v e l o p m e n t a n d d e s i r e : A p o s t m o d e r n p e r s p e c t i v e , P r o f e s s i o n a l d e v e l o p m e n t i n e d u c a t i o n : N e w p a r a d i g m s a n d p r a c t i c e s . N e w Y o r k : T e a c h e r s C o l l e g e , C o l u m b i a U n i v e r s i t y . H a w l e y , W i l l i s D . & V a l l i , L i n d a ( 1 9 9 5 ) . T h e e s s e n t i a l s o f e f f e c t i v e p r o f e s s i o n a l d e v e l o p m e n t . I n L i n d a D a r l i n g - H a m m o n d a n d . G a r y S y k e s ( E d s . ) , T e a c h i n g a s t h e l e a r n i n g p r o f e s s i o n ( p p . 1 2 7 - 1 5 0 ) . S a n F r a n c i s c o : J o s s e y - B a s s . H a w l e y , W . D . , & V a l l i L . ( 1 9 9 8 ) . G u i d e t o t h e n a t i o n a l p a r t n e r s h i p f o r e x c e l l e n c e a n d a c c o u n t a b i l i t y i n t e a c h i n g ( N P E A T ) . E R I C D i g e s t . D i s t r i c t o f C o l u m b i a , E R I C C l e a r i n g h o u s e o n T e a c h i n g a n d T e a c h e r E d u c a t i o n , W a s h i n g t o n , D C : 4 . H a y n e s , D . D . ( 1 9 9 5 ) . O n e t e a c h e r ' s e x p e r i e n c e w i t h N a t i o n a l B o a r d a s s e s s m e n t . E d u c a t i o n a l L e a d e r s h i p , 5 2 , 5 8 - 6 0 . H o l m e s G r o u p . ( 1 9 9 5 ) . T o m o r r o w ' s s c h o o l s o f e d u c a t i o n . E a s t L a n s i n g , H o l m e s G r o u p . H u b e r m a n , M . ( 1 9 9 3 ) . T h e m o d e l o f t h e i n d e p e n d e n t a r t i s a n i n t e a c h e r s ' p r o f e s s i o n a l r e l a t i o n s . I n J . L i t t l e a n d , M . M c L a u g h l i n ( E d . ) , T e a c h e r s ' w o r k : I n d i v i d u a l s , c o l l e a g u e s , a n d c o n t e x t s ( p p . 1 1 - 5 0 ) . N e w Y o r k : T e a c h e r s C o l l e g e P r e s s . I n g v a r s o n , L . ( 1 9 9 8 ) . P r o f e s s i o n a l d e v e l o p m e n t a s t h e p u r s u i t o f p r o f e s s i o n a l s t a n d a r d s : T h e s t a n d a r d s - b a s e d p r o f e s s i o n a l d e v e l o p m e n t s y s t e m . T e a c h i n g a n d T e a c h e r E d u c a t i o n , 1 4 , p p . 1 2 7 - 1 4 0 . I S P ( I n q u i r y S y n t h e s i s P r o j e c t ) , ( 2 0 0 4 ) . T h e I n q u i r y S y n t h e s i s P r o j e c t , C e n t e r f o r S c i e n c e E d u c a t i o n , E d u c a t i o n D e v e l o p m e n t C e n t e r , I n c . ( A p r i l , 2 0 0 4 ) , T e c h n i c a l r e p o r t 2 : C o n c e p t u a l i z i n g I n q u i r y S c i e n c e I n s t r u c t i o n . f r o m E d u c a t i o n D e v e l o p m e n t C e n t e r , I n c . l a s t a c c e s s e d A u g u s t 5 , 2 0 0 4 f r o m : h t t p z / l c s e . e d c . o r g / w o r k / r e s e a r c h / i n q u i r y s y n t h / t e c h n i c a l R e p o r t 2 . a s p . J a e g e r , R i c h a r d ; P i a k e , B a r b a r a S . ; H a m b l e t o n , R o n a l d K . ( 1 9 9 3 ) . A p r i l , 1 9 9 3 , I n t e g r a t i n g m u l t i - d i m e n s i o n a l p e r f o r m a n c e s a n d s e t t i n g p e r f o r m a n c e s t a n d a r d s . P a p e r p r e s e n t e d a t t h e P a p e r p r e s e n t e d a t t h e a n n u a l m e e t i n g o f t h e N a t i o n a l C o u n c i l o n M e a s u r e m e n t i n E d u c a t i o n , A t l a n t a , G A . J e n k i n s , K . ( 2 0 0 0 ) . E a r n i n g B o a r d c e r t i fi c a t i o n : m a k i n g t i m e t o g r o w . E d u c a t i o n a l L e a d e r s h i p , 5 7 , 4 6 - 4 8 . J i m e n e z , P . M . ( 1 9 9 9 ) . P s y c h o s o c i a l I n t e r v e n t i o n w i t h d r u g a d d i c t s i n p r i s o n . D e s c r i p t i o n a n d r e s u l t s o f p r o g r a m m e . I n t e r v e n c i o n P s i c h o s o c i a l , 8 ( 2 ) , 2 3 3 - 2 5 0 . K e n n e d y , M a r y . ( 2 0 0 1 ) . C h a p t e r 3 : T h e C r i t i c a l I m p o r t a n c e o f W e l l - P r e p a r e d T e a c h e r s f o r S t u d e n t L e a r n i n g a n d A c h i e v e m e n t . E d u c a t i n g T e a c h e r s o f S c i e n c e , M a t h e m a t i c s , a n d T e c h n o l o g y : N e w P r a c t i c e s f o r t h e N e w M i l l e n n i u m . D i s t r i c t o f C o l u m b i a , N a t i o n a l A c a d e m y o f S c i e n c e s - N a t i o n a l R e s e a r c h C o u n c i l , W a s h i n g t o n , D C . : 2 2 4 . K e n n e d y , M a r y ; B a l l , D e b o r a h L . ; M c D i a r m i d , G . W i l l i a m s o n ( 1 9 9 3 ) . A S t u d y P a c k a g e f o r E x a m i n i n g a n d T r a c k i n g C h a n g e s i n T e a c h e r ' s K n o w l e d g e . E a s t L a n s i n g , M I , T h e N a t i o n a l C e n t e r f o r R e s e a r c h o n T e a c h e r E d u c a t i o n : 1 5 9 . K i l l e e n , K i e r a n ; M o n k , D a v i d ; P l e c k i , M a r g a r e t ( 2 0 0 2 ) . S c h o o l D i s t r i c t S p e n d i n g o n P r o f e s s i o n a l D e v e l o p m e n t : I n s i g h t s A v a i l a b l e f r o m N a t i o n a l D a t a 1 9 9 2 - 1 9 9 8 , J o u r n a l o f E d u c a t i o n F i n a n c e , 2 8 , s u m m e r 2 0 0 2 2 5 - 5 0 . K o p r o w i c z , C . L . ( 1 9 9 4 ) . W h a t S t a t e L e g i s l a t o r s N e e d T o K n o w a b o u t t h e N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s . C o l o r a d o , N a t i o n a l C o n f e r e n c e o f S t a t e L e g i s l a t u r e s , D e n v e r , C O . : 5 . K o w a l s k i , K . , C h i t t e n d e n , E . , S p i c e r , W . , J o n e s , J . , & T o c c i , C . ( 1 9 9 7 , M a r c h 2 4 - 2 8 , 1 9 9 7 ) . P r o f e s s i o n a l D e v e l o p m e n t i n t h e c o n t e x t o f N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s C e r t i fi c a t i o n : I m p l i c a t i o n s b e y o n d c e r t i fi c a t i o n . P a p e r p r e s e n t e d a t t h e A n n u a l M e e t i n g o f t h e A m e r i c a n E d u c a t i o n a l R e s e a r c h A s s o c i a t i o n , C h i c a g o , I L . L a c z k o - K e r r , I . , & B e r l i n e r , D C . ( 2 0 0 2 ) . T h e e f f e c t i v e n e s s o f " T e a c h f o r A m e r i c a " a n d o t h e r u n d e r - c e r t i fi e d t e a c h e r s o n s t u d e n t a c a d e m i c a c h i e v e m e n t : A c a s e o f h a r m f u l p u b l i c p o l i c y , " E d u c a t i o n P o l i c y A n a l y s i s A r c h i v e s , 1 0 ( 3 7 ) , l a s t a c c e s s e d A p r i l 8 , 2 0 0 3 f r o m h t t p : / / e p a a . a s u . e d u / e p m 1 0 n 3 7 / . L a m p e r t , M a g d a l e n e . ( 1 9 8 5 ) H o w d o t e a c h e r s m a n a g e t o t e a c h ? P e r s p e c t i v e s o n p r o b l e m s i n p r a c t i c e . H a r v a r d E d u c a t i o n a l R e v i e w , 5 5 , 1 7 8 - 1 9 4 . L a v e , J . , & W e n g e r , E . ( 1 9 9 1 ) . S i t u a t e d l e a r n i n g : L e g i t i m a t e p e r i p h e r a l p a r t i c i p a t i o n . C a m b r i d g e , E n g l a n d : C a m b r i d g e U n i v e r s i t y P r e s s . 3 5 1 L e e f , G e o r g e C . ( 2 0 0 3 ) . N a t i o n a l B o a r d C e r t i fi c a t i o n : I s N o r t h C a r o l i n a G e t t i n g I t s M o n e y ’ s W o r t h . 7 , A P o l i c y R e p o r t f r o m t h e N o r t h C a r o l i n a E d u c a t i o n A l l i a n c e , l a s t a c c e s s e d N o v e m b e r 2 3 , 2 0 0 4 f r o m : h t t p : / / w w w . n c e d u c a t i o n a l l i z n c e . o r g , 2 0 p . L i t t l e , J . W . ( 1 9 9 3 ) . T e a c h e r ' s p r o f e s s i o n a l d e v e l o p m e n t i n a c l i m a t e o f e d u c a t i o n r e f o r m . E d u c a t i o n E v a l u a t i o n a n d P o l i c y A n a l y s i s , 1 5 ( N o . 2 ) , p p . 1 2 9 - 1 5 1 . L i t t l e , J . W . ( 1 9 9 7 ) . E x c e l l e n c e i n P r o f e s s i o n a l D e v e l o p m e n t a n d P r o f e s s i o n a l C o m m u n i t y ( W o r k i n g P a p e r ) . B e r k e l e y , C A : U n i v e r s i t y o f C a l i f o r n i a , B e r k e l e y f o r U S D e p a r t m e n t o f E d u c a t i o n , B l u e R i b b o n S c h o o l s P r o g r a m . L o r t i e , D . C . ( 1 9 7 5 ) . S c h o o l t e a c h e r : A s o c i o l o g i c a l s t u d y . C h i c a g o : U n i v e r s i t y o f C h i c a g o P r e s s . L u s t i c k , D . ( 2 0 0 2 ) . N a t i o n a l B o a r d C e r t i fi c a t i o n a s P r o f e s s i o n a l D e v e l o p m e n t : A S t u d y T h a t I d e n t i fi e s a F r a m e w o r k a n d F i n d i n g s o f T e a c h e r s L e a r n i n g T o M a n a g e C o m p l e x i t y , U n c e r t a i n t y , a n d C o m m u n i t y . M i c h i g a n : 3 0 , a p a p e r p r e s e n t e d a t A E R A . L y o n , G R . ( 2 0 0 ) . S t a t e m e n t m a d e t o t h e C o m m i t t e e o n E d u c a t i o n a n d t h e W o r k f o r c e , U S . H o u s e o f R e p r e s e n t a t i v e s , i n W a s h i n g t o n , D C . M a y 4 , 2 0 0 0 , l a s t a c c e s s e d M a r c h 7 , 2 0 0 4 f r o m : h t t p : / / w w w . c d 1 . o r g l r e s o u r c e s / r e a d i n g r o o m / e d u c _ r e s e a r c h . h t m l M a h a l e y , D . ( 1 9 9 9 , S e p t / O c t ) . O n e t e a c h e r ' s a c c o u n t . T h e C l e a r i n g H o u s e , 7 3 , 5 . M a n o u c h e h e h r i , A . ( 2 0 0 1 ) . C o l l e g i a l I n t e r a c t i o n a n d R e fl e c t i v e P r a c t i c e . T h e J o u r n a l o f t h e A s s o c i a t i o n o f T e a c h e r E d u c a t o r s , 2 2 ( W i n t e r ) , p p . 8 6 - 9 7 . M a r r i o t t . ( 2 0 0 1 , F e b / M a r ) . I n c r e a s e d I n s i g h t . R e a d i n g T o d a y , 1 8 , 7 . M e r r i a m , 8 . ; S i m p s o n , E d w i n ( 1 9 9 5 ) . A G u i d e t o R e s e a r c h f o r E d u c a t o r s a n d T r a i n e r s o f A d u l t s ( 2 n d e d . ) . M a l a b a r , F L : K r i e g e r P u b l i s h i n g C o m p a n y . M i l l e r , B a r b a r a , L o r d , B r i a n , & D o m e y , J u d i t h . ( 1 9 9 4 ) . S t a f f d e v e l o p m e n t f o r t e a c h e r s : A s t u d y o f c o n fi g u r a t i o n s a n d c o s t s i n f o u r d i s t r i c t s . N e w t o n , M A : E d u c a t i o n D e v e l o p m e n t C e n t e r . M o r r o w , C . , J a r r e t t , Q . , & R u p i n s k i , M . ( 1 9 9 7 ) . A n i n v e s t i g a t i o n o f t h e e f f e c t a n d e c o n o m i c u t i l i t y o f c o r p o r a t e - w i d e t r a i n i n g . P e r s o n n e l P s y c h o l o g y , 5 0 ( 1 ) , 9 1 - 1 1 9 . 3 5 2 M u l l e n s , J o h n E . ; L e i g h t o n , M a r y S . ; L a g u a r d a , K a t r i n a G . ; O ' B r i e n , E i l e e n . ( 1 9 9 6 ) . S t u d e n t L e a r n i n g , T e a c h i n g Q u a l i t y , a n d P r o f e s s i o n a l D e v e l o p m e n t : T h e o r e t i c a l L i n k a g e s , C u r r e n t M e a s u r e m e n t , a n d R e c o m m e n d a t i o n s f o r F u t u r e D a t a C o l l e c t i o n . W o r k i n g P a p e r S e r i e s . D i s t r i c t o f C o l u m b i a , P o l i c y S t u d i e s A s s o c i a t e s , I n c . , W a s h i n g t o n , D C : 1 2 0 . N B P T S . ( 1 9 9 1 ) . T o w a r d H i g h a n d R i g o r o u s S t a n d a r d s f o r t h e T e a c h i n g P r o f e s s i o n ( 3 r d E d i t i o n ) : N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s , W a s h i n g t o n , D C . N B P T S . ( 1 9 9 7 ) . I n s t r u c t i o n M a n u a l f o r A d o l e s c e n t a n d Y o u n g A d u l t ( A Y A ) S c i e n c e c e r t i fi c a t i o n . F a i r f a x , V A . N B P T S ( a ) . ( 2 0 0 1 ) . T h e I m p a c t o f N a t i o n a l B o a r d C e r t i fi c a t i o n o n T e a c h e r s ( S u r v e y r e s u l t s ) . A r l i n g t o n , V A : N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s . N B P T S ( b ) . ( 2 0 0 1 ) . I A m a B e t t e r T e a c h e r ( S u r v e y r e s u l t s ) . A r l i n g t o n , V A : N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s . N B P T S . ( 2 0 0 2 ) . M a t e r i a l s p r e s e n t e d a t t h e N a t i o n a l I n v i t a t i o n a l R e s e a r c h C o n f e r e n c e , J a n u a r y , C h i c a g o , I L . N B P T S . ( 2 0 0 3 ) . Q & A : Q u e s t i o n s a n d A n s w e r s f o r T e a c h e r s A b o u t N a t i o n a l B o a r d C e r t i fi c a t i o n , 2 0 0 3 . V i r g i n i a , N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s , A r l i n g t o n , V A : 2 1 . N B P T S . ( 2 0 0 4 ) S t a t e a n d L o c a l I n c e n t i v e s f o r C e r t i fi c a t i o n , l a s t a c c e s s e d o n A u g u s t 8 , 2 0 0 4 f r o m : h t t p : / / w w w . n b p t s . o r g / a b o u t / s t a r t e c f m . N B P T S , ( 2 0 0 4 a ) . T h e 5 C o r e P r o p o s i t i o n s o f A c c o m p l i s h e d T e a c h i n g , l a s t a c c e s s e d o n A u g u s t 8 , 2 0 0 4 , f r o m : h t t p : / / w w w . n b p t s . o r g / s t a fi a r d s / fi v e c o r e . h t m 1 , . N C E E ( N a t i o n a l C o m m i s s i o n o n E x c e l l e n c e i n E d u c a t i o n ) , ( 1 9 8 3 ) . A N a t i o n a t R i s k : T h e I m p e r a t i v e f o r E d u c a t i o n R e f o r m , W a s h i n g t o n , D C , U S G o v e r n m e n t P r i n t i n g O f fi c e . N C T A F ( N a t i o n a l C o m m i s s i o n o n T e a c h i n g a n d A m e r i c a ' s F u t u r e ) ( 1 9 9 6 ) . W h a t M a t t e r s M o s t : T e a c h i n g f o r A m e r i c a ' s F u t u r e . N e w Y o r k : T e a c h e r s C o l l e g e , C o l u m b i a U n i v e r s i t y . P o o l , J . E . , E l l e t t , C . D . , S c h i a v o n e , S . , & C a r e y - L e w i s , C . ( 2 0 0 1 ) . H o w v a l i d a r e t h e n a t i o n a l b o a r d o f p r o f e s s i o n a l t e a c h i n g s t a n d a r d s a s s e s s m e n t s f o r p r e d i c t i n g t h e q u a l i t y o f a c t u a l c l a s s r o o m t e a c h i n g a n d l e a r n i n g ? R e s u l t s o f s i x m i n i c a s e s t u d i e s . J o u r n a l o f P e r s o n n e l E v a l u a t i o n i n E d u c a t i o n , 1 5 ( 1 ) , 3 1 - 4 8 . 3 5 3 P o r t e r , A . Y o u n g s , P e t e r ; a n d O d d e n , A l l a n . ( 2 0 0 1 ) . A d v a n c e s i n T e a c h e r A s s e s s m e n t s a n d T h e i r U s e s . I n V . R i c h a r d s o n ( E d . ) , H a n d b o o k o f r e s e a r c h o n t e a c h i n g ( 4 t h e d . ) . W a s h i n g t o n , D C : A m e r i c a n E d u c a t i o n a l R e s e a r c h A s s o c i a t i o n . R e i c h a r d t , R . ( 2 0 0 1 ) . T o w a r d a C o m p r e h e n s i v e A p p r o a c h t o T e a c h e r Q u a l i t y . P o l i c y B r i e f . C o l o r a d o , M i d - C o n t i n e n t R e s e a r c h f o r E d u c a t i o n a n d L e a r n i n g , A u r o r a , C O . : 1 3 . R o d e n , J o n - P a u l . ( 1 9 9 9 ) . W i n n e r s a n d W i n n e r s : W h a t I l e a r n e d f r o m n o t e a r n i n g N a t i o n a l B o a r d C e r t i fi c a t i o n . T e a c h i n g a n d C h a n g e , 6 ( 4 ) , 4 1 6 - 4 1 9 . R o t b e r g , I . C . , F u t r e l l , M . H . , & L i e b e r m a n , J . M . ( 1 9 9 8 ) . N a t i o n a l B o a r d c e r t i fi c a t i o n : I n c r e a s i n g p a r t i c i p a t i o n a n d a s s e s s i n g i m p a c t s . P h i D e l t a K a p p a n , 7 9 ( F e b r u a r y ) , p p . 4 6 2 - 4 6 6 . S a n d e r s , W . L . & R i v e r s , J . C . ( 1 9 9 6 ) . C u m u l a t i v e a n d r e s i d u a l e f f e c t s o f t e a c h e r s o n f u t u r e s t u d e n t a c a d e m i c a c h i e v e m e n t . K n o x v i l l e : U n i v e r s i t y o f T e n n e s s e e V a l u e - A d d e d R e s e a r c h a n d A s s e s s m e n t C e n t e r . S a t o , M . ( 2 0 0 0 ) . T h e N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s : T e a c h e r l e a r n i n g t h r o u g h t h e a s s e s s m e n t p r o c e s s ( P a p e r P r e s e n t e d a t t h e A n n u a l M e e t i n g o f A E R A N e w O r l e a n s , L A A p r i l 2 0 0 0 ) , [ P D F ] . S t a n f o r d U n i v e r s i t y S c h o o l o f E d u c a t i o n . A v a i l a b l e : h t t p : / / w w w . s t a n f o r d . e d u / ~ m s a t o / p a p e r . P D F [ 2 0 0 2 , F e b r u a r y 2 8 , 2 0 0 2 ] . S c h w a b , J . J . ( 1 9 7 4 ) . D e c i s i o n a n d c h o i c e - - T h e c o m i n g d u t y o f s c i e n c e t e a c h i n g . J o u r n a l o f R e s e a r c h i n S c i e n c e T e a c h i n g 1 1 ( 4 ) , 3 0 9 - 3 1 7 . S f a r d , A . ( 1 9 9 8 ) . O n t w o m e t a f o r s f o r l e a r n i n g a n d t h e d a n g e r s o f c h o o s i n g j u s t o n e . - E d u c a t i o n a l R e s e a r c h e r , 2 7 ( 2 ) , 4 - 1 3 . - S h a v e l s o n , R . W . , N o r e e n ; H o t t a , J o h n . ( 1 9 8 7 ) . T h e C o n c e p t o f E x c h a n g e a b i l i t y i n D e s i g n i n g T e l e c o u r s e E v a l u a t i o n s , l a s t a c c e s s e d A u g u s t 4 , 2 0 0 4 f r o m : h t t p z / l c a d e . a t h a b a s c a u . c a / v 0 1 2 . 1 / s h a v e l s o n . h t m l , [ W e b b a s e d j o u r n a l ] . C A D E : J o u r n a l o f D i s t a n c e E d u c a t i o n / R e v u e d e l ' e n s e i g n m e m e n t a d i s t a n c e [ 1 9 8 7 , 2 / 1 9 / 0 2 ] . S h a v e l s o n , R i c h a r d . ( 1 9 9 6 ) . S t a t i s t i c a l R e a s o n i n g f o r t h e B e h a v i o r a l S c i e n c e s , 3 r d E d i t i o n , S i m o n & S c h u s t e r C o m p a n y , N e e d h a m H e i g h t s , M A . S h u l m a n , L . S . ( 1 9 8 6 ) . T h o s e W h o U n d e r s t a n d : A C o n c e p t i o n o f T e a c h e r K n o w l e d g e , A m e r i c a n E d u c a t o r 1 0 ( 1 ) : 9 - 1 5 , 4 3 - 4 4 . 3 5 4 S t e i n , M . K . & B r o w n , C . A . ( 1 9 9 7 ) . T e a c h e r L e a r n i n g i n a s o c i a l c o n t e x t : i n t e g r a t i n g c o l l a b o r a t i v e a n d i n s t i t u t i o n a l p r o c e s s e s w i t h t h e s t u d y o f t e a c h e r c h a n g e . I n B . N e l s o n ( E d . ) , M a t h e m a t i c s T e a c h e r s i n T r a n s i t i o n ( p p . 1 5 5 - 1 9 1 . ) . M a h w a h , N J : L a w r e n c e E r l b a u m A s s o c i a t e s . S t r a u s s . V . ( 2 0 0 4 ) . B a c k t o B a s i c s v s . H a n d s - O n I n s t r u c t i o n : C a l i f o r n i a R e t h i n k s S c i e n c e L a b s , W a s h i n g t o n P o s t , T u e s d a y , 3 F e b r u a r y . p a g e A 1 2 ; l a s t a c c e s s e d A u g u s t 4 , 2 0 0 4 f r o m : h t t p : / / w w w . w a s h i n g t o n p o s t . c o m / w p - d y n / a r t i c l e s / A 6 9 4 4 - E M F e b t h m l S t r i k e , K e n n e t h A . & P o s n e r , G e o r g e J . ( 1 9 9 2 ) . A R e v i s i o n i s t t h e o r y o f c o n c e p t u a l c h a n g e . I n R . A . H . D u s c h l , R i c h a r d J . ( E d . ) , P h i l o s o p h y o f S c i e n c e , C o g n i t i v e P s y c h o l o g y , a n d E d u c a t i o n a l T h e o r y a n d P r a c t i c e ( p p . 1 4 7 - 1 7 6 ) . A l b a n y : S t a t e U n i v e r s i t y o f N e w Y o r k P r e s s . S y k e s , G . ( 1 9 9 9 ) . T e a c h e r a n d s t u d e n t l e a r n i n g . I n L i n d a D a r l i n g - H a m m o n d & G a r y S y k e s ( E d s . ) , T e a c h i n g a s t h e L e a r n i n g P r o f e s s i o n ( F i r s t e d . , p p . 1 5 1 - 1 8 0 ) . S a n F r a n c i s c o : J o s s e y - B a s s P u b l i s h e r s . T h o m p s o n , C . ; Z i e l i , J . ( 1 9 9 9 ) . T h e f r a m e a n d t h e t a p e s t r y . I n L . S . D a r l i n g - H a m m o n d , G . ( E d . ) , T e a c h i n g a s t h e L e a r n i n g P r o f e s s i o n ( p p . 3 4 1 - 3 7 5 ) . S a n F r a n c i s c o : J o s s e y - B a s s . T r a c z , S . , S i e n t y , S . , T o d o r o v , K . , S n y d e r , J . , T a k a s h i m a , B . , - P e n s a b e n e , R . , O l s e n , B . , P a u l s , L . , & S o r k , J . ( 1 9 9 5 , A p r i l , 1 9 9 5 ) . I m p r o v e m e n t i n t e a c h i n g s k i l l s : P e r s p e c t i v e s f r o m N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s fi e l d t e s t n e t w o r k c a n d i d a t e s . P a p e r p r e s e n t e d a t t h e P a p e r p r e s e n t e d a t t h e A n u a l C o n f e r e n c e o f t h e A m e r i c a n E d u c a t i o n a l R e s e a r c h A s s o c i a t i o n , S a n F r a n c i s c o , C A . W a l s h , K a t e ( 2 0 0 1 ) . “ T e a c h e r C e r t i fi c a t i o n R e c o n s i d e r e d : S t u m b l i n g f o r Q u a l i t y ” . T h e A b e l F o u n d a t i o n ( w w w . a b e l l . o r g ) . B a l t i m o r e , M D . W e n g l i n k s k y , H a r o l d ( 2 0 0 1 ) . T e a c h e r C l a s s r o o m P r a c t i c e s a n d S t u d e n t P e r f o r m a n c e : H o w S c h o o l s C a n M a k e a D i f f e r e n c e P r i n c e t o n , N J : E d u c a t i o n a l T e s t i n g C e n t e r ( w w w . c t s . o r g ) r e s e a r c h r e p o r t ( R R - 0 1 - 1 9 ) . W i e b k e , K . ( 2 0 0 0 , N o v / D e c ) . M y j o u r n e y t h r o u g h N a t i o n a l B o a r d c e r t i fi c a t i o n . I n s t r u c t o r , 1 1 0 , 2 6 - 7 . W i l c o x , D . D . ( 1 9 9 9 ) . T h e N a t i o n a l B o a r d f o r P r o f e s s i o n a l T e a c h i n g S t a n d a r d s : C a n i t l i v e u p t o i t s p r o m i s e ? I n M . K a n s t o r o o m , E d . ; F i n n , C . E . , J r . , E d . ( E d . ) , B e t t e r T e a c h e r s , B e t t e r S c h o o l s ( p p . C h p t 8 , 2 7 p g s ) . W a s h i n g t o n , D . C . ( ? ) : E d u c a t i o n a l L e a d e r s h i p C o u n c i l ( ? ) . 3 5 5 W i l e y , D . & Y o o n , B . ( 1 9 9 5 ) . T e a c h e r r e p o r t s o f o p p o r t u n i t y t o l e a r n : A n a l y s e s o f t h e 1 9 9 3 C a l i f o r n i a L e a r n i n g A s s e s s m e n t S y s t e m . E d u c a t i o n a l E v a l u a t i o n a n d P o l i c y A n a l y s i s , 1 7 ( 3 ) , p p . 3 5 5 - 3 7 0 . W i l s o n . S . M . , & B e r n e , J . ( 1 9 9 9 ) . T e a c h e r l e a r n i n g a n d t h e a c q u i s i t i o n o f p r o f e s s i o n a l k n o w l e d g e : A n e x a m i n a t i o n o f r e s e a r c h o n c o n t e m p o r a r y p r o f e s s i o n a l d e v e l o p m e n t . I n A . l r a n - N e j a d & P . D . P e a r s o n ( E d s ) , R e v i e w o f r e s e a r c h i n e d u c a t i o n ( V o l . 2 4 , p p . p p . 1 7 3 - 2 0 9 ) . W a s h i n g t o n , D C : A m e r i c a n E d u c a t i o n R e s e a r c h A s s o c i a t i o n . W i l s o n , S . M . , S h u l m a n , L e e S . & R i c h e r t , E . ( 1 9 8 7 ) . 1 5 0 d i f f e r e n t w a y s o f k n o w i n g : E x p l o r i n g t e a c h e r s ' t h i n k i n g . I n J . C a l d e r h e a d ( E d . ) , E x p l o r i n g t e a c h e r s ’ t h i n k i n g . E a s t b o u m e , E n g l a n : C a s s e l l . W i n f r e d , A . , B e n n e t t , W . , E d e n s , P . , & B e l l , S . ( 2 0 0 3 ) . E f f e c t i v e n e s s o f t r a i n i n g i n o r g a n i z a t i o n s : A m e t a - a n a l y s i s o f d e s i g n a n d e v a l u a t i o n f e a t u r e s . J o u r n a l o f A p p l i e d P s y c h o l o g y , 8 8 ( 2 ) , 2 3 4 - 4 5 . Y i p , J . ( 2 0 0 2 ) . T w o s h o r t n o t e s o n s t a t i s t i c s . P o r c u p i n e ! O n l i n e J o u r n a l , 2 5 , M a y 2 0 0 2 , l a s t a c c e s s e d N o v e m b e r 4 , 2 0 0 4 f r o m : h t t p : / / w w w . h k u . h k / e c o l o g y / p o r c u p i n e / p o r 2 5 / 2 5 - m i s c - s t a t . h t m , . 3 5 6 I I I I I I I I I I I I I I I I I I I I I I I m l y t l r u l l j j j u u l j l j j