» . n u J - . — . r . w 3 7 : . “ fi j ‘ h i fi m ' ‘ I " 2 : 1 I I " L i f - “ u 9 ' “ £ 3 1 I » b x i f 3 ' . 7 v ; " I v A " I n " : L r i : 5 3 ’ - £ E f § a ‘ ’ ' - ~ " - - ‘ l ‘ fi fi ' i f ‘ V " > - ‘ " ‘ m ' : r ' 4 3 “ ? M g » ; 1 ; 1 k g “ ; 1 : ‘ , D ‘ " L ‘ l ' l i k m t - \ a t " u . ( ’ 1 5 . - u . . 1 , ; 3 l ‘ t i } . ' - “ ‘ l : 1 ‘ ( - . l L 5 1 ! ' 4 i z l I 1 “ ? ! f H 1 ‘ “ i " m , m i x ; A q . , : , , 6 6 7 5 4 3 0 ; T h i s i s t o c e r t i f y t h a t t h e d i s s e r t a t i o n e n t i t l e d S E G M E N T A T I O N , C L A S S I F I C A T I O N , A N D T R A C K I N G O F H U M A N S F O R S M A R T A I R B A G A P P L I C A T I O N S P h D . p r e s e n t e d b y M i c h a e l E . F a r m e r h a s b e e n a c c e p t e d t o w a r d s f u l f i l l m e n t o f t h e r e q u i r e m e n t s f o r t h e d e g r e e i n T h e D e p a r t m e n t o f C o m p u t e r S c i e n c e a n d E n g i n e e r i n g M W M a j o r P r o f e s s o r ’ s S i g n a t u r e M a r w 1 , 1 0 ° ‘ 4 D a t e M S U i s a n A f fi m w a t i v e A c t i o n / E q u a l O p p o r t u n i t y I n s t i t u t i o n I L I E R A R Y M i c h i g a n S t a t e U n i v e r s i t y P L A C E I N R E T U R N B O X t o r e m o v e t h i s c h e c k o u t f r o m y o u r r e c o r d . T O A V O I D F I N E S r e t u r n o n o r b e f o r e d a t e d u e . M A Y B E R E C A L L E D w i t h e a r l i e r d u e d a t e i f r e q u e s t e d . D A T E D U E D A T E D U E D A T E D U E 6 / 0 1 c : / C l R C / D a t e D u e . p 6 5 - p . 1 5 S E G M E N T A T I O N , C L A S S I F I C A T I O N , A N D T R A C K I N G O F H U M A N S F O R S M A R T A I R B A G A P P L I C A T I O N S V O L U M E 1 B y M i c h a e l E . F a r r n e r A D I S S E R T A T I O N S u b m i t t e d t o M i c h i g a n S t a t e U n i v e r s i t y i n p a r t i a l f u l fi l l m e n t o f t h e r e q u i r e m e n t s f o r t h e d e g r e e o f D O C T O R O F P H I L O S O P H Y D e p a r t m e n t o f C o m p u t e r S c i e n c e & E n g i n e e r i n g 2 0 0 4 A B S T R A C T S E G M E N T A T I O N , C L A S S I F I C A T I O N , A N D T R A C K I N G O F H U M A N S F O R S M A R T A I R B A G A P P L I C A T I O N S B y M i c h a e l E . F a r m e r T h e r e h a s b e e n c o n s i d e r a b l e a t t e n t i o n p a i d t o d e v e l o p i n g ‘ s m a r t ’ a i r b a g s t h a t c a n d e t e r m i n e , n o t o n l y , i f t h e y s h o u l d b e d e p l o y e d i n a c r a s h e v e n t , b u t a l s o w i t h w h a t f o r c e t h e y s h o u l d b e d e p l o y e d . I n f o r m a t i o n o n t h e s i z e a n d t y p e o f f r o n t p a s s e n g e r s e a t o c c u p a n t i s u s e d t o d e t e r m i n e t h e s a f e l e v e l o f f o r c e w i t h w h i c h t o d e p l o y t h e a i r b a g . T o d a t e v i s i o n s y s t e m s h a v e b e e n s u c c e s s f u l l y a p p l i e d t o r e l a t i v e l y c o n t r o l l e d e n v i r o n m e n t s , s u c h a s f o r m a n u f a c t u r i n g , o r t h e y h a v e b e e n u s e d i n u n c o n t r o l l e d e n v i r o n m e n t s , s u c h a s f o r s u r v e i l l a n c e , w h e r e t h e r e i s a h u m a n i n t h e l o o p t o m o n i t o r t h e p e r f o r m a n c e o f t h e s y s t e m . I n t h i s t h e s i s w e h a v e d e v e l o p e d a c o m p u t e r v i s i o n - b a s e d a p p r o a c h t o a i r b a g s u p p r e s s i o n t h a t a t t e m p t s t o p r o v i d e t h e r o b u s t n e s s r e q u i r e d f o r a n a u t o n o m o u s s y s t e m fi e l d e d i n a r e l a t i v e l y u n c o n t r o l l e d e n v i r o n m e n t . I t a d d r e s s e s a v e r y d i f fi c u l t r e a l - w o r l d a p p l i c a t i o n , i n w h i c h c o m p u t e r v i s i o n h a d n o t p r e v i o u s l y b e e n a p p l i e d , t o s i m u l t a n e o u s l y p e r f o r m r e a l - t i m e h u m a n r e c o g n i t i o n a n d t r a c k i n g . T h e s p e c i fi c c o n t r i b u t i o n s t o p a t t e r n r e c o g n i t i o n i n c l u d e t h e d e v e l o p m e n t o f a n e w fi l t e r - b a s e d f e a t u r e s e l e c t i o n a l g o r i t h m b a s e d o n r o b u s t s t a t i s t i c a l m e a s u r e s o f d i s c r i m i n a b i l i t y a n d f e a t u r e c o r r e l a t i o n . T h e a l g o r i t h m p e r f o r m s a s w e l l a s , o r b e t t e r t h a n , o t h e r fi l t e r o r w r a p p e r m e t h o d s , a n d i s c o n s i d e r a b l y f a s t e r . W e h a v e a l s o d e fi n e d a c o n t e x t u a l p r o c e s s i n g a l g o r i t h m t h a t u s e s a c o n t i n u o u s s t r e a m o f c l a s s i fi c a t i o n s a n d t h e t h e o r y o f e v i d e n t i a l r e a s o n i n g . T h i s s t r e a m o f r e s u l t s i s i n t e g r a t e d u s i n g t h e D e m p s t e r - S h a f e r r u l e s o f b e l i e f r e v i s i o n , w h i c h a l l o w s u s t o c l a s s i f y t h e o c c u p a n t t o a l e v e l o f a b s t r a c t i o n c o m m e n s u r a t e w i t h t h e a v a i l a b l e i m a g e i n f o r m a t i o n . A n o t h e r c o n t r i b u t i o n i s t h e d e v e l o p m e n t o f a u n i q u e w r a p p e r - b a s e d i m a g e s e g m e n t a t i o n a l g o r i t h m . W e h a v e a d o p t e d a p a r a d i g m w h e r e a n i m a g e i s i n i t i a l l y r e g i o n l a b e l e d a n d , t h e n , u s i n g p r o v e n f e a t u r e s e l e c t i o n m e t h o d s , w e g r o u p t h e s e r e g i o n s b a s e d o n o u r k n o w l e d g e o f t h e d e s i r e d o b j e c t b e i n g s e g m e n t e d . T h i s a l g o r i t h m i s s h o w n t o p r o v i d e s e g r n e n t a t i o n s a s a c c u r a t e a s h u m a n h a n d s e g m e n t a t i o n i n m a n y c a s e s . T h e r e a r e a l s o t w o c o n t r i b u t i o n s t o t h e a r e a o f h u m a n m o t i o n t r a c k i n g . T h e fi r s t i s t h e d e fi n i t i o n o f a n i n f o r m a t i o n t h e o r e t i c m o t i o n s e g m e n t a t i o n a l g o r i t h m . T h i s a p p r o a c h a p p e a r s i m m u n e t o i l l u m i n a t i o n e f f e c t s , a n d i t d r a m a t i c a l l y c h a n g e s t h e w a y w e p e r c e i v e i m a g e m o t i o n t h r o u g h i n f o r m a t i o n fl o w r a t h e r t h a n o p t i c a l fl o w . L a s t l y , w e h a v e d e v e l o p e d a n i n t e g r a t e d m o t i o n a n d s h a p e t r a c k i n g s y s t e m b a s e d o n i n t e r a c t i n g m u l t i p l e m o d e l s ( I M M ) K a l m a n fi l t e r i n g . T h e a p p r o a c h i s s u p e r i o r t o H M M - b a s e d t r a c k i n g s y s t e m s , s i n c e i t i n t e l l i g e n t l y b l e n d s t h e i n d i v i d u a l d y n a m i c s s t a t e s . A l s o , t h e s y s t e m h a s b e e n s h o w n t o b e a b l e t o r e a c t t o h i g h - s p e e d m o t i o n e v e n t s , s u c h a s a p r o - c r a s h b r a k i n g e v e n t . A s p a r t o f t h e t r a c k i n g s y s t e m , w e h a v e a l s o d e fi n e d a n e w m e c h a n i s m f o r i n f e r r i n g t h e 3 - d i m e n s i o n a l p o s e o f t h e o c c u p a n t b a s e d o n t h e g r o s s c h a n g e s i n t h e i r s h a p e d u r i n g m o t i o n , c a l l e d s h a p e f r o m d e f o r m a t i o n . © C o p y r i g h t 2 0 0 4 b y M i c h a e l E . F a r m e r A l l R i g h t s R e s e r v e d T o M y C h i l d r e n : M e l i s s a , B r i d g e t , a n d P a t r i c k — M a y t h e y n e v e r l o s e t h e i r c h i l d r e n ' s f a s c i n a t i o n w i t h t h e w o r l d . i v A C K N O W L E D G E M E N T S T h e c o m p l e t i o n o f t h i s d i s s e r t a t i o n m a r k s t h e f u l fi l l m e n t o f a l i f e l o n g a m b i t i o n . A s s u c h , t h e r e a r e m a n y p e o p l e a n d o r g a n i z a t i o n s t o w h i c h I a m e x t r e m e l y g r a t e f u l . F i r s t a n d f o r e m o s t , I w o u l d l i k e t o t h a n k P r o f e s s o r A n i l K . J a i n f o r b e i n g m y a d v i s o r . H e h a s b e e n a g r e a t t e a c h e r , m e n t o r , a n d f r i e n d t h r o u g h t h e c o u r s e o f t h i s d e g r e e p r o g r a m . I w o u l d l i k e t o t h a n k a l l m y o t h e r c o m m i t t e e m e m b e r s , P r o f e s s o r A n t h o n y W o j c i k , P r o f e s s o r G e o r g e S t o c k m a n , a n d P r o f e s s o r S a r a t D a s s f o r t h e i r v a l u e d c o n t r i b u t i o n s , w o n d e r f u l e n c o u r a g e m e n t , a n d t h o u g h t - p r o v o k i n g q u e s t i o n s t h r o u g h o u t t h e d e v e l o p m e n t o f t h i s d i s s e r t a t i o n . A d d i t i o n a l l y , I w o u l d a l s o l i k e t o t h a n k t h e e n t i r e s t a f f o f t h e M i c h i g a n S t a t e U n i v e r s i t y C o m p u t e r S c i e n c e a n d E n g i n e e r i n g d e p a r t m e n t f o r d e v e l o p i n g s u c h a g r e a t P h D p r o g r a m . T h e r e h a v e b e e n n u m e r o u s “ p r o f e s s o r s ” i n i n d u s t r y a s w e l l , w h o h a v e p r o v i d e d m e t r e m e n d o u s m o t i v a t i o n t h r o u g h o u t m y c a r e e r . S o m e o f t h e w o n d e r f u l p e o p l e w h o m I h a v e m e t t h r o u g h m y w o r k e x p e r i e n c e i n c l u d e : D r . M a r t y W o l f s o n , D r . W i l l i a m R u b i n , D r . K e n M a t y s i k , D r . O w e n D a v i e s , D r . D a v i d T u r n e r , a n d D r . J o h n F l a t t e r . I g r e a t l y a p p r e c i a t e a l l t h e e n c o u r a g e m e n t , t e c h n i c a l g u i d a n c e , a n d c a m a r a d e r i e t h e y h a v e p r o v i d e d o v e r t h e y e a r s . T h i s d e g r e e w o u l d n o t h a v e b e e n p o s s i b l e w i t h o u t t h e i n c r e d i b l e s u p p o r t o f E a t o n C o r p o r a t i o n . T h e y p r o v i d e d m e n o t o n l y t h e u s u a l t u i t i o n a s s i s t a n c e , b u t a l s o a l l o w e d m e t o u s e m y t e c h n i c a l c o n t r i b u t i o n s o n t h e E a g l e p r o j e c t a s t h e f o u n d a t i o n o f m y d i s s e r t a t i o n w o r k . A d d i t i o n a l l y , w i t h i n E a t o n , t h e r e w e r e s o m a n y g r e a t p e o p l e a s s o c i a t e d w i t h t h e E a g l e p r o j e c t w h o s e a s s i s t a n c e w a s i n v a l u a b l e t o w a r d s d e v e l o p i n g [ h i l l : n u m d e s c H o s b u t S C I 1 A d i e n d h e r d o i [ 1 0 ‘ h e f 0 ] 9 0 ‘ . t h a t s y s t e m , e s p e c i a l l y t h e p r o j e c t m a n a g e r J o e ] H o o p e r , a n d t h e s y s t e m s , h a r d w a r e , a n d t e s t p r i n c i p a l s , M a r k D e l l ’ E v a , J o h n P r a i n i t o , a n d A l H u t c h e n r e u t h e r . T h e r e w e r e n u m e r o u s o t h e r E a g l e t e a m m e m b e r s t h a t p r o v i d e d h e l p i n i m p l e m e n t i n g t h e a l g o r i t h m s d e s c r i b e d i n t h i s d i s s e r t a t i o n , i n c l u d i n g : S h w e t a F a r m e r , X u n c h a n g C h e n , L i W e n , N i k h i l H o s k e r i , a n d P r a v e n e C h a n d r a s e k a r i a . S p e c i a l t h a n k s a l s o t o t h e t e a m s o f t e c h n i c i a n s , b u t e s p e c i a l l y M a r k B e a u p r e a n d D a v e S h o c k , f o r b e i n g w i l l i n g t o c o l l e c t y e t o n e m o r e s e t o f i m a g e s f o r m e i n t h e f r e e z i n g c o l d o f w i n t e r o r t h e s w e l t e r i n g h e a t o f s u m m e r , a n d , o f c o u r s e , E d F r a n k , f o r a l w a y s m a n a g i n g t o fi n d m e o n e m o r e c o m p u t e r f o r m y c l u s t e r . A d d i t i o n a l l y , t h i s d i s s e r t a t i o n w o u l d n e v e r h a v e b e e n c o m p l e t e d w e r e i t n o t f o r t h e e n d l e s s c a f é m o c h a s a t t h e W e s t B l o o m fi e l d B a r n e s a n d N o b l e c a f é . F i n a l l y , I w o u l d l i k e t o t h a n k m y c h i l d r e n , M e l i s s a , B r i d g e t , a n d P a t r i c k , f o r t h e h o u r s w h e r e , w h i l e I d i d h o m e w o r k o r r e a d p a p e r s , t h e y k e p t m e c o m p a n y b y c o l o r i n g o r d o i n g t h e i r o w n h o m e w o r k . W i t h m y d e e p e s t g r a t i t u d e I w o u l d l i k e t o r e - t h a n k S h w e t a , n o w m y b e l o v e d w i f e . S h e w a s s u c h a s o u r c e o f c o n s t a n t s u p p o r t , e n c o u r a g e m e n t , a n d m o t i v a t i o n t h r o u g h t h i s e f f o r t , i n i t i a l l y a s a c l a s s m a t e , t h e n a s a c o - w o r k e r , a n d u l t i m a t e l y a s a t r u l y g r e a t w i f e . T h i s d i s s e r t a t i o n w o u l d h a v e b e e n i n fi n i t e l y m o r e d i f fi c u l t w i t h o u t h e r c o m p a n i o n s h i p a n d l o v e . I w o u l d l i k e t o c l o s e b y t h a n k i n g m y p a r e n t s : m y m o t h e r f o r i n s t i l l i n g i n m e t h e i m p o r t a n c e o f e d u c a t i o n , a n d m y f a t h e r f o r t e a c h i n g m e i f y o u r g o i n g t o d o s o m e t h i n g , t h e n b e s u r e d o t o i t t h e b e s t t h a t y o u c a n . v i T A B L E O F C O N T E N T S A B S T R A C T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . I v T A B L E O F C O N T E N T S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . v 1 1 L I S T O F F I G U R E S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . X I I L I S T O F T A B L E S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . X X V I I l C H A P T E R 1 . I N T R O D U C T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 . 1 S M A R T A I R B A G S U P P R E S S I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 . 1 . 1 O v e r v i e w o f t h e A i r b a g S u p p r e s s i o n P r o b l e m . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1 . 1 . 2 A l t e r n a t e T e c h n o l o g i e s f o r A i r b a g S u p p r e s s i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 A C a p a c i t i v e S e n s o r s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 0 B P r e s s u r e a n d W e i g h t S e n s o r s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 C T i m e - o f - F l i g h t S e n s o r s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 1 . 2 O C C U P A N T P R O T E C T I O N U S I N G C O M P U T E R V I S I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 4 1 . 2 . 1 V i s i o n S y s t e m H a r d w a r e A r c h i t e c t u r e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 1 . 2 . 2 V i s i o n S y s t e m S o f t w a r e A r c h i t e c t u r e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0 A S t a t i c O c c u p a n t P r o t e c t i o n U s i n g I m a g e C l a s s i fi c a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 B D y n a m i c O c c u p a n t P r o t e c t i o n U s i n g I m a g e S e q u e n c e T r a c k i n g . . . . . . . . . . . . . . . . . . . . 2 5 1 . 2 . 3 D i f fi c u l t i e s a n d C h a l l e n g e s i n V i s i o n b a s e d O c c u p a n t P r o t e c t i o n . . . . . . . . . . . . . . . 2 8 1 . 3 T H E S I S C O N T R I B U T I O N S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 4 C H A P T E R 2 . S E G M E N T A T I O N F O R O C C U P A N T C L A S S I F I C A T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 8 2 . 1 B A C K G R O U N D R E M O V A L . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 9 2 . 1 . 1 B a c k g r o u n d C o r r e l a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 0 2 . 1 . 2 E i g e n - i m a g e T e c h n i q u e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2 2 . 2 I M A G E E N H A N C E M E N T M E T H O D S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 7 2 . 2 . 1 M a t h e m a t i c a l M o r p h o l o g y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 8 2 . 2 . 2 W a t e r s h e d T e c h n i q u e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 9 2 . 3 D A T A C O L L E C T I O N F O R O C C U P A N T S E G M E N T A T I O N A N D C L A S S I F I C A T I O N . . . . . . . . 5 2 2 . 4 R E S U L T S O F O C C U P A N T S E G M E N T A T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 7 2 . 4 . 1 R e s u l t s o f B a c k g r o u n d S u b t r a c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 8 A C o r r e l a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 8 B E i g e n - i m a g e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 7 2 . 4 . 2 R e s u l t s o f I m a g e E n h a n c e m e n t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 6 A M a t h e m a t i c a l M o r p h o l o g y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 7 B W a t e r s h e d . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 9 2 . 5 S U M M A R Y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 3 C H A P T E R 3 . F E A T U R E E X T R A C T I O N F O R O C C U P A N T C L A S S I F I C A T I O N . . . . . . . . . . . . . . . . . . . . 8 5 v i i 3 . 1 C A N D I D A T E F E A T U R E S P A C E S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 5 3 . 1 . 1 E d g e F e a t u r e S p a c e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ' . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 8 3 . 1 . 2 S i l h o u e t t e F e a t u r e S p a c e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2 3 . 1 . 3 W a v e l e t F e a t u r e S p a c e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 4 3 . 2 F E A T U R E C O M P U T A T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 9 3 . 2 . 1 M o m e n t F e a t u r e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 0 1 A L e g e n d r e M o m e n t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 0 4 B C h e b y s h e v M o m e n t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 0 5 C Z e r n i k e M o m e n t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 0 8 3 . 2 . 2 F o u r i e r D e s c r i p t o r s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 0 3 . 3 F E A T U R E - L E S S R E P R E S E N T A T I O N S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 1 3 . 3 . 1 T e m p l a t e M a t c h i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 2 A S o l i d 2 - D T e m p l a t e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 2 B L i n e T e m p l a t e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . l 1 3 C P o i n t S e t T e m p l a t e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 4 3 . 3 . 2 I m a g e S u b - s a m p l i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . l 1 7 3 . 4 R E S U L T S O F F E A T U R E E X T R A C T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 9 3 . 5 S U M M A R Y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 4 C H A P T E R 4 . F E A T U R E S E L E C T I O N M E T H O D S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 6 4 . 1 W R A P P E R M E T H O D S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 1 4 . 1 . 1 F o r w a r d S e q u e n t i a l S e l e c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 2 4 . 1 . 2 R a n d o m M u t a t i o n H i l l C l i m b i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 3 4 . 2 F I L T E R M E T H O D S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 5 4 . 2 . 1 M a n n - W h i t n e y T e s t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 6 4 . 2 . 2 M u t u a l I n f o r m a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 4 0 4 . 2 . 3 F e a t u r e C o r r e l a t i o n P o s t - p r o c e s s i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 4 3 4 . 3 P R U N T N G M E T H O D S F O R T R A I N I N G S E T R E D U C T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 4 7 4 . 4 R E S U L T S F O R F E A T U R E S E L E C T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 1 4 . 4 . 1 R e s u l t s f o r W r a p p e r M e t h o d s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 3 A R a n d o m M u t a t i o n H i l l C l i m b i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 3 B F o r w a r d S e q u e n t i a l S e a r c h . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 8 4 . 4 . 2 R e s u l t s f o r F i l t e r M e t h o d s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 9 A M a n n - W h i t n e y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 6 0 B M u t u a l I n f o r m a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 6 9 4 . 5 S U M M A R Y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 7 1 C H A P T E R 5 . O C C U P A N T C L A S S I F I C A T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 7 4 5 . 1 C L A S S I F I C A T I O N M E T H O D S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 7 5 5 . 1 . 1 B a y e s C l a s s i fi e r . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 7 7 5 . 1 . 2 N e a r e s t N e i g h b o r C l a s s i fi e r . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 7 9 5 . 1 . 3 S u p p o r t V e c t o r M a c h i n e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 8 1 5 . 2 C O N T E X T U A L P R O C E S S I N G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 8 3 5 . 2 . 1 D e m p s t e r — S h a f e r T h e o r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 8 5 5 . 2 . 2 C o n t e x t u a l P r o c e s s i n g U s i n g D e m p s t e r - S h a f e r T h e o r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 8 8 A T e s t f o r H i s t o r y R e s e t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 8 9 B T e s t C l a s s i fi c a t i o n P l a u s i b i l i t y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 8 9 v i i i C U p d a t e B e l i e f a n d P l a u s i b i l i t y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 9 1 D U p d a t e H i s t o r y C a c h e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 9 2 5 . 3 R E S U L T S F O R O C C U P A N T C L A S S I F I C A T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 9 3 5 . 3 . 1 R e s u l t s o f I n d i v i d u a l C l a s s i fi e r s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 9 3 A B a y e s C l a s s i fi e r . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 9 4 B N e a r e s t N e i g h b o r C l a s s i fi e r s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 9 6 C S u p p o r t V e c t o r M a c h i n e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 9 7 5 . 3 . 2 R e s u l t s o f C o n t e x t u a l P r o c e s s i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0 0 5 . 4 S U M M A R Y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1 1 C H A P T E R 6 . I N T E G R A T E D S E G M E N T A T I O N A N D C L A S S I F I C A T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1 4 6 . 1 P R E L I M I N A R Y S E G M E N T A T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 0 6 . 2 P I X E L L A B E L I N G A N D B L O B I D E N T I F I C A T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 0 6 . 2 . 1 P i x e l L a b e l i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 1 6 . 2 . 2 S p e c u l a r i t y R e d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 5 6 . 2 . 3 B l o b I d e n t i fi c a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 8 6 . 3 B L O B C O M B I N I N G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 8 6 . 3 . 1 G r a d i e n t D e s c e n t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 9 6 . 3 . 2 F o r w a r d S e q u e n t i a l S e a r c h . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3 2 6 . 3 . 3 R a n d o m M u t a t i o n H i l l C l i m b i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3 5 6 . 4 F E A T U R E E X T R A C T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3 8 6 . 4 . 1 M o m e n t C o m p u t a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3 9 6 . 4 . 2 S p e e d - u p T e c h n i q u e s f o r M o m e n t C o m p u t a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4 0 6 . 5 C L A S S I F I C A T I O N O F B L O B C O M B I N A T I O N S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4 3 6 . 6 R E S U L T S O F I N T E G R A T E D S E G M E N T A T I O N C L A S S I F I C A T I O N S Y S T E M . . . . . . . . . . . . . . . . 2 4 5 6 . 6 . 1 R e s u l t s f o r G r a d i e n t D e s c e n t B l o b C o m b i n i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4 6 6 . 6 . 2 R e s u l t s f o r P l u s - L - M i n u s - R F o r w a r d S e q u e n t i a l S e a r c h B l o b C o m b i n i n g 2 4 7 6 . 6 . 3 R e s u l t s f o r R a n d o m M u t a t i o n B l o b C o m b i n i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5 1 6 . 7 S U M M A R Y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5 5 C H A P T E R 7 . S E G M E N T A T I O N M E T H O D S F O R I M A G E S E Q U E N C E S . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5 7 7 . 1 T E M P L A T E - B A S E D M O T I O N S E G M E N T A T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5 9 7 . 1 . 1 T e m p l a t e I n i t i a l i z a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 6 2 7 . 1 . 2 T e m p l a t e M a t c h i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 6 3 7 . 1 . 3 T e m p l a t e U p d a t i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 6 7 7 . 2 O P T I C A L F L O W - B A S E D M O T I O N S E G M E N T A T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 6 8 7 . 2 . 1 C o m p u t e O p t i c a l F l o w . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 6 9 A P h a s e - b a s e d M e t h o d s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 6 9 B G r a d i e n t M e t h o d s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 7 5 C C o r r e l a t i o n - b a s e d M e t h o d . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 7 8 7 . 2 . 2 M o t i o n C l u s t e r i n g o f t h e O p t i c a l F l o w F i e l d s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 8 1 7 . 2 . 3 O p t i c a l F l o w F u s i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 8 2 7 . 3 I N F O R M A T I O N T H E O R E T I C M E T H O D S F O R M O T I O N S E G M E N T A T I O N . . . . . . . . . . . . . . . . . . 2 8 6 7 . 3 . 1 E n t r o p y - b a s e d M o t i o n S e g m e n t a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 8 7 7 . 3 . 2 M u t u a l I n f o r m a t i o n f o r M o t i o n E s t i m a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 9 2 A P h e n o m e n o l o g y o f M u t u a l I n f o r m a t i o n i n M o t i o n - b a s e d S e g m e n t a t i o n . . . . . . . 2 9 3 7 . 4 D A T A C O L L E C T I O N F O R O C C U P A N T T R A C K I N G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 9 7 i x ‘ - 7 . 4 . 1 D a t a C o l l e c t i o n U s i n g V e h i c l e D r i v e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 9 8 7 . 4 . 2 D a t a C o l l e c t i o n U s i n g t h e R o b o t i c T e s t F i x t u r e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 9 9 7 . 5 R E S U L T S O F S E G M E N T A T I O N M E T H O D S F O R I M A G E S E Q U E N C E S . . . . . . . . . . . . . . . . . . . . . . . 3 0 1 7 . 5 . 1 R e s u l t s o f T e m p l a t e M a t c h i n g - b a s e d M o t i o n S e g m e n t a t i o n . . . . . . . . . . . . . . . . . . . . . . 3 0 1 7 . 5 . 2 R e s u l t s o f O p t i c a l F l o w - b a s e d M o t i o n S e g m e n t a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 0 5 A P h a s e - b a s e d R e s u l t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 0 6 B G r a d i e n t - b a s e d R e s u l t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 0 8 C C o r r e l a t i o n - b a s e d R e s u l t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 0 D D e m o n s t r a t i o n o f O p t i c a l F l o w o n S e q u e n c e t h a t C a u s e s H a u s d o r f f A l g o r i t h m F a i l u r e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 2 7 . 5 . 3 R e s u l t s o f M o t i o n F i e l d F u s i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 5 A R e s u l t s o f E M o n C o m b i n e d M o t i o n F l o w F i e l d s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 5 B R e s u l t s o f D i m e n s i o n a l i t y R e d u c t i o n o n C o m b i n e d M o t i o n F i e l d s . . . . . . . . . . . . . . 3 1 6 7 . 6 S U M M A R Y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 9 C H A P T E R 8 . O C C U P A N T R E P R E S E N T A T I O N F O R T R A C K I N G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2 2 8 . 1 O C C U P A N T S H A P E R E P R E S E N T A T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2 2 8 . 1 . 1 C o n t o u r - L e v e l M o d e l s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2 2 8 . 1 . 2 B l o b L e v e l M o d e l s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2 3 8 . 1 . 3 W h o l e - B o d y M o d e l s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2 3 8 . 1 . 4 E l l i p s e M o d e l o f O c c u p a n t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2 6 A D i r e c t L e a s t S q u a r e s E l l i p s e F i t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2 8 B M o m e n t s - b a s e d E l l i p s e F i t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 3 2 8 . 2 O C C U P A N T M O T I O N R E P R E S E N T A T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 3 3 8 . 2 . 1 S e q u e n t i a l D y n a m i c s M o d e l i n g U s i n g H M M S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 3 9 8 . 2 . 2 S e q u e n t i a l D y n a m i c s M o d e l i n g U s i n g I M M s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 4 1 8 . 3 S U M M A R Y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 4 3 C H A P T E R 9 . O C C U P A N T T R A C K I N G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 4 5 9 . 1 M O T I O N T R A C K I N G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 4 7 9 . 1 . 1 U n d e r l y i n g T e c h n o l o g i e s f o r M o t i o n T r a c k i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 4 8 A O v e r v i e w o f t h e B a s i c K a l m a n F i l t e r . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 4 8 B T h e E x t e n d e d K a l m a n F i l t e r . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 5 2 C M o d e l i n g t h e D y n a m i c s i n t h e K a l m a n F i l t e r . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 5 4 D I n t e r a c t i n g M u l t i p l e M o d e l s ( I M M ) K a l m a n F i l t e r i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 5 7 9 . 1 . 2 I m p l e m e n t a t i o n o f M o t i o n T r a c k e r . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 6 2 9 . 2 S H A P E T R A C K I N G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 6 8 9 . 2 . 1 O v e r v i e w o f M e t h o d s f o r 3 - D S h a p e / P o s e f r o m M o t i o n E s t i m a t i o n . . . . . . . . . 3 6 9 9 . 2 . 2 S h a p e f r o m D e f o r m a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 7 8 A I M M M o d e l i n g o f t h e S h a p e f r o m D e f o r m a t i o n P r o b l e m . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 8 1 9 . 2 . 3 P r e d i c t i o n o f I n t r u s i o n i n t o t h e A S Z . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 8 2 A H i g h S p e e d E l l i p s e P r e d i c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 8 3 B C a l c u l a t i o n o f E l l i p s e I n t e r s e c t i o n w i t h t h e A S Z . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 8 3 9 . 3 T R A C K I N G R E S U L T S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 8 7 9 . 3 . 1 R e s u l t s o f M o d e l T r a n s i t i o n i n g i n I M M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 8 8 9 . 3 . 2 R e s u l t s o f I n t r u s i o n T i m e a n d P o s i t i o n a l A c c u r a c i e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 9 0 9 . 4 S U M M A R Y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 9 2 C H A P T E R 1 0 . C O N C L U S I O N S A N D F U T U R E W O R K . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 9 4 1 0 . 1 R E S E A R C H C O N T R I B U T I O N S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 9 4 1 0 . 2 F U T U R E R E S E A R C H . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 9 8 B I B L I O G R A P H Y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 0 2 X i L I S T O F F I G U R E S F I G U R E 1 . 1 : E F F E C T O F A I R B A G D E P L O Y M E N T O N R E A R F A C I N G I N F A N T S E A T S ( R F I S ) . ( A ) R F I S P R I O R T o D E P L O Y M E N T , ( B ) R F I S A F T E R D E P L O Y M E N T [ 1 1 ] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 F I G U R E 1 . 2 : R E L A T T V E F R E Q U E N C Y W I T H W H I C H C H I L D R E N A R E P L A C E D I N T H E F R O N T S E A T I N A U T O M O B I L E S [ 1 3 ] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 F I G U R E 1 . 3 : E X A M P L E S O F E A C H O F T H E F O U R C L A S S E S O F O C C U P A N T S I N A V E H I C L E , ( A ) I N F A N T , ( B ) C H I L D , ( c ) A D U L T , A N D ( D ) E M P T Y S E A T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 F I G U R E 1 . 4 : S A F E D I S T A N C E F O R A S M A L L S T A T U R E A D U L T O C C U P A N T I N R E L A T I O N T O T H E A I R B A G [ 1 l ] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 F I G U R E 1 . 5 : D E F I N I T I O N O F D Y N A M I C S T Y P I C A L F O R A P R E - C R A S H B R A K I N G E V E N T F O L L O W E D B Y A N A C T U A L C R A S H E V E N T [ 1 5 ] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 F I G U R E 1 . 6 : O V E R V I E W O F T H E P O S S I B L E M E C H A N I S M S F O R S U P P R E S S I N G T H E A I R B A G D E P E N D I N G O N T H E O C C U P A N T T Y P E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 F I G U R E 1 . 7 : E X A M P L E O F W E I G H T S E N S O R S P L A C E D I N T H E S E A T B O T T O M F O R S T A T I C C L A S S I F I C A T I O N [ 6 ] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 F I G U R E 1 . 8 : T Y P I C A L I N S T A L L A T I O N L O C A T I O N F O R T I M E O F F L I G H T S E N S O R S F O R O C C U P A N T S E N S I N G [ 2 ] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 F I G U R E 1 . 9 : S Y S T E M H A R D W A R E A R C H I T E C T U R E O F T H E C O M P U T E R V I S I O N B A S E D S M A R T A I R B A G S U P P R E S S I O N S Y S T E M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 7 F I G U R E 1 . 1 0 : T Y P I C A L A M P L I T U D E R E S P O N S E O F A N I M A G E R W I T H A P S E U D O - L O G A R I T H M I C A M P L I T U D E R E S P O N S E F O R O U T D O O R O P E R A T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 7 F I G U R E 1 . 1 1 : E F F E C T S O F I N T E R N A L H I S T O G R A M E Q U A L I Z A T I O N , ( A ) A D U L T I N O U T D O O R I L L U M I N A T I O N W I T H O U T E Q U A L I Z A T I O N , ( B ) I M A G E I N ( A ) W I T H E Q U A L I Z A T I O N , ( C ) I N F A N T I N O U T D O O R I L L U M I N A T I O N W I T H O U T E Q U A L I Z A T I O N , A N D ( D ) I M A G E I N ( C ) W I T H E Q U A L I Z A T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 8 F I G U R E 1 . 1 2 : I N S T A L L A T I O N O F T H E C A M E R A S Y S T E M W I T H I N T H E V E H I C L E S H O W I N G P L A N , P R O F I L E , A N D F O R W A R D V I E W I N G A N G L E S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 9 F I G U R E 1 . 1 3 : R E S U L T A N T F I E L D O F V I E W W I T H I N V E H I C L E C A B I N I s S H O W N S H A D E D , A N D T H E P L A N V I E W L O C A T I O N O F T H E S E N S O R I S S H O W N A S W E L L . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0 F I G I F I G F I G F I G F I G F I G F I G F I G F I G F I G U R E 1 . 1 4 : S O F T W A R E A R C H I T E C T U R E F O R T H E C O M P U T E R V I S I O N B A S E D S M A R T A I R B A G S U P P R E S S I O N S Y S T E M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1 F I G U R E 1 . 1 5 : D E C I S I O N F L O W F O R O C C U P A N T C L A S S I F I E R , ( A ) F O U R - C L A S S P R O B L E M , A N D ( B ) T w o - C L A S S P R O B L E M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4 F I G U R E 1 . 1 6 : C L A S S D E C I S I O N B O U N D A R I E S F O R ( A ) F O U R - C L A S S , A N D ( B ) T W O - C L A S S P R O B L E M S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5 F I G U R E 1 . 1 7 : B R E A K D O W N O F T H E U N D E R L Y I N G M E T H O D O L O G I E S T H A T S U P P O R T H U M A N M O T I O N A N A L Y S I S [ 1 1 0 ] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 7 F I G U R E 1 . 1 8 : B R E A K D O W N O F T H E M E T H O D S O F T R A C K I N G H U M A N S I N A V I D E O S E Q U E N C E [ 1 1 0 ] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 8 F I G U R E 1 . 1 9 : E F F E C T S O F E X T E R N A L I L L U M I N A T I O N O N O C C U P A N T I M A G E R Y , ( A ) B R I G H T S U N L I G H T W I T H B A N D I N G O N L E G S , ( B ) B R I G H T S U N L I G H T A C R O S S C H E S T , ( c ) I N D O O R L I G H T I N G , A N D ( D ) N I G H T - D A R K L I G H T I N G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 0 F I G U R E 1 . 2 0 : A C O L L A G E O F I N F A N T S E A T S A N D C H I L D P O S I T I O N S S H O W I N G T H E I N T R A - C L A S S V A R I A B I L I T Y F O R T H E R F I S A N D C H I L D C L A S S E S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 F I G U R E 1 . 2 1 : A D D E D I N T R A - C L A S S V A R I A B I L I T Y F O R T H E I N F A N T C L A S S D U E T O B L A N K E T S , ( A ) R F I S , A N D ( B ) S A M E R F I S U N D E R A B L A N K E T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2 F I G U R E 1 . 2 2 : L o w I N T E R - C L A S S S E P A R A T I O N B E T W E E N T H E C H I L D C L A S S A N D T H E A D U L T C L A S S , ( A ) 6 Y E A R - O L D C H I L D O N B O O S T E R , A N D ( B ) 5 T H P E R C E N T I L E A D U L T F E M A L E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 3 F I G U R E 1 . 2 3 : A C O L L A G E O F A D U L T I M A G E S S H O W I N G T H E L A R G E I N T R A - C L A S S V A R I A B I L I T Y F O R T H E A D U L T C L A S S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 3 F I G U R E 2 . 1 : E M P T Y R E F E R E N C E I M A G E S F O R E A C H O F T H E T H R E E L I G H T I N G C O N D I T I O N S , ( A ) I N D O O R , ( B ) N I G H T , A N D ( c ) O U T D O O R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 0 F I G U R E 2 . 2 : P R O C E S S I N G F L O W F O R O C C U P A N T C L A S S I F I C A T I O N , H I G H L I G H T I N G T H E C O R R E L A T I O N - B A S E D A P P R O A C H T O B A C K G R O U N D S U B T R A C T I O N F O R S E G M E N T A T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1 F I G U R E 2 . 3 : E X A M P L E O F P R E P R O C E S S I N G F O R B A C K G R O U N D C O R R E L A T I O N P R O C E S S I N G , ( A ) I N C O M I N G I M A G E , ( B ) R E F E R E N C E I M A G E , ( c ) E D G E M A P F R O M I N C O M I N G I M A G E , A N D ( D ) E D G E M A P F R O M R E F E R E N C E I M A G E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 3 F I G U R E 2 . 4 : E X A M P L E R E S U L T S F O R B A C K G R O U N D C O R R E L A T I O N P R O C E S S I N G , ( A ) I N C O M I N G I M A G E , A N D ( B ) A F T E R C O R R E L A T I O N P R O C E S S I N G ( U S I N G E D G E V E C T O R ) . 4 3 F I G U R E 2 . 5 : P R O C E S S I N G F L O W F O R E I G E N - I M A G E B A C K G R O U N D S U B T R A C T I O N . . . . . . . . . . . . . . 4 4 x i i i F I G I F I G F I G I F I G U R E 2 . 6 : E X A M P L E I M A G E F O R E I G E N - B A C K G R O U N D S U B T R A C T I O N , ( A ) M E A N B A C K G R O U N D I M A G E , ( B ) R E S U L T A N T M O V I N G O B J E C T S , A N D ( C ) O R I G I N A L I M A G E W I T H B O U N D I N G B O X E S A R O U N D M O V I N G O B J E C T S [ 1 1 4 ] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 6 F I G U R E 2 . 7 : D E M O N S T R A T I O N O F A R T I F A C T S T O B E R E D U C E D B Y P O S T - P R O C E S S I N G , ( A ) O R I G I N A L I M A G E , ( B ) D E S I R E D S E G M E N T A T I O N , A N D ( G ) O U T P U T F R O M T H E B A C K G R O U N D S U B T R A C T I O N - B A S E D S E G M E N T A T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 8 F I G U R E 2 . 8 : D E M O N S T R A T I O N O F T H E W A T E R S H E D A L G O R I T H M , ( A ) D A M B U I L D I N G B E T W E E N C A T C H M E N T B A S I N S , A N D ( B ) G R A P H I C S H O W I N G M I N I M A R E G I O N S A N D R E S U L T I N G W A T E R S H E D S [ 8 3 ] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1 F I G U R E 2 . 9 : M A R K E R R E G I O N S F O R W A T E R S H E D P R O C E S S I N G F O R T H E O C C U P A N T S H O W N I N F I G U R E 2 . 7 , ( A ) H A N D S E G M E N T E D I M A G E , A N D ( B ) I N N E R A N D O U T E R M A R K E R R E G I O N S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1 F I G U R E 2 . 1 0 : D E M O N S T R A T I O N O F P R O P E R I N S T A L L A T I O N O F A C H I L D A N D I N F A N T S E A T W I T H A l - Y E A R O L D D U M M Y , ( A ) I N S T A L L E R ’ S V I E W O F T H E I N F A N T S E A T , A N D ( B ) C A M E R A S Y S T E M V I E W O F T H E I N F A N T S E A T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 4 F I G U R E 2 . 1 1 : R E S U L T S O F C O R R E L A T I O N B A S E D B A C K G R O U N D R E M O V A L F O R A N O U T D O O R A D U L T I M A G E , ( A ) O R I G I N A L I M A G E , ( B ) H A N D S E G M E N T E D I M A G E , ( C ) E D G E A M P L I T U D E I M A G E , A N D ( D ) E D G E V E C T O R I M A G E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 9 F I G U R E 2 . 1 2 : R E S U L T A N T E D G E H I S T O G R A M A N D C D F F O R , F I G U R E 2 . 1 1 , ( A ) H I S T O G R A M O F E D G E A M P L I T U D E I M A G E , ( B ) H I S T O G R A M O F E D G E ' V E C T O R I M A G E , ( C ) C D F O F E D G E A M P L I T U D E I M A G E , A N D ( D ) C D F O F E D G E V E C T O R I M A G E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 0 F I G U R E 2 . 1 3 : T H R E S H O L D C A L C U L A T I O N A N D R E S U L T A N T S E G M E N T A T I O N F O R F I G U R E 2 . 1 l , ( A ) E D G E A M P L I T U D E T H R E S H O L D C A L C U L A T I O N , ( B ) E D G E V E C T O R T H R E S H O L D C A L C U L A T I O N , ( c ) E D G E A M P L I T U D E S E G M E N T A T I O N , A N D ( D ) E D G E V E C T O R S E G M E N T A T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 1 F I G U R E 2 . 1 4 : R E S U L T S O F C O R R E L A T I O N B A S E D B A C K G R O U N D R E M O V A L F O R A N O U T D O O R I N F A N T I M A G E , ( A ) O R I G I N A L I M A G E , ( B ) H A N D S E G M E N T E D I M A G E , ( C ) E D G E A M P L I T U D E I M A G E , A N D ( D ) E D G E V E C T O R I M A G E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 1 F I G U R E 2 . 1 5 : R E S U L T A N T E D G E H I S T O G R A M A N D C D F F O R F I G U R E 2 . 1 4 , ( A ) H I S T O G R A M O F E D G E A M P L I T U D E I M A G E , ( B ) H I S T O G R A M O F E D G E V E C T O R I M A G E , ( C ) C D F O F E D G E A M P L I T U D E I M A G E , A N D ( D ) C D F O F E D G E V E C T O R I M A G E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2 F I G U R E 2 . 1 6 : T H R E S H O L D C A L C U L A T I O N A N D R E S U L T A N T S E G M E N T A T I O N F O R F I G U R E 2 . 1 4 , ( A ) E D G E A M P L I T U D E T H R E S H O L D C A L C U L A T I O N , ( B ) E D G E V E C T O R T H R E S H O L D C A L C U L A T I O N , ( C ) E D G E A M P L I T U D E S E G M E N T A T I O N , A N D ( D ) E D G E V E C T O R S E G M E N T A T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 3 x i v F I G U R E 2 . 1 7 : R E S U L T S O F C O R R E L A T I O N B A S E D B A C K G R O U N D R E M O V A L F O R A N I N D O O R A D U L T I M A G E , ( A ) O R I G I N A L I M A G E , ( B ) H A N D S E G M E N T E D I M A G E , ( c ) E D G E A M P L I T U D E I M A G E , A N D ( D ) E D G E V E C T O R I M A G E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 3 F I G U R E 2 . 1 8 : R E S U L T A N T E D G E H I S T O G R A M A N D C D F F O R F I G U R E 2 . 1 7 , ( A ) H I S T O G R A M O F E D G E A M P L I T U D E I M A G E , ( B ) H I S T O G R A M O F E D G E V E C T O R I M A G E , ( C ) C D F O F E D G E A M P L I T U D E I M A G E , A N D ( D ) C D F O F E D G E V E C T O R I M A G E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 4 F I G U R E 2 . 1 9 : T H R E S H O L D C A L C U L A T I O N A N D R E S U L T A N T S E G M E N T A T I O N F O R F I G U R E 2 . 1 7 , ( A ) E D G E A M P L I T U D E T H R E S H O L D C A L C U L A T I O N , ( B ) E D G E V E C T O R T H R E S H O L D C A L C U L A T I O N , ( C ) E D G E A M P L I T U D E S E G M E N T A T I O N , A N D ( D ) E D G E V E C T O R S E G M E N T A T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 5 F I G U R E 2 . 2 0 : R E S U L T S O F C O R R E L A T I O N B A S E D B A C K G R O U N D R E M O V A L F O R A N I N D O O R I N F A N T I M A G E , ( A ) O R I G I N A L I M A G E , ( B ) H A N D S E G M E N T E D I M A G E , ( C ) E D G E A M P L I T U D E I M A G E , A N D ( D ) E D G E V E C T O R I M A G E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 5 F I G U R E 2 . 2 1 : R E S U L T A N T E D G E H I S T O G R A M A N D C D F F O R F I G U R E 2 . 2 0 , ( A ) H I S T O G R A M O F E D G E A M P L I T U D E I M A G E , ( B ) H I S T O G R A M O F E D G E V E C T O R I M A G E , ( C ) C D F O F E D G E A M P L I T U D E I M A G E , A N D ( D ) C D F O F E D G E V E C T O R I M A G E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 6 F I G U R E 2 . 2 2 : T H R E S H O L D C A L C U L A T I O N A N D R E S U L T A N T S E G M E N T A T I O N F O R F I G U R E 2 . 1 7 , ( A ) E D G E A M P L I T U D E T H R E S H O L D C A L C U L A T I O N , ( B ) E D G E V E C T O R T H R E S H O L D C A L C U L A T I O N , ( C ) E D G E A M P L I T U D E S E G M E N T A T I O N , A N D ( D ) E D G E V E C T O R S E G M E N T A T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 7 F I G U R E 2 . 2 3 : S A M P L E S F R O M T H E I M A G E S E Q U E N C E U S E D F O R E I G E N - I M A G E T R A I N I N G , ( A ) B R I G H T I L L U M I N A T I O N A C R O S S R E A R S E A T , ( B ) B R I G H T I L L U M I N A T I O N O N D O O R A N D T R E E S I N B A C K G R O U N D , ( c ) B R I G H T I L L U M I N A T I O N O N D A S H A N D V E H I C L E O U T S I D E W I N D O W , A N D ( D ) B R I G H T I L L U M I N A T I O N O N D A S H A N D P A R T S O F D O O R A N D V E H I C L E O U T S I D E W I N D O W . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 8 F I G U R E 2 . 2 4 : P L O T O F T H E L O G - A M P L I T U D E V E R S U S E I G E N V A L U E N U M B E R F O R T H E T O P 1 8 0 E I G E N V A L U E S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 9 F I G U R E 2 . 2 5 : E X A M P L E O F A T R A I N I N G I M A G E B E I N G P R O C E S S E D T H R O U G H E I G E N - I M A G E B A C K G R O U N D R E M O V A L , ( A ) I N C O M I N G I M A G E R E D U C E D T O 5 0 x 7 0 , ( B ) T R A N S F O R M E D I N T O B A C K G R O U N D D O M A I N , A N D ( c ) R E S U L T A N T D I F F E R E N C E I M A G E . . . . . . . . . . . . . . . . . . . . . . 7 0 F I G U R E 2 . 2 6 : E I G E N - I M A G E R E S U L T S F O R O U T D O O R A D U L T I M A G E I N F I G U R E 2 . 1 1 , ( A ) I N P U T I M A G E R E D U C E D T o 5 0 x 7 0 , ( B ) T R A N S F O R M E D I M A G E , ( C ) D I F F E R E N C E I M A G E , ( D ) H I S T O G R A M O F D I F F E R E N C E I M A G E , A N D ( E ) T H R E S H O L D E D O U T P U T I M A G E . . . . . . . . 7 1 F I G U R E 2 . 2 7 : E I G E N - I M A G E R E S U L T S F O R O U T D O O R I N F A N T I M A G E I N F I G U R E 2 . 1 4 , ( A ) I N P U T I M A G E R E D U C E D T O 5 0 x 7 0 , ( B ) T R A N S F O R M E D I M A G E , ( C ) D I F F E R E N C E I M A G E , ( D ) H I S T O G R A M O F D I F F E R E N C E I M A G E , A N D ( E ) T H R E S H O L D E D O U T P U T I M A G E . . . . . . . . 7 2 X V F I G U R E 2 . 2 8 : E I G E N - I M A G E R E S U L T S F O R I N D O O R A D U L T I M A G E I N F I G U R E 2 . 1 7 , ( A ) I N P U T I M A G E R E D U C E D T o 5 0 x 7 0 , ( B ) T R A N S F O R M E D I M A G E , ( c ) D I F F E R E N C E I M A G E , ( D ) H I S T O G R A M O F D I F F E R E N C E I M A G E , A N D ( E ) T H R E S H O L D E D O U T P U T I M A G E . . . . . . . . . . . . . . 7 3 F I G U R E 2 . 2 9 : E I G E N - I M A G E R E S U L T S F O R I N D O O R I N F A N T I M A G E I N F I G U R E 2 . 2 0 , ( A ) I N P U T I M A G E R E D U C E D T O 5 0 x 7 0 , ( B ) T R A N S F O R M E D I M A G E , ( c ) D I F F E R E N C E I M A G E , ( D ) H I S T O G R A M O F D I F F E R E N C E I M A G E , A N D ( E ) T H R E S H O L D E D O U T P U T I M A G E . . . . . . . . . . . . . . 7 4 F I G U R E 2 . 3 0 : D E M O N S T R A T I O N O F M O D I F I C A T I O N O F H I S T O G R A M T O F O R M A S I N G L E S I D E D D E C I S I O N F U N C T I O N , ( A ) I N C O M I N G H I S T O G R A M F O R O U T D O O R I N F A N T I M A G E I N F I G U R E 2 . 2 7 , ( B ) R E S U L T A N T l - S I D E D H I S T O G R A M A F T E R S H I F T A N D A B S O L U T E V A L U E O F T H E I M A G E G R A Y S C A L E S , A N D ( C ) C D F O F T H E l - S I D E D H I S T O G R A M . . . . . . . . . . . . . . . . . . . . 7 6 F I G U R E 2 . 3 1 : A P P L I C A T I O N O F M O R P H O L O G Y F O R H O L E F I L L I N G F O R I M A G E F R O M F I G U R E 2 . 1 1 , ( A ) B I N A R Y S E G M E N T A T I O N A F T E R C O R R E L A T I O N P R O C E S S I N G , ( B ) G R A Y S C A L E S E G M E N T A T I O N A F T E R C O R R E L A T I O N P R O C E S S I N G , ( c ) B I N A R Y S E G M E N T A T I O N A F T E R H O L E F I L L I N G , A N D ( D ) G R A Y S C A L E S E G M E N T A T I O N A F T E R H O L E F I L L I N G . . . . . . . . . . . . . . . . . 7 7 F I G U R E 2 . 3 2 : A P P L I C A T I O N O F M O R P H O L O G Y F O R H O L E F I L L I N G F O R I M A G E F R O M F I G U R E 2 . 1 4 , ( A ) B I N A R Y S E G M E N T A T I O N A F T E R C O R R E L A T I O N P R O C E S S I N G , ( B ) G R A Y S C A L E S E G M E N T A T I O N A F T E R C O R R E L A T I O N P R O C E S S I N G , ( c ) B I N A R Y S E G M E N T A T I O N A F T E R H O L E F I L L I N G , A N D ( D ) G R A Y S C A L E S E G M E N T A T I O N A F T E R H O L E F I L L I N G . . . . . . . . . . . . . . . . . 7 8 F I G U R E 2 . 3 3 : A P P L I C A T I O N O F M O R P H O L O G Y F O R H O L E F I L L I N G F O R I M A G E F R O M F I G U R E 2 . 1 7 , ( A ) B I N A R Y S E G M E N T A T I O N A F T E R C O R R E L A T I O N P R O C E S S I N G , ( B ) G R A Y S C A L E S E G M E N T A T I O N A F T E R C O R R E L A T I O N P R O C E S S I N G , ( c ) B I N A R Y S E G M E N T A T I O N A F T E R H O L E F I L L I N G , A N D ( D ) G R A Y S C A L E S E G M E N T A T I O N A F T E R H O L E F I L L I N G . . . . . . . . . . . . . . . . . 7 8 F I G U R E 2 . 3 4 : A P P L I C A T I O N O F M O R P H O L O G Y F O R H O L E F I L L I N G F O R I M A G E F R O M F I G U R E 2 . 2 0 , ( A ) B I N A R Y S E G M E N T A T I O N A F T E R C O R R E L A T I O N P R O C E S S I N G , ( B ) G R A Y S C A L E S E G M E N T A T I O N A F T E R C O R R E L A T I O N P R O C E S S I N G , ( c ) B I N A R Y S E G M E N T A T I O N A F T E R H O L E F I L L I N G , A N D ( D ) G R A Y S C A L E S E G M E N T A T I O N A F T E R H O L E F I L L I N G . . . . . . . . . . . . . . . . . 7 9 F I G U R E 2 . 3 5 : T H R E S H O L D C A L C U L A T I O N A N D R E S U L T A N T S E G M E N T A T I O N F O R F I G U R E 2 . 1 1 , ( A ) E D G E A M P L I T U D E T H R E S H O L D C A L C U L A T I O N , ( B ) E D G E V E C T O R T H R E S H O L D C A L C U L A T I O N , ( c ) E D G E A M P L I T U D E S E G M E N T A T I O N , A N D ( D ) E D G E V E C T O R S E G M E N T A T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 0 F I G U R E 2 . 3 6 : T H R E S H O L D C A L C U L A T I O N A N D R E S U L T A N T S E G M E N T A T I O N F O R F I G U R E 2 . 1 4 , ( A ) E D G E A M P L I T U D E T H R E S H O L D C A L C U L A T I O N , ( B ) E D G E V E C T O R T H R E S H O L D C A L C U L A T I O N , ( c ) E D G E A M P L I T U D E S E G M E N T A T I O N , A N D ( D ) E D G E V E C T O R S E G M E N T A T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1 F I G U R E 2 . 3 7 : T H R E S H O L D C A L C U L A T I O N A N D R E S U L T A N T S E G M E N T A T I O N F O R F I G U R E 2 . 1 7 , ( A ) E D G E A M P L I T U D E T H R E S H O L D C A L C U L A T I O N , ( B ) E D G E V E C T O R T H R E S H O L D C A L C U L A T I O N , ( c ) E D G E A M P L I T U D E S E G M E N T A T I O N , A N D ( D ) E D G E V E C T O R S E G M E N T A T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2 x v i F I G U R E 2 . 3 8 : T H R E S H O L D C A L C U L A T I O N A N D R E S U L T A N T S E G M E N T A T I O N F O R F I G U R E 2 . 2 0 , ( A ) E D G E A M P L I T U D E T H R E S H O L D C A L C U L A T I O N , ( B ) E D G E V E C T O R T H R E S H O L D C A L C U L A T I O N , ( C ) E D G E A M P L I T U D E S E G M E N T A T I O N , A N D ( D ) E D G E V E C T O R S E G M E N T A T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2 F I G U R E 3 . 1 : T A X O N O M Y O F F E A T U R E - B A S E D D E S C R I P T I O N T E C H N I Q U E S F O R I M A G E C L A S S I F I C A T I O N [ 2 3 ] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 6 F I G U R E 3 . 2 : D E M O N S T R A T I O N O F C O M M O N A L I T Y O F C O L O R A N D T E X T U R E I N I N F A N T A N D A D U L T I M A G E S , ( A ) I N F A N T I M A G E , A N D ( B ) A D U L T I M A G E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 7 F I G U R E 3 . 3 : E X A M P L E I M A G E S H O W I N G T H A T T H E O C C U P A N T C A N B E C O M P L E T E L Y E N G U L F E D W I T H I N T H E B O U N D A R Y O F T H E V E H I C L E S E A T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 8 F I G U R E 3 . 4 : E D G E M A P S O F I N F A N T A N D A D U L T S E G M E N T E D I M A G E S , ( A ) S E G M E N T E D R F I S , ( B ) S E G M E N T E D A D U L T , ( c ) E D G E I M A G E O F R F I S , A N D ( D ) E D G E I M A G E O F A D U L T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 0 F I G U R E 3 . 5 : C F A R E D G E D E T E C T O R W I N D O W . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 0 F I G U R E 3 . 6 : E D G E D E T E C T I O N C O M P A R I S O N , ( A ) S E G M E N T E D I M A G E , ( B ) A D A P T I V E T H R E S H O L D E D G E D E T E C T I O N , A N D ( C ) C F A R E D G E D E T E C T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1 F I G U R E 3 . 7 : C O N N E C T E D C O M P O N E N T S I N C F A R E D G E M A P , ( A ) O R I G I N A L C F A R E D G E I M A G E O F R F I S , ( B ) O R I G I N A L C F A R E D G E I M A G E O F A D U L T , ( c ) C O N N E C T E D C O M P O N E N T S F O R A R F I S , A N D ( D ) C O N N E C T E D C O M P O N E N T S F O R A N A D U L T R F I S . 9 2 F I G U R E 3 . 8 : B I N A R Y S I L H O U E T T E S D o N O T P R O V I D E A D E Q U A T E S E P A R A T I O N , ( A ) C H I L D O N S E A T ( B ) E M P T Y P A S S E N G E R S E A T , ( c ) S E G M E N T E D A N D B I N A R I Z E D C H I L D , ( D ) S E G M E N T E D A N D B I N A R I Z E D E M P T Y S E A T , A N D ( E ) T H E D I F F E R E N C E B E T W E E N I M A G E ( C ) A N D I M A G E ( D ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 3 F I G U R E 3 . 9 , H A A R W A V E L E T B A S I S F U N C T I O N S , ( A ) T H E S U M M A T I O N F U N C T I O N ( 0 [ 0 , 1 ) ( r ) , A N D ( B ) T H E D E L T A F U N C T I O N I / / [ 0 , 1 ) ( r ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 5 F I G U R E 3 . 1 0 : H A A R W A V E L E T B A S I S F U N C T I O N S F O R 2 - D I M E N S I O N A L P R O C E S S I N G , ( A ) S U M M A T I O N O P E R A T O R ( 1 3 0 ‘ 0 ( x , y ) , ( B ) D I A G O N A L E D G E O P E R A T O R \ n g o ( x , y ) , ( C ) H O R I Z O N T A L E D G E O P E R A T O R ‘ 1 1 : , ( x , y ) , A N D ( D ) V E R T I C A L E D G E O P E R A T O R T h ( 1 : , y ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 7 F I G U R E 3 . 1 1 : H A N D S E G M E N T E D I M A G E O F A N I N F A N T S E A T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 8 F I G U R E 3 . 1 2 : O U T P U T O F H A A R W A V E L E T T R A N S F O R M O F T H E I M A G E S H O W N I N F I G U R E 3 . 1 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 8 x v i i F I G U R E 3 . 1 3 : W A V E L E T T R A N S F O R M R E S U L T S F O R T H E V E R T I C A L E D G E D E T E C T O R , ( A ) A T F U L L R E S O L U T I O N , ( B ) A T 1 / 2 R E S O L U T I O N , A N D ( G ) A T 1 / 4 R E S O L U T I O N . . . . . . . . . . . . . . . . . . 9 9 F I G U R E 3 . 1 4 : P E R S P E C T I V E E F F E C T O N P E R C E I V E D O C C U P A N T S I Z E , ( A ) 6 Y E A R - O L D C H I L D O N B O O S T E R I N F R O N T - M O S T S E A T P O S I T I O N , A N D ( B ) 5 T H P E R C E N T I L E A D U L T I N R E A R - M O S T S E A T P O S I T I O N ( N O T E 6 Y E A R - O L D I S L A R G E R I N T H E I M A G E D U E T O P E R S P E C T I V E ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 0 1 F I G U R E 3 . 1 5 : G E N E R A T I O N O F F E A T U R E V E C T O R F O R I M A G E S U B - S A M P L I N G F O R A N A D U L T I M A G E , ( A ) O R I G I N A L I M A G E , ( B ) 1 0 : 1 S U B - S A M P L E D I M A G E , A N D ( C ) R A S T E R I Z E D S U B - S A M P L E D I M A G E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 8 F I G U R E 3 . 1 6 : A P P E A R A N C E - B A S E D F E A T U R E C O M P A R I S O N , ( A ) S U B - S A M P L E D E M P T Y I M A G E , ( B ) S U B - S A M P L E D A D U L T I M A G E , ( c ) R A S T E R I Z E D E M P T Y I M A G E , A N D ( D ) R A S T E R I Z E D A D U L T I M A G E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 9 F I G U R E 3 . 1 7 : O R I G I N A L S E G M E N T A T I O N S A N D E D G E I M A G E S F O R R F I S A N D A D U L T C L A S S E S , ( A ) R F I S S E G M E N T A T I O N , ( B ) A D U L T S E G M E N T A T I O N , ( C ) R F I S E D G E I M A G E , A N D ( D ) A D U L T E D G E I M A G E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 0 F I G U R E 3 . 1 8 : R E C O N S T R U C T I O N S O F R F I S A N D A D U L T I M A G E S , ( A ) R F I S A T 2 5 T H O R D E R , ( B ) R F I S A T 3 5 ” O R D E R , A N D ( C ) R F I S A T 4 5 ” O R D E R , ( D ) A D U L T A T 2 5 T H O R D E R , ( E ) A D U L T A T 3 5 T H O R D E R , A N D ( F ) A D U L T A T 4 5 T H O R D E R F O R F I G U R E 3 . 1 7 . . . . . . . . . . . . 1 2 2 F I G U R E 3 . 1 9 : S O R T E D M A N N - W H I T N E Y Z - S T A T I S T I C F O R 2 5 T H O R D E R M O M E N T S . . . . . . . . . 1 2 3 F I G U R E 3 . 2 0 : S O R T E D M A N N - W H I T N E Y Z - S T A T I S T I C F O R 3 5 T H O R D E R M O M E N T S . . . . . . . . . 1 2 3 F I G U R E 3 . 2 1 : S O R T E D M A N N - W H I T N E Y Z - S T A T I S T I C F O R 4 5 T H O R D E R M O M E N T S . . . . . . . . . 1 2 4 F I G U R E 4 . 1 : M E T H O D S O F F E A T U R E S E L E C T I O N , ( A ) F I L T E R A P P R O A C H , A N D ( B ) W R A P P E R A P P R O A C H [ 2 4 ] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 8 F I G U R E 4 . 2 : T A X O N O M Y O F F E A T U R E S E L E C T I O N M E T H O D S [ 5 5 ] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 0 F I G U R E 4 . 3 : M A N N - W H I T N E Y S T A T I S T I C V E R S U S F E A T U R E R A N K I N G F O R 4 5 T H O R D E R L E G E N D R E M O M E N T S F E A T U R E V E C T O R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 9 F I G U R E 4 . 4 : T Y P I C A L H I S T O G R A M O F C O R R E L A T I O N C O E F F I C I E N T V A L U E S ; H O R I Z O N T A L A X I S I S T H E C O R R E L A T I O N V A L U E A N D T H E V E R T I C A L A X I S I S T H E F R E Q U E N C Y O F O C C U R R E N C E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 4 5 F I G U R E 4 . 5 : I N I T I A L B I N A R Y C O R R E L A T I O N M A P D U R I N G F E A T U R E C O R R E L A T I O N P R O C E S S I N G A F T E R T - T E S T T H R E S H O L D I N G ( B L A C K S Q U A R E S D E N O T E U N C O R R E L A T E D F E A T U R E S ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 4 6 F I G U R E 4 . 6 : B I N A R Y C O R R E L A T I O N M A P D U R I N G T H E F E A T U R E C O R R E L A T I O N P R O C E S S I N G , ( B L A C K S Q U A R E S D E N O T E U N C O R R E L A T E D F E A T U R E S ) , ( A ) B I N A R Y C O R R E L A T I O N x v i i i M A T R I X A F T E R S T E P ( 4 ) O F T H E A L G O R I T H M , A N D ( B ) F I N A L B I N A R Y C O R R E L A T I O N M A T R I X W H E R E O N L Y 4 O F T H E O R I G I N A L 2 5 F E A T U R E S A R E R E T A I N E D . . . . . . . . . . . . . . . . . . . 1 4 7 F I G U R E 4 . 7 : E X A M P L E O F P R U N I N G O N A T W O - C L A S S G A U S S I A N D A T A S E T O F 2 0 0 S A M P L E S P E R C L A S S , ( A ) O R I G I N A L S C A T T E R P L O T , ( B ) P R U N I N G B Y R E M O V I N G R E D U N D A N T S A M P L E S , A N D ( C ) P R U N I N G B Y R E M O v a M I S - C L A S S I F I E D S A M P L E S . . . . . . . . . . . . . . . . . . . . . . 1 4 9 F I G U R E 4 . 8 : E X A M P L E O F P R U N I N G O N A T W O - C L A S S G A U S S I A N D A T A S E T W I T H O N E C L A S S C O R R U P T E D D U E T O E R R O R S S U C H A S S E G M E N T A T I O N E R R O R , ( A ) O R I G I N A L S C A T T E R P L O T , ( B ) P R U N I N G B Y R E M O v a R E D U N D A N T S A M P L E S , A N D ( G ) P R U N I N G B Y R E M O v a M I S - C L A S S I F I E D S A M P L E S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 0 F I G U R E 4 . 9 : E X A M P L E O F P O O R S E G M E N T A T I O N C A U S I N G C O N F U S I O N B E T W E E N A C H I L D A N D A N E M P T Y S E A T , ( A ) O R I G I N A L C H I L D I M A G E , ( B ) S E G M E N T A T I O N O F C H I L D I M A G E A P P E A R I N G T o B E A N E M P T Y S E A T , A N D ( C ) A N A C T U A L E M P T Y S E A T S E G M E N T A T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 1 F I G U R E 4 . 1 0 2 P L O T S O F N U M B E R O F F E A T U R E S A N D P R O B A B I L I T Y O F E R R O R V E R S U S W E I G H T I N G F O R R A N D O M M U T A T I O N H I L L C L I M B I N G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 6 F I G U R E 4 . 1 1 : C O M P A R I S O N O F C O N V E R G E N C E R A T E W H E N C O O L I N G I s A D D E D T O R A N D O M M U T A T I O N H I L L C L I M B I N G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 7 F I G U R E 5 . 1 : H I E R A R C H Y O F T H E C L A S S I F I C A T I O N M E T H O D S I N S T A T I S T I C A L P A T T E R N . . . R E C O G N I T I O N [ 2 6 ] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 7 6 F I G U R E 5 . 2 : T H E D I S T A N C E - B A S E D K - N E A R E S T N E I G H B O R C L A S S I F I E R . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 8 0 F I G U R E 5 . 3 : D E M O N S T R A T I O N O F N E E D F O R H I S T O R Y A L G O R I T H M , ( A ) A D U L T S E A T E D N O R M A L L Y , A N D ( B ) A D U L T L E A N I N G F O R W A R D A N D A P P E A R I N G T o S Y S T E M T o B E A N I N F A N T I N A R F I S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 8 6 F I G U R E 5 . 4 : C O N T E X T U A L P R O C E S S I N G F O R T H E A I R B A G S U P P R E S S I O N A P P L I C A T I O N . 1 8 9 F I G U R E 5 . 5 : S E Q U E N C E O F I M A G E S T O D E M O N S T R A T E H I S T O R Y P R O C E S S I N G . . . . . . . . . . . . . . . . . . 2 0 1 F I G U R E 5 . 6 : I N P U T C O N F I D E N C E S W I T H N O H I S T O R Y F O R E A C H C L A S S F O R S E Q U E N C E I N F I G U R E 5 . 5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0 2 F I G U R E 5 . 7 : O R I G I N A L C L A S S I F I C A T I O N S W I T H N o H I S T O R Y P R O C E S S I N G V E R S U S I M A G E F R A M E ( C L A S S 1 = I N F A N T , C L A S S 2 = C H I L D , C L A S S 3 = A D U L T , A N D C L A S S 4 = E M P T Y ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0 3 F I G U R E 5 . 8 : D E M P S T E R - S H A F E R A T O M I C E L E M E N T B E L I E F S V E R S U S I M A G E F R A M E . . . . . . . . 2 0 4 F I G U R E 5 . 9 : F I N A L C O N F I D E N C E F O R O U T P U T C L A S S D - S C O N F I D E N C E C O M P A R E D T O I N P U T C O N F I D E N C E S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0 5 x i x F I G U R E 5 . 1 0 : F I N A L C L A S S I F I C A T I O N S A F T E R D - S H I S T O R Y P R O C E S S I N G V E R S U S I M A G E F R A M E ( C L A S S 1 = I N F A N T , C L A S S 2 = C H I L D , C L A S S 3 = A D U L T , A N D C L A S S 4 = E M P T Y ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0 5 F I G U R E 5 . 1 1 : P E R M U T E D S E Q U E N C E O F I M A G E S T o D E M O N S T R A T E H I S T O R Y P R O C E S S I N G W H E N T H E I N I T I A L C L A S S I F I C A T I O N I S W R O N G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0 7 F I G U R E 5 . 1 2 : I N P U T C O N F I D E N C E S W I T H N O H I S T O R Y F O R E A C H C L A S S F O R S E Q U E N C E I N F I G U R E 5 . 5 I F W E M O V E F R A M E S 1 3 - 2 0 T o T H E F R O N T O F T H E S E Q U E N C E S O T H E O C C U P A N T I N I T I A L L Y L O O K S L I K E A N I N F A N T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0 8 F I G U R E 5 . 1 3 : O R I G I N A L C L A S S I F I C A T I O N S O F P E R M U T E D I M A G E S E Q U E N C E W I T H N O H I S T O R Y P R O C E S S I N G V E R S U S I M A G E F R A M E ( C L A S S 1 = I N F A N T , C L A S S 2 = C H I L D , C L A S S 3 = A D U L T , A N D C L A S S 4 = E M P T Y ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0 8 F I G U R E 5 . 1 4 : D E M P S T E R - S H A F E R A T O M I C E L E M E N T B E L I E F S V E R S U S I M A G E F R A M E F O R P E R M U T E D I M A G E S E Q U E N C E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0 9 F I G U R E 5 . 1 5 : F I N A L C O N F I D E N C E F O R O U T P U T C L A S S D - S C O N F I D E N C E C O M P A R E D T o I N P U T C O N F I D E N C E S F O R P E R M U T E D S E Q U E N C E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1 0 F I G U R E 5 . 1 6 : F I N A L C L A S S I F I C A T I O N S A F T E R D - S H I S T O R Y P R O C E S S I N G V E R S U S I M A G E F R A M E F O R P E R M U T E D S E Q U E N C E ( C L A S S 1 = I N F A N T , C L A S S 2 = C H I L D , C L A S S 3 = A D U L T , A N D C L A S S 4 = E M P T Y ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1 0 F I G U R E 6 . 1 : R E P R E S E N T A T I O N O F A P P R O A C H E S T o S E G M E N T A T I O N . ( A ) T R A D I T I O N A L S E G M E N T A T I O N R E P R E S E N T E D A S A F I L T E R A P P R O A C H , A N D ( B ) I N T E G R A T E D S E G M E N T A T I O N R E P R E S E N T E D A s A W R A P P E R - B A S E D A P P R O A C H . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1 6 F I G U R E 6 . 2 : E X A M P L E S O F S I M P L E O B J E C T S T H A T C A N N O T B E S E G M E N T E D B A S E D O N A S I M P L E C O M M O N A T T R I B U T E . ( A ) I N F A N T I N C H I L D S E A T , A N D ( B ) A D U L T O N P A S S E N G E R S E A T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1 7 F I G U R E 6 . 3 : W R A P P E R - B A S E D I M A G E S E G M E N T A T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1 9 F I G U R E 6 . 4 : P R E L I M I N A R Y S E G M E N T A T I O N R E S U L T S , ( A ) I N P U T A D U L T I M A G E , ( B ) I N P U T R F I S I M A G E , ( C ) S E G M E N T E D A D U L T , A N D ( D ) S E G M E N T E D R F I S . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 1 F I G U R E 6 . 5 : U N O B S E R V E D L A B E L S F O R E A C H R E G I O N O F O B S E R V E D P I X E L V A L U E S [ 7 1 ] . 2 2 2 F I G U R E 6 . 6 : E M P R O C E S S I N G S T A G E S , ( A ) I N P U T P R E - S E G M E N T E D I M A G E , ( B ) H I S T O G R A M O F T H I S I M A G E , ( C ) F I N A L G A U S S I A N M I X T U R E , A N D ( D ) F I N A L L A B E L E D I M A G E . . . . . . 2 2 6 F I G U R E 6 . 7 : C O M P A R I S O N O F I M A G E S M O O T H I N G M E T H O D S , ( A ) O R I G I N A L E M L A B E L E D I M A G E , ( B ) M O D E F I L T E R E D I M A G E , A N D ( G ) S M A P F I L T E R E D I M A G E . . . . . . . . . . . . . . . . . . . . . . 2 2 7 F I G U R E 6 . 8 : T E S T I M A G E O F A 3 Y E A R - O L D C H I L D I N A F O R W A R D F A C I N G C H I L D R E S T R A I N T F O R D E M O N S T R A T I N G T H E B L O B - C O M B I N I N G A L G O R I T H M S , ( A ) H A N D S E G M E N T E D G R A Y S C A L E I M A G E , A N D ( B ) B L O B L A B E L E D I M A G E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 9 F I G U R E 6 . 9 : S E Q U E N C E O F B L O B C O M B I N A T I O N S U S I N G T H E G R A D I E N T D E S C E N T A L G O R I T H M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3 1 F I G U R E 6 . 1 0 : C L A S S I F I C A T I O N D I S T A N C E S V E R S U S B L O B A C C R U A L I T E R A T I O N F O R G R A D I E N T D E S C E N T P R O C E S S I N G . N O T E T H E D E E P L O C A L M I N I M A A R O U N D T H E F I F T E E N T H I T E R A T I O N W H E R E T H E S Y S T E M W O U L D H A V E M I S - C L A S S I F I E D T H E I M A G E A s A N I N F A N T R A T H E R T H A N A C H I L D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3 2 F I G U R E 6 . 1 ] : S E Q U E N C E O F B L O B C O M B I N A T I O N S U S I N G T H E P L U S - L - M I N U S - R F O R W A R D S E Q U E N T I A L S E A R C H A L G O R I T H M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3 4 F I G U R E 6 . 1 2 : B L O B C O M B I N I N G C L A S S I F I C A T I O N D I S T A N C E V E R S U S I T E R A T I O N N U M B E R F O R T H E P L U S - L - M I N U S - R F O R W A R D S E Q U E N T I A L S E A R C H A L G O R I T H M . . . . . . . . . . . . . . . . . . 2 3 5 F I G U R E 6 . 1 3 : S E Q U E N C E O F B L O B C O M B I N A T I O N S U S I N G T H E R A N D O M M U T A T I O N H I L L C L I M B I N G A L G O R I T H M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3 7 F I G U R E 6 . 1 4 : B L O B C O M B I N I N G C L A S S I F I C A T I O N D I S T A N C E V E R S U S I T E R A T I O N N U M B E R F O R R A N D O M M U T A T I O N H I L L C L I M B I N G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3 8 F I G U R E 6 . 1 5 : C O M P A R I S O N O F F A S T M O M E N T C A L C U L A T I O N A L G O R I T H M S , ( A ) S H A P E D E C O M P O S I T I O N M E T H O D , A N D ( B ) O U R E M - B A S E D L A B E L E D B L O B S . . . . . . . . . . . . . . . . . . . . . . . 2 4 2 F I G U R E 6 . 1 6 : C L A S S I F I C A T I O N D I S T A N C E S F O R E A C H O F T H E A P R I O R I C L A S S A S S U M P T I O N S , ; C L A S S 2 P R O V I D E S T H E B E S T C L A S S I F I C A T I O N V A L U E , A N D T H E B E S T S E G M E N T A T I O N C O R R E S P O N D S T O B L O B C O M B I N A T I O N # 1 4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4 4 F I G U R E 6 . 1 7 : E X A M P L E O F C O R R E C T I N F A N T S E G M E N T A T I O N , ( A ) R A W I M A G E , ( B ) P R E L I M I N A R Y S E G M E N T A T I O N , A N D ( c ) F I N A L F O R W A R D S E Q U E N T I A L S E A R C H S E G M E N T A T I O N O U T P U T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4 8 F I G U R E 6 . 1 8 : E X A M P L E O F C O R R E C T I N F A N T S E G M E N T A T I O N , ( A ) R A W I M A G E , ( B ) P R E L I M I N A R Y S E G M E N T A T I O N , A N D ( c ) F I N A L F O R W A R D S E Q U E N T I A L S E A R C H S E G M E N T A T I O N O U T P U T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4 9 F I G U R E 6 . 1 9 : E X A M P L E O F C O R R E C T I N F A N T S E G M E N T A T I O N , ( A ) R A W I M A G E , ( B ) P R E L I M I N A R Y S E G M E N T A T I O N , A N D ( C ) F I N A L F O R W A R D S E Q U E N T I A L S E A R C H S E G M E N T A T I O N O U T P U T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4 9 F I G U R E 6 . 2 0 : E X A M P L E O F C O R R E C T A D U L T S E G M E N T A T I O N , ( A ) R A W I M A G E , ( B ) P R E L I M I N A R Y S E G M E N T A T I O N , A N D ( c ) F I N A L F O R W A R D S E Q U E N T I A L S E A R C H S E G M E N T A T I O N O U T P U T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4 9 X X i F I G U R E 6 . 2 1 : E X A M P L E O F C O R R E C T A D U L T S E G M E N T A T I O N , ( A ) R A W I M A G E , ( B ) P R E L I M I N A R Y S E G M E N T A T I O N , A N D ( c ) F I N A L F O R W A R D S E Q U E N T I A L S E A R C H S E G M E N T A T I O N O U T P U T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5 0 F I G U R E 6 . 2 2 : E X A M P L E O F C O R R E C T A D U L T S E G M E N T A T I O N , ( A ) R A W I M A G E , ( B ) P R E L I M I N A R Y S E G M E N T A T I O N , A N D ( c ) F I N A L F O R W A R D S E Q U E N T I A L S E A R C H S E G M E N T A T I O N O U T P U T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5 0 F I G U R E 6 . 2 3 : E X A M P L E O F I N C O R R E C T S E G M E N T A T I O N , ( A ) R A W I M A G E , ( B ) P R E L I M I N A R Y S E G M E N T A T I O N , A N D ( G ) F I N A L F O R W A R D S E Q U E N T I A L S E A R C H S E G M E N T A T I O N O U T P U T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5 0 F I G U R E 6 . 2 4 : E X A M P L E O F I N C O R R E C T S E G M E N T A T I O N , ( A ) R A W I M A G E , ( B ) P R E L I M I N A R Y S E G M E N T A T I O N , A N D ( c ) F I N A L F O R W A R D S E Q U E N T I A L S E A R C H S E G M E N T A T I O N O U T P U T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5 1 F I G U R E 6 . 2 5 : E X A M P L E O F C O R R E C T I N F A N T S E G M E N T A T I O N , ( A ) R A W I M A G E , ( B ) P R E L I M I N A R Y S E G M E N T A T I O N , A N D ( G ) F I N A L R A N D O M M U T A T I O N B L O B C O M B I N I N G S E G M E N T A T I O N O U T P U T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5 3 F I G U R E 6 . 2 6 : E X A M P L E O F C O R R E C T I N F A N T S E G M E N T A T I O N , ( A ) R A W I M A G E , ( B ) P R E L I M I N A R Y S E G M E N T A T I O N , A N D ( G ) F I N A L R A N D O M M U T A T I O N B L O B C O M B I N I N G S E G M E N T A T I O N O U T P U T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5 3 F I G U R E 6 . 2 7 : E X A M P L E O F C O R R E C T A D U L T S E G M E N T A T I O N , ( A ) R A W I M A G E , ( B ) P R E L I M I N A R Y S E G M E N T A T I O N , A N D ( C ) F I N A L R A N D O M M U T A T I O N B L O B C O M B I N I N G S E G M E N T A T I O N O U T P U T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5 3 F I G U R E 6 . 2 8 : E X A M P L E O F C O R R E C T A D U L T S E G M E N T A T I O N , ( A ) R A W I M A G E , ( B ) P R E L I M I N A R Y S E G M E N T A T I O N , A N D ( c ) F I N A L R A N D O M M U T A T I O N B L O B C O M B I N I N G S E G M E N T A T I O N O U T P U T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5 4 F I G U R E 6 . 2 9 : E X A M P L E O F I N - C O R R E C T I N F A N T S E G M E N T A T I O N , ( A ) R A W I M A G E , ( B ) P R E L I M I N A R Y S E G M E N T A T I O N , A N D ( c ) F I N A L R A N D O M M U T A T I O N B L O B C O M B I N I N G S E G M E N T A T I O N O U T P U T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5 4 F I G U R E 6 . 3 0 : E X A M P L E O F I N - C O R R E C T A D U L T S E G M E N T A T I O N , ( A ) R A W I M A G E , ( B ) P R E L I M I N A R Y S E G M E N T A T I O N , A N D ( c ) F I N A L R A N D O M M U T A T I O N B L O B C O M B I N I N G S E G M E N T A T I O N O U T P U T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5 4 F I G U R E 7 . 1 : O C C U P A N T T R A C K E R P R O C E S S I N G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5 7 F I G U R E 7 . 2 : T E M P L A T E - B A S E D M O T I O N S E G M E N T A T I O N P R O C E S S I N G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 6 0 F I G U R E 7 . 3 : M E C H A N I S M F O R D E F I N I N G P O I N T S T O B E T R A C K E D F O R T E M P L A T E - B A S E D M O T I O N S E G M E N T A T I O N , ( A ) S P O K E A R R A N G E M E N T , A N D ( B ) R E S U L T A N T P O I N T S . . . 2 6 2 x x i i F I G U R E 7 . 4 : D E M O N S T R A T I O N O F D I F F I C U L T Y O F I N I T I A L I Z I N G T E M P L A T E S F R O M C L A S S I F I E R - B A S E D S E G M E N T A T I O N , ( A ) O R I G I N A L I M A G E , ( B ) S E G M E N T E D I M A G E W I T H R E S U L T A N T I N I T I A L T E M P L A T E C O N T O U R , A N D ( C ) T R U E C O N T O U R R E Q U I R E D F O R T R A C K I N G O C C U P A N T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 6 3 F I G U R E 7 . 5 : D E M O N S T R A T I O N O F D I F F I C U L T I E S I N F I N D I N G P O I N T - T o - P O I N T M A T C H I N G I N O C C U P A N T T E M P L A T E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 6 4 F I G U R E 7 . 6 : T Y P I C A L A D U L T M O T I O N I N A V E H I C L E , ( A ) S E A T E D N O R M A L L Y , ( B ) S I T T I N G U P A N D T U R N I N G S L I G H T L Y , A N D ( c ) L E A N I N G F A R F O R W A R D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 6 6 F I G U R E 7 . 7 : D E M O N S T R A T I O N O F D I F F I C U L T Y I N M A I N T A I N I N G A T E M P L A T E W I T H O U T C O N T R O L L I N G A L L O W A B L E D E F O R M A T I O N S , ( A ) P E R S O N S E A T E D N O R M A L L Y , A N D ( B ) S A M E P E R S O N B E G I N N I N G T o P U T O N A S W E A T E R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 6 8 F I G U R E 7 . 8 : P R O C E S S I N G F O R O P T I C A L F L O W - B A S E D M O T I O N S E G M E N T A T I O N . . . . . . . . . . . . . . . 2 6 9 F I G U R E 7 . 9 : D E M O N S T R A T I O N O F I M P R O V E D V E L O C I T Y D E T E C T I O N , ( A ) T I M E V A R Y I N G l - D ' I M A G E ' W I T H A D D I T I V E G A U S S I A N N O I S E ( T I M E O N T H E V E R T I C A L A X I S ) , ( B ) T U N E D G A B O R F I L T E R , ( C ) A M P L I T U D E R E S P O N S E O F F I L T E R , ( D ) P H A S E R E S P O N S E O F F I L T E R , ( E ) I S O - A M P L I T U D E L I N E S , A N D ( F ) I S O - P H A S E L I N E S [ 1 2 8 ] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 7 2 F I G U R E 7 . 1 0 : G A B O R F I L T E R S W I T H 3 S C A L E S A N D 4 O R I E N T A T I O N S , ( A ) R E A L P A R T , A N D ( B ) I M A G I N A R Y P A R T [ 1 3 0 ] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 7 3 F I G U R E 7 . 1 1 : R E S U L T A N T C O M P O N E N T V E L O C I T I E S F O R V A R I O U S D I R E C T I O N S O F G A B O R F I L T E R S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 7 4 F I G U R E 7 . 1 2 : C O M B I N E D M O T I O N F R O M G A B O R F I L T E R S , ( A ) U D I R E C T I O N , A N D ( B ) V D I R E C T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 7 5 F I G U R E 7 . 1 3 : S T A N D A R D V E R S U S E X T E N D E D G R A D I E N T O P T I C A L F L O W , ( A ) F I R S T I M A G E , ( B ) S E C O N D I M A G E , ( C ) U - C O M P O N E N T F O R T H E B A S I C G R A D I E N T M E T H O D S , ( D ) U - C O M P O N E N T F O R T H E I L L U M I N A T I O N - E N H A N C E D G R A D I E N T M E T H O D , ( E ) V - C O M P O N E N T F O R T H E B A S I C G R A D I E N T M E T H O D , A N D ( F ) V - C O M P O N E N T F O R T H E I L L U M I N A T I O N - E N H A N C E D G R A D I E N T M E T H O D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 7 7 F I G U R E 7 . 1 4 : F L O W F I E L D S A N D H I S T O G R A M S , ( A ) U - C O M P O N E N T I M A G E , ( B ) V - C O M P O N E N T I M A G E , ( c ) H I S T O G R A M O F U - C O M P O N E N T , A N D ( D ) H I S T O G R A M O F V - C O M P O N E N T ( N O T E L A C K O F S T R U C T U R E B E Y O N D S I N G L E G A U S S I A N ) . . . . . . . . . . . . . . . . . . . . . 2 8 5 F I G U R E 7 . 1 5 : E F F E C T S O F A D D I T I V E I L L U M I N A T I O N , ( A ) O R I G I N A L I M A G E , ( B ) M O D I F I E D I M A G E , ( C ) H I S T O G R A M O F O R I G I N A L I M A G E , A N D ( D ) H I S T O G R A M O F M O D I F I E D I M A G E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 8 9 F I G U R E 7 . 1 6 : E F F E C T S O F M U L T I P L I C A T I V E I L L U M I N A T I O N , ( A ) O R I G I N A L I M A G E , ( B ) M O D I F I E D I M A G E , ( c ) H I S T O G R A M O F O R I G I N A L I M A G E , A N D ( D ) H I S T O G R A M O F M O D I F I E D I M A G E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 9 0 X X i i i F I G U R E 7 . 1 7 : E F F E C T S O F P A R T I A L M U L T I P L I C A T I V E I L L U M I N A T I O N , ( A ) O R I G I N A L I M A G E , ( B ) M O D I F I E D I M A G E , ( C ) H I S T O G R A M O F O R I G I N A L I M A G E , A N D ( D ) H I S T O G R A M O F M O D I F I E D I M A G E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 9 1 F I G U R E 7 . 1 8 : P H E N O M E N O L O G Y O F T H E J O I N T P D F , ( A ) I N C O M I N G I M A G E , A N D ( B ) T H E J O I N T D E N S I T Y F U N C T I O N O F T H E I M A G E W I T H I T S E L F . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 9 4 F I G U R E 7 . 1 9 : J O I N T D E N S I T Y F U N C T I O N S F O R V A R I O U S I L L U M I N A T I O N S , ( A ) F O R A N I M A G E W I T H I T S E L F , ( B ) F O R A N I M A G E W I T H A V E R S I O N O F I T S E L F W I T H A D D I T I V E I L L U M I N A T I O N , ( c ) F O R A N I M A G E W I T H A V E R S I O N O F I T S E L F W I T H M U L T I P L I C A T I V E I L L U M I N A T I O N , A N D ( D ) F O R A N I M A G E W I T H A V E R S I O N O F I T S E L F W I T H O N L Y A R E G I O N W I T H M U L T I P L I C A T I V E I L L U M I N A T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 9 5 F I G U R E 7 . 2 0 : E F F E C T S O F S M A L L O C C U P A N T M O T I O N S O N J O I N T D E N S I T Y F U N C T I O N , ( A ) F I R S T I M A G E , ( B ) I M A G E T O B E C O M P A R E D W I T H F I R S T I M A G E , ( c ) D I F F E R E N C E I M A G E O F I M A G E ( A ) A N D I M A G E ( B ) , A N D ( D ) J O I N T D E N S I T Y F U N C T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 9 6 F I G U R E 7 . 2 1 : E F F E C T S O F L A R G E O C C U P A N T M O T I O N S O N J O I N T D E N S I T Y F U N C T I O N , ( A ) F I R S T I M A G E , ( B ) I M A G E T o B E C O M P A R E D W I T H F I R S T I M A G E , ( c ) D I F F E R E N C E I M A G E O F I M A G E ( A ) A N D I M A G E ( B ) , A N D ( D ) J O I N T D E N S I T Y F U N C T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 9 7 F I G U R E 7 . 2 2 : P A R T O F T H E S E Q U E N C E O F H U M A N M O T I O N D U R I N G A V E H I C L E D R I V E T E S T U S E D F O R T E S T I N G T H E M O T I O N E S T I M A T I O N A L G O R I T H M S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 9 9 F I G U R E 7 . 2 3 : R O B O T I C T E S T F I X T U R E F O R T E S T I N G A S Z I N T R U S I O N T I M E , ( A ) V I E W T H R O U G H D R I V E R ’ S S I D E R E A R D O O R , A N D ( B ) V I E W T H R O U G H S U N R O O F . . . . . . . . . . . . . . . . 3 0 1 F I G U R E 7 . 2 4 : I N P U T I M A G E P R I O R T O H A U S D O R F F P R E - P R O C E S S I N G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 0 2 F I G U R E 7 . 2 5 : R E S U L T S O F H A U S D O R F F P R E - P R O C E S S I N G , ( A ) D I F F E R E N C E I M A G E , A N D ( B ) T H R E S H O L D E D A N D R E G I O N L I M I T E D D I F F E R E N C E I M A G E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 0 2 F I G U R E 7 . 2 6 : F I N A L H A U S D O R F F O U T P U T F R O M T W O C O N S E C U T I V E F R A M E S ; C I R C L E S A R E F R O M T H E C U R R E N T F R A M E A N D S Q U A R E S A R E F R O M T H E P R E V I O U S F R A M E . . . . . . . . . . . . 3 0 3 F I G U R E 7 . 2 7 : S E G M E N T O F M O T I O N S E Q U E N C E W H E R E T H E H A U S D O R F F T E M P L A T E M A T C H I N G F A I L S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 0 4 F I G U R E 7 . 2 8 : E X A C T I M A G E F R O M T H E S E Q U E N C E S H O W N I N F I G U R E 7 . 2 8 W I T H C O N S I D E R A B L E O U T O F T H E I M A G E P L A N E M O T I O N W H E R E T E M P L A T E M A T C H I N G F A I L S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 0 4 F I G U R E 7 . 2 9 : 1 M A G E S F O R H A U S D O R F F P R E - P R O C E S S I N G , ( A ) D I F F E R E N C E I M A G E , A N D ( B ) T H R E S H O L D E D A N D R E G I O N L I M I T E D D I F F E R E N C E I M A G E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 0 5 F I G U R E 7 . 3 O : F I N A L H A U S D O R F F O U T P U T F O R F A I L E D I M A G E S E Q U E N C E F R O M T w o C O N S E C U T I V E F R A M E S ; C I R C L E S A R E F R O M T H E C U R R E N T F R A M E A N D S Q U A R E S A R E F R O M T H E P R E V I O U S F R A M E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 0 5 x x i v F I G U R E 7 . 3 1 : P H A S E - B A S E D M O T I O N E S T I M A T I O N R E S U L T S . ( A ) U - C O M P O N E N T I M A G E , ( B ) V - C O M P O N E N T I M A G E , A N D ( c ) R E S U L T A N T F L O W F I E L D W I T H V E L O C I T Y V E C T O R S S H O W N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 0 6 F I G U R E 7 . 3 2 : E M C L U S T E R I N G F O R P H A S E D - B A S E D M O T I O N E S T I M A T E S . ( A ) U - C O M P O N E N T , ( B ) V - C O M P O N E N T , ( c ) E M C L U S T E R R E S U L T , A N D ( D ) E M C L U S T E R R E S U L T O V E R L A I D O N T H E O R I G I N A L I M A G E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 0 7 F I G U R E 7 . 3 3 : G R A D I E N T - B A S E D M O T I O N E S T I M A T I O N R E S U L T S . ( A ) U - C O M P O N E N T I M A G E , ( B ) V - C O M P O N E N T I M A G E , A N D ( c ) R E S U L T A N T F L O W F I E L D W I T H V E L O C I T Y V E C T O R S S H O W N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 0 8 F I G U R E 7 . 3 4 : E M C L U S T E R I N G F O R G R A D I E N T - B A S E D M O T I O N E S T I M A T E S . ( A ) U - C O M P O N E N T , ( B ) V - C O M P O N E N T , ( c ) E M C L U S T E R R E S U L T , A N D ( D ) E M C L U S T E R R E S U L T O V E R L A I D O N T H E O R I G I N A L I M A G E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 0 9 F I G U R E 7 . 3 5 : C O R R E L A T I O N - B A S E D M O T I O N E S T I M A T I O N R E S U L T S . ( A ) U - C O M P O N E N T I M A G E , ( B ) V - C O M P O N E N T I M A G E , A N D ( c ) R E S U L T A N T F L O W F I E L D W I T H V E L O C I T Y V E C T O R S S H O W N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 0 F I G U R E 7 . 3 6 : E M C L U S T E R I N G F O R C O R R E L A T I O N - B A S E D M O T I O N E S T I M A T E S . ( A ) U - C O M P O N E N T , ( B ) V - C O M P O N E N T , ( c ) E M C L U S T E R R E S U L T , A N D ( D ) E M C L U S T E R R E S U L T O V E R L A I D O N T H E O R I G I N A L I M A G E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 1 F I G U R E 7 . 3 7 : O P T I C A L F L O W - B A S E D M O T I O N S E G M E N T A T I O N F O R S E Q U E N C E W H E R E H A U S D O R F F D I S T A N C E F A I L E D T O P E R F O R M , ( A ) U - C O M P O N E N T I M A G E , ( B ) V - C O M P O N E N T I M A G E , A N D ( G ) R E S U L T A N T F L O W F I E L D W I T H V E L O C I T Y V E C T O R S S H O W N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 3 F I G U R E 7 . 3 8 : E M C L U S T E R I N G R E S U L T S B A S E D O N T H E 6 U A N D V F I E L D S D E R I V E D F R O M T H E M U L T I P L E M E T H O D S ( P H A S E - B A S E D , C O R R E L A T I O N - B A S E D , A N D G R A D I E N T - B A S E D ) , ( A ) E M C L U S T E R I N G , A N D ( B ) E M C L U S T E R I N G O V E R L A I D O N T H E O R I G I N A L I M A G E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 6 F I G U R E 7 . 3 9 : O R D E R E D E I G E N V A L U E S O F P C A O N 6 ( U A N D V ) C O M P O N E N T M O T I O N F I E L D S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 7 F I G U R E 7 . 4 0 : S E G M E N T A T I O N R E S U L T S O F E M A P P L I E D O N T H E P C A P R O J E C T I O N S O F O P T I C A L F L O W S , ( A ) E M C L U S T E R I N G O F L A R G E S T E I G E N V A L U E , ( B ) O V E R L A I D O N T H E O R I G I N A L I M A G E , ( c ) E M C L U S T E R I N G O F T w o L A R G E S T E I G E N V A L U E S , A N D ( D ) O V E R L A I D O N T H E O R I G I N A L I M A G E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 8 F I G U R E 8 . 1 : C O N T O U R - L E V E L R E P R E S E N T A T I O N O F H U M A N S T R U C T U R E [ 1 0 6 ] . . . . . . . . . . . . . . 3 2 4 F I G U R E 8 . 2 : B L O B R E P R E S E N T A T I O N O F T H E H U M A N D U R I N G M O T I O N S H O W I N G T H E M O D E L I N G O F T H E V A R I O U S M O V I N G B O D Y P A R T S A S D I S T I N C T B L O B S . ( A ) I N I T I A L R A W I M A G E , ( B ) R A W I M A G E A T N E X T T I M E I N S T A N C E , ( C ) B L O B F O R T H E U P P E R A R M , ( D ) X X V B L O B F O R T H E H A N D , ( E ) B L O B F O R T H E E L B O W , ( F ) B L O B F O R T H E F O R E A R M , A N D ( G ) D E F I N I T I O N O F T w o B L O B S A N D T H E I R I N T E R A C T I O N P O I N T [ 1 1 5 ] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2 5 F I G U R E 8 . 3 : W H O L E B O D Y R E P R E S E N T A T I O N O F H U M A N S D U R I N G M O T I O N , ( A ) R A W I M A G E S C E N E , A N D ( B ) S E G M E N T E D I M A G E S H O W I N G T w o D I S T I N C T W H O L E - B O D Y B L O B S [ 1 1 3 ] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2 6 F I G U R E 8 . 4 : H U M A N R E P R E S E N T A T I O N G E O M E T R Y F O R T R A C K I N G , ( A ) D E F I N I T I O N O F E L L I P S E P A R A M E T E R S , A N D ( B ) E L L I P S E F I T T O T H E H U M A N O C C U P A N T . . . . . . . . . . . . . . . . . . . . 3 2 7 F I G U R E 8 . 5 : E L L I P S E F I T T I N G P R O B L E M D E F I N I T I O N , ( A ) T E M P L A T E M A T C H I N G - B A S E D S E G M E N T A T I O N A S I N P U T , A N D ( B ) O P T I C A L F L O W - B A S E D S E G M E N T A T I O N A S I N P U T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2 8 F I G U R E 8 . 6 : E X A M P L E S O F C O N I C L E A S T S Q U A R E S F I T T I N G , ( A ) P E R F E C T S E T O F E L L I P S E P O I N T S , ( B ) E L L I P S E P O I N T - S E T W I T H L A R G E A M O U N T O F O C C L U S I O N , ( c ) S - S H A P E D P O I N T S E T , A N D ( D ) P A R A L L E L C - S H A P E D P O I N T S E T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 3 0 F I G U R E 8 . 7 : S T R U C T U R E O F H U M A N M O T I O N A N A L Y S I S P R O B L E M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 3 4 F I G U R E 8 . 8 : S E Q U E N C E O F A N A D U L T O C C U P A N T M O V I N G N O R M A L L Y I N A V E H I C L E . . . . . . 3 3 7 F I G U R E 8 . 9 : V A R I A T I O N S I N T H E M O D E L L I K E L I H O O D S F O R E A C H O F T H E M O T I O N M O D E L S D U R I N G N O R M A L H U M A N M O T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 3 8 F I G U R E 8 . 1 0 : H I D D E N M A R K O V M O D E L ( H M M ) A R C H I T E C T U R E [ 1 4 3 ] . . . . . . . . . . . . . . . . . . . . . . . . . . 3 4 0 F I G U R E 8 . 1 1 : S T A T E T R A N S I T I O N D I A G R A M F O R A 3 - M O D E L I M M S Y S T E M . . . . . . . . . . . . . . . . . . . . . 3 4 2 F I G U R E 9 . 1 : O C C U P A N T T R A C K E R S H O W I N G T H E P A R A L L E L M O T I O N A N D S H A P E T R A C K I N G F U N C T I O N S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 4 6 F I G U R E 9 . 2 : P R O B A B I L I T Y D E N S I T Y F U N C T I O N F O R T H E A C C E L E R A T I O N S I N T H E E X P O N E N T I A L L Y C O R R E L A T E D A C C E L E R A T I O N D Y N A M I C S M O D E L . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 5 7 F I G U R E 9 . 3 : A R C H I T E C T U R E O F T H E I N T E R A C T I N G M U L T I P L E M O D E L ( I M M ) T R A C K E R . 3 5 8 F I G U R E 9 . 4 : M O D E L P R O B A B I L I T I E S D U R I N G A P R E — C R A S H B R A K I N G M O T I O N S E Q U E N C E . 3 6 4 F I G U R E 9 . 5 : S E Q U E N C E O F P R E D I C T E D P O S I T I O N S F O R O N E S E N S O R I N P U T F O R T H E M O T I O N T R A C K E R . E L L I P S E S S H O W T H E S E T O F H I G H R A T E U P D A T E S F O R A S I N G L E I M A G E I N P U T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 6 8 F I G U R E 9 . 6 : T H E F O U R B A S I C M E T H O D S O F D E R I V I N G 3 - D S T R U C T U R E F R O M 2 - D I M A G E R Y , ( A ) S T E R E O , ( B ) S H A P E F R O M D E - F O C U S , ( c ) S H A P E F R O M S H A D I N G , A N D ( D ) S H A P E F R O M M O T I O N [ 2 6 ] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 7 0 F I G U R E 9 . 7 : D E M O N S T R A T I O N O F T H E E F F E C T S O F E L L I P S E D E F O R M A T I O N R E S U L T A N T F R O M O U T - O F - P L A N E R O T A T I O N S O F T H E O C C U P A N T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 8 0 X X V i F I G U R E 9 . 8 : D E F O R M A T I O N O F T H E V E R T I C A L A S Z B O U N D A R Y D U E T O C A M E R A P E R S P E C T I V E E F F E C T , ( A ) A S Z A S V E R T I C A L L I N E I N T H E ‘ R E A L - W O R L D ’ V I E W , A N D ( B ) T H E A S Z L I N E S L O P E D D U E T O P E R S P E C T I V E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 8 4 F I G U R E 9 . 9 : G E O M E T R Y O F O C C U P A N T E L L I P S E A N D A S Z B O U N D A R Y I N T E R S E C T I O N , W I T H I N T E R S E C T I O N P O I N T H I G H L I G H T E D B Y A C I R C L E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 8 5 F I G U R E 9 . 1 0 : V A R I A T I O N S I N T H E M O D E L L I K E L I H O O D S F O R E A C H O F T H E M O T I O N T Y P E S T H R O U G H A P R E - C R A S H B R A K I N G S E Q U E N C E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 8 8 F I G U R E 9 . 1 1 : V A R I A T I O N S I N T H E M O D E L L I K E L I H O O D S F O R E A C H O F T H E M O T I O N M O D E L S D U R I N G N O R M A L H U M A N M O T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 8 9 F I G U R E 9 . 1 2 : N U M B E R O F T H E T I M E S T H A T T H E T R A C K E R C O M P U T E D A N A S Z I N T R U S I O N C O M P A R E D T o T H E T R U E T I M E O F I N T R U S I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 9 1 F I G U R E 9 . 1 3 : E R R O R O F T H E T R A C K E R I N T H E P O S I T I O N O F T H E D U M M Y D U R I N G A P R E - C R A S H B R A K I N G S E Q U E N C E I N T H E D I R E C T I O N T O W A R D S T H E A I R B A G ( U N I T S A R E I N P I X E L s ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 9 1 x x v i i L I S T O F T A B L E S T A B L E 1 . 1 : N H T S A O C C U P A N T S I Z E C A T E G O R I E S I N F M V S S 2 0 8 [ 1 1 ] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 T A B L E 1 . 2 : S U M M A R Y O F M E T H O D S E M P L O Y E D F O R E A C H O F T H E R E Q U I R E D P R O C E S S I N G S T A G E S F O R A P P L Y I N G P A T T E R N R E C O G N I T I O N T o T H E A I R B A G S U P P R E S S I O N A P P L I C A T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 T A B L E 2 . 1 : L I S T O F N H T S A A P P R O V E D I N F A N T A N D C H I L D C A R S E A T S . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 3 T A B L E 2 . 2 : T Y P I C A L O C C U P A N T P O S I T I O N S F O R D A T A C O L L E C T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 5 T A B L E 2 . 3 : S U M M A R Y O F T H E N U M B E R O F I M A G E S P E R O C C U P A N T C L A S S F O R T H E T R A I N I N G D A T A S E T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 6 T A B L E 2 . 4 2 S U M M A R Y O F T H E N U M B E R O F I M A G E S P E R O C C U P A N T C L A S S F O R T H E V A L I D A T I O N T E S T I N G D A T A S E T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 7 T A B L E 3 . 1 : S U M M A R Y O F C H E B Y S H E V S C A L E F A C T O R S F O R U P T o O R D E R 6 . . . . . . . . . . . . . . . . . . . 1 0 6 T A B L E 4 . 1 : S U M M A R Y ” O F F E A T U R E S E L E C T I O N M E T H O D S C O M P A R E D F O R T H E A I R B A G S U P P R E S S I O N A P P L I C A T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 1 T A B L E 4 . 2 : A L G O R I T H M F O R P L U S - L T A K E - A W A Y - R F O R W A R D S E Q U E N T I A L S E A R C H F E A T U R E S E L E C T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 3 T A B L E 4 . 3 : A L G O R I T H M F O R R A N D O M M U T A T I O N H I L L C L I M B I N G F E A T U R E S E L E C T I O N . 1 3 5 T A B L E 4 . 4 : D E F I N I T I O N O F T H E A L G O R I T H M F O R C O R R E L A T I O N P O S T - P R O C E S S I N G F O R F E A T U R E S E L E C T I O N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 4 6 T A B L E 4 . 5 : T W O - C L A S S C O N F U S I O N M A T R I X W I T H A L L T H E 1 0 8 1 F E A T U R E S U S E D . . . . . . . . 1 5 2 T A B L E 4 . 6 : F O U R - C L A S S C O N F U S I O N M A T R I X W I T H A L L T H E 1 0 8 1 F E A T U R E S U S E D . . . . . . . 1 5 3 T A B L E 4 . 7 : T W O - C L A S S C O N F U S I O N M A T R I X F O R R A N D O M M U T A T I O N H I L L C L I M B I N G ( a = 0 . 2 ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 4 T A B L E 4 . 8 : T w o - C L A S S C O N F U S I O N M A T R I X F O R R A N D O M M U T A T I O N H I L L C L I M B I N G W I T H a = 0 . 6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 4 T A B L E 4 . 9 : T w o - C L A S S C O N F U S I O N M A T R I X F O R R A N D O M M U T A T I O N H I L L C L I M B I N G W I T H a = 0 . 8 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 5 x x v i i i T A B L E 4 . 1 0 : T W O - C L A S S C O N F U S I O N M A T R I X F O R R A N D O M M U T A T I O N H I L L C L I M B I N G W I T H 0 : = 1 . 0 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 5 T A B L E 4 . 1 1 : F O U R - C L A S S C O N F U S I O N M A T R I X F O R R A N D O M M U T A T I O N H I L L C L I M B I N G ( a = 0 . 2 ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 8 T A B L E 4 . 1 2 : F O U R - C L A S S C O N F U S I O N M A T R I X F O R R A N D O M M U T A T I O N H I L L C L I M B I N G ( a = 0 . 8 ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 8 T A B L E 4 . 1 3 : T W O - C L A S S C O N F U S I O N M A T R I X F O R F O R W A R D S E Q U E N T I A L S E A R C H . . . . . . 1 5 9 T A B L E 4 . 1 4 : F O U R - C L A S S C O N F U S I O N M A T R I X F O R F O R W A R D S E Q U E N T I A L S E A R C H . 1 5 9 T A B L E 4 . 1 5 : T W O - C L A S S C O N F U S I O N M A T R I X U S I N G M A N N - W H I T N E Y ( W I T H C O R R E L A T I O N P O S T - P R O C E S S I N G P E R F O R M E D O N A L L T H E 1 0 8 1 F E A T U R E S , W E R E T A I N 8 1 F E A T U R E s ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 6 1 T A B L E 4 . 1 6 : T W O - C L A S S C O N F U S I O N M A T R I X U S I N G M A N N - W H I T N E Y ( W I T H C O R R E L A T I O N P O S T - P R O C E S S I N G P E R F O R M E D O N O N L Y T H E T O P 2 0 0 F E A T U R E S , W E R E T A I N 1 6 F E A T U R E s ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 6 1 T A B L E 4 . 1 7 : T W O - C L A S S C O N F U S I O N M A T R I X F O R M A N N - W H I T N E Y ( W I T H C O R R E L A T I O N P O S T - P R O C E S S I N G P E R F O R M E D O N O N L Y T H E T O P 1 2 0 F E A T U R E S , W E R E T A I N 6 F E A T U R E S ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 6 2 . T A B L E 4 . 1 8 : S U M M A R Y O F N U M B E R O F F E A T U R E S R E T A I N E D A F T E R U S I N G M A N N - W H I T N E Y A N D C O R R E L A T I O N P O S T - P R O C E S S I N G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 6 2 T A B L E 4 . 1 9 : T w o - C L A S S C O N F U S I O N M A T R I X U S I N G M A N N - W H I T N E Y ( N O C O R R E L A T I O N P O S T - P R O C E S S I N G , B U T W E R E T A I N O N L Y T H E T O P 8 1 F E A T U R E S ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 6 3 T A B L E 4 . 2 0 : T w o - C L A S S C O N F U S I O N M A T R I X U S I N G M A N N - W H I T N E Y ( N O C O R R E L A T I O N P O S T - P R O C E S S I N G , B U T W E R E T A I N O N L Y T H E T O P 1 6 F E A T U R E S ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 6 3 T A B L E 4 . 2 1 : T W O - C L A S S C O N F U S I O N M A T R I X U S I N G M A N N - W H I T N E Y ( N o C O R R E L A T I O N P O S T - P R O C E S S I N G , B U T W E R E T A I N O N L Y T H E T O P 6 F E A T U R E S ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 6 3 T A B L E 4 . 2 2 : S U M M A R Y O F C L A S S I F I C A T I O N A C C U R A C Y U S I N G M A N N - W H I T N E Y W I T H A N D W I T H O U T C O R R E L A T I O N P O S T - P R O C E S S I N G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 6 4 T A B L E 4 . 2 3 : F O U R - C L A S S C O N F U S I O N M A T R I X U S I N G M A N N - W H I T N E Y ( W I T H C O R R E L A T I O N P O S T - P R O C E S S I N G P E R F O R M E D O N A L L T H E 1 0 8 1 F E A T U R E S , W E R E T A I N 1 0 6 ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 6 5 T A B L E 4 . 2 4 I F O U R - C L A S S C O N F U S I O N M A T R I X U S I N G M A N N - W H I T N E Y ( W I T H C O R R E L A T I O N P O S T - P R O C E S S I N G P E R F O R M E D O N O N L Y T H E T O P 2 0 0 F E A T U R E S , W E R E T A I N 4 3 ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 6 5 x x i x T A B L E 4 . 2 5 : F O U R - C L A S S C O N F U S I O N M A T R I X U S I N G M A N N - W H I T N E Y ( W I T H C O R R E L A T I O N P O S T - P R O C E S S I N G P E R F O R M E D O N O N L Y T H E T O P 1 2 0 F E A T U R E S , W E R E T A I N 3 1 ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 6 6 T A B L E 4 . 2 6 : S U M M A R Y O F N U M B E R O F F E A T U R E S R E T A I N E D F O R T H E F O U R - C L A S S P R O B L E M A F T E R U S I N G M A N N - W H I T N E Y A N D C O R R E L A T I O N P O S T - P R O C E S S I N G . 1 6 6 T A B L E 4 . 2 7 : F O U R - C L A S S C O N F U S I O N M A T R I X U S I N G M A N N - W H I T N E Y ( N O C O R R E L A T I O N P O S T - P R O C E S S I N G , B U T W E R E T A I N O N L Y T H E T O P 1 0 6 F E A T U R E S ) . . . . . . . . . . . . . . . . . . . . . . . . . . 1 6 7 T A B L E 4 . 2 8 : F O U R - C L A S S C O N F U S I O N M A T R I X U S I N G M A N N - W H I T N E Y ( N O C O R R E L A T I O N P O S T - P R O C E S S I N G , B U T W E R E T A I N O N L Y T H E T O P 4 3 F E A T U R E S ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 6 7 T A B L E 4 . 2 9 : F O U R - C L A S S C O N F U S I O N M A T R I X U S I N G M A N N - W H I T N E Y ( N O C O R R E L A T I O N P O S T - P R O C E S S I N G , B U T W E R E T A I N O N L Y T H E T O P 3 1 F E A T U R E S ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 6 8 T A B L E 4 . 3 0 : S U M M A R Y O F F O U R - C L A S S C L A S S I F I C A T I O N A C C U R A C Y U S I N G M A N N - W H I T N E Y W I T H A N D W I T H O U T C O R R E L A T I O N P O S T - P R O C E S S I N G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 6 9 T A B L E 4 . 3 1 : T W O - C L A S S C O N F U S I O N M A T R I X F O R M U T U A L I N F O R M A T I O N U S I N G T H E T O P 8 1 F E A T U R E S ( S T A R T W I T H 1 0 8 1 A N D T H E N P E R F O R M C O R R E L A T I O N P O S T - P R O C E S S I N G ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 7 0 T A B L E 4 . 3 2 : T W O - C L A S S C O N F U S I O N M A T R I X F O R M U T U A L I N F O R M A T I O N U S I N G T H E T O P 1 6 F E A T U R E S ( S T A R T W I T H T O P 2 0 0 F E A T U R E S A N D T H E N P E R F O R M C O R R E L A T I O N P O S T - P R O C E S S I N G ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 7 0 T A B L E 4 . 3 3 : T W O - C L A S S C O N F U S I O N M A T R I X F O R M U T U A L I N F O R M A T I O N U S I N G T H E T O P 6 F E A T U R E S ( S T A R T W I T H T O P 1 2 0 F E A T U R E S A N D T H E N P E R F O R M C O R R E L A T I O N P O S T - P R O C E S S I N G ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 7 0 T A B L E 4 . 3 4 : S U M M A R Y O F C L A S S I F I C A T I O N A C C U R A C Y A N D T H E N U M B E R O F F E A T U R E S R E T A I N E D F O R A L L T H E F E A T U R E S E L E C T I O N M E T H O D S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 7 2 T A B L E 4 . 3 5 : T O T A L P R O C E S S I N G T I M E F O R T H E T H R E E B E S T F E A T U R E S E L E C T I O N M E T H O D S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 7 3 T A B L E 5 . 1 : T w o - C L A S S C O N F U S I O N M A T R I X F O R T H E B A Y E S C L A S S I F I E R O N T H E 5 0 / 5 0 C R O S S - V A L I D A T I O N D A T A B A S E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 9 4 T A B L E 5 . 2 : T W O - C L A S S C O N F U S I O N M A T R I X F O R T H E B A Y E S C L A S S I F I E R O N T H E I N D E P E N D E N T T E S T D A T A B A S E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 9 5 T A B L E 5 . 3 : F O U R - C L A S S C O N F U S I O N M A T R I X F O R T H E B A Y E S C L A S S I F I E R O N T H E 5 0 / 5 0 C R O S S - V A L I D A T I O N D A T A B A S E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 9 5 T A B L E 5 . 4 : F O U R - C L A S S C O N F U S I O N M A T R I X F O R T H E B A Y E S C L A S S I F I E R O N T H E I N D E P E N D E N T T E S T D A T A B A S E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 9 5 X X X T A B L E 5 . 5 : T W O - C L A S S C O N F U S I O N M A T R I X F O R K - N E A R E S T N E I G H B O R W I T H K = 9 O N T H E 5 0 / 5 0 C R O S S - V A L I D A T I O N D A T A B A S E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 9 6 T A B L E 5 . 6 : T W O - C L A S S C O N F U S I O N M A T R I X F O R K - N E A R E S T N E I G H B O R W I T H K = 9 O N T H E I N D E P E N D E N T T E S T D A T A B A S E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 9 6 T A B L E 5 . 7 : F O U R - C L A S S C O N F U S I O N M A T R I X F O R K - N E A R E S T N E I G H B O R W I T H K = 9 O N T H E 5 0 / 5 0 C R O S S - V A L I D A T I O N D A T A B A S E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 9 7 T A B L E 5 . 8 : F O U R - C L A S S C O N F U S I O N M A T R I X F O R K - N E A R E S T N E I G H B O R W I T H K = 9 O N T H E I N D E P E N D E N T T E S T D A T A B A S E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 9 7 T A B L E 5 . 9 : T w o - C L A S S C O N F U S I O N M A T R I X F O R T H E S V M C L A S S I F I E R ( U S I N G T H E R B F K E R N E L W I T H G A M M A = 0 . 0 5 ) O N T H E 5 0 / 5 0 C R O S S - V A L I D A T I O N D A T A B A S E . . . . . . . . . . 1 9 8 T A B L E 5 . 1 0 : T W O - C L A S S C O N F U S I O N M A T R I X F O R T H E S V M C L A S S I F I E R ( U S I N G T H E R B F K E R N E L W I T H G A M M A = 0 . 0 5 ) O N T H E I N D E P E N D E N T T E S T D A T A B A S E . . . . . . . . . . . . . . . . . . . . . 1 9 8 T A B L E 5 . 1 1 : F O U R - C L A S S C O N F U S I O N M A T R I X F O R T H E S V M C L A S S I F I E R ( U S I N G T H E R B F K E R N E L W I T H G A M M A = 0 . 0 5 ) O N T H E 5 0 / 5 0 C R O S S - V A L I D A T I O N D A T A B A S E . . . . . . . . . . 1 9 9 T A B L E 5 . 1 2 : F O U R - C L A S S C O N F U S I O N M A T R I X F O R T H E S V M C L A S S I F I E R ( U S I N G T H E R B F K E R N E L W I T H G A M M A = 0 . 0 5 ) O N T H E I N D E P E N D E N T T E S T D A T A B A S E . . . . . . . . . . . . . . . . . . . . . 1 9 9 T A B L E 5 . 1 3 : S U M M A R Y O F T W O - C L A S S A N D F O U R - C L A S S C L A S S I F I C A T I O N A C C U R A C I E S F O R T H E T H R E E C L A S S I F I E R M E T H O D S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0 0 T A B L E 6 . 1 : A L G O R I T H M F O R G R A D I E N T D E S C E N T B L O B C O M B I N I N G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3 0 T A B L E 6 . 2 2 A L G O R I T H M F O R U S I N G T H E P L U S - L - M I N U S - R F O R W A R D S E Q U E N T I A L S E A R C H F O R B L O B C O M B I N I N G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3 3 T A B L E 6 . 3 : A L G O R I T H M F O R U S I N G R A N D O M M U T A T I O N H I L L C L I M B I N G F O R B L O B C O M B I N I N G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3 6 T A B L E 6 . 4 : B R E A K D O W N O F T R A I N I N G A N D T E S T D A T A S E T S F O R T E S T I N G T H E W R A P P E R - B A S E D S E G M E N T E R O N T H E T W O - C L A S S S U P P R E S S I O N P R O B L E M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4 6 T A B L E 6 . 5 : C O N F U S I O N M A T R I X F O R T H E G R A D I E N T D E S C E N T B L O B C O M B I N I N G O N T H E T w o - C L A S S S U P P R E S S I O N P R O B L E M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4 6 T A B L E 6 . 6 : P E R C E N T A G E C O R R E C T C L A S S I F I C A T I O N F O R T H E G R A D I E N T D E S C E N T B L O B C O M B I N I N G O N T H E T w o - C L A S S S U P P R E S S I O N P R O B L E M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4 7 T A B L E 6 . 7 : C O N F U S I O N M A T R I X F O R T H E P L U S - L - M I N U S - R F O R W A R D S E Q U E N T I A L S E A R C H B L O B C O M B I N I N G O N T H E T W O - C L A S S S U P P R E S S I O N P R O B L E M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4 8 T A B L E 6 . 8 2 P E R C E N T A G E C O R R E C T C L A S S I F I C A T I O N F O R T H E P L U S - L - M I N U S - R F O R W A R D S E Q U E N T I A L S E A R C H B L O B C O M B I N I N G O N T H E T W O - C L A S S S U P P R E S S I O N P R O B L E M . 2 4 8 x x x i T A B L E 6 . 9 : C O N F U S I O N M A T R I X F O R R A N D O M M U T A T I O N B L O B C O M B I N I N G O N T H E T W O - C L A S S S U P P R E S S I O N P R O B L E M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5 1 T A B L E 6 . 1 0 : P E R C E N T A G E C O R R E C T C L A S S I F I C A T I O N F O R R A N D O M M U T A T I O N B L O B C O M B I N I N G O N T H E T w o - C L A S S S U P P R E S S I O N P R O B L E M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5 2 T A B L E 7 . 1 : F R A C T I O N O F I N F O R M A T I O N C A P T U R E D B Y M A I N T A I N I N G P R I N C I P A L C O M P O N E N T S U P T O T H E M A X I M U M N U M B E R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 8 X X X H C h a p t e r 1 . I n t r o d u c t i o n T h e i n t e g r a t i o n o f a i r b a g s i n t o p a s s e n g e r v e h i c l e s d u r i n g t h e 1 9 8 0 ’ s a n d 1 9 9 0 ’ s h a s b e e n p a r t i c u l a r l y e f f e c t i v e i n r e d u c i n g t h e n u m b e r o f h i g h w a y f a t a l i t i e s i n t h e U n i t e d S t a t e s . T h i s i s p r i m a r i l y d u e t o t h e f a c t t h a t a u t o m o b i l e p a s s e n g e r s i n t h e U n i t e d S t a t e s a r e l e s s l i k e l y t o w e a r t h e i r s e a t b e l t s w h i l e d r i v i n g . T h e a i r b a g i s d e p l o y e d w h e n t h e v e h i c l e e x p e r i e n c e s a c r a s h g r e a t e r t h a n 1 4 m i l e s p e r h o u r , a n d t h e a i r b a g s w e r e d e s i g n e d t o p r o t e c t a 9 5 t h p e r c e n t i l e a d u l t m a l e d u r i n g a 3 0 m p h c r a s h [ 1 2 ] . C l e a r l y , t h e f o r c e r e q u i r e d t o p r o t e c t s u c h a l a r g e o c c u p a n t i s m u c h g r e a t e r t h a n i s r e q u i r e d f o r c h i l d r e n . T h e r e a r e a l s o i n s t a n c e s w h e n t h e a i r b a g m a y b e i n a d v e r t e n t l y i n fl a t e d i f t h e c r a s h d e t e c t i o n m o d u l e e x p e r i e n c e s a f a l s e d e t e c t i o n . T h e s e c a s e s c a n o c c u r w h e n t h e r e i s a n e l e c t r o n i c s f a i l u r e i n t h e m o d u l e , o r i n o t h e r e v e n t s s u c h a s h i t t i n g a p a r k i n g b l o c k . I n t h e s e c a s e s , t h e a i r b a g c a n b e q u i t e d a n g e r o u s t o t h e o c c u p a n t , p a r t i c u l a r l y i f t h e o c c u p a n t i s a c h i l d . I n t h e s e c a s e s i t w o u l d h a v e b e e n s a f e r i f t h e a i r b a g h a d b e e n d i s a b l e d . 1 . 1 S m a r t A i r b a g S u p p r e s s i o n T h e r e h a s b e e n c o n s i d e r a b l e a t t e n t i o n p a i d t o d e v e l o p i n g ‘ s m a r t ’ a i r b a g s t h a t c a n d e t e r m i n e n o t o n l y i f t h e y s h o u l d b e d e p l o y e d i n a c r a s h e v e n t , b u t a l s o w i t h w h a t f o r c e t h e y s h o u l d b e d e p l o y e d [ l ] [ 2 ] [ 3 ] [ 4 ] [ 5 ] [ 6 ] [ 7 ] [ 8 ] [ 9 ] [ 1 3 ] . T h e s i z e a n d t y p e o f a u t o m o b i l e o c c u p a n t i s u s e d t o d e t e r m i n e t h e s a f e l e v e l o f f o r c e w i t h w h i c h t o d e p l o y t h e a i r b a g . I n M a y 2 0 0 1 t h e U S N a t i o n a l H i g h w a y T r a n s p o r t a t i o n a n d S a f e t y A d m i n i s t r a t i o n ( N H T S A ) d e fi n e d t h e F e d e r a l M o t o r V e h i c l e S a f e t y S t a n d a r d ( F M V S S ) 2 0 8 t h a t m a n d a t e s a u t o m a t i c a i r b a g s u p p r e s s i o n w h e n a n o c c u p a n t s m a l l e r t h a n a 6 y e a r - o l d c h i l d i s i n t h e p a s s e n g e r s e a t , w h i l e e n a b l i n g t h e a i r b a g w h e n t h e o c c u p a n t i s a 5 " 1 p e r c e n t i l e ( b y w e i g h t ) a d u l t f e m a l e o r l a r g e r [ 1 2 ] . T h i s s t a n d a r d w a s p r o p o s e d b e c a u s e a n u m b e r o f s m a l l c h i l d r e n a n d i n f a n t s h a v e b e e n k i l l e d b y a i r b a g s . B e t w e e n 1 9 8 6 a n d 2 0 0 1 , 1 9 i n f a n t s a n d 8 5 c h i l d r e n w e r e k i l l e d b y a i r b a g s [ 1 3 ] . F i g u r e 1 . 1 s h o w s t h e e f f e c t s o f a n a i r b a g o n a R F I S d u r i n g a n a i r b a g d e p l o y m e n t [ 1 5 ] . D u r i n g t h e s a m e t i m e f r a m e ( 1 9 8 6 - 2 0 0 1 ) , s e v e n a d u l t p a s s e n g e r s w e r e a l s o k i l l e d b y a i r b a g s , d u e ' t o b e i n g t o o c l o s e t o t h e a i r b a g a t t h e t i m e o f d e p l o y m e n t [ l 3 ] . F i g u r e 1 . 1 : E f f e c t o f a i r b a g d e p l o y m e n t o n r e a r f a c i n g i n f a n t s e a t s ( R F I S ) . ( a ) R F I S p r i o r t o d e p l o y m e n t , ( b ) R F I S d u r i n g d e p l o y m e n t , a n d ( c ) R F I S a fi e r d e p l o y m e n t [ 1 1 ] D e s p i t e t h e p u b l i c i t y r e g a r d i n g t h e d a n g e r s o f a i r b a g s , t h e r e a r e s t i l l a l a r g e n u m b e r o f p e o p l e t h a t p l a c e c h i l d r e n i n t h e f r o n t s e t . F i g u r e 1 . 2 s h o w s t h e r e s u l t s f r o m a 1 9 9 8 N H T S A s u r v e y o f d r i v e r s , w h e r e o v e r 5 0 % o f t h e r e s p o n d e n t s h a d p l a c e d t h e i r c h i l d r e n i n t h e f r o n t s e a t o f t h e i r v e h i c l e w i t h i n t h e l a s t 3 0 d a y s p r i o r t o t h e d a t e o f t h e s u r v e y [ 1 4 ] . C l e a r l y , t h e p u b l i c a w a r e n e s s o f t h e d a n g e r o f a i r b a g s o n c h i l d r e n h a s n o t l e d t o a d r a m a t i c c h a n g e i n b e h a v i o r , a n d , c o n s e q u e n t l y , t h e r e i s a n e e d f o r a s y s t e m t h a t w i l l a u t o m a t i c a l l y d i s a b l e t h e a i r b a g w h e n t h e o c c u p a n t i s a t r i s k o f i n j u r y f r o m t h e d e p l o y m e n t o f t h e a i r b a g . “ g s / S t S o m e 0 7 % A b o u t H a l f N o n e , “ ' - 4 8 ° A I I ? F i g u r e 1 . 2 : R e l a t i v e f r e q u e n c y w i t h w h i c h c h i l d r e n a r e p l a c e d i n t h e f r o n t s e a t i n a u t o m o b i l e s [ 1 4 ] . T h e g o a l o f t h i s t h e s i s i s t o s h o w t h e a p p l i c a b i l i t y o f c o m p u t e r v i s i o n ( u s i n g a s i n g l e b l a c k - a n d - w h i t e c a m e r a ) i n s o l v i n g t h e a i r b a g s u p p r e s s i o n p r o b l e m . W e h i g h l i g h t s o m e o f t h e d i f fi c u l t i e s o f t h e a i r b a g s u p p r e s s i o n p r o b l e m , p r o p o s e a n o v e l s y s t e m f r a m e w o r k , a n d S h o w t h e r e s u l t i n g p e r f o r m a n c e . 1 . 1 . 1 O v e r v i e w o f t h e A i r b a g S u p p r e s s i o n P r o b l e m T h e v a r i o u s t y p e s o f o c c u p a n t s d e fi n e d i n t h e N H T S A s p e c i fi c a t i o n i n c l u d e [ 1 2 ] : 1 ) i n f a n t ( 1 2 m o n t h o l d s i n r e a r o r f o r w a r d f a c i n g i n f a n t s e a t s ) , 2 ) c h i l d ( < 5 6 l b s i n w e i g h t & < 4 9 i n . t a l l ) , i n c l u d e s c h i l d r e n o n c o n v e r t i b l e s e a t s a n d b o o s t e r s e a t s , 3 ) a d u l t ( > 1 0 3 l b s i n w e i g h t & > 5 5 i n . t a l l ) , a n d 4 ) e m p t y s e a t . F i g u r e 1 . 3 s h o w s e x a m p l e s o f e a c h o f t h e f o u r c l a s s e s , w h i l e t h e o c c u p a n t s i z e s a r e p r o v i d e d i n T a b l e 1 . 1 [ 1 2 ] . T a b l e 1 . 1 : N H T S A o c c u p a n t s i z e c a t e g o r i e s i n F M V S S 2 0 8 [ 1 2 ] . O c c u p a n t T y p e O c c u p a n t M e a s u r e m e n t s H e i g h t ( i n c h e s ) W e i g h t ( l b s ) M i n M a x M i n M a x 3 y e a r o l d 3 5 3 9 2 9 . 5 2 9 . 5 6 y e a r o l d 4 5 4 9 4 6 . 5 5 6 . 5 S " l p e r c e n t i l e f e m a l e 5 5 5 9 1 0 3 1 1 3 5 0 ‘ F p e r c e n t i l e f e m a l e 6 9 i n c h e s n o m i n a l 1 7 1 l b s n o m i n a l N o t e t h e r e i s a c o n s i d e r a b l e g r a y z o n e b e t w e e n t h e c h i l d a n d t h e a d u l t w h e r e t h e r e i s n o d e fi n e d o c c u p a n t s i z e . T h i s r e g i o n i s c o m p o s e d o f c h i l d r e n l a r g e r t h a n s i x y e a r o l d s b u t s m a l l e r t h a n a d u l t s . T h e s a f e t y o f t h e o c c u p a n t s i n t h i s r a n g e a r e n o t e n s u r e d b y s i m p l e s u p p r e s s i o n b a s e d o n o c c u p a n t t y p e a n d a r e m u c h m o r e s a f e l y h a n d l e d b y a d y n a m i c s u p p r e s s i o n c a p a b i l i t y . C o n s e q u e n t l y , t h e r e a r e t w o t y p e s o f s u p p r e s s i o n d e fi n e d b y N H T S A : ( i ) s t a t i c s u p p r e s s i o n , a n d ( i i ) d y n a m i c s u p p r e s s i o n [ 1 2 ] . F i g u r e 1 . 3 : E x a m p l e s o f e a c h o f t h e f o u r c l a s s e s o f o c c u p a n t s i n a v e h i c l e , ( a ) i n f a n t , ( b ) c h i l d , ( c ) a d u l t , a n d ( d ) e m p t y s e a t . S t a t i c s u p p r e s s i o n r e f e r s t o d i s a b l i n g t h e a i r b a g b a s e d o n r e c o g n i z i n g t h e o c c u p a n t t y p e ( i . e . , i n f a n t , c h i l d , a d u l t , e m p t y s e a t ) . I n s t a t i c s u p p r e s s i o n t h e s y s t e m i s d i s a b l e d i f a n o c c u p a n t i s t o o s m a l l t o s a f e l y w i t h s t a n d t h e f o r c e s o f t h e a i r b a g . F o r t h e i n f a n t o c c u p a n t , i t i s n e v e r s a f e t o d e p l o y t h e a i r b a g . H o w e v e r , f o r c h i l d r e n , a n d c l e a r l y f o r a d u l t s , t h e r e a r e c a s e s w h e n i t m a y b e s a f e t o fi r e t h e a i r b a g a s s u m i n g t h e o c c u p a n t i s n o t t o o c l o s e t o t h e a i r b a g . D y n a m i c s u p p r e s s i o n r e f e r s t o t h e s i t u a t i o n w h e r e t h e o c c u p a n t i s s e a t e d t o o c l o s e t o t h e a i r b a g f o r i t t o b e s a f e l y fi r e d . T h e r e g i o n w i t h i n w h i c h t h e o c c u p a n t m a y b e i n j u r e d b y t h e a i r b a g i s c a l l e d t h e a u t o m a t i c s u p p r e s s i o n z o n e ( A S Z ) . I t i s d e fi n e d a s a v e r t i c a l p l a n e t h a t i s r o u g h l y 8 t o 1 0 i n c h e s f r o m w h e r e t h e a i r b a g d o o r i s l o c a t e d i n t h e i n s t r u m e n t p a n e l . F i g u r e 1 . 4 s h o w s t h e s a f e z o n e f o r a s m a l l s t a t u r e a d u l t f e m a l e . T h e N H S T A s p e c i fi c a t i o n f o r d y n a m i c s u p p r e s s i o n a d d r e s s e s t h e a c c e l e r a t i o n e n v i r o n m e n t a s s o c i a t e d w i t h p r e - c r a s h b r a k i n g . P r e - c r a s h b r a k i n g r e f e r s t o t h e t i m e p r i o r t o a n a c t u a l c r a s h w h e n t h e o c c u p a n t i s p o t e n t i a l l y p r o p e l l e d i n t o t h e A S Z d u e t o t h e b r a k i n g o f t h e v e h i c l e i f t h e o c c u p a n t i s i m p r o p e r l y b e l t e d . T h e N H T S A s p e c i fi c a t i o n d i c t a t e s t h a t t h e o c c u p a n t s u p p r e s s i o n s y s t e m m u s t d e t e c t t h e p o s i t i o n o f t h e o c c u p a n t , a n d d i s a b l e t h e a i r b a g w i t h i n 2 0 m i l l i s e c o n d s o f t h e i n t r u s i o n i n t o t h e A S Z [ 1 2 ] . I n a d d i t i o n t o t h e r e q u i r e m e n t o f i n t r u s i o n t i m e , t h e r e i s a l s o a r e q u i r e m e n t r e g a r d i n g t h e a c t u a l a c c e l e r a t i o n s t h a t t h e o c c u p a n t i s e x p e c t e d t o u n d e r g o d u r i n g a p r e - c r a s h e v e n t . T h i s v a l u e i s u s u a l l y s p e c i fi e d b y t h e p a r t i c u l a r a u t o m o t i v e m a n u f a c t u r e r , a n d i s t h e r e f o r e p r o p r i e t a r y , h o w e v e r , t h e t y p i c a l r a n g e o f s p e c i fi e d a c c e l e r a t i o n s h a v e v a r i e d b e t w e e n 0 . 8 5 g a n d 1 . 2 g . T h e s e v a l u e s c a n b e c o n fi r m e d i n F i g u r e 1 . 5 , w h e r e a c t u a l h i g h - s p e e d s l e d t e s t s o f c r a s h t e s t d u m m i e s w e r e u s e d t o s y n t h e s i z e p r e - c r a s h a n d c r a s h e v e n t s . I n t h i s fi g u r e t h e d e c e l e r a t i o n s d u e t o t h e p r e - c r a s h b r a k i n g c o n v e r g e t o r o u g h l y 1 . 0 g . F i g u r e 1 . 4 : S a f e d i s t a n c e f o r a s m a l l s t a t u r e a d u l t o c c u p a n t i n r e l a t i o n t o t h e a i r b a g [ 1 1 ] . T h e d y n a m i c s u p p r e s s i o n s y s t e m m u s t b e c a p a b l e o f n o t o n l y d e t e c t i n g i f t h e o c c u p a n t i s i n t h e A S Z , b u t a l s o d e t e r m i n i n g i f t h e o c c u p a n t i s l e a n i n g t o w a r d s t h e d r i v e r 0 r t o w a r d s t h e w i n d o w . T h e s e l e a n i n g p o s i t i o n s w i l l p l a c e t h e o c c u p a n t i n s u c h a w a y t h a t h i s h e a d i s n o l o n g e r d i r e c t l y i n f r o n t o f t h e a i r b a g , i n w h i c h c a s e h e i s n o l o n g e r a t t h e r i s k o f i n j u r y a n d t h e a i r b a g s h o u l d b e d e p l o y e d . T h i s e n s u r e s t h a t t h e a i r b a g i s d e p l o y e d a s o f t e n a s p o s s i b l e , g i v e n a s a f e o c c u p a n t p o s i t i o n . I t i s i m p o r t a n t t o n o t e t h a t t h e g o a l o f t h e s y s t e m i s t o n o t o n l y m i n i m i z e t h e r i s k t o t h e o c c u p a n t f r o m t h e a i r b a g , b u t a l s o t o m i n i m i z e t h e r i s k t o t h e o c c u p a n t d u r i n g a c o l l i s i o n . T h i s p l a c e s s t r i c t r e q u i r e m e n t s n o t o n l y o n d e t e c t i o n o f i n t r u s i o n s , b u t a l s o o n t h e m i n i m i z a t i o n o f f a l s e a l a r m s d u e t o i n a d v e r t e n t l y d e t e c t e d i n t r u s i o n s . - 1 : 3 - 2 B - 3 fl ” * 3 . 4 E - 5 ‘ 3 ’ < - 6 - 7 - 8 - 9 - 0 . 4 - 0 . 3 - 0 . 2 - 0 . 1 0 0 . 1 0 . 2 T i m e ( s e c s ) F i g u r e 1 . 5 : D e fi n i t i o n o f d y n a m i c s t y p i c a l f o r a p r o - c r a s h b r a k i n g e v e n t f o l l o w e d b y a n a c t u a l c r a s h e v e n t [ 1 6 ] . T h e r e a r e m u l t i p l e c o m b i n a t i o n s o f d y n a m i c a n d s t a t i c s u p p r e s s i o n s c h e i n e s I t h a t a r e a l l o w e d b y N H T S A t o a f f o r d p r o t e c t i o n t o a l l t h e o c c u p a n t c l a s s e s [ 1 2 ] . F i g u r e 1 . 6 s h o w s t h e b r e a k d o w n o f t h e p o s s i b l e u s e s o f e a c h o f t h e s u p p r e s s i o n m e t h o d s . W e i n v e s t i g a t e d t w o o f t h e p o s s i b l e c o m b i n a t i o n s : ( i ) s u p p r e s s t h e a i r b a g o n a l l i n f a n t a n d c h i l d r e n w h i l e e n a b l i n g t h e a i r b a g o n a l l a d u l t s , a n d ( i i ) s u p p r e s s t h e a i r b a g o n l y o n i n f a n t s a n d e n a b l e o n a l l o t h e r o c c u p a n t s . l - y e a r o l d i n f a n t 3 t o 6 - y e a r o l d c h i l d A d u l t P r o t e c t e d b y E S u p p r e s s i f _ _ S u p p r e s s I f E . . i t . t I C l a s s r fi c a t r o n - P r e s ” P r e s ” : P r o t e c t e d b y T r a c k i n g F i g u r e 1 . 6 : O v e r v i e w o f t h e p o s s i b l e m e c h a n i s m s f o r s u p p r e s s i n g t h e a i r b a g d e p e n d i n g o n t h e o c c u p a n t t y p e . 1 . 1 . 2 A l t e r n a t e T e c h n o l o g i e s f o r A i r b a g S u p p r e s s i o n T h e N H T S A s p e c i fi c a t i o n i s w r i t t e n a r o u n d t h e u s e o f a s e a t w e i g h t s e n s o r , w h i c h m e a s u r e s t h e w e i g h t o f t h e o c c u p a n t a n d i n f e r s w h e t h e r t h e o c c u p a n t i s o f s u f fi c i e n t w e i g h t t o b e a n a d u l t . C o n s e q u e n t l y , w e i g h t s e n s o r s o n l y p r o v i d e s t a t i c s u p p r e s s i o n . I n a d d i t i o n t o w e i g h t s e n s o r s , t h e r e h a v e b e e n n u m e r o u s o t h e r t e c h n o l o g i e s p r o p o s e d f o r o c c u p a n t s e n s i n g . M o s t a r e d e s i g n e d e i t h e r f o r s t a t i c o r d y n a m i c s u p p r e s s i o n , b u t a r e n o t c a p a b l e o f b o t h [ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ] [ 6 ] [ 7 ] [ 8 ] . T h e s y s t e m s t h a t c l a i m c a p a b i l i t y f o r b o t h t y p e s o f s u p p r e s s i o n r e q u i r e e i t h e r m u l t i p l e s e n s o r s f o r e s t i m a t i n g 3 - D p o s i t i o n a l i n f o r m a t i o n [ l ] [ 2 ] [ 9 ] , o r e l s e r e q u i r e h i g h - s p e e d d i s t a n c e m e a s u r i n g d e v i c e s [ 1 ] . A s e a r c h o f t h e U n i t e d S t a t e s P a t e n t O f fi c e w e b s i t e f o r p a t e n t s r e l a t e d t o t h e o c c u p a n t p o s i t i o n , w e i g h t , a n d c l a s s i fi c a t i o n s e n s i n g r e s u l t e d i n o v e r 6 0 0 p a t e n t s i n t h i s a r e a , w i t h t h e n u m b e r g r o w i n g d u e t o t h e i n t e r e s t g e n e r a t e d b y t h e N H T S A r e g u l a t i o n s [ 1 0 ] . W e w i l l d i s c u s s t h r e e o f t h e m o r e p o p u l a r t e c h n o l o g i e s d e fi n e d i n t h e s e p a t e n t s . T h e s e t e c h n o l o g i e s a r e : l ) C a p a c i t i v e s e n s o r s , 2 ) P r e s s u r e a n d w e i g h t s e n s o r s , a n d 3 ) T i m e o f fl i g h t s e n s o r s ( u l t r a s o u n d a n d i n f r a — r e d b e a m s ) . A C a p a c i t i v e S e n s o r s T h e r e a r e a n u m b e r o f p o s s i b l e i m p l e m e n t a t i o n s o f c a p a c i t i v e s e n s o r s d e p e n d i n g o n t h e s e n s i n g o b j e c t i v e [ 4 ] . I f t h e g o a l i s s t a t i c s u p p r e s s i o n t h e n t h e s e n s o r c a n b e m o u n t e d e i t h e r u n d e r t h e s e a t b o t t o m a n d s e a t b a c k o r o n t h e r o o f - l i n e r o v e r t h e o c c u p a n t . T h e s e n s o r s m o u n t e d i n t h e r o o f l i n e r a r e b a s i c a l l y a d u l t d e t e c t o r s a n d l o o k f o r a c a p a c i t i v e e f f e c t s o m e d i s t a n c e a b o v e t h e s e a t . S i n c e a n a d u l t i s t a l l e r t h a n a c h i l d , t h e s y s t e m d e t e c t s a d u l t s a n d n o o t h e r o c c u p a n t . I n t h e s e a t - m o u n t e d i m p l e m e n t a t i o n t h e s e n s o r d e t e c t s t h e p r e s e n c e o f t h e o c c u p a n t i n t h e s e a t , a n d t h e n d e t e r m i n e s t h e s i z e o f t h e o c c u p a n t ( f o r i n s t a n c e i f i t i s a n i n f a n t ) b a s e d o n t h e s t r e n g t h o f t h e s i g n a l f r o m t h e s e a t b a c k [ 4 ] . A s a n a d u l t o c c u p a n t l e a n s f o r w a r d , t h e s i g n a l f r o m t h e s e a t b a c k w i l l b e e r r o n e o u s , a n d t h e o c c u p a n t m a y b e m i s - c l a s s i fi e d a s a n i n f a n t . F o r d y n a m i c s u p p r e s s i o n , t h e c a p a c i t i v e s e n s o r i s m o u n t e d i n t h e i n s t r u m e n t p a n e l i n f r o n t o f t h e o c c u p a n t . A s t h e o c c u p a n t l e a n s f o r w a r d , h e c r e a t e s a S i g n a l i n t h e c a p a c i t i v e s e n s o r . B y s a m p l i n g t h e S i g n a l a t a f a s t e n o u g h d a t a r a t e , t h e s y s t e m i s a b l e t o d e t e c t i n t r u s i o n s i n t o t h e A S Z . C o n s e q u e n t l y , f o r c a p a c i t i v e s e n s o r s t o p r o v i d e b o t h s t a t i c a n d d y n a m i c p r o t e c t i o n , m u l t i p l e u n i t s a r e r e q u i r e d i n t h e v e h i c l e . 1 0 T h e c a p a c i t o r s f u n c t i o n b y d e t e c t i n g t h e c h a n g e i n v o l t a g e c a u s e d b y a n o c c u p a n t o r a n o b j e c t o n t h e s e a t . S i n c e t h e h u m a n b o d y i s m o s t l y m a d e o f w a t e r , i t h a s a d r a m a t i c e f f e c t o n t h e c a p a c i t a n c e c o m p a r e d t o i n a n i m a t e o b j e c t s . T h e s a m e e f f e c t t h a t a l l o w s t h e s e n s o r t o d e t e c t h u m a n s a l s o c a u s e s f a i l u r e m o d e s . S i n c e t h e s e n s o r d e t e c t s t h e m o i s t u r e i n t h e v o l u m e a b o v e t h e s e a t , t h e s e n s o r m a y b e f o o l e d b y a w e t t o w e l o r s p i l l e d j u i c e o n t h e s e a t , w h i c h c o u l d m a k e a c h i l d a p p e a r a s a n a d u l t . B P r e s s u r e a n d W e i g h t S e n s o r s P r e s s u r e a n d w e i g h t s e n s o r s a r e p l a c e d i n t h e s e a t t o d e t e c t t h e r e l a t i v e f o r c e t h a t t h e o b j e c t e x e r t s o n t h e s e a t [ 5 ] [ 6 ] . T h e f o r c e i s s i m p l y t h e m a s s t i m e s g r a v i t y . L i k e w i s e , t h e p r e s s u r e s e n s o r i s s i m p l y f o r c e p e r u n i t o f a r e a . A n i n f a n t s e a t o r a c h i l d w i l l a p p l y l e s s f o r c e t o t h e s e a t b o t t o m a n d , t h e r e f o r e , a l l o w t h e s e n s o r t o d i s t i n g u i s h a n a d u l t f r o m a c h i l d b y s i m p l y t h r e s h o l d i n g t h e w e i g h t m e a s u r e m e n t . F i g u r e 1 . 7 s h o w s h o w a t y p i c a l w e i g h t s e n s o r i s i n t e g r a t e d i n t o t h e s e a t o f a v e h i c l e . F i g u r e 1 . 7 : E x a m p l e o f w e i g h t s e n s o r s p l a c e d i n t h e s e a t b o t t o m f o r s t a t i c c l a s s i fi c a t i o n [ 6 ] . l l T h e r e a r e m a n y p o s s i b l e i m p l e m e n t a t i o n s o f t h e s e t y p e s o f s e n s o r s . T w o o f t h e m o s t c o m m o n i n c l u d e ( i ) s t r a i n g a u g e s , a n d ( i i ) g e l - fi l l e d b l a d d e r s w i t h p r e s s u r e t r a n s d u c e r s . I n t h e s t r a i n g a u g e a p p r o a c h a s e t o f g a u g e s a r e p l a c e d u n d e r t h e s e a t , w h e r e t h e s e a t s p r i n g s c o n n e c t t o t h e s e a t b a s e ( c a l l e d t h e s e a t p a n ) . B y m e a s u r i n g t h e a v e r a g e s t r a i n e x e r t e d o n t h e f o u r c o r n e r s o f t h e s e a t , i t i s p o s s i b l e t o i n f e r t h e w e i g h t 0 n t h e 5 e a t . T h e p r e s s u r e s e n s o r w i t h t h e b l a d d e r w o r k s l i k e 5 q u e e z i n g a b a l l o o n . A S t h e w e i g h t o f t h e p e r s o n i s i n c r e a s e d , t h e f o r c e w i t h w h i c h h e p r e s s e s o n t h e b l a d d e r i n c r e a s e s . T h e r e i s a t u b e f r o m t h e b l a d d e r t o t h e p r e s s u r e t r a n s d u c e r , a n d t h e w e i g h t o f t h e o c c u p a n t i s i n f e r r e d f r o m t h e p r e s s u r e e x p e r i e n c e d a t t h e t r a n s d u c e r . C T i m e - o f - F l i g h t S e n s o r s T i m e - o f - fl i g h t s e n s o r s a r e m o s t u s e f u l f o r d y n a m i c s u p p r e s s i o n . H o w e v e r , b y b u i l d i n g a r r a y s o f t h e s e s e n s o r s i t i s a l s o p o s s i b l e t o c r e a t e a s y s t e m t h a t c a n b e u s e d f o r s t a t i c s u p p r e s s i o n a s w e l l . T h e b a s i c a p p r o a c h i s t o t r a n s m i t a s i g n a l a n d c o m p u t e t h e t i m e i t t a k e s f o r t h e s i g n a l t o r e t u r n t o t h e s e n s o r . I n t h e s i m p l e s t i m p l e m e n t a t i o n t h e r e i s a s i n g l e s e n s o r t h a t m e a s u r e s t h e d i s t a n c e b e t w e e n t h e o c c u p a n t a n d t h e A S Z . I f t h e o c c u p a n t i s t o o c l o s e t o t h e i n s t r u m e n t p a n e l t h e n t h e a i r b a g i s d i s a b l e d . T h i s i s c l e a r l y a d y n a m i c s u p p r e s s i o n s e n s o r o n l y . T h e s e n s o r s a r e u s u a l l y p l a c e d i n t h e i n s t r u m e n t p a n e l o r a l o n g t h e r o o f l i n e r b y t h e w i n d s h i e l d a s s h o w n i n F i g u r e 1 . 8 . 1 2 W V F i g u r e 1 . 8 : T y p i c a l i n s t a l l a t i o n l o c a t i o n f o r t i m e o f fl i g h t s e n s o r s f o r o c c u p a n t s e n s i n g [ 2 ] . I n a m o r e c o m p l e x i m p l e m e n t a t i o n t h e r e i s a n a r r a y o f s e n s o r s e a c h p o i n t i n g t o a d i f f e r e n t l o c a t i o n o n t h e s e a t . B y m e a s u r i n g t h e d i s t a n c e t o m u l t i p l e p o i n t s o n t h e o c c u p a n t , a r a n g e p r o fi l e c a n b e g e n e r a t e d f o r t h a t o c c u p a n t . I n f a n t s a n d a d u l t s w o u l d h a v e a s i g n i fi c a n t l y d i f f e r e n t r a n g e p r o fi l e , a n d , t h e r e f o r e , t h e s y s t e m c a n n o w a l s o b e u s e d a s a s t a t i c s u p p r e s s i o n s y s t e m . T y p i c a l l y , a l a r g e n u m b e r o f s u c h s e n s o r s a r e r e q u i r e d t o g e n e r a t e a h i g h - r e s o l u t i o n r a n g e p r o fi l e n e e d e d t o a d e q u a t e l y c l a s s i f y a l l o f t h e o c c u p a n t t y p e s . T h e r e a r e t h r e e p o s s i b l e m e c h a n i s m s f o r t i m e o f fl i g h t s e n s o r s : 1 ) u l t r a s o u n d , 2 ) i n f r a r e d , a n d 3 ) r a d a r . U l t r a s o u n d s y s t e m s p r o v i d e a l o w c o s t s o l u t i o n t o t h e r a n g i n g p r o b l e m . T h e y a r e c u r r e n t l y i n m a s s - p r o d u c t i o n i n t h e a u t o m o t i v e i n d u s t r y f o r b a c k - u p w a r n i n g s e n s o r s , w h i c h m e a n s t h e y a r e a l r e a d y d e s i g n e d f o r t h e h a r s h a u t o m o t i v e e n v i r o n m e n t . U l t r a s o u n d i s a l s o c o n s i d e r e d s a f e f o r h u m a n s s i n c e t h e y a r e w i d e l y l 3 u s e d i n m e d i c i n e . I n f r a r e d s y s t e m s u s e a h i g h p o w e r L E D t h a t i s t y p i c a l l y p u l s e d t o r e d u c e t h e e f f e c t s o f s u n l i g h t o n t h e r e c e i v e r . T h e r e c e i v e r i s t i m e d t o c o l l e c t d a t a o v e r a s p e c i fi e d t i m e w i n d o w . I n f r a r e d s y s t e m s s t i l l h a v e d i f fi c u l t y i n s o m e s u n l i g h t c o n d i t i o n s d u e t o t h e h i g h l e v e l o f b a c k g r o u n d c l u t t e r ( s u n l i g h t ) t h a t t h e s y s t e m e x p e r i e n c e s . T h e i n f r a r e d s e n s o r s m u s t b e d e s i g n e d w i t h t h e h u m a n 6 y e s a f e t y i n m i n d , w h i c h l i m i t s t h e a l l o w a b l e p e a k p o w e r a n d t h e r e f o r e l i m i t s t h e p e r f o r r n a n c e a g a i n s t s u n l i g h t . W h i l e s o m e e x p e r i m e n t s h a v e b e e n p e r f o r m e d w i t h r a d a r , i t i s c o n s i d e r e d t h e l e a s t f a v o r a b l e t e c h n o l o g y d u e t o u n k n o w n e f f e c t s o f l o n g - t e r m e x p o s u r e t o h u m a n s , p a r t i c u l a r l y t o i n f a n t s . 1 . 2 O c c u p a n t P r o t e c t i o n U s i n g C o m p u t e r V i s i o n A S m e n t i o n e d i n t h e p r e v i o u s s e c t i o n s , t h e r e a r e t w o a s p e c t s t o t h e a u t o m o t i v e a i r b a g s u p p r e s s i o n p r o b l e m , s t a t i c s u p p r e s s i o n a n d d y n a m i c s u p p r e s s i o n . T h e p r o b l e m o f s t a t i c o c c u p a n t p r o t e c t i o n i s a c l a s s i c a p p l i c a t i o n o f v i s i o n - b a s e d p a t t e r n r e c o g n i t i o n , w h i l e t h e p r o b l e m o f d y n a m i c o c c u p a n t p r o t e c t i o n u s i n g c o m p u t e r v i s i o n v e r y c l o s e l y p a r a l l e l s t h e w o r k d o n e i n r e c o g n i z i n g h u m a n b e h a v i o r i n V i d e o s e q u e n c e s . F o r o u r a p p l i c a t i o n , t h e c r i t i c a l h u m a n b e h a v i o r i s t h e p o s s i b l e i n t r u s i o n b y t h e o c c u p a n t i n t o t h e A S Z . T h e d e s i g n o f a p a t t e r n r e c o g n i t i o n s y s t e m r e q u i r e s t h r e e b a s i c c o m p o n e n t s [ 2 7 ] [ 2 1 ] : 1 ) d a t a a c q u i s i t i o n a n d p r e - p r o c e s s i n g , 2 ) d a t a r e p r e s e n t a t i o n , a n d 1 4 3 ) d e c i s i o n m a k i n g . T h e d a t a a c q u i s i t i o n s t a g e i n t h i s s y s t e m c o n s i s t s o f t h e i r n a g e r m o d u l e i n t h e h a r d w a r e s u b s y s t e m , w h i c h w i l l b e d e fi n e d i n S e c t i o n 1 . 2 . 1 . T h e r e m a i n i n g c o m p o n e n t s , i n c l u d i n g p r e - p r o c e s s i n g , d a t a r e p r e s e n t a t i o n , a n d d e c i s i o n - m a k i n g a r e a l l e l e m e n t s o f t h e s o f t w a r e c o m p o n e n t o f t h e s y s t e m a n d w i l l b e d i s c u s s e d i n s e c t i o n 1 . 2 . 2 . 1 . 2 . 1 V i s i o n S y s t e m H a r d w a r e A r c h i t e c t u r e T h e s y s t e m h a r d w a r e a r c h i t e c t u r e f o r t h e a i r b a g s u p p r e s s i o n s y s t e m i s p r o v i d e d i n F i g u r e 1 . 9 , a n d i s p h y s i c a l l y c o m p o s e d o f a s i n g l e m o n o c h r o m e d i g i t a l C M O S c a m e r a , a w i d e fi e l d - o f - v i e w l e n s , a b a n k o f L E D i l l u m i n a t o r s , a d i g i t a l s i g n a l p r o c e s s o r ( D S P ) , a n d a c o n t r o l m i c r o p r o c e s s o r . T h e D S P p e r f o r m s t h e i m a g e p r o c e s s i n g f u n c t i o n s i n r e a l - t i m e . T h e m i c r o p r o c e s s o r i s r e s p o n s i b l e f o r s y s t e m d i a g n o s t i c s a n d c o m m u n i c a t i o n s w i t h t h e o t h e r v e h i c l e s u b s y s t e m s v i a t h e v e h i c l e b u s , a n d f o r p r o v i d i n g t h e a i r b a g s u p p r e s s i o n s i g n a l t o t h e v e h i c l e a i r b a g c o n t r o l m o d u l e . T h e c a m e r a i s a s e m i - c u s t o m i z e d c a m e r a . I t i s a V G A r e s o l u t i o n c a m e r a ( 6 4 0 x 4 8 0 ) t h a t w e d o w n - s a m p l e t o 4 0 0 x 3 2 0 p i x e l s t o r e d u c e t h e p r o c e s s i n g b u r d e n . T h e c a m e r a h a s a n 8 - b i t o u t p u t , a n d a l s o h a s t h r e e u n i q u e f e a t u r e s : ( i ) e x t e n d e d d y n a m i c r a n g e , ( i i ) a u t o m a t i c g a i n a d j u s t m e n t , a n d ( i i i ) 1 0 - b i t i n t e r n a l h i s t o g r a m e q u a l i z a t i o n . T h e e x t e n d e d d y n a m i c r a n g e i s a p s e u d o - l o g a r i t h m i c r e s p o n s e a s i s s h o w n i n F i g u r e 1 . 1 0 [ 1 6 9 ] . T h i s d y n a m i c r a n g e a l l o w s t h e s y s t e m t o o p e r a t e i n t h e 1 5 e x t r e m e o u t d o o r i l l u m i n a t i o n e n v i r o n m e n t t h a t h a s r o u g h l y 1 0 6 d B o f d y n a m i c r a n g e [ 1 6 9 ] . C l e a r l y , t h e o p t i m a l c a m e r a f o r a n a u t o m o t i v e a p p l i c a t i o n w o u l d h a v e a n 1 8 - b i t l i n e a r o u t p u t ( 6 d B p e r b i t ) . T h e r e a r e i m a g e r c h i p s u n d e r d e v e l o p m e n t w i t h 1 6 - b i t l i n e a r r e s p o n s e s , b u t t h e c u r r e n t s t a t e - o f - t h e - a r t c a m e r a h a s o n l y a n 8 - b i t r e s p o n s e , p r o v i d i n g o n l y 4 8 d B o f d y n a m i c r a n g e [ 1 6 9 ] . T h e l o g a r i t h m i c r e s p o n s e c o m p r e s s e s t h e h i g h e r a m p l i t u d e p i x e l s t o e n s u r e t h e l o w e r a m p l i t u d e p i x e l s a r e s t i l l v i s i b l e , t h e r e b y a l l o w i n g t h e c a m e r a t o s u p p o r t a s i g n i fi c a n t l y g r e a t e r d y n a m i c r a n g e . A n o t h e r f e a t u r e o f t h e c a m e r a i s t h e a u t o m a t i c g a i n a d j u s t m e n t t h a t m i n i m i z e s t h e n u m b e r o f s a t u r a t e d p i x e l s . T h e fi n a l c a m e r a f e a t u r e i s t h e i n t e r n a l h i s t o g r a m e q u a l i z a t i o n . I t c a n b e a r g u e d t h a t h i s t o g r a m e q u a l i z a t i o n a s a p o s t p r o c e s s i n g t e c h n i q u e i s r e a l l y o n l y u s e f u l . f o r h u m a n i m a g e d i s p l a y . H o w e v e r , i n t h i s c a m e r a , t h e i m a g e r d e v i c e m a i n t a i n s a 1 0 - b i t i n t e r n a l r e p r e s e n t a t i o n o f t h e i m a g e a n d p e r f o r m s t h e h i s t o g r a m e q u a l i z a t i o n o n t h i s r e p r e s e n t a t i o n . T h e c a m e r a t h e n d r o p s t h e l o w e r t w o b i t s a n d o u t p u t s a n 8 - b i t i m a g e . T h i s p r o v i d e s t h e c a m e r a w i t h a d d i t i o n a l a b i l i t y t o e x t r a c t l o w e r a m p l i t u d e f e a t u r e s a s s h o w n i n F i g u r e 1 . 1 1 . 1 6 l e v e L e l a c s y a r G t u p t u O I m a g e , - D S P H S D R A M ‘ E l I C O I I U ' O I _ _ _ ’ V e h i c l e ' W I Q P F 9 . 9 § S $ . 9 £ . . . 1 L A N I l l u m i n a t o r s F i g u r e 1 . 9 : S y s t e m h a r d w a r e a r c h i t e c t u r e o f t h e c o m p u t e r v i s i o n b a s e d s m a r t a i r b a g s u p p r e s s i o n s y s t e m . p - — — — - — — — — — — — — — — . — — — — — — - — - — P s u e d o - L o g R a n g e - - - - - - - - - - — - - — b — - - - - - - — - - - - - — — - - — - - - : I I n c o m i n g I l l u m i n a t i o n L e v e l F i g u r e 1 . 1 0 : T y p i c a l a m p l i t u d e r e s p o n s e o f a n i m a g e r w i t h a p s e u d o - l o g a r i t h m i c a m p l i t u d e r e s p o n s e f o r o u t d o o r o p e r a t i o n . 1 7 T h e c a m e r a i s a l s o m a n u f a c t u r e d w i t h o u t t h e s t a n d a r d I R fi l t e r t o a l l o w t h e c a m e r a t o u s e t h e s u p p l e m e n t a l I R i l l u m i n a t i o n i n d a r k c o n d i t i o n s . T h e i l l u m i n a t o r s c o n s i s t o f a n a r r a y o f 8 8 0 n a n o m e t e r L E D s , g e o m e t r i c a l l y c o n fi g u r e d t o p r o v i d e r o u g h l y a u n i f o r m i l l u m i n a t i o n o v e r t h e p a s s e n g e r a r e a o f t h e v e h i c l e . T h e i l l u m i n a t o r s a l s o c o n t a i n a d i f f u s e r t o e n s u r e e y e s a f e t y a n d t o e n s u r e u n i f o r m l i g h t l e v e l s a c r o s s t h e o c c u p a n t . F i g u r e 1 . 1 1 : E f f e c t s o f i n t e r n a l h i s t o g r a m e q u a l i z a t i o n , ( a ) a d u l t i n o u t d o o r i l l u m i n a t i o n w i t h o u t e q u a l i z a t i o n , ( b ) i m a g e i n ( a ) w i t h e q u a l i z a t i o n , ( c ) i n f a n t i n o u t d o o r i l l u m i n a t i o n w i t h o u t e q u a l i z a t i o n , a n d ( ( 1 ) i m a g e i n ( c ) w i t h e q u a l i z a t i o n . T h e s y s t e m i s l o c a t e d i n t h e r o o f l i n e r o f t h e v e h i c l e , a l o n g t h e v e h i c l e c e n t e r l i n e , a n d n e a r t h e e d g e o f t h e w i n d s h i e l d , a s s h o w n i n F i g u r e 1 . 1 2 . T h i s l o c a t i o n p r o v i d e s n e a r l y a p r o fi l e v i e w o f t h e o c c u p a n t i n t h e p a s s e n g e r s e a t . T h i s v i e w i n g a n g l e i s i d e a l f o r d e t e c t i n g t h e i n t r u s i o n o f t h e o c c u p a n t i n t o t h e A S Z , a n d a l s o a i d s i n t h e c l a s s i fi c a t i o n o f t h e o c c u p a n t . T h i s l o c a t i o n a l s o r e d u c e s t h e l i k e l i h o o d o f t h e o c c u p a n t b l o c k i n g t h e s e n s o r a n d m a k e s a e s t h e t i c a l l y p l e a s i n g s t y l i n g o f t h e s e n s o r i n t o t h e v e h i c l e p o s s i b l e . T h e t y p i c a l fi e l d - o f - V i e w ( F O V ) r e q u i r e d f o r m o s t p a s s e n g e r v e h i c l e s i s r o u g h l y 1 0 0 d e g r e e s i n t h e v e r t i c a l d i r e c t i o n a n d 1 2 0 - 1 3 0 d e g r e e s i n t h e h o r i z o n t a l d i r e c t i o n . T h i s F O V e n s u r e s c o m p l e t e c o v e r a g e o f t h e o c c u p a n t ’ s h e a d f r o m w h e n t h e o c c u p a n t i s l e a n i n g f o r w a r d t o w a r d s t h e i n s t r u m e n t p a n e l t o w h e n t h e o c c u p a n t i s s e a t e d i n t h e r e a r - m o s t s e a t i n g p o s i t i o n w i t h t h e s e a t f u l l y r e c l i n e d a s s h o w n i n F i g u r e 1 . 1 3 . F i g u r e 1 . 1 2 : I n s t a l l a t i o n o f t h e c a m e r a s y s t e m w i t h i n t h e v e h i c l e s h o w i n g p l a n , p r o fi l e , a n d f o r w a r d v i e w i n g a n g l e s . , m . : : : : P M v i e w l o c a t i o n o f s m u t F i g u r e 1 . 1 3 : R e s u l t a n t fi e l d o f v i e w w i t h i n v e h i c l e c a b i n i s s h o w n s h a d e d , a n d t h e p l a n v i e w l o c a t i o n o f t h e s e n s o r i s s h o w n a s w e l l . 1 . 2 . 2 V i s i o n S y s t e m S o f t w a r e A r c h i t e c t u r e F i g u r e 1 . 1 4 s h o w s t h e b l o c k d i a g r a m o f t h e s o fl w a r e a l g o r i t h m s r e q u i r e d f o r t h e p r o p o s e d v i s i o n b a s e d a i r b a g s u p p r e s s i o n s y s t e m . I n b o t h t h e c l a s s i fi c a t i o n a n d t r a c k i n g m o d u l e s , t h e r e i s p r o - p r o c e s s i n g , f o l l o w e d b y d a t a r e p r e s e n t a t i o n a n d u l t i m a t e l y d e c i s i o n - m a k i n g . T h e m e c h a n i s m s t h r o u g h w h i c h t h e s e t h r e e s t a g e s a r e p e r f o r m e d a r e o u t l i n e d i n T a b l e 1 . 2 . 2 0 C l a s s i fi c a t i o n E v e r y s . s e c o n d s ; S t a t i c F e a t u r e _ . o c c u p a n t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . E v e r y 1 M O s e c o n d F i g u r e 1 . 1 4 : S o fi w a r e a r c h i t e c t u r e f o r t h e c o m p u t e r v i s i o n b a s e d s m a r t a i r b a g s u p p r e s s i o n s y s t e m . O p e r a t i o n a l l y , t h e s o fi w a r e i n i t i a l l y p e r f o r m s a c l a s s i fi c a t i o n o f t h e i n c o m i n g i m a g e r y . I f t h e i m a g e i s o f t h e p r o p e r p a t t e r n c l a s s t h e n t h e d y n a m i c s u p p r e s s i o n p r o c e s s i n g i s e n a b l e d , a n d t h e o c c u p a n t ’ s p o s i t i o n i s t r a c k e d . T h e c l a s s i fi c a t i o n p r o c e s s i n g i s e x e c u t e d e v e r y 3 - 5 s e c o n d s t o m e e t t h e N H T S A s p e c i fi c a t i o n [ 1 2 ] . T h e d y n a m i c s u p p r e s s i o n p r o c e s s i n g i s e x e c u t e d a t t h e f r a m e r a t e o f t h e c a m e r a s e n s o r , b u t p r o v i d e s h i g h e r s p e e d o u t p u t s t o t h e a i r b a g c o n t r o l m o d u l e t o e n s u r e r e p o r t i n g t h e i n t r u s i o n i n t o t h e A S Z W i t h i n 2 0 m i l l i s e c o n d s o f t h e a c t u a l i n t r u s i o n e v e n t [ 1 2 ] . T h e g o a l o f o u r s y s t e m w i l l b e t o d e t e c t t h e i n t r u s i o n w i t h i n 1 0 m i l l i s e c o n d s t o p r o v i d e a s i g n i fi c a n t m a r g i n o f e r r o r . 2 1 T a b l e 1 . 2 : S u m m a r y o f m e t h o d s e m p l o y e d f o r e a c h o f t h e r e q u i r e d p r o c e s s i n g s t a g e s f o r a p p l y i n g p a t t e r n r e c o g n i t i o n t o t h e a i r b a g s u p p r e s s i o n a p p l i c a t i o n . C l a s s i fi c a t i o n T r a c k i n g ( S t a t i c S u p p r e s s i o n ) ( D y n a m i c S u p p r e s s i o n ) P r e - p r o c e s s i n g S t a t i c S e g m e n t a t i o n M o t i o n S e g m e n t a t i o n ( C h a p t e r 2 ) ( C h a p t e r 7 ) F e a t u r e E x t r a c t i o n C h a t e r 3 . F e a t u r e S e l e c t i o n ( C h a p t e r 8 ) ( C h a p t e r 4 ) O c c u p a n t C l a s s i fi e r ( C h a p t e r 5 ) O c c u p a n t T r a c k i n g D e c i s i o n - m a k i n g a n d A S Z _ _ I n t e g r a t e d I n t I ' u S I o n P r e d i c t I o n C l a s s i fi e r / S e g m e n t e r ( C h a p t e r 9 ) ( C h a p t e r 6 ) A S t a t i c O c c u p a n t P r o t e c t i o n U s i n g I m a g e C l a s s i fi c a t i o n A c c o r d i n g t o t h e N H T S A s p e c i fi c a t i o n , t h e s y s t e m m u s t d e t e r m i n e t h e c l a s s i fi c a t i o n o f t h e o c c u p a n t w i t h i n 1 0 s e c o n d s o f a c h a n g e o f o c c u p a n t s t a t e ( i . e . , f r o m e m p t y t o a d u l t o r i n f a n t t o e m p t y , e t c . ) [ 1 2 ] . I n a d d i t i o n t o t h i s t i m e c o n s t r a i n t , t h e N H T S A s p e c i fi c a t i o n a l s o r e q u i r e s 1 0 0 p e r c e n t c o r r e c t c l a s s i fi c a t i o n , f o r a s u b s e t o f p o s s i b l e s e a t i n g p o s i t i o n s , a n d f o r a l l o f t h e o c c u p a n t t y p e s . R e c a l l f r o m F i g u r e 1 . 6 t h a t t h e r e a r e t w o c l a s s i fi c a t i o n a p p r o a c h e s t h a t m u s t b e c o n s i d e r e d . T h e fi r s t a p p r o a c h i s w h e r e w e d i s a b l e t h e a i r b a g o n i n f a n t s , c h i l d r e n , o r e m p t y s e a t s w h i l e w e e n a b l e o n a d u l t s . T h i s p r o d u c e s i s a f o u r — c l a s s p r o b l e m w h e r e t h e f o u r c l a s s e s a r e : ( i ) i n f a n t , ( i i ) c h i l d , ( i i i ) a d u l t a n d ( i v ) e m p t y s e a t . T h e s e c o n d a p p r o a c h i s w h e r e w e 2 2 d i s a b l e o n i n f a n t s a n d e n a b l e o n a l l o t h e r o c c u p a n t s . T h i s p r o d u c e s a t w o - c l a s s p r o b l e m w h e r e t h e t w o c l a s s e s a r e : ( i ) i n f a n t a n d ( i i ) a l l o t h e r o c c u p a n t s . I n t h e s e c o n d s c e n a r i o t h e c h i l d r e n a n d t h e a d u l t s a r e p r o t e c t e d b y d y n a m i c s u p p r e s s i o n . T h e o c c u p a n t p r o t e c t i o n fl o w i s d e m o n s t r a t e d f o r t h e s e t w o s u p p r e s s i o n s c h e m e s i n F i g u r e 1 . 1 5 . L i k e w i s e , e x a m p l e s o f e a c h o f t h e o c c u p a n t t y p e s f o r t h e t w o - c l a s s a n d t h e f o u r - c l a s s p r o b l e m a r e s h o w n i n F i g u r e 1 . 1 6 . T h e u n d e r l y i n g t e c h n o l o g y f o r t h e s t a t i c s u p p r e s s i o n i s i m a g e - b a s e d p a t t e r n r e c o g n i t i o n . T h e r e a r e f o u r c o m m o n a p p r o a c h e s f o r d e s i g n i n g a p a t t e r n r e c o g n i t i o n s y s t e m , n a m e l y [ 2 7 ] : 1 ) t e m p l a t e m a t c h i n g , 2 ) s t a t i s t i c a l c l a s s i fi c a t i o n , 3 ) s y n t a c t i c o r s t r u c t u r a l m a t c h i n g , a n d 4 ) n e u r a l n e t w o r k s . I t i S a r g u a b l e t h a t n e u r a l n e t w o r k s a r e r e a l l y a s u b c l a s s o f s t a t i s t i c a l p a t t e r n r e c o g n i t i o n , s o t h e y w i l l n o t b e c o n s i d e r e d a s a s e p a r a t e m e t h o d o l o g y . A c t u a l l y , i t h a s b e e n s h o w n t h a t “ m o s t o f t h e n e u r a l n e t w o r k m o d e l s a r e i m p l i c i t l y e q u i v a l e n t o r s i m i l a r t o c l a s s i c a l s t a t i s t i c a l p a t t e r n r e c o g n i t i o n m e t h o d s ” [ 2 7 ] . W e w i l l n o t c o n s i d e r t e m p l a t e m a t c h i n g f o r t h i s a p p l i c a t i o n s i n c e d e fi n i n g a s u i t a b l e s e t o f t e m p l a t e s f o r a l l t h e o c c u p a n t t y p e s i s e x t r e m e l y d i f fi c u l t , w h e n w e c o n s i d e r a l l t h e p o s s i b l e s i z e s a n d p o s t u r e s o f t h e o c c u p a n t s . T h i s m u l t i t u d e o f t e m p l a t e s c r e a t e s i s s u e s w i t h t h e r e s u l t a n t s t o r a g e o f t h e r e q u i r e d s e t o f t e m p l a t e s , a s w e l l a s t h e r e s u l t a n t p r o c e s s i n g t o t e s t a l l o f t h e s e t e m p l a t e s . 2 3 I n f a n t , C h i l d , o r C l a s s i f y H E m p t y _ . _ , D i s a b l e A i r b a g D i b l O c c u p a n t A d u l t T r a c k . — + A 5 1 2 8 ; o c c u p a n t i f O c c u p a n t E n t e r s A S Z ( a ) I I I C I I I I I I I I g [ I I I - a g e . . . . . . A i r b a g , 1 i f O c c u p a n t C h fl d " ‘ ‘ ’ E n t e r s A s z ( b ) F i g u r e 1 . 1 5 : D e c i s i o n fl o w f o r o c c u p a n t c l a s s i fi e r , ( a ) f o u r - c l a s s p r o b l e m , a n d ( b ) t w o — c l a s s p r o b l e m . W e w i l l a l s o n o t c o n s i d e r s t r u c t u r a l m e t h o d s . T h e s e m e t h o d s r e l y o n t h e s u c c e s s f u l i d e n t i fi c a t i o n o f c o m p o n e n t s t h a t c o m p r i s e t h e o b j e c t o f i n t e r e s t . I n o u r a p p l i c a t i o n , i t w o u l d r e q u i r e u s t o d e t e c t a n d i s o l a t e t h e h e a d , t h e t o r s o , t h e l i m b s , e t c . a n d t h e n d e v e l o p a s t r u c t u r a l m o d e l w i t h w h i c h t o r e a s s e m b l e t h e s e c o m p o n e n t s . W e b e l i e v e i t w o u l d b e e x t r e m e l y d i f fi c u l t t o i d e n t i f y t h e c o m p o n e n t s o f t h e o c c u p a n t i n o u r a p p l i c a t i o n . F o r e x a m p l e , w h e n a n a d u l t f e m a l e o c c u p a n t w i t h l o n g h a i r t u r n s t o l o o k o u t t h e p a s s e n g e r w i n d o w w e w o u l d o n l y s e e t h e h a i r a n d n o t a n y h e a d f e a t u r e . C o n s e q u e n t l y , i n t h i s t h e s i s w e w i l l a p p l y s t a t i s t i c a l p a t t e r n r e c o g n i t i o n , d u e t o t h e d i f fi c u l t i e s a s s o c i a t e d w i t h t h e o t h e r t w o m e t h o d s . 2 4 F i g u r e 1 . 1 6 : C l a s s d e c i s i o n b o u n d a r i e s f o r ( a ) f o u r - c l a s s , a n d ( b ) t w o - c l a s s p r o b l e m s . B D y n a m i c O c c u p a n t P r o t e c t i o n U s i n g I m a g e S e q u e n c e T r a c k i n g D y n a m i c o c c u p a n t p r o t e c t i o n i s r e q u i r e d f o r t h e o c c u p a n t c a t e g o r i e s t h a t a l l o w t h e a i r b a g t o b e d e p l o y e d t o m o n i t o r t h e l o c a t i o n o f t h e o c c u p a n t r e l a t i v e t o t h e A S Z , a n d d i s a b l e t h e a i r b a g i f t h e o c c u p a n t i s i n s i d e t h i s r e g i o n . F i g u r e 1 . 4 s h o w s a t y p i c a l s a f e d i s t a n c e b e t w e e n a n o c c u p a n t a n d t h e a i r b a g f o r a s m a l l s t a t u r e a d u l t ( 5 ' h p e r c e n t i l e f e m a l e ) [ 1 5 ] . R e c a l l t h a t t h e N H T S A s p e c i fi c a t i o n d i c t a t e s t h a t t h e o c c u p a n t s u p p r e s s i o n s y s t e m m u s t d e t e c t t h e p o s i t i o n o f t h e o c c u p a n t , a n d d i s a b l e t h e a i r b a g w i t h i n 1 0 m i l l i s e c o n d s o f t h e i n t r u s i o n i n t o t h e A S Z [ 1 2 ] . T h i s i m p l i e s t h e s y s t e m m u s t e s t i m a t e t h e o c c u p a n t p o s i t i o n a t t h e r a t e o f 1 0 0 - 2 0 0 H z . C l e a r l y , t h i s i s b e y o n d t h e a b i l i t y o f m o s t c o m m e r c i a l l y a v a i l a b l e i m a g i n g c h i p s . T h i s u p d a t e r a t e i s 2 5 a c h i e v a b l e i f t h e t r a c k i n g s y s t e m c a n p r e d i c t t h e p o s i t i o n s o f t h e o c c u p a n t i n t o t h e f u t u r e a t t h e r a t e o f 1 0 m i l l i s e c o n d s o r h i g h e r . ‘ T h e a p p r o a c h f o r c o m p u t e r v i s i o n - b a s e d d y n a m i c o c c u p a n t p r o t e c t i o n v e r y c l o s e l y p a r a l l e l s t h e w o r k d o n e i n t r a c k i n g h u m a n s i n v i d e o s e q u e n c e s t o i n f e r t h e i r b e h a v i o r . A p p l i c a t i o n s o f h u m a n m o t i o n t r a c k i n g r a n g e f r o m b i o m e c h a n i c s a n a l y s i s t o w i d e - a r e a s u r v e i l l a n c e a p p l i c a t i o n s . A s s h o w n i n F i g u r e 1 . 1 7 , t h e k e y r e s e a r c h a r e a s i n h u m a n m o t i o n a n a l y s i s a r e [ 1 1 2 ] : 1 ) b o d y s t r u c t u r e a n a l y s i s , 2 ) h u m a n m o t i o n t r a c k i n g , a n d 3 ) h u m a n m o t i o n r e c o g n i t i o n . W i t h i n t h i s h i e r a r c h y , o u r d y n a m i c s u p p r e s s i o n s y s t e m a d d r e s s e s t w o o f t h e s e e l e m e n t s : ( i ) h u m a n m o t i o n t r a c k i n g , a n d ( i i ) h u m a n m o t i o n r e c o g n i t i o n . T h e c l a s s e s o f m o t i o n s w e w i l l r e c o g n i z e a r e a s s o c i a t e d w i t h t h e t r a n s i t i o n b e t w e e n a r e s t i n g , o r n o r m a l l y m o v i n g a d u l t , a n d a n a d u l t b e i n g p r o p e l l e d i n t o t h e A S Z d u e t o s u d d e n p r e - c r a s h b r a k i n g . W e m o d e l t h i s r a n g e o f m o t i o n s b y t h r e e d i s t i n c t d y n a m i c s s t a t e s [ 1 8 ] : 1 ) s t a t i o n a r y , 2 ) h u m a n - l i k e , a n d 3 ) p r e - c r a s h b r a k i n g . T h e s t a t i o n a r y m o d e i s w h e n t h e p e r s o n i s s i t t i n g v e r y s t i l l o r i s a s l e e p . T h e h u m a n - l i k e m o t i o n m o d e i s w h e n t h e o c c u p a n t i s m o v i n g a b o u t t h e s e a t i n t y p i c a l m o v e m e n t s i n s i d e a n a u t o m o b i l e , s u c h a s o p e n i n g t h e g l o v e b o x , t u r n i n g t o w a r d s t h e d r i v e r o r b a c k s e a t , e t c . T h e p r e - c r a s h b r a k i n g m o d e r e p r e s e n t s t h e d y n a m i c s t h e 2 6 o c c u p a n t w o u l d e x p e r i e n c e w h e n t h e v e h i c l e i s b e i n g s t o p p e d a t o r n e a r t h e f u l l f o r c e o f t h e b r a k e s . F i g u r e 1 . 1 7 : B r e a k d o w n o f t h e u n d e r l y i n g m e t h o d o l o g i e s t h a t s u p p o r t h u m a n m o t i o n a n a l y s i s [ 1 1 2 ] . T h e a b i l i t y o f t h e t r a c k i n g s y s t e m t o f o l l o w t h e s u b j e c t s a n d a c c u r a t e l y p r e d i c t t h e i r f u t u r e l o c a t i o n s i s c r i t i c a l t o t h i s a p p l i c a t i o n . T h i s r e q u i r e m e n t i s c o m p l i c a t e d b y t h e f a c t t h a t h u m a n s f r e q u e n t l y t r a n s i t i o n b e t w e e n t h e s e t y p i c a l m o t i o n s [ 1 8 ] . T h e t r a c k i n g s y s t e m m u s t a d d r e s s t h i s r e q u i r e m e n t . A d d i t i o n a l l y , s i n c e t h e s y s t e m m u s t d e t e r m i n e t h e p o s i t i o n o f t h e o c c u p a n t i n a 3 - d i m e n s i o n a l s p a c e , a p o s e e s t i m a t i o n a l g o r i t h m m u s t b e e m p l o y e d . T h e r e a r e t w o g e n e r a l s y s t e m a r c h i t e c t u r e s f o r p e r f o r m i n g h u m a n m o t i o n t r a c k i n g a s s h o w n i n F i g u r e 1 . 1 8 : ( i ) s i n g l e V i e w a n d ( i i ) m u l t i p l e p e r s p e c t i v e s y s t e m s [ 1 1 2 ] . S i n g l e v i e w s y s t e m s c o r r e s p o n d t o s y s t e m s w i t h a s i n g l e c a m e r a , w h i l e m u l t i p l e p e r s p e c t i v e v i e w s g e n e r a l l y i m p l y m u l t i p l e c a m e r a s , b u t c a n i m p l y a s i n g l e c a m e r a t h a t i s m o v e d o v e r t i m e . F o r s y s t e m s i m p l i c i t y a n d c o s t r e a s o n s , o n l y s i n g l e c a m e r a s y s t e m s w i l l b e a d d r e s s e d i n t h i s r e s e a r c h . 2 7 F i g u r e 1 . 1 8 : B r e a k d o w n o f t h e m e t h o d s o f t r a c k i n g h u m a n s i n a v i d e o s e q u e n c e [ 1 1 2 ] . 1 . 2 . 3 D i f fi c u l t i e s a n d C h a l l e n g e s i n V i s i o n b a s e d O c c u p a n t P r o t e c t i o n T h e f o l l o w i n g f a c t o r s c o n t r i b u t e t o d i f fi c u l t i e s i n a p p l y i n g c o m p u t e r v i s i o n t o a n y a p p l i c a t i o n [ 2 1 ] : 1 ) n o n - u n i f o r m i l l u m i n a t i o n , 2 ) p o o r i m a g e c o n t r a s t , 3 ) s h a d o w s a n d h i g h l i g h t s , 4 ) o c c l u s i o n s , 5 V s e n s o r n o i s e , a n d 6 V b a c k g r o u n d c l u t t e r . O n e o f t h e p r i m a r y r e a s o n s t h a t t h e u s e o f c o m p u t e r v i s i o n f o r t h e a i r b a g s u p p r e s s i o n p r o b l e m i s v e r y c h a l l e n g i n g i s d u e t o t h e e x t r e m e l i g h t i n g v a r i a t i o n s t y p i c a l l y e n c o u n t e r e d i n s i d e a n a u t o m o b i l e . L i g h t i n g c a n v a r y f r o m b r i g h t s u n l i g h t , c a u s i n g i m a g e s a t u r a t i o n , t o c o m p l e t e d a r k n e s s , r e q u i r i n g s u p p l e m e n t a l i l l u m i n a t i o n . I n v e r y 2 8 b r i g h t s u n l i g h t t h e i m a g e m a y r e q u i r e a c a m e r a w i t h c o n s i d e r a b l e d y n a m i c r a n g e . T h e s i m u l t a n e o u s e x i s t e n c e o f s h a d o w s n e a r t h e o c c u p a n t ’ s l e g s a n d b r i g h t p a t c h e s d u e t o d i r e c t s u n l i g h t o n t h e h e a d a n d t o r s o i m p a c t s t h e c a m e r a ’ s a b i l i t y t o p r o p e r l y i m a g e t h e s c e n e . A n o t h e r d i f fi c u l t s i t u a t i o n i s i n d o o r l i g h t i n g , f o r e x a m p l e i n a b o v e g r o u n d p a r k i n g s t r u c t u r e s , w h e r e t h e r e i s s o m e a m b i e n t l i g h t i n g . E x a m p l e s o f i m a g e s f r o m e a c h o f t h e s e l i g h t i n g c o n d i t i o n s a r e S h o w n i n F i g u r e 1 . 1 9 . T h i s o p e r a t i n g e n v i r o n m e n t r e q u i r e s t h e c a m e r a ’ s i n t e r n a l a m p l i fi e r s t o b e o p e r a t e d a t f u l l g a i n , r e s u l t i n g i n i n c r e a s e d i m a g e n o i s e . T h e i m a g e n o i s e c a n e v e n b e s e v e r e i n o u t d o o r e n v i r o m n e n t s d u e t o t h e e x t r e m e t e m p e r a t u r e s e x p e r i e n c e d i n a v e h i c l e . M o s t c o m m e r c i a l c a m e r a ( 1 e v i c e s o p e r a t e b e s t a t w h a t i s c o m m o n l y r e f e r r e d t o a 3 r o o m t e m p e r a t u r e ( 2 5 d e g C ) , w h i l e v e h i c l e t e m p e r a t u r e s c a n e a s i l y r e a c h 8 5 d e g C . T h i s i n c r e a s e d t e m p e r a t u r e r e s u l t s i n a d r a m a t i c i n c r e a s e i n t h e n o i s e fl o o r o f i m a g i n g d e v i c e . P a r t i a l o c c l u s i o n i s o f t e n a c o m m o n p r o b l e m s i n c e t h e o c c u p a n t i s o f t e n h o l d i n g i t e m s s u c h a s n e w s p a p e r s , b o x e s , o r a b o u q u e t o f fl o w e r s . T h e e x i s t e n c e o f b a c k g r o u n d c l u t t e r i s d i r e c t l y i m p a c t e d b y t h e f a c t t h a t t h e v e h i c l e i s m o v i n g . T h i s c a u s e s n o t o n l y m o v i n g a n d s t a t i o n a r y s h a d o w s w i t h i n t h e i m a g e , b u t a l s o c o n t r i b u t e s t o a v a r i e d a n d c o m p l e x b a c k g r o u n d t h a t i s v i s i b l e o u t s i d e t h e w i n d o w o f t h e a u t o m o b i l e [ 1 9 ] . 2 9 F i g u r e 1 . 1 9 : E f f e c t s o f e x t e r n a l i l l u m i n a t i o n o n o c c u p a n t i m a g e r y , ( a ) b r i g h t s u n l i g h t w i t h b a n d i n g o n l e g s , ( b ) b r i g h t s u n l i g h t a c r o s s c h e s t , ( 0 ) i n d o o r l i g h t i n g , a n d ( d ) n i g h t - d a r k l i g h t i n g . I t h a s a l s o b e e n d i s c u s s e d t h a t t h e c o m p l e x i t y o f a c o m p u t e r v i s i o n t a s k c a n b e d e fi n e d b y t h e f o l l o w i n g t h r e e f a c t o r s [ 2 1 ] : 1 ) n u m b e r o f d i s t i n c t o b j e c t s t o b e r e c o g n i z e d , 2 ) s c e n e c o m p l e x i t y , a n d 3 ) o b j e c t c o m p l e x i t y . O b j e c t c o m p l e x i t y i s e l a b o r a t e d u p o n b y J a i n a n d D o r a i , w h e n t h e y s t a t e , “ t h e s u c c e s s o f a v i s i o n s y s t e m d e p e n d s o n t h e d e g r e e t o w h i c h t h e d e s i g n e r c a n c o n t r o l t h e i m a g i n g e n v i r o n m e n t a n d i n t e r - c l a s s a n d i n t r a - c l a s s o b j e c t v a r i a b i l i t i e s ” [ 2 1 ] . I n t h e a i r b a g s u p p r e s s i o n p r o b l e m , t h e d e s i g n e r h a s n o c o n t r o l o v e r t h e i m a g i n g e n v i r o n m e n t . T h e a i r b a g s u p p r e s s i o n a p p l i c a t i o n a l s o s u f f e r s f r o m t h e c o m p l i c a t i o n o f v e r y l a r g e i n t r a - c l a s s v a r i a b i l i t y . 3 0 F o r t h e c h i l d a n d i n f a n t c l a s s e s , t h e r e a r e a n u m b e r o f s e a t t y p e s , a s w e l l a s s e a t i n g p o s i t i o n s , t h a t m u s t b e r e c o g n i z e d , a n d t h e s i m i l a r i t y b e t w e e n t h e m i s o fi e n n o t v e r y h i g h , a s s h o w n i n F i g u r e 1 . 2 0 . O n e fi i r t h e r c o m p l i c a t i o n i s t h a t i n f a n t a n d b o o s t e r s e a t s m a y b e c o v e r e d w i t h b l a n k e t s t o p r o t e c t t h e c h i l d fi o r n s u n l i g h t a n d c o l d , a s s h o w n i n F i g u r e 1 . 2 1 [ 1 2 ] . ’ L ~ ~ a F i g u r e 1 . 2 0 : A c o l l a g e o f i n f a n t s e a t s a n d c h i l d p o s i t i o n s s h o w i n g t h e i n t r a - c l a s s v a r i a b i l i t y f o r t h e R F I S a n d c h i l d c l a s s e s . 3 1 F i g u r e 1 . 2 1 : A d d e d i n t r a - c l a s s v a r i a b i l i t y f o r t h e i n f a n t c l a s s d u e t o b l a n k e t s , ( a ) R F I S , a n d ( b ) s a m e R F I S u n d e r a b l a n k e t . T h e a d u l t c l a s s a l s o h a s a l a r g e a m o u n t o f i n t r a - c l a s s v a r i a b i l i t y , a s s h o w n i n F i g u r e 1 . 2 3 , d u e t o t h e f o l l o w i n g t h r e e f a c t o r s [ 1 9 ] : 1 ) v a r i a b i l i t y b e t w e e n t h e - 5 t h p e r c e n t i l e f e m a l e a n d t h e 9 5 t h p e r c e n t i l e m a l e i s 1 0 i n c h e s a n d 7 5 p o u n d s , 2 ) v a r i a b i l i t y i n a d u l t a p p e a r a n c e d u e t o h a i r a n d c l o t h i n g v a r i a t i o n s , a n d 3 ) s e a s o n a l v a r i a b i l i t y a s c l o t h i n g c h a n g e s f r o m o n l y s h i r t s i n s u m m e r t o d o w n p a r k a s a n d h a t s i n w i n t e r . I n a d d i t i o n t o t h e l a r g e i n t r a — c l a s s v a r i a t i o n s , o u r p r o b l e m i s a l s o c o m p l i c a t e d b y v e r y l i t t l e i n t e r - c l a s s s e p a r a b i l i t y f o r ' s o m e o f t h e c l a s s e s . F o r e x a m p l e , t h e s i x y e a r - o l d c h i l d o n a b o o s t e r s e a t i s v e r y s i m i l a r i n a p p e a r a n c e t o t h e 5 t h p e r c e n t i l e a d u l t ( s e e F i g u r e 1 . 2 2 ) . T h e l o s s f u n c t i o n f o r t h e p a t t e r n r e c o g n i t i o n s y s t e m f o r t h i s t y p e o f e r r o r i s v e r y h i g h , s i n c e e i t h e r t h e a d u l t i s n o t p r o t e c t e d b e c a u s e t h e b a g i s d i s a b l e d , o r t h e 6 y e a r - o l d i s a t r i s k . C o n s t r u c t i n g t h e d e c i s i o n b o u n d a r y b e t w e e n t h e i n f a n t a n d t h e c h i l d c l a s s c a n a l s o b e d i f fi c u l t b e c a u s e t h e i n f a n t s a n d t h e t h r e e - y e a r o l d s s h a r e s o m e c o m m o n f o r w a r d f a c i n g c h i l d s e a t s . 3 2 F i g u r e 1 . 2 2 : L o w i n t e r - c l a s s s e p a r a t i o n b e t w e e n t h e c h i l d c l a s s a n d t h e a d u l t c l a s s , ( a ) 6 y e a r - o l d c h i l d o n b o o s t e r , a n d ( b ) 5 t h p e r c e n t i l e a d u l t f e m a l e . ' T 9 2 3 : * 1 . . . ' F i g u r e 1 . 2 3 : A c o l l a g e o f a d u l t i m a g e s s h o w i n g t h e l a r g e i n t r a — c l a s s v a r i a b i l i t y f o r t h e a d u l t c l a s s . 3 3 T o s u m m a r i z e , a v i s i o n - b a s e d s y s t e m f o r a i r b a g s u p p r e s s i o n m u s t b e r o b u s t e n o u g h t o h a n d l e t h e f o l l o w i n g c o n d i t i o n s : 1 ) l a r g e i n t r a - c l a s s v a r i a b i l i t y o f t h e v a r i o u s o c c u p a n t t y p e s u n d e r c o n s i d e r a t i o n , 2 ) c a m o u fl a g e d c l a s s e s ( e . g . , b l a n k e t e d i n f a n t s ) , 3 ) l a r g e v a r i a t i o n i n l i g h t l e v e l s ( d a y t o n i g h t ) , 4 ) l a r g e l i g h t i n g v a r i a t i o n s w i t h i n a n i m a g e ( s h a d o w s t o b r i g h t d i r e c t s u n l i g h t ) , 5 ) s e v e r e a u t o m o t i v e e n v i r o n m e n t a l c o n d i t i o n s , 6 ) l o w c o s t , a n d 7 ) e x t r e m e l y h i g h r e l i a b i l i t y a n d p e r f o r m a n c e . 1 . 3 T h e s i s C o n t r i b u t i o n s T h i s t h e s i s m a k e s c o n t r i b u t i o n s a t a n u m b e r o f l e v e l s i n t h e a r e a o f p a t t e r n r e c o g n i t i o n a n d c o m p u t e r v i s i o n . I t p r e s e n t s a d e t a i l e d d e s i g n f o r a n o c c u p a n t p r o t e c t i o n s y s t e m t h a t c a n d r a m a t i c a l l y i m p r o v e t h e s a f e t y o f c h i l d r e n i n a u t o m o b i l e s . I t a l s o d e s c r i b e s a v e r y d i f fi c u l t r e a l - w o r l d a p p l i c a t i o n f o r w h i c h m o n o c u l a r c o m p u t e r v i s i o n t h a t i s c a p a b l e o f s i m u l t a n e o u s l y p e r f o r m i n g o c c u p a n t r e c o g n i t i o n a n d o c c u p a n t t r a c k i n g h a s n o t p r e v i o u s l y b e e n a p p l i e d . T h e a i r b a g s u p p r e s s i o n s y s t e m d e v e l o p e d i n t h i s t h e s i s h a s b e e n e x t e n s i v e l y e v a l u a t e d o n s e v e r a l t h o u s a n d i m a g e s a n d a l s o d u r i n g m u l t i p l e fi e l d t r i a l s o f v e h i c l e s . 3 4 T h e s p e c i fi c c o n t r i b u t i o n s i n t h e fi e l d o f p a t t e r n r e c o g n i t i o n a r e i n t h e f o u r k e y a r e a s . F i r s t , w e d e fi n e a v a r i a n t o f t h e k - n e a r e s t n e i g h b o r a n d t h e n e a r e s t m e a n d e c i s i o n r u l e s , w h e r e t h e k - n e a r e s t s a m p l e s f o r e a c h c l a s s a r e u s e d t o c o m p u t e t h e m e a n o f t h e k - n e a r e s t n e i g h b o r s f r o m e a c h c l a s s . T h i s d i f f e r s f r o m t h e c o m m o n l y u s e d n e a r e s t m e a n d e c i s i o n r u l e t h a t c o m p u t e s t h e m e a n f r o m t h e e n t i r e s e t o f t r a i n i n g s a m p l e s . I t i s a d y n a m i c f o r m u l i s m o f t h e n e a r e s t m e a n a l g o r i t h m , w h e r e t h e m e a n i s c o m p u t e d fi ' o m o n l y t h e k - n e a r e s t l o c a l t r a i n i n g s a m p l e s r a t h e r t h a n t h e e n t i r e d a t a s e t . T h e s e c o n d c o n t r i b u t i o n i n p a t t e r n r e c o g n i t i o n i s t h e u s e o f t h e M a n n - W h i t n e y s t a t i s t i c t o d e fi n e a r o b u s t a n d s t a t i s t i c a l l y w e l l - f o u n d e d m e a n s f o r p e r f o r m i n g f e a t u r e s e l e c t i o n . T h e m e t h o d i s c o m p a r e d t o a n u m b e r o f fi l t e r - b a s e d a n d w r a p p e r - b a s e d m e t h o d s , a n d i s s h o w n t o p e r f o r m a s w e l l o r s u p e r i o r t o a l l o f t h e m , w i t h s o m e t i m e s s i g n i fi c a n t l y r e d u c e d p r o c e s s i n g . I t a l s o p r o v i d e s a r o b u s t s t a t i s t i c f o r d e fi n i n g t h e q u a l i t y o f d i s c r i m i n a t i o n o f t h e s e l e c t e d f e a t u r e s , r a t h e r t h a n s i m p l y u s i n g t h e p r o b a b i l i t y o f c l a s s i fi c a t i o n e r r o r a s t h e s o l e c r i t e r i o n f u n c t i o n . T h e t h i r d c o n t r i b u t i o n i n p a t t e r n r e c o g n i t i o n i s t h e d e fi n i t i o n o f a c o n t e x t u a l p r o c e s s i n g m e c h a n i s m t h a t u s e s t h e c o n t i n u o u s s t r e a m o f c l a s s i fi c a t i o n s f r o m a v i d e o i m a g e s e q u e n c e t o i m p r o v e t h e o v e r a l l c l a s s i fi c a t i o n a c c u r a c y . T h e m e t h o d i s b a s e d o n e v i d e n t i a l r e a s o n i n g a n d D e m p s t e r - S h a f e r s t a t i s t i c s . I t u t i l i z e s t h e i m p o r t a n t c o n c e p t o f “ i g n o r a n c e ” t o a l l o w t h e s y s t e m t o d e a l w i t h l o w q u a l i t y c l a s s i fi c a t i o n s d u e t o i l l u m i n a t i o n c h a n g e s a n d t h e v a r y i n g p o s t u r e s a h u m a n o c c u p a n t m a y a s s u m e w h i l e s e a t e d i n a m o v i n g v e h i c l e . T h e f o u r t h c o n t r i b u t i o n i S t h e d e v e l o p m e n t o f a n e w p a r a d i g r n f o r i m a g e s e g m e n t a t i o n . I n t h i s a p p r o a c h s e g m e n t a t i o n a n d c l a s s i fi c a t i o n a r e n o t v i e w e d a s 3 5 s e q u e n t i a l p r o c e d u r e s w h e r e t h e s e g r n e n t e r i s l i k e a n i n t e l l i g e n t fi l t e r f o r t h e i m a g e , b u t r a t h e r t h e y a r e v i e w e d a s a n i n t e g r a t e d a n d i t e r a t i v e p r o c e s s e s . T h e m o d e l f o r t h i s a p p r o a c h t o s e g m e n t a t i o n i s s i m i l a r t o t h e w r a p p e r a p p r o a c h i n f e a t u r e s e l e c t i o n , w h e r e t h e c l a s s i fi c a t i o n r e s u l t p l a y s a n i n t e g r a l r o l e i n c h o o s i n g t h e f e a t u r e s . I n t h i s w r a p p e r i m p l e m e n t a t i o n o f s e g m e n t a t i o n , t h e q u a l i t y o f t h e c l a s s i fi c a t i o n r e s u l t s i s u s e d t o d e fi n e t h e fi n a l s e g m e n t a t i o n . T h e t h e s i s a l s o m a k e s c o n t r i b u t i o n s i n h u m a n m o t i o n t r a c k i n g t o s u p p o r t t h e d y n a m i c a i r b a g s u p p r e s s i o n f u n c t i o n a l i t y . T h e fi r s t c o n t r i b u t i o n i s t h e d e m o n s t r a t i o n o f h o w t o u s e m u t u a l i n f o r m a t i o n t o p r o v i d e a n e x t r e m e l y r o b u s t m o t i o n s e g m e n t a t i o n a l g o r i t h m t h a t i s h i g h l y i m m u n e t o i l l u m i n a t i o n e f f e c t s . T h e a p p r o a c h i s b a s e d o n a f u n d a m e n t a l l y d i f f e r e n t w a y o f v i e w i n g o p t i c a l fl o w . I t v i e w s o p t i c a l fl o w a s a f l o w 0 f i n f o r m a t i o n t h r o u g h a n i m a g e 5 e q u e n c e , r a t h e r t h a n s i m p l y a s a fl o w o f g r a y s c a l e a m p l i t u d e s . T h e s e c o n d c o n t r i b u t i o n i n t h e a r e a o f h u m a n m o t i o n t r a c k i n g i s i n t h e f o r m u l a t i o n o f t h e i n t e r a c t i n g m u l t i p l e m o d e l s ( I M M ) K a l m a n fi l t e r a s a r o b u s t m e a n s o f t r a c k i n g h u m a n s i n v i d e o s e q u e n c e s . P r e v i o u s w o r k i n h u m a n m o t i o n t r a c k i n g h a s b e e n p r i m a r i l y f o c u s e d o n u s i n g s i m p l e H i d d e n M a r k o v M o d e l s ( H M M S ) f o r t h e s e q u e n c e a n a l y s i s o f h u m a n s i n v i d e o . H M M S , h o w e v e r , d o n o t p r o v i d e t h e m e a n s t o a d e q u a t e l y d e a l w i t h n o n - i n s t a n t a n e o u s t r a n s i t i o n s b e t w e e n s t a t e s . T h e v i d e o s e q u e n c e i n o u r a p p l i c a t i o n i s c a p t u r e d a t a r a t e t h a t f a r e x c e e d s t h e m o t i o n r a t e s o f h u m a n s a n d , t h e r e f o r e , i t c o n t a i n s l a r g e t i m e i n t e r v a l s o f t r a n s i t i o n a l m o t i o n s . I M M S p r o v i d e a n a t u r a l m e a n s o f h a n d l i n g t r a n s i t i o n a l m o t i o n s b y n o t r e q u i r i n g t h e s y s t e m 3 6 t o s e l e c t a s i n g l e s t a t e , b u t r a t h e r t o p r o b a b i l i s t i c a l l y c o m b i n e m u l t i p l e s t a t e s t o d e s c r i b e t h e s e t r a n s i t i o n a l e v e n t s . T h e t h i r d c o n t r i b u t i o n i n t h e a r e a o f h u m a n m o t i o n t r a c k i n g i s a n e w m e c h a n i s m f o r i n f e r r i n g 3 - d i m e n s i o n a l p o s e f r o m a s e q u e n c e o f 2 - d i m e n s i o n a l i m a g e s t h r o u g h s t r u c t u r e f r o m d e f o r m a t i o n . W h i l e i t i s r e l a t e d t o s t r u c t u r e f r o m m o t i o n , i t b e n e fi t s f r o m n o t r e q u i r i n g p r e c i s e c o r r e s p o n d e n c e s o f f e a t u r e p o i n t s , b u t r a t h e r i n f e r s t h e p o s e f r o m g l o b a l e f f e c t s 0 f t h e o b j e c t ’ s p r o j e c t i o n i n t o t h e i m a g e p l a n e . I t a l s o u s e s t h e c o n c e p t o f i n t e r a c t i n g m u l t i p l e m o d e l s ( I M M ) a n d e x t e n d e d K a l m a n fi l t e r i n g t o p r o v i d e t h e m a t h e m a t i c a l e n g i n e f o r p r o v i d i n g t h e p o s e e s t i m a t i o n . 3 7 C h a p t e r 2 . S e g m e n t a t i o n f o r O c c u p a n t C l a s s i fi c a t i o n W e a d o p t t h e t r a d i t i o n a l i m a g e c l a s s i fi c a t i o n m e t h o d o l o g y f o r o u r a i r b a g s u p p r e s s i o n a p p l i c a t i o n , w h e r e t h e f i r s t s t a g e 0 f p r o c e s s i n g i s i m a g e 5 e g r n e n t a t i o n , w h i c h i s f o l l o w e d b y o b j e c t r e c o g n i t i o n [ 8 2 ] . I m a g e s e g m e n t a t i o n h a s b e e n e x t e n s i v e l y s t u d i e d i n c o m p u t e r v i s i o n , a n d t h e r e a r e “ h u n d r e d s o f s e g m e n t a t i o n t e c h n i q u e s i n t h e l i t e r a t u r e , b u t t h e r e i s n o s i n g l e m e t h o d w h i c h c a n b e c o n s i d e r e d g o o d f o r a l l i m a g e s ” [ 8 2 ] . A d d i t i o n a l l y , “ s e m a n t i c s a n d p r i o r i n f o r m a t i o n a b o u t t h e t y p e o f i m a g e s a r e c r i t i c a l t o t h e s o l u t i o n o f t h e s e g m e n t a t i o n p r o b l e m ” [ 8 2 ] . U n f o r t u n a t e l y , w e h a v e n o o b v i o u s c o m m o n a t t r i b u t e s f o r o u r o c c u p a n t c l a s s e s t h a t w e c a n u s e f o r s e g m e n t i n g t h e o c c u p a n t s f r o m t h e b a c k g r o u n d . T h e l a r g e i n t r a - c l a s s v a r i a b i l i t y o f o u r o c c u p a n t c l a s s e s m a k e s d e fi n i n g a s e t o f c o m m o n c h a r a c t e r i s t i c s f o r s e g m e n t a t i o n e x t r e m e l y d i f fi c u l t . W e a r e , h o w e v e r , i n a fi x e d a n d s t r u c t u r e d e n v i r o n m e n t , n a m e l y i n s i d e o f a p a s s e n g e r c a r . I n l i g h t o f t h i s , w e w i l l u t i l i z e a l l t h e a v a i l a b l e i n f o r m a t i o n r e g a r d i n g t h e i n t e r i o r o f t h e v e h i c l e i n t h e s e g m e n t a t i o n p r o c e s s . T h e r e f o r e , r a t h e r t h a n t r y i n g t o s e g m e n t t h e o c c u p a n t fi ' o m t h e b a c k g r o u n d , w e w i l l t r y t o s u b t r a c t a l l o f t h e k n o w n b a c k g r o u n d i n f o r m a t i o n f r o m t h e i n p u t i m a g e . T h e r e m a i n i n g p i x e l s w i l l t h e n b e l o n g t o t h e o c c u p a n t . T h i s i s t h e w e l l - k n o w n a p p r o a c h , c a l l e d b a c k g r o u n d r e m o v a l . S i n c e t h e b a c k g r o u n d s u b t r a c t i o n i s n e v e r p e r f e c t d u e t o t h e i l l u m i n a t i o n e f f e c t s , t h e o u t p u t i m a g e f r o m t h e b a c k g r o u n d s u b t r a c t i o n i s f u r t h e r p r o c e s s e d b y 3 8 a d d i t i o n a l i m a g e e n h a n c e m e n t t e c h n i q u e s . B o t h t h e b a c k g r o u n d r e m o v a l a n d t h e i m a g e e n h a n c e m e n t t e c h n i q u e s w i l l b e a d d r e s s e d . 2 . 1 B a c k g r o u n d R e m o v a l I n b a c k g r o u n d r e m o v a l , a n i m a g e w i t h o u t t h e p r e s e n c e o f a n o c c u p a n t , o r e v e n t h e p a s s e n g e r s e a t , i s r e q u i r e d . T h e i n c o m i n g i m a g e s a r e c o m p a r e d t o t h i s k n o w n “ e m p t y ” 0 r “ r e f e r e n c e ” i m a g e , a n d o c c u p a n t s a r e d e t e c t e d b y d e t e c t i n g t h e d i f f e r e n c e . A n e m p t y r e f e r e n c e i m a g e i s c o l l e c t e d f o r e a c h o f t h e t h r e e t y p i c a l l i g h t i n g c o n d i t i o n s ( d a y l i g h t , i n d o o r l i g h t , a n d n i g h t ) . T h e s e i m a g e s a r e c a r e f u l l y c o l l e c t e d t o e n s u r e t h e r e a r e n o b r i g h t h i g h l i g h t s o r s h a d o w s i n t h e i m a g e . T h e s a m e c a m e r a s y s t e m t h a t i s u s e d f o r t h e a i r b a g s u p p r e s s i o n i s a l s o u s e d t o c o l l e c t t h e r e f e r e n c e i m a g e s t o e n s u r e i d e n t i c a l c a m e r a c h a r a c t e r i s t i c s . E x a m p l e s o f t h e e m p t y r e f e r e n c e i m a g e s f o r e a c h o f t h e t h r e e l i g h t i n g c o n d i t i o n s a r e s h o w n i n F i g u r e 2 . 1 . N o t e t h a t t h e v e h i c l e s e a t h a s b e e n r e m o v e d i n t h e s e i m a g e s . T h i s i s d u e t o t h e f a c t t h a t t h e s e a t c a n b e l o c a t e d i n a v a r i e t y o f p o s i t i o n s ( e . g . , f u l l y f o r w a r d a n d u p r i g h t t o f u l l r e a r w a r d a n d r e c l i n e d ) a n d , t h e r e f o r e , c a n n o t e a s i l y b e f u l l y r e m o v e d f r o m t h e s c e n e d u r i n g b a c k g r o u n d s u b t r a c t i o n . T h e r e a r e a h o s t o f m e t h o d s d e fi n e d f o r b a c k g r o u n d s u b t r a c t i o n [ 8 2 ] [ 7 6 ] [ 1 1 5 ] [ 1 1 6 ] . O n e u s e s i m a g e - t o - i m a g e c o r r e l a t i o n a n d fi n d s t h e r e g i o n s o f t h e i m a g e t h a t a p p e a r d i f f e r e n t f r o m t h e r e f e r e n c e i m a g e . A n o t h e r m e t h o d u s e s t h e c o n c e p t o f e i g e n - i m a g e s t o s u b t r a c t a r e p r e s e n t a t i o n o f t h e e m p t y i m a g e f r o m t h e i n c o m i n g i m a g e t o r e v e a l t h e n e w o b j e c t s i n t h e i m a g e [ 1 1 6 ] . F i n a l l y , a n o t h e r 3 9 c o m m o n m e t h o d u s e s s t a t i s t i c a l m o d e l i n g t o d e v e l o p a m o d e l o f e a c h o f t h e b a c k g r o u n d p i x e l s [ 1 1 5 ] [ 7 9 ] . I t t h e n c o m p a r e s e a c h p i x e l i n t h e i n c o m i n g i m a g e w i t h p i x e l s i n t h e m o d e l a n d d e t e r m i n e s w h i c h p i x e l s b e l o n g t o t h e f o r e g r o u n d o b j e c t . O f t h e s e c o m m o n m e t h o d s , w e w i l l i n v e s t i g a t e i m a g e c o r r e l a t i o n a n d e i g e n - i m a g e s . F i g u r e 2 . 1 : E m p t y r e f e r e n c e i m a g e s f o r e a c h o f t h e t h r e e l i g h t i n g c o n d i t i o n s , ( a ) i n d o o r , ( b ) n i g h t , a n d ( c ) o u t d o o r . 2 . 1 . 1 B a c k g r o u n d C o r r e l a t i o n T h e c o r r e l a t i o n a p p r o a c h c o m p u t e s t h e r e l a t i v e c o r r e l a t i o n b e t w e e n t h e i n c o m i n g i m a g e a n d t h e r e f e r e n c e i m a g e . B o t h t h e i n c o m i n g i m a g e a n d t h e r e f e r e n c e i m a g e a r e i n i t i a l l y c o n v e r t e d t o g r a d i e n t , o r e d g e i m a g e s t o r e d u c e t h e e f f e c t s o f v a r i a b l e i l l u m i n a t i o n . T h e p r o c e s s i n g fl o w f o r t h e c o r r e l a t i o n - b a s e d s e g m e n t a t i o n i s p r o v i d e d i n F i g u r e 2 . 2 . T h e g r a d i e n t i m a g e s a r e c o m p u t e d a l o n g t h e t w o p r i n c i p a l a x e s , w h i c h c a n t h e n b e u s e d e i t h e r a s a g r a d i e n t v e c t o r , o r t h e r o o t s u m o f s q u a r e s ( R S S ) c a n b e c o m p u t e d t o u s e o n l y t h e g r a d i e n t a m p l i t u d e s . 4 0 i a S e g m e n t a t i o n _ _ . ” W e : 3 o c c l u p m i t E l E x t r a c t i o n : C l a s s r fi e a t l o n i a E d g e C o r r e l a t i o n P r o c e s s i n g P r o c e s s i n g A d a p t i v e H P o s t - T h r e s h o l d i n g P r o c e s s i n g F i g u r e 2 . 2 : P r o c e s s i n g fl o w f o r o c c u p a n t c l a s s i fi c a t i o n , h i g h l i g h t i n g t h e c o r r e l a t i o n - b a s e d a p p r o a c h t o b a c k g r o u n d s u b t r a c t i o n f o r s e g m e n t a t i o n . I f t h e e d g e a m p l i t u d e s a r e u s e d , t h e n t h e c o r r e l a t i o n o f a n N x N p a t c h f r o m e a c h o f t h e t w o i m a g e s i s c o m p u t e d u s i n g : 2 2 g , ( x . y ) - g 2 ( x i y ) A B C : ( 2 . 1 ) J 2 g 1 ( x , y ) 2 - Z g , ( x , y ) 2 A B w h e r e g l i s t h e r e f e r e n c e i m a g e a n d g 2 i s t h e i n c o m i n g i m a g e a n d A a n d B a r e t h e N x N r e g i o n s t o b e c o r r e l a t e d i n t h e t w o i m a g e s , a s s h o w n i n F i g u r e 2 . 3 . F o r o u r a p p l i c a t i o n , w e u s e a 1 0 x 1 0 w i n d o w f o r c o m p u t i n g t h e c o r r e l a t i o n . I f t h e e d g e d i r e c t i o n a l c o m p o n e n t s a r e u s e d t h e n t h e g r a d i e n t i n f o r m a t i o n a l o n g e a c h p r i n c i p a l d i r e c t i o n i s p r e s e r v e d a n d a v e c t o r i s p r o d u c e d f o r e a c h p i x e l c o n s i s t i n g o f : 4 1 T g ( i , j ) = [ g r a d x , g r a d y : l . ( 2 . 2 ) T h e c o r r e l a t i o n f o r t h e v e c t o r r e p r e s e n t a t i o n i s w r i t t e n a s : 2 2 8 ( X J ) 8 ( X , } ’ ) C = A B . ( 2 . 3 ) J Z I g ( x , y ) | 2 ~ Z l g ( x , y ) l 2 A B R e g i o n s o f h i g h c o r r e l a t i o n m e a n t h e r e i s n o c h a n g e b e t w e e n t h e i n c o m i n g i m a g e a n d t h e r e f e r e n c e i m a g e i n t h a t r e g i o n . R e g i o n s o f l o w c o r r e l a t i o n a r e k e p t f o r f u r t h e r p r o c e s s i n g , s i n c e t h e y d i f f e r f r o m t h e r e f e r e n c e i m a g e . O n c e t h e c o r r e l a t i o n v a l u e f o r e a c h r e g i o n i s d e t e r m i n e d , a n a d a p t i v e t h r e s h o l d i s a p p l i e d , a n d a n y r e g i o n t h a t f a l l s b e l o w t h e t h r e s h o l d ( r e c a l l a l o w c o r r e l a t i o n m e a n s a c h a n g e f r o m t h e r e f e r e n c e i m a g e ) i s c o n s i d e r e d a p a r t o f t h e o c c u p a n t . F i g u r e 2 . 4 s h o w s t h e i n c o m i n g i m a g e , t h e c o r r e l a t i o n i m a g e a f t e r a d a p t i v e t h r e s h o l d , a n d t h e fi n a l c o r r e l a t i o n i m a g e a f t e r t h e l a r g e s t c o m p o n e n t h a s b e e n e x t r a c t e d . 2 . 1 . 2 E i g e n - i m a g e T e c h n i q u e T h e e i g e n - i m a g e t e c h n i q u e b u i l d s a n e i g e n s p a c e r e p r e s e n t a t i o n o f t h e b a c k g r o u n d i m a g e , a n d t h e n u s e s t h i s r e p r e s e n t a t i o n t o d e t e c t r e g i o n s w h e r e o b j e c t s o f i n t e r e s t m a y b e p r e s e n t , a s S h o w n i n F i g u r e 2 . 6 [ 1 1 6 ] [ 7 6 ] [ 7 8 ] . B y i n c l u d i n g i m a g e s i n t h e t r a i n i n g s e t t h a t a r e f r o m S l i g h t l y d i f f e r e n t l i g h t i n g c o n d i t i o n s , i t i s p o s s i b l e t o m a k e t h e s y s t e m s o m e w h a t r o b u s t t o e n v i r o n m e n t a l c o n d i t i o n s ( s m a l l 4 2 l n C I e d g 5 F 1 9 1 ” h a : s h a d o w s , e t c . ) [ 1 1 6 ] . T h e g e n e r a l p r o c e s s i n g fl o w f o r t h e e i g e n - i m a g e b a s e d s u b t r a c t i o n i s p r o v i d e d i n F i g u r e 2 . 5 . F i g u r e 2 . 3 : E x a m p l e o f p r e p r o c e s s i n g f o r b a c k g r o u n d c o T r e l a t i o n p r o c e s s i n g , ( a ) i n c o m i n g i m a g e , ( b ) r e f e r e n c e i m a g e , ( c ) e d g e m a p f r o m i n c o m i n g i m a g e , a n d ( d ) e d g e m a p f r o m r e f e r e n c e i m a g e . F i g u r e 2 . 4 : E x a m p l e r e s u l t s f o r b a c k g r o u n d c o r r e l a t i o n p r o c e s s i n g , ( a ) i n c o m i n g i m a g e , a n d ( b ) a f t e r c o r r e l a t i o n p r o c e s s i n g ( u s i n g e d g e v e c t o r ) . 4 3 . . ; . ; ' . x " . 1 . 2 " L ’ " " a . I . . ‘ ’ . , - . ; . - ' V - 2 - I . " ‘ , " - { F E E - l " . 4 1 ” . _ “ . v _ 3 . , g ' i ‘ 3 . ‘ 5 . ‘ r ‘ . . . . } I ‘ ‘ ‘ 4 . 5 “ - I . . I ‘ ‘ , 3 ” 3 4 1 5 . . ] . 1 ‘ . - . - . . . _ . . . ' I I n p u t I I I I - a g e L - ' . _ a ' A J _ | . , , _ a . 1 f , ~ - , 1 ‘ v ' e - : ~ I D Q T , ' . ‘ . A . . . r . , ' 5 ‘ . ' . . ~ - _ " T J : 3 , / . . m P 1 1 1 1 3 0 1 I m a g e t o _ P r o j e c t B a c k t o B a c k g r o u n d I m a g e S p a c e E i g e n - s p a c e S u b t r a c t A d a p t i v e E i g e n - i m a g e s . T h r e s h o l d F i g u r e 2 . 5 : P r o c e s s i n g fl o w f o r e i g e n - i m a g e b a c k g r o u n d s u b t r a c t i o n . T h e e i g e n - i m a g e a p p r o a c h b e g i n s w i t h a s e t o f N t r a i n i n g i m a g e s w h i c h a r e r a s t e r i z e d a n d c o n v e r t e d i n t o i m a g e v e c t o r s , 1 , , i = 1 , . . . , N . T h e m e a n i m a g e I t a n d i t s I c o v a r i a n c e m a t r i x , C , a r e c o m p u t e d f r o m t h i s s e t o f i m a g e s a c c o r d i n g t o [ 1 1 6 ] [ 7 6 ] : N p : Z I i , a n d i = I ( 2 . 4 ) N T C = 2 ( 1 i — I l ) * ( l i — l l ) - i = 1 T h i s c o v a r i a n c e m a t r i x i s t h e n d i a g o n a l i z e d i n t o t h e f o r m : L = ( F O O T , ( 2 . 5 ) P ] . = ( D 2 4 1 1 . - I I ) , j = 1 . . . . , M . ( 2 . 6 ) w h e r e L i s t h e d i a g o n a l m a t r i x o f e i g e n v a l u e s , a n d ( I ) i s t h e m a t r i x o f e i g e n v e c t o r s [ 1 1 6 ] [ 7 6 ] . T h e s y s t e m t h e n u s e s p r i n c i p a l c o m p o n e n t a n a l y s i s ( P C A ) t o r e d u c e t h i s h i g h d i m e n s i o n a l s p a c e i n t o a m o r e m a n a g e a b l e s i z e , b y o n l y k e e p i n g t h e l a r g e s t M e i g e n - v e c t o r s , w h e r e M < N [ 1 1 6 ] [ 7 6 ] . T h e u n d e r l y i n g c o n c e p t i s t h a t t h e l a r g e s t e i g e n v a l u e s c o n t a i n t h e m a j o r i t y o f t h e i n f o r m a t i o n i n t h e b a c k g r o u n d i m a g e . A b a c k g r o u n d b a s i s s e t t h a t m o d e l s t h e c r i t i c a l c o m p o n e n t s o f t h e b a c k g r o u n d i s g e n e r a t e d f r o m t h e s e t o p M e i g e n - i m a g e s , a n d l a b e l e d ( P M ) . E a c h o f t h e M i m a g e s u s e d i n t h i s t r a i n i n g s e t i s t h e n p r o j e c t e d o n t o t h i s b a s i s a c c o r d i n g t o [ 7 6 ] : T h u s e a c h o f t h e s e p r o j e c t i o n s c o n t a i n s a c o m p a c t r e p r e s e n t a t i o n o f t h e i n c o m i n g i m a g e , I , w h e r e t h e s i z e o f t h e i m a g e r e p r e s e n t a t i o n i s a n M x l v e c t o r . N o w a n y n e w i m a g e c a n b e r e p r e s e n t e d i n t h i s n e w b a s i s b y u s i n g e q u a t i o n ( 2 . 6 ) t o g e n e r a t e a n M x l r e p r e s e n t a t i o n o f t h e i m a g e . T h i s i s a c c o m p l i s h e d v i a t h e f o l l o w i n g e q u a t i o n [ 1 1 6 ] [ 7 6 ] ] : p = ¢ L b u - # ) - ( 2 . 7 ) n e w n e w n e w I n o r d e r t o p e r f o r m t h e b a c k g r o u n d s u b t r a c t i o n , t h i s p r o j e c t e d i m a g e m u s t t h e n b e e x p a n d e d b a c k i n t o a f u l l i m a g e b y t h e i n v e r s e t r a n s f o r m , n a m e l y [ 7 6 ] : p + p . ( 2 . 8 ) b a c k g r o u n d — M b n e w n e w 4 5 I n t h i s p r o c e s s w e t a k e a d v a n t a g e o f t h e f a c t t h a t s o m e i n f o r m a t i o n h a s b e e n l o s t i n t h e t r a n s f o r m a t i o n , a n d t h e i n f o r m a t i o n t h a t h a s b e e n l o s t i s t h e f o r e g r o u n d o b j e c t s ( o b j e c t s o f i n t e r e s t ) , a n d o n l y t h e b a c k g r o u n d r e m a i n s . N o w t h e d i f f e r e n c e b e t w e e n t h e i n c o m i n g i m a g e a n d i t s b a c k g r o u n d p r o j e c t e d i m a g e i s c o m p a r e d o n a p i x e l - b y - p i x e l b a s i s , a n d , i f t h e d i f f e r e n c e e x c e e d s a t h r e s h o l d , t h e n a p i x e l i s a s s u m e d t o b e l o n g t o a f o r e g r o u n d o b j e c t o f i n t e r e s t w h e n [ 1 1 6 ] : I I | > t h r e s h o l d . ( 2 . 9 ) — I n e w b a c k g r o u n d F i g u r e 2 . 6 : E x a m p l e i m a g e f o r e i g e n - b a c k g r o u n d s u b t r a c t i o n , ( a ) m e a n b a c k g r o u n d i m a g e , ( b ) r e s u l t a n t m o v i n g o b j e c t s , a n d ( c ) o r i g i n a l i m a g e w i t h b o u n d i n g b o x e s a r o u n d m o v i n g o b j e c t s [ 1 1 6 ] . O l i v i e r e t a l . s t a t e i t i s e a s y t o m o d i f y t h i s a l g o r i t h m i n t o a n a d a p t i v e a l g o r i t h m t o c o m p e n s a t e f o r c h a n g i n g s h a d o w s [ 1 1 6 ] . T o d o s o , t h e s y s t e m w o u l d m o n i t o r t h e o u t p u t s f r o m t h i s t h r e s h o l d i n g s t a g e . I f a l a r g e p e r c e n t a g e o f t h e i m a g e i s d e e m e d f o r e g r o u n d , t h e n i t i s a s s u m e d t h e b a c k g r o u n d m o d e l i s n o l o n g e r v a l i d , a n d a n e w b a c k g r o u n d w o u l d b e c o m p u t e d . A n o t h e r a p p r o a c h c o u l d b e t o c o n t i n u o u s l y u p d a t e a n d r e p l a c e t h e b a c k g r o u n d m o d e l . W h i l e t h i s w o u l d a l l o w f o r a m o r e g r a c e f u l l y d e g r a d i n g s y s t e m , i t w o u l d g r e a t l y i n c r e a s e t h e p r o c e s s i n g b u r d e n , s i n c e t h e P C A c o m p u t a t i o n w o u l d b e r e q u i r e d f o r e v e r y n e w i m a g e . F o r o u r a i r b a g 4 6 s u p p l e m o r e I w i t h e p e r f o r i m a g e I m a g e p r o c e s . 1 0 r e m . I S a p c t h a t t h m i n i m t h e o n r e g I O I l : S e e n I T . “ 3 3 1 % : m d l h e n ” ’ 0 t h s u p p r e s s i o n a p p l i c a t i o n , w e c a n n o t g u a r a n t e e t h e v e h i c l e s e a t i s e m p t y . I t i s e v e n m o r e c o m p l i c a t e d b y t h e f a c t t h a t o u r p r e f e r r e d r e f e r e n c e i m a g e i s a n e m p t y v e h i c l e w i t h e v e n t h e s e a t r e m o v e d , w h i c h i s c l e a r l y i m p o s s i b l e . T h u s w e w i l l i n v e s t i g a t e t h e p e r f o r m a n c e o f t h e e i g e n - i m a g e s u b t r a c t i o n u s i n g a l a r g e a n d v a r i e d s e t o f t r a i n i n g i m a g e s t h a t a t t e m p t s t o c a p t u r e a l l o f t h e p o s s i b l e v a r i a t i o n s d u e t o i l l u m i n a t i o n . 2 . 2 I m a g e E n h a n c e m e n t M e t h o d s T h e t e r m i m a g e e n h a n c e m e n t u s e d i n o u r c o n t e x t i s d i f f e r e n t f r o m t r a d i t i o n a l i m a g e e n h a n c e m e n t t e c h n i q u e s . T r a d i t i o n a l i m a g e e n h a n c e m e n t t e c h n i q u e s a r e p r e - p r o c e s s i n g m e t h o d s t o f a c i l i t a t e i m a g e s e g m e n t a t i o n , o r t o e n h a n c e a h u m a n i n t e r f a c e t o r e m o V e n o i s e a n d o t h e r a r t i f a c t s i n t h e i m a g e [ 8 3 ] . I m a g e e n h a n c e m e n t u s e d h e r e i s a p o s t p r o c e s s i n g s t a g e t h a t o p e r a t e s o n t h e b a c k g r o u n d s u b t r a c t i o n o u t p u t , s u c h t h a t t h e s e g m e n t e d i m a g e c o n t a i n s a s l i t t l e o f t h e b a c k g r o u n d a s p o s s i b l e , w h i l e m i n i m i z i n g t h e e r o s i o n o f t h e o c c u p a n t r e g i o n . T h e r e a r e t w o p r o b l e m s t h a t a r i s e i n t h e o u t p u t o f t h e b a c k g r o u n d s u b t r a c t i o n s e g r n e n t a t i o n s : ( i ) h o l e s i n t h e o c c u p a n t r e g i o n s , a n d ( i i ) e x t r a n e o u s b a c k g r o u n d r e g i o n s . E x a m p l e s o f t h e s e e f f e c t s c a n b e s e e n i n F i g u r e 2 . 7 ( c ) w h e r e h o l e s i n t h e o c c u p a n t a r e v i s i b l e a n d t h e r e a r e e x t r a n e o u s r e g i o n s i n t h e a r e a o f t h e w i n d o w a n d t h e r e a r s e a t . T h e t w o m e t h o d s i n v e s t i g a t e d h e r e f o r p o s t p r o c e s s i n g a r e b i n a r y m a t h e m a t i c a l m o r p h o l o g y f o r fi l l i n g t h e i m a g e h o l e s a n d g r a y s c a l e m a t h e m a t i c a l m o r p h o l o g y v i a t h e w a t e r s h e d a l g o r i t h m f o r r e m o v i n g e x t r a n e o u s b a c k g r o u n d p i x e l s . 4 7 ( b ) F i g u r e 2 . 7 : D e m o n s t r a t i o n o f a r t i f a c t s t o b e r e d u c e d b y p o s t - p r o c e s s i n g , ( a ) o r i g i n a l i m a g e , ( b ) d e s i r e d s e g m e n t a t i o n , a n d ( c ) o u t p u t f r o m t h e b a c k g r o u n d s u b t r a c t i o n - b a s e d s e g m e n t a t i o n . 2 . 2 . 1 M a t h e m a t i c a l M o r p h o l o g y M a t h e m a t i c a l m o r p h o l o g y i s a v e r y p o p u l a r m e t h o d f o r r e m o v i n g e x t r a n e o u s r e g i o n s i n i m a g e s o r f o r fi l l i n g h o l e s a n d g a p s i n i m a g e s . T h e m o r p h o l o g y a l g o r i t h m s w e w i l l b e u s i n g a r e b a s e d o n b i n a r y i m a g e m o r p h o l o g y . T h e m o s t f u n d a m e n t a l a p p r o a c h f o r p e r f o r m i n g b i n a r y m o r p h o l o g y i s b a s e d o n e r o s i o n a n d d i l a t i o n o p e r a t i o n s . O t h e r a l g o r i t h m s i n m o r p h o l o g y a r e d e r i v e d f r o m c a s c a d i n g t h e s e b a s i c b u i l d i n g b l o c k s i n a p a r t i c u l a r o r d e r . T h e d e fi n i t i o n s f o r e r o s i o n a n d d i l a t i o n a r e [ 8 6 ] : - E r o s i o n o f X b y B ( x ) i s t h e s e t o f a l l p o i n t s x s u c h t h a t a l l p o i n t s w i t h i n B ( x ) a r e i n c l u d e d i n X . - D i l a t i o n o f X b y B ( x ) i s t h e s e t o f a l l p o i n t s X s u c h t h a t a n y p o i n t w i t h i n B ( x ) a r e i n c l u d e d i n X . D i l a t i o n a n d e r o s i o n a r e r e p r e s e n t e d b y t h e m a t h e m a t i c a l t e r m s [ 8 6 ] : - D i l a t i o n = A 6 9 3 , a n d ( 2 . 1 0 ) 4 8 - E r o s i o n = A 9 3 . T h e o p e r a t i o n s c a l l e d o p e n i n g a n d c l o s i n g c a n n o w b e d e fi n e d u s i n g t h e s e b a s i c b u i l d i n g b l o c k s . T h e y a r e d e fi n e d t o b e [ 8 6 ] : - O p e n i n g = ( A O B ) € B B a n d ( 2 . 1 1 ) - C l o s i n g = ( A 6 3 B b B , w h e r e B i s t h e t r a n s p o s e o f B . T h e o p e n i n g a n d c l o s i n g o p e r a t i o n s a r e “ a m o n g t h e m o s t p o w e r f u l o f m a t h e m a t i c a l m o r p h o l o g y ” [ 8 6 ] . T h e o p e r a t i o n w e a r e i n t e r e s t e d i n i s t h e c l o s i n g , w h i c h fi l l s i n s m a l l h o l e s a n d g a p s w i t h i n t h e s e g m e n t e d o b j e c t a n d fi l l s d e n t s i n t h e c o n t o u r s o f t h e o b j e c t . 2 . 2 . 2 W a t e r s h e d T e c h n i q u e I t i s i n t e r e s t i n g t o n o t e t h a t t h e w a t e r s h e d a l g o r i t h m i s t r a d i t i o n a l l y c o n s i d e r e d a s t a n d - a l o n e s e g m e n t a t i o n t e c h n i q u e [ 8 4 ] . F o r o u r a p p l i c a t i o n , w h e r e t h e o c c u p a n t c a n b e w e a r i n g a n y t y p e o f c l o t h i n g a n d t h e i m a g e i s r e l a t i v e l y c l u t t e r e d , t h e w a t e r s h e d m e t h o d w o u l d n o t b e a b l e t o c o m p l e t e l y i s o l a t e t h e o c c u p a n t f r o m t h e b a c k g r o u n d . T h e w a t e r s h e d a l g o r i t h m , h o w e v e r , i s u s e f u l , f o r r e m o v i n g s o m e o f t h e r e m a i n i n g b a c k g r o u n d p i x e l s . T h e w a t e r s h e d a l g o r i t h m i s a r e g i o n - b a s e d s e g m e n t a t i o n a p p r o a c h b a s e d o n g r a y s c a l e m o r p h o l o g y . T h e a l g o r i t h m c o n s i d e r s t h e i m a g e t o b e a l a n d s c a p e , a n d w h e n t h i s l a n d s c a p e i s fl o o d e d w i t h w a t e r , t h e w a t e r s h e d s d e fi n e l i n e s t h a t d i v i d e 4 9 r e g i o n s o f fl o w i n t o d i f f e r e n t c a t c h m e n t b a s i n s [ 8 4 ] . A w a t e r s h e d l i n e i s d e fi n e d a t t h a t l o c a t i o n , w h e r e t h e w a t e r f r o m t w o d i f f e r e n t b a s i n s m e e t s . T h i s l i n e s e r v e s a s a r e g i o n s e p a r a t o r , a s S h o w n i n F i g u r e 2 . 8 [ 8 5 ] . T h e r e a r e m a n y a l g o r i t h m i c i m p l e m e n t a t i o n s o f t h e w a t e r s h e d c o n c e p t , f o r e x a m p l e [ 8 4 ] : - w a t e r s h e d b y i m m e r s i o n , - w a t e r s h e d b y h i l l c l i m b i n g , a n d - w a t e r s h e d b y D i j k s t r a - M o o r e S h o r t e s t p a t h a l g o r i t h m . T h e r e a r e a l s o t w o c l a s s e s o f w a t e r s h e d a l g o r i t h m s : ( i ) b l i n d , a n d ( i i ) w i t h m a r k e r s . I n b l i n d w a t e r s h e d t h e i m a g e i s d i v i d e d i n t o c a t c h m e n t b a s i n s w i t h n o o t h e r i n f o r m a t i o n . I n t h e m a r k e r a p p r o a c h , c a t c h m e n t b a s i n s i n t h e a r e a o f a m a r k e r a r e c o m b i n e d t o g e t h e r . I n t h e a i r b a g s u p p r e s s i o n a p p l i c a t i o n w e h a v e u s e d w a t e r s h e d b y m a r k e r s , s i n c e w e w a n t t o u s e a s m u c h c o n t e x t u a l i n f o r m a t i o n a s p o s s i b l e f o r t h e s e g m e n t a t i o n [ 8 5 ] . T h e m a r k e r s a l l o w u s t o d e fi n e t h e l i k e l y r e g i o n s f o r t h e o c c u p a n t a n d t h e v e h i c l e b a c k g r o u n d . W e d e fi n e a f o r e g r o u n d m a r k e r a n d a b a c k g r o u n d m a r k e r , a n d t h e n b e g i n t h e fl o w f r o m t h e s e r e g i o n s , w h i l e a l s o m e r g i n g c a t c h m e n t b a s i n s t h a t f a l l w i t h i n t h e s e m a r k e r r e g i o n s . F o r t h e a i r b a g s u p p r e s s i o n a p p l i c a t i o n , w e d e fi n e t h e m a r k e r s b a s e d o n m o d e l i n g t h e o c c u p a n t b y i t s b o u n d i n g e l l i p s e . T h i s m o d e l w i l l b e d e fi n e d i n c o n s i d e r a b l y m o r e d e t a i l i n C h a p t e r 8 , w h e r e i t p l a y s a k e y r o l e i n t h e o c c u p a n t t r a c k i n g a l g o r i t h m s . I n i t i a l l y , t h e b o u n d i n g e l l i p s e o f t h e s e g m e n t a t i o n i s d e fi n e d a s s h o w n i n F i g u r e 2 . 9 ( b ) . F r o m t h i s e l l i p s e w e t h e n d e fi n e a n i n n e r a n d o u t e r e l l i p s e b a s e d o n t h e e c c e n t r i c i t y a n d s i z e o f t h e i n i t i a l e l l i p s e . W e k n o w f o r e x a m p l e , t h a t i f 5 0 t h e i n i t i a l e l l i p s e i s v e r y c i r c u l a r a s i n F i g u r e 2 . 9 ( b ) , t h e n w e s h o u l d f o r c e t h e m a r k e r r e g i o n s t o b e m o r e e c c e n t r i c , s i n c e o c c u p a n t s t e n d t o a p p e a r r e l a t i v e l y e l l i p t i c a l . L i k e w i s e , i f t h e e l l i p s e i s v e r y l a r g e , w e n e e d t o r e d u c e t h e i n n e r a n d o u t e r e l l i p s e s , s i n c e w e h a v e r e a s o n a b l e a p r i o r i k n o w l e d g e o f t h e p o s s i b l e s i z e s o f t h e o c c u p a n t . ( a ) ( b ) F i g u r e 2 . 8 : D e m o n s t r a t i o n o f t h e w a t e r s h e d a l g o r i t h m , ( a ) d a m b u i l d i n g b e t w e e n c a t c h m e n t b a s i n s , a n d ( b ) g r a p h i c s h o w i n g m i n i m a r e g i o n s a n d r e s u l t i n g w a t e r s h e d s [ 8 5 ] . ( a ) F i g u r e 2 . 9 : M a r k e r r e g i o n s f o r w a t e r s h e d p r o c e s s i n g f o r t h e o c c u p a n t s h o w n i n F i g u r e 2 . 7 , ( a ) h a n d s e g m e n t e d i m a g e , a n d ( b ) i n n e r a n d o u t e r m a r k e r r e g i o n s . 5 1 2 . 3 D a t a C o l l e c t i o n f o r O c c u p a n t S e g m e n t a t i o n a n d C l a s s i fi c a t i o n A n e x t e n s i v e d a t a c o l l e c t i o n e f f o r t w a s u n d e r t a k e n t o e n s u r e a n a d e q u a t e n u m b e r o f i m a g e s w e r e a v a i l a b l e f o r t h e s t a t i c s u p p r e s s i o n s y s t e m d e v e l o p m e n t . W e h a v e a l s o p e r f o r m e d a n e x t e n s i v e c o l l e c t i o n f o r d y n a m i c s u p p r e s s i o n , w h i c h w i l l b e d e s c r i b e d i n C h a p t e r 7 w h e n w e b e g i n d e fi n i n g o u r a p p r o a c h t o d y n a m i c s u p p r e s s i o n . S i n c e t h e i m a g e s a r e u s e d f o r t r a i n i n g 0 f t h e fi n a l s y s t e m , t h e t r a i n i n g i m a g e s a r e c o l l e c t e d i n t h e t a r g e t v e h i c l e s , u s i n g t h e c a m e r a p l a c e m e n t e x p e c t e d i n t h e fi n a l p r o d u c t i o n s y s t e m . L i k e w i s e , t h e c a m e r a m o d u l e u s e d f o r t h i s d a t a c o l l e c t i o n i s t h e s a m e c a m e r a a s f o r p r o d u c t i o n , w i t h t h e 6 4 0 x 4 8 0 h a r d w a r e r e s o l u t i o n , t h a t i s s u b - s a r n p l e d a n d s t o r e d a s 4 0 0 x 3 2 0 i m a g e s i n 8 - b i t g r a y s c a l e . F o r t h e c h i l d c l a s s , i m a g e s o f 3 y e a r - o l d a n d 6 y e a r - o l d o c c u p a n t s o n t h e v e h i c l e s e a t a n d i n t h e a p p r o p r i a t e c h i l d s e a t s ’ ( s e e T a b l e 2 . 1 ) a r e a l l i n c l u d e d i n t h e 6 0 0 i m a g e s . S i n c e t h e 4 - c l a s s c l a s s i fi e r t r e a t s R F I S a s a s e p a r a t e c l a s s , i m a g e s w i t h R F I S a r e c o l l e c t e d s e p a r a t e l y . T h e d a t a c o l l e c t i o n s f o r t h e i n f a n t a n d c h i l d s e a t s a r e b a s e d o n t h e l i s t o f a p p r o v e d c a r s e a t s i n t h e N H T S A F M V S S - 2 0 8 d o c u m e n t a t i o n [ 1 2 ] . T h e c u r r e n t l i s t o f t h e a p p r o v e d s e a t s i s p r o v i d e d i n T a b l e 2 . 1 [ 1 2 ] . T o e n s u r e p r o p e r c o l l e c t i o n o f t h e i m a g e r y , w e d e v e l o p e d a u s e r ’ s m a n u a l t o d e m o n s t r a t e t h e p r o p e r i n s t a l l a t i o n o f t h e v a r i o u s i n f a n t a n d c h i l d s e a t s , a n d t o p r o v i d e s a m p l e s o f t h e i m a g e f r o m t h e c a m e r a s y s t e m . A n e x a m p l e o f o n e o f t h e e n t r i e s i n t h i s u s e r ’ s m a n u a l i s p r o v i d e d i n F i g u r e 2 . 1 0 , w h e r e t h e i n s t a l l a t i o n o f t h e i n f a n t 8 e a t i s s h o w n f r o m t h e i n s t a l l e r ’ s p e r s p e c t i v e , a s w e l l a s f r o m t h e c a m e r a ’ s p e r s p e c t i v e [ 1 7 ] . 5 2 T a b l e 2 . 1 : L i s t o f N H T S A a p p r o v e d i n f a n t a n d c h i l d c a r s e a t s . D e s c r i p t i o n M o d e l N u m b e r C a r B e d N 0 1 I C o s c o D r e a m R i d e 0 2 - 7 1 9 R e a r F a c i n g C h i l d S e a t N 0 2 B r i t a x H a n d l e w i t h C a r e 1 9 1 N 0 3 C e n t u r y A s s u r a 4 5 5 3 N 0 4 C e n t u r y S m a r t F i t 4 5 4 3 N 0 5 C o s c o A r r i v a 0 2 - 7 2 7 N 0 6 C o s c o O p u s 3 5 0 2 6 0 3 N 0 7 E v e n fl o D i s c o v e r y 2 1 2 N 0 8 E v e n fl o F i r s t C h o i c e 2 0 4 N 0 9 E v e n fl o O n M y W a y P o s i t i o n R i g h t V 2 8 2 N 1 0 C e n t u r y A v a n t a S E 4 1 5 3 0 N 1 1 G r a c o I n f a n t 8 4 5 7 C o n v e r t i b l e N 1 2 B r i t a x R o u n d a b o u t 1 6 1 N 1 3 C e n t u r y E n c o r e 4 6 1 2 N 1 4 C o s c o T o u r i v a 0 2 5 1 9 N 1 5 E v e n fl o H o r i z o n V 4 2 5 N 1 6 E v e n fl o M e d a l l i o n 2 5 4 N 1 7 C e n t u r y S T E 1 0 0 0 4 4 1 6 N 1 8 C o s c o O l y m p i a n 0 2 8 0 3 R o o s t e r N 1 9 B r i t a x R o a d s t e r 9 0 0 4 N 2 0 C e n t u r y N e x t S t e p 4 9 2 0 N 2 1 C o s c o H i L h B a c k B o o s t e r 0 2 - 4 4 2 N 2 2 E v e n fl o R i g h t F i t 2 4 5 R e c a l l t h a t s i n c e t h e s y s t e m i s a n a u t o m o t i v e a p p l i c a t i o n , i t m u s t b e c a p a b l e o f o p e r a t i n g i n t h e f o l l o w i n g l i g h t i n g c o n d i t i o n s : 1 ) i n d o o r l i g h t - c o n d i t i o n s s u c h a s i n s i d e g a r a g e s a n d p a r k i n g s t r u c t u r e s , 2 ) o u t d o o r l i g h t - n o r m a l o u t d o o r d r i v i n g c o n d i t i o n s i n b r i g h t s u n , a s w e l l a s o t h e r d a y t i m e w e a t h e r c o n d i t i o n s , a n d 3 ) n i g h t - n i g h t - t i m e d r i v i n g c o n d i t i o n s . 5 3 T h e c u r r e n t t r a i n i n g i m a g e r y w a s c o l l e c t e d i n i n d o o r a n d n i g h t l i g h t i n g c o n d i t i o n s o n l y . W e h a v e a d o p t e d a s t r a t e g y f o r t r a i n i n g t h e s y s t e m w h e r e l i g h t i n g v a r i a t i o n s s h o u l d b e t r e a t e d a s a s o u r c e o f n o i s e i n t h e i m a g e . W e t h e n a t t e m p t t o d e v e l o p a l g o r i t h m s t h a t p o s s e s s s o m e l e v e l o f i m m u n i t y t o i l l u m i n a t i o n , r a t h e r t h a n a t t e m p t i n g t o t r a i n t h e s y s t e m f o r t h e i l l u m i n a t i o n v a r i a t i o n s d u e t o t h e n e a r i n fi n i t e v a r i a b i l i t y o f t h e i l l u m i n a t i o n . F i g u r e 2 . 1 0 : D e m o n s t r a t i o n o f p r o p e r i n s t a l l a t i O n o f a c h i l d a n d i n f a n t s e a t w i t h a 1 - y e a r o l d d u m m y , ( 3 ) i n s t a l l e r ’ s v i e w o f t h e i n f a n t s e a t , a n d ( b ) c a m e r a s y s t e m v i e w o f t h e i n f a n t s e a t . T h e t r a i n i n g d a t a s e t s m u s t a l s o c a p t u r e t h e o c c u p a n t v a r i a b i l i t y i n t h e p o p u l a t i o n t o p r o v i d e g e n e r a l i z a b l e r e s u l t s . T h e i n f a n t s u b j e c t s i n t h e R F I S a n d f o r w a r d f a c i n g i n f a n t s e a t s w e r e r e a l i s t i c l o o k i n g d o l l s u s e d a s t h e s u b j e c t s s i n c e r e a l i n f a n t s a r e t o o d i f fi c u l t t o w o r k w i t h . T h e t h r e e y e a r - o l d a n d s i x y e a r - o l d s u b j e c t s w e r e a c o m b i n a t i o n o f r e a l c h i l d r e n a n d c r a s h t e s t d u m m i e s . T h e a d u l t s u b j e c t s w e r e a l s o a c o m b i n a t i o n o f t h e 5 t h p e r c e n t i l e f e m a l e a n d t h e 5 0 ‘ ' 1 p e r c e n t i l e m a l e c r a s h t e s t d u m m i e s , a s w e l l a s a n u m b e r o f a c t u a l h u m a n s u b j e c t s , r a n g i n g f r o m t h e 5 ‘ “ p e r c e n t i l e f e m a l e s t o t h e 9 5 t h p e r c e n t i l e m a l e s . T h e p o s i t i o n s t h a t t h e s e o c c u p a n t t y p e s m a y a s s u m e i n t h e i m a g e c o l l e c t i o n p r o c e s s a r e s u m m a r i z e d i n T a b l e 2 . 2 . 5 4 T a b l e 2 . 2 : T y p i c a l O c c u p a n t P o s i t i o n s f o r D a t a C o l l e c t i o n . S c e n a fl o s 6 Y C ) o n b o o s t e r S m o / O I I C a d u u s e a t f e m a m 1 . S i t t i n g U p r i g h t X X X X 2 . S i t t i n g o n B o o s t e r s K e p t X o v e r 1 " B l a n k e t 3 . N o r m a l B a c k a g a i n s t s e a t X X X X b a c k 4 . B a c k a g a i n s t r e c l i n e d s e a t X X 5 . B a c k n o t a g a i n s t s e a t b a c k X X X 6 . S i t t i n g o n t h e s e a t e d g e X X 7 . S t a n d i n g o n t h e s e a t X f a c i n g f o r w a r d 8 . K n e e l i n g o n t h e s e a t X f a c i n g f o w v a r d 9 . K n e e l i n g o n t h e s e a t X f a c i n g r e a r w a r d 1 0 . L y i n g o n t h e s e a t ( I f X a p p l i c a b l e ) 1 1 . L e a n i n g o n t h e d o o r X X 1 2 . R o t a t e 3 0 D e g r e e s C W X 1 3 . R o t a t e 3 0 D e g r e e s C C W X 1 4 . I n b o a r d X X X 1 5 . O u t b o a r d X X X 1 6 . L e g s I n X 1 7 . S i t t i n g o n a f u l l y r e c l i n e d s e a t S i n c e t h e i m a g e s a r e n e e d e d f o r b o t h t h e t r a i n i n g a n d t e s t i n g o f t h e c l a s s i fi e r , w e f o l l o w t h e b a s i c r u l e o f 1 0 t r a i n i n g s a m p l e s p e r f e a t u r e p e r c l a s s [ 2 7 ] . F o r t h e c h i l d a n d a d u l t c l a s s e s , t h e r e a r e a b o u t 6 0 f e a t u r e s t h a t w i l l b e u s e d f o r t h e p a t t e r n c l a s s i fi c a t i o n ( a f t e r f e a t u r e r e d u c t i o n ) . T h e r e f o r e , a b o u t 6 0 0 i m a g e s a r e t a r g e t e d f o r 5 5 e a c h c l a s s . T h e t o t a l n u m b e r o f i m a g e s t h a t a r e t y p i c a l l y u s e d f o r t r a i n i n g a n d t e s t i n g d a t a s e t s f o r e a c h o c c u p a n t t y p e a r e p r o v i d e d i n T a b l e 2 . 3 . T a b l e 2 . 3 : S u m m a r y o f t h e n u m b e r o f i m a g e s p e r o c c u p a n t c l a s s f o r t h e t r a i n i n g d a t a s e t . O c c u p a n t T y p e C l a s s i f i c a t i o n N u m b e r o f I m a g e s R F I S I n f a n t 1 4 8 5 F F I S I n f a n t 1 1 1 2 C a r b e d I n f a n t 6 0 C h i l d C h i l d 6 2 0 t h . 5 P e r c e n t i l e A d u l t 3 7 8 a d u l t t h - 5 0 - 9 5 p e r c e n t i l e A d u l t 6 0 5 a d u l t s E m p t y S e a t E m p t y 7 2 T o t a l n u m b e r o f 4 3 3 2 I m a g e s : T h e r e a r e t h r e e m e t h o d s w e u s e f o r t e s t i n g t h e a l g o r i t h m s i n t h e s y s t e m : ( i ) c r o s s - v a l i d a t i o n , ( i i ) i n d e p e n d e n t v a l i d a t i o n t e s t d a t a s e t , a n d ( i i i ) l i v e t e s t i n g i n v e h i c l e s . F o r t h e f e a t u r e s e l e c t i o n a l g o r i t h m s w e u s e t h e t r a i n i n g d a t a s e t d e fi n e d i n T a b l e 2 . 3 , a n d w e p e r f o r m a 5 0 / 5 0 c r o s s v a l i d a t i o n w i t h 1 0 i t e r a t i o n s u s i n g r a n d o m i z e d d i v i s i o n s o f t h e d a t a . F o r c l a s s i fi c a t i o n t e s t i n g ( b o t h t h e t r a d i t i o n a l c l a s s i fi e r a n d t h e i n t e g r a t e d s e g r n e n t e r / c l a s s i fi e r ) w e u s e d a n a d d i t i o n a l v a l i d a t i o n t e s t d a t a s e t . T h i s t e s t d a t a s e t w a s c o l l e c t e d b o t h i n i n d o o r a n d i n o u t d o o r c o n d i t i o n s , a n d t h e s u m m a r y o f t h e n u m b e r o f i m a g e s c o l l e c t e d f o r e a c h o c c u p a n t t y p e i s p r o v i d e d i n T a b l e 2 . 4 . F o r t h e l i v e v e h i c l e t e s t i n g w e p l a c e t h e v e h i c l e s b o t h i n d o o r s a n d o u t d o o r s , a n d p e r f o r m b o t h s t a t i o n a r y t e s t i n g ( i n d o o r a n d o u t d o o r ) a s w e l l a s d r i v e 5 6 t e s t i n g ( o u t d o o r o n l y ) . F o r t h e s a k e o f m a n a g i n g t h e c o m p l e x i t y o f t h i s t h e s i s , w e h a v e n o t p r e s e n t e d n i g h t i m a g e t e s t i n g . T a b l e 2 . 4 : S u m m a r y o f t h e n u m b e r o f i m a g e s p e r o c c u p a n t c l a s s f o r t h e v a l i d a t i o n t e s t i n g d a t a s e t . O c c u p a n t T y p e C l a s s i f i c a t i o n N u m b e r o f I m a g e s I n f a n t ( R F I S + F F I S ) I n f a n t 1 8 0 7 C h i l d C h i l d 2 3 6 A d u l t A d u l t 2 1 0 E m p t y S e a t E m p t y 8 T o t a l n u m b e r o f 2 2 6 1 I m a g e s : 2 . 4 R e s u l t s o f O c c u p a n t S e g m e n t a t i o n I n t h i s s e c t i o n w e d e m o n s t r a t e t h e e f f e c t i v e n e s s o f t h e t w o b a c k g r o u n d s u b t r a c t i o n - b a s e d m e t h o d s f o r s e g m e n t i n g t h e o c c u p a n t f r o m t h e v e h i c l e b a c k g r o u n d . R e c a l l , t h e o n l y b a c k g r o u n d s u b t r a c t i o n w a s c o n s i d e r e d f e a s i b l e f o r o u r a p p l i c a t i o n , s i n c e m o r e g e n e r a l m e t h o d s f o r s e g m e n t a t i o n d o n o t a l l o w f o r t h e i n t e g r a t i o n o f t h e c o n t e x t u a l i n f o r m a t i o n a b o u t t h e v e h i c l e . S i n c e t h e o c c u p a n t c a n b e w e a r i n g a n y t y p e o f c l o t h i n g , a n d s i n c e t h e s y s t e m m u s t o p e r a t e i n a l l l i g h t i n g c o n d i t i o n s , o n l y m e t h o d s t h a t e x p l i c i t l y u s e t h e c o n t e x t u a l k n o w l e d g e o f t h e e m p t y v e h i c l e w e r e c o n s i d e r e d . 5 7 2 . 4 . 1 R e s u l t s o f B a c k g r o u n d S u b t r a c t i o n T w o m e t h o d s o f b a c k g r o u n d s u b t r a c t i o n w e r e c o m p a r e d : ( i ) t h e e d g e - b a s e d i m a g e c o r r e l a t i o n , a n d ( i i ) t h e e i g e n - i m a g e s u b t r a c t i o n . W e w i l l c o m p a r e t h e o u t p u t s o f e a c h o f t h e s e m e t h o d s o n a c o m m o n d a t a s e t o f i n d o o r a n d o u t d o o r i m a g e s c o n t a i n i n g a d u l t s , i n f a n t s , a n d c h i l d r e n t o d e t e r m i n e w h i c h m e t h o d i s m o r e e f f e c t i v e . A C o r r e l a t i o n T h e b a c k g r o u n d c o r r e l a t i o n m e t h o d w a s t e s t e d i n o u t d o o r a n d i n d o o r l i g h t i n g c o n d i t i o n s . A n e m p t y r e f e r e n c e i m a g e w a s c o l l e c t e d a n d s t o r e d f o r e a c h o f t h e s e l i g h t i n g c o n d i t i o n s . T h e a l g o r i t h m w a s t e s t e d u s i n g o n l y t h e g r a d i e n t i m a g e c o r r e l a t i o n , s i n c e i t p r o v i d e s a d d i t i o n a l r o b u s t n e s s t o l i g h t i n g v a r i a t i o n s o v e r g r a y s c a l e c o r r e l a t i o n s . E x a m p l e i m a g e s f o r t h e s e l i g h t i n g c o n d i t i o n s w e r e p r o c e s s e d u s i n g b o t h t h e a m p l i t u d e e d g e i n f o r m a t i o n a n d t h e v e c t o r e d g e i n f o r m a t i o n . T h e r e s u l t s a r e p r e s e n t e d i n F i g u r e 2 . 1 1 t h r o u g h F i g u r e 2 . 2 2 . I n t h e s e r e s u l t s w e s e e t h a t t h e g r a d i e n t v e c t o r c o r r e l a t i o n o u t p e r f o r m s t h e g r a d i e n t a m p l i t u d e c o r r e l a t i o n . T h i s i s p r i m a r i l y d u e t o t h e f a c t t h a t t h e v e c t o r c o r r e l a t i o n p r o v i d e s b e t t e r d i f f e r e n t i a t i o n b e t w e e n f o r e g r o u n d a n d b a c k g r o u n d , a s c a n b e s e e n i n t h e h i s t o g r a m s a n d c u m u l a t i v e d i s t r i b u t i o n f u n c t i o n s ( C D F s ) s h o w n f o r e a c h o f t h e e x a m p l e i m a g e s . I n a l l c a s e s , t h e h i s t o g r a m s f o r t h e e d g e v e c t o r c o r r e l a t i o n s s h o w r e l a t i v e l y c l e a r r e g i o n s w h e r e t h e f o r e g r o u n d a n d b a c k g r o u n d m a y b e s e g m e n t e d . I n o t h e r w o r d s , f o r t h e e d g e v e c t o r c o r r e l a t i o n i m a g e t h e r e s u l t a n t h i s t o g r a m i s b i - m o d a l , w h i l e f o r t h e e d g e a m p l i t u d e c o r r e l a t i o n i m a g e t h e h i s t o g r a m 5 8 i s u n i - m o d a l . T h e c o n s i s t e n c y o f t h e r e s u l t s f o r t h e e d g e v e c t o r c o r r e l a t i o n s h o w s t h a t i t i s t h e p r e f e r r e d a p p r o a c h f o r t h e a i r b a g s u p p r e s s i o n a p p l i c a t i o n . ( C ) F i g u r e 2 . 1 1 : R e s u l t s o f c o r r e l a t i o n b a s e d b a c k g r o u n d r e m o v a l f o r a n o u t d o o r a d u l t i m a g e , ( a ) o r i g i n a l i m a g e , ( b ) h a n d s e g m e n t e d i m a g e , ( c ) e d g e a m p l i t u d e i m a g e , a n d ( d ) e d g e v e c t o r i m a g e . 5 9 > ~ . E ‘ a 0 0 I : a 5 ' 8 l - : M A . . . : . I . i . 0 1 2 5 2 5 5 0 1 2 5 2 5 5 G r a y s c a l e G r a y s c a l e ( * 0 ( b ) 1 ' ' ' l ' ' 0 . . . . . 0 . . . . n 0 1 2 5 2 5 5 0 1 2 5 2 5 5 G r a y s c a l e G r a y s c a l e ( C ) ( ( 0 F i g u r e 2 . 1 2 : R e s u l t a n t e d g e h i s t o g r a m a n d C D F f o r F i g u r e 2 . 1 1 , ( a ) h i s t o g r a m o f e d g e a m p l i t u d e i m a g e , ( b ) h i s t o g r a m o f e d g e v e c t o r i m a g e , ( c ) C D F o f e d g e a m p l i t u d e i m a g e , a n d ( d ) C D F o f e d g e v e c t o r i m a g e . 6 0 - 1 - l 0 1 2 5 2 5 5 0 1 2 5 2 5 5 G r a y s c a l e G r a y s c a l e ( a ) ( b ) ( C ) F i g u r e 2 . 1 3 : T h r e s h o l d c a l c u l a t i o n a n d r e s u l t a n t s e g m e n t a t i o n f o r F i g u r e 2 . 1 1 , ( a ) e d g e a m p l i t u d e t h r e s h o l d c a l c u l a t i o n , ( b ) e d g e v e c t o r t h r e s h o l d c a l c u l a t i o n , ( c ) e d g e a m p l i t u d e s e g m e n t a t i o n , a n d ( d ) e d g e v e c t o r s e g m e n t a t i o n . F i g u r e 2 . 1 4 : R e s u l t s o f c o r r e l a t i o n b a s e d b a c k g r o u n d r e m o v a l f o r a n o u t d o o r i n f a n t i m a g e , ( a ) o r i g i n a l i m a g e , ( b ) h a n d s e g m e n t e d i m a g e , ( c ) e d g e a m p l i t u d e i m a g e , a n d ( d ) e d g e v e c t o r i m a g e . 6 1 y c n e u q e r F 0 1 2 5 2 5 5 G r a y s c a l e 1 3 ) . . 0 . . - . . 0 1 2 5 2 5 5 G r a y s c a l e ( C ) F r e q u e n c y 1 2 5 G r a y s c a l e ( b ) 2 5 5 # P 1 2 5 G r a y s c a l e ( d ) 2 5 5 F i g u r e 2 . 1 5 : R e s u l t a n t e d g e h i s t o g r a m a n d C D F f o r F i g u r e 2 . 1 4 , ( a ) h i s t o g r a m o f e d g e a m p l i t u d e i m a g e , ( b ) h i s t o g r a m o f e d g e v e c t o r i m a g e , ( c ) C D F o f e d g e a m p l i t u d e i m a g e , a n d ( d ) C D F o f e d g e v e c t o r i m a g e . 6 2 0 1 2 5 2 5 5 0 1 2 5 2 5 5 G r a y s c a l e G r a y s c a l e F i g u r e 2 . 1 6 : T h r e s h o l d c a l c u l a t i o n a n d r e s u l t a n t s e g m e n t a t i o n f o r F i g u r e 2 . 1 4 , ( a ) e d g e a m p l i t u d e t h r e s h o l d c a l c u l a t i o n , ( b ) e d g e v e c t o r t h r e s h o l d c a l c u l a t i o n , ( c ) e d g e a m p l i t u d e s e g m e n t a t i o n , a n d ( d ) e d g e v e c t o r s e g m e n t a t i o n . ( C ) F i g u r e 2 . 1 7 : R e s u l t s o f c o r r e l a t i o n b a s e d b a c k g r o u n d r e m o v a l f o r a n i n d o o r a d u l t i m a g e , ( a ) o r i g i n a l i m a g e , ( b ) h a n d s e g m e n t e d i m a g e , ( c ) e d g e a m p l i t u d e i m a g e , a n d ( d ) e d g e v e c t o r i m a g e . 6 3 f > . > s . 0 O I : I : o 0 ‘ = I : : I . g g M W { 3 , ‘ I n , . . . . M m i . L A . P A A A ; L 0 1 2 5 2 5 5 0 1 2 5 2 5 5 G r a y s c a l e G r a y s c a l e ( a ) ( b ) 1 ' ' 1 ' ' l o 0 0 1 2 5 2 5 5 0 1 2 5 2 5 5 G r a y s c a l e G r a y s c a l e ( c ) ( d ) F i g u r e 2 . 1 8 : R e s u l t a n t e d g e h i s t o g r a m a n d C D F f o r F i g u r e 2 . 1 7 , ( a ) h i s t o g r a m o f e d g e a m p l i t u d e i m a g e , ( b ) h i s t o g r a m o f e d g e V e c t o r i m a g e , ( c ) C D F o f e d g e a m p l i t u d e i m a g e , a n d ( d ) C D F o f e d g e v e c t o r i m a g e . 0 1 2 5 2 5 5 0 1 2 5 2 5 5 G r a y s c a l e G r a y s c a l e ( a ) ( C ) F i g u r e 2 . 1 9 : T h r e s h o l d c a l c u l a t i o n a n d r e s u l t a n t s e g m e n t a t i o n f o r F i g u r e 2 . 1 7 , ( a ) e d g e a m p l i t u d e t h r e s h o l d c a l c u l a t i o n , ( b ) e d g e v e c t o r t h r e s h o l d c a l c u l a t i o n , ( c ) e d g e a m p l i t u d e s e g m e n t a t i o n , a n d ( d ) e d g e v e c t o r s e g m e n t a t i o n . ( C ) F i g u r e 2 . 2 0 : R e s u l t s o f c o r r e l a t i o n b a s e d b a c k g r o u n d r e m o v a l f o r a n i n d o o r i n f a n t i m a g e , ( a ) o r i g i n a l i m a g e , ( b ) h a n d s e g m e n t e d i m a g e , ( c ) e d g e a m p l i t u d e i m a g e , a n d ( d ) e d g e v e c t o r i m a g e . 6 5 a " e I : I : . o q o = : I g M g I n ‘ I n 0 1 2 5 2 5 5 0 1 2 5 2 5 5 G r a y s c a l e G r a y s c a l e ( a ) ( b ) 1 . . . 1 . . - 0 A L n . . 0 - . - . l 1 0 1 2 5 2 5 5 0 1 2 5 2 5 5 G r a y s c a l e G r a y s c a l e ( C ) ( d ) F i g u r e 2 . 2 1 : R e s u l t a n t e d g e h i s t o g r a m a n d C D F f o r F i g u r e 2 . 2 0 , ( a ) h i s t o g r a m o f e d g e a m p l i t u d e i m a g e , ( b ) h i s t o g r a m o f e d g e v e c t o r i m a g e , ( c ) C D F o f e d g e a m p l i t u d e i m a g e , a n d ( d ) C D F o f e d g e v e c t o r i m a g e . 6 6 0 1 2 5 2 5 5 0 1 2 5 2 5 5 G r a y s c a l e G r a y s c a l e F i g u r e 2 . 2 2 : T h r e s h o l d c a l c u l a t i o n a n d r e s u l t a n t s e g m e n t a t i o n f o r F i g u r e 2 . 1 7 , ( a ) e d g e a m p l i t u d e t h r e s h o l d c a l c u l a t i o n , ( b ) e d g e v e c t o r t h r e s h o l d c a l c u l a t i o n , ( c ) e d g e a m p l i t u d e s e g m e n t a t i o n , a n d ( d ) e d g e v e c t o r s e g m e n t a t i o n . B E i g e n - i m a g e F o r t h e e i g e n - b a c k g r o u n d p r o c e s s i n g , w e g e n e r a t e t h e b a c k g r o u n d e i g e n i m a g e u s i n g 7 7 2 i m a g e s c o l l e c t e d i n t h e v e h i c l e w i t h t h e s e a t r e m o v e d , w h i l e t h e v e h i c l e w a s b e i n g d r i v e n o u t s i d e a r o u n d a c l u t t e r e d p a r k i n g l o t . T h i s d r i v i n g r o u t e p r o v i d e d u s w i t h i m a g e s w h e r e o t h e r v e h i c l e s a n d b a c k g r o u n d c l u t t e r w e r e v i s i b l e t h r o u g h t h e w i n d o w , a s w e l l a s i m a g e s w h e r e t h e r e w a s n o b a c k g r o u n d c l u t t e r . A l s o t h e t r a i n i n g d a t a w a s t a k e n o n a v e r y b r i g h t s u n n y d a y t o e n s u r e w e c a p t u r e d a d e q u a t e i l l u m i n a t i o n v a r i a t i o n a c r o s s t h e i m a g e s . S o m e e x a m p l e s o f t h e s e i m a g e s a r e s h o w n i n F i g u r e 2 . 2 3 . U s i n g t h i s t r a i n i n g s e t , t h e e i g e n v a l u e s f o r t h e b a c k g r o u n d i m a g e t r a n s f o r m c a n b e f o u n d i n F i g u r e 2 . 2 4 . 6 7 F i g u r e 2 . 2 3 : S a m p l e s f r o m t h e i m a g e s e q u e n c e u s e d f o r e i g e n - i m a g e t r a i n i n g , ( a ) b r i g h t i l l u m i n a t i o n a c r o s s r e a r s e a t , ( b ) b r i g h t i l l u m i n a t i o n o n d o o r a n d t r e e s i n b a c k g r o u n d , ( c ) b r i g h t i l l u m i n a t i o n o n d a s h a n d v e h i c l e o u t s i d e w i n d o w , a n d ( d ) b r i g h t i l l u m i n a t i o n o n d a s h a n d p a r t s o f d o o r a n d v e h i c l e o u t s i d e w i n d o w . I n F i g u r e 2 . 2 5 w e d e m o n s t r a t e t h e a p p l i c a t i o n o f t h e e i g e n - i m a g e b a c k g r o u n d s u b t r a c t i o n o n o n e o f t h e i n p u t t r a i n i n g i m a g e s . N o t e t h e d i f f e r e n c e i m a g e s h o w s t h e i l l u m i n a t i o n h i g h l i g h t o n t h e d o o r h a n d l e . F i g u r e 2 . 2 6 t h r o u g h F i g u r e 2 . 2 9 s h o w t h e r e s u l t s f o r t h e e i g e n - i m a g e s u b t r a c t i o n o n t h e s a m e e x a m p l e i m a g e s u s e d f o r t h e c o r r e l a t i o n p r o c e s s i n g t e s t i n g . T h e r e s u l t s s h o w n i n t h e s e fi g u r e s d e m o n s t r a t e s o m e o f t h e i s s u e s w i t h u s i n g t h e e i g e n - i m a g e b a c k g r o u n d s u b t r a c t i o n . 6 8 ) e u l a v n e g i e ( g o L l E l 2 0 4 0 6 0 B O 1 0 0 1 2 0 1 4 0 1 5 0 1 8 0 S o r t e d E i g e n - v a l u e N u m b e r 0 l l l I 1 F i g u r e 2 . 2 4 : P l o t o f t h e l o g - a m p l i t u d e v e r s u s e i g e n v a l u e n u m b e r f o r t h e t o p 1 8 0 e i g e n v a l u e s . T h e fi r s t a r t i f a c t i n t h e e i g e n - i m a g e s u b t r a c t i o n t h a t w e n o t e i s t h a t i n a l l t h e a d u l t i m a g e s , t h e h e a d s o f t h e o c c u p a n t s g e n e r a l l y a r e n o t r e t a i n e d i n t h e s e g m e n t a t i o n s . T h i s i s p r o b a b l y d u e t o t h e f a c t t h a t t h e a m p l i t u d e s o f t h e o c c u p a n t s ’ h e a d s a n d h a i r w e r e t o o c l o s e i n a m p l i t u d e t o t h e a m p l i t u d e o f t h e i n t e r i o r o f t h e v e h i c l e . I t m a y a l s o h a v e b e e n d u e t o t h e f a c t t h a t t h e o c c u p a n t ’ s h e a d a p p e a r s i n t h e s a m e a r e a a s t h e w i n d o w , a n d t h i s r e g i o n e x p e r i e n c e s t h e g r e a t e s t v a r i a t i o n s i n a m p l i t u d e d u e t o t h e v a r i a b l e b a c k g r o u n d c l u t t e r . A 1 3 0 n o t e t h a t i n a l l t h e o u t p u t i m a g e s , a l a r g e a m o u n t o f t h e r o o fl i n e i s p r e s e r v e d . N o t i c e i n t h e i n d o o r i m a g e s , a n o t h e r a r t i f a c t i s t h a t t h e r o o f - l i n e r i s r e t a i n e d . R e c a l l , t h a t w e o n l y u s e d a n o u t d o o r t r a i n i n g s e t s i n c e i t i s d i f f i c u l t t o g e t a v a r i a b l e b a c k g r o u n d s e q u e n c e i n d o o r s . I n t h e i n d o o r i m a g e s , t h e i l l u m i n a t o r s a r e p l a y i n g a l a r g e r o l e i n p r o v i d i n g t h e l i g h t i n t h e i m a g e . T h e r e i s c o n s i d e r a b l e i l l u m i n a t i o n o f 6 9 t h e r o o f - l i n e r d u e t o t h e p l a c e m e n t o f t h e s y s t e m i n t h e v e h i c l e . I n t h e o u t d o o r i m a g e s , t h e n a t u r a l s u n l i g h t f a r e x c e e d s t h e l e v e l s o f t h e i l l u m i n a t o r s a n d t h e r e f o r e t h e r o o f - l i n e r i s d a r k e r r e l a t i v e t o t h e r e s t o f t h e v e h i c l e c a b i n . T h i s r e g i o n i s e a s y t o r e m o v e f r o m t h e i m a g e s , a n d t h e r e f o r e i s n o t a s s i g n i fi c a n t c o n c e r n a s t h e i s s u e r e g a r d i n g t h e o c c u p a n t ’ s h e a d b e i n g c o n s i s t e n t l y r e m o v e d . F i g u r e 2 . 2 5 : E x a m p l e o f a t r a i n i n g i m a g e b e i n g p r o c e s s e d t h r o u g h e i g e n - i m a g e b a c k g r o u n d r e m o v a l , ( a ) i n c o m i n g i m a g e r e d u c e d t o 5 0 x 7 0 , ( b ) t r a n s f o r m e d i n t o b a c k g r o u n d d o m a i n , a n d ( c ) r e s u l t a n t d i f f e r e n c e i m a g e . A n o t h e r a r t i f a c t i n t h e e i g e n — i m a g e s e g r n e n t a t i o n i s t h a t r e g i o n s a r o u n d t h e i n s t r u m e n t p a n e l a n d t h e A a n d B - p i l l a r s o f t h e v e h i c l e a r e a l s o r e g u l m e c a p t u r e d i n t h e s e g m e n t e d i m a g e . T h i s i s p o s s i b l y b e c a u s e t h e s e r e g i o n s a r e v e r y s u s c e p t i b l e t o i l l u m i n a t i o n c h a n g e , a n d t h e t r a i n i n g s e t d i d n o t c o m p l e t e l y c a p t u r e t h e c h a n g e s e v e n w i t h t h e t h o r o u g h d a t a c o l l e c t i o n t h a t w a s p e r f o r m e d . 7 0 F r e q u e n c y - 2 5 5 D i f f e r e n c e V a l u e F i g u r e 2 . 2 6 : E i g e n - i m a g e r e s u l t s f o r o u t d o o r a d u l t i m a g e i n F i g u r e 2 . l l , ( a ) i n p u t i m a g e r e d u c e d t o 5 0 x 7 0 , ( b ) t r a n s f o r m e d i m a g e , ( c ) d i f f e r e n c e i m a g e , ( d ) h i s t o g r a m o f d i f f e r e n c e i m a g e , a n d ( e ) t h r e s h o l d e d o u t p u t i m a g e . 7 1 y c n e u q e r F - 2 5 5 ( C ) F i g u r e 2 . 2 7 : E i g e n - i m a g e r e s u l t s f o r o u t d o o r i n f a n t i m a g e i n F i g u r e 2 . 1 4 , ( a ) i n p u t i m a g e r e d u c e d t o 5 0 x 7 0 , ( b ) t r a n s f o r m e d i m a g e , ( c ) d i f f e r e n c e i m a g e , ( d ) h i s t o g r a m o f d i f f e r e n c e i m a g e , a n d ( e ) t h r e s h o l d e d o u t p u t i m a g e . 7 2 F r e q u e n c y 0 D i f f e r e n c e V a l u e F i g u r e 2 . 2 8 : E i g e n - i m a g e r e s u l t s f o r i n d o o r a d u l t i m a g e i n F i g u r e 2 . 1 7 , ( a ) i n p u t i m a g e r e d u c e d t o 5 0 X 7 0 , ( b ) t r a n s f o r m e d i m a g e , ( c ) d i f f e r e n c e i m a g e , ( d ) h i s t o g r a m o f d i f f e r e n c e i m a g e , a n d ( e ) t h r e s h o l d e d o u t p u t i m a g e . 7 3 D i f f e r e n c e V a l u e ( C ) F i g u r e 2 . 2 9 : E i g e n - i m a g e r e s u l t s f o r i n d o o r i n f a n t i m a g e i n F i g u r e 2 . 2 0 , ( a ) i n p u t i m a g e r e d u c e d t o 5 0 x 7 0 , ( b ) t r a n s f o r m e d i m a g e , ( c ) d i f f e r e n c e i m a g e , ( d ) h i s t o g r a m o f d i f f e r e n c e i m a g e , a n d ( e ) t h r e s h o l d e d o u t p u t i m a g e . 7 4 P o s s i b l e e r r o r s o u r c e s f o r e a c h o f t h e a f o r e m e n t i o n e d a r t i f a c t s h a v e b e e n i d e n t i fi e d . O n e p o s s i b l e s y s t e m i c s o u r c e o f e r r o r i n t h e e i g e n - i m a g e s e g m e n t a t i o n m a y b e d u e t o t h e l o w i m a g e r e s o l u t i o n r e q u i r e d t o s u p p o r t t h e r e a l - t i m e e i g e n - b a c k g r o u n d p r o c e s s i n g . T h e i m a g e s m u s t b e r e d u c e d t o 5 0 x 7 0 p i x e l s r e s o l u t i o n f r o m t h e i n c o m i n g 4 0 0 x 3 2 0 i n o r d e r t o b e p r o c e s s e d d u e t o m e m o r y l i m i t a t i o n s . T h i s i s b e c a u s e t h e c o r r e l a t i o n m a t r i x t h a t i s u s e d t o g e n e r a t e t h e e i g e n v a l u e s i s ( N x M ) x ( N x M ) , w h e r e N a n d M a r e t h e n u m b e r o f r o w s a n d c o l u m n s i n t h e i m a g e , r e s p e c t i v e l y . T h i s d r a m a t i c r e d u c t i o n m a y b e t h e s o u r c e o f t h e s t a i r - s t e p p i n g e f f e c t s s e e n a l o n g t h e d a s h b o a r d a n d t h e A a n d B - p i l l a r s . A n o t h e r s y s t e m i c s o u r c e o f e r r o r i n u s i n g t h e e i g e n - i m a g e b a c k g r o u n d s u b t r a c t i o n i s t h e d i f fi c u l t y ' i n e s t a b l i s h i n g a t h r e s h o l d f o r t h e d i f f e r e n c e i m a g e s . A s c a n b e s e e n i n s u b - f r a m e ( c ) i n F i g u r e 2 . 2 6 t h r o u g h F i g u r e 2 . 2 8 , t h e h i s t o g r a m i s t w o - s i d e d S i n c e t h e d i f f e r e n c e i m a g e c a n v a r y i n a m p l i t u d e f r o m — 2 5 5 t o + 2 5 5 . T h i s c r e a t e s a c o m p l i c a t e d t h r e s h o l d d e c i s i o n . W e fi r s t p r o c e s s t h e d i f f e r e n c e i m a g e t o c e n t e r t h e m o d e o f t h e h i s t o g r a m a b o u t z e r o - a m p l i t u d e , t h e n w e t a k e t h e a b s o l u t e v a l u e o f t h e i m a g e . T h i s c h a n g e s t h e h i s t o g r a m a s s h o w n i n F i g u r e 2 . 3 0 , w h i c h r e s u l t s i n a f a i r l y s m o o t h C D F a s s h o w n i n F i g u r e 2 . 3 0 ( c ) . T h i s i s t h e s a m e p r o b l e m w e e x p e r i e n c e d i n t h e c o r r e l a t i o n p r o c e s s i n g w h e n o n l y t h e e d g e a m p l i t u d e i n f o r m a t i o n w a s u s e d i n t h e c o r r e l a t i o n b a s e d p r o c e s s i n g , w h e r e a d e q u a t e i n f o r m a t i o n w a s n o t a v a i l a b l e t o d i f f e r e n t i a t e t h e b a c k g r o u n d f r o m t h e f o r e g r o u n d . 7 5 3 ‘ 5 ‘ 8 8 a = E E I I I i n - 2 5 5 0 2 5 5 0 2 5 5 D i f f e r e n c e V a l u e A b s D i f f e r e n c e V a l u e ( a ) ( b ) l . . - 0 . L . . 0 2 5 5 A b s D i f f e r e n c e V a l u e . ( C ) F i g u r e 2 . 3 0 : D e m o n s t r a t i o n o f m o d i fi c a t i o n o f h i s t o g r a m t o f o r m a s i n g l e s i d e d d e c i s i o n fi i n c t i o n , ( a ) i n c o m i n g h i s t o g r a m f o r o u t d o o r i n f a n t i m a g e i n F i g u r e 2 . 2 7 , ( b ) r e s u l t a n t l - s i d e d h i s t o g r a m a fi e r s h i f t a n d a b s o l u t e v a l u e o f t h e i m a g e g r a y s c a l e s , a n d ( c ) C D F o f t h e l - s i d e d h i s t o g r a m . 2 . 4 . 2 R e s u l t s o f I m a g e E n h a n c e m e n t I n t h e f o l l o w i n g fi g u r e s , t h e o u t p u t s f r o m t h e e d g e c o r r e l a t i o n p r o c e s s i n g a r e u s e d t o d e m o n s t r a t e t h e p e r f o r m a n c e o f t h e i m a g e e n h a n c e m e n t p r o c e s s i n g . T h e i m a g e s a r e p r o c e s s e d u s i n g m a t h e m a t i c a l m o r p h o l o g y a n d t h e w a t e r s h e d a l g o r i t h m t o d e m o n s t r a t e t h e r e l a t i v e m e r i t s o f e a c h a p p r o a c h . T h e h a n d - s e g m e n t e d i m a g e s a r e p r o v i d e d t o a l l o w t h e r e a d e r t o q u i c k l y s e e t h e p e r f o r m a n c e o f t h e a l g o r i t h m s . 7 6 R e c a l l t h e r e w e r e t w o a s p e c t s o f i m a g e e n h a n c e m e n t p r o c e s s i n g : ( i ) h o l e - fi l l i n g u s i n g m o r p h O I O g y , a n d ( i i ) a d d i t i o n a l b a c k g r o u n d r e m o v a l u s i n g w a t e r s h e d p r o c e s s i n g . A M a t h e m a t i c a l M o r p h o l o g y T h e r e s u l t s o f t h e m o r p h o l o g y b a s e d h o l e fi l l i n g c a n b e s e e n i n F i g u r e 2 . 3 1 t h r o u g h F i g u r e 2 . 3 4 . I n e a c h o f t h e s e fi g u r e s , t h e i n p u t t o t h e m o r p h o l o g y p r o c e s s i n g i s s h o w n i n s u b - fi g u r e s ( a ) a n d ( b ) w h i c h p r o v i d e t h e b i n a r y a n d g r a y s c a l e o u t p u t s f r o m t h e e d g e - v e c t o r c o r r e l a t i o n p r o c e s s i n g . T h e o u t p u t o f t h e m o r p h o l o g y p r o c e s s i n g i s l i k e w i s e s h o w n i n s u b - fi g u r e s ( c ) a n d ( d ) w h i c h p r o v i d e t h e b i n a r y a n d g r a y s c a l e r e s u l t a n t i m a g e s . ( C ) F i g u r e 2 . 3 1 : A p p l i c a t i o n o f m o r p h o l o g y f o r h o l e fi l l i n g f o r i m a g e f r o m F i g u r e 2 . 1 1 , ( a ) b i n a r y s e g m e n t a t i o n a f t e r c o r r e l a t i o n p r o c e s s i n g , ( b ) g r a y s c a l e s e g m e n t a t i o n a fi e r c o r r e l a t i o n p r o c e s s i n g , ( c ) b i n a r y s e g m e n t a t i o n a f t e r h o l e f i l l i n g , a n d ( d ) g r a y s c a l e s e g m e n t a t i o n a f t e r h o l e fi l l i n g . 7 7 ( C ) F i g u r e 2 . 3 2 : A p p l i c a t i o n o f m o r p h o l o g y f o r h o l e fi l l i n g f o r i m a g e f r o m F i g u r e 2 . 1 4 , ( a ) b i n a r y s e g m e n t a t i o n a f t e r c o r r e l a t i o n p r o c e s s i n g , ( b ) g r a y s c a l e s e g m e n t a t i o n a f ’ t e r c o r r e l a t i o n p r o c e s s i n g , ( c ) b i n a r y s e g m e n t a t i o n a f t e r h o l e fi l l i n g , a n d ( d ) _ g r a y s c a l e s e g m e n t a t i o n a fi e r h o l e fi l l i n g . ( C ) ( ( 1 ) F i g u r e 2 . 3 3 : A p p l i c a t i o n o f m o r p h o l o g y f o r h o l e fi l l i n g f o r i m a g e f r o m F i g u r e 2 . 1 7 , ( a ) b i n a r y s e g m e n t a t i o n a f t e r c o r r e l a t i o n p r o c e s s i n g , ( b ) g r a y s c a l e s e g m e n t a t i o n a fl e r c o r r e l a t i o n p r o c e s s i n g , ( c ) b i n a r y s e g m e n t a t i o n a fi e r h o l e fi l l i n g , a n d ( d ) g r a y s c a l e s e g m e n t a t i o n a f t e r h o l e fi l l i n g . 7 8 ( C ) ( d ) F i g u r e 2 . 3 4 : A p p l i c a t i o n o f m o r p h o l o g y f o r h o l e fi l l i n g f o r i m a g e f r o m F i g u r e 2 . 2 0 , ( a ) b i n a r y s e g m e n t a t i o n a f t e r c o r r e l a t i o n p r o c e s s i n g , ( b ) g r a y s c a l e s e g m e n t a t i o n a fi e r c o r r e l a t i o n p r o c e s s i n g , ( 0 ) b i n a r y s e g m e n t a t i o n . a f t e r h o l e fi l l i n g , a n d ( d ) g r a y s c a l e s e g m e n t a t i o n a f ’ t e r h o l e fi l l i n g . N o t e i n a l l t h e o u t p u t i m a g e s s h o w n a b o v e , t h e s m a l l i n t e r n a l h o l e s a r e s u c c e s s f u l l y fi l l e d , a n d , i n m a n y o f t h e i m a g e s , s m a l l i r r e g u l a r e d g e r e g i o n s a r e a l s o s m o o t h e d . A d d i t i o n a l l y , t h e r e i s n o u n w a n t e d j o i n i n g o f s m a l l e r r e g i o n s , a n d t h e r e a r e n o r e s u l t a n t i m a g e s w h e r e t h e o u t p u t s e g m e n t a t i o n i s w o r s e t h a n t h e i n p u t s e g m e n t a t i o n . B W a t e r s h e d T h e r e s u l t s o f t h e w a t e r s h e d p r o c e s s i n g c a n b e s e e n i n F i g u r e 2 . 3 5 t h r o u g h F i g u r e 2 . 3 8 . I n t h e s e fi g u r e s , s u b - fi g u r e ( a ) s h o w s t h e d e s i r e d o u t p u t o f t h e s e g m e n t a t i o n , n a m e l y t h e h a n d - s e g m e n t e d i m a g e . S u b - fi g u r e ( b ) s h o w s t h e i n p u t t o 7 9 t h e w a t e r s h e d p r o c e s s i n g , w h i c h i s t h e o u t p u t o f t h e m o r p h o l o g y - b a s e d h o l e - fi l l i n g a l g o r i t h m . S u b - fi g u r e ( c ) s h o w s t h e g e n e r a t i o n o f t h e i n n e r a n d o u t e r m a r k e r s t h a t a r e u s e d b y t h e w a t e r s h e d p r o c e s s i n g , a n d s u b - fi g u r e ( ( 1 ) s h o w s t h e o u t p u t o f t h e w a t e r s h e d p r o c e s s i n g . R e c a l l , t h e o b j e c t i v e o f t h e w a t e r s h e d a l g o r i t h m i s t o r e m o v e a s m a n y e x t r a n e o u s b a c k g r o u n d p i x e l s a s p o s s i b l e p r i o r t o f e a t u r e e x t r a c t i o n . C o n s e q u e n t l y , t h e o u t p u t o f t h e a l g o r i t h m i n s u b - fi g u r e ( ( 1 ) S h o u l d c l o s e l y r e s e m b l e t h e h a n d - s e g m e n t e d i m a g e i n s u b - fi g u r e ( a ) . F i g u r e 2 . 3 5 : T h r e s h o l d c a l c u l a t i o n a n d r e s u l t a n t s e g m e n t a t i o n f o r F i g u r e 2 . 1 1 , ( a ) e d g e a m p l i t u d e t h r e s h o l d c a l c u l a t i o n , ( b ) e d g e v e c t o r t h r e s h o l d c a l c u l a t i o n , ( c ) e d g e a m p l i t u d e s e g m e n t a t i o n , a n d ( d ) e d g e v e c t o r s e g m e n t a t i o n . T h e r e a r e a f e w n o t i c e a b l e a n o m a l o u s r e s u l t s t h a t t h e r e a d e r c a n d i s c e r n i n F i g u r e 2 . 3 5 ( ( 1 ) t h r o u g h F i g u r e 2 . 3 8 ( ( 1 ) . N o t i c e t h a t i n t h e a d u l t fi g u r e s , t h e t o p o f t h e h e a d i s o f t e n r e m o v e d i n t h e p r o c e s s i n g . T h i s i s b e c a u s e t h e h a i r i s o fi e n r e l a t i v e l y 8 0 d a r k i n c o m p a r i s o n t o t h e r e s t o f t h e o c c u p a n t . T h i s c a u s e s t h e h a i r t o b e v e r y c l o s e i n a m p l i t u d e t o t h e b a c k g r o u n d , a n d c o n s e q u e n t l y c a u s e s t h e h a i r t o b e r e m o v e d . T h i s i s n o t a p r o b l e m f o r l i g h t e r h a i r e d p e o p l e a s s h o w n i n F i g u r e 2 . 3 7 . B u t t h i s i s a c o n c e r n o v e r a l l s i n c e t h e s y s t e m m u s t w o r k f o r a l l o c c u p a n t t y p e s . A fi n a l a r t i f a c t o f t h e w a t e r s h e d i s t h a t t h e s e a t b a c k i s g e n e r a l l y p r e s e r v e d i n t h e i n f a n t s e a t c a s e s . T h i s i s b e c a u s e t h e s e a t b a c k i s u s u a l l y b r i g h t e r t h a n t h e r e m a i n i n g b a c k g r o u n d . F i g u r e 2 . 3 6 : T h r e s h o l d c a l c u l a t i o n a n d r e s u l t a n t s e g m e n t a t i o n f o r F i g u r e 2 . 1 4 , ( a ) e d g e a m p l i t u d e t h r e s h o l d c a l c u l a t i o n , ( b ) e d g e v e c t o r t h r e s h o l d c a l c u l a t i o n , ( c ) e d g e a m p l i t u d e s e g m e n t a t i o n , a n d ( d ) e d g e v e c t o r s e g m e n t a t i o n . 8 1 F i g u r e 2 . 3 7 : T h r e s h o l d c a l c u l a t i o n a n d r e s u l t a n t s e g m e n t a t i o n f o r F i g u r e 2 . 1 7 , ( a ) e d g e a m p l i t u d e t h r e s h o l d c a l c u l a t i o n , ( b ) e d g e v e c t o r t h r e s h o l d c a l c u l a t i o n , ( c ) e d g e a m p l i t u d e s e g m e n t a t i o n , a n d ( d ) e d g e v e c t o r s e g m e n t a t i o n . F i g u r e 2 . 3 8 : T h r e s h o l d c a l c u l a t i o n a n d r e s u l t a n t s e g m e n t a t i o n f o r F i g u r e 2 . 2 0 , ( a ) e d g e a m p l i t u d e t h r e s h o l d c a l c u l a t i o n , ( b ) e d g e v e c t o r t h r e s h o l d c a l c u l a t i o n , ( 0 ) e d g e a m p l i t u d e s e g m e n t a t i o n , a n d ( d ) e d g e v e c t o r s e g m e n t a t i o n . 8 2 2 . 5 S u m m a r y W e h a v e p r e s e n t e d s e v e r a l a p p r o a c h e s f o r p e r f o r m i n g t h e s e g m e n t a t i o n o f t h e o c c u p a n t f r o m t h e i m a g e p r i o r t o c l a s s i fi c a t i o n . S i n c e e x t e n s i v e p r i o r k n o w l e d g e o f t h e i n t e r i o r o f t h e v e h i c l e i s a v a i l a b l e , b a c k g r o u n d s u b t r a c t i o n w a s u s e d f o r s e g m e n t a t i o n . T w o m e t h o d s w e r e t e s t e d a s p o t e n t i a l c a n d i d a t e s : ( i ) a l o c a l m e t h o d o f b a c k g r o u n d c r o s s - c o r r e l a t i o n , a n d ( i i ) a g l o b a l m e t h o d o f e i g e n - i m a g e s u b t r a c t i o n . W e h a v e S h o w n t h e r e s u l t s o f e a c h o f t h e s e m e t h o d s , a n d d e m o n s t r a t e d t h a t t h e b a c k g r o u n d c r o s s - c o r r e l a t i o n m e t h o d h a s s u p e r i o r p e r f o r m a n c e . W e b e l i e v e t h i s i s d u e t o t h e f a c t t h a t t h e m o s t c h a l l e n g i n g i m a g e - t o - i m a g e v a r i a t i o n s f o r o u r a u t o m o t i v e a p p l i c a t i o n i n v o l v e l o c a l i n t e n s i t y v a r i a t i o n s d u e t o i l l u m i n a t i o n h i g h l i g h t s a n d s h a d o w s . S i n c e t h e b a c k g r o u n d c r o s s - c o r r e l a t i o n m e t h o d r e l i e s O n l o c a l c o r r e l a t i o n c o m p a r i s o n s o v e r s m a l l w i n d o w s i z e s , i t i s i n h e r e n t l y m o r e i m m u n e t o t h e s e e f f e c t s t h a n t h e g l o b a l e i g e n - i m a g e s u b t r a c t i o n . A s w a s s h o w n i n t h e e x a m p l e o u t p u t i m a g e s , t h e e i g e n - i m a g e s u b t r a c t i o n p e r f o r m e d w e l l o n i m a g e s c o l l e c t e d a t t h e s a m e t i m e a s t h e r e f e r e n c e b a c k g r o u n d , b u t p e r f o r m e d p o o r l y o n i m a g e r y c o l l e c t e d a t c o n s i d e r a b l y d i f f e r e n t t i m e s , a n d u n d e r s l i g h t l y d i f f e r e n t 1 i g h t i n g c o n d i t i o n s . I n o r d e r f o r t h e e i g e n - i m a g e m e t h o d t o p e r f o r m w e l l , t h e b a c k g r o u n d r e f e r e n c e m u s t b e u p d a t e d r e g u l a r l y , b u t t h e p r o c e s s i n g c o m p l e x i t y o f r e a l - t i m e e i g e n - i m a g e u p d a t i n g m a k e s t h e a p p r o a c h i n f e a s i b l e f o r o u r e m b e d d e d a i r b a g s u p p r e s s i o n a p p l i c a t i o n . E v e n w i t h f r e q u e n t u p d a t i n g , t h e m e t h o d i s s t i l l l i m i t e d d u e t o i t s g l o b a l n a t u r e v e r s u s t h e l o c a l n a t u r e o f m a n y o f t h e i l l u m i n a t i o n e f f e c t s . 8 3 I n a d d i t i o n t o t h e b a s i c b a c k g r o u n d p r o c e s s i n g , w e h a v e a l s o d e m o n s t r a t e d t h e e f f e c t i v e n e s s o f t h e a d d i t i o n a l p o s t p r o c e s s i n g a l g o r i t h m s d e s i g n e d t o fi l l a n y h o l e s i n t h e s e g m e n t e d o c c u p a n t a n d t o r e d u c e a n y r e s i d u a l b a c k g r o u n d i m a g e r y i n t h e o u t p u t s e g m e n t a t i o n . W h i l e i t i s r e l a t i v e l y e a s y t o fi l l i n t h e h o l e s i n t h e s e g m e n t e d o c c u p a n t , i t i s v e r y d i f fi c u l t t o a p p l y a c o n t e x t i n d e p e n d e n t a l g o r i t h m , s u c h a s t h e w a t e r s h e d , t o r e m o v e a n y r e m a i n i n g b a c k g r o u n d p i x e l s . W e w e r e a b l e t o u t i l i z e a m o d e s t a m o u n t o f c o n t e x t u a l i n f o r m a t i o n b a s e d s i m p l y o n k n o w n p r o b l e m a r e a s , s u c h a s t h e w i n d o w r e g i o n , t h e i n s t r u m e n t p a n e l i n t h e n i g h t i m a g e s , a n d t h e r e a r s e a t r e g i o n . W e t h e n u s e t h i s i n f o r m a t i o n t o g e n e r a t e a r e a s o n a b l e s e t o f i n n e r a n d o u t e r m a r k e r s f o r t h e w a t e r s h e d a l g o r i t h m . I n m a n y c a s e s t h e h e a d r e g i o n o f t h e a d u l t o c c u p a n t s a r e r e m o v e d d u e t o t h e i r h a i r c O l o r m a t c h i n g t h e i n t e r i o r c o l o r o f t h e v e h i c l e . T h i s c a n o n l y b e c o r r e c t e d b y a p p l y i n g e v e n m o r e r o b u s t c o n t e x t u a l i n f o r m a t i o n . C h a p t e r 6 d e fi n e s a n a p p r o a c h t o s e g m e n t a t i o n t h a t i n t e g r a t e s t h e c l a s s i fi c a t i o n a n d s e g m e n t a t i o n a n d t h e r e f o r e c a n u t i l i z e t h i s a d d i t i o n a l c o n t e x t u a l i n f o r m a t i o n . 8 4 C h a p t e r 3 . F e a t u r e E x t r a c t i o n f o r O c c u p a n t C l a s s i fi c a t i o n T h e s e c o n d s t a g e o f t h e s t a t i c s u p p r e s s i o n p r o c e s s i n g i s f e a t u r e e x t r a c t i o n . I n m a n y c l a s s i fi c a t i o n p r o b l e m s t h e k e y t o s u c c e s s i s t o fi n d a p r o p e r r e p r e s e n t a t i o n a l s p a c e w i t h i n w h i c h t o i n t e r p r e t t h e i n c o m i n g d a t a s t r e a m . D e v i j e r a n d K i t t l e r [ 2 2 ] d e fi n e f e a t u r e e x t r a c t i o n a s “ e x t r a c t i n g f r o m t h e r a w d a t a t h e i n f o r m a t i o n w h i c h i s m o s t r e l e v a n t f o r c l a s s i fi c a t i o n p u r p o s e s ” . F e a t u r e e x t r a c t i o n i n v o l v e s d e fi n i n g t h e p r o p e r f e a t u r e s p a c e t h a t w i l l p r o v i d e t h e b e s t d i s c r i m i n a t i o n b e t w e e n t h e v a r i o u s p a t t e r n c l a s s e s [ 2 2 ] . D e v i j e r a n d K i t t l e r f u r t h e r s t a t e t h a t t h e “ f e a t u r e e x t r a c t i o n m e t h o d i s p r o b a b l y t h e s i n g l e m o s t i m p o r t a n t f a c t o r i n a c h i e v i n g h i g h r e c o g n i t i o n p e r f o r m a n c e ” [ 2 2 ] . W e w i l l i n v e s t i g a t e t w o a p p r o a c h e s f o r e x t r a c t i n g f e a t u r e s f o r t h e o c c u p a n t c l a s s i fi c a t i o n p r o b l e m [ 2 2 ] [ 4 8 ] : 1 ) t r a d i t i o n a l f e a t u r e - b a s e d c l a s s i fi c a t i o n , w h e r e n u m e r i c f e a t u r e s a r e c o m p u t e d f r o m t h e i n c o m i n g i m a g e , a n d 2 ) f e a t u r e - l e s s c l a s s i fi c a t i o n , w h e r e t h e r a w i m a g e d a t a i s f e d d i r e c t l y t o t h e c l a s s i fi e r . 3 . 1 C a n d i d a t e F e a t u r e S p a c e s F o r f e a t u r e - b a s e d c l a s s i fi c a t i o n , t h e r e a r e f o u r b a s i c f e a t u r e s p a c e s t h a t c a n b e u t i l i z e d a s s h o w n i n F i g u r e 3 . 1 [ 2 2 ] [ 2 5 ] : 1 ) c o l o r o r g r a y s c a l e , 8 5 2 ) t e x t u r e , 3 ) s h a p e , a n d 4 ) s p a t i a l l o c a t i o n s . F o r o u r a i r b a g s u p p r e s s i o n a p p l i c a t i o n , t h e r e i s o f t e n n o c l e a r s e p a r a t i o n b e t w e e n t h e o c c u p a n t c l a s s e s b a s e d o n g r a y s c a l e a n d t e x t u r e . T h i s i s b e c a u s e a n i n f a n t , c h i l d , o r a d u l t o c c u p a n t c a n a l l b e w e a r i n g m a t e r i a l s ( c l o t h i n g a n d / o r i n f a n t s e a t c o v e r ) o f s i m i l a r c o l o r a n d t e x t u r e a s c a n b e s e e n i n F i g u r e 3 . 2 , w h e r e b o t h i m a g e s h a v e v e r y s i m i l a r g r a y s c a l e a n d t e x t u r e f e a t u r e s . T h e i n f a n t , h o w e v e r , i s c l e a r l y o f a d i f f e r e n t s h a p e t h a n t h e a d u l t . F i g u r e 3 . 1 : T a x o n o m y o f f e a t u r e - b a s e d d e s c r i p t i o n t e c h n i q u e s f o r i m a g e c l a s s i fi c a t i o n [ 2 5 ] . S p a t i a l o r s t r u c t u r a l r e p r e s e n t a t i o n s h a v e b e e n s h o w n t o b e v e r y e f f e c t i v e i n s o m e h u m a n r e c o g n i t i o n a p p l i c a t i o n s [ 1 l 3 ] [ l 1 5 ] [ 1 1 6 ] [ 1 1 7 ] [ 1 1 8 ] . U n f o r t u n a t e l y , 8 6 m o s t o f t h e s e a p p l i c a t i o n s i n v o l v e d h u m a n s w a l k i n g i n r e l a t i v e l y c o n s t a n t c l u t t e r b a c k g r o u n d s w i t h u n i f o r m i l l u m i n a t i o n a c r o s s t h e h u m a n . I n t h e s e s i t u a t i o n s , t h e n i t i s r e l a t i v e l y e a s y t o s e g m e n t t h e e n t i r e h u m a n s u b j e c t f r o m t h e b a c k g r o u n d . T h e n s i n c e t h e p e o p l e a r e w a l k i n g o r p e r f o r m i n g o t h e r r e g u l a r m o t i o n s , s u c h a s d a n c e o r T a i C h i , i t i s s t r a i g h t f o r w a r d t o s e g m e n t t h e h e a d , l i m b s , a n d t o r s o f r o m t h e b a c k g r o u n d . R e c a l l f r o m C h a p t e r 2 h o w d i f fi c u l t i t i s f o r u s t o e v e n r e l i a b l y s e g m e n t t h e e n t i r e h u m a n i n o u r a p p l i c a t i o n . T h i s m e a n s i t w o u l d b e e x t r e m e l y d i f fi c u l t f o r u s t o r e l i a b l y s e g m e n t c o m p o n e n t s o f t h e h u m a n a n d t h e n b u i l d t h e e n t i r e o c c u p a n t f r o m t h e c o m p o n e n t s . T h e r e f o r e s p a t i a l r e p r e s e n t a t i o n i s n o t c o n s i d e r e d a v a l i d a p p r o a c h s o w e w i l l u s e s h a p e f o r d i s t i n g u i s h i n g t h e o c c u p a n t c l a s s e s . F i g u r e 3 . 2 : D e m o n s t r a t i o n o f c o m m o n a l i t y o f c o l o r a n d t e x t u r e i n i n f a n t a n d a d u l t i m a g e s , ( a ) i n f a n t i m a g e , a n d ( b ) a d u l t i m a g e . R e c a l l , h o w e v e r , i t i s v e r y d i f fi c u l t t o s e g m e n t t h e o c c u p a n t f r o m t h e s e a t i n t h e i m a g e r y . T h e a p p r o a c h t a k e n i n t h e b a c k g r o u n d s u b t r a c t i o n p r o c e s s i n g w a s t o s e g m e n t t h e o c c u p a n t a n d t h e s e a t t o g e t h e r . S i n c e t h e s m a l l c h i l d o c c u p a n t i s c o m p l e t e l y e n g u l f e d b y t h e s e a t , a s s h o w n i n F i g u r e 3 . 3 , r e c o g r i z i n g t h e o c c u p a n t o n t h e s e a t r e q u i r e s s o m e i n t e r n a l f e a t u r e s t o b e u s e d . 8 7 F i g u r e 3 . 3 : E x a r m p l e i m a g e s h o w i n g t h a t t h e o c c u p a n t c a n b e c o m p l e t e l y e n g u l f e d w i t h i n t h e b o u n d a r y o f t h e v e h i c l e s e a t . T h e m o s t c o m m o n f e a t u r e s p a c e s f o r r e p r e s e n t i n g t h e s h a p e o f a n o b j e c t a r e t h e s i l h o u e t t e a n d t h e e d g e s p a c e s , s i n c e t h e s h a p e c a n b e r e p r e s e n t e d e i t h e r a s a s o l i d o r a s a c o n t o u r . O n e a d d i t i o n a l s p a c e t h a t m a y b e u s e f u l f o r s h a p e r e p r e s e n t a t i o n i s t h e w a v e l e t t r a n s f o r m s p a c e s i n c e i t i s c l o s e l y r e l a t e d t o t h e e d g e s p a c e ( p a r t i c u l a r l y f o r H a a r W a v e l e t s ) , b u t h a s t h e a d d e d a d v a n t a g e o f p r o v i d i n g a n i n h e r e n t m u l t i - r e s o l u t i o n c a p a b i l i t y . T h i s m a y b e a t t r a c t i v e s i n c e v a r i o u s s t u d i e s h a v e s h o w n t h a t h u m a n v i s u a l p e r c e p t i o n i s p e r f o r m e d a t s e v e r a l s c a l e s o f r e s o l u t i o n [ 3 5 ] [ 2 4 ] [ 2 3 ] . 3 . 1 . 1 E d g e F e a t u r e S p a c e T h e e d g e f e a t u r e s p a c e c o n s i s t s o f b o t h t h e i n t e r n a l a n d e x t e r n a l ( b o u n d a r y ) e d g e s o f t h e o c c u p a n t / s e a t c o m b i n a t i o n . T h i s m a y a l l o w t h e s y s t e m t o d i s t i n g u i s h a s m a l l o c c u p a n t o n t h e s e a t f r o m t h e e m p t y s e a t b a s e d o n t h e e d g e i n f o r m a t i o n w i t h i n t h e i m a g e . W e a r e , t h e r e f o r e , i n t e r e s t e d i n t h e c h a r a c t e r i s t i c s o f t h e i n t e r n a l e d g e s t o 8 8 t r y t o c l a s s i f y o n e o c c u p a n t t y p e f r o m a n o t h e r . F i g u r e 3 . 4 d e m o n s t r a t e s t h i s r e p r e s e n t a t i o n s p a c e f o r a n a d u l t e d g e i m a g e a n d a n i n f a n t e d g e i m a g e . N o t e t h e d i f f e r e n c e i n t h e s t r u c t u r e o f t h e e d g e s i n e a c h o f t h e t w o i m a g e s . I n t h i s e x a m p l e a s i m p l e g r a d i e n t o p e r a t o r w a s a p p l i e d , a n d t h e n t h e i m a g e w a s t h r e s h o l d e d t o k e e p t h e d o m i n a n t e d g e p i x e l s . A t h r e s h o l d v a l u e o f 6 5 % o f t h e c m n u l a t i v e d i s t r i b u t i o n f u n c t i o n w a s s e l e c t e d a f t e r t e s t i n g a r a n g e o f t h r e s h o l d v a l u e s f r o m 5 0 % t o 9 0 % . A n a l t e r n a t i v e a p p r o a c h t o c o m p u t e t h e e d g e s i n a n i m a g e i s t o u s e a t w o - s t a g e p r o c e s s . T h e fi r s t s t a g e p r o c e s s e s t h e i m a g e w i t h a s i m p l e g r a d i e n t o p e r a t o r , g e n e r a t i n g t h e x a n d y d i r e c t i o n a l g r a d i e n t v a l u e s a t e a c h p i x e l . T h e e d g e m a g n i t u d e i s t h e n c o m p u t e d fi o m t h e s e v a l u e s a n d u s e d f o r s u b s e q u e n t p r o c e s s i n g . T h e s e c o n d s t a g e u s e s a c o n s t a n t f a l s e a l a r m r a t e ( C F A R ) b a s e d d e t e c t o r , r a t h e r t h a n a s i m p l e . t h r e s h o l d i n g o p e r a t i o n . T h e i d e a b e h i n d t h e C F A R d e t e c t o r i s t h a t i t p r o v i d e s a c o n s i s t e n t p r o b a b i l i t y o f d e t e c t i n g a n e d g e t o e n s u r e t h a t w e a k a m p l i t u d e e d g e s a r e s t i l l d e t e c t e d . T h e C F A R m e t h o d u s e d h e r e i s t h e c e l l - a v e r a g i n g C F A R , w h e r e t h e a v e r a g e e d g e a m p l i t u d e i n t h e b a c k g r o u n d w i n d o w i s c o m p u t e d a n d c o m p a r e d t o t h e c u r r e n t e d g e i m a g e , a s s h o w n i n F i g u r e 3 . 5 [ 4 4 ] . O n l y n o n - z e r o p i x e l s a r e u s e d t o c o m p u t e t h e b a c k g r o u n d w i n d o w s t a t i s t i c s . T h e g u a r d r e g i o n i s s i m p l y a s e p a r a t i n g r e g i o n b e t w e e n t h e p i x e l o f i n t e r e s t a n d t h e b a c k g r o u n d . 8 9 F i g u r e 3 . 4 : E d g e m a p s o f i n f a n t a n d a d u l t s e g m e n t e d i m a g e s , ( a ) s e g m e n t e d R F I S , ( b ) s e g m e n t e d a d u l t , ( c ) e d g e i m a g e o f R F I S , a n d ( d ) e d g e i m a g e o f a d u l t . B a c k g r o u n d R e g i o n \ ‘ l l f ” — . _ . _ G u a r d ' — R e g i o n / I I S a m p l e \ l F i g u r e 3 . 5 : C F A R e d g e d e t e c t o r w i n d o w . 9 0 F i g u r e 3 . 6 s h o w s t h e r e s u l t a n t e d g e m a p f o r t h e t r a d i t i o n a l e d g e d e t e c t o r a n d f o r t h e C F A R e d g e d e t e c t o r [ 4 4 ] . I n t h e s e e x a m p l e s , a 5 x 5 C F A R k e r n e l ( s e e F i g u r e 3 . 5 ) i s u s e d . A p i x e l i s m a r k e d a s a n e d g e p i x e l i f t h e r a t i o o f t h e t e s t s a m p l e a m p l i t u d e t o t h e b a c k g r o u n d r e g i o n s t a t i s t i c e x c e e d s a t h r e s h o l d s e t b y t h e d e s i r e d f a l s e a l a r m r a t e . N o t e f r o m t h e fi g u r e t h a t C F A R r e s u l t s i n a l a r g e n u m b e r o f s m a l l e d g e c o m p o n e n t s . T h e r e f o r e , i t i s a d v a n t a g e o u s t o a p p l y a c o n n e c t e d c o m p o n e n t s a l g o r i t h m o n t h e o u t p u t o f t h e C F A R t h a t c a n t h e n d i s c a r d a n y e d g e s t h a t a r e o f i n a d e q u a t e l e n g t h . F i g u r e 3 . 7 s h o w s t h e r e s u l t o f t h i s p o s t - p r o c e s s i n g . F i g u r e 3 . 6 : E d g e d e t e c t i o n c o m p a r i s o n , ( a ) s e g m e n t e d i m a g e , ( b ) a d a p t i v e t h r e s h o l d e d g e d e t e c t i o n , a n d ( c ) C F A R e d g e d e t e c t i o n . 9 ] F i g u r e 3 . 7 : C o n n e c t e d c o m p o n e n t s i n C F A R e d g e m a p , ( a ) o r i g i n a l C F A R e d g e i m a g e o f R F I S , ( b ) o r i g i n a l C F A R e d g e i m a g e o f a d u l t , ( c ) c o n n e c t e d c o m p o n e n t s f o r a R F I S , a n d ( d ) c o n n e c t e d c o m p o n e n t s f o r a n a d u l t R F I S . 3 . 1 . 2 S i l h o u e t t e F e a t u r e S p a c e T h e s i l h o u e t t e f e a t u r e s p a c e i s o b t a i n e d b y s i m p l y t h r e s h o l d i n g t h e fi n a l s e g m e n t e d i m a g e . I n t h e s i l h o u e t t e s p a c e a l l i n t e r n a l s t r u c t u r e s a r e i g n o r e d , a n d t h e c o m b i n e d s h a p e o f t h e o c c u p a n t a n d t h e s e a t i s r e p r e s e n t e d . T h e b e n e fi t o f t h i s f e a t u r e s p a c e i s t h e s i m p l i c i t y o f t h e r e p r e s e n t a t i o n . F i g u r e 3 . 8 s h o w s s e g m e n t e d i m a g e s , a n d t h e i r r e s u l t a n t b i n a r y s i l h o u e t t e r e p r e s e n t a t i o n s f o r a n e m p t y p a s s e n g e r s e a t a n d a c h i l d o n a s e a t . T h i s fi g u r e s h o w s t h a t t h e t w o s i l h o u e t t e s a r e n e a r l y i d e n t i c a l ! C o n s e q u e n t l y , f o r t h e t r a d i t i o n a l i m p l e m e n t a t i o n o f s e g m e n t a t i o n , 9 2 f o l l o w e d b y f e a t u r e e x t r a c t i o n , a n d u l t i m a t e l y c l a s s i fi c a t i o n , t h e s i l h o u e t t e s p a c e w i l l n o t p r o v e u s e f u l . ( C ) F i g u r e 3 . 8 : B i n a r y s i l h o u e t t e s d o n o t p r o v i d e a d e q u a t e s e p a r a t i o n , ( a ) c h i l d o n s e a t ( b ) e m p t y p a s s e n g e r s e a t , ( c ) s e g n e n t e d a n d b i n a r i z e d c h i l d , ( d ) s e g m e n t e d a n d b i n a r i z e d e m p t y s e a t , a n d ( e ) t h e d i f f e r e n c e b e t w e e n i m a g e ( c ) a n d i m a g e ( d ) . 9 3 3 . 1 . 3 W a v e l e t F e a t u r e S p a c e W a v e l e t s p r o v i d e a n a l t e r n a t i v e t r a n s f o r m a t i o n t h a t c a n b e a p p l i e d t o t h e i m a g e r y f o r t h e p u r p o s e o f d e v e l o p i n g r e p r e s e n t a t i o n s r e l a t e d t o f r e q u e n c y d o m a i n . T h e w a v e l e t t r a n s f o r m p r o v i d e s i n f o r m a t i o n r e g a r d i n g t h e r a t e o f c h a n g e o f t h e i n f o r m a t i o n a t v a r y i n g r e s o l u t i o n s a c r o s s t h e i m a g e [ 1 7 0 ] [ 1 7 l ] . T h e d i f f e r e n c e b e t w e e n t h e w a v e l e t t r a n s f o r m a n d t h e F o u r i e r t r a n s f o r m i s t h a t i n t h e F o u r i e r t r a n s f o r m a l l p o s i t i o n a l i n f o r m a t i o n i s l o s t w h e n t h e f r e q u e n c y i n f o r m a t i o n i s p r o v i d e d ( t h e p o s i t i o n a l i n f o r m a t i o n i s b u r i e d w i t h i n t h e p h a s e i n f o r m a t i o n f o r e a c h s i n e w a v e , b u t i s u s u a l l y r e m o v e d , a n d o n l y t h e a m p l i t u d e i n f o r m a t i o n i s p r e s e r v e d ) [ 1 7 0 ] [ 1 7 1 ] [ l 7 3 ] . I n t h e w a v e l e t t r a n s f o r m , t h e s p a t i a l i n f o r m a t i o n o f t h e s i g n a l i s p r e s e r v e d a l o n g w i t h t h e f r e q u e n c y . i n f o r m a t i o n . T h i s m a y p r o v e u s e f u l i n i m a g e f e a t u r e r e p r e s e n t a t i o n s i n c e t h e c h a r a c t e r i s t i c s o f t h e e d g e i n f o r m a t i o n a n d t h e l o c a t i o n o f t h i s i n f o r m a t i o n c a n b o t h b e p r o v i d e d b y t h e w a v e l e t t r a n s f o r m . T h e r e a r e m a n y m e t h o d s f o r d e v e l o p i n g w a v e l e t t r a n s f o r m s , i n c l u d i n g H a a r a n d D a u b e c h i e s t r a n s f o r m s . T h e H a a r m e t h o d i s t h e m o s t p o p u l a r d u e t o i t s s i m p l i c i t y o f i m p l e m e n t a t i o n . I t i n v o l v e s t w o o p e r a t o r s , a s u m m a t i o n o p e r a t i o n a n d a d e l t a o p e r a t i o n , a s s h o w n i n F i g u r e 3 . 9 , a n d d e fi n e d a s [ 1 7 0 ] [ 1 7 3 ] : ( 3 . 1 ) 1 i f 0 s r < 1 ( 0 [ 0 , 1 ) ( r ) = { } 0 o t h e r w i s e a n d 1 i f 0 S r < % u l [ 0 , l ) ( r ) = - 1 i f % S r < 1 , ( 3 . 2 ) 0 o t h e r w i s e 9 4 w h e r e t h e n o t a t i o n ( p [ 0 , 1 ) m e a n s t h e p o i n t 0 i s i n c l u d e d a n d t h e p o i n t 1 i S e x c l u d e d f r o m t h e r a n g e o f v a l u e s . T h e H a a r w a v e l e t a l g o r i t h m i s e x t r e m e l y s i m p l e a n d f a s t , a n d i t i n v o l v e s t a k i n g s u m s a n d d i f f e r e n c e s o f a d j a c e n t p i x e l v a l u e s i n a p y r a m i d s t y l e o f p r o c e s s i n g . T h e p r o c e s s i n g c o n t i n u e s b y r e c o r d i n g a l l o f t h e s u m a n d d e l t a v a l u e s u n t i l t h e a l g o r i t h m c o m p l e t e s l o g 2 ( N ) c y c l e s a n d i s d o w n t o t h e l a s t t w o v a l u e s [ 1 7 0 ] [ 1 7 3 ] . A l l o f t h e d e l t a v a l u e s a r e r e - o r d e r e d a n d s t o r e d a s a r e p l a c e m e n t r e p r e s e n t a t i o n , a n d t h e n t h e fi n a l s u m m a t i o n i s i n c l u d e d , w h i c h r e p r e s e n t s t h e a v e r a g e a m p l i t u d e o f t h e s i g l a l . I ( 0 1 0 . 1 ) ( 7 ' ) A t i l / 1 0 . 1 ) ? ) 1 ‘ 1 . 0 1 . 0 E 5 ' l , r 0 0 5 1 . 0 o 0 . 5 1 0 - 1 . 0 : . _ _ I r ( a ) ( b ) F i g u r e 3 . 9 , H a a r w a v e l e t b a s i s f u n c t i o n s , ( a ) t h e s u m m a t i o n f u n c t i o n ¢ [ 0 , 1 ) ( r ) , a n d ( b ) t h e d e l t a f u n c t i o n t / I [ O , l ) ( r ) . I n t w o - d i m e n s i o n a l H a a r t r a n s f o r m s , t h e 1 - d i m e n s i o n a l s t e p f u n c t i o n s a r e r e p l a c e d w i t h 2 - d i m e n s i o n a l s t e p fi r n c t i o n s . T h e s e t w o - d i m e n s i o n a l o p e r a t o r s a r e 9 5 ( D o c ( 1 ‘ , J “ ) = ( 0 [ 0 , l ) ( x ) ® ( p [ 0 , 1 ) ( y ) = { g e n e r a t e d t h r o u g h t h e t e n s o r p r o d u c t s o f t h e t w o l — d i m e n s i o n a l o p e r a t o r s a s f o l l o w s [ 1 7 0 ] [ 1 7 3 ] : l i f O S x < 1 a n d O S y < l . ( 3 - 3 ) 0 o t h e r W I S e 1 i f 0 $ x < 1 a n d 0 $ y < - £ — ‘ I ’ h ( - — — ' 1 0 , 0 X I J ’ ) - ¢ [ 0 a 1 ) ( x ) ® l / / [ 0 , 1 ) ( y ) - 1 l f O S x < 1 a n d 2 s y < 1 ( 3 , 4 ) 0 o t h e r w i s e 1 i f O S x < - § — a n d 0 $ y < l \ P , { O ( x , y ) = ( 0 [ 0 , 1 ) ( x ) ® I / / [ O , l ) ( y ) = — 1 i f % s x < 1 a n d o s y < 1 ( 3 . 5 ) 0 o t h e r w i s e l 1 i r o s x q a n d O s y q ‘ l i f % S x < l a n d % S y < l d . l 1 J o , o ( x , ) ’ ) = ¢ l O i 1 ) ( x ) ® W 1 0 , 1 ) ( ) ’ ) = < - 1 1 f % $ x < l a n d 0 $ y < - § - ) ( 3 . 6 ) — 1 i f 0 3 x < % a n d % 3 y < 1 I 0 o t h e r w i s e . N o t i c e t h a t t h e r e a r e n o w f o u r H a a r o p e r a t o r s f o r 2 - d i m e n s i o n a l p r o c e s s i n g : ( i ) a s u m m a t i o n o p e r a t o r , ( i i ) a v e r t i c a l e d g e o p e r a t o r , ( i i i ) a h o r i z o n t a l e d g e o p e r a t o r , a n d ( i v ) a d i a g o n a l e d g e o p e r a t o r , a s s h o w n i n F i g u r e 3 . 1 0 . A s e g m e n t e d i m a g e o f a n i n f a n t s e a t i s s h o w n i n F i g u r e 3 . 1 1 , a n d t h e r e s u l t a n t m u l t i - r e s o l u t i o n w a v e l e t t r a n s f o r m i s s h o w n i n F i g u r e 3 . 1 2 . I n F i g u r e 3 . 1 2 t h e r e s u l t s o f e a c h o f t h e H a a r o p e r a t o r s c a n b e s e e n . A s c a n b e c l e a r l y s e e n i n F i g u r e 3 . 1 2 , t h e H a a r w a v e l e t i s a n i m a g e t r a n s f o r m t h a t c o n v e r t s t h e i n c o m i n g i m a g e i n t o a n a l t e r n a t e r e p r e s e n t a t i o n a l 9 6 ‘ I ' I i ' p ' l n l 1 m 0 i . 0 ' 1 . 0 ‘ I ’ , { 0 ( 1 x , y ) I I 0 . 0 / e - X ' 1 - 0 ( c ) E / . d ) ( ; x s p a c e c o r r e s p o n d i n g t o a n e d g e r e p r e s e n t a t i o n . T h e m u l t i - r e s o l u t i o n e d g e d e t e c t i o n c a p a b i l i t y o f t h e H a a r t r a n s f o r m c a n b e s e e n i n F i g u r e 3 . 1 3 w h e r e i m a g e s ( a ) , ( b ) , a n d ( c ) S h o w t h e f u l l r e s o l u t i o n , h a l f r e s o l u t i o n , a n d q u a r t e r r e s o l u t i o n e d g e d e t e c t i o n i m a g e s , r e s p e c t i v e l y . I n o r d e r f o r t h e w a v e l e t s t o b e u s e d a s f e a t u r e s f o r c l a s s i fi c a t i o n , t h e y m u s t e i t h e r b e f u r t h e r p r o c e s s e d b y f e a t u r e g e n e r a t i o n a l g o r i t h m s , s u c h a s m o m e n t a n a l y s i s , o r u s e d f o r a p p e a r a n c e - b a s e d p r o c e s s i n g . I t ‘ P a f o ( x . y ) — 7 ( 1 3 0 . 0 ( a n y ) T Y 1 . 0 fl ( a ) ( b ) F i g u r e 3 . 1 0 : H a a r w a v e l e t b a s i s f u n c t i o n s f o r 2 - d i m e n s i o n a l p r o c e s s i n g , ( a ) s u m m a t i o n o p e r a t o r ( 1 ) 0 . 0 ( x , y ) , ( b ) d i a g o n a l e d g e o p e r a t o r ‘ 1 1 : ] , ( x , y ) , ( 0 ) h o r i z o n t a l e d g e o p e r a t o r ‘ I ’ J o ( x , y ) , a n d ( d ) v e r t i c a l e d g e o p e r a t o r ‘ I ’ o f o ( x , y ) . 9 7 F i g u r e 3 . 1 2 : O u t p u t o f H a a r w a v e l e t t r a n s f o r m o f t h e i m a g e s h o w n i n F i g u r e 3 . 1 1 . 9 8 F i g u r e 3 . 1 3 : W a v e l e t t r a n s f o r m r e s u l t s f o r t h e v e r t i c a l e d g e d e t e c t o r , ( a ) a t f u l l r e s o l u t i o n , ( b ) a t 1 / 2 r e s o l u t i o n , a n d ( c ) a t 1 / 4 r e s o l u t i o n . 3 . 2 F e a t u r e C o m p u t a t i o n I n o r d e r t o c o m p u t e f e a t u r e s t o r e p r e s e n t t h e s h a p e o f a n o b j e c t , t h e r e a r e t h r e e g e n e r a l c h a r a c t e r i s t i c s o f t h e r e p r e s e n t a t i o n t h a t m u s t b e a d d r e s s e d , n a m e l y [ 2 3 ] : 1 ) b o u n d a r y p o i n t s v e r s u s i n t e r n a l d a t a , 2 ) n u m e r i c v e r s u s n o n - n u m e r i c , a n d 3 ) i n f o r r m a t i o n p r e s e r v i n g v e r s u s n o n - i n f o r m a t i o n p r e s e r v i n g ( w h e t h e r o r n o t r e p r e s e n t a t i o n s u p p o r t s i m a g e r e c o n s t r u c t i o n ) . T o a d d r e s s t h e fi r s t c h a r a c t e r i s t i c , w e s h o u l d r e c a l l t h a t i n o u r b a c k g r o u n d s u b t r a c t i o n a p p r o a c h t o s e g m e n t a t i o n , t h e s e a t a n d o c c u p a n t a r e s e g m e n t e d t o g e t h e r . A s s h o w n i n F i g u r e 3 . 8 , t h e s e g m e n t e d b o u n d a r y a l o n e i s n o t a r e l i a b l e d i s c r i m i n a t o r . L i k e w i s e , o n l y u s i n g i n t e r n a l e d g e f e a t u r e s c a n b e c o n fi i s i m g s i n c e t h e y m a y b e m o r e d e p e n d e n t o n t h e t y p e o f c l o t h i n g t h e o c c u p a n t i s w e a r i n g t h a n t h e b o u n d a r y o f t h e o c c u p a n t . T h e r e f o r e , a l g o r i t h m s t h a t e x p l o i t b o t h t h e i n t e r n a l e d g e a n d b o u n d a r y e d g e f e a t u r e s w i l l b e i n v e s t i g a t e d . 9 9 T o a d d r e s s t h e s e c o n d c h a r a c t e r i s t i c , w e m u s t c o n s i d e r t h e t y p e o f c l a s s i fi e r t h a t w i l l b e u s e d . S i n c e o u r fi n a l o b j e c t i v e i s t o u s e a c l a s s i fi e r s u c h a s a n e a r e s t n e i g h b o r o r s u p p o r t v e c t o r m a c h i n e , r a t h e r t h a n a r u l e - b a s e d c l a s s i fi e r , w e w i l l o n l y u s e t h e n u m e r i c r e p r e s e n t a t i o n . T o a d d r e s s t h e t h i r d c h a r a c t e r i s t i c , r e c a l l t h a t t h e a i r b a g s u p p r e s s i o n a p p l i c a t i o n h a s n o c l e a r r e q u i r e m e n t f o r i n f o r m a t i o n p r e s e r v a t i o n , i n t e r m s o f t h e a b i l i t y t o u s e t h e o b j e c t f e a t u r e s t o p e r f o r m i m a g e r e c o n s t r u c t i o n . A r e c o n s t r u c t i o n c a p a b i l i t y c a n , h o w e v e r , b e h e l p f u l f o r a l g o r i t h m d e v e l o p m e n t , t o b e t t e r u n d e r s t a n d t h e p e r f o r m a n c e o f t h e s y s t e m w h e n m i s - c l a s s i fi c a t i o n s d o o c c u r . I n m o s t p a t t e r n c l a s s i fi c a t i o n a p p l i c a t i o n s i t i s d e s i r a b l e f o r t h e f e a t u r e s t o b e i n v a r i a n t t o c e r t a i n t r a n s f o r m a t i o n s . T h e m o s t c o m m o n d e s i r e d i n v a r i a n c e s a r e w i t h r e s p e c t t o ( i ) t r a n s l a t i o n , ( i i ) r o t a t i o n , ( i i i ) s c a l e , a n d , ( i v ) s k e w [ 2 2 ] . T h e o c c u p a n t c l a s s i fi c a t i o n p r o b l e m i s s o m e w h a t u n i q u e i n t h a t i t i s n o t d e s i r a b l e t o h a v e i n v a r i a n t f e a t u r e s . F o r e x a m p l e , t h e p r i m a r y d i f f e r e n c e b e t w e e n a S i x y e a r - o l d a n d a n a d u l t i s t h e s i z e , w h i c h i m p l i e s t h a t s i z e i n v a r i a n c e i s n o t d e s i r a b l e f o r t h e o c c u p a n t c l a s s i fi c a t i o n p r o b l e m . D u e t o t h e p l a c e m e n t o f t h e c a m e r a a n d t h e p e r s p e c t i v e e f f e c t s o f t h e w i d e — a n g l e l e n s , t r a n s l a t i o n a l i n v a r i a n c e i s a l s o n o t d e s i r a b l e , s i n c e a n a d u l t i n t h e r e a r - m o s t s e a t p o s i t i o n g e n e r a t e s t h e s a m e s i z e o b j e c t a s a c h i l d i n t h e f o r w a r d - m o s t s e a t p o s i t i o n a s s h o w n i n F i g u r e 3 . 1 4 . R o t a t i o n a l a n d s k e w i n v a r i a n c e s a r e a l s o i n h e r e n t l y n o t r e q u i r e d f o r t h i s p r o b l e m . S i n c e a l l o f t h e r e p r e s e n t a t i o n a l s p a c e s d e fi n e d i n t h e e a r l i e r s e c t i o n s o f t h i s c h a p t e r o p e r a t e e i t h e r o n t h e i n t e r n a l c h a r a c t e r i s t i c s o r o n t h e b o u n d a r y c h a r a c t e r i s t i c s , t h e f o l l o w i n g t w o f e a t u r e s e t s h a v e b e e n w i d e l y u s e d t o r e p r e s e n t t h e s e c h a r a c t e r i s t i c s , n a m e l y m o m e n t s a n d F o u r i e r d e s c r i p t o r s [ 2 2 ] [ 2 3 ] [ 2 4 ] . 1 0 0 F i g u r e 3 . 1 4 : P e r s p e c t i v e e f f e c t o n p e r c e i v e d o c c u p a n t s i z e , ( a ) 6 y e a r - o l d c h i l d o n b o o s t e r i n f r o n t - m o s t s e a t p o s i t i o n , a n d ( b ) 5 t h p e r c e n t i l e a d u l t i n r e a r - m o s t s e a t p o s i t i o n ( N o t e 6 y e a r — o l d i s l a r g e r i n t h e i m a g e d u e t o p e r s p e c t i v e ) . 3 . 2 . 1 M o m e n t F e a t u r e s A c o m m o n s e t o f f e a t u r e s f o r s h a p e r e c o g n i t i o n i s t h e g e o m e t r i c m o m e n t s o f a n o b j e c t [ 2 2 ] [ 2 3 ] [ 2 4 ] . T h e g e o m e t r i c m o m e n t o f o r d e r ( m + n ) f o r a n M x N i m a g e i s d e fi n e d a s : M N l 1 = Z 2 1 ( i , j ) - X ( i ) " " y ( j ) " , ( 3 7 ) " m i = l j = l w h e r e x ( i ) e [ — l , l ] a n d y ( j ) e [ — l , 1 ] . I m a g e m o m e n t s h a v e b e e n u s e d f o r a v a r i e t y o f a p p l i c a t i o n s f r o m a i r c r a f t r e c o g n i t i o n t o C h i n e s e c h a r a c t e r r e c o g n i t i o n [ 2 2 ] [ 2 4 ] [ 2 9 ] [ 3 5 ] [ 3 6 ] . W e w e r e p a r t i c u l a r l y m o t i v a t e d b y t h e u s e o f m o m e n t s i n C h i n e s e c h a r a c t e r r e c o g n i t i o n d e s c r i b e d i n [ 3 6 ] , w h e r e w e b e l i e v e t h e a b i l i t y o f t h e m o m e n t s t o d i s t i n g u i s h t h e fi n e v a r i a t i o n s i n c h a r a c t e r s t r o k e s m a y a l s o p r o v e u s e f u l i n d i s c r i m i n a t i n g t h e e d g e i m a g e s o f a d u l t s f r o m c h i l d r e n i n o u r a p p l i c a t i o n . 1 0 1 T h e r e a r e a n u m b e r o f a l t e r n a t i v e s t o t h e b a s i c g e o m e t r i c m o m e n t s t h a t p r o v i d e i n v a r i a n c e t o t r a n s l a t i o n s , r o t a t i o n s , a n d s c a l e c h a n g e s . R e c a l l fi ' o m F i g u r e 3 . 1 4 , t h a t t r a n s l a t i o n i n v a r i a n c e c a n i m p a c t o u r a b i l i t y t o d i s t i n g u i s h t h e 6 y e a r - o l d o n a b o o s t e r f r o m a 5 t h p e r c e n t i l e a d u l t f e m a l e d u e t o t h e p e r s p e c t i v e e f f e c t s o f t h e c a m e r a v i e w i n g a n g l e w i t h i n t h e p a s s e n g e r c o m p a r t m e n t o f t h e v e h i c l e [ 2 9 ] . C o n s e q u e n t l y , w e w i l l n o t u t i l i z e a n y m o m e n t s w i t h i n v a r i a n t p r o p e r t i e s f o r t h i s a p p l i c a t i o n . O n e d i s a d v a n t a g e o f t h e g e o m e t r i c m o m e n t s i s t h a t t h e y d o n o t f o r m a n o r t h o g o n a l b a s i s s e t . T h i s m e a n s t h a t t h e r e i s r e d u n d a n t i n f o r m a t i o n i n e a c h o f t h e m o m e n t v a l u e s . S i n c e i n t h e s u b s e q u e n t f e a t u r e s e l e c t i o n t a s k w e w i l l t r y t o m i n i m i z e t h e n u m b e r o f f e a t u r e s u s e d , i t i s p r u d e n t t o i n v e s t i g a t e m o r e o p t i m a l r e p r e s e n t a t i o n s . F i r s t , l e t u s g e n e r a l i z e e q u a t i o n . ( - 3 , . 8 ) t o t h e f o l l o w i n g [ 3 4 ] : N . . z 1 ( i , j ) - h m n ( x ( i ) . y ( j ) ) . ( 3 . 9 ) I j = I 1 : I I I I M : w h e r e f o r g e o m e t r i c m o m e n t s t h e k e r n e l f u n c t i o n h i s s i m p l y t h e m o n o m i a l : h m , ( x ( i ) . y ( j ) ) = x 1 1 ) “ y ( j ) " . ( 3 . 1 0 ) N o w w e c a n g e n e r a t e a s e t o f m o m e n t s o f a n i m a g e , w h e r e w e c a n r e p l a c e t h e f u n c t i o n h ( x , y ) w i t h a f u n c t i o n g e n e r a t e d f r o m a n o r t h o g o n a l b a s i s w h i c h w i l l p r o v i d e a n “ o p t i m a l ” r e p r e s e n t a t i o n o f t h e i m a g e ( b y t h e d e fi n i t i o n o f o r t h o g o n a l i t y , t h e r e i s n o o v e r l a p i n t h e i n f o r m a t i o n c o n t e n t b e t w e e n t h e m o m e n t s ) . T h e r e a r e s e t s o f m o m e n t s t h a t a r e i n s p i r e d b y o r t h o g o n a l f u n c t i o n t h e o r y , w h i c h s t a t e s t h a t t h e m o s t 1 0 2 e f fi c i e n t r e p r e s e n t a t i o n o f a g e n e r a l f u n c t i o n w i l l b e t h r o u g h t h e u s e o f a n o r t h o g o n a l b a s i s . T h e r e a r e a n u m b e r o f o r t h o g o n a l b a s i s f u n c t i o n s , i n c l u d i n g [ 2 9 ] [ 3 0 ] : - L e g e n d r e p o l y n o m i a l s , - C h e b y s h e v p o l y n o m i a l s , a n d - Z e r n i k e f u n c t i o n s . T h e C h e b y s h e v a n d L e g e n d r e r e p r e s e n t a t i o n s a r e a c t u a l l y i n t i m a t e l y r e l a t e d t h r o u g h a g e n e r a t i n g f u n c t i o n c a l l e d t h e G e g e n b a u e r p o l y n o m i a l . T h e g e n e r a t i n g f u n c t i o n f o r t h e G e g e n b a u e r p o l y n o m i a l s i s [ 3 2 ] : 2 ' " J 7 ? — - 0 2 ° T n m ( x ) - t " , ( 3 . 1 1 ) m + l / 2 — l ( l — t h + t 2 ) ( “ 7 3 ) ! " = 0 w h e r e t h e c o e f fi c i e n t s T m ( x ) a r e t h e G e g e n b a u e r p o l y n o m i a l s , a n d x 6 [ — 1 , 1 ] . W h e n n m = 0 , t h i s f u n c t i o n p r o d u c e s t h e g e n e r a t i n g f u n c t i o n f o r t h e L e g e n d r e p o l y n o m i a l s , a n d w h e n m = % t h e T y p e 1 C h e b y s h e v p o l y n o m i a l s ( t h e t y p e c o m m o n l y u s e d f o r p a t t e r n r e c o g n i t i o n ) a r e p r o d u c e d [ 3 2 ] . L e g e n d r e m o m e n t s h a v e b e e n S h o w n t o b e m o r e e f f e c t i v e f o r r e c o g n i t i o n o f C h i n e s e c h a r a c t e r s t h a n e i t h e r c e n t r a l o r g e o m e t r i c m o m e n t s [ 3 6 ] . A n u m b e r o f r e s e a r c h e r s h a v e c o m p a r e d t h e b e h a v i o r o f v a r i o u s m o m e n t t y p e s i n t h e p r e s e n c e o f n o i s e [ 3 1 ] . L e g e n d r e m o m e n t s w e r e c o m p a r e d w i t h C h e b y s h e v m o m e n t s i n t e r m s o f r e c o n s t r u c t i o n a c c u r a c y o f n o i s y i m a g e s , a n d i t w a s f o u n d t h a t C h e b y s h e v m o m e n t s h a d a s l i g h t a d v a n t a g e [ 3 0 ] . T e h a n d C h e n a l s o c o m p a r e d g e o m e t r i c , L e g e n d r e , a n d Z e r n i k e m o m e n t s b y m e a s u r i n g t h e s i g n a l t o n o i s e r a t i o o f t h e r e c o n s t r u c t e d i m a g e s 1 0 3 a t v a r i o u s m o m e n t o r d e r s . T h e s e a u t h o r s f o u n d t h a t Z e r n i k e m o m e n t s w e r e m o r e r o b u s t t o n o i s e t h a n e i t h e r g e o m e t r i c o r L e g e n d r e . I n a l l t h e s e n o i s e t e s t s , h o w e v e r , t h e i m a g e s w e r e c o r r u p t e d w i t h o n l y G a u s s i a n n o i s e , w h i l e w e b e l i e v e t h e m o r e i n t e r e s t i n g e f f e c t s a r e d u e t o s e g m e n t a t i o n e r r o r s , w h i c h a r e c l e a r l y n o t G a u s s s i a n . T h e r e f o r e , r a t h e r t h a n m a k e a d e c i s i o n o n w h i c h m o m e n t f a m i l y t o u s e f r o m t h e s e s t u d i e s , w e w i l l t e s t a l l o f t h e m f o r o u r a i r b a g s u p p r e s s i o n a p p l i c a t i o n . A L e g e n d r e M o m e n t s T h e L e g e n d r e m o m e n t s a r e b a s e d o n t h e L e g e n d r e p o l y n o m i a l r e p r e s e n t a t i o n o f a f u n c t i o n . T h e r e c u r r e n c e r e l a t i o n f o r t h e o n e - d i m e n s i o n a l L e g e n d r e p o l y n o m i a l s i s [ 2 9 ] [ 3 0 ] : p ( 0 ) = 1 ; 1 0 ( 1 ) = x ; ( 3 . 1 2 ) P O I ) = 1 / n * ( ( 2 * n - 1 ) * x * P ( n - 1 ) - ( n - 1 ) * P ( n - 2 ) ) - w h e r e n i s t h e o r d e r o f t h e L e g e n d r e p o l y n o m i a l . F r o m t h e s e p o l y n o m i a l s , a s e t o f o r t h o g o n a l m o m e n t s c a n b e g e n e r a t e d , b a s e d o n t h e t r a d i t i o n a l g e o m e t r i c m o m e n t s . W h i l e t h e a b o v e r e l a t i o n i s f o r o n e d i m e n s i o n , t h e t w o - d i m e n s i o n a l r e p r e s e n t a t i o n i s s i m p l y a p r o d u c t o f t h e t w o i n d i v i d u a l d i m e n s i o n s . T h e g e n e r a t i n g f u n c t i o n f o r t h e L e g e n d r e m o m e n t s o f o r d e r ( m + n ) f r o m t h e g e o m e t r i c m o m e n t s i s [ 2 9 ] [ 3 0 ] : m n _ _ _ ( 2 m + 1 ) ( 2 n + 1 ) Z X C . C M . , ( 3 . 1 3 ) m n 4 j = 0 k = 0 m ] n k j k L 1 0 4 w h e r e C . . a r e t h e c o e f fi c i e n t s t h a t r e s u l t f r o m e x e c u t i n g t h e p o l y n o m i a l g e n e r a t i n g 1 } f u n c t i o n ( 3 . 3 ) a n d M . . a r e t h e t r a d i t i o n a l g e o m e t r i c m o m e n t s o f o r d e r ( i + j ) . T h e I ] fi r s t f e w L e g e n d r e m o m e n t s a r e l i s t e d b e l o w [ 2 9 ] [ 3 0 ] : l 5 3 I L O O — E ' M O O ’ L 2 0 = ; - [ ; M 2 0 — ; M 0 0 ] , 5 7 5 1 L 1 0 = Z ' M 1 0 ’ L 3 0 = Z ' I E M 3 0 _ ; M 1 0 ] ’ ( 3 ' 1 4 ) 9 1 5 3 l L 1 1 : ; ' M l l ’ L 2 1 = 7 ' [ ; M 2 1 _ 3 M 0 1 ] ' B C h e b y s h e v M o m e n t s T h e C h e b y s h e v m o m e n t s a r e b a s e d o n t h e C h e b y s h e v p o l y n o m i a l r e p r e s e n t a t i o n o f a f u n c t i o n . T h e r e c u r r e n c e r e l a t i o n f o r t h e o n e - d i m e n s i o n a l C h e b y s h e v p o l y n o m i a l i s [ 2 9 ] [ 3 0 ] : t ( 0 ) = 1 , 1 ( 1 ) = x , ( 3 . 1 5 ) t ( n ) = 2 * x * t ( n — l ) — t ( n — 2 ) . w h e r e n i s t h e o r d e r o f t h e C h e b y s h e v p o l y n o m i a l . F r o m t h e s e p o l y n o m i a l s , a s e t o f o r t h o g o n a l m o m e n t s c a n b e g e n e r a t e d b a s e d o n t h e t r a d i t i o n a l g e o m e t r i c m o m e n t s . 1 0 5 T h e g e n e r a t i n g f u n c t i o n f o r t h e C h e b y s h e v m o m e n t s o f o r d e r ( m + n ) f r o m t h e g e o m e t r i c m o m e n t s i s c o m p u t e d b y [ 3 0 ] : m n 1 - 2 Z C C M , . ( 3 . 1 6 ) s c a l e . _ _ m ] " k 1 " j — O k - O T = m n w h e r e C _ , a r e t h e c o e f fi c i e n t s f r o m t h e C h e b y s h e v p o l y n o m i a l g e n e r a t i n g f u n c t i o n I } ( 3 . 1 6 ) , M . . a r e t h e t r a d i t i o n a l g e o m e t r i c m o m e n t s o f o r d e r ( i + j ) , a n d t h e s c a l i n g U p a r a m e t e r s e n s u r e t h e C h e b y s h e v p o l y n o m i a l s a r e o r t h o n o r m a l . T h i s s c a l e f u n c t i o n i s n o t a c l o s e d - f o r m e x p r e s s i o n , b u t c a n b e c a l c u l a t e d v i a n u m e r i c i n t e g r a t i o n t o p r o v i d e t h e c o r r e c t s c a l i n g f a c t o r s . T h e s c a l e f a c t o r s u p t o o r d e r 6 a r e p r o v i d e d i n T a b l e 3 . 1 . T a b l e 3 . 1 : S u m m a r y o f C h e b y s h e v s c a l e f a c t o r s f o r u p t o o r d e r 6 . P o l y n o m i a l S c a l e f a c t o r O r d e r 0 2 1 2 / 3 2 1 4 / 1 5 3 3 4 / 3 5 5 6 2 / 6 3 5 9 8 / 9 9 6 1 4 2 / 1 4 3 1 0 6 T h e fi r s t f e w C h e b y s h e v m o m e n t s a r e l i s t e d b e l o w [ 2 9 ] [ 3 0 ] : I 1 5 T o o s z o o ’ T 2 0 = ; § ' [ 2 ' M z o — M o o ] ’ T — 3 M T - 3 5 4 M 3 M 3 1 7 1 0 ‘ 1 " 1 0 ’ 3 0 7 5 1 ' 3 0 " ' I O I ’ ( ' ) 9 4 5 T l l z g ' M l l ’ T 2 1 = ; § ' [ 2 ' M 2 I - M O I ] ° O t h e r a u t h o r s h a v e d e v e l o p e d m o r e c o m p l e x r e p r e s e n t a t i o n s o f t h e C h e b y s h e v m o m e n t s b y r e p r e s e n t i n g t h e i m a g e o v e r t h e r a n g e [ 0 , N ] r a t h e r t h a n t h e m o r e t r a d i t i o n a l r a n g e o f [ - 1 , 1 ] t h a t w e a d o p t e d [ 3 0 ] . T h i s m o d i fi e d a n d s c a l e d r e p r e s e n t a t i o n o f t h e C h e b y s h e v m o m e n t s l e a d s t o a d d i t i o n a l c r o s s t e r m s t h a t a r e n o t p r e s e n t i n t h e c a n o n i c a l r e p r e s e n t a t i o n s h o w n a b o v e . N o t i c e t h a t o u r f o r m s o f t h e L e g e n d r e a n d C h e b y s h e v p o l y n o m i a l s a r e i d e n t i c a l , e x c e p t f o r s c a l e f a c t o r s a n d t h e m u l t i p l i c a t i v e c o e f fi c i e n t s a p p l i e d t o e a c h g e o m e t r i c m o m e n t , a n d t h e r e f o r e s h o u l d p e r f o r m i n a s i m i l a r m a n n e r t o e a c h o t h e r . T h e r e i s a n o t h e r v e r y i n t e r e s t i n g p r o p e r t y o f t h e C h e b y s h e v p o l y n o m i a l s t h a t c a n b e s e e n i n t h e r e p r e s e n t a t i o n a b o v e . I f w e l e t x = c o s ( 6 ) t h e n w e c a n a l s o w r i t e T ( x ) : c o s ( n 6 ) = c o s ( n c o s " ( x ) ) , w h i c h t h e n i m p l i e s t h a t a n e v e n f u n c t i o n t h a t i s n e x p a n d e d u s i n g t h e s e T ( x ) i s e q u i v a l e n t t o t h e F o u r i e r c o s i n e a p p r o x i m a t i o n o f t h e n f u n c t i o n . T h u s t h e m o m e n t t r a n s f o r m u s i n g t h e C h e b y s h e v p o l y n o m i a l s w i t h t h i s c h a n g e o f v a r i a b l e s i s e q u i v a l e n t t o t h e d i s c r e t e c o s i n e t r a n s f o r m o f t h e i m a g e . W h i l e f e w i m a g e s a r e a c t u a l l y e v e n f u n c t i o n s , i t S t i l l a l l o w s u s t o p l a c e d i f f e r e n t f e a t u r e 1 0 7 2 i X X I - ( 3 1 5 1 ) : » e x t r a c t i o n a l g o r i t h m s s u c h a s m o m e n t s , F o u r i e r t r a n s f o r m s , a n d e v e n t h e w a v e l e t t r a n s f o r m s o n a n e q u i v a l e n t f o o t i n g . T h i s i s c l e a r w h e n w e r e c a l l f r o m E q u a t i o n ( 3 . 1 8 ) , t h a t t h e m o m e n t s t r a n s f o r m i s a p r o j e c t i o n o n t o t h e b a s i s d e fi n e d b y t h e k e r n e l h ( x , y ) , w i t h t h e g o a l b e i n g t o d e fi n e a n o r t h o n o r m a l b a s i s s e t , w h i c h i s e x a c t l y w h a t p o l y n o m i a l , F o u r i e r a n d w a v e l e t t r a n s f o r m s a l l s e e k t o a c c o m p l i s h . P e r h a p s i t i s n o w c l e a r w h y t h e r e i s n o ‘ b e s t ’ f e a t u r e s e t f o r r e p r e s e n t i n g a n i m a g e i n a l l a p p l i c a t i o n s , s i n c e t h e y a r e a l l d e r i v e d f r o m a c o m m o n m a t h e m a t i c a l f o u n d a t i o n o f p r o j e c t i o n s o f t h e i m a g e i n t o s o m e b a s i s s e t . T h e r e f o r e , a p a t t e r n r e c o g n i t i o n r e s e a r c h e r m u s t s e a r c h f o r t h e p a r t i c u l a r t r a n s f o r m t h a t m a y b e b e s t f o r a s p e c i fi c a p p l i c a t i o n . C Z e r n i k e M o m e n t s A s w i t h t h e o t h e r o r t h o g o n a l m o m e n t s , t h e Z e r n i k e m o m e n t s c a n b e g e n e r a t e d f r o m t h e t r a d i t i o n a l g e o m e t r i c m o m e n t s . W h i l e t h e g e o m e t r i c , L e g e n d r e , a n d C h e b y s h e v m o m e n t s a r e d e fi n e d o n t h e u n i t s q u a r e , x ( i ) e [ — l , l ] a n d y ( j ) e [ — 1 , 1 ] , Z e r n i k e m o m e n t s a r e d e fi n e d o n t h e u n i t c i r c l e r e [ 0 , 1 ] . T h e e q u a t i o n s f o r g e n e r a t i n g t h e Z e r n i k e m o m e n t s f r o m t h e g e o m e t r i c m o m e n t s a r e d e fi n e d b y [ 2 9 ] [ 3 0 ] [ 3 3 ] : , I l l ' 1 ’ 7 ; - M ( 3 . 1 9 ) k k — 2 j — m , 2 j + m k : ] l ] j = 0 m : O ( n — I r ) : e v e n 1 0 8 '( n e w ) 2 : _ . ( a n n m ) ( 3 . 2 1 ) w h e r e w e a d d i t i o n a l l y d e fi n e : — + i 1 5 0 ’ q — 2 ' a n d l a s t l y : 3 , 4 4 , , 2 ( ‘ 1 ) I n ; k l 1 0 9 2 3 0 : 0 , 4 . . . Z 3 1 = ; - ( — 2 - M 1 0 + 2 - l - M 0 1 + 3 - M 3 0 - 3 - l - M 2 1 + 3 - M 1 2 — 3 - l - M 0 3 ) , ( 3 . 2 2 ) 2 3 2 : 0 ’ Z - i - ( M - 3 - ' - M — 3 - M + 3 ~ ' - M ) 3 3 ‘ 3 0 ’ 2 1 1 2 l 0 3 N o t e t h a t t h e Z e r n i k e m o m e n t s a r e c o m p l e x - v a l u e d , a n d h a v e t h e f o l l o w i n g i n t e r e s t i n g c h a r a c t e r i s t i c s [ 3 3 ] : Z 1 = 0 i f ( n — I ) i s o d d , I ! Z = Z ‘ a n d ( 3 . 2 3 ) I t ! n , - l ’ ¢ = n l 2 Z i s r o t a t i o n a l l y i n v a r i a n t . n l 2 Z a s f e a t u r e s f o r t h e a i r b a g s u p p r e s s i o n p r o b l e m T h e r e f o r e , w e w i l l n o t u s e 1 n b e c a u s e o f t h e i r i n v a r i a n c e p r o p e r t y . 3 . 2 . 2 F o u r i e r D e s c r i p t o r s B o u n d a r y f e a t u r e s a r e r e l a t e d t o t h e s i l h o u e t t e f e a t u r e s p a c e d e fi n e d i n S e c t i o n 3 . 1 . 2 . B o u n d a r y f e a t u r e s a r e o b t a i n e d b y r e t a i n i n g t h e b o u n d a r y o f a b i n a r y - 1 1 0 s e g m e n t e d r e g i o n . A l l i n t e r n a l s t r u c t u r e i s i g n o r e d , a n d t h e s p a c e m e r e l y r e p r e s e n t s t h e o v e r a l l s h a p e o f t h e o c c u p a n t o n t h e s e a t . T h e b e n e fi t o f t h i s f e a t u r e s p a c e i s t h e s i m p l i c i t y o f t h e r e p r e s e n t a t i o n . T h e o b j e c t o f i n t e r e s t i s m e r e l y r e p r e s e n t e d b y t h e b o u n d a r y o f t h e s e g m e n t e d r e g i o n . B o u n d a r i e s h a v e b e e n c o n s i s t e n t l y r e p r e s e n t e d b y F o u r i e r d e s c r i p t o r s [ 8 3 ] . T h e o r i g i n a l F o u r i e r d e s c r i p t o r s m e a s u r e t h e c h a n g e i n t h e a n g l e b e t w e e n s u c c e s s i v e l i n e s e g n e n t s a l o n g a c l o s e d c o n t o u r , a n d g e n e r a t e t h e f o l l o w i n g d e s c r i p t o r v a l u e s [ 2 2 ] : 1 g : A . 2 7 m t k a = - — - - S I n , ” n n ' k = 1 ( p k T a n d ( 3 . 2 4 ) b : - _ _ . 2 A m - c o s k , n m : k = ’ 6 T w h e r e N i s t h e t o t a l n u m b e r o f l i n e s e g m e n t s , T i s t h e t o t a l l e n g t h o f t h e c o n t o u r s u c h M o . n I t h a t T = Z t k , a n d A p k I s t h e c h a n g e I n a n g l e b e t w e e n l i n e s e g m e n t k - I a n d h u e k = 1 s e g m e n t k . F o r o u r a p p l i c a t i o n , w h e r e t h e o c c u p a n t a n d t h e s e a t a r e s e g m e n t e d a s a s i n g l e e n t i t y , F o u r i e r d e s c r i p t o r s a r e n o t p r a c t i c a l . 3 . 3 F e a t u r e - l e s s R e p r e s e n t a t i o n s I t h a s a l s o b e e n r e c o g n i z e d t h a t i n m a n y a p p l i c a t i o n s f e a t u r e e x t r a c t i o n i s d i f fi c u l t s i n c e t h e r e i s n o c l e a r f e a t u r e s p a c e f o r e f fi c i e n t l y r e p r e s e n t i n g t h e d a t a [ 4 8 ] . 1 1 1 I n t h e s e i n s t a n c e s , f o r c i n g t h e s y s t e m t o e x t r a c t f e a t u r e s m a y r e s u l t i n a l o s s o f c l a s s i fi c a t i o n a c c u r a c y . I n s u c h S i t u a t i o n s , i t m a y b e b e t t e r t o u s e t h e r a w i m a g e o r t h e s e g m e n t e d i m a g e d i r e c t l y a s t h e i n p u t t o t h e c l a s s i fi e r [ 4 8 ] . T h e r e a r e t w o g e n e r a l a p p r o a c h e s t o f e a t u r e l e s s r e p r e s e n t a t i o n t h a t a r e e x p l o r e d i n t h i s r e s e a r c h , n a m e l y t e m p l a t e m a t c h i n g a n d i m a g e s u b - s a m p l i n g [ 2 2 ] [ 4 8 ] . T e m p l a t e m a t c h i n g i s , i n i t s e l f , a c l a s s i fi c a t i o n m e c h a n i s m , w h e r e t h e ‘ b e s t ’ m a t c h i n g t e m p l a t e i s d e e m e d t o b e t h e c l a s s o f t h e o b j e c t [ 2 7 ] . T h e i m a g e s u b - s a m p l i n g i s a f e a t u r e l e s s c l a s s i fi e r , a l s o c a l l e d t h e a p p e a r a n c e - b a s e d c l a s s i fi e r . 3 . 3 . 1 T e m p l a t e M a t c h i n g T h e r e a r e m a n y a p p r o a c h e s t o t e m p l a t e m a t c h i n g b a s e d o n t h e c h a r a c t e r i s t i c s o f t h e t e m p l a t e . A c o m p l e t e t a x o n o m y o f t h e s e i n c l u d e : 1 ) s o l i d 2 - D t e m p l a t e s , 2 ) l i n e t e m p l a t e s , a n d 3 ) p o i n t - s e t t e m p l a t e s . A S o l i d 2 - D T e m p l a t e s I n s o l i d 2 - D t e m p l a t e s , a t w o - d i m e n s i o n a l i m a g e o f t h e d e s i r e d o b j e c t i s s t o r e d , a n d i s e i t h e r c o n v o l v e d o v e r t h e e n t i r e i m a g e o r o v e r a r e g i o n o f t h e i n p u t i m a g e . T h e t y p i c a l m e a s u r e s f o r t h e g o o d n e s s o f t h e m a t c h b e t w e e n t h e t e m p l a t e a n d t h e i n p u t i m a g e a r e : ( 1 ) s u m o f a b s o l u t e d i f f e r e n c e ( S A D ) , ( i i ) m e a n s q u a r e d i s t a n c e 1 1 2 ( M S D ) , a n d ( i i i ) c o r r e l a t i o n ( C o r r ) . T h e y a r e e a c h d e fi n e d f o r a n M x N i m a g e t o b e [ 2 2 ] : M N S A D : z z | 1 ( i , j ) — T ( i , j ) , ( 3 . 2 5 ) i = l j = l M N 2 M S D = Z 2 ( I ( i , j ) — T ( i , j ) ) , ( 3 . 2 6 ) i = 1 j = l M N C o r r : ’ = " ' = ‘ , ( 3 . 2 7 ) M N . . 2 M N . . 2 J 2 2 1 0 , 1 ) - 2 2 T 0 , » i = 1 j = l i = l j = l w h e r e I i s t h e i n p u t i m a g e , a n d T i s t h e t e m p l a t e . W h e n t h e c o r r e l a t i o n m e a s u r e i s u s e d , t h e 2 - D t e m p l a t e m a t c h i n g i s a l s o c a l l e d a c o r r e l a t o r d e t e c t o r , s i n c e t h e o p e r a t i o n c a n b e a p p l i e d t o a n e n t i r e i m a g e a n d d e t e c t i o n o c c u r s i f t h e c o r r e l a t i o n e x c e e d s a t h r e s h o l d [ 4 4 ] . B L i n e T e m p l a t e s T h e l i n e t e m p l a t e s a r e m o s t o f t e n u s e d a s r e p r e s e n t a t i o n s f o r H o u g h t r a n s f o r m s . T h e b a s i c H o u g h t r a n s f o r m d e t e c t s l i n e s i n i m a g e r y w h i l e t h e g e n e r a l i z e d H o u g h t r a n s f o r m c a n d e t e c t a n y r e a s o n a b l y d e fi n e d s h a p e [ 1 5 9 ] . T h i s a p p r o a c h i s n o t c o n s i d e r e d f o r t h e a i r b a g s u p p r e s s i o n a p p l i c a t i o n d u e t o t h e c o m p l e x i t y o f t h e s h a p e o f t h e h u m a n o c c u p a n t , a n d t h e r e s u l t i n g d i f fi c u l t y i n d e fi n i n g t h e o c c u p a n t s h a p e i n a n a l g e b r a i c f o r m . 1 1 3 E c o n t ( p i ) = ( g — ] ] p j — p i _ l ] | ) 2 ’ ( 3 . 2 9 ) C P o i n t S e t T e m p l a t e s T h e r e a r e t w o b a s i c m e t h o d s f o r m a t c h i n g p o i n t s e t s : ( i ) p o i n t - t o - p o i n t c o r r e s p o n d e n c e a n d ( i i ) s e t - l e v e l p o i n t m a t c h i n g . T h e d e f o r m a b l e t e m p l a t e ( o r s n a k e ) i s a n e x a m p l e o f t h e p o i n t - t o - p o i n t c o r r e s p o n d e n c e m e t h o d s , a n d t h e H a u s d o r f f d i s t a n c e i s a n e x a m p l e o f t h e s e t - l e v e l p o i n t m a t c h i n g [ 2 3 ] [ 1 5 9 ] . D e f o r m a b l e t e m p l a t e s a r e a l s o c a l l e d d e f o r m a b l e c o n t o u r s . a c t i v e c o n t o u r s , o r s n a k e s . T h e y fi t a k n o w n c l o s e d c u r v e t o a c o n t o u r w i t h i n a n i n p u t i m a g e . T h e c o n t o u r i s a c t u a l l y a c h a i n o f d i s c r e t e p o i n t s r a t h e r t h a n a n a c t u a l c o n t i n u o u s c o n t o u r , s o i t i s c o n s i d e r e d p o i n t s e t m a t c h i n g . T h e a l g o r i t h m a s s i g n s a n e n e r g y f u n c t i o n t o e a c h p o s s i b l e c o n t o u r s h a p e i n a n i m a g e , a n d t h e n t h e c o n t o u r w i t h t h e l o w e s t e n e r g y i s c o n s i d e r e d t h e b e s t m a t c h w i t h t h e i n c o m i n g t e m p l a t e [ 1 5 9 ] . I n t h e d i s c r e t e f o r m , t h e e n e r g y f u n c t i o n a l i s d e fi n e d o v e r a s e t o f N p o i n t s t o b e [ 1 5 9 ] : N E = Z ( a i . E 1 1 1 ( p i ) + ' 6 1 . E c u r v ( p i ) + V i . E i m a g e ( p i ) ) ’ ( 3 2 8 ) c o 1 : ] w h e r e t h e t e r m s a . , , B _ , a n d y _ a r e w e i g h t s t o s e t t h e r e l a t i v e i m p o r t a n c e o f e a c h t e r m I l l i n t h e e n e r g y f u n c t i o n a l . E a c h o f t h e t h r e e t e r m s i n e q u a t i o n ( 3 . 2 8 ) c o n t r o l s a d i f f e r e n t c h a r a c t e r i s t i c o f t h e c o n t o u r . E ( ( p ) c o n t r o l s t h e c o n t i n u i t y o f t h e c u r v e a n d i s d e fi n e d t o b e [ 1 5 9 ] : C O " I 1 1 4 w h e r e d i s t h e a v e r a g e d i s t a n c e b e t w e e n a l l t h e n e i g h b o r i n g p o i n t s . T h i s t e r m p r o m o t e s e q u a l s p a c i n g b e t w e e n t h e p o i n t s . T h e n e x t t e r m , E ( p ) , c o n t r o l s t h e c u r v I s m o o t h n e s s o f t h e c o n t o u r . I t i s t h e s e c o n d d e r i v a t i v e o f t h e c o n t o u r a n d i s d e fi n e d t o b e [ 1 5 9 ] : E < p . ) = | | p . — 2 - p . + p _ ( 3 . 3 0 ) c u r v I l l l — I + l T h e l a s t t e r m i s a c t u a l l y t h e o n l y t e r m t h a t i n v o l v e s t h e i m a g e v a l u e s . I t i s a m e a s u r e o f t h e g r a d i e n t o f t h e i n t e n s i t y i m a g e a t e a c h p o i n t o n t h e c o n t o u r . I t i s d e fi n e d t o b e [ 1 5 9 ] : E ( p _ ) = — ” V I " . ( 3 . 3 1 ) i m a g e I T h e d e f o r m a b l e t e m p l a t e a l g o r i t h m i s d e s i g n e d t o i t e r a t e m u l t i p l e t i m e s o v e r t h e i m a g e , u n t i l a p r e — d e fi n e d p e r c e n t a g e o f p o i n t s o n t h e c o n t o u r r e a c h e s a m i n i m u m . T h e i t e r a t i o n c a n b e c o n t r o l l e d b y a n u m b e r o f s e a r c h a l g o r i t h m s . O n e o f t h e c o m m o n a l g o r i t h m s i s t h e g r e e d y s e a r c h a l g o r i t h m [ 1 5 9 ] . T h i s a l g o r i t h m c o n s i s t s o f t w o s t e p s , t h e fi r s t s t e p s e a r c h e s i n a s m a l l n e i g h b o r h o o d o f e a c h p o i n t a n d fi n d s t h e n e w p o i n t t h a t p r o v i d e s a m i n i m a l e n e r g y c o n t r i b u t i o n . T h e n e x t s t e p l o o k s f o r a n y s h a r p c o r n e r s t h a t m a y h a v e r e s u l t e d a n d r e m o v e s t h e m b y s e t t i n g , 6 , = 0 l w h i c h e f f e c t i v e l y i g n o r e s t h e c u r v a t u r e ( t h e c u r v a t u r e i s m a x i m u m a t a c o m e r ) . N o t e t h a t t h e d e f o r m a b l e t e m p l a t e a l g o r i t h m p e r f o r m s a 1 - t o - 1 m a t c h i n g o f e v e r y p o i n t o n t h e k n o w n c o n t o u r w i t h a p o i n t i n t h e i n p u t i m a g e . I f t h e r e a r e 1 1 5 o c c l u s i o n s o r g a p s i n t h e i m a g e c o n t o u r , d u e t o i l l u m i n a t i o n e f f e c t s o r o t h e r p r o b l e m s i n t h e i m a g e , i t w i l l f a i l t o fi n d p r o p e r p o i n t m a t c h e s a n d m a y n o t c o n v e r g e p r o p e r l y . T h e H a u s d o r f f d i s t a n c e m e t r i c d o e s n o t r e q u i r e t h e s a m e n u m b e r o f p o i n t s t o e x i s t i n t h e t e m p l a t e a s i n t h e i n p u t i m a g e . T h e i n p u t i m a g e m u s t b e r e d u c e d t o a b i n a r y e d g e i m a g e t h r o u g h e d g e p r o c e s s i n g a n d t h r e s h o l d i n g , a n d t h e n t h e s e e d g e s a r e t r e a t e d a s a p o i n t s e t a n d c o m p a r e d w i t h t h e t e m p l a t e p o i n t s e t . T h e H a u s d o r f f d i s t a n c e , H ( A , B ) , b e t w e e n t w o p o i n t s e t s , A = { a 1 , a 2 , . . . , a } a n d B = { b I , b 2 , . . . , b } , n m i s [ 4 3 ] : H ( A , B ) = m a X ( h ( A , B ) , h ( B , A ) ) , ( 3 . 3 2 ) w h e r e h ( A , B ) = m a x [ m i n l l a — b H ] . . ( 3 . 3 3 ) a e A b e B T h e a b o v e d e fi n i t i o n i s m o r e c l e a r l y u n d e r s t o o d w h e n E q u a t i o n ( 3 . 3 2 ) i s s u b s t i t u t e d i n t o E q u a t i o n ( 3 . 3 1 ) , a n d t h e e q u a t i o n f o r H a u s d o r f f d i s t a n c e i s r e - w r i t t e n a s [ 4 3 ] : H ( A , B ) = m a x | : m 3 X [ m i n | | a — b ] , m a x [ m i n ” b — a m ] . ( 3 . 3 4 ) a e A b e B b e B a e A T h e H a u s d o r f f d i s t a n c e i d e n t i fi e s t h e p o i n t a e A t h a t i s a t t h e f a r t h e s t d i s t a n c e f r o m a n y o f t h e p o i n t s i n s e t B , a n d a l s o m e a s u r e s t h e d i s t a n c e f r o m t h a t p o i n t a e A t o i t s c l o s e s t n e i g h b o r i n g p o i n t i n t h e s e t B . T h e H a u s d o r f f d i s t a n c e m e t r i c e f f e c t i v e l y d e fi n e s a r a n k i n g o f e a c h p o i n t i n s e t A , b a s e d o n t h e d i s t a n c e b e t w e e n i t a n d i t s H 6 n e a r e s t n e i g h b o r i n t h e p o i n t s e t B . T h i s i s a c c o m p l i s h e d t h r o u g h t h e m i n | | a ~ b | | o p e r a t i o n i n e q u a t i o n ( 3 . 1 6 ) . I t t h e n u s e s t h e l a r g e s t r a n k i n g o f e a c h o f t h e s e p o i n t s ( t h e m a x o p e r a t i o n i n t h e e q u a t i o n ) . U n l i k e t h e p r e v i o u s p o i n t s e t m a t c h i n g a l g o r i t h m , t h e H a u s d o r f f a l g o r i t h m d o e s n o t a t t e m p t t o fi n d a s p e c i fi c c o r r e s p o n d e n c e b e t w e e n p o i n t s i n A w i t h p o i n t s i n B . T h i s i m p l e m e n t a t i o n 0 f t h e H a u s d o r f f d i s t a n c e i s d e fi n e d f o r a fi x e d 5 e t 0 f p o i n t s i n s e t A r e l a t i v e t o a fi x e d s e t o f p o i n t s i n s e t B . T h e H a u s d o r f f d i s t a n c e c a n a l s o b e u s e d t o fi n d t h e b e s t m a t c h i n g s e t o f p o i n t s b y d e fi n i n g a g r o u p G o f t r a n s f o r m a t i o n s ( u s i n g t h e t h e o r e t i c a l d e fi n i t i o n o f a g r o u p f r o m a b s t r a c t a l g e b r a ) t o b e [ 4 3 L H ( A , B ) = m i n H ( A , g o B ) , ( 3 . 3 5 ) G g e G w h e r e G i s a g r o u p o f t r a n s f o r m a t i o n s . T h e g r o u p G i s t h e s e t o f a l l t r a n s l a t i o n s i f | | ° | | i n e q u a t i o n ( 3 . 3 4 ) i s a n y n o r m , a n d t h e g r o u p G i s t h e s e t o f a l l r i g i d m o t i o n s i f | | ° | | i s t h e E u c l i d e a n n o r m . I n e q u a t i o n ( 3 . 3 5 ) A w o u l d b e t h e s e t o f p o i n t s f r o m t h e i n p u t i m a g e , a n d B w o u l d b e t h e s e t o f r e f e r e n c e t e m p l a t e p o i n t s . 3 . 3 . 2 I m a g e S u b - s a m p l i n g I m a g e s u b - s a m p l i n g i s a s i m p l e a p p e a r a n c e - b a s e d f e a t u r e v e c t o r m e c h a n i s m . I n i m a g e s u b - s a m p l i n g a f e a t u r e v e c t o r i s g e n e r a t e d b y p e r f o r m i n g a r a s t e r s c a n o f t h e i m a g e , k e e p i n g e v e r y 1 - o f - N p i x e l s , a n d s t o r i n g t h e m i n a v e c t o r , a s s h o w n i n F i g u r e 3 . 1 5 . I t i s a v e r y s i m p l e m e t h o d t h a t i s t y p i c a l l y p r e c e d e d b y a n i m a g e t r a n s l a t i o n 1 1 7 o p e r a t i o n t o p r o p e r l y a l i g n t h e f e a t u r e v e c t o r s . I n a p p e a r a n c e - b a s e d p r o c e s s i n g , t h e a c t u a l p i x e l v a l u e a t e a c h o f t h e s a m p l e d r e g i o n s c a n b e i n c l u d e d i n t h e f e a t u r e v e c t o r , o r t h e m e a n o r m e d i a n v a l u e o f a w i n d o w a b o u t t h e s a m p l e d p i x e l c a n b e i n c l u d e d . T h e w a v e l e t r e p r e s e n t a t i o n i s a n a t u r a l r e p r e s e n t a t i o n t o b e u s e d f o r a p p e a r a n c e - b a s e d r e c o g n i t i o n [ 9 ] . R e c a l l t h e H a a r w a v e l e t s p r o v i d e d i r e c t i o n a l e d g e i n f o r m a t i o n r e g a r d i n g a n o b j e c t a t v a r y i n g r e s o l u t i o n s . T h e a p p e a r a n c e v e c t o r c a n b e g e n e r a t e d u s i n g d i f f e r e n t r e s o l u t i o n s a t d i f f e r e n t a r e a s w i t h i n t h e i m a g e . ( C ) F i g u r e 3 . 1 5 : G e n e r a t i o n o f f e a t u r e v e c t o r f o r i m a g e s u b - s a m p l i n g f o r a n a d u l t i m a g e , ( a ) o r i g i n a l i m a g e , ( b ) 1 0 : 1 s u b - s a m p l e d i m a g e , a n d ( c ) r a s t e r i z e d s u b - s a r n p l e d i m a g e . 1 1 8 ( d ) F i g u r e 3 . 1 6 : A p p e a r a n c e - b a s e d f e a t u r e c o m p a r i s o n , ( a ) s u b - s a m p l e d e m p t y i m a g e , ( b ) s u b - s a m p l e d a d u l t i m a g e , ( c ) r a s t e r i z e d e m p t y i m a g e , a n d ( d ) r a s t e r i z e d a d u l t i r m a g e . 3 . 4 R e s u l t s o f F e a t u r e E x t r a c t i o n R e c a l l f r o m t h e a b o v e d i s c u s s i o n s t h a t f o r o u r a i r b a g s u p p r e s s i o n a p p l i c a t i o n , w e b e l i e v e t h e e d g e ~ b a s e d r e p r e s e n t a t i o n s h a v e t h e h i g h e s t l i k e l i h o o d o f p r o v i d i n g t h e d i s c r i m i n a t i o n p o w e r n e e d e d f o r b o t h t h e t w o - c l a s s a n d o u r f o u r - c l a s s p r o b l e m s . S i n c e i t i s c l e a r f r o m t h e i m a g e r y t h a t t h e H a a r w a v e l e t t r a n s f o r m i s s i m p l y a n e d g e d e t e c t o r a t v a r y i n g r e s o l u t i o n s , w e w i l l c o n c e n t r a t e s i m p l y o n t h e e d g e - b a s e d f e a t u r e s f o r t h i s s t a g e o f t h e r e s e a r c h , s i n c e t h e r e d o e s n o t a p p e a r t o b e a n y b e n e fi t t o b e g a i n e d f r o m t h e w a v e l e t s . W e o b s e r v e d f r o m t h e s i l h o u e t t e i m a g e s t h a t w e a r e u n a b l e t o d i f f e r e n t i a t e a c h i l d f r o m a n e m p t y s e a t , a n d t h e r e f o r e w e w i l l a l s o n o t c o n s i d e r 1 1 9 t h e s e . F i g u r e 3 . 1 7 s h o w s t h e s e g m e n t a t i o n a n d t h e e d g e i m a g e s f o r a i n f a n t a n d a n a d u l t . F i g u r e 3 . 1 7 : O r i g i n a l s e g m e n t a t i o n s a n d e d g e i m a g e s f o r R F I S a n d a d u l t c l a s s e s , ( a ) R F I S s e g m e n t a t i o n , ( b ) a d u l t s e g m e n t a t i o n , ( c ) R F I S e d g e i m a g e , a n d ( ( 1 ) a d u l t e d g e I m a g e . F o r f e a t u r e s e t s w e a l s o l o o k e d a t t h e a p p e a r a n c e - b a s e d m e t h o d s a n d t h e m o m e n t s m e t h o d s f o r t h e g e n e r a t i o n o f t h e a c t u a l f e a t u r e v e c t o r s . S i n c e w e a r e u n a b l e t o e n s u r e w h e r e i n t h e v e h i c l e t h e o c c u p a n t i s l o c a t e d , w e b e l i e v e t h a t a p p e a r a n c e — b a s e d m e t h o d s w i l l b e i n f e r i o r t o m o m e n t s . A l s o , w i t h m o m e n t s , t h e t a s k o f f e a t u r e s e l e c t i o n i s m o r e u n d e r s t a n d a b l e , s i n c e t h e c l a s s i fi c a t i o n o f t h e o c c u p a n t s W i l l b e d e p e n d e n t o n c e r t a i n s t r u c t u r a l c h a r a c t e r i s t i c s t h a t c a n b e c a p t u r e d b y v a r y i n g t h e o r d e r o f m o m e n t s . F o r a p p e a r a n c e - b a s e d f e a t u r e v e c t o r s , h o w e v e r , f e a t u r e s e l e c t i o n w i l l c o n s i s t o f s i m p l y i g r o r i n g i n f o r m a t i o n f r o m s p e c i fi c p i x e l s a n d n o t a t a 1 2 0 g l o b a l s t r u c t u r a l l e v e l . I n o r d e r t o u n d e r s t a n d t h e c a p a b i l i t i e s o f t h e m o m e n t s , w e m u s t a d d r e s s t w o k e y p o i n t s ( i ) w h a t m o m e n t o r d e r t o u s e f r o m t h e i r r e c o n s t r u c t i o n s o f t h e e d g e i m a g e r y , a n d ( i i ) w h a t s p e c i fi c m o m e n t f a m i l y t o u s e . W e h a v e e v a l u a t e d t h e e f f e c t o f m o m e n t o r d e r o n c l a s s i fi c a t i o n a c c u r a c y . F o r s i m p l i c i t y , w e h a v e o n l y u s e d t h e L e g e n d r e m o m e n t s t o e x p l o r e t h e e f f e c t s o f m o m e n t o r d e r o n r e c o n s t r u c t i o n , s i n c e o u r g o a l i s t o d e fi n e t h e b e s t o r d e r n u m b e r f o r r e p r e s e n t i n g t h e e d g e - b a s e d i m a g e s . F i g u r e 3 . 1 8 s h o w s t h e r e s u l t a n t r e c o n s t r u c t i o n s u s i n g m o m e n t s u p t o t h e 2 5 ’ " , 3 5 t h , a n d 4 5 “ 1 o r d e r f o r b o t h o f t h e i m a g e s s h o w n i n F i g u r e 3 . 1 7 . C l e a r l y , t h e r e i s a s i g r i fi c a n t i m p r o v e m e n t i n t h e a p p e a r a n c e o f t h e r e c o n s t r u c t i o n a s t h e m o m e n t o r d e r i s i n o r e a s e d . T h e n e x t i s s u e t h a t m u s t b e a d d r e s s e d i s w h i c h f a m i l y o f m o m e n t s p r o v i d e s t h e b e s t d i s c r i m i n a t i o n a b i l i t y . F o r t h i s t a s k w e h a v e c o m p a r e d t h e g e o m e t r i c , L e g e n d r e , a n d Z e r n i k e m o m e n t s . W e h a v e t e s t e d t h e m f o r 2 5 m , 3 5 m , a n d 4 5 " 1 o r d e r m o m e n t s . W e c o m p a r e d t h e m o m e n t s f o r t h e t w o - c l a s s p r o b l e m o f i n f a n t s v e r s u s a d u l t s . I n o r d e r t o t e s t t h e s e p a r a b i l i t y o f t h e v a r i o u s m o m e n t f a m i l i e s , w e c o m p a r e d t h e Z - s t a t i s t i c f r o m t h e M a n n - W h i t n e y t e s t , w h i c h t e s t s t h e i n h e r e n t s e p a r a b i l i t y b e t w e e n t w o d i s t r i b u t i o n s . S e e C h a p t e r 4 f o r a d e t a i l e d d e s c r i p t i o n o f t h i s t e s t . W e c o m p u t e d t h e Z - s t a t i s t i c f o r a l l o f t h e m o m e n t s , a n d t h e n s o r t e d t h e l i s t o f m o m e n t s f r o m s m a l l e s t t o t h e l a r g e s t Z - s t a t i s t i c . T h e r e s u l t s o f t h e s e t e s t s a r e p r o v i d e d i n F i g u r e 3 . 1 9 t h r o u g h F i g u r e 3 . 2 1 . 1 2 1 F i g u r e 3 . 1 8 : R e c o n s t r u c t i o n s o f R F I S a n d a d u l t i m a g e s , ( a ) R F I S a t 2 5 t h o r d e r , ( b ) R F I S a t 3 5 ‘ “ o r d e r , a n d ( c ) R F I S a t 4 5 ‘ “ o r d e r , ( d ) a d u l t a t 2 5 ‘ “ o r d e r , ( e ) a d u l t a t 3 5 ‘ “ o r d e r , a n d ( 1 ) a d u l t a t 4 5 t h o r d e r f o r F i g u r e 3 . 1 7 . N o t e t h a t f o r a l l t h e t e s t s , t h e Z e r n i k e m o m e n t s w e r e c o n s i d e r a b l y w o r s e t h a n t h e g e o m e t r i c o r t h e L e g e n d r e m o m e n t s f o r d i s c r i m i n a t i n g t h e t w o c l a s s e s . A c r o s s a l l o f t h e m o m e n t s , t h e g e o m e t r i c m o m e n t s p r o v i d e d g r e a t e r s e p a r a b i l i t y , h o w e v e r , t h e L e g e n d r e m o m e n t s w i t h t h e h i g h e s t Z - s t a t i s t i c w e r e s l i g h t l y b e t t e r t h a n t h e c o r r e s p o n d i n g g e o m e t r i c m o m e n t s . 1 2 2 4 5 - 4 0 - 1 9 3 5 - 5 t o . ' R i s o - g 3 2 5 - j E Z O T 9 9 0 I f r ! é 1 5 - L e g J ; 5 1 0 - 2 5 _ Z e r 0 . T S E B R E E S E E S S F P F N N N M ‘ O S o r t e d F e a t u r e N u m b e r F i g u r e 3 . 1 9 : S o r t e d M a n n - W h i t n e y Z - S t a t i s t i c f o r 2 5 t h o r d e r m o m e n t s . I : 9 6 0 . I ' M a n n - W h i t n e y Z - s t a t 1 0 9 1 6 3 2 1 7 7 1 3 8 5 4 5 9 5 6 4 9 S o r t e d F e a t u r e N u m b e r F i g u r e 3 . 2 0 : S o r t e d M a n n - W h i t n e y Z - s t a t i s t i c f o r 3 5 t h o r d e r m o m e n t s . 1 2 3 t a t s - Z y e n t i h W - n n a M w - fl m l ‘ m w - ( O L D Q ' s - ( O D I N m c o N V G N O O N O Q C O V N C O V V W O N Q Q O O P S o r t e d F e a t u r e N u m b e r F i g u r e 3 . 2 1 : S o r t e d M a n n - W h i t n e y Z - s t a t i s t i c f o r 4 5 t h o r d e r m o m e n t s . 3 . 5 S u m m a r y F o r t h e t a s k o f f e a t u r e e x t r a c t i o n , w e h a v e p r e s e n t e d a n u m b e r o f p o s s i b l e d a t a r e p r e s e n t a t i o n s , i n c l u d i n g : g r a y s c a l e , S i l h o u e t t e , e d g e , a n d w a v e l e t s . W e d e t e r m i n e d t h a t f o r o u r a i r b a g s u p p r e s s i o n a p p l i c a t i o n , t h e e d g e r e p r e s e n t a t i o n w a s t h e m o s t s u i t a b l e . W e a l s o p r e s e n t e d t w o a l t e r n a t i v e m e t h o d s f o r d e v e l o p i n g a f e a t u r e v e c t o r f r o m t h e e d g e i m a g e s , n a m e l y m o m e n t a n a l y s i s a n d a p p e a r a n c e - b a s e d . F o r t h e a i r b a g a p p l i c a t i o n , t h e m o m e n t a n a l y s i s a p p e a r e d t h e m o s t s u i t a b l e s i n c e w e a r e t r y i n g t o d e v e l o p f e a t u r e s t h a t d e s c r i b e t h e u n d e r l y i n g s h a p e o f t h e o c c u p a n t a t a g l o b a l l e v e l , w h i l e t h e a p p e a r a n c e m e t h o d s d e s c r i b e t h e o c c u p a n t a t t h e p i x e l l e v e l . 1 2 4 W e d e m o n s t r a t e d t h a t t h e h i g h e r m o m e n t o r d e r s p r o v i d e t h e b e s t r e c o n s t r u c t i o n a c c u r a c y f o r t h e s e e d g e i m a g e s , a n d w e c o n s e q u e n t l y f o c u s e d o n t h e 4 5 t h o r d e r m o m e n t s . M o m e n t s h i g h e r t h a n 4 5 t h o r d e r r e q u i r e a r i t h m e t i c p r e c i s i o n t h a t e x c e e d s t h e I E E E d o u b l e p r e c i s i o n fl o a t i n g - p o i n t a r i t h m e t i c , a n d , d u e t o t h e r e a l - t i m e n a t u r e o f o u r s y s t e m , w e d e c i d e d t o l i m i t o u r s e l v e s t o d o u b l e p r e c i s i o n . W e p e r f o r m e d a n a n a l y s i s o f w h i c h m o m e n t f a m i l y p r o v i d e s t h e b e s t s e p a r a b i l i t y b e t w e e n c l a s s e s f o r 0 u r a i r b a g s u p p r e s s i o n a p p l i c a t i o n . W e c o m p a r e d g e o m e t r i c , L e g e n d r e , a n d Z e r n i k e m o m e n t s a n d f o u n d t h a t t h e r e s u l t s w i t h Z e r n i k e m o m e n t s w e r e f a r w o r s e t h a n t h e o t h e r t w o m o m e n t t y p e s . A l s o w e f o u n d t h a t , w h i l e t h e g e o m e t r i c m o m e n t s p r o v i d e d g e n e r a l l y b e t t e r s e p a r a b i l i t y f o r a l l m o m e n t o r d e r s , t h e L e g e n d r e w e r e s l i g h t l y b e t t e r f o r t h e f e a t u r e s w i t h t h e h i g h e s t d i s c r i m i n a t i o n a b i l i t y . A l s o , s i n c e t h e L e g e n d r e m o m e n t s f o r m a n o r t h o g o n a l b a s i s w i t h i n w h i c h t h e i m a g e i s r e p r e s e n t e d , w e b e l i e v e t h i s u l t i m a t e l y w i l l a l l o w u s t o r e q u i r e f e w e r m o m e n t s . 1 2 5 C h a p t e r 4 . F e a t u r e S e l e c t i o n M e t h o d s F e a t u r e s e l e c t i o n i s a c r i t i c a l c o m p o n e n t o f m a n y p a t t e r n r e c o g l i t i o n a p p l i c a t i o n s . F e a t u r e s e l e c t i o n i s v e r y s i m p l y d e fi n e d a s : “ g i v e n a s e t o f d f e a t u r e s , s e l e c t a s u b s e t o f s i z e m f e a t u r e s t h a t l e a d s t o t h e s m a l l e s t c l a s s i fi c a t i o n e r r o r ” [ 2 7 ] . T h e r e a r e t h r e e p r i m a r y g o a l s i n f e a t u r e s e l e c t i o n , i n c l u d i n g [ 7 2 ] : 1 ) r e d u c e t h e p r o c e s s i n g t i m e t o e x t r a c t f e a t u r e s , 2 ) i m p r o v e t h e c l a s s i fi c a t i o n a c c u r a c y , a n d 3 ) i m p r o v e t h e r e l i a b i l i t y o f t h e s y s t e m p e r f o r m a n c e e s t i m a t e s ( i . e . , s y s t e m g e n e r a l i z a b i l i t y ) . I t i s e a s y , w i t h t h e c u r r e n t s t a t e - o f - t h e - a r t p r o c e s s o r s , t o e x t r a c t m a n y f e a t u r e s f r o m a n i m a g e i n r e a l - t i m e . A l s o , s o m e o f t h e f e a t u r e e x t r a c t i o n m e t h o d s m e n t i o n e d i n t h e p r e v i o u s s e c t i o n s c a n p r o d u c e a l a r g e n u m b e r o f f e a t u r e s . F o r e x a m p l e , c o m p u t i n g t h e m o m e n t s o f a n i m a g e u p t o t h e 4 5 t h o r d e r g e n e r a t e s 1 , 0 8 1 f e a t u r e s . A p p e a r a n c e - b a s e d m e t h o d s c a n a l s o g e n e r a t e a l a r g e n u m b e r o f p o t e n t i a l f e a t u r e s . F o r e x a m p l e , s u b - s a m p l i n g o u r 4 0 0 x 3 2 0 p i x e l i m a g e a t e v e r y 1 0 t h p i x e l g e n e r a t e s a f e a t u r e v e c t o r w i t h 1 2 8 0 c o m p o n e n t s . T h e c l a s s i fi c a t i o n p e r f o r m a n c e o f t h e o p t i m a l B a y e s r u l e i m p r o v e s m o n o t o n i c a l l y w i t h t h e n u m b e r o f f e a t u r e s . T h i s i m p l i e s t h a t a d d i n g m o r e f e a t u r e s c a n n e v e r r e d u c e c l a s s i fi c a t i o n p e r f o r m a n c e [ 6 6 ] . U n f o r t u n a t e l y , s i n c e w e a r e r a r e l y a b l e t o a t t a i n t h i s o p t i m a l r u l e d u e t o l a c k o f i n f o r m a t i o n r e g a r d i n g u n d e r l y i n g 1 2 6 d i s t r i b u t i o n s , t h e ‘ c u r s e o f d i m e n s i o n a l i t y ’ c o m e s i n t o p l a y . T h i s s t a t e s t h a t t h e p e r f o r m a n c e o f t h e c l a s s i fi e r , i n t h e p r e s e n c e o f a fi n i t e n u m b e r o f t r a i n i n g s a m p l e s , m a y n o t a c t u a l l y i m p r o v e a s t h e n u m b e r o f f e a t u r e s i n c r e a s e s . I n m a n y a p p l i c a t i o n s t h e p e r f o r m a n c e a c t u a l l y d e g r a d e s a s t h e n u m b e r o f f e a t u r e s i n c r e a s e s b e y o n d s o m e o p t i m a l n u m b e r [ 2 7 ] [ 4 5 ] . O t h e r a u t h o r s h a v e f o u n d , h o w e v e r , t h a t , i n m o s t r e a l - w o r l d a p p l i c a t i o n s , i f a r e a s o n a b l e n u m b e r o f t r a i n i n g s a m p l e s h a v e b e e n c o l l e c t e d t h e n e v e r y f e a t u r e p r o v i d e s s o m e a m o u n t o f d i s c r i m i n a t i o n a b i l i t y , t h o u g h i t m a y b e v e r y s m a l l [ 6 7 ] . W e w i l l i n v e s t i g a t e w h e t h e r t h e c u r s e o f d i m e n s i o n a l i t y i s a f a c t o r i n o u r a p p l i c a t i o n . A s i d e f r o m t h e c l a s s i fi e r p e r f o r m a n c e , S i n c e t h e a i r b a g s u p p r e s s i o n s y s t e m i s d e s i g n e d t o b e a n e m b e d d e d r e a l - t i m e a p p l i c a t i o n , t h e r e i s c l e a r l y a c o m p u t a t i o n a l c o m p l e x i t y l i m i t w i t h i n w h i c h t h e p r o c e s s i n g h a r d w a r e m u s t o p e r a t e . T h e m o s t s t r a i g h t f o r w a r d m e a n s o f f e a t u r e s e l e c t i o n w o u l d b e t o t r y a l l p o s s i b l e c o m b i n a t i o n s o f s u b s e t s o f s i z e m f r o m t h e i n i t i a l s e t o f d f e a t u r e s , b u t t h i s l e a d s t o a c o m b i n a t o r i a l e x p l o s i o n , s i n c e t h e n u m b e r o f s u b s e t s i n c r e a s e s e x p o n e n t i a l l y . F o r t h e a i r b a g s u p p r e s s i o n a p p l i c a t i o n , w e u s e m o m e n t s u p t o t h e 4 5 t h o r d e r , p r o d u c i n g 1 0 8 1 f e a t u r e s , w h i l e t o s u p p o r t o u r r e a l - t i m e r e q u i r e m e n t w e w o u l d l i k e t o l i m i t t h e n u m b e r o f f e a t u r e s t o n o g r e a t e r t h a n 5 0 f e a t u r e s . T h i s w o u l d r e s u l t i n 5 . 1 x 1 0 8 6 p o s s i b l e s u b s e t s o f s i z e 5 0 f r o m t h i s i n i t i a l s e t o f 1 0 8 1 . I f s u b s e t s o f a l l p o s s i b l e S i z e s w e r e c o n s i d e r e d , t h e r e w o u l d b e g r e a t e r t h a n 2 . 6 X 1 0 3 2 5 p o s s i b l e c o m b i n a t i o n s . I t i s a l s o w e l l k n o w n t h a t a n y n o n - e x h a u s t i v e s e a r c h m e t h o d c a n n o t b e g u a r a n t e e d t o fi n d t h e o p t i m a l f e a t u r e s e t [ 2 7 ] . T w o c o m m o n a n d d i s t i n c t m e c h a n i s m s f o r f e a t u r e s e l e c t i o n h a v e b e e n d e v i s e d t o m a k e t h e p r o b l e m c o m p u t a t i o n a l l y m a n a g e a b l e , t h e w r a p p e r m e t h o d a n d t h e fi l t e r 1 2 7 m e t h o d [ 5 7 ] [ 6 4 ] [ 6 5 ] . W r a p p e r m e t h o d s u s e a s p e c i fi c c l a s s i fi e r , a n d t h e n u s e t h e r e s u l t a n t p r o b a b i l i t y o f e r r o r f r o m t h e c l a s s i fi e r , t o s e l e c t t h e f e a t u r e s u b s e t s . T h e f e a t u r e s e l e c t i o n a l g o r i t h m i s w r a p p e d i n s i d e t h e c l a s s i fi e r . F i l t e r m e t h o d s a n a l y z e f e a t u r e s i n d e p e n d e n t l y o f t h e c l a s s i fi e r a n d u s e a ‘ g o o d n e s s ’ m e t r i c t o d e c i d e w h i c h f e a t u r e s s h o u l d b e k e p t . F i g u r e 4 . 1 d e m o n s t r a t e s t h e d i f f e r e n c e b e t w e e n t h e fi l t e r a n d t h e w r a p p e r m e t h o d s [ 5 7 ] . A l l A l l ' F e a t u r e S u b s e t - I y S e l e c t l o n F e a t u r e S u b s e t F e a t u r e S u b s e t S e l e c t i o n G e n e r a t i o n “ O p t i m a l ” I F e a t u r e S u b s e t l F e a t u r e s ] ] E v a l u a t l o n C l a s s i fi c a t i o n . C l a s s i f i c a t i o n A l g o r i t h m A l g o r i t h \ m — ) P e r f o r m a n c e v “ O p t i m a l ” P e r f o r m a n c e F e a t u r e S u b s e t ( a ) ( b ) F i g u r e 4 . 1 : M e t h o d s o f f e a t u r e s e l e c t i o n , ( a ) fi l t e r a p p r o a c h , a n d ( b ) w r a p p e r a p p r o a c h [ 2 4 ] . O n e k e y i s s u e i n c h o o s i n g a f e a t u r e s e l e c t i o n m e t h o d i s t h e c h o i c e o f t h e s e l e c t i o n c r i t e r i o n [ 2 7 ] . F o r w r a p p e r m e t h o d s t h e o b v i o u s c h o i c e o f a c r i t e r i o n i s t h e c l a s s i fi c a t i o n e r r o r . F o r t h e s e m e t h o d s w e w i l l c h o o s e o n l y t h o s e f e a t u r e s t h a t r e s u l t 1 2 8 i n a n e t r e d u c t i o n i n t h e p r o b a b i l i t y o f c l a s s i fi c a t i o n e r r o r . O f c o u r s e , t h e u s e o f a d i f f e r e n t c l a s s i fi e r i n t h e w r a p p e r c a n l e a d t o t h e s e l e c t i o n o f d i f f e r e n t f e a t u r e s [ 2 7 ] . I n t h e fi l t e r m e t h o d s t h e c h o i c e o f a c r i t e r i o n f u n c t i o n i s m o r e c o m p l i c a t e d S i n c e t h e p r o b a b i l i t y o f e r r o r i s n o t d i r e c t l y c o m p u t e d a s p a r t o f t h e f e a t u r e s e l e c t i o n . H e r e , o t h e r m e t h o d s , s u c h a s m e a s u r e s o f s t a t i s t i c a l s e p a r a b i l i t y a n d u n i q u e n e s s o f i n f o r m a t i o n c o n t e n t o f t h e f e a t u r e s , a r e u s e d . T h e s i m p l e s t fi l t e r m e t h o d p r o c e s s e s e a c h f e a t u r e i n d i v i d u a l l y , b u t i t i s o f t e n a d v a n t a g e o u s t o a n a l y z e t h e i n t e r d e p e n d e n c i e s o f f e a t u r e s ( e . g . , c o r r e l a t i o n a m o n g f e a t u r e s ) , a s w e l l . T h e t a x o n o m y f o r f e a t u r e s e l e c t i o n m e t h o d s , s h o w n i n F i g u r e 4 . 2 , d i v i d e s t h e s e m e t h o d s i n t o t h r e e c l a s s e s : ( i ) c o m p l e t e , ( i i ) h e u r i s t i c , a n d ( i i i ) r a n d o m . [ 5 7 ] . W h i l e t h e l i t e r a t u r e h a s s h o w n n o c l e a r s u p e r i o r i t y o f a n y p a r t i c u l a r f e a t u r e s e l e c t i o n m e t h o d , s o m e a r e m o r e s u i t a b l e f o r l a r g e - s c a l e a p p l i c a t i o n s t h a n o t h e r s . F o r e x a m p l e , J a i n a n d Z o n g k e r [ 5 6 ] , a n d K u d o a n d S k l a n s k y [ 7 2 ] a g r e e t h a t s i m p l e “ i n d i v i d u a l l y b e s t ” a l g o r i t h m s t e n d t o p e r f o r m w o r s e t h a n o t h e r m e t h o d s , b u t t h e y a r e m u c h f a s t e r . T h e s e a u t h o r s a l s o a g r e e t h a t t h e fl o a t i n g s e a r c h m e t h o d s p e r f o r m w e l l i n m o s t a p p l i c a t i o n s , h o w e v e r , K u d o a n d S k l a n s k y f o u n d t h a t t h e y a r e i n f e r i o r t o g e n e t i c a l g o r i t h m s i n v e r y l a r g e - s c a l e p r o b l e m s . O n t h e o t h e r h a n d , J a i n a n d Z o n g k e r f o u n d t h a t g e n e t i c a l g o r i t h m s t e n d t o p e r f o r m w o r s e o n l a r g e - s c a l e p r o b l e m s , W h i l e K u d o a n d S k l a n s k y f o u n d t h a t t h e y a r e t h e s u p e r i o r a l g o r i t h m s f o r l a r g e - s c a l e p r o b l e m s [ 5 6 ] [ 7 2 ] . C l e a r l y , t h e r e i s s t i l l n o c o n s e n s u s a s t o w h i c h m e t h o d i s t h e b e s t , s i n c e t h e r e i s s u c h a s t r o n g d e p e n d e n c e o f t h e p e r f o r m a n c e o f t h e a l g o r i t h m o n t h e d a t a s e t s b e i n g a n a l y z e d . 1 2 9 F i g u r e 4 . 2 : T a x o n o m y o f f e a t u r e s e l e c t i o n m e t h o d s [ 5 7 ] . T a b l e 4 . 1 p r o v i d e s a s u m m a r y o f t h e f e a t u r e s e l e c t i o n m e t h o d s w e h a v e t e s t e d f o r o u r a i r b a g s u p p r e s s i o n a p p l i c a t i o n a n d t h e i r c a t e g o r i z a t i o n r e l a t i v e t o t h e a b o v e t a x o n o m y . N o t e t h a t t h e s e t o f f e a t u r e s e l e c t i o n a l g o r i t h m s w e h a v e i n v e s t i g a t e d f o r o u r a p p l i c a t i o n s p a n t h e t r e e i n F i g u r e 4 . 2 . F o r o u r l a r g e - s c a l e f e a t u r e s e l e c t i o n p r o b l e m , t h e c o m p l e t e - e x h a u s t i v e m e t h o d s w e r e d e e m e d c o m p u t a t i o n a l l y t o o i n t e n s i v e t o b e c o n s i d e r e d . N o t e t h a t w e h a v e a t l e a s t o n e a l g o r i t h m f o r b o t h t h e fi l t e r a n d w r a p p e r i m p l e m e n t a t i o n s , a n d o n e f r o m t h e c a t e g o r i e s o f c o m p l e t e , h e u r i s t i c , a n d r a n d o m . I n a d d i t i o n t o t h e s e m e t h o d s , w e w i l l i n v e s t i g a t e i f O n e c a n i m p r o v e t h e p e r f o r m a n c e o f t h e fi l t e r m e t h o d s b y r e m o v i n g c o r r e l a t e d f e a t u r e s . 1 3 0 T a b l e 4 . 1 : S t u n m a r y o f F e a t u r e S e l e c t i o n M e t h o d s C o m p a r e d f o r t h e A i r b a g S u p p r e s s i o n A p p l i c a t i o n F e a t u r e S e l e c t i o n A p p r o a c h C o m p l e t e H e u r i s t i c R a n d o m F o r w a r d R a n d o m W r a e r _ S e q u e n t i a l M u t a t i o n p p S e a r c h H i l l F e a t u r e . . . C l i m b i n g S e l e c t i o n I m p l e m e n t a t i o n M m - F i l t e r W h i t n e y , - - M u t u a l I n f o r m a t i o n 4 . 1 W r a p p e r M e t h o d s I n w r a p p e r m e t h o d s t h e o b j e c t i v e i s t o fi n d a n o p t i m a l f e a t u r e s u b s e t t h a t m a x i m i z e s t h e a c c u r a c y o f t h e g i v e n c l a s s i fi e r [ 6 6 ] . S i n c e t h e c l a s s i fi c a t i o n e n g i n e i s ' a n i n t e g r a l p a r t o f t h e s e l e c t i o n p r o c e s s , t h e m e t h o d f o r e s t i m a t i n g i t s p e r f o r m a n c e m u s t b e d e fi n e d . T h e m o s t c o m m o n m e t h o d i s a n n - f o l d c r o s s - v a l i d a t i o n p r o c e s s , w h e r e t h e d a t a s e t i s r a n d o m l y d i v i d e d i n t o n s u b s e t s , a n d n - 1 s u b s e t s a r e u s e d f o r t r a i n i n g , a n d t h e r e m a i n i n g o n e f o r t e s t i n g . S i n c e t h e s e s u b s e t s a r e d e t e r m i n e d a t r a n d o m , t h i s p a r t i t i o n i n g c a n b e r e p e a t e d m u l t i p l e t i m e s t o d e r i v e b e t t e r e s t i m a t e s o f t h e c l a s s i fi c a t i o n a c c u r a c y a n d i t s v a r i a n c e . T o e n s u r e g e n e r a l i z a b i l i t y , i t m a y b e b e t t e r t o s e l e c t a f e a t u r e s e t w i t h s l i g h t l y l o w e r c l a s s i fi c a t i o n a c c u r a c y , i f i t s v a r i a n c e i s s i g n i fi c a n t l y l o w e r t h a n f o r t h e b e s t f e a t u r e s e t . A l s o , i t i s i m p o r t a n t t o n o t e t h a t a n y c h a n g e i n t h e c l a s s i fi c a t i o n a l g o r i t h m , f o r e x a m p l e a c h a n g e i n t h e v a l u e o f k i n 1 3 1 t h e k - n e a r e s t n e i g h b o r d e c i s i o n r u l e , o r a c h a n g e f r o m t h e k - n e a r e s t n e i g h b o r a l g o r i t h m t o t h e S V M a l g o r i t h m , c a n l e a d t o a d i f f e r e n t f e a t u r e s u b s e t . 4 . 1 . 1 F o r w a r d S e q u e n t i a l S e l e c t i o n I n t h e f o r w a r d s e q u e n t i a l s e l e c t i o n m e t h o d t h e s y s t e m b e g i n s w i t h t h e e m p t y s e t , a n d t h e n i t e r a t i v e l y a d d s f e a t u r e s u n t i l a c r i t e r i o n f u n c t i o n i s o p t i m i z e d [ 6 2 ] . T h e f o r w a r d s e q u e n t i a l s e l e c t i o n m e t h o d c a n b e g e n e r a l i z e d ( p l u s - l t a k e - a w a y - r ) t o a l l o w f o r t h e a d d i t i o n o r r e m o v a l o f s u b s e t s o f f e a t u r e s a t a t i m e r a t h e r t h a n s i n g l e f e a t u r e s . T h e p l u s - l t a k e - a w a y - r a l g o r i t h m b e g i n s w i t h a n i n i t i a l s e t o f f e a t u r e s , X k ( t h i s s e t c a n b e t h e e m p t y s e t o r a n y r a n d o m l y c h o s e n s u b s e t o f t h e f e a t u r e s ) , a n d p r o c e e d s a s d e fi n e d i n t h e a l g o r i t h m g i v e n i n T a b l e 4 . 2 [ 6 2 ] . S i n c e i t i s a w r a p p e r - b a s e d a l g o r i t h m , i t u s e s t h e c l a s s i fi c a t i o n a c c u r a c y d e r i v e d f r o m t h e s u b s e t s o f f e a t u r e s t o d e t e r m i n e t h e b e s t s e t . 1 3 2 T a b l e 4 . 2 : A l g o r i t h m f o r p l u s - l t a k e - a w a y - r f o r w a r d s e q u e n t i a l s e a r c h f e a t u r e s e l e c t i o n . 1 ) I n c l u s i o n : A d d t h e m o s t s i g r i fi c a n t f e a t u r e t h a t r e m a i n s i n t h e u n u s e d s e t t o t h e s e l e c t e d f e a t u r e s s o t h a t X k = X k + x , + 1 [ ( + 1 w h e r e l o w e r c a s e x k 1 i s t h e f e a t u r e s e l e c t e d o n p a s s k + 1 . + 2 ) E x c l u s i o n : T e s t a l l o f t h e f e a t u r e s i n t h e s e l e c t e d f e a t u r e s e t a n d , i f t h e r e m o v a l o f a n y f e a t u r e , x r , i m p r o v e s t h e c l a s s i fi c a t i o n a c c u r a c y , P ( X c l a s s k + — x , ) 2 P ( X ) , t h e n 1 c l a s s I t d i s c a r d t h a t f e a t u r e . I f t h i s d e c i s i o n i s t r u e t h e n i t m e a n s t h a t f e a t u r e x i s d e t e r i o r a t i n g t h e p e r f o r m a n c e o f t h e s y s t e m . S t e p r ( 2 ) c o n t i n u e s u n t i l a l l t h e f e a t u r e s i n t h e s u b s e t a r e t e s t e d . 3 ) R e t u r n t o s t e p ( 1 ) u n l e s s t h e l a s t f e a t u r e h a s b e e n p r o c e s s e d . 4 . 1 . 2 R a n d o m M u t a t i o n H i l l C l i m b i n g R a n d o m M u t a t i o n H i l l C l i m b i n g i s a m e m b e r o f t h e f a m i l y o f r a n d o m s e a r c h o p t i m i z a t i o n t o o l s t h a t i n c l u d e m e t h o d s s u c h a s s i m u l a t e d a n n e a l i n g a n d g e n e t i c a l g o r i t h m [ 5 9 ] [ 6 0 ] . R a n d o m s e a r c h a l g o r i t h m s d e r i v e t h e i r p o w e r f r o m t h e a b i l i t y t o s e a r c h t h e o p t i m i z a t i o n s p a c e i n a r a n d o m m a n n e r , w h i c h m a k e s t h e m m o r e r o b u s t a g a i n s t l o c a l m i n i m a . F o r t h e r a n d o m m u t a t i o n a l g o r i t h m , t h e c o m p l e t e s e t o f f e a t u r e s i s r e p r e s e n t e d a s a s t r i n g o f b i n a r y v a l u e s , w h e r e a b i t i n t h e s t r i n g i s s e t t o ‘ 1 ’ i f t h e a s s o c i a t e d f e a t u r e i s t o b e k e p t i n t h e fi n a l s u b s e t , a n d s e t t o ‘ 0 ’ i f t h e f e a t u r e i s t o b e d i s c a r d e d [ 5 9 ] . T h e k e y f r e e p a r a m e t e r t o s e t w h e n u s i n g t h i s a l g o r i t h m i s t h e n u m b e r o f b i t s t h a t a r e a l l o w e d t o r a n d o m l y c h a n g e a t a g i v e n i t e r a t i o n o f t h e a l g o r i t h m . T h e m o s t 1 3 3 c o n s e r v a t i v e a p p r o a c h i s t o o n l y a l l o w a s i n g l e b i t t o c h a n g e p e r p a s s [ 5 9 ] . W e h a v e a d o p t e d a m e t h o d t h a t i s m o t i v a t e d b y s i m u l a t i n g a n n e a l i n g , w h e r e i n i t i a l l y a l a r g e r n u m b e r o f b i t s a r e a l l o w e d t o m u t a t e , a n d t h e n , a s t h e a l g o r i t h m p r o g r e s s e s , t h i s v a l u e i s r e d u c e d u n t i l i n t h e fi n a l i t e r a t i o n s o n l y a s i n g l e b i t i s a l l o w e d t o c h a n g e . T h i s i s s i m i l a r t o t h e c o o l i n g s t r a t e g i e s u s e d i n s i m u l a t e d a n n e a l i n g [ 6 0 ] . I n t h i s a p p r o a c h t h e n u m b e r o f b i t s t o m u t a t e b e g i n s a t s o m e n u m b e r M , a n d t h e n d e c a y s t o o n l y o n e m u t a t i o n p e r i t e r a t i o n o v e r t h e c o u r s e o f e x e c u t i o n . T h e r a n d o m m u t a t i o n a l g o r i t h m o p e r a t e s a s S h o w n i n T a b l e 4 . 3 . T h e d e fi n i t i o n o f t h e fi t n e s s fi i n c t i o n i s a l s o r e q u i r e d f o r r a n d o m m u t a t i o n h i l l c l i m b i n g . S i n c e t h i s i s a w r a p p e r a l g o r i t h m , t h e fi t n e s s f u n c t i o n S h o u l d b e a f u n c t i o n o f t h e c l a s s i fi c a t i o n a c c u r a c y . N o t e t h e fi t n e s s f u n c t i o n m u s t a l s o b e a f u n c t i o n o f t h e n u m b e r o f f e a t u r e s r e m a i n i n g , o r e l s e t h e r e w i l l b e n o i n c e n t i v e t o r e d u c e t h e n u m b e r o f f e a t u r e s . C o n s e q u e n t l y , o u r fi t n e s s f u n c t i o n i s a w e i g h t e d a v e r a g e o f t h e c l a s s i fi c a t i o n a c c u r a c y a n d t h e n u m b e r o f r e m a i n i n g f e a t u r e s , a c c o r d i n g t o [ 5 5 ] : _ C a r d i n a l i t y ( S ) F ( S ) = a - P c , a S S ( S ) — ( l — a ) N ( 4 . 1 ) w h e r e N i s t h e o r i g i n a l n u m b e r o f f e a t u r e s , S i s t h e c u r r e n t s e t o f f e a t u r e s , a n d 0 S a $ 1 . T h e p a r a m e t e r a i s s e t b a s e d o n h o w a g g r e s s i v e l y t h e a l g o r i t h m r e d u c e s t h e n u m b e r o f f e a t u r e s . A s m a l l e r o r e n c o u r a g e s fi n a l s o l u t i o n t o h a v e a l o w e r n u m b e r o f f e a t u r e s , s i n c e i t r e d u c e s t h e i m p o r t a n c e o f t h e c l a s s i fi c a t i o n a c c u r a c y i n f a v o r o f t h e c a r d i n a l i t y o f t h e r e m a i n i n g f e a t u r e s e t . 1 3 4 T a b l e 4 . 3 : A l g o r i t h m f o r r a n d o m m u t a t i o n h i l l c l i m b i n g f e a t u r e s e l e c t i o n . 1 ) S e t M , t h e n u m b e r o f b i t s t o m u t a t e p e r i t e r a t i o n , t o i t s m a x i m u m v a l u e ; t h e n r a n d o m l y s e l e c t M f e a t u r e s f o r t h e i n i t i a l f e a t u r e v e c t o r . 1 ) T e s t t h e s a m p l e f o r fi t n e s s : C o m p u t e P l ( { X k } | C ) , w h e r e t h e C 0 3 5 s e t { X k } i s t h e c u r r e n t f e a t u r e s u b s e t . I f ( { X k } | C ) 2 P ( { X k 1 } I C ) , k e e p t h i s f e a t u r e s e t . I f C S S - c l a s s I a n o t t h e n k e e p t h i s f e a t u r e s e t a n y w a y w i t h a p r e - d e t e r m i n e d p r o b a b i l i t y P m u t a t e 2 ) T h e fi t n e s s t e s t u s e d f o r e v a l u a t i n g t h e p o p u l a t i o n i s d e fi n e d i n E q u a t i o n ( 4 . 1 ) . 3 ) C o m p u t e M , t h e n u m b e r o f b i t s t o m u t a t e p e r i t e r a t i o n , a n d t h e n r a n d o m l y m u t a t e M b i t s i n t h e c u r r e n t f e a t u r e v e c t o r . 4 ) R e t u r n t o s t e p ( 2 ) a n d c o n t i n u e u n t i l e i t h e r t h e fi t n e s s m e a s u r e h a s c o n v e r g e d o r t h e m a x i m u m n u m b e r o f i t e r a t i o n s i s r e a c h e d . 4 . 2 F i l t e r M e t h o d s F i l t e r m e t h o d s f o r f e a t u r e s e l e c t i o n d o n o t c o n s i d e r t h e c l a s s i fi c a t i o n a l g o r i t h m i n t h e a c t u a l s e l e c t i o n p r o c e s s , b u t r a t h e r d e fi n e t h e o p t i m a l f e a t u r e s u b s e t b y s o m e o t h e r c r i t e r i o n . T h e fi l t e r m e t h o d s a r e g e n e r a l l y c o n s i d e r e d i n f e r i o r t o t h e w r a p p e r m e t h o d s f o r t h e f o l l o w i n g t h r e e r e a s o n s [ 6 6 ] : 1 ) i n a b i l i t y t o r e m o v e a f e a t u r e i n a s y m m e t r i c f e a t u r e s p a c e ( a l l f e a t u r e s e q u a l l y s e p a r a b l e ) , 2 ) i n a b i l i t y t o i n c l u d e i r r e l e v a n t f e a t u r e s t h a t m a y h e l p i n c l a s s i fi c a t i o n , a n d 1 3 5 3 ) i n a b i l i t y t o r e m o v e c o r r e l a t e d f e a t u r e s . I t i s i m p o r t a n t t o n o t e t h a t r e a s o n s ( 1 ) a n d ( 2 ) a r e g e n e r a l l y a p p l i c a b l e f o r f a b r i c a t e d d a t a s e t s , a n d a r e o f n o c o n s e q u e n c e i n t h e r e a l w o r l d ( S e e K o h a v i [ 6 6 ] f o r d e s c r i p t i o n s o f t h e s e d a t a s e t s ) . A l s o i t e m ( 3 ) i s n o t n e c e s s a r i l y t r u e f o r fi l t e r m e t h o d s . A n y fi l t e r m e t h o d c a n b e m o d i fi e d t o i n c l u d e c o r r e l a t i o n a m o n g f e a t u r e s a s a n e l e m e n t o f t h e c r i t e r i o n f u n c t i o n . F o r e x a m p l e , j o i n t m u t u a l i n f o r m a t i o n i n h e r e n t l y c o n s i d e r s t h e c o r r e l a t i o n b e t w e e n f e a t u r e s . T h e r e f o r e , w e c o n t e n d t h a t t h e r e i s n o l o n g e r a c l e a r d i s t i n c t i o n b e t w e e n t h e w r a p p e r a n d fi l t e r m e t h o d s i n t e r m s o f p e r f o r m a n c e . W h a t i s m o s t i m p o r t a n t i n f e a t u r e s e l e c t i o n i s t o d e v e l o p a c r i t e r i o n fi m c t i o n t h a t p r o v i d e s t h e m o s t i n s i g h t i n t o t h e d i s c r i m i n a t i o n a b i l i t i e s o f t h e f e a t u r e s a n d t h e v a r i o u s s u b s e t s o f t h e s e f e a t u r e s . 4 . 2 . 1 M a n n - W h i t n e y T e s t S i n c e w e a r e i n t e r e s t e d i n fi n d i n g t h e s u b s e t o f f e a t u r e s t h a t m a x i m i z e s t h e d i s c r i m i n a t i o n b e t w e e n t h e c l a s s e s , i t i s p o s s i b l e t o f r a m e t h e p r o b l e m i n a p u r e l y s t a t i s t i c a l m a n n e r . I f e a c h l a b e l e d f e a t u r e v a l u e i s c o n s i d e r e d t o b e f r o m a d i s t i n c t d i s t r i b u t i o n , t h e n a g o o d f e a t u r e s e l e c t o r w o u l d b e t h e o n e t h a t c h o o s e s t h e f e a t u r e s b a s e d o n m a x i m i z i n g t h e d i s t a n c e s b e t w e e n t h e s e d i s t r i b u t i o n s . N o n - p a r a m e t r i c s t a t i s t i c s p r o v i d e s a n u m b e r o f t e s t s t o d e t e r m i n e w h e t h e r m u l t i p l e d a t a s e t s a r e f r o m t h e s a m e , o r f r o m d i f f e r e n t , u n d e r l y i n g d i s t r i b u t i o n s [ 7 3 ] . W e a r e i n t e r e s t e d i n n o n - p a r a m e t r i c t e s t s , s i n c e w e d o n o t h a v e a n y k n o w l e d g e o f t h e 1 3 6 u n d e r l y i n g c l a s s - c o n d i t i o n a l d i s t r i b u t i o n s . T h e r e a r e t w o s p e c i fi c m e a s u r e s t h a t a r e a p p l i c a b l e t o t h i s p r o b l e m , t h e M a n n - W h i t n e y t e s t a n d t h e W i l c o x o n s i g n e d - r a n k t e s t . T h e W i l c o x o n s i g r e d - r a n k t e s t i s u s e d w h e n t h e s a m p l e s b e i n g u s e d f o r t h e c o m p a r i s o n m a y b e c o r r e l a t e d [ 7 3 ] . S i n c e o u r t r a i n i n g d a t a i s a c o l l e c t i o n o f i m a g e s o f n u m e r o u s o c c u p a n t s , c o l l e c t e d i n a v a r i e t y o f v e h i c l e s , a n d o v e r m a n y d a y s , t h e r e i s v e r y l i t t l e c o n c e r n t h a t t h e d a t a i s c o r r e l a t e d o v e r t i m e . T h e r e f o r e , w e w i l l u s e t h e M a n n - W h i t n e y t e s t . N o t e t h a t t h e M a n n - W h i t n e y t e s t i s a t w o - s a m p l e ( o r t w o - c l a s s ) d i s t r i b u t i o n t e s t . I t c a n b e e x t e n d e d t o t h e f o u r - c l a s s p r o b l e m b y e i t h e r r u n n i n g t h e f e a t u r e s e l e c t i o n p a i r - w i s e o n t h e d a t a a n d c o l l e c t i n g t h e b e s t f e a t u r e s f o r e a c h c l a s s p a i r , o r i t c a n b e r e p l a c e d w i t h t h e r e l a t e d K r u s k a l - W a l l i s m u l t i p l e s a m p l e - s e t m e t h o d , w h i c h i s a l s o a n o n - p a r a m e t r i c t e s t . T h e a s s u m p t i o n s t h a t m u s t b e m e t t o u s e e i t h e r t h e M a n n - W h i t n e y o r t h e K r u s k a l - W a l l i s t e s t s a r e [ 7 3 ] : 1 ) s a m p l e s e t s a r e r a n d o m l y a n d i n d e p e n d e n t l y d r a w n , 2 ) d e p e n d e n t v a r i a b l e i s i n t r i n s i c a l l y c o n t i n u o u s , a n d 3 ) m e a s u r e s w i t h i n t h e s a m p l e s h a v e a n o r d i n a l s c a l e ( < , > , = h a v e m e a n i n g ) . T h e m e c h a n i c s o f t h e M a n n - W h i t n e y t e s t a r e a s f o l l o w s . A l l o f t h e c l a s s l a b e l s a r e r e m o v e d , a n d t h e p a t t e r n s a r e r a n k e d f r o m t h e s m a l l e s t t o t h e l a r g e s t f o r e a c h f e a t u r e . T h e l a b e l s a r e t h e n r e - a s s o c i a t e d w i t h t h e d a t a v a l u e s , a n d t h e s u m o f t h e r a n k s i s c o m p u t e d f o r e a c h o f t h e t w o c l a s s e s , l a b e l e d A a n d B . T h e s u m o f t h e s e r a n k s i s t h e n c o m p a r e d t o t h e s u m o f t h e r a n k s e x p e c t e d i f t h e t w o d a t a s e t s w e r e f r o m t h e s a m e u n d e r l y i n g d i s t r i b u t i o n . T h i s e x p e c t e d r a n k s u m , a n d t h e c o r r e s p o n d i n g v a r i a n c e , i s c o m p u t e d b y [ 7 3 ] : 1 3 7 ( 4 . 2 ) W h e r e n A a n d n 8 a r e t h e n u m b e r o f s a m p l e s f r o m e a c h o f t h e t w o c l a s s e s A a n d B , r e s p e c t i v e l y . T h e v a l u e , u A i s t h e n c o m p a r e d w i t h t h e a c t u a l s u m o f t h e r a n k s f o r l a b e l A , n a m e l y S A . A z - r a t i o t e s t i s u s e d S i n c e t h e u n d e r l y i n g d i s t r i b u t i o n o f t h e r a n k d a t a i s n o r m a l , b a s e d o n t h e w e a k l a w o f l a r g e n u m b e r s [ 7 3 ] : S - : 0 5 z = I A # 4 ) . ( 4 . 3 ) 0 ' A B T h e r e s u l t s o f t h e M a n n - W h i t n e y t e s t c a n b e u s e d i n t h r e e w a y s : 1 ) e a c h f e a t u r e i s r a n k e d b a s e d o n i t s z - s c o r e , a n d t h e t o p M o f t h e o r i g i n a l N f e a t u r e s c a n b e k e p t , 2 ) o n l y f e a t u r e s w i t h s i g n i fi c a n c e a b o v e a p r e - d e fi n e d Z - r a t i o s c o r e a r e i n c l u d e d i n t h e fi n a l l i s t , a n d 3 ) a l l o f t h e f e a t u r e s a r e r a n k e d b a s e d o n t h e i r M a n n - W h i t n e y s c o r e , a n d t h e n t h e f e a t u r e s c a n b e p o s t - p r o c e s s e d i n t h e o r d e r o f d e c r e a s i n g z - r a t i o s c o r e t o r e m o v e c o r r e l a t e d f e a t u r e s . W e w i l l u s e m e t h o d ( 3 ) , a n d u s e p o s t - p r o c e s s i n g t o r e m o v e c o r r e l a t e d f e a t u r e s . B y a p p l y i n g t h e M a n n - W h i t n e y t e s t i n t h i s m a n n e r , w e w i l l u s e t h e d i s c r i m i n a t i o n a b i l i t y o f e a c h f e a t u r e m e r e l y t o o r d e r t h e a v a i l a b l e f e a t u r e s . A l l o f t h e f e a t u r e s a r e t h e n 1 3 8 c i t s i t a t S - Z a n a l y z e d f o r p o t e n t i a l c o r r e l a t i o n s , a n d o n l y t h e f e a t u r e s t h a t a r e u n c o r r e l a t e d ( a t s o m e u s e r - d e fi n e d c o n fi d e n c e l e v e l ) a r e r e t a i n e d . T h e b e n e fi t o f m a i n t a i n i n g a l l o f t h e f e a t u r e s p r i o r t o p o s t - p r o c e s s i n g i s t h a t f e a t u r e s t h a t m a y n o t h a v e t h e s t r o n g e s t d i s c r i m i n a t i o n a b i l i t y m a y s t i l l b e u s e f u l w h e n f e a t u r e c o r r e l a t i o n i s c o n s i d e r e d . F i g u r e 4 . 3 S h o w s a t y p i c a l d e c a y i n t h e M a n n - W h i t n e y z - s t a t i s t i c a c r o s s o u r c o m p l e t e f e a t u r e s e t o f t h e 4 5 t h o r d e r m o m e n t s ( 1 0 8 1 f e a t u r e s ) . N o t i c e t h e r e i s a g r a d u a l d e c a y i n t h e d i s c r i m i n a t i o n a b i l i t y , a n d t h e r e i s n o c l e a r p o i n t a t w h i c h t h e f e a t u r e s n o l o n g e r p r o v i d e d i s c r i m i n a t i o n . T h i s s u p p o r t s K u d o a n d S k l a n s k y ’ s [ 6 7 ] c o m m e n t t h a t r e d u c i n g t h e d i m e n s i o n o f t h e f e a t u r e s p a c e a l w a y s r e s u l t s i n s o m e l o s s i n d i s c r i m i n a t i o n a b i l i t y i n r e a l - w o r l d a p p l i c a t i o n s . W W W C D I ‘ C D C D D F N C V I D V D C D C V C D L D I - I ‘ s — r — C V U ' J C ' J V V ’ U ' J Q D Q D 7 3 3 7 9 4 8 5 5 9 1 6 9 7 7 1 0 3 8 F e a t u r e O r d e r F i g u r e 4 . 3 : M a n n - W h i t n e y s t a t i s t i c v e r s u s f e a t u r e r a n k i n g f o r 4 5 t h o r d e r L e g e n d r e m o m e n t s f e a t u r e v e c t o r . 1 3 9 4 . 2 . 2 M u t u a l I n f o r m a t i o n M u t u a l i n f o r m a t i o n i s a m e a s u r e b e t w e e n t w o d a t a s e t s t h a t d e t e r m i n e s w h a t c a n b e l e a r n e d f r o m o n e d a t a s e t g i v e n k n o w l e d g e a b o u t t h e o t h e r d a t a s e t [ 7 1 ] . I t c a n a l s o b e u s e d t o m e a s u r e t h e r e l a t i v e i n d e p e n d e n c e b e t w e e n t w o v a r i a b l e s . M u t u a l i n f o r m a t i o n c a n b e d e fi n e d i n o n e o f t h e f o l l o w i n g t h r e e w a y s [ 1 4 5 ] : 1 ) 1 ( A ; B ) = 1 1 ( 3 ) - H ( B I A ) = H ( A ) - H ( A I B ) , 2 ) I ( A ; B ) = H ( A ) + H ( B ) - H ( A , B ) , a n d ( 4 . 4 ) 3 ) I ( A ; B ) = 2 P ( a , b ) - l o g [ — p - ( - q - £ ) — ] , 0 , } , P ( a ) P ( b ) w h e r e p ( a ) a n d p ( b ) a r e t h e i n d i v i d u a l d i s t r i b u t i o n s o f d a t a s e t s A a n d B , a n d p ( a , b ) i s t h e j o i n t d i s t r i b u t i o n o f d a t a s e t s A a n d B , a n d a i s a v a l u e i n d a t a s e t A a n d b i s a v a l u e i n d a t a s e t 8 . . A l s o , H ( A ) i s t h e e n t r o p y o f d a t a s e t A , a n d H ( A , B ) a n d H ( A I B ) a r e j o i n t a n d c o n d i t i o n a l e n t r o p i e s , r e s p e c t i v e l y . T h e y a r e d e fi n e d a s [ 1 4 3 ] [ 1 4 5 ] : H ( A ) = 7 2 / 2 / 1 1 9 0 ) ' 1 0 g [ P ( i ) ] , H ( A B ) = - Z p ( i , j ) - 1 0 g [ p ( i , j ) ] , a n d ( 4 . 5 ) i e A , j e B H ( A I B ) = - Z p ( i | j ) - 1 0 g [ p ( i | j ) ] , i e A , j e B 1 4 0 w h e r e p ( i ) , p ( i , j ) , a n d p ( i l j ) a r e t h e i n d i v i d u a l , j o i n t , a n d c o n d i t i o n a l d e n s i t y f u n c t i o n s , r e s p e c t i v e l y , a n d t h e s u m m a t i o n s a r e o v e r a l l e l e m e n t s i n t h e d a t a s e t s A a n d B . M u t u a l i n f o r m a t i o n I ( A ; B ) m e a s u r e s h o w t h e u n c e r t a i n t y i n A i s r e d u c e d b y k n o w i n g B . I f A a n d B a r e i n d e p e n d e n t , t h e n t h e m u t u a l i n f o r m a t i o n I ( A ; B ) = 0 , s i n c e i n t h e s e c o n d d e fi n i t i o n f o r I ( A ; B ) i n e q u a t i o n ( 4 . 4 ) , H ( A , B ) = H ( A ) + H ( B ) f o r i n d e p e n d e n t v a r i a b l e s [ 1 4 5 ] . F e a t u r e s c a n b e s e l e c t e d b a s e d o n t h e i r i n d i v i d u a l m u t u a l i n f o r m a t i o n b y c o n s i d e r i n g v a r i a b l e A t o b e t h e f e a t u r e a n d v a r i a b l e B t o b e t h e c l a s s l a b e l , a n d t h e n t h e t h i r d f o r m o f e q u a t i o n ( 4 . 4 ) i s u s e d . F e a t u r e s w i t h t h e h i g h e s t m u t u a l i n f o r m a t i o n a r e r e t a i n e d . M u t u a l i n f o r m a t i o n c a n b e e x t e n d e d t o d e fi n e t h e j o i n t m u t u a l i n f o r m a t i o n b e t w e e n a s e t o f N v a r i a b l e s a c c o r d i n g t o t h e e q u a t i o n [ 1 4 5 ] : N 1 ( X l , X , , . . . , X N ; Y ) = 2 1 1 0 9 ; ) I | X , _ 1 , X , _ , , . . . , X I ) . ( 4 . 6 ) 1 : B a s e d o n i n d i v i d u a l m u t u a l i n f o r m a t i o n , i t i s p o s s i b l e t h a t s o m e o f t h e f e a t u r e s a r e r e d u n d a n t , b u t j o i n t m u t u a l i n f o r m a t i o n c a n s i m u l t a n e o u s l y p r o v i d e t h e s u b s e t o f f e a t u r e s t h a t p r o v i d e s t h e m o s t d i s c r i m i n a t i o n a n d t h e l e a s t r e d u n d a n c y . C l e a r l y , a n e x h a u s t i v e s e a r c h i s n o t p o s s i b l e d u e t o t h e n u m b e r o f p o s s i b l e c o m b i n a t i o n s . A t y p i c a l i m p l e m e n t a t i o n o f j o i n t m u t u a l i n f o r m a t i o n i s t o i n i t i a l l y r a n k a l l t h e f e a t u r e s , b a s e d o n t h e i r i n d i v i d u a l m u t u a l i n f o r m a t i o n r e l a t i v e t o t h e c l a s s i fi c a t i o n l a b e l s . T h e n t h e s e f e a t u r e s a r e i t e r a t i v e l y t e s t e d t o p e r f o r m t h e f o l l o w i n g o p t i m i z a t i o n o n a c a n d i d a t e f e a t u r e , X J . , a c c o r d i n g t o [ 1 4 5 ] : 1 4 1 M a x i m i z e : I ( X j ; Y ) w h i l e ( 4 . 7 ) o e o M M l n l m l z e : 2 1 ( X k , X j ) , k = l w h e r e M i s t h e c u r r e n t n u m b e r o f f e a t u r e s b e i n g r e t a i n e d , Y a r e t h e c l a s s l a b e l s , a n d X j a r e t h e i n d i v i d u a l f e a t u r e s . T h i s r u l e t h e n m a x i m i z e s t h e d i s c r i m i n a t i o n a b i l i t y o f e a c h f e a t u r e w h i l e s i m u l t a n e o u s l y m i n i m i z i n g t h e m u t u a l i n f o r m a t i o n b e t w e e n a l l t h e f e a t u r e s . S i n c e t h e m u t u a l i n f o r m a t i o n i s b e i n g c a l c u l a t e d u s i n g t h e j o i n t p r o b a b i l i t y d e n s i t y fi i n c t i o n s ( P D F ) o f t h e t w o i m a g e s , i t i s c r i t i c a l t o d i s c u s s t h e c a l c u l a t i o n o f t h i s j o i n t P D F . S i n c e t h e j o i n t P D F i s e s t i m a t e d fi o m t h e j o i n t h i s t o g r a m , t h e s e l e c t i o n o f t h e n u m b e r o f b i n s u s e d t o c o m p u t e t h i s h i s t o g r a m i s i m p o r t a n t [ 1 4 3 ] . R a t h e r t h a n u s e a fi x e d n u m b e r o f b i n s , i t h a s b e e n p r o p o s e d t o s e l e c t t h e n u m b e r o f b i n s b a s e d o n t h e n o n - G a u s s i a r r i t y o f t h e d a t a d i s t r i b u t i o n [ 1 4 5 ] . T h e n u m b e r o f b i n s i s c o m p u t e d , a c c o r d i n g t o [ 1 4 5 ] : N , = l o g N + 1 + l o g ( 1 + K J N / 6 ) ( 4 . 8 ) b i n s 2 2 N w h e r e K = — — 1 — ° z ( x i - f } I - \ / 3 N / 8 . 7 2 4 N - o 4 r = r H e r e 0 ' i s t h e s t a n d a r d d e v i a t i o n o f t h e i m a g e d a t a , K i s t h e n o r m a l i z e d k u r t o s i s o f t h e d i s t r i b u t i o n , a n d N i s t h e n u m b e r o f p i x e l s . O n c e t h e n u m b e r o f b i n s i s s e l e c t e d , t h e d i s t r i b u t i o n o f t h e b i n s a c r o s s t h e d a t a s e t m u s t a l s o b e d e t e r m i n e d . T h e s i m p l e s t 1 4 2 m a h o d m a u r m b m s m o r a n g e I } p r o v i d | t h e r e l a t h e s u i a n d c o t h e t r ; c o m e t o n c e v a h K i n I I i n d F t h e r m e t h o d d i s t r i b u t e s t h e b i n s a c r o s s t h e s p r e a d o f t h e d a t a i n t h e i m a g e , f r o m i t s m a x i m u m v a l u e t o i t s m i n i m u m v a l u e , b u t t h i s m e t h o d c a n b e p r o n e t o m a k i n g t h e b i n s t o o c o a r s e d u e t o o u t l i e r s . A n a l t e r n a t i v e m e t h o d d i s t r i b u t e s t h e b i n s a c r o s s t h e r a n g e [ a — 2 0 3 , 1 1 + 2 0 ' ] , a n d t h i s g r e a t l y r e d u c e s t h e i m p a c t o f o u t l i e r s [ 1 4 5 ] . 4 . 2 . 3 F e a t u r e C o r r e l a t i o n P o s t - p r o c e s s i n g W h i l e j o i n t m u t u a l i n f o r m a t i o n w i l l t e l l u s t h e r e l a t i v e a m o u n t o f i n f o r m a t i o n p r o v i d e d b y o n e f e a t u r e , g i v e n a n o t h e r f e a t u r e , i t i s a l s o p o s s i b l e t o d i r e c t l y c o m p u t e t h e r e l a t i v e c o r r e l a t i o n b e t w e e n e a c h f e a t u r e a s w e l l u s i n g s t a t i s t i c a l m e a s u r e s . F o r t h e s t a t i s t i c a l - b a s e d a p p r o a c h , w e a g a i n u s e t h e r e s u l t s o f n o n - p a r a m e t r i c s t a t i s t i c s , a n d c o m p u t e t h e S p e a r m a n - R c o r r e l a t i o n c o e f fi c i e n t b e t w e e n a l l o f t h e f e a t u r e s o v e r t h e t r a i n i n g d a t a s e t . T h i s v a l u e i s c o m p u t e d i n a m a n n e r s i m i l a r t o t h e t r a d i t i o n a l c o r r e l a t i o n c o e f fi c i e n t , w h e r e t h e a c t u a l v a l u e s a r e r e p l a c e d b y t h e i r r a n k s . T h u s o n c e a g a i n , w h i l e n o a s s u m p t i o n s c a n b e m a d e r e g a r d i n g t h e d i s t r i b u t i o n s o f t h e d a t a v a l u e s , t h e r a n k s o f t h e v a l u e s c a n b e a s s u m e d t o b e G a u s s i a n [ 7 3 ] [ 7 4 ] . T h e fi r s t s t e p i n t h e S p e a r m a n - R s t a t i s t i c c a l c u l a t i o n i s t o r a n k t h e v a l u e s o f e a c h f e a t u r e i n d i v i d u a l l y . N o w , t h e S p e a r m a n - R c o r r e l a t i o n c o e f fi c i e n t i s d e fi n e d i d e n t i c a l l y t o t h e t r a d i t i o n a l c o r r e l a t i o n c o e f fi c i e n t [ 7 4 ] : C o v ( A , B ) ) , ( 4 9 ) ( H ( A ) - 0 2 ( 8 ) p ( A . 8 ) = 1 4 3 w h e r e C o v ( A , B ) i s t h e c o v a r i a n c e o f r a n k s o f f e a t u r e A w i t h r e s p e c t t o t h e r a n k s o f f e a t u r e B , a n d 0 2 ( A ) i s t h e v a r i a n c e o f r a n k s o f f e a t u r e A o v e r a l l o f t h e t r a i n i n g s a m p l e s . G i v e n N f e a t u r e s , t h i s g e n e r a t e s a n N x N c o r r e l a t i o n c o e f fi c i e n t m a t r i x , w h i c h c a n n o w b e t h r e s h o l d e d b a s e d o n t h e s t a t i s t i c a l s i g n i fi c a n c e o f t h e s e c o r r e l a t i o n v a l u e s . W e m a y u s e t h e S t u d e n t - t t e s t , s i n c e , a s m e n t i o n e d e a r l i e r , t h e u n d e r l y i n g d i s t r i b u t i o n s 0 f t h e r a n k s a r e n o w G a u s s i a n . I n I n o s t r e a l - w o r l d d a t a s e t s t h e r e i s o f t e n s o m e l e v e l o f c o r r e l a t i o n b e t w e e n a l l o f t h e f e a t u r e s , a s S h o w n w h e n w e g e n e r a t e a h i s t o g r a m o f t h e c o r r e l a t i o n v a l u e s f r o m z e r o t o o n e , w h i c h i s p r o v i d e d i n F i g u r e 4 . 4 . T h e r e f o r e , d e c i d i n g i f f e a t u r e s a r e c o r r e l a t e d i s n o t a s i m p l e b i n a r y d e c i s i o n , b u t r a t h e r a d e c i s i o n b a s e d o n t h e l e v e l o f s i g n i fi c a n c e o f t h e c o r r e l a t i o n w e ' a r e w i l l i n g t o a c c e p t i n o u r fi n a l f e a t u r e s e t . I t i s t h i s f a c t t h a t l i m i t s t h e a b i l i t y o f w r a p p e r m e t h o d s t o e n s u r e t h a t fi n a l f e a t u r e s a r e n o t c o r r e l a t e d , e x c e p t i n a r t i fi c i a l l y c o n s t r u c t e d d a t a s e t s . T h e c o r r e l a t i o n s i g n i fi c a n c e t e s t t a k e s t h e f o r m o f [ 7 4 ] : « ’ 3 2 . W W ” ) I _ , ( 4 . 1 0 ) " r — — , _ p ( , , , , , ) 2 | > ’ n - 2 w h e r e t 2 i s t h e S t u d e n t - t t e s t o f d e g r e e n - 2 , a n d n i s t h e n u m b e r o f t r a i n i n g i t s a m p l e s . T h i s t h r e s h o l d i n g p r o c e s s c r e a t e s a n N x N b i n a r y f e a t u r e s i g n i fi c a n c e m a t r i x w h e r e , a 1 ( w h i t e ) i n d i c a t e s a c o r r e l a t e d f e a t u r e , a n d a 0 ( b l a c k ) i n d i c a t e s a n u n c o r r e l a t e d f e a t u r e . A n e x a m p l e o f t h i s b i n a r y m a t r i x i s s h o w n i n F i g u r e 4 . 5 . N o t e 1 4 4 y c n e u q e r F d e z i l a m r o N t h a t a l l t h e d i a g o n a l e l e m e n t s a r e 1 ( w h i t e ) , S i n c e e a c h f e a t u r e i s c o r r e l a t e d w i t h i t s e l f . T h e a l g o r i t h m f o r t h e f e a t u r e c o r r e l a t i o n a n a l y s i s i s d e fi n e d i n T a b l e 4 . 4 . 0 . 0 8 0 . 0 7 0 . 0 5 0 . 0 5 0 . 0 4 0 . 0 3 0 0 2 0 . 0 1 l l I 0 0 . 1 0 . 2 0 . 3 0 . 4 0 . 5 0 . 5 0 . 7 0 . 8 0 . 9 1 C o r r e l a t i o n V a l u e F i g u r e 4 . 4 : T y p i c a l h i s t o g r a m o f c o r r e l a t i o n c o e f fi c i e n t v a l u e s f o r o u r 1 0 8 1 e l e m e n t L e g e n d r e m o m e n t s f e a t u r e v e c t o r ; h o r i z o n t a l a x i s i s t h e c o r r e l a t i o n v a l u e a n d t h e v e r t i c a l a x i s i s t h e fi e q u e n c y o f o c c u r r e n c e f o r e a c h o f t h o s e v a l u e s i n t h e d a t a s e t . T h e i n t e r r m e d i a t e N x N c o r r e l a t i o n m a t r i x , C M , d e fi n e d i n s t e p 1 ) i n T a b l e 4 . 4 i s s h o w n i n F i g u r e 4 . 6 ( a ) . T h e fi n a l N x N c o r r e l a t i o n m a t r i x , C M , i s s h o w n i n F i g u r e 4 . 6 ( b ) . A l l C M ( / ' , 1 ) = 0 ( b l a c k ) s i g n i f y t h a t t h e f e a t u r e i s a m e m b e r 0 f t h e f i n a l f e a t u r e s e t . T h e s e f e a t u r e s c o m p r i s e t h e s u b s e t o f m u t u a l l y u n c o r r e l a t e d f e a t u r e s w i t h t h e b e s t a v a i l a b l e d i s c r i m i n a t i n g a b i l i t y . 1 4 5 T a b l e 4 . 4 : D e fi n i t i o n o f t h e a l g o r i t h m f o r c o r r e l a t i o n p o s t - p r o c e s s i n g f o r f e a t u r e s e l e c t i o n . 1 ) C r e a t e t h e N X N c o r r e l a t i o n c o e f fi c i e n t m a t r i x , C M ( - , - ) . 2 ) T h r e s h o l d C M b a s e d o n t h e t - t e s t o f t h e c o e f fi c i e n t s t o c r e a t e a b i n a r y v e r s i o n o f C M a s s h o w n i n F i g u r e 4 . 6 ( a ) . 3 ) R e t a i n t h e fi r s t f e a t u r e s i n c e i t h a s t h e b e s t d i s c r i m i n a t i o n ( i . e . , m a k e C M ( I , 1 ) = 0 ( b l a c k ) o r u n c o r r e l a t e d ) . 4 ) F o r e v e r y r o w i n t h e fi r s t c o l u m n , m a k e r o w j a n d c o l u m n j a l l o n e s ( w h i t e ) i f C M ( j J ) = 1 ( w h i t e ) . T h i s c r e a t e s t h e m a t r i x s h o w n i n F i g u r e 4 . 6 ( b ) . U s v F o r e v e r y r o w i n t h e fi r s t c o l u m n w h e r e C M ( j , 1 ) = 0 ( b l a c k ) , t e s t a l l i > j i f a n y C M ( i , 1 ) = 0 , i t i m p l i e s f e a t u r e i i s c o r r e l a t e d w i t h f e a t u r e j . M a k e t h e r o w a n d t h e c o l u m n f o r f e a t u r e 1 ' a l l o n e s ( w h i t e ) . 6 ) R e p e a t s t e p 5 f o r a l l t h e f e a t u r e s r e m a i n i n g i n t h e m a t r i x . 2 5 F i g u r e 4 . 5 : I n i t i a l b i n a r y c o r r e l a t i o n m a p d u r i n g f e a t u r e c o r r e l a t i o n p r o c e s s i n g a f t e r t - t e s t t h r e s h o l d i n g ( b l a c k s q u a r e s d e n o t e u n c o r r e l a t e d f e a t u r e s ) . 1 4 6 fi — fi ' ] W T 5 . 5 1 0 . l o 1 1 5 ' ' . 1 5 I I 2 0 _ _ _ . 2 0 2 5 ‘ . ' 1 " ! I " , 2 5 g 5 1 0 1 5 2 0 2 5 5 1 0 1 5 2 0 2 5 ( a ) ( b ) F i g u r e 4 . 6 : B i n a r y c o r r e l a t i o n m a p d u r i n g t h e f e a t u r e c o r r e l a t i o n p r o c e s s i n g , ( b l a c k s q u a r e s d e n o t e u n c o r r e l a t e d f e a t u r e s ) , ( a ) b i n a r y c o r r e l a t i o n m a t r i x a f t e r s t e p ( 4 ) o f t h e a l g o r i t h m , a n d ( b ) fi n a l b i n a r y c o r r e l a t i o n m a t r i x w h e r e o n l y 4 o f t h e o r i g i n a l 2 5 f e a t u r e s a r e r e t a i n e d . 4 . 3 P r u n i n g M e t h o d s f o r T r a i n i n g S e t R e d u c t i o n A s i d e fi ' o m r e d u c i n g t h e n u m b e r o f f e a t u r e s u s e d b y a c l a s s i fi e r , i t m a y a l s o b e i m p o r t a n t t o l i m i t t h e n u m b e r o f t r a i n i n g s a m p l e s . T h i s i s p a r t i c u l a r l y t r u e i f a k - n e a r e s t n e i g h b o r c l a s s i fi e r i s u s e d . T h e n u m b e r o f t r a i n i n g s a m p l e s u s e d d i r e c t l y i m p a c t s t h e m e m o r y a n d p r o c e s s i n g r e q u i r e m e n t s f o r t h e s y s t e m . R e c a l l t h a t t h e r e c o m m e n d e d g u i d e l i n e i s t o u s e t e n t i m e s a s m a n y t r a i n i n g s a m p l e s p e r c l a s s a s t h e n u m b e r o f f e a t u r e s [ 2 7 ] . A l s o , i t i s i m p o r t a n t t h a t e a c h o f t h e s e t r a i n i n g s a m p l e s p r o v i d e a s m u c h i n d e p e n d e n t i n f o r m a t i o n a s p o s s i b l e t o e n s u r e t h a t t h e f e a t u r e s p a c e i s a d e q u a t e l y s a m p l e d . T h i s w i l l I n a X i m i z e t h e l i k e l i h o o d t h a t p e r f o r m a n c e i n t h e l a b o r a t o r y i s m a t c h e d i n t h e r e a l - w o r l d a p p l i c a t i o n s , S i n c e a l l p o s s i b l e c o n d i t i o n s a r e c o v e r e d . T h e u s e o f r e d u n d a n t t r a i n i n g s a m p l e s c a n u n n e c e s s a r i l y i n c r e a s e t h e 1 4 7 p r o c e s s i n g r e q u i r e d d u r i n g t r a i n i n g , a s w e l l a s f o r i n - fi e l d o p e r a t i o n i f t h e y a r e n o t r e m o v e d . F o r n e a r e s t n e i g h b o r c l a s s i fi e r s , t h e r e a r e t w o s c h e m e s f o r t r a i n i n g s e t p r u n i n g t h a t s o l v e t h e p r o b l e m o f r e d u c i n g t h e n t u n b e r o f t r a i n i n g s a m p l e s i n o p p o s i t e w a y s . T h e fi r s t m e t h o d o n l y k e e p s t h e t r a i n i n g s a m p l e s t h a t l i e a l o n g t h e c l a s s i fi c a t i o n b o u n d a r i e s o f t h e c l a s s e s [ 4 5 ] . A n y t r a i n i n g s a m p l e s t h a t a r e s u r r o u n d e d o n l y b y s a m p l e s o f t h e s a m e c l a s s a r e d i s c a r d e d , s i n c e t h e y a r e a s s u m e d r e d u n d a n t . T h e s e c o n d I n e t h o d i n c r e a s e s t h e s e p a r a t i o n b e t w e e n c l a s s e s b y d i s c a r d i n g t h e s a r n p l e s t h a t w o u l d b e m i s - c l a s s i fi e d ( i . e . , l i e w i t h i n t h e o t h e r c l a s s o r d i r e c t l y a l o n g t h e c l a s s b o u n d a r y ) [ 1 6 7 ] . T h i s m e t h o d e f f e c t i v e l y i n c r e a s e s t h e m a r g i n b e t w e e n t h e c l a s s e s . T h e fi n a l n u m b e r o f t r a i n i n g s a m p l e s c a n f u r t h e r b e r e d u c e d b y r a n d o m l y d i s c a r d i n g a d d i t i o n a l s a m p l e s o n c e t h e m i s - c l a s s i fi e d s a m p l e s a r e r e m o v e d . F i g u r e 4 . 7 s h o w s a n e x a m p l e o f t h e t w o p r u n i n g m e t h o d s o n a 2 - c l a s s p r o b l e m w i t h t w o G a u s s i a n d a t a s e t s . T h e fi r s t m e t h o d ( s h o w n i n F i g u r e 4 . 7 ( b ) ) r e m o v e s a l l s a m p l e s t h a t a r e c o r r e c t l y c l a s s i fi e d w i t h a k - n e a r e s t n e i g h b o r r u l e w i t h k = 5 . T h e s e c o n d m e t h o d ( s h o w n i n F i g u r e 4 . 7 ( c ) ) r e m o v e s a l l t h e s a m p l e s t h a t a r e m i s - c l a s s i fi e d . N o t e t h e fi r s t m e t h o d l e a v e s a l l t h e s a m p l e s a l o n g t h e d e c i s i o n b o u n d a r y , w h i l e t h e s e c o n d m e t h o d r e m o v e s s a m p l e s a l o n g t h e b o u n d a r y . 1 4 8 F i g u r e 4 . 7 : E x a m p l e o f p r u n i n g o n a t w o - c l a s s G a u s s i a n d a t a s e t o f 2 0 0 s a m p l e s p e r c l a s s , ( a ) o r i g i n a l s c a t t e r p l o t , ( b ) p r u n i n g b y r e m o v i n g r e d u n d a n t s a m p l e s , a n d ( c ) p r u n i n g b y r e m o v i n g m i s - c l a s s i fi e d s a m p l e s . F i g u r e 4 . 8 s h o w s a n e x a m p l e o f t h e t w o p r u n i n g m e t h o d s o n a 2 - c l a s s p r o b l e m w i t h t w o G a u s s i a n d a t a s e t s , l a b e l e d A a n d B , w h e r e o n e o f t h e t w o d a t a s e t s , B , i s c o r r u p t e d b y : d a t a ( B ) = 1 / 3 * d a t a ( A ) + 2 / 3 * d a t a ( B ) . ( 4 . 1 1 ) T h i s d a t a m a n i p u l a t i o n i s d e s i g n e d t o s i m u l a t e o u r a p p l i c a t i o n , w h e r e s e g m e n t a t i o n o r o t h e r p r o - p r o c e s s i n g e r r o r s f o r o n e c l a s s t e n d t o m a k e t h e s a m p l e s l o o k m o r e l i k e t h e 1 4 9 o t h e r c l a s s . T h i s c a n o c c u r w h e n s e g n e n t a t i o n e r r o r s c a u s e a c h i l d t o l o o k l i k e a n e m p t y s e a t a s s h o w n i n F i g u r e 4 . 9 . F i g u r e 4 . 8 : E x a m p l e o f p r u n i n g o n a t w o — c l a s s G a u s s i a n d a t a s e t w i t h o n e c l a s s c o r r u p t e d d u e t o e r r o r s s u c h a s s e g m e n t a t i o n e r r o r , ( a ) o r i g i n a l s c a t t e r p l o t , ( b ) p r u n i n g b y r e m o v i n g r e d u n d a n t s a m p l e s , a n d ( c ) p r u n i n g b y r e m o v i n g m i s - c l a s s i fi e d s a m p l e s . T h e fi r s t m e t h o d ( s h o w n i n F i g u r e 4 . 8 ( b ) ) r e m o v e s a l l t h e s a m p l e s t h a t a r e c o r r e c t l y c l a s s i fi e d w i t h a k - n e a r e s t n e i g h b o r r u l e w i t h k = 5 . N o t e n o w t h a t t h e d e c i s i o n b o u n d a r y c o v e r s a s i g n i fi c a n t p o r t i o n o f t h e f e a t u r e s p a c e c o m p a r e d t o t h e r e s u l t s i n F i g u r e 4 . 7 . T h e s e c o n d m e t h o d ( s h o w n i n F i g u r e 4 . 8 ( c ) ) r e m o v e s a l l t h e 1 5 0 s a m p l e s t h a t a r e m i s - c l a s s i fi e d , a n d t h e r e f o r e , c l e a n s t h e d e c i s i o n b o u n d a r y . S i n c e t h e p r o p e r s e g m e n t a t i o n o f t h e o c c u p a n t s i s s o d i f fi c u l t i n o u r a p p l i c a t i o n , w e w i l l u s e t h e s e c o n d p r u n i n g m e t h o d t o t r y t o m a x i m i z e t h e m a r g i n b e t w e e n t h e c l a s s e s . T h u s w e w i l l a s s u m e t h a t a s a m p l e t h a t i s s u r r o u n d e d b y s a r m p l e d f r o m a n o t h e r c l a s s i s m o s t l i k e l y t h e r e s u l t o f a b a d s e g m e n t a t i o n r a t h e r t h a n a b o u n d a r y - d e fi n i n g d a t a p o i n t . F i g u r e 4 . 9 : E x a m p l e o f p o o r s e g m e n t a t i o n c a u s i n g c o n f u s i o n b e t w e e n a c h i l d a n d a n e m p t y s e a t , ( a ) o r i g i n a l c h i l d i m a g e , ( b ) s e g m e n t a t i o n o f c h i l d i m a g e a p p e a r i n g t o b e a n e m p t y s e a t , a n d ( c ) a n a c t u a l e m p t y s e a t s e g n e n t a t i o n . 4 . 4 R e s u l t s f o r F e a t u r e S e l e c t i o n W e p e r f o r m e d c l a s s i fi c a t i o n t e s t i n g o f t h e f e a t u r e s e l e c t i o n a l g o r i t h m s u s i n g a 5 0 / 5 0 c r o s s v a l i d a t i o n , w h e r e w e d i v i d e o u r e x i s t i n g d a t a b a s e r a n d o m l y i n t o t r a i n i n g a n d t e s t s e t s . T h e d a t a b a s e o f i m a g e s w e u s e i s d e fi n e d i n T a b l e 2 . 3 . W e p e r f o r m t h i s e x e r c i s e 1 0 t i m e s , a n d w e g e n e r a t e a n a v e r a g e p e r f o r m a n c e r e s u l t . W e u s e t h e k - n e a r e s t n e i g h b o r c l a s s i fi e r w i t h k = 9 . W e a l s o p e r f o r m t h e t e s t i n g o n b o t h t h e 2 - c l a s s p r o b l e m , a n d t h e 4 - c l a s s p r o b l e m . R e c a l l i n t h e 2 - c l a s s p r o b l e m , w e t e s t i n f a n t s 1 5 1 v e r s u s a d u l t s o n l y . T h e c h i l d r e n a r e n o t i n t h e t e s t s s i n c e t h e y a r e p r o t e c t e d b y e i t h e r t h e c l a s s i fi e r o r b y t h e t r a c k e r . I n t h e 4 - c l a s s p r o b l e m w e c l a s s i f y t h e o c c u p a n t s a s i n f a n t , c h i l d , a d u l t , o r e m p t y s e a t . A l l o f t h e t e s t s a r e p e r f o r m e d o n t h e 4 5 t h o r d e r L e g e n d r e m o m e n t s o f t h e e d g e r e p r e s e n t a t i o n s o f t h e s e g m e n t e d i m a g e s . T h e 4 5 t h o r d e r m o m e n t s y i e l d 1 0 8 1 f e a t u r e s t h a t n e e d t o b e r e d u c e d a s m u c h a s p o s s i b l e u s i n g e a c h o f t h e f e a t u r e s e l e c t i o n m e t h o d s . F o r t h e t w o - c l a s s p r o b l e m , w i t h o u t a n y f e a t u r e s e l e c t i o n , t h e r e s u l t s a r e s h o w n i n T a b l e 4 . 5 . T h e o v e r a l l c l a s s i fi c a t i o n a c c u r a c y i s 9 9 . 9 8 % , a v e r a g e d o v e r t h e 1 0 i t e r a t i o n s o f t h e 5 0 / 5 0 c r o s s v a l i d a t i o n . F o r t h e f o u r - c l a s s p r o b l e m , w i t h o u t a n y f e a t u r e s e l e c t i o n t h e r e s u l t s a r e s h o w n i n T a b l e 4 . 6 . T h e o v e r a l l c l a s s i fi c a t i o n a c c u r a c y i s 9 8 . 9 3 % , a g a i n a v e r a g e d o v e r t h e 1 0 i t e r a t i o n s o f t h e 5 0 / 5 0 c r o s s v a l i d a t i o n . T h e s e r e s u l t s w i l l s e r v e a s t h e b a s e l i n e f o r c o m p a r i n g a l l o f t h e f e a t u r e s e l e c t i o n m e t h o d s . T a b l e 4 . 5 : T w o - c l a s s c o n f u s i o n m a t r i x w i t h a l l t h e 1 0 8 1 f e a t u r e s u s e d . C l a s s i fi e d a s I n f a n t C l a s s i fi e d a s A d u l t T r u e I n f a n t 1 3 2 8 O T r u e A d u l t 0 4 9 2 1 5 2 T a b l e 4 . 6 : F o u r - c l a s s c o n f u s i o n m a t r i x w i t h a l l t h e 1 0 8 1 f e a t u r e s u s e d . C l a s s i fi e d C l a s s i fi e d C l a s s i fi e d C l a s s i fi e d a s I n f a n t a s C h i l d a s A d u l t a s E m p t y T r u e I n f a n t 1 3 2 7 1 0 0 T r u e C h i l d 2 0 2 8 9 1 0 T r u e A d u l t 1 0 4 9 0 0 T r u e E m p t y 1 0 0 3 5 4 . 4 . 1 R e s u l t s f o r W r a p p e r M e t h o d s T h e r e s u l t s f o r t h e w r a p p e r m e t h o d s i n c l u d e c o n f u s i o n m a t r i c e s f o r b o t h t h e t w o - c l a s s a n d f o u r - c l a s s p r o b l e m s . F o r t h e r a n d o m m u t a t i o n a l g o r i t h m w e e x p e r i m e n t w i t h v a r y i n g d e g e e s o f t h e f r e e p a r a m e t e r a . F O r t h e f o r w a r d s e q u e n t i a l s e l e c t i o n w e fi x I a n d r t o b e b o t h e q u a l t o 1 . A R a n d o m M u t a t i o n H i l l C l i m b i n g T h e r a n d o m m u t a t i o n h i l l c l i m b i n g a l g o r i t h m w a s r u n f o r f o u r d i f f e r e n t w e i g h t i n g p a r a m e t e r s o f t h e p r o b a b i l i t y o f e r r o r , 0 . 2 , 0 . 4 , 0 . 6 , 0 . 8 , a n d 1 . 0 . T h e r e s u l t s i n t e r m s o f t h e c o n f u s i o n m a t r i x a n d t h e a c t u a l f e a t u r e s s e l e c t e d a r e p r o v i d e d b e l o w . T h e c o n f u s i o n m a t r i x f o r t h e p r o b a b i l i t y o f e r r o r w e i g h t i n g o f a = 0 . 2 i s p r o v i d e d i n T a b l e 4 . 7 f o r t h e t w o - c l a s s p r o b l e m . F o r t h i s a v a l u e , t h e a l g o r i t h m c o n v e r g e d t o t h i s s o l u t i o n i n 6 6 i t e r a t i o n s . T h e c l a s s i fi c a t i o n a c c u r a c y w a s 9 8 . 5 7 % , a n d t h e t o t a l n u m b e r o f f e a t u r e s r e t a i n e d i s 2 7 . 1 5 3 T a b l e 4 . 7 : T w o - c l a s s c o n f u s i o n m a t r i x f o r r a n d o m m u t a t i o n h i l l c l i m b i n g ( a = 0 . 2 ) . C l a s s i fi e d a s I n f a n t C l a s s i fi e d a s A d u l t T r u e I n f a n t 1 3 1 3 6 T r u e A d u l t 2 0 4 8 1 T h e c o n f u s i o n m a t r i x f o r t h e p r o b a b i l i t y o f e r r o r w e i g h t i n g o f a = 0 . 6 i s p r o v i d e d i n T a b l e 4 . 8 f o r t h e t w o - c l a s s p r o b l e m . F o r t h i s a v a l u e , t h e a l g o r i t h m s t o p p e d a t t h e m a x i m u m o f 1 0 0 i t e r a t i o n s . T h e c l a s s i fi c a t i o n a c c u r a c y w a s 9 8 . 5 7 % , a n d t h e t o t a l n u m b e r o f f e a t u r e s r e t a i n e d i s 5 9 . T a b l e 4 . 8 : T W O - c l a s s c o n f u s i o n m a t r i x f o r r a n d o m m u t a t i o n h i l l c l i m b i n g w i t h a = 0 . 6 . C l a s s i fi e d a s I n f a n t C l a s s i fi e d a s A d u l t T r u e I n f a n t 1 3 1 9 0 T r u e A d u l t 1 4 4 7 5 T h e c o n fi r s i o n m a t r i x f o r t h e p r o b a b i l i t y o f e r r o r w e i g h t i n g o f a = 0 . 8 i s p r o v i d e d i n T a b l e 4 . 9 f o r t h e t w o - c l a s s p r o b l e m . F o r t h i s a v a l u e , t h e a l g o r i t h m c o n v e r g e d i n 7 1 i t e r a t i o n s . T h e c l a s s i fi c a t i o n a c c u r a c y w a s 9 9 . 9 5 % , a n d t h e t o t a l n u m b e r o f f e a t u r e s r e t a i n e d i s 6 7 . 1 5 4 T a b l e 4 . 9 : T w o - c l a s s c o n f u s i o n m a t r i x f o r r a n d o m m u t a t i o n h i l l c l i m b i n g w i t h a = 0 . 8 . C l a s s i fi e d a s I n f a n t C l a s s i fi e d a s A d u l t T r u e I n f a n t 1 3 1 9 0 T r u e A d u l t 1 5 0 0 T h e c o n f u s i o n m a t r i x f o r t h e p r o b a b i l i t y o f e r r o r w e i g h t i n g o f ( 1 = 1 . 0 i s p r o v i d e d i n T a b l e 4 . 1 0 f o r t h e t w o - c l a s s p r o b l e m . F o r t h i s a v a l u e , t h e a l g o r i t h m c o n v e r g e d i n o n l y 2 6 i t e r a t i o n s . T h e c l a s s i fi c a t i o n a c c u r a c y w a s 9 9 . 9 5 % , a n d t h e t o t a l n u m b e r o f f e a t u r e s r e t a i n e d i s 1 2 0 . T a b l e 4 . 1 0 : T w o - c l a s s c o n f u s i o n m a t r i x f o r r a n d o m m u t a t i o n h i l l c l i m b i n g w i t h ( 1 = 1 . 0 . C l a s s i fi e d a s I n f a n t C l a s s i fi e d a s A d u l t T r u e I n f a n t 1 3 1 9 0 T r u e A d u l t 1 5 0 0 F i g u r e 4 . 1 0 s u m m a r i z e s t h e r e s u l t a n t p e r f o r m a n c e o f t h e c l a s s i fi c a t i o n s y s t e m v e r s u s t h e w e i g h t i n g p a r a m e t e r , a . N o t i c e t h a t e v e n f o r a = 0 . 2 , t h e p e r f o r m a n c e o f t h e s y s t e m i s s t i l l b e t t e r t h a n 9 8 % c o r r e c t , w h i l e t h e n u m b e r o f f e a t u r e s u s e d h a s f a l l e n b y a f a c t o r o f fi v e . C l e a r l y , b y a d d i n g i n o u r w e i g h t i n g f a c t o r t o t h e fi t n e s s f u n c t i o n , t h e r a n d o m m u t a t i o n a l g o r i t h m i s a b l e t o m o r e o p t i m a l l y s e l e c t t h e f e a t u r e s w i t h v e r y l i t t l e l o s s i n s y s t e m p e r f o r m a n c e . 1 5 5 1 4 0 0 . 0 1 6 1 2 0 - . ~ ~ 0 . 0 1 4 § 1 0 0 n T 0 . 0 1 2 E : 1 , _ I - ; 8 0 q 0 . 0 1 H a I “ 0 0 0 8 « 5 + N u m b e r o f 1 . 5 5 0 _ ' 3 . F e a t u r e s 3 - ~ [ 1 0 0 5 E — e — P ( e r r o r ) . o a 5 4 ° " - - 0 . 0 0 4 ' 3 5 Z a . 2 0 " . . 0 . 0 0 2 U r I r 0 1 0 . 8 0 . 5 0 . 2 a F i g u r e 4 . 1 0 : P l o t s o f n u m b e r o f f e a t u r e s a n d p r o b a b i l i t y o f e r r o r v e r s u s w e i g h t i n g f o r r a n d o m m u t a t i o n h i l l c l i m b i n g . F i g u r e 4 . 1 1 s h o w s t h e r e s u l t a n t i m p r o v e m e n t i n c o n v e r g e n c e t i m e o f t h e s y s t e m b y a l l o w i n g t h e n u m b e r o f f e a t u r e s m u t a t e d , f o r e a c h i t e r a t i o n , t o b e c o o l e d o v e r t i m e . T h e i m p r o v e m e n t i n c o n v e r g e n c e t i m e i s n e a r l y a f a c t o r o f 1 0 f o r a s y s t e m t h a t i n i t i a l l y r a n d o m l y s e l e c t s 8 f e a t u r e s p e r i t e r a t i o n , a n d t h e n e v e n t u a l l y c o o l s t o o n e f e a t u r e p e r i t e r a t i o n . T h i s i s i n s t a r k c o n t r a s t t o a n a l g o r i t h m s u c h a s fl o a t i n g f o r w a r d s e q u e n t i a l s e a r c h w h e r e t h e e x e c u t i o n t i m e d r a m a t i c a l l y i n c r e a s e s w i t h t h e n u m b e r o f f e a t u r e s s e l e c t e d d u r i n g e a c h i t e r a t i o n , a n d a l l c o m b i n a t i o n s o f t h e s e m u s t b e p r o c e s s e d , w h i c h r e s u l t s i n a c o m b i n a t o r i a l g o w t h i n t h e p r o c e s s i n g t i m e . 1 5 6 1 3 0 . 1 ’ - ' 1 . g I ‘ 1 - f e a t u r e / i t e r , 3 » 0 . 0 1 - " ' M W 2 ' I - _ . . . g I \ 3 2 0 . 0 0 1 1 I M — f e a t u r e s / i t e r “ M I 0 0 . 0 0 0 1 0 1 0 2 0 3 0 4 0 5 0 6 0 7 0 8 0 9 0 1 0 0 I t e r a t i o n N u m b e r F i g u r e 4 . 1 1 : C o m p a r i s o n o f c o n v e r g e n c e r a t e w h e n c o o l i n g i s a d d e d t o r a n d o m m u t a t i o n h i l l c l i m b i n g . ' W e a l s o p e r f o r m t h e r a n d o m m u t a t i o n h i l l c l i m b i n g o n t h e 4 - c l a s s p r o b l e m f o r t h e d = 0 . 2 a n d t h e a = 0 . 8 c a s e s . T h e r e s u l t s i n t e r m s o f t h e c o n f u s i o n m a t r i x a n d t h e a c t u a l f e a t u r e s s e l e c t e d a r e p r o v i d e d b e l o w . T h e c o n fi r s i o n m a t r i x f o r t h e p r o b a b i l i t y o f e r r o r w e i g h t i n g o f a = 0 . 2 i s p r o v i d e d i n T a b l e 4 . 1 1 . F o r t h i s c a s e , t h e a l g o r i t h m f a i l e d t o c o n v e r g e a f t e r 1 0 0 i t e r a t i o n s . T h e c l a s s i fi c a t i o n a c c u r a c y i s 9 6 . 8 7 % , a n d t h e t o t a l n u m b e r o f f e a t u r e s r e m a i n i n g i s 4 1 . L i k e w i s e , t h e c o n f u s i o n m a t r i x f o r t h e p r o b a b i l i t y o f e r r o r w e i g h t i n g o f a = 0 . 8 i s p r o v i d e d i n T a b l e 4 . 1 2 . A g a i n , t h e a l g o r i t h m f a i l e d t o c o n v e r g e a f t e r 1 0 0 i t e r a t i o n s . T h e c l a s s i fi c a t i o n a c c u r a c y i s 9 8 . 9 7 % , a n d t h e t o t a l n u m b e r o f f e a t u r e s r e m a i n i n g i s 1 0 4 . 1 5 7 T a b l e 4 . 1 1 : F o u r - c l a s s c o n f u s i o n m a t r i x f o r r a n d o m m u t a t i o n h i l l c l i m b i n g ( a = 0 . 2 ) . C l a s s i fi e d a s C l a s s i f i e d a s C l a s s i fi e d a s C l a s s i f i e d a s I n f a n t C h i l d A d u l t E m p t y T r u e I n f a n t 1 3 2 2 O O 0 T r u e C h i l d 4 2 2 5 9 5 0 T r u e A d u l t 1 5 4 4 5 5 0 T r u e E m p t y O 1 O 3 5 T a b l e 4 . 1 2 : F o u r - c l a s s c o n f u s i o n m a t r i x f o r r a n d o m m u t a t i o n h i l l c l i m b i n g ( a = 0 . 8 ) . C l a s s i fi e d a s C l a s s i f i e d a s C l a s s i f i e d a s C l a s s i f i e d a s I n f a n t C h i l d A d u l t E m p t y T r u e I n f a n t 1 3 2 2 O O 0 T r u e C h i l d 1 7 2 8 9 O 0 T r u e A d u l t 4 O 4 7 0 0 T r u e E m p t y O 1 O 3 5 F o r t h e f o r w a r d s e q u e n t i a l s e l e c t i o n w e f i x I a n d r t o b e b o t h e q u a l t o l . T h e r e s u l t s f o r t h e f o r w a r d s e q u e n t i a l s e a r c h i n t e r m s o f t h e c o n fi r s i o n m a t r i x a n d t h e a c t u a l f e a t u r e s s e l e c t e d a r e p r o v i d e d b e l o w . T h e c o n f u s i o n m a t r i x f o r t h e t w o - c l a s s p r o b l e m i s p r o v i d e d i n T a b l e 4 . 1 3 . T h e c l a s s i fi c a t i o n a c c u r a c y i s 9 9 . 5 6 % , a n d t h e B F o r w a r d S e q u e n t i a l S e a r c h a v e r a g e t o t a l n u m b e r o f f e a t u r e s r e m a i n i n g i s 9 . 1 5 8 T a b l e 4 . 1 3 : T w o - c l a s s c o n f u s i o n m a t r i x f o r f o r w a r d s e q u e n t i a l s e a r c h . C l a s s i f i e d a s I n f a n t C l a s s i f i e d a s A d u l t T r u e I n f a n t 1 3 2 6 2 T r u e A d u l t 6 4 8 5 W e a l s o t e s t t h e f o r w a r d s e q u e n t i a l s e a r c h f o r t h e 4 - c 1 a s s p r o b l e m , a n d t h e c o n f u s i o n m a t r i x i s p r o v i d e d b e l o w . T h e c o n fi r s i o n m a t r i x f o r 4 - c l a s s p r o b l e m p r o v i d e d i s i n T a b l e 4 . 1 4 . T h e c l a s s i fi c a t i o n a c c u r a c y i s 9 8 . 2 % , a n d t h e t o t a l n u m b e r o f f e a t u r e s r e m a i n i n g i s 1 3 . T a b l e 4 . 1 4 : F o u r - c l a s s c o n fi i s i o n m a t r i x f o r f o r w a r d s e q u e n t i a l s e a r c h . C l a s s i f i e d a s C l a s s i f i e d a s C l a s s i f i e d a s C l a s s i f i e d a s I n f a n t C h i l d A d u l t E m p t y T r u e I n f a n t 1 3 2 5 2 1 0 T r u e C h i l d 2 5 2 7 8 6 1 T r u e A d u l t 2 l 4 8 9 0 T r u e E m p t y 0 0 l 3 5 4 . 4 . 2 R e s u l t s f o r F i l t e r M e t h o d s F o r t h e fi l t e r m e t h o d s w e w i l l p r o v i d e t h e r e s u l t s f o r t h e M a n — W h i t n e y f e a t u r e s e l e c t o r b o t h w i t h a n d w i t h o u t c o r r e l a t i o n p o s t - p r o c e s s i n g . W e w i l l a l s o p r o v i d e t h e r e s u l t s f o r m u t u a l i n f o r m a t i o n - b a s e d f e a t u r e s e l e c t i o n . A s f o r t h e w r a p p e r - b a s e d 1 5 9 m e t h o d s , w e t e s t t h e f e a t u r e s e l e c t i o n a l g o r i t h m s f o r t h e t w o - c l a s s a n d t h e f o u r - c l a s s p r o b l e m s . R e c a l l t h e t e s t i n g i s p e r f o r m e d o n 1 0 i t e r a t i o n s o f t h e 5 0 / 5 0 c r o s s - v a l i d a t i o n . A l s o , t h e i n c o m i n g f e a t u r e v e c t o r c o n t a i n s 1 0 8 1 e l e m e n t s f o r t h e 4 5 ‘ h o r d e r L e g e n d r e m o m e n t s . A M a n n - W h i t n e y F o r t h e M a n n - W h i t n e y t e s t s w e p e r f o r m e d t h e t e s t i n g b o t h w i t h a n d w i t h o u t c o r r e l a t i o n p o s t - p r o c e s s i n g . W e i n i t i a l l y p e r f o r m t h e M a n n - W h i t n e y t e s t i n g u s i n g t h e c o r r e l a t i o n p o s t - p r o c e s s i n g f u n c t i o n , s i n c e t h i s i s o u r p r e f e r r e d m e t h o d o f o p e r a t i o n . F o r t h e t e s t i n g w i t h c o r r e l a t i o n p o s t — p r o c e s s i n g , w e u s e M a n n - W h i t n e y a s a r a n k i n g t o o l , a n d t h e c o r r e l a t i o n p o s t - p r o c e s s i n g d e t e r m i n e s t h e fi n a l n u m b e r o f f e a t u r e s . T h e n a s a c o m p a r i s o n , w e g e n e r a t e t h e s a m e n u m b e r o f f e a t u r e s w i t h o u t t h e c o r r e l a t i o n p o s t - p r o c e s s i n g b y s i m p l y r a n k i n g a n d t h r e s h o l d i n g t h e M a n n - W h i t n e y r e s u l t s t o t h e a p p r o p r i a t e m a t c h i n g n u m b e r o f f e a t u r e s . T h e c o n f u s i o n m a t r i c e s , c o r r e s p o n d i n g t o t h e v a r i o u s l e v e l s o f M a n n - W h i t n e y t h r e s h o l d i n g , a r e p r o v i d e d . W h e n w e p e r f o r m t h e c o r r e l a t i o n p o s t - p r o c e s s i n g o n a l l t h e 1 0 8 1 f e a t u r e s , a f t e r r a n k i n g t h e f e a t u r e s w i t h M a n n - W h i t n e y . T h e a v e r a g e n u m b e r o f r e m a i n i n g u n c o r r e l a t e d f e a t u r e s i s 8 1 f o r t h e t w o - c l a s s p r o b l e m , a n d t h e c l a s s i fi c a t i o n a c c u r a c y i s 9 9 . 4 % . T h e c o n f u s i o n m a t r i x i s p r o v i d e d i n T a b l e 4 . 1 5 . 1 6 0 T a b l e 4 . 1 5 : T w o - c l a s s c o n f u s i o n m a t r i x u s i n g M a n n - W h i t n e y ( w i t h c o r r e l a t i o n p o s t - p r o c e s s i n g p e r f o r m e d o n a l l t h e 1 0 8 1 f e a t u r e s , w e r e t a i n 8 1 f e a t u r e s ) . C l a s s i f i e d a s I n f a n t C l a s s i f i e d a s A d u l t T r u e I n f a n t 1 3 2 8 O T r u e A d u l t 9 4 8 2 W h e n w e u s e t h e M a n n - W h i t n e y t o t h r e s h o l d t h e f e a t u r e s , a n d w e r e t a i n o n l y t h e f e a t u r e s w i t h t h e h i g h e s t 2 0 0 Z - s t a t i s t i c s s c o r e s , a n d t h e n p e r f o r m t h e c o r r e l a t i o n p o s t - p r o c e s s i n g , t h e a v e r a g e n u m b e r o f r e m a i n i n g f e a t u r e s i s 1 6 f o r t h e t w o - c l a s s p r o b l e m . T h e c l a s s i fi c a t i o n a c c u r a c y i s 9 9 . 0 % , a n d t h e c o n f u s i o n m a t r i x i s p r o v i d e d i n T a b l e 4 . 1 6 . T a b l e 4 . 1 6 : T w o - c l a s s c o n f u s i o n m a t r i x u s i n g M a n n - W h i t n e y ( w i t h c o r r e l a t i o n p o s t - p r o c e s s i n g p e r f o r m e d o n o n l y t h e t o p 2 0 0 f e a t u r e s , w e r e t a i n 1 6 f e a t u r e s ) . C l a s s i f i e d a s I n f a n t C l a s s i f i e d a s A d u l t T r u e I n f a n t 1 3 2 4 5 T r u e A d u l t 1 2 4 7 9 W h e n w e u s e t h e M a n n - W h i t n e y a s a t h r e s h o l d , a n d w e r e t a i n o n l y t h e f e a t u r e s w i t h t h e h i g h e s t 1 2 0 Z - s t a t i s t i c s s c o r e s , a n d t h e n p e r f o r m t h e c o r r e l a t i o n p o s t - p r o c e s s i n g , t h e a v e r a g e n u m b e r o f r e m a i n i n g f e a t u r e s i s o n l y 6 f o r t h e t w o - c l a s s p r o b l e m . T h e c l a s s i fi c a t i o n a c c u r a c y h a s r e d u c e d t o 9 8 . 6 % , a n d t h e c o n f u s i o n m a t r i x i s p r o v i d e d i n T a b l e 4 . 1 7 . 1 6 1 T a b l e 4 . 1 7 : T w o - c l a s s c o n f u s i o n m a t r i x f o r M a n n - W h i t n e y ( W i t h c o r r e l a t i o n p o s t - p r o c e s s i n g p e r f o r m e d o n o n l y t h e t o p 1 2 0 f e a t u r e s , w e r e t a i n 6 f e a t u r e s ) . C l a s s i fi e d a s I n f a n t C l a s s i f i e d a s A d u l t T r u e I n f a n t 1 3 1 8 1 1 T r u e A d u l t 1 4 4 7 7 T h e s u m m a r y o f t h e n u m b e r o f f e a t u r e s r e t a i n e d f o r v a r i o u s M a n n - W h i t n e y t h r e s h o l d s f o l l o w e d b y c o r r e l a t i o n p o s t - p r o c e s s i n g f o r t h e t w o - c l a s s p r o b l e m i s s u m m a r i z e d i n T a b l e 4 . 1 8 . T o c o m p a r e t h e e f f e c t i v e n e s s o f t h e c o r r e l a t i o n p o s t - p r o c e s s i n g , w e n o w w i l l r e t a i n o n l y t h i s s a m e n u m b e r o f r e s u l t a n t f e a t u r e s ( 8 1 , 1 6 , a n d 6 ) , b u t w i t h o u t p e r f o r m i n g c o r r e l a t i o n p o s t - p r o c e s s i n g , a n d c o m p a r e t h e r e s u l t a n t c l a s s i fi c a t i o n p e r f o r m a n c e . T a b l e 4 . 1 8 : S u m m a r y o f n u m b e r o f f e a t u r e s . r e t a i n e d a f t e r u s i n g M a n n - W h i t n e y a n d c o r r e l a t i o n p o s t - p r o c e s s i n g . N u m b e r o f F e a t u r e s R e t a i n e d R e s u l t a n t N u m b e r o f F e a t u r e s f r o m S o r t e d M a n n - W h i t n e y A f t e r C o r r e l a t i o n P r o c e s s i n g 1 0 8 5 8 1 2 0 0 1 6 1 2 0 6 W h e n w e u s e o n l y t h e M a n n - W h i t n e y a s a t h r e s h o l d , a n d w e r e t a i n o n l y t h e f e a t u r e s w i t h t h e h i g h e s t 8 1 Z - s t a t i s t i c s s c o r e s , t h e n t h e c l a s s i fi c a t i o n a c c u r a c y i s 9 9 . 9 % . T h e c o n f u s i o n m a t r i x f o r t h e t w o - c l a s s p r o b l e m i s p r o v i d e d i n T a b l e 4 . 1 9 . 1 6 2 T a b l e 4 . 1 9 : T w o - c l a s s c o n f u s i o n m a t r i x u s i n g M a n n - W h i t n e y ( n o c o r r e l a t i o n p o s t - p r o c e s s i n g , b u t w e r e t a i n o n l y t h e t o p 8 1 f e a t u r e s ) . C l a s s i f i e d a s I n f a n t C l a s s i f i e d a s A d u l t T r u e I n f a n t 1 3 2 8 1 T r u e A d u l t 0 4 9 1 W h e n w e u s e o n l y t h e M a n n - W h i t n e y a s a t h r e s h o l d , a n d w e r e t a i n o n l y t h e f e a t u r e s w i t h t h e h i g h e s t 1 6 Z — s t a t i s t i c s s c o r e s , t h e n t h e c l a s s i fi c a t i o n a c c u r a c y i s 9 9 . 3 % . T h e c o n f u s i o n m a t r i x f o r t h e t w o - c l a s s p r o b l e m i s p r o v i d e d i n T a b l e 4 . 2 0 . T a b l e 4 . 2 0 : T w o - c l a s s c o n f u s i o n m a t r i x u s i n g M a n n - W h i t n e y ( n o c o r r e l a t i o n p o s t - p r o c e s s i n g , b u t w e r e t a i n o n l y t h e t o p 1 6 f e a t u r e s ) . C l a s s i f i e d a s I n f a n t C l a s s i f i e d a s A d u l t T r u e I n f a n t 1 3 2 3 6 T r u e A d u l t 7 4 8 4 F i n a l l y , w h e n w e u s e o n l y t h e M a n n - W h i t n e y a s a t h r e s h o l d , a n d w e r e t a i n o n l y t h e f e a t u r e s w i t h t h e h i g h e s t 6 Z - s t a t i s t i c s s c o r e s , t h e n t h e c l a s s i fi c a t i o n a c c u r a c y i s 9 6 . 9 % . T h e c o n f u s i o n m a t r i x f o r t h e t w o - c l a s s p r o b l e m i s p r o v i d e d i n T a b l e 4 . 2 1 . T a b l e 4 . 2 1 : T w o - c l a s s c o n f u s i o n m a t r i x u s i n g M a n n - W h i t n e y ( n o c o r r e l a t i o n p o s t - p r o c e s s i n g , b u t w e r e t a i n o n l y t h e t o p 6 f e a t u r e s ) . C l a s s i f i e d a s I n f a n t C l a s s i f i e d a s A d u l t T r u e I n f a n t 1 3 1 0 1 9 T r u e A d u l t 3 7 4 5 4 1 6 3 1 1 0 8 1 8 1 6 6 9 9 - 9 8 % 9 9 9 9 9 6 . . . 9 3 9 % % % ’ ' - - N o t a 9 9 9 p 9 9 8 p l i c a b l e . . . 4 0 6 % % % T h e s u m m a r i z a t i o n o f t h e c l a s s i fi c a t i o n r e s u l t s f o r t h e M a n n - W h i t n e y f e a t u r e s e l e c t i o n a l g o r i t h m , w i t h a n d w i t h o u t c o r r e l a t i o n p o s t - p r o c e s s i n g , i s p r o v i d e d i n T a b l e 4 . 2 2 . I t i s i n t e r e s t i n g t o n o t e t h a t , i n a l l b u t t h e m o s t a g g r e s s i v e f e a t u r e r e d u c t i o n , t h e u s e o f c o r r e l a t i o n p o s t - p r o c e s s i n g h a s n o a p p a r e n t e f f e c t , a n d m a y e v e n r e d u c e t h e c l a s s i fi c a t i o n a c c u r a c y s l i g h t l y . F o r t h e c a s e w h e r e o n l y 6 f e a t u r e s a r e r e t a i n e d , h o w e v e r , w e d o s e e t h e r e i s a n a d v a n t a g e t o p e r f o r m i n g t h e c o r r e l a t i o n p o s t - p r o c e s s i n g . T a b l e 4 . 2 2 : S u m m a r y o f c l a s s i fi c a t i o n a c c u r a c y u s i n g M a n n - W h i t n e y w i t h a n d w i t h o u t c o r r e l a t i o n p o s t - p r o c e s s i n g . C l a s s i fi c a t i o n A c c u r a c y U s i n g M a n n - W h i t n e y a n d C o r r e l a t i o n P o s t - P r o c e s s i n g N u m b e r o f C l a s s i fi c a t i o n A c c u r a c y F e a t u r e s U s i n g o n l y M a n n - W h i t n e y W e w i l l n o w s h o w t h e r e s u l t s f o r t h e M a n n - W h i t n e y f e a t u r e s e l e c t i o n f o r t h e f o u r - c l a s s p r o b l e m . W h e n w e p e r f o r m t h e c o r r e l a t i o n p o s t - p r o c e s s i n g o n a l l t h e 1 0 8 1 f e a t u r e s , a f t e r r a n k i n g t h e f e a t u r e s w i t h M a n n - W h i t n e y , t h e a v e r a g e n u m b e r o f r e m a i n i n g f e a t u r e s f o r t h e f o u r - c l a s s p r o b l e m i s 1 0 6 . T h e c l a s s i fi c a t i o n a c c u r a c y i s 9 8 . 5 % , a n d t h e c o n f u s i o n m a t r i x i s p r o v i d e d i n T a b l e 4 . 2 3 . 1 6 4 T a b l e 4 . 2 3 : F o u r — c l a s s c o n f u s i o n m a t r i x u s i n g M a n n - W h i t n e y ( w i t h c o r r e l a t i o n p o s t - p r o c e s s i n g p e r f o r m e d o n a l l t h e 1 0 8 1 f e a t u r e s , w e r e t a i n 1 0 6 ) . C l a s s i fi e d a s C l a s s i fi e d a s C l a s s i fi e d a s C l a s s i fi e d a s I n f a n t C h i l d A d u l t E m p t y T r u e I n f a n t 1 3 2 7 1 O 0 T r u e C h i l d 2 1 2 8 6 3 0 T r u e A d u l t 7 O 4 8 4 0 T r u e E m p t y O 1 1 3 5 W h e n w e u s e t h e M a n n - W h i t n e y a s a t h r e s h o l d , a n d w e r e t a i n o n l y t h e f e a t u r e s w i t h t h e h i g h e s t 2 0 0 Z - s t a t i s t i c s s c o r e s , a n d t h e n p e r f o r m t h e c o r r e l a t i o n p o s t - p r o c e s s i n g , t h e a v e r a g e n u m b e r o f r e m a i n i n g f e a t u r e s f o r t h e f o u r - c l a s s p r o b l e m i s 4 3 . T h e c l a s s i fi c a t i o n a c c u r a c y i s 9 8 . 0 % , a n d t h e c o n f u s i o n m a t r i x i s p r o v i d e d i n , 1 T a b l e 4 . 2 4 . T a b l e 4 . 2 4 : F o u r - c l a s s c o n f u s i o n m a t r i x u s i n g M a n n - W h i t n e y ( w i t h c o r r e l a t i o n p o s t - p r o c e s s i n g p e r f o r m e d o n o n l y t h e t o p 2 0 0 f e a t u r e s , w e r e t a i n 4 3 ) . C l a s s i fi e d a s C l a s s i fi e d a s C l a s s i fi e d a s C l a s s i fi e d a s I n f a n t C h i l d A d u l t E m p t y T r u e I n f a n t 1 3 2 6 2 1 0 T r u e C h i l d 2 7 2 7 7 6 0 T r u e A d u l t 6 O 4 8 5 0 T r u e E m p t y O O l 3 5 W h e n w e u s e t h e M a n n - W h i t n e y a s a t h r e s h o l d , a n d w e r e t a i n o n l y t h e f e a t u r e s w i t h t h e h i g h e s t 1 2 0 Z - s t a t i s t i c s s c o r e s , a n d t h e n p e r f o r m t h e c o r r e l a t i o n p o s t - p r o c e s s i n g , t h e a v e r a g e n u m b e r o f r e m a i n i n g f e a t u r e s f o r t h e f o u r - c l a s s p r o b l e m 1 6 5 i s o n l y 3 1 . m a t r i x i s p r o v i d e d i n T a b l e 4 . 2 5 . T h e c l a s s i fi c a t i o n a c c u r a c y h a s r e d u c e d t o 9 7 . 4 % , a n d t h e c o n f u s i o n T a b l e 4 . 2 5 : F o u r - c l a s s c o n f u s i o n m a t r i x u s i n g M a n n - W h i t n e y ( w i t h c o r r e l a t i o n p o s t - p r o c e s s i n g p e r f o r m e d o n o n l y t h e t o p 1 2 0 f e a t u r e s , w e r e t a i n 3 1 ) . C l a s s i fi e d a s C l a s s i fi e d a s C l a s s i fi e d a s C l a s s i fi e d a s I n f a n t C h i l d A d u l t E m p t y T r u e I n f a n t 1 3 2 3 4 1 0 T r u e C h i l d 3 1 2 7 0 9 0 T r u e A d u l t 8 O 4 8 2 0 T r u e E m p t y O O l 3 5 T h e s u m m a r y o f t h e n u m b e r o f f e a t u r e s u s e d f o r t h e f o u r - c l a s s p r o b l e m , w h e n t h e c o r r e l a t i o n t e s t i n g i s p e r f o r m e d i s s u m m a r i z e d i n T a b l e 4 . 2 6 . T o c o m p a r e t h e e f f e c t i v e n e s s 0 f t h e c o r r e l a t i o n p o s t - p r o c e s s i n g , w e w i l l n o w r e t a i n o n l y t h i s s a r n e n u m b e r o f r e s u l t a n t f e a t u r e s ( 1 0 6 , 4 3 , a n d 3 1 ) , b u t w i t h o u t p e r f o r m i n g c o r r e l a t i o n p o s t - p r o c e s s i n g , a n d c o m p a r e t h e r e s u l t a n t c l a s s i fi c a t i o n p e r f o r m a n c e . T a b l e 4 . 2 6 : S u m m a r y o f n u m b e r o f f e a t u r e s r e t a i n e d f o r t h e f o u r - c l a s s p r o b l e m a f t e r u s i n g M a n n - W h i t n e y a n d c o r r e l a t i o n p o s t - p r o c e s s i n g . R e s u l t a n t N u m b e r o f F e a t u r e s A f t e r C o r r e l a t i o n P r o c e s s i n g N u m b e r o f F e a t u r e s R e t a i n e d f r o m S o r t e d M a n n - W h i t n e y 1 0 8 5 1 0 6 2 0 0 4 3 1 2 0 3 1 1 6 6 W h e n w e u s e o n l y t h e M a n n - W h i t n e y a s a t h r e s h o l d f o r t h e f o u r - c l a s s p r o b l e m , a n d w e r e t a i n o n l y t h e f e a t u r e s w i t h t h e h i g h e s t 1 0 6 Z - s t a t i s t i c s s c o r e s , t h e n t h e c l a s s i fi c a t i o n a c c u r a c y i s 9 8 . 7 % . T h e c o n f u s i o n m a t r i x i s p r o v i d e d i n T a b l e 4 . 2 7 . T a b l e 4 . 2 7 : F o u r - c l a s s c o n f u s i o n m a t r i x u s i n g M a n n - W h i t n e y ( n o c o r r e l a t i o n p o s t - p r o c e s s i n g , b u t w e r e t a i n o n l y t h e t o p 1 0 6 f e a t u r e s ) . C l a s s i fi e d a s C l a s s i fi e d a s C l a s s i fi e d a s C l a s s i fi e d I n f a n t C h i l d A d u l t a s E m p t y T r u e I n f a n t 1 3 2 7 1 0 0 T r u e C h i l d 2 2 2 8 7 2 0 T r u e A d u l t 1 0 4 9 0 0 T r u e E m p t y O O 1 3 5 W h e n w e u s e o n l y t h e M a n n - W h i t n e y a s a t h r e s h o l d f o r t h e f o u r — c l a s s p r o b l e m , a n d w e r e t a i n o n l y t h e f e a t u r e s w i t h t h e h i g h e s t 4 3 Z - s t a t i s t i c s s c o r e s , t h e n t h e c l a s s i fi c a t i o n a c c u r a c y i s 9 7 . 8 % . T h e c o n f u s i o n m a t r i x i s p r o v i d e d i n T a b l e 4 . 2 8 . T a b l e 4 . 2 8 : F o u r - c l a s s c o n f u s i o n m a t r i x u s i n g M a n n - W h i t n e y ( n o c o r r e l a t i o n p o s t - p r o c e s s i n g , b u t w e r e t a i n o n l y t h e t o p 4 3 f e a t u r e s ) . C l a s s i fi e d a s C l a s s i fi e d a s C l a s s i fi e d a s C l a s s i fi e d a s I n f a n t C h i l d A d u l t E m p t y T r u e I n f a n t 1 3 2 5 2 1 0 T r u e C h i l d 3 1 2 7 3 6 0 T r u e A d u l t 3 O 4 8 8 0 T r u e E m p t y O O 1 3 5 1 6 7 L a s t l y , w h e n w e u s e o n l y t h e M a n n - W h i t n e y a s a t h r e s h o l d f o r t h e f o u r - c l a s s p r o b l e m , a n d w e r e t a i n o n l y t h e f e a t u r e s w i t h t h e h i g h e s t 3 1 Z - s t a t i s t i c s s c o r e s , t h e n t h e c l a s s i fi c a t i o n a c c u r a c y i s 9 7 . 5 % . T h e c o n f u s i o n m a t r i x i s p r o v i d e d i n T a b l e 4 . 2 9 . T a b l e 4 . 2 9 : F o u r - c l a s s c o n f u s i o n m a t r i x u s i n g M a n n - W h i t n e y ( n o c o r r e l a t i o n p o s t - p r o c e s s i n g , b u t w e r e t a i n o n l y t h e t o p 3 1 f e a t u r e s ) . C l a s s i fi e d a s C l a s s i fi e d a s C l a s s i fi e d a s C l a s s i fi e d a s I n f a n t C h i l d A d u l t E m p t y T r u e I n f a n t 1 3 2 2 4 2 0 T r u e C h i l d 3 5 2 6 7 8 0 T r u e A d u l t 4 l 4 8 6 0 T r u e E m p t y O O 1 3 5 T h e s u m m a r i z a t i o n o f t h e c l a s s i fi c a t i o n r e s u l t s f o r t h e f o u r - c l a s s p r o b l e m u s i n g t h e M a n n - W h i t n e y f e a t u r e s e l e c t i o n a l g o r i t h m w i t h a n d w i t h o u t c o r r e l a t i o n p o s t - p r o c e s s i n g i s p r o v i d e d i n T a b l e 4 . 3 0 . I n t h e f o u r - c l a s s c a s e , t h e r e a p p e a r s t o b e n o a d v a n t a g e t o u s i n g c o r r e l a t i o n p o s t - p r o c e s s i n g , w h i l e f o r t h e t w o - c l a s s p r o b l e m , t h e r e o n l y a p p e a r e d t o b e a n a d v a n t a g e w h e n w e a g g r e s s i v e l y r e d u c e d t h e n u m b e r o f f e a t u r e s . T h u s i t a p p e a r s t h a t c o r r e l a t i o n b e t w e e n f e a t u r e s i s n o t a s i g n i fi c a n t p r o b l e m f o r o u r a i r b a g s u p p r e s s i o n a p p l i c a t i o n w h e n u s i n g t h e 4 5 t h o r d e r L e g e n d r e m o m e n t s . 1 6 8 1 6 1 1 0 4 3 0 8 3 1 9 9 9 9 8 8 7 7 . . . . 9 7 9 4 3 3 8 7 % % % % N o t a p p l 9 9 9 8 8 7 . . . 4 0 4 i 8 1 3 c a b l e % % % T a b l e 4 . 3 0 : S u m m a r y o f f o u r - c l a s s c l a s s i fi c a t i o n a c c u r a c y u s i n g M a n n - W h i t n e y w i t h a n d w i t h o u t c o r r e l a t i o n p o s t - p r o c e s s i n g . C l a s s i fi c a t i o n A c c u r a c y U s i n g M a n n - W h i t n e y a n d C o r r e l a t i o n P o s t - P r o c e s s i n g N u m b e r o f C l a s s i fi c a t i o n A c c u r a c y F e a t u r e s U s i n g O n l y M a n n - W h i t n e y B M u t u a l I n f o r m a t i o n ' F o r t h e m u t u a l i n f o r m a t i o n t e s t s , w e p e r f o r m e d t h e t e s t i n g w i t h a fi x e d b i n c o u n t . f o r . t h e h i s t o g r a m g e n e r a t i o n . W e t e s t e d t h e m u t u a l i n f o r m a t i o n - b a s e d f e a t u r e s e l e c t i o n f o r t h e t w o - c l a s s p r o b l e m . T o c o m p u t e t h e m u t u a l i n f o r m a t i o n , w e u s e d 1 0 0 b i n s f o r t h e g e n e r a t i o n o f t h e j o i n t p r o b a b i l i t y d e n s i t y f u n c t i o n s . T h e f e a t u r e s w e r e o r d e r e d u s i n g t h e m u t u a l i n f o r m a t i o n , a n d t h e n , t o c o m p a r e t h e m w i t h t h e M a n n - W h i t n e y r e s u l t s , w e p e r f o r m e d c r o s s - v a l i d a t i o n u s i n g b o t h c o r r e l a t i o n p o s t - p r o c e s s e d o n t h e e n t i r e f e a t u r e v e c t o r , a n d a l s o o n t h e t o p 2 0 0 , a n d t h e t o p 1 2 0 . T h e r e s u l t a n t n u m b e r s o f f e a t u r e s r e t a i n e d w e r e t h e s a m e l e n g t h s a s t h o s e f o r t h e M a n n - W h i t n e y t e s t s , n a m e l y 8 1 , 1 6 , a n d 6 r e s p e c t i v e l y . T h e r e s u l t s a r e p r o v i d e d i n T a b l e 4 . 3 1 t h r o u g h T a b l e 4 . 3 3 . A s w e c a n s e e , t h e r e s u l t a n t p r o b a b i l i t i e s o f c o r r e c t c l a s s i fi c a t i o n w e r e 9 9 . 5 1 % , 9 2 . 7 % , a n d 8 2 . 8 2 % , r e s p e c t i v e l y . C l e a r l y , t h e s e a r e c o n s i d e r a b l y w o r s e t h a n a n y o f t h e p r e v i o u s r e s u l t s f o r t h e o t h e r f e a t u r e s e l e c t i o n 1 6 9 a l g o r i t h m s . T h e r e f o r e , w e w i l l n o t c o n s i d e r u s i n g m u t u a l i n f o r m a t i o n f o r t h e f o u r - c l a s s p r o b l e m , s i n c e i t i s m o r e d i f fi c u l t t h a n t h e t w o - c l a s s p r o b l e m . T a b l e 4 . 3 1 : T w o - c l a s s c o n f u s i o n m a t r i x f o r m u t u a l i n f o r m a t i o n u s i n g t h e t o p 8 1 f e a t u r e s ( s t a r t w i t h 1 0 8 1 a n d t h e n p e r f o r m c o r r e l a t i o n p o s t - p r o c e s s i n g ) . C l a s s i fi e d a s I n f a n t C l a s s i fi e d a s A d u l t T r u e I n f a n t 1 3 2 9 9 0 T r u e A d u l t 9 4 8 2 T a b l e 4 . 3 2 : T w o - c l a s s c o n f u s i o n m a t r i x f o r m u t u a l i n f o r m a t i o n u s i n g t h e t o p 1 6 f e a t u r e s ( s t a r t w i t h t o p 2 0 0 f e a t u r e s a n d t h e n p e r f o r m c o r r e l a t i o n p o s t - p r o c e s s i n g ) . C l a s s i fi e d a s I n f a n t C l a s s i fi e d a s A d u l t T r u e I n f a n t 1 3 0 0 2 9 T r u e A d u l t 1 0 4 3 8 7 T a b l e 4 . 3 3 : T w o - c l a s s c o n f u s i o n m a t r i x f o r m u t u a l i n f o r m a t i o n u s i n g t h e t o p 6 f e a t u r e s ( s t a r t w i t h t o p 1 2 0 f e a t u r e s a n d t h e n p e r f o r m c o r r e l a t i o n p o s t - p r o c e s s i n g ) . C l a s s i fi e d a s I n f a n t C l a s s i fi e d a s A d u l t T r u e I n f a n t 1 2 3 9 1 T r u e A d u l t 2 2 1 2 7 0 1 7 0 4 . 5 S u m m a r y T h e s u m m a r y o f t h e p e r f o r m a n c e r e s u l t s f o r a l l o f t h e f e a t u r e s e l e c t i o n m e t h o d s i s p r o v i d e d i n T a b l e 4 . 3 4 . N o t e s i n c e t h e m u t u a l i n f o r m a t i o n m e t h o d p e r f o r m e d s o p o o r l y o n t h e t w o - c l a s s p r o b l e m , w e d i d n o t t e s t t h e a l g o r i t h m o n t h e f o u r - c l a s s p r o b l e m , s o t h e r e s u l t s a r e m a r k e d n o t a v a i l a b l e ( N / A ) . O v e r a l l , w e h a v e f o u n d v e r y l i t t l e p e r f o r m a n c e d i f f e r e n c e b e t w e e n t h e w r a p p e r a n d t h e fi l t e r m e t h o d s f o r o u r a p p l i c a t i o n . W e b e l i e v e t h i s i s b e c a u s e i n o u r d a t a s e t , i t i s d i f fi c u l t t o r a n k t h e f e a t u r e s b a s e d o n t h e i r d i s c r i m i n a t i o n a b i l i t y a n d c o r r e l a t i o n , a s s h o w n i n F i g u r e 4 . 3 a n d F i g u r e 4 . 4 . M o s t o f t h e d a t a s e t s u s e d i n t h e l i t e r a t u r e f o r f e a t u r e s e l e c t i o n , a r e c o n t r i v e d t o p r o v i d e f e a t u r e s t h a t a r e c l e a r l y d i s c r i m i n a t i n g o r c l e a r l y c o r r e l a t e d w i t h o t h e r f e a t u r e s . O v e r a l l , t h e f o r w a r d s e q u e n t i a l s e a r c h a l g o r i t h m p e r f o r m e d t h e b e s t i n t e r m s o f c o m b i n e d c l a s s i fi c a t i o n a c c u r a c y a n d n u m b e r o f f e a t u r e s r e t a i n e d w i t h 9 9 . 6 % a c c u r a c y w h i l e u s i n g o n l y 9 f e a t u r e s f o r t h e t w o - c l a s s p r o b l e m . T h e n e x t b e s t f o r t h e t w o - c l a s s p r o b l e m i s t h e M a n n - W h i t n e y , t h r e s h o l d e d a t 2 0 0 , w h i c h a c h i e v e d 9 9 . 0 % c l a s s i fi c a t i o n a c c u r a c y w h i l e u s i n g o n l y 1 6 f e a t u r e s . A n o t h e r i n t e r e s t i n g o b s e r v a t i o n i s t h a t t h e M a n n - W h i t n e y t h r e s h o l d e d a t 1 2 0 a c h i e v e d 9 8 . 6 % c l a s s i fi c a t i o n a c c u r a c y w h i l e u s i n g 6 f e a t u r e s . T h i s i s t h e s a m e c l a s s i fi c a t i o n a c c u r a c y a c h i e v e d b y r a n d o m m u t a t i o n w i t h 2 7 f e a t u r e s . 1 7 1 T a b l e 4 . 3 4 : S u m m a r y o f c l a s s i fi c a t i o n a c c u r a c y a n d t h e n u m b e r o f f e a t u r e s r e t a i n e d f o r a l l t h e f e a t u r e s e l e c t i o n m e t h o d s . C l a s s i fi c a t i o n A c c u r a c y # o f F e a t u r e s R e t a i n e d F e a t u r e S e l e c t i o n M e t h o d T w o - c l a s s F o u r - c l a s s T w o - c l a s s F o u r - c l a s s R a n d o m M u t a t i o n H i l l 9 8 . 6 % 9 6 . 9 % 2 7 4 1 C l i m b i n g ( a = 0 . 2 ) R a n d o m M u t a t i o n H i " 9 9 . 9 5 % 9 8 . 9 7 % 6 7 1 0 4 C l i m b i n g ( a = 0 . 8 ) F o r w a r d S e q u e n t i a l S e a r c h 9 9 6 % 9 8 2 4 9 1 3 M a n n - W h i t n e y w / C o r r e l . 9 9 4 % 9 8 . 5 % 3 1 1 0 6 ( a l l 1 0 8 1 ) M a n n - W h i t n e y w / C o r r e l . 9 9 . 0 % 9 8 . 0 % 1 6 4 3 ( r e t a i n t o p 2 0 0 ) M a n n - W h i t n e y w / C o r r e l . 9 8 . 6 % 9 7 . 4 % 6 3 1 ( r e t a i n t o p 1 2 0 ) M u t u a l I n f o r m a t i o n 9 9 . 5 % N / A 8 1 N / A w / C o r r e l . ( a l l 1 0 8 1 ) . M u t u a l I n f o r m a t i o n 9 2 . 7 % N / A 1 6 N / A w / C o r r e l . ( r e t a i n t o p 2 0 0 ) M u t u a l I n f o r m a t i o n 8 2 . 8 % N / A 6 N / A w / C o r r e l . ( r e t a i n t o p 2 0 0 ) T h e w o r s t c l a s s i fi c a t i o n p e r f o r m a n c e w a s a c h i e v e d w i t h m u t u a l i n f o r m a t i o n . I t s r e l a t i v e l y p o o r p e r f o r m a n c e i s p a r t i c u l a r l y o b v i o u s w h e n o n l y 6 f e a t u r e s a r e r e t a i n e d , a n d m u t u a l i n f o r m a t i o n a c h i e v e d o n l y 8 2 . 8 % a c c u r a c y . T h e M a n n - W h i t n e y o u t p e r f o r m e d m u t u a l i n f o r m a t i o n b y o v e r 1 0 % . A k e y s t r e n g t h o f t h e M a n n - W h i t n e y i s t h a t t h e r e a r e n o c r i t i c a l f r e e p a r a m e t e r s t h a t n e e d t o b e e m p i r i c a l l y s e t . I n t h e r a n d o m m u t a t i o n , a n d i n t h e m u t u a l i n f o r m a t i o n t h e r e a r e c r i t i c a l p a r a m e t e r s t h a t g r e a t l y a f f e c t t h e p e r f o r m a n c e . 1 7 2 O n e o f t h e k e y i s s u e s w h e n c h o o s i n g a f e a t u r e s e l e c t i o n m e t h o d i s t h e r e q u i r e d p r o c e s s i n g t i m e . A s u m m a r y o f t h e p r o c e s s i n g t i m e r e q u i r e d f o r t h e M a n n - W h i t n e y fi l t e r m e t h o d , t h e r a n d o m m u t a t i o n m e t h o d , a n d F S S m e t h o d i s p r o v i d e d i n T a b l e 4 . 3 5 . A s c a n b e s e e n , t h e r e i s a d r a m a t i c v a r i a t i o n i n t h e p r o c e s s i n g t i m e , w i t h t h e F S S a l g o r i t h m r e q u i r i n g n e a r l y o n e d a y o f p r o c e s s i n g p e r f e a t u r e s e l e c t e d , f o r t h e t w o - c l a s s p r o b l e m . T h e s e r e s u l t s w e r e c o m p u t e d r u n n i n g M A T L A B o n a 2 G H z A M D P e n t i u m p r o c e s s w i t h 2 5 6 G B y t e s o f R A M . T h e s e r e s u l t s a r e f o r a s i n g l e r u n o f t h e 1 0 r u n s i n t h e 5 0 / 5 0 c r o s s v a l i d a t i o n f e a t u r e s e l e c t i o n p r o c e s s i n g . T a b l e 4 . 3 5 : T o t a l p r o c e s s i n g t i m e f o r t h e t h r e e b e s t f e a t u r e s e l e c t i o n m e t h o d s . M e t h o d T i m e M a n n - W h i t n e y w / C o r r e l a t i o n < 1 0 m i n u t e s R a n d o m M u t a t i o n H i l l C l i m b i n g 3 . 2 5 h o u r s F o r w a r d S e q u e n t i a l S e a r c h ~ 1 d a y p e r o u t p u t f e a t u r e ( 2 - c l a s s ) ~ 2 d a y p e r o u t p u t f e a t u r e ( 4 - c l a s s ) F o r o u r a p p l i c a t i o n , w h e r e w e h a v e a l a r g e n u m b e r o f f e a t u r e s a n d a r e l a t i v e l y l a r g e n u m b e r o f t r a i n i n g a n d t e s t s a m p l e s a v a i l a b l e , t h e u s e o f t h e fi l t e r m e t h o d s c a n a l l o w u s t o r a p i d l y e x p e r i m e n t w i t h v a r y i n g t h e p a r a m e t e r s i n t h e s e g m e n t a t i o n a n d f e a t u r e e x t r a c t i o n a l g o r i t h m s . T h i s a l l o w s u s t o o p t i m i z e t h e o v e r a l l p e r f o r m a n c e o f t h e s y s t e m . S i n c e t h e r e i s n o a p p r e c i a b l e r e d u c t i o n i n t h e c l a s s i fi c a t i o n p e r f o r m a n c e , t h e u s e o f t h e w r a p p e r m e t h o d s a p p e a r s u n n e c e s s a r y g i v e n i t s c o n s i d e r a b l e i n c r e a s e i n p r o c e s s i n g t i m e . 1 7 3 C h a p t e r 5 . O c c u p a n t C l a s s i fi c a t i o n T h e o c c u p a n t c l a s s i fi e r t a k e s a s i n p u t t h e f e a t u r e s g e n e r a t e d b y t h e f e a t u r e e x t r a c t i o n p r o c e s s i n g . I t s o u t p u t i s a n e s t i m a t e o f t h e p a t t e r n c l a s s t h a t m o s t c l o s e l y r e s e m b l e s t h e i n p u t i m a g e d o c c u p a n t . I t b a s e s t h i s e s t i m a t e o n t r a i n i n g i m a g e d a t a , w h i c h w a s c o l l e c t e d f r o m t h e v e h i c l e s f o r w h i c h t h e s y s t e m w i l l o p e r a t e . R e c a l l t h e r e a r e t w o p o s s i b l e c l a s s i fi c a t i o n p r o b l e m s i n o u r a p p l i c a t i o n : ( i ) a 2 - c l a s s p r o b l e m t h a t c l a s s i fi e s i n f a n t s v e r s u s a l l a d u l t s ( i g n o r i n g a l l o t h e r c l a s s e s ) , a n d ( i i ) a m o r e c o m p l i c a t e d 4 - c l a s s p r o b l e m t h a t c l a s s i fi e s t h e o c c u p a n t i n t o : 1 ) I n f a n t , 2 ) C h i l d , 3 ) A d u l t , a n d 4 ) E m p t y s e a t . I n t h e t w o - c l a s s i m p l e m e n t a t i o n , a l l o f t h e c h i l d o c c u p a n t s o l d e r t h a n o n e y e a r - o l d a r e p r o t e c t e d e i t h e r b y t h e a i r b a g b e i n g s u p p r e s s e d ( i f t h e o c c u p a n t i s c l a s s i fi e d a s a n i n f a n t ) , o r t h e y w i l l b e p r o t e c t e d b y t h e t r a c k i n g s y s t e m i f t h e y a r e c l a s s i fi e d a s a n a d u l t . T h i s c h a p t e r w i l l r e v i e w a s u b s e t o f t h e a v a i l a b l e c l a s s i fi c a t i o n m e t h o d s a n d w i l l s u m m a r i z e t h e r e a s o n s t h a t l e d t o o u r d e c i s i o n o f w h i c h c l a s s i fi e r t o u s e . W e w i l l a l s o d e fi n e a p o s t - p r o c e s s i n g s t a g e , c a l l e d c o n t e x t u a l p r o c e s s i n g , w h i c h p r o v i d e s a h i s t o r y - b a s e d s m o o t h i n g f u n c t i o n t o t h e c l a s s i fi e r t o r e d u c e t h e n u m b e r o f e r r o n e o u s c l a s s i fi c a t i o n s . 1 7 4 5 . 1 C l a s s i fi c a t i o n M e t h o d s F i g u r e 5 . 1 p r o v i d e s a h i e r a r c h y o f t h e v a r i o u s c l a s s i fi c a t i o n m e t h o d s a v a i l a b l e t o a p a t t e r n r e c o g n i t i o n p r a c t i t i o n e r [ 2 7 ] . T h e t o p l e v e l o f t h e h i e r a r c h y s e p a r a t e s v a r i o u s m e t h o d s b a s e d o n t h e c o m p l e t e n e s s o f t h e “ k n o w l e d g e ” o f t h e p r o b l e m . C o m p l e t e k n o w l e d g e m e a n s t h e d e s i g n e r h a s a c c e s s t o t h e a p r i o r i p r o b a b i l i t y d i s t r i b u t i o n s o f t h e c l a s s e s , a s w e l l a s t h e f u n c t i o n a l d e fi n i t i o n o f t h e c l a s s - c o n d i t i o n a l p r o b a b i l i t y d i s t r i b u t i o n s . S i n c e w e h a v e n o w a y o f k n o w i n g t h e a p r i o r i p r o b a b i l i t i e s o f t h e o c c u p a n t t y p e s , n o r t h e t r u e k n o w l e d g e o f t h e c l a s s - c o n d i t i o n a l d e n s i t i e s , w e m u s t r e s o r t t o i n c o m p l e t e r e a s o n i n g . W i t h i n t h e i n c o m p l e t e r e a s o n i n g b r a n c h , t h e r e i s t h e c o n c e p t o f s u p e r v i s e d v e r s u s u n s u p e r v i s e d l e a r n i n g . S i n c e f o r t h i s a p p l i c a t i o n w e h a v e c o l l e c t e d a n d l a b e l e d t h e o c c u p a n t t y p e f o r o u r t r a i n i n g d a t a , w e d o n o t n e e d t o d e a l w i t h u n s u p e r v i s e d I e a m i n g . B e l o w w e w i l l d e s c r i b e m e t h o d s f r o m e a c h o f t h e s u p e r v i s e d l e a r n i n g b r a n c h e s , n a m e l y a p a r a m e t r i c a p p r o a c h a n d t w o n o n - p a r a m e t r i c a p p r o a c h e s . T h e r e a r e c l e a r l y a l a r g e n u m b e r o f c a n d i d a t e c l a s s i fi e r s t h a t c a n b e u s e d i n s u p e r v i s e d l e a r n i n g , h o w e v e r , t h e r e i s n o e v i d e n c e t h a t t h e r e i s o n e m e t h o d t h a t i s s u p e r i o r t o a n y o t h e r m e t h o d f o r e v e r y a p p l i c a t i o n d o m a i n [ 4 5 ] [ 4 6 ] . 1 7 5 [ P n o r i n i o n n a t i o n l C O M P L E T E I 1 B a y e s D e c i s i o n U n s u p e r v i s e d T h e o ' y L e a m l n g L I 1 F a r m a m : i t m - p a i a m e l m : A p p m a : n A p p r o a c h F 7 l fl l T ' O p t l m a l ' P l u g - i n D e n s i t y G e o m e t r i c M l x t u r e C l u S t e r R u l e s R u l e s E s t l m a l o n R u l e s R e s d v i n g A n d y s l s ( K - N N , T r e e . ) ( q u , F u z z y ) ( M L P . m I e - b a s e d ) F i g u r e 5 . 1 : H i e r a r c h y o f t h e c l a s s i fi c a t i o n m e t h o d s i n s t a t i s t i c a l p a t t e r n r e c o g n i t i o n [ 2 8 ] . T h e p r i m a r y n o n - p a r a m e t r i c a p p r o a c h w e w i l l u s e i s b a s e d o n t h e n e a r e s t n e i g h b o r r u l e . W e w i l l p r o p o s e a v a r i a n t o f t h e k - n e a r e s t n e i g h b o r ( k - N N ) r u l e t h a t u s e s t h e a g g r e g a t e d i s t a n c e t o s u b s e t s o f k n e a r e s t n e i g h b o r s r a t h e r t h a n a s i m p l e v o t i n g s c h e m e . T h e r e a r e t h r e e p r i m a r y r e a s o n s f o r c h o o s i n g t h e k - n e a r e s t n e i g h b o r r u l e c l a s s i fi e r f a m i l y o v e r o t h e r n o n - p a r a m e t r i c m e t h o d s , s u c h a s a r t i fi c i a l n e u r a l n e t w o r k s , n a m e l y t h e i r c a s e o f : 1 ) i m p l e m e n t a t i o n , 2 ) t r a i n i n g , a n d 3 ) e x p l a i n a b i l i t y o f t h e c l a s s i fi c a t i o n r e s u l t . T h e fi r s t r e a s o n w a s a k e y f a c t o r f o r o u r d e c i s i o n . R e c a l l o u r u l t i m a t e o b j e c t i v e i s a s y s t e m t h a t c a n m e e t s p e c i fi c r e a l - t i m e r e q u i r e m e n t s . T h e k - N N r u l e i s a h i g h l y o p t i m a l a l g o r i t h m t o i m p l e m e n t i n a d i g i t a l s i g n a l p r o c e s s o r ( D S P ) . A D S P d e v i c e i s r e l a t i v e l y u n i q u e i n t h a t i t c a n p e r f o r m a m u l t i p l y a n d a n a c c u m u l a t e o p e r a t i o n 1 7 6 ( M A C ) i n a s i n g l e c l o c k c y c l e . A d d i t i o n a l l y , t h e D S P a r c h i t e c t u r e s t y p i c a l l y h a v e r e l a t i v e l y d e e p i n s t r u c t i o n p i p e l i n e s ( 5 - 1 1 i n s t r u c t i o n s d e e p ) , w h i c h a l s o e n h a n c e s t h e i r e f fi c i e n c y i n r e p e t i t i v e t a s k s . T h e k - N N r u l e c a n b e i m p l e m e n t e d a s a s e r i e s o f v e c t o r i n n e r p r o d u c t s t h a t c a n b e v e r y e f fi c i e n t l y i m p l e m e n t e d i n t h e s e d e v i c e s . T h i s i s i n s t a r k c o n t r a s t t o o t h e r d e c i s i o n r u l e s , s u c h a s d e c i s i o n t r e e s . R e c a l l t h a t t r e e s u s e n e s t e d i f - t h e n - e l s e s t a t e m e n t s . T h e s e a r e v e r y i n e f fi c i e n t t o i m p l e m e n t i n a D S P d u e t o t h e c o n s t a n t b r a n c h i n g , w h i c h fl u s h e s t h e i n s t r u c t i o n p i p e l i n e , a n d t h e l a c k o f M A C o p e r a t i o n s , w h i c h r e d u c e s t h e e f f e c t i v e n e s s o f t h e i r s u p e r - s c a l a r a r c h i t e c t u r e s . T h i s t h i r d r e a s o n i s a l s o o f g r e a t i m p o r t a n c e i n a s a f e t y c r i t i c a l p r o d u c t , w h e r e i t i s d e s i r a b l e t o f u l l y u n d e r s t a n d , e x p l a i n , a n d r e p a i r a n y o f t h e f a i l u r e m o d e s o f t h e s y s t e m . 5 . 1 . 1 B a y e s C l a s s i fi e r T h e B a y e s c l a s s i fi e r i s t h e o p t i m a l c l a s s i fi c a t i o n r u l e w h e n a l l o f t h e i n f o r m a t i o n i s a v a i l a b l e f o r t h e d e c i s i o n - m a k i n g , n a m e l y t h e c l a s s p r i o r s P ( a ) l _ ) , a n d t h e c l a s s - c o n d i t i o n a l d e n s i t i e s p ( x | ( 0 , ) . R e c a l l B a y e s r u l e c o m p u t e s t h e a p o s t e r i o r i l p r o b a b i l i t y f o r e a c h o f t h e M c l a s s e s [ 4 5 ] : P ( X l w . ) P ( w . ) P ( w . | X ) = ' ' , ( 5 - 1 ) ' p ( X ) w h e r e M p ( x ) = z p ( X I w i ) P ( w , . ) - ( 5 . 2 ) i = 1 1 7 7 g . ( x ) = - % — ( x - f . i ) ’ 2 1 7 ' . ( x _ fi i ) — % 1 n 2 n — % l n l i i , ( 5 , 4 ) A t e s t s a m p l e i s a s s i g n e d t o t h e c l a s s w i t h t h e m a x i m u m a p o s t e r i o r i p r o b a b i l i t y , P ( a ) l . | x ) . S i n c e w e d o n o t k n o w t h e c l a s s - c o n d i t i o n a l d e n s i t i e s a n d t h e c l a s s p r i o r p r o b a b i l i t i e s f o r t h e a i r b a g s u p p r e s s i o n a p p l i c a t i o n , t h e b e s t w e c a n d o i s t o a p p l y t h e s t a n d a r d p l u g - i n r u l e s , w h e r e t h e p r i o r s a r e n o t c o n s i d e r e d . I f w e a s s u m e t h e d a t a t o b e n o r m a l l y d i s t r i b u t e d t h e n t h e c l a s s - c o n d i t i o n a l d e n s i t y fi r n c t i o n h a s t h e f o r m [ 4 5 ] : 1 l _ p ( x I w i ) = H 2 - e x p [ — § ( — u i ) r - Z i l - ( x — p i ) ] . ( 5 . 3 ) O m a r / 2 ' 2 | W e n o w d e fi n e t h e l o g l i k e l i h o o d , g , ( x ) = 1 n ( p ( x | ( 0 i ) ) , a s t h e d i s c r i m i n a n t f u n c t i o n , a n d i t i s c o m p u t e d b y [ 4 5 ] : w h e r e f t , a n d E a r e t h e m a x i m u m l i k e l i h o o d e s t i m a t e s o f p i a n d 2 : , r e s p e c t i v e l y . I I W e t h e n a s s i g n t h e t e s t s a m p l e t o t h e c l a s s w i t h t h e m a x i m u m d i s c r i m i n a n t f u n c t i o n . N o t e t h e i n h e r e n t q u a d r a t i c f o r m o f t h e c l a s s i fi c a t i o n b o u n d a r y f o r t h i s d e c i s i o n r u l e d u e t o t h e q u a d r a t i c t e r m : ( x — i i i } , - i f ] ~ ( x — [ 1 i ) . N o t e t h a t w h i l e t h e B a y e s r u l e i s m a t h e m a t i c a l l y s i m p l e , i t s t i l l r e q u i r e s s o m e c a r e i n t h e c o m p u t a t i o n . S i n c e w e m a y b e d e a l i n g w i t h v e r y l a r g e f e a t u r e s p a c e s , i t i s 1 7 8 p o s s i b l e t h a t t h e m a t r i x 2 i s i l l - c o n d i t i o n e d , a n d t h e i n v e r s e i f ' c a n n o t b e I I c a l c u l a t e d . I n t h i s c a s e t h e p s e u d o - i n v e r s e m u s t b e u s e d , w h i c h i s d e fi n e d a s : p s u e d o i f ” = ( i T 2 , ) " 2 T . ( 5 . 5 ) I f w e a r e u n a b l e t o c o m p u t e t h e i n v e r s e o f E l , , t h e n t h e d e t e r m i n a n t w i l l m o s t l i k e l y b e z e r o , i n w h i c h c a s e t h e t e r m I i i , w i l l n o t b e c o m p u t a b l e . W e m u s t t h e n r e c a l l t h a t t h e d e t e r m i n a n t o f a m a t r i x i s t h e p r o d u c t o f i t s e i g e n v a l u e s . W e c a n a p p r o x i m a t e t h e d e t e r m i n a n t b y o n l y c o m p u t i n g t h e p r o d u c t o f t h e n o n - z e r o e i g e n v a l u e s o f i i . W i t h t h e s e t w o m o d i fi c a t i o n s , t h e B a y e s r u l e c a n b e u s e d f o r n e a r l y a l l a p p l i c a t i o n s . 5 . 1 . 2 N e a r e s t N e i g h b o r C l a s s i fi e r W e w i l l i n v e s t i g a t e t h e u s e o f t w o v a r i a n t s o f t h e n e a r e s t - n e i g h b o r c l a s s i fi c a t i o n r u l e : ( i ) t h e t r a d i t i o n a l k - n e a r e s t n e i g h b o r c l a s s i fi e r , a n d ( i i ) a n e w a v e r a g e d i s t a n c e - b a s e d k - n e a r e s t n e i g h b o r c l a s s i fi e r . T h e t r a d i t i o n a l k - n e a r e s t n e i g h b o r c l a s s i fi e r c o m p u t e s t h e d i s t a n c e b e t w e e n t h e i n p u t s a m p l e a n d e a c h o f t h e s t o r e d t r a i n i n g s a m p l e s , a n d t h e n s o r t s t h e s e d i s t a n c e s i n a s c e n d i n g o r d e r . T h e c l a s s t h a t i s i n t h e m a j o r i t y a m o n g t h e t o p - k n e i g h b o r s i s c h o s e n a s t h e c o r r e c t c l a s s [ 4 5 ] . T h e d i s t a n c e - b a s e d k - n e a r e s t n e i g h b o r c l a s s i fi e r c o m p u t e s t h e a v e r a g e d i s t a n c e o f t h e t e s t s a m p l e t o t h e k - n e a r e s t t r a i n i n g s a m p l e s i n e a c h c l a s s a s s h o w n i n F i g u r e 5 . 2 . F o r 1 7 9 e x a m p l e , i t c o m p u t e s t h e m e a n o f t h e t o p I t i n f a n t t r a i n i n g s a m p l e s , t h e t o p I t a d u l t s a m p l e s , e t c . T h e fi n a l d e c i s i o n i s t o c h o o s e t h e c l a s s w i t h t h e l o w e s t a v e r a g e d i s t a n c e t o i t s k - n e a r e s t n e i g h b o r s . S o r t e d L i s t s o f D r s t a n ' c e s l ‘ I n f a n t C o m p u t e a v e r a g e 2 ’ I n f a n t — u d i s t a n c e f o r t o p k H 3 - I n f a n t s a m p l e s 1 ' A d u l t C o m p u t e a v e r a g e : 2 1 , ' fi g fi t — u d i s t a n c e f o r t o p k r — 9 - t . ~ - C o m p u t e . s a m p l e s : 1 P i c k C l a s s . . T B S t _ . d i s t a n c e t o . , . . _ . . a : , “ t i l t h e , S a m p l e a l l t r a i n i n g ' 5 . ; - L o w e s t 3 ‘ s a m p l e s E j A v e r a g e “ t i 1 - C h i l d _ ’ C o m p u t e a v e r a g e f ; 5 ' ; D i s t a n c e . . . f i _ . 2 - C h i l d d i s t a n c e f o r t o p R 3 - C h i l d s a m p l e s 1 ' E m p t y C o m p u t e a v e r a g e 2 ' E m p t y < — u d i s t a n ' c e f o r t o p R L . 3 ' E m p t y s a m p l e s F i g u r e 5 . 2 : T h e d i s t a n c e - b a s e d k - n e a r e s t n e i g h b o r c l a s s i fi e r . T h i s d i s t a n c e - b a s e d k - n e a r e s t n e i g h b o r c l a s s i fi e r i s r e l a t e d t o t h e n e a r e s t m e a n c l a s s i fi e r , w h e r e w e c o m p u t e a p r u n e d m e a n f o r e a c h c l a s s b a s e d o n t h e s o r t e d d i s t a n c e s t o a l l o f t h e t r a i n i n g s a m p l e s . T h e s t r e n g t h o f t h i s c l a s s i fi e r i s d e r i v e d f r o m i t s u s e o f l o c a l s a m p l e m e a n i n f o r m a t i o n r a t h e r t h a n t h e g l o b a l s a m p l e m e a n i n f o r m a t i o n . I t i s s i m i l a r t o t h e l o c a l l i n e a r e m b e d d i n g ( L L E ) m e t h o d s f o r g e o d e s i c 1 8 0 d i s t a n c e e s t i m a t i o n , w h e r e c o m p u t i n g t h e t o t a l d i s t a n c e b e t w e e n t h e s a m p l e s i n a l o c a l p i e c e w i s e m a n n e r a l l o w s d i s t a n c e s a c r o s s c o m p l e x m a n i f o l d s t o b e c o m p u t e d . 5 . 1 . 3 S u p p o r t V e c t o r M a c h i n e s A S u p p o r t V e c t o r M a c h i n e ( S V M ) i s a m e t h o d f o r c l a s s i f y i n g t w o c l a s s p r o b l e m s . I t t a k e s a s i n p u t l a b e l e d d a t a f r o m t h e t w o c l a s s e s , a n d o u t p u t s a m o d e l f o r c l a s s i f y i n g t e s t d a t a i n t o o n e o f t h e t w o c l a s s e s . S V M c a n g e n e r a t e l i n e a r a n d n o n - l i n e a r m o d e l s [ l ] . F o r t h e l i n e a r m o d e l , t h e a l g o r i t h m fi n d s a s e p a r a t i n g h y p e r - p l a n e t h a t m a x i m i z e s t h e m a r g i n o f s e p a r a t i o n b e t w e e n t h e t w o c l a s s e s [ 4 9 ] [ 5 0 ] . E a c h i n p u t p o i n t i s a s s i g n e d a w e i g h t , a n d t h e p o i n t s w i t h n o n - z e r o w e i g h t s a r e c a l l e d s u p p o r t v e c t o r s . M o s t o f t h e i n p u t p o i n t s h a v e z e r o w e i g h t s , a n d h e n c e t h e n u m b e r o f s u p p o r t v e c t o r s i s m u c h l e s s t h a n t h e t o t a l n u m b e r o f t r a i n i n g p o i n t s . T h e s e p a r a t i n g h y p e r - p l a n e i s d e fi n e d a s a w e i g h t e d s u m o f s u p p o r t v e c t o r s . T h e e q u a t i o n o f t h e h y p e r - p l a n e i s g i v e n b y [ 4 9 ] [ 5 0 ] [ 5 1 ] : x T w + b = 0 , ( 5 . 6 ) w h e r e x i s t h e p - d i m e n s i o n a l d a t a v e c t o r , a n d w = ; ( a i ~ y , . ) x , - , ( 5 . 7 ) w h e r e s i s t h e n u m b e r o f s u p p o r t v e c t o r s , y , - i s t h e k n o w n c l a s s f o r t h e d a t a p o i n t x , , a n d a , a r e t h e s u p p o r t v e c t o r c o e f fi c i e n t s t h a t m a x i m i z e t h e m a r g i n o f s e p a r a t i o n 1 8 1 f w , b “ ) = s i g n ( 2 ( a . - - y . ) K ( x . . x ) + b ) = b e t w e e n t h e t w o c l a s s e s . A t e s t s a m p l e c a n b e c l a s s i fi e d u s i n g t h e d e c i s i o n r u l e [ 4 9 ] [ 5 0 ] [ 5 1 ] : ( 5 . 8 ) f w b ( x ) = s i g n ( x T w + b ) = { > O i f d a 8 8 1 } . < O i f c l a s s Z F o r t h e n o n l i n e a r m o d e l , t h e i n p u t d a t a p o i n t s a r e m a p p e d t o h i g h e r d i m e n s i o n a l f e a t u r e s p a c e u s i n g m a p p i n g f u n c t i o n ( D , a n d t h e n l i n e a r c l a s s i fi c a t i o n a l g o r i t h m i s a p p l i e d i n t h i s f e a t u r e s p a c e . N o t i c e t h a t i n E q u a t i o n ( 5 . 8 ) , t h e t r a i n i n g d a t a o n l y a p p e a r s i n t h e f o r m o f t h e d o t p r o d u c t x , x i . F o r t h i s n o n l i n e a r m o d e l , t h e p r o d u c t x , . X } . i s r e p l a c e d i n t h e h i g h e r d i m e n s i o n a l s p a c e b y a p r o d u c t o f k e m e l f u n c t i o n s o p e r a t i n g o n x , - , a c c o r d i n g t o [ 4 9 ] [ 5 0 ] [ 5 1 ] : K ( x , , x j ) = < r > ( x , ) . c r > ( x j ) . ' ( 5 . 9 ) B y c o m p u t i n g t h e d o t p r o d u c t d i r e c t l y u s i n g a k e r n e l fi m c t i o n , w e a v o i d t h e m a p p i n g ( D ( X ) , w h i c h i s d e s i r a b l e s i n c e t h e d i m e n s i o n o f t h i s n e w s p a c e m a y b e v e r y l a r g e , w h i c h c a n m a k e t h e c o m p u t a t i o n o f < D ( X ) d i f fi c u l t . N o t e , h o w e v e r , t h i s m e a n s t h a t w c a n n o t b e p r e - c o m p u t e d , w h i c h m e a n s t h e d e c i s i o n f u n c t i o n w i l l b e r e p l a c e d b y [ 5 0 ] [ 5 1 ] : i = 1 > O i f c l a s s l < O i f c l a s s Z } . ( 5 . 1 0 ) 1 8 2 N o w , f o r e v e r y i n c o m i n g t e s t v e c t o r , t h e k e r n e l f u n c t i o n f o r e a c h s u p p o r t v e c t o r n e e d s t o b e r e c o m p u t e d . T h e r e a r e m a n y p o s s i b i l i t i e s f o r t h e k e r n e l o p e r a t o r i n t h e l i t e r a t u r e [ 4 9 ] [ 5 0 ] . O n e o f t h e m o r e c o m m o n k e r n e l s i s t h e G a u s s i a n r a d i a l b a s i s f u n c t i o n , w h i c h i s w h a t w e w i l l u s e . I t i s d e fi n e d a s [ 5 0 ] [ 5 1 ] : K ( x X ) - e x [ J l x i — x l ] 5 1 1 i t — p 2 2 9 ( r ) 0 ' w h e r e t h e f r e e p a r a m e t e r 0 ' d e fi n e s t h e s p a t i a l e x t e n t o f t h e k e r n e l . 5 . 2 C o n t e x t u a l P r o c e s s i n g T h e i m a g e c l a s s i fi c a t i o n d e fi n e d t h r o u g h o u t t h i s c h a p t e r , h a s b e e n a p p l i e d t o a s i n g l e i m a g e . C l e a r l y , f o r o u r a i r b a g s u p p r e s s i o n a p p l i c a t i o n , d u r i n g t h e n o r m a l o p e r a t i o n o f t h e v e h i c l e , t h e s y s t e m m a y c o l l e c t h u n d r e d s o f i m a g e s o v e r t i m e . D u r i n g t h i s t i m e , t h e s y s t e m m a y e x p e r i e n c e a v a r i e t y o f l i g h t i n g c o n d i t i o n s a n d p a s s e n g e r s e a t i n g p o s i t i o n s t h a t m a y m a k e t h e c o r r e c t c l a s s i fi c a t i o n o f t h e o c c u p a n t d i f fi c u l t a t a n y g i v e n t i m e . H o w e v e r , t h e r e m a y a l s o h a v e b e e n m a n y i m a g e s c o l l e c t e d i n m o r e f a v o r a b l e c o n d i t i o n s t h a t w i l l p r o v i d e r e l i a b l e c l a s s i fi c a t i o n r e s u l t s . F i g u r e 5 . 3 s h o w s t h e s e q u e n c e o f a n a d u l t s e a t e d n o r m a l l y , t h e n l e a n i n g f o r w a r d t o t i e h i s s h o e s , a n d fi n a l l y r e t u r n i n g t o a n o r m a l l y s e a t e d p o s i t i o n . N o t i c e t h a t i n t h e l e a n i n g f o r w a r d p o s i t i o n , t h e a d u l t w i l l l o o k l i k e a n i n f a n t i n a R F I S . W i t h o u t c l a s s i fi c a t i o n h i s t o r y , t h e a l g o r i t h m w o u l d c l a s s i f y t h e o c c u p a n t a s a n i n f a n t , w h i l e w i t h s o m e c o n t e x t u a l p r o c e s s i n g , b a s e d o n t h e h i s t o r y o f p r e v i o u s c l a s s i fi c a t i o n s , t h e s y s t e m m a y c o n t i n u e t o c o r r e c t l y c l a s s i f y t h e o c c u p a n t a s a n a d u l t . 1 8 3 T h e r e w i l l a l s o b e o t h e r c o n d i t i o n s w h e r e i t i s i m p o s s i b l e t o p r o p e r l y c l a s s i f y t h e o c c u p a n t , f o r e x a m p l e , w h e n a n o c c u p a n t i s l i f t i n g a s w e a t e r o v e r h e r h e a d . I n c a s e s l i k e t h i s , i t i s a d v i s a b l e t o h a v e a ‘ r e j e c t ’ o p t i o n , w h e n t h e o b j e c t d o e s n o t p r o p e r l y m a t c h a n y o f t h e c l a s s e s [ 2 1 ] . I n s u c h a s i t u a t i o n , t h e c l a s s i fi e r p r o v i d e s n o u s e f u l i n f o r m a t i o n r e g a r d i n g t h e t r u e o b j e c t p a t t e r n c l a s s , a n d t h e s y s t e m s h o u l d b e a b l e t o d e c l a r e ‘ i g n o r a n c e ’ r e g a r d i n g t h e u n c u t c l a s s i fi c a t i o n . L i k e w i s e , w h e n a s y s t e m b e g i n s o p e r a t i o n , t h e r e i s n o k n o w l e d g e o f t h e c l a s s i fi c a t i o n , a n d t h e s y s t e m s h o u l d d e c l a r e ‘ i g n o r a n c e ’ . O t h e r r e s e a r c h e f f o r t s i n i m a g e s e q u e n c e a n a l y s i s h a v e a l s o 3 h o w n t h e i m p o r t a n c e 0 f d e v e l o p i n g a c o n t e x t o f t h e i n c o m i n g c l a s s i fi c a t i o n s b a s e d o n t h e p r e v i o u s c l a s s i fi c a t i o n s [ 1 6 4 ] . T h e a b i l i t y o f a c l a s s i fi c a t i o n s y s t e m t o w o r k i n e n v i r o n m e n t s o f u n c e r t a i n t y a n d i g n o r a n c e i s i n t e g r a l t o t h e fi e l d o f e v i d e n t i a l r e a s o n i n g [ 1 6 0 ] . S p e c i fi c a l l y , e v i d e n t i a l r e a s o n i n g “ d e a l s w i t h i n f o r m a t i o n t h a t i s t o b e u n c e r t a i n , i m p r e c i s e , a n d o c c a s i o n a l l y i n a c c u r a t e ” , a n d i t p r o v i d e s a f r a m e w o r k f o r m a n a g i n g b e l i e f s i n t h i s e n v i r o n m e n t [ 1 6 5 ] . I t h a s b e e n s t a t e d , “ b e l i e f c h a n g e d o e s n o t a i m t o p r o d u c e t h e ‘ b e s t ’ s e q u e n c e o f b e l i e f s t a t e s b u t f o c u s e s o n p r o d u c i n g t h e ‘ b e s t ’ c u r r e n t b e l i e f s t a t e ” [ 1 6 1 ] . T h i s i s s i m i l a r t o K a h n a n fi l t e r i n g i n t i m e s e r i e s fi l t e r i n g , w h e r e t h e g o a l i s n o t t o c o r r e c t a l l p a s t o b s e r v a t i o n s , b u t r a t h e r t o d e r i v e t h e b e s t e s t i m a t e f o r t h e c u r r e n t s t a t e , b a s e d o n t h e p a s t o b s e r v a t i o n s . S i n c e w e a r e a t t e m p t i n g t o p r o v i d e t h e b e s t c u r r e n t c l a s s i fi c a t i o n f r o m a s t r e a m o f i n p u t c l a s s i fi c a t i o n s , t h e c o n c e p t s o f e v i d e n t i a l r e a s o n i n g s h o u l d b e u s e f u l f o r c l a s s i fi c a t i o n h i s t o r y p r o c e s s i n g . I n t h e fi e l d o f e v i d e n t i a l r e a s o n i n g t h e r e a r e t w o m e c h a n i s m s f o r m a n a g i n g t h e c h a n g e s i n t h e b e l i e f o f a h y p o t h e s i s , b e l i e f r e v i s i o n a n d b e l i e f u p d a t i n g [ 1 6 1 ] . 1 8 4 B e l i e f r e v i s i o n i s t h e e l e m e n t o f b e l i e f c h a n g e t h a t i n v o l v e s i n t e g r a t i o n o f n e w i n f o r m a t i o n o n a s t a t i c s i t u a t i o n , w h i l e b e l i e f u p d a t i n g i n v o l v e s m o d i f y i n g b e l i e f s a b o u t t h e w o r l d , w h e n t h e s t a t e o f t h e w o r l d i s c h a n g i n g [ 1 6 1 ] . I n o u r a i r b a g s u p p r e s s i o n a p p l i c a t i o n , w e a r e o n l y i n t e r e s t e d i n b e l i e f r e v i s i o n , s i n c e t h e o c c u p a n t w i l l n o t g r o w fi o m a c h i l d i n t o a n a d u l t d u r i n g t h e d u r a t i o n o f t h e d r i v e . T h e r e a r e m a n y m e t h o d s f o r b e l i e f r e v i s i o n , s u c h a s T r a n s f e r a b l e B e l i e f M o d e l ( T B M ) , D e m p s t e r — S h a f e r t h e o r y , e t c . [ 1 6 0 ] . M o s t o f t h e s e a p p r o a c h e s a r e r e l a t e d t o t h e D e m p s t e r - S h a f e r t h e o r y , s o w e w i l l u s e D e m p s t e r - S h a f e r t h e o r y a s t h e b a s i s f o r o u r c o n t e x t u a l p r o c e s s i n g a p p r o a c h . 5 . 2 . 1 D e m p s t e r - S h a f e r T h e o r y D e m p s t e r - S h a f e r t h e o r y a s s u m e s t h a t t h e r e i s a fi x e d a n d e x h a u s t i v e s e t 0 f m u t u a l l y e x c l u s i v e o b j e c t s c a l l e d t h e e n v i r o n m e n t , d e fi n e d a s G ) = { 6 1 , 6 , . . . , 0 N } [ 1 6 0 ] [ 1 6 2 ] [ 1 6 5 ] . T h e e n v i r o n m e n t i s a l s o s o m e t i m e s r e f e r r e d t o a s t h e f r a m e o f d i s c e r n m e n t . T h e D e m p s t e r - S h a f e r t h e o r y i s b a s e d o n t h e a g g r e g a t i o n o f t h e a t o m i c e l e m e n t s o f t h e f r a m e o f d i s c e r n m e n t i n t o s u b s e t s , a n d t h e c o m p l e t e c o l l e c t i o n o f t h e s e s u b s e t s i s c a l l e d t h e p o w e r s e t , w h i c h i s d e fi n e d a s : P ( ® ) = { ¢ . { A } . { B } . { C } , { A , B } . { A , C } , { B , C } , { A , B , C } } . ( 5 . 1 2 ) w h e r e t h e f r a m e o f d i s c e r n m e n t i s ( 9 = { A , B , C } . 1 8 5 F i g u r e 5 . 3 : D e m o n s t r a t i o n o f n e e d f o r h i s t o r y a l g o r i t h m , ( a ) a d u l t s e a t e d n o r m a l l y , a n d ( b ) a d u l t l e a n i n g f o r w a r d a n d a p p e a r i n g t o s y s t e m t o b e a n i n f a n t i n a R F I S . T h e b a s i c e l e m e n t o f e v i d e n c e i n D e m p s t e r - S h a f e r i s t h e m a s s o r b a s i c p r o b a b i l i t y a s s i g n m e n t , d e fi n e d b y m . I t h a s t h e f o l l o w i n g t w o p r o p e r t i e s t h a t m a k e i t s i m i l a r t o t h e B a y e s i a n p r o b a b i l i t y a s s i g n m e n t s [ 1 6 5 ] [ l 6 2 ] : m ( ¢ ) = 0 a n d z m ( A ) = 1 . ( 5 . 1 3 ) A 6 1 ( 9 ) T h e k e y d i f f e r e n c e b e t w e e n D e m p s t e r - S h a f e r a n d B a y e s i a n m e t h o d s i s t h a t D e m p s t e r - S h a f e r d o e s n o t f o r c e b e l i e f t o b e a s s i g n e d a p r i o r i t o a l l p o s s i b l e o u t c o m e s , b u t r a t h e r o n l y t o t h e s u b s e t s o f o u t c o m e s f o r w h i c h e v i d e n c e h a s d i r e c t l y b e e n a c c u m u l a t e d . A n y b e l i e f t h a t i s n o t a s s i g n e d t o s p e c i fi c s u b s e t s A c 6 ) s i m p l y r e m a i n s w i t h t h e e n t i r e e n v i r o n m e n t 6 ) , a n d t h i s b e l i e f i s r e f e r r e d t o a s t h e i g n o r a n c e i n t h e s y s t e m [ 1 6 5 ] . F o r e x a m p l e , i f G : { A , B , C } , a n d t h e s y s t e m i s i n i t i a l l y c o m p l e t e l y i g n o r a n t o f t h e p o s s i b l e o u t c o m e s , t h e n t h e B a y e s i a n t h e o r y w o u l d a s s i g n e a c h e l e m e n t p r o b a b i l i t y 1 / 3 . I n D e m p s t e r - S h a f e r , h o w e v e r , n o p r o b a b i l i t y i s a s s i g n e d t o t h e i n d i v i d u a l e l e m e n t s , b u t o n l y t h e e n t i r e s e t s u c h t h a t P ( ® ) = l . 1 8 6 A n o t h e r k e y d i f f e r e n c e b e t w e e n t h e s e t w o t h e o r i e s i s t h a t t h e p r o b a b i l i t y o f a n o u t c o m e i s n o t a s i n g l e v a l u e , b u t r a t h e r a r a n g e o f v a l u e s . T h e l o w e r v a l u e i s c a l l e d t h e b e l i e f i n t h e p r o p o s i t i o n , a n d t h e u p p e r v a l u e i s t h e p l a u s i b i l i t y i n t h e p r o p o s i t i o n , t h e r e b y g e n e r a t i n g a r a n g e o f c o n fi d e n c e i n a h y p o t h e s i s : [ B e l i e fi P l a u s i b i l i t y ] . T h i s c o n c e p t o f a r a n g e o f p r o b a b i l i t i e s i s c r i t i c a l i n a n u m b e r o f m a t h e m a t i c a l r e p r e s e n t a t i o n s o f e v i d e n t i a l r e a s o n i n g [ 1 6 0 ] [ 1 6 2 ] [ 1 6 5 ] . B e l i e f i n a p r o p o s i t i o n i s t h e t o t a l a c c u m u l a t i o n o f e v i d e n c e t h a t d i r e c t l y s u p p o r t s t h a t p r o p o s i t i o n , w h i l e p l a u s i b i l i t y i n a p r o p o s i t i o n i s t h e a c c u m u l a t i o n o f e v i d e n c e t h a t d o e s n o t d i r e c t l y r e f u t e t h a t p r o p o s i t i o n . M a t h e m a t i c a l l y , t h e y a r e d e fi n e d t o b e [ 1 6 5 ] : B e l ( X ) = A Z I ' M ) ’ a n d ( 5 . 1 4 ) P l s ( X ) = 1 — B e l ( ” X ) = 1 — Z m ( A ) . A g ~ X A d d i t i o n a l l y , i g n o r a n c e i n a p a r t i c u l a r p r o p o s i t i o n i s d e fi n e d t o b e [ 1 6 5 ] : I g r O O = P 1 3 0 1 ? - B e l ( ) O . ( 5 . 1 5 ) S i n c e e v i d e n t i a l r e a s o n i n g i s i n t e r e s t e d i n a c c u m u l a t i n g e v i d e n c e o v e r t i m e , i t i s i m p o r t a n t t o d e fi n e a m e c h a n i s m f o r c o m b i n i n g s e q u e n c e s o f p r o b a b i l i t y m a s s e s . I n t h e D e m p s t e r - S h a f e r t h e o r y , t h i s i s a c c o m p l i s h e d t h r o u g h D e m p s t e r ’ s r u l e o f c o m b i n a t i o n , w h i c h c o m b i n e s t w o p r o b a b i l i t y m a s s e s m l a n d m 2 a c c o r d i n g t o [ 1 6 5 ] : 1 8 7 Z m l ( X ) ' m 2 ( Y ) m l E B m 2 ( Z ) = X n Y = f _ K , ( 5 . 1 6 ) w h e r e K = Z m l ( X ) - m 2 ( l ’ ) . X n Y = ¢ T h e s e d e fi n i t i o n s o f b e l i e f a n d p l a u s i b i l i t y , a s w e l l a s t h e d e fi n i t i o n o f a m e c h a n i s m f o r c o m b i n i n g e v i d e n c e , s u m m a r i z e t h e D e m p s t e r - S h a f e r t h e o r y . I n t h e f o l l o w i n g s e c t i o n w e w i l l s p e c i fi c a l l y s h o w h o w t h e D e m p s t e r - S h a f e r f r a m e w o r k c a n b e u s e d f o r c l a s s i fi c a t i o n h i s t o r y p r o c e s s i n g . 5 . 2 . 2 C o n t e x t u a l P r o c e s s i n g U s i n g D e m p s t e r - S h a f e r T h e o r y T h e c o n t i n u o u s s t r e a m o f c l a s s i fi c a t i o n o u t p u t s f r o m t h e s y s t e m o v e r t i m e c a n b e f r a m e d a s a n e v i d e n t i a l r e a s o n i n g p r o b l e m . T h e s e q u e n c e o f c l a s s i fi c a t i o n r e s u l t s i s a s t r e a m o f e v i d e n c e b e i n g a c c u m u l a t e d , r e g a r d i n g t h e t r u e c l a s s o f t h e o c c u p a n t . T h e D e m p s t e r - S h a f e r f r a m e w o r k s u i t s t h i s p r o b l e m v e r y w e l l , w h e r e w e h a v e a n e n v i r o n m e n t o f a fi x e d s e t o f o u t c o m e s t h a t w e a r e c o n s t a n t l y v i e w i n g o v e r t i m e . I n o u r s y s t e m , w e h a v e t h e f o l l o w i n g e l e m e n t s i n o u r e n v i r o n m e n t , ( 9 = { i n f a n t , c h i l d , a d u l t , e m p t y } . C l e a r l y , t h i s s e t m e e t s t h e r e q u i r e m e n t o f a D e m p s t e r - S h a f e r e n v i r o n m e n t o f m u t u a l e x c l u s i v i t y . I t a l s o m e e t s t h e e x h a u s t i v e r e q u i r e m e n t i f w e c o n s i d e r t h e e m p t y c l a s s t o a l s o i n c l u d e s m a l l o b j e c t s o n t h e s e a t . T h e p r o c e s s i n g fl o w f o r t h e c o n t e x t u a l p r o c e s s i n g i s p r o v i d e d i n F i g u r e 5 . 4 , a n d e a c h f u n c t i o n i s d e fi n e d i n m o r e d e t a i l i n t h e f o l l o w i n g s u b s e c t i o n s . B 8 C l P a l s a s u i s fi i c b i a l t i i t o y n " ’ B l l e t i m i f a f b a t m f t y P H i C s a t c o h y r e v C l a s s T e s t f o r Y S e t B e l i e f F l u s h H i s t o r y T o T o t a l H i s t o r y R e s e t I g n o r a n c e C a c h e , N C o m p u t e U p d a t e U p d a t e D e t e r m i n e F i g u r e 5 . 4 : C o n t e x t u a l p r o c e s s i n g f o r t h e a i r b a g s u p p r e s s i o n a p p l i c a t i o n . A T e s t f o r H i s t o r y R e s e t T h e p r o c e s s t o t e s t i f t h e h i s t o r y f u n c t i o n r e q u i r e s a r e s e t i s a p p l i c a t i o n d e p e n d e n t . I t t e s t s w h e t h e r t h e c u r r e n t h i s t o r y m u s t b e r e s e t t o c o m p l e t e i g n o r a n c e , o r i f t h e c u r r e n t s t r e a m o f e v i d e n t i a l i n p u t s s h o u l d c o n t i n u e t o b e i n t e g r a t e d . F o r o u r a i r b a g s u p p r e s s i o n a p p l i c a t i o n , t h e h i s t o r y m u s t b e r e s e t i f t h e v e h i c l e p a s s e n g e r d o o r h a s b e e n o p e n e d , w h i l e t h e v e h i c l e i s s t o p p e d . I f b o t h o f t h e s e c o n d i t i o n s a r e t r u e , t h e n i t i s p o s s i b l e t h a t t h e a c t u a l o c c u p a n t h a s c h a n g e d s t a t e . C o n s e q u e n t l y , t h e h i s t o r y o f t h e c u r r e n t o c c u p a n t m u s t b e r e s e t t o c o m p l e t e i g n o r a n c e i n a n t i c i p a t i o n o f a n e w o c c u p a n t e n t e r i n g t h e v e h i c l e . B T e s t C l a s s i fi c a t i o n P l a u s i b i l i t y T h e n e x t s t e p o f t h e p r o c e s s i n g i s t o t e s t t h e p l a u s i b i l i t y o f t h e i n c o m i n g c l a s s i fi c a t i o n r e s u l t , a n d a d j u s t t h e i n c o m i n g p r o b a b i l i t y m a s s a s s i g n m e n t 1 8 9 a c c o r d i n g l y . T h i s p r o c e s s i n g a d d r e s s e s t h e p r o b l e m w h e r e t h e e v i d e n c e t o d a t e h a s b e e n o f o n e c l a s s ( a d u l t ) , a n d n o w t h e e v i d e n c e i m p l i e s a n o t h e r c l a s s ( i n f a n t ) . T h i s p r o c e s s i n g s t a g e v e r i fi e s t h a t t h e c u r r e n t c l a s s i fi c a t i o n i s p l a u s i b l e , g i v e n t h e p a s t h i s t o r i c a l c l a s s i fi c a t i o n s a n d a n y o t h e r a v a i l a b l e t e m p o r a l i n f o r m a t i o n . T h e r e a r e t w o m e c h a n i s m s b y w h i c h t h e o c c u p a n t c l a s s i fi c a t i o n c a n c h a n g e o v e r t i m e : ( i ) a n a s s i g n a b l e m e c h a n i s m a n d ( i i ) a r a n d o m m e c h a n i s m . W e e m p l o y a t w o - s t a g e p r o c e s s , o n e t o a d d r e s s e a c h o f t h e s e s o u r c e s o f e r r o r i n t h e c l a s s i fi c a t i o n . I n o u r a i r b a g s u p p r e s s i o n a p p l i c a t i o n , a s s i g n a b l e v a r i a t i o n s o c c u r d u e t o t h e m o t i o n s o f t h e o c c u p a n t . R e c a l l , f o r e x a m p l e , w e s h o w e d i n F i g u r e 5 . 3 t h a t w h e n a n a d u l t o c c u p a n t i s l e a n i n g f o r w a r d , h e i s e a s i l y c o n f u s e d w i t h t h e i n f a n t c l a s s . T h i s c h a n g e i n o c c u p a n t c l a s s i s d u e t o t h e f a c t t h a t t h e o c c u p a n t m o v e d t o a p o s i t i o n t h a t m a k e s c o r r e c t c l a s s i fi c a t i o n d i f fi c u l t . T h i s t y p e o f c l a s s i fi c a t i o n e r r o r t h a t i s t h e r e s u l t . o f t h e m o v e m e n t o f t h e o c c u p a n t i s c o n s i d e r e d a s s i g n a b l e , s i n c e t h e o u t c o m e o f t h e c l a s s i fi c a t i o n c a n b e s p e c i fi c a l l y a s s i g n e d t o t h e m o t i o n o f t h e o c c u p a n t . T h e o t h e r t y p e o f c l a s s i fi c a t i o n e r r o r i s t h e r a n d o m e r r o r . T h e r a n d o m e r r o r s a r e c a u s e d b y t h e o v e r l a p a m o n g s t t h e c l a s s e s i n t h e d e c i s i o n s p a c e , a n d c o n s e q u e n t l y t h e r e i s a fi n i t e p r o b a b i l i t y t h a t t h e c l a s s i fi e r w i l l o u t p u t t h e w r o n g c l a s s i fi c a t i o n a t a n y g i v e n t i m e . R a n d o m l y o c c u r r i n g v a r i a t i o n s i n t h e i n c o m i n g c l a s s i fi c a t i o n , c l e a r l y , c a n n o t b e v a l i d t r a n s i t i o n s b e t w e e n t h e a c t u a l o b j e c t c l a s s e s ( e . g . , a c h i l d c a n n o t t r a n s i t i o n i n t o a n a d u l t d u r i n g t h e d u r a t i o n o f a v e h i c l e d r i v e ) . W e a d d r e s s t h e s e e r r o r s b y t e s t i n g t h e c u r r e n t b e l i e f a n d p l a u s i b i l i t y i n t h e i n c o m i n g c l a s s i fi c a t i o n b y c o m p u t i n g t h e t o t a l c h a n g e i n b e l i e f t h a t t h i s n e w i n p u t w o u l d c a u s e i f i t w e r e i n t e g r a t e d i n t o t h e h i s t o r y , a c c o r d i n g t o : 1 9 0 | A B e l | = Z | B e 1 , , , , , , , , — B e l ( 5 . 1 7 ) 1 9 ( 9 ) h i s t o r y ' I f t h e v a l u e i n E q u a t i o n ( 5 . 2 6 ) e x c e e d s a t h r e s h o l d , t h e n w e a s s u m e t h e s y s t e m h a s e x p e r i e n c e d a t r a n s i t i o n t h a t i s t o o u n l i k e l y , a n d w e d o n o t i n t e g r a t e t h e c u r r e n t c l a s s i fi c a t i o n i n f o r m a t i o n . W e m u s t , h o w e v e r , a l l o w f o r t h e f a c t t h a t t h e h i s t o r y m a y h a v e b e e n w r o n g t o t h i s p o i n t d u e t o i r r e g u l a r l i g h t i n g , e t c . C o n s e q u e n t l y , w h e n t h e p l a u s i b i l i t y f a i l s , w e r e s e t t h e c u r r e n t i n p u t t o b e c o m p l e t e i g n o r a n c e . I t i s i m p o r t a n t t o n o t e t h a t t h i s i s c o n s i d e r a b l y d i f f e r e n t f r o m s i m p l y d i s c a r d i n g t h e c u r r e n t i n p u t . W h e n t h e c u r r e n t c l a s s i fi c a t i o n i s s e t t o c o m p l e t e i g n o r a n c e , i t w i l l t h e n s l o w l y d e g r a d e t h e o v e r a l l b e l i e f i n a n y p a r t i c u l a r c l a s s i fi c a t i o n , a s t h e s e q u e s t i o n a b l e r e s u l t s a r e i n t e g r a t e d i n t o t h e c l a s s i fi e r h i s t o r y . A t s o m e p o i n t , t h e r e s u l t a n t b e l i e f i n a n y p a r t i c u l a r c l a s s w i l l b e l o w e n o u g h t h a t t h e i n c o m i n g i n f o r m a t i o n i s n o l o n g e r c o n s i d e r e d c o n t r a d i c t o r y , a n d i t c a n b e i n t e g r a t e d i n t o t h e h i s t o r y . T h e e v i d e n c e f o r t h i s n e w c l a s s c a n n o w b e g i n t o b e a c c u m u l a t e d , a n d i t s b e l i e f a n d p l a u s i b i l i t y w i l l c o n t i n u e t o g r o w i f t h e c l a s s i fi c a t i o n o u t p u t s n o w r e m a i n c o n s i s t e n t . C U p d a t e B e l i e f a n d P l a u s i b i l i t y T h e s t a g e 0 f p r o c e s s i n g f o r u p d a t i n g t h e b e l i e f a n d p l a u s i b i l i t y f o l l o w s t h e d e fi n i t i o n o f D e m p s t e r ’ s r u l e o f c o m b i n a t i o n f r o m e q u a t i o n ( 5 . 1 2 ) . T h e r e i s o n e c h a n g e w e h a v e i n c o r p o r a t e d i n t o o u r i m p l e m e n t a t i o n t h a t d e p a r t s f r o m t h e t r a d i t i o n a l t h e o r y . W e f o u n d t h a t i f t h e c o n fi d e n c e f o r e a c h i n p u t p a t t e r n c l a s s i s v e r y 1 9 1 c l o s e t o l f o r l o n g p e r i o d s o f s y s t e m o p e r a t i o n , t h e n t h e b e l i e f i n t h a t c l a s s w i l l c o n v e r g e t o 1 . 0 . A f t e r t h e b e l i e f i n a p a r t i c u l a r h y p o t h e s i s h a s c o n v e r g e d t o 1 . 0 , t h e s y s t e m c a n n o t p r o p e r l y i n t e g r a t e a n y c o n t r a d i c t o r y i n f o r m a t i o n . T h e i n c o m i n g c o n t r a d i c t o r y i n f o r m a t i o n w i l l b e o r t h o g o n a l t o c u r r e n t b e l i e f , a n d w i l l b e i g n o r e d i n t h e r u l e o f c o m b i n a t i o n . T o fi x t h i s p r o b l e m , w e a d d s o m e p r o b a b i l i t y m a s s i n t o t h e c o m p l e t e i g n o r a n c e s u b s e t f o r e v e r y c l a s s i fi e r i n p u t n o m a t t e r h o w c e r t a i n w e a r e o f t h a t r e s u l t . W e t h e n r e n o n n a l i z e t h e s u m o f a l l m a s s e s t o s u m t o o n e . A t t h i s p o i n t , w e t h e n p e r f o r m t h e n o r m a l r u l e o f c o m b i n a t i o n . T h i s i s i m p l e m e n t e d a c c o r d i n g t o : m o l d ( B ) 2 m [ ( 1 0 4 ) , A e P ( ® 3 m 0 , d ( ® ) = e , a n d m n e w ( B ) = V B 6 P ( e ) , ( 5 . 1 8 ) w h e r e w e n o t e t h a t , d u e t o t h e a d d i t i o n a l m a s s a s s i g n e d t o ( 9 , Z m 3 , d ( A ) a t l , a n d ' ' A e P ( @ 0 < 5 < 1 i s t h e a m o u n t o f m a s s e m p i r i c a l l y d e t e r m i n e d t o b e e f f e c t i v e f o r p r e v e n t i n g c o n v e r g e n c e . F o r o u r a i r b a g s u p p r e s s i o n a p p l i c a t i o n w e s e t 8 = 0 . 0 5 . D U p d a t e H i s t o r y C a c h e O n c e t h e n e w l y a r r i v e d c l a s s i fi c a t i o n e v i d e n c e i s i n t e g r a t e d i n t o t h e c u r r e n t b e l i e f a n d p l a u s i b i l i t y v a l u e s , t h e c o m p l e t e p o w e r s e t v e c t o r c o n t a i n i n g a l l o f t h e b e l i e f s a n d p l a u s i b i l i t i e s a r e a d d e d i n t o t h e h i s t o r y c a c h e . T h i s i s a r o l l i n g b u f f e r o f t h e l a s t N c l a s s i fi c a t i o n s . I t p r o v i d e s a n a d d i t i o n a l s m o o t h i n g f u n c t i o n . F o r o u r a i r b a g s u p p r e s s i o n a p p l i c a t i o n , a b u f f e r d e p t h o f 1 0 g i v e s a d e q u a t e p e r f o r m a n c e . R e c a l l t h e B e l i e f a n d P l a u s i b i l i t y f o r m a c o n fi d e n c e r a n g e f o r a n y g i v e n h y p o t h e s i s A , 1 9 2 [ B e l ( A ) , P l s ( A ) ] . T o c o m p u t e t h e fi n a l c o n fi d e n c e i n e a c h o f t h e a t o m i c e l e m e n t s f o r t h e s y s t e m w e s i m p l y c o m p u t e : C o n f ( I n f a n t ) = w B e , - B e l ( I n f a n t ) + w p l s - P I s ( I n f a n t ) , C o n f ( C h i l d ) = w B e , ~ B e l ( C h i l d ) + W P ] : - P l s ( C h i l d ) , C o n f ( A d u l t ) = w B e , - B e l ( A d u I t ) + w P I S - P l s ( A d u l t ) , C o n f ( E m p t y ) = W B e l ~ B e l ( E m p t y ) + W P l s ~ P l s ( E m p t y ) , ( 5 . 1 9 ) w h e r e W e e ! a n d W m , a r e t h e r e l a t i v e w e i g h t i n g b e t w e e n t h e B e l i e f a n d t h e P l a u s i b i l i t y , r e s p e c t i v e l y , a n d w B e , + w P l s = 1 . T h e s e t t i n g o f t h e s e v a l u e s d e t e r m i n e s h o w c o n s e r v a t i v e l y t h e s y s t e m c o m p u t e s t h e o u t p u t c o n fi d e n c e . 5 . 3 R e s u l t s f o r O c c u p a n t C l a s s i fi c a t i o n T h e c l a s s i fi c a t i o n r e s u l t s a r e p r o v i d e d f o r t h e t w o - c l a s s a n d t h e f o u r - c l a s s p r o b l e m s f o r t h e o c c u p a n t s u p p r e s s i o n a p p l i c a t i o n . T h e d a t a s e t c o n s i s t s o f t h e n u m b e r s o f i m a g e s d e fi n e d i n T a b l e 2 . 3 . W e u s e t w o m e t h o d s f o r v e r i f y i n g t h e p e r f o r m a n c e o f t h e c l a s s i fi e r s : ( 1 ) 5 0 / 5 0 c r o s s - v a l i d a t i o n t e s t i n g u s i n g t h e t r a i n i n g d a t a s e t , a n d ( i i ) t e s t i n g o n t h e i n d e p e n d e n t t e s t i m a g e d a t a b a s e . T h e r e s u l t s f o r b o t h o f t h e s e t e s t m e t h o d s f o l l o w . 5 . 3 . 1 R e s u l t s o f I n d i v i d u a l C l a s s i fi e r s R e c a l l t h e c l a s s i fi c a t i o n m e t h o d s w e c o m p a r e a r e t h e B a y e s , k - n e a r e s t n e i g h b o r , a n d s u p p o r t v e c t o r m a c h i n e c l a s s i fi e r s . T h e t e s t i n g i s p e r f o r m e d u s i n g t h e 1 9 3 b e s t s e t o f f e a t u r e s d e r i v e d f r o m t h e M a n n — W h i t n e y f e a t u r e s e l e c t i o n w i t h t h e c o r r e l a t i o n p o s t - p r o c e s s i n g . A B a y e s C l a s s i fi e r T h e r e s u l t s f o r t h e B a y e s c l a s s i fi e r o n t h e 5 0 / 5 0 c r o s s v a l i d a t i o n d a t a b a s e a r e p r o v i d e d i n T a b l e 5 . 1 a n d T a b l e 5 . 3 f o r t h e t w o - c l a s s a n d f o u r - c l a s s p r o b l e m s , r e s p e c t i v e l y . T h e o v e r a l l a c c u r a c y f o r t h e t w o - c l a s s p r o b l e m u s i n g t h e c r o s s v a l i d a t i o n t e s t i s 9 9 . 7 4 % , a n d t h e o v e r a l l a c c u r a c y f o r t h e f o u r - c l a s s p r o b l e m i s 9 8 . 4 % f o r t h i s t e s t . T a b l e 5 . 1 : T w o — c l a s s c o n f u s i o n m a t r i x f o r t h e B a y e s c l a s s i fi e r o n t h e 5 0 / 5 0 c r o s s - v a l i d a t i o n d a t a b a s e . C l a s s i fi e d a s I n f a n t C l a s s i fi e d a s A d u l t T r u e I n f a n t 1 3 2 9 0 T r u e A d u l t 4 4 8 7 L i k e w i s e , t h e r e s u l t s f o r t h e B a y e s c l a s s i fi e r o n t h e i n d e p e n d e n t t e s t d a t a b a s e a r e p r o v i d e d i n T a b l e 5 . 3 a n d T a b l e 5 . 4 f o r t h e t w o - c l a s s a n d f o u r - c l a s s p r o b l e m s , r e s p e c t i v e l y . T h e o v e r a l l a c c u r a c y f o r t h e t w o - c l a s s p r o b l e m o n t h e i n d e p e n d e n t t e s t d a t a s e t i s 9 8 . 2 % , a n d 8 8 . 4 % f o r t h e f o u r - c l a s s p r o b l e m u s i n g t h i s d a t a s e t . 1 9 4 T a b l e 5 . 2 : T w o - c l a s s c o n f u s i o n m a t r i x f o r t h e B a y e s c l a s s i fi e r o n t h e i n d e p e n d e n t t e s t d a t a b a s e . C l a s s i fi e d a s I n f a n t C l a s s i fi e d a s A d u l t T r u e I n f a n t 1 2 8 2 1 T r u e A d u l t 2 5 1 0 6 T a b l e 5 . 3 : F o u r - c l a s s c o n f u s i o n m a t r i x f o r t h e B a y e s c l a s s i fi e r o n t h e 5 0 / 5 0 c r o s s - v a l i d a t i o n d a t a b a s e . C l a s s i fi e d a s C l a s s i fi e d a s C l a s s i fi e d a s C l a s s i fi e d a s I n f a n t C h i l d A d u l t E m p t y T r u e I n f a n t 1 3 2 8 0 O 0 T r u e C h i l d 2 6 2 8 2 1 0 T r u e A d u l t 1 0 4 9 0 0 T r u e E m p t y 2 l . 3 3 0 T a b l e 5 . 4 : F o u r - c l a s s c o n f u s i o n m a t r i x f o r t h e B a y e s c l a s s i fi e r o n t h e i n d e p e n d e n t t e s t d a t a b a s e . C l a s s i fi e d a s C l a s s i fi e d a s C l a s s i fi e d a s C l a s s i fi e d a s I n f a n t C h i l d A d u l t E m p t y T r u e I n f a n t 1 2 8 2 1 0 0 T r u e C h i l d 1 4 9 3 5 1 7 0 T r u e A d u l t 1 4 0 1 1 7 0 T r u e E m p t y 8 0 0 0 1 9 5 B N e a r e s t N e i g h b o r C l a s s i fi e r s T h e r e s u l t s f o r t h e k - n e a r e s t n e i g h b o r c l a s s i fi e r ( w i t h k = 9 ) o n t h e 5 0 / 5 0 c r o s s v a l i d a t i o n d a t a b a s e a r e p r o v i d e d i n T a b l e 5 . 5 a n d T a b l e 5 . 6 f o r t h e t w o - c l a s s a n d f o u r - c l a s s p r o b l e m s , r e s p e c t i v e l y . T h e o v e r a l l a c c u r a c y f o r t h e t w o - c l a s s p r o b l e m f o r t h e c r o s s v a l i d a t i o n t e s t i s 9 9 . 5 % , a n d t h e o v e r a l l a c c u r a c y f o r t h e f o u r - c l a s s p r o b l e m i s 9 8 . 5 % f o r t h i s t e s t . T a b l e 5 . 5 : T w o - c l a s s c o n fi r s i o n m a t r i x f o r k — n e a r e s t n e i g h b o r w i t h k = 9 o n t h e 5 0 / 5 0 c r o s s - v a l i d a t i o n d a t a b a s e . C l a s s i fi e d a s I n f a n t C l a s s i fi e d a s A d u l t T r u e I n f a n t 1 3 2 9 0 T r u e A d u l t 9 . 3 4 8 1 . 7 L i k e w i s e , t h e r e s u l t s f o r t h e k - n e a r e s t n e i g h b o r c l a s s i fi e r ( w i t h k = 9 ) o n t h e i n d e p e n d e n t t e s t d a t a b a s e a r e p r o v i d e d i n T a b l e 5 . 7 a n d T a b l e 5 . 8 f o r t h e t w o - c l a s s a n d f o u r - c l a s s p r o b l e m s , r e s p e c t i v e l y . T h e o v e r a l l a c c u r a c y f o r t h e t w o - c l a s s p r o b l e m f o r t h e i n d e p e n d e n t d a t a s e t t e s t i s 9 6 . 7 % , a n d t h e o v e r a l l a c c u r a c y f o r t h e f o u r - c l a s s p r o b l e m i s 8 8 . 2 % f o r t h i s t e s t . T a b l e 5 . 6 : T w o - c l a s s c o n f u s i o n m a t r i x f o r k - n e a r e s t n e i g h b o r w i t h k = 9 o n t h e i n d e p e n d e n t t e s t d a t a b a s e . C l a s s i fi e d a s I n f a n t C l a s s i fi e d a s A d u l t T r u e I n f a n t 1 2 7 0 1 3 T r u e A d u l t 3 4 9 7 1 9 6 T a b l e 5 . 7 : F o u r - c l a s s c o n f u s i o n m a t r i x f o r k - n e a r e s t n e i g h b o r w i t h k = 9 o n t h e 5 0 / 5 0 c r o s s - v a l i d a t i o n d a t a b a s e . C l a s s i fi e d a s C l a s s i fi e d a s C l a s s i fi e d a s C l a s s i fi e d a s I n f a n t C h i l d A d u l t E m p t y T r u e I n f a n t 1 3 2 7 1 0 0 T r u e C h i l d 2 1 2 8 6 3 0 T r u e A d u l t 7 0 4 8 4 0 T r u e E m p t y 0 1 l 3 5 T a b l e 5 . 8 : F o u r - c l a s s c o n f u s i o n m a t r i x f o r k - n e a r e s t n e i g h b o r w i t h k = 9 o n t h e i n d e p e n d e n t t e s t d a t a b a s e . C l a s s i fi e d a s C l a s s i fi e d a s C l a s s i fi e d a s C l a s s i fi e d a s I n f a n t C h i l d A d u l t E m p t y T r u e I n f a n t 1 2 7 9 l 3 0 T r u e C h i l d 1 4 4 4 1 1 6 0 T r u e A d u l t 1 7 2 1 1 2 0 T r u e E m p t y 5 3 O O C S u p p o r t V e c t o r M a c h i n e s T h e r e s u l t s f o r t h e s u p p o r t v e c t o r m a c h i n e c l a s s i fi e r ( u s i n g t h e R B F k e r n e l w i t h 0 ' 2 = 1 0 . 0 ) o n t h e 5 0 / 5 0 c r o s s v a l i d a t i o n d a t a b a s e a r e p r o v i d e d i n T a b l e 5 . 9 a n d T a b l e 5 . 1 0 f o r t h e t w o - c l a s s a n d f o u r - c l a s s p r o b l e m s , r e s p e c t i v e l y . T h e s o f t w a r e u s e d w a s S V M - L i g h t [ 5 2 ] . T h e o v e r a l l a c c u r a c y f o r t h e t w o - c l a s s p r o b l e m f o r t h e c r o s s 1 9 7 v a l i d a t i o n t e s t i s 9 8 . 9 % , a n d t h e o v e r a l l a c c u r a c y f o r t h e f o u r - c l a s s p r o b l e m i s 9 3 . 6 % f o r t h i s t e s t . T a b l e 5 . 9 : T w o - c l a s s c o n f u s i o n m a t r i x f o r t h e S V M c l a s s i fi e r ( u s i n g t h e R B F k e r n e l w i t h 0 ' 2 = 1 0 . 0 ) o n t h e 5 0 / 5 0 c r o s s - v a l i d a t i o n d a t a b a s e . C l a s s i fi e d a s I n f a n t C l a s s i fi e d a s A d u l t T r u e I n f a n t 1 3 2 7 2 T r u e A d u l t 1 8 4 7 3 L i k e w i s e , t h e r e s u l t s f o r t h e s u p p o r t v e c t o r m a c h i n e c l a s s i fi e r ( u s i n g t h e R B F k e r n e l w i t h 0 ' 2 = 1 0 . 0 ) o n t h e i n d e p e n d e n t t e s t d a t a b a s e a r e p r o v i d e d i n T a b l e 5 . 1 1 a n d T a b l e 5 . 1 2 f o r t h e t w o - c l a s s a n d f o u r - c l a s s p r o b l e m s , r e s p e c t i v e l y . T h e o v e r a l l a c c u r a c y f o r t h e t w o - c l a s s p r o b l e m f o r t h e i n d e p e n d e n t d a t a s e t t e s t i s 9 6 . 8 % , a n d t h e o v e r a l l a c c u r a c y f o r t h e f o u r - c l a s s p r o b l e m i s 8 7 . 8 % f o r t h i s t e s t . T a b l e 5 . 1 0 : T w o - c l a s s c o n f u s i o n m a t r i x f o r t h e S V M c l a s s i fi e r ( u s i n g t h e R B F k e r n e l w i t h 0 ' 2 = 1 0 . 0 ) o n t h e i n d e p e n d e n t t e s t d a t a b a s e . C l a s s i fi e d a s I n f a n t C l a s s i fi e d a s A d u l t T r u e I n f a n t 1 2 5 4 2 9 T r u e A d u l t 1 6 1 1 5 1 9 8 T a b l e 5 . 1 1 : F o u r - c l a s s c o n f u s i o n m a t r i x f o r t h e S V M c l a s s i fi e r ( u s i n g t h e R B F k e r n e l w i t h 0 ' 2 = 1 0 . 0 ) o n t h e 5 0 / 5 0 c r o s s - v a l i d a t i o n d a t a b a s e . C l a s s i fi e d a s C l a s s i fi e d a s C l a s s i fi e d a s C l a s s i fi e d a s I n f a n t C h i l d A d u l t E m p t y T r u e I n f a n t 1 3 2 2 4 2 0 T r u e C h i l d 5 3 2 4 9 9 0 T r u e A d u l t 2 8 3 7 4 2 6 0 T r u e E m p t y 0 5 1 3 0 T a b l e 5 . 1 2 : F o u r - c l a s s c o n fi d s i o n m a t r i x f o r t h e S V M c l a s s i fi e r ( u s i n g t h e R B F k e r n e l w i t h 0 ' 2 = 1 0 . 0 ) o n t h e i n d e p e n d e n t t e s t d a t a b a s e . C l a s s i fi e d a s C l a s s i fi e d a s C l a s s i fi e d a s C l a s s i fi e d a s I n f a n t C h i l d A d u l t E m p t y T r u e I n f a n t 1 2 8 1 O l 0 T r u e C h i l d 1 2 8 3 9 ’ 3 4 0 T r u e A d u l t 2 6 O ’ 1 0 5 0 T r u e E m p t y 3 3 2 0 T h e s u m m a r i e s o f t h e c l a s s i fi c a t i o n a c c u r a c i e s f o r t h e s e t h r e e c l a s s i fi c a t i o n m e t h o d s , u s i n g b o t h t h e 5 0 / 5 0 c r o s s - v a l i d a t i o n t e s t a n d t h e i n d e p e n d e n t d a t a s e t t e s t , a r e p r o v i d e d i n T a b l e 5 . 1 3 . 1 9 9 T a b l e 5 . 1 3 : S u m m a r y o f t w o - c l a s s a n d f o u r - c l a s s c l a s s i fi c a t i o n a c c u r a c i e s f o r t h e t h r e e c l a s s i fi c a t i o n m e t h o d s . T w o - c l a s s F o u r - c l a s s C l a s s i fi e r M e t h o d 5 0 / 5 0 I n d e p e n d e n t 5 0 / 5 0 I n d e p e n d e n t B a y e s 9 9 . 7 ° / o 9 8 . 2 % 9 8 . 4 ° / o 8 8 . 4 % k - l l e a l ‘ e S t n e i g h b o r ( k = 9 ) 9 9 . 5 ° / o 9 6 . 7 % 9 8 . 5 % 8 8 . 2 % S u p p o r t V e c t o r M u m ” 9 8 . 9 % 9 6 . 8 % 9 3 . 6 % 8 7 . 8 % . ( R B F , 0 2 = 1 0 . 0 ) 5 . 3 . 2 R e s u l t s o f C o n t e x t u a l P r o c e s s i n g W e h a v e p r o v i d e d t w o e x a m p l e s o f t h e r e s u l t s f o r t h e c o n t e x t u a l p r o c e s s i n g b a s e d o n e v i d e n t i a l r e a s o n i n g . T h e i n i t i a l e x a m p l e s e q u e n c e o f i m a g e s i s s h o w n i n F i g u r e 5 . 5 . I n t h i s s e q u e n c e , a n a d u l t i s i n i t i a l l y s e a t e d n o r m a l l y , s l o w l y l e a n s f o r w a r d i n t o a c r o u c h i n g p o s i t i o n ( w h e r e h i s a p p e a r a n c e r e s e m b l e s t h a t o f a l a r g e i n f a n t s e a t ) , a n d t h e n r e t u r n s t o a n o r m a l l y s e a t e d p o s i t i o n . T h e s e q u e n c e r e p r e s e n t s a n i m a g e c o l l e c t e d e v e r y 3 s e c o n d s f o r a p e r i o d o f r o u g h l y 1 . 5 m i n u t e s . 2 0 0 F i g u r e 5 . 5 : S e q u e n c e o f i m a g e s t o d e m o n s t r a t e h i s t o r y p r o c e s s i n g . 2 0 1 ) s s a l c ( P T h e p a t t e r n c l a s s c o n fi d e n c e s g e n e r a t e d b y t h e c l a s s i fi e r f o r e a c h o f t h e f o u r c l a s s e s i s p r o v i d e d i n F i g u r e 5 . 6 , a n d t h e r e s u l t a n t c l a s s i fi c a t i o n f o r e a c h f r a m e ( t a k i n g t h e p a t t e r n c l a s s w i t h t h e l a r g e s t c o n fi d e n c e ) i s p r o v i d e d i n F i g u r e 5 . 7 . N o t e t h a t t h e a d u l t i s c l a s s i fi e d a s a n i n f a n t d u r i n g t h e p o r t i o n o f t h e s e q u e n c e w h e r e h e i s l e a n i n g f o r w a r d . 0 6 - 0 . 5 0 . 4 — 6 — i n f a n t — + — c h i l d + a d u l t 0 . 3 5 1 0 1 5 2 0 2 5 3 1 1 I m a g e F r a m e N u m b e r F i g u r e 5 . 6 : I n p u t c o n fi d e n c e s w i t h n o h i s t o r y f o r e a c h c l a s s f o r s e q u e n c e i n F i g u r e 2 0 2 F i g u r e 5 . 8 s h o w s t h e r e s u l t r e s u l t i n g b e l i e f s f o r t h e f o u r a t o m i c c l a s s s e t e l e m e n t s , a f t e r t h e D e m p s t e r - S h a f e r h i s t o r y p r o c e s s i n g . N o t i c e t h e b e l i e f s i n t h e a t o m i c e l e m e n t { a d u l t } r e m a i n s t h e p r e f e r r e d c l a s s i fi c a t i o n e v e n d u r i n g t h e b r i e f s u b - s e q u e n c e w h e r e t h e { i n f a n t } s e t i s m o r e l i k e l y d u e t o u s i n g t h e D e m p s t e r ’ s r u l e s o f c o m b i n a t i o n t o i n t e g r a t e t h e s e q u e n c e o f i n c o m i n g c l a s s i fi c a t i o n s r e s u l t s . ‘ r g r I r I " ‘ I a n 3 a e o o o o o o o o o n o o o o o o o o q o o a U - : . E . , ~ 1 3 2 a ' E : a . ' _ 1 . e a 3 5 ‘ ' ‘ 1 9 - ‘ - ' ' ; I 2 5 m - I m a g e F r a m e N u m b e r F i g u r e 5 . 7 : O r i g i n a l c l a s s i fi c a t i o n s w i t h n o h i s t o r y p r o c e s s i n g v e r s u s i m a g e f r a m e ( c l a s s 1 = i n f a n t , c l a s s 2 = c h i l d , c l a s s 3 = a d u l t , a n d c l a s s 4 = e m p t y ) . R e c a l l , t h e r u l e s o f c o m b i n a t i o n d i s t r i b u t e t h e p r o b a b i l i t y m a s s t o t h e v a r i o u s s u b s e t s o f t h e p o w e r s e t a s w e l l a s t o t h e a t o m i c e l e m e n t s . S i n c e t h e d i f f e r e n c e i n l i k e l i h o o d s b e t w e e n t h e i n f a n t c l a s s a n d t h e a d u l t c l a s s i s n o t g r e a t d u r i n g t h e l e a n i n g s u b s e q u e n c e , t h e p r o b a b i l i t y m a s s i s d i s t r i b u t e d i n t o t h e { i n f a n t , a d u l t } s u b s e t , a s w e l l a s i n t o t h e { a d u l t } a n d { i n f a n t } a t o m i c s e t s . T h e a m o u n t o f m a s s d i s t r i b u t e d t o t h e a t o m i c s e t s i s n o t a d e q u a t e t o c a u s e t h e fi n a l c o n fi d e n c e i n t h e { i n f a n t } s e t t o s u r p a s s t h a t f o r t h e { a d u l t } s e t . 2 0 3 0 . 3 — 0 . 2 5 - - 6 - i n f a n t — + — c h i l d 0 2 _ + a d u l t 6 ‘ i } e m p t y E 8 a . 0 . 1 5 — 0 . 1 — 0 . 0 5 — ( M a , 8 L 0 I l l l l L D 5 1 ” 1 5 2 0 2 5 3 0 3 5 I m a g e F r a m e N u m b e r F i g u r e 5 . 8 : D e m p s t e r - S h a f e r a t o m i c e l e m e n t b e l i e f s v e r s u s i m a g e f r a m e . F i g u r e 5 . 9 s h o w s t h e fi n a l c o n fi d e n c e i n t h e { a d u l t } s e t v e r s u s t h e i n p u t b e l i e f s f o r t h e i n f a n t a n d a d u l t c l a s s e s . R e c a l l , t h i s fi n a l c o n fi d e n c e i s t h e a v e r a g e o f t h e b e l i e f s a n d t h e p l a u s i b i l i t i e s f o r t h e { a d u l t } s e t f o r e a c h o f t h e fl a m e t i m e s , w h e r e w e h a v e s e t t h e w e i g h t s w B e , a n d w p l s a r e e q u a l . L i k e w i s e , F i g u r e 5 . 1 0 p r o v i d e s t h e fi n a l c l a s s i fi c a t i o n r e s u l t s f o r t h i s i m a g e s e q u e n c e a fi e r t h e D e m p s t e r - S h a f e r e v i d e n t i a l r e a s o n i n g p r o c e s s i n g . I t i s i m p o r t a n t t o n o t e t h a t t h e h i s t o r y c a c h e h a s b e e n s e t t o b e o n l y 1 d e e p f o r t h i s p r o c e s s i n g , s o t h e i m p r o v e m e n t s i n t h e c l a s s i fi c a t i o n a c c u r a c y a r e d u e s o l e l y t o t h e D e m p s t e r - S h a f e r p r o c e s s i n g . 2 0 4 ) s s a l c ( P s s a l C n r e t M t a P 1 0 . 6 _ — 6 — i n c o m i n g 0 1 _ i n f a n t ‘ + i n c o m i n g a d u fl . . . ; _ « , _ o u t p u t a d u h 0 5 1 0 1 5 Z ] I 2 : 3 7 1 ' - " . 3 ! I m a g e F r a m e N u m b e r F i g u r e 5 . 9 : F i n a l c o n fi d e n c e f o r o u t p u t c l a s s D - S c o n fi d e n c e c o m p a r e d t o i n p u t c o n fi d e n c e s . 3 € S E 1 _ | I m a g e F r a m e N u m b e r F i g u r e 5 . 1 0 : F i n a l c l a s s i fi c a t i o n s a fi e r D - S h i s t o r y p r o c e s s i n g v e r s u s i m a g e f r a m e ( c l a s s 1 = i n f a n t , c l a s s 2 = c h i l d , c l a s s 3 = a d u l t , a n d c l a s s 4 = e m p t y ) . 2 0 5 I n o r d e r t o t e s t t h e D e m p s t e r - S h a f e r p r o c e s s i n g t o e n s u r e i t d o e s n o t a c c i d e n t a l l y p r o p a g a t e n u s - c l a s s i fi c a t i o n s , w e m o d i fi e d t h e o r i g i n a l s e q u e n c e b y m o v i n g fi ' a m e s 1 3 - 2 0 t o t h e b e g i n n i n g o f t h e s e q u e n c e ( s e e F i g u r e 5 . 1 1 ) . R e c a l l , t h e s e a r e t h e f r a m e s w h e r e t h e a d u l t i s l e a n i n g f o r w a r d , a n d m i s - c l a s s i fi e d a s a n i n f a n t . T h i s n e w s c e n a r i o i s d e s i g n e d t o m i m i c t h e s i t u a t i o n w h e r e t h e a d u l t e n t e r s t h e v e h i c l e a n d i m m e d i a t e l y p r o c e e d s t o t i e h i s s h o e s , a n d t h e n m o v e s t o t h e n o r m a l l y s e a t e d c o n d i t i o n . T h e r a w i n p u t a t o m i c b e l i e f s f r o m t h e i m a g e c l a s s i fi c a t i o n s u b s y s t e m a r e p r o v i d e d i n F i g u r e 5 . 1 2 , a n d t h e r e s u l t a n t s e q u e n c e o f o u t p u t c l a s s i fi c a t i o n s a r e p r o v i d e d i n F i g u r e 5 . 1 3 . T h e b e l i e f s i n t h e a t o m i c s e t s a f t e r t h e u s e o f t h e D e m p s t e r ’ s r u l e s o f c o m b i n a t i o n f o r t h i s s e q u e n c e a r e p r o v i d e d i n F i g u r e 5 . 1 4 . N o t i c e t h a t f o r f r a m e s 1 t h r o u g h 9 , t h e b e l i e f i n t h e { i n f a n t } s e t i s t h e g r e a t e s t s i n c e t h e i n c o m i n g e v i d e n c e s u g g e s t s a n i n f a n t . N o t e a l s o t h a t t h e b e l i e f f o r t h e { a d u l t } s e t i s n o t t h a t m u c h l o w e r , s i n c e r e c a l l f r o m F i g u r e 5 . 1 2 t h a t t h e c o n fi d e n c e s i n t h e t w o c l a s s e s a r e v e r y c l o s e . T h i s i s b e c a u s e , e v e n t h o u g h t h e c r o u c h i n g a d u l t a p p e a r s s o m e w h a t l i k e a R F I S , h e i s a c t u a l l y a l i t t l e l a r g e f o r t h a t c l a s s . F o r t h i s s e q u e n c e , t h e D e m p s t e r - S h a f e r t h e o r y i n i t i a l l y m i s - c l a s s i f r e s t h e o c c u p a n t a s a n i n f a n t , s i n c e t h a t i s w h a t t h e e v i d e n c e s u g g e s t s . N o t e , h o w e v e r , t h a t f r o m fi a m e 1 0 a n d o n , t h e { a d u l t } s e t h a s t h e g r e a t e s t c o n fi d e n c e . 2 0 6 . v 2 : ’ l t i i i a ” . , F i g u r e 5 . 1 1 : P e r m u t e d s e q u e n c e i n i t i a l c l a s s i fi c a t i o n i s w r o n g . - " ‘ 1 2 7 ' . ' I a m o f i m a g e s t o d e m o n s t r a t e h i s t o r y p r o c e s s i n g w h e n t h e 2 0 7 0 . 5 — 0 . 5 - < : L e I , 1 ‘ 0 ' 4 ‘ \ . — 0 — i n f a n t ' - ‘ — l - c h i l d , 3 I . » + a d u l t 8 0 3 » u 3 “ 3 ‘ e m m l a . ‘ . l v I ‘ T O ' 0 . 2 - ~ - [ I ‘ . . i - - a : . - v v h i e — G a » l : ‘ ' . 3 3 6 . [ 9 6 x : a c a ' i t y ‘ 8 i 0 . 5 m w ‘ ' m a m I m a g e F r a m e N u m b e r F i g u r e 5 . 1 2 : I n p u t c o n fi d e n c e s w i t h n o h i s t o r y f o r e a c h c l a s s f o r s e q u e n c e i n F i g u r e 5 . 1 1 i f w e m o v e f r a m e s 1 3 - 2 0 t o t h e fl o u t o f t h e s e q u e n c e s o t h e o c c u p a n t i n i t i a l l y l o o k s l i k e a n i n f a n t . 4 T I F T T I £ 3 - 0 6 _ _ E . G e 2 - - H A . t o e s c c 9 . 5 I m a g e F r a m e N u m b e r F i g u r e 5 . 1 3 : O r i g i n a l c l a s s i fi c a t i o n s o f p e r m u t e d i m a g e s e q u e n c e w i t h n o h i s t o r y p r o c e s s i n g v e r s u s i m a g e fl a m e ( c l a s s 1 = i n f a n t , c l a s s 2 = c h i l d , c l a s s 3 = a d u l t , a n d c l a s s 4 = e m p t y ) . 2 0 8 ) s s a l c ( P 0 . 3 5 0 . 3 0 . 2 5 0 . 2 0 . 1 5 0 . 1 0 . 0 5 - 9 1 ) , \ 8 ‘ 9 . ’ 1 , 9 6 s ( M . 2 I “ , ’ ‘ 8 1 1 5 1 0 i n f a n t c h i l d a d u h e m p t y % % W m M 9 6 0 1 5 2 0 2 5 3 0 I m a g e F r a m e N u m b e r F i g u r e 5 . 1 4 : D e m p s t e r - S h a f e r a t o m i c e l e m e n t b e l i e f s v e r s u s i m a g e fl a m e f o r p e r m u t e d 1 m a g e s e q u e n c e . w i t h t h e o r i g i n a l i n p u t b e l i e f s fl o m t h e c l a s s i fi e r f o r t h e { a d u l t } a n d t h e { i n f a n t } s e t s . F i g u r e 5 . 1 6 s h o w s t h e o u t p u t c l a s s i fi c a t i o n s a f t e r t h e D e m p s t e r — S h a f e r c o n t e x t u a l p r o c e s s i n g . N o t e t h e s t a b i l i t y o f t h e o u t p u t c l a s s i fi c a t i o n , e v e n w h e n t h e r e a r e a F i g u r e 5 . 1 5 s h o w s t h e o u t p u t c o n fi d e n c e f o r t h e { a d u l t } s e t , a n d c o m p a r e s i t c o u p l e o f s u b s e q u e n t e r r o n e o u s i n p u t c l a s s i fi c a t i o n s d u e t o r a n d o m e r r o r s . 2 0 9 s s a l C n r e t t a P P ( c l a s s ) 0 . 6 - - , . . 5 2 / 3 t , T ‘ 7 ’ € 3 . 1 1 ‘ 7 2 a ; C . “ 0 . 5 — 6 * H a . t I : 0 . 4 — a t “ l o 0 . 3 — v t e t a ‘ “ : ‘ \ r a a : . , . i . I v 0 ' 2 - E , v ' 9 I I I ’ o 9 , 1 1 c . 9 E — e — i n c o m i n g 9 0 1 E i n f a n t ‘ » l + i n c o m i n g 1 ‘ a d u l t 5 “ 4 2 + o u t p u t 0 : ; V j . : ‘ ; ' " I I a d u l t 1 5 ’ 1 o 1 5 2 0 2 5 a n I m a g e F r a m e N u m b e r F i g u r e 5 . 1 5 : F i n a l c o n fi d e n c e f o r o u t p u t c l a s s D - S c o n fi d e n c e c o m p a r e d t o i n p u t c o n fi d e n c e s f o r p e r m u t e d s e q u e n c e . 4 I I l I l I 3 - G ) 2 » _ , . . - 1 I \ I \ I \ I \ n n n n I ‘ l v v v \ I V V V ” ' 9 I m a g e F r a m e N u m b e r F i g u r e 5 . 1 6 : F i n a l c l a s s i fi c a t i o n s a f t e r D - S h i s t o r y p r o c e s s i n g v e r s u s i m a g e fl a m e f o r p e r m u t e d s e q u e n c e ( c l a s s 1 = i n f a n t , c l a s s 2 = c h i l d , c l a s s 3 = a d u l t , a n d c l a s s 4 = e m p t y ) . 2 1 0 5 . 4 S u m m a r y W e s e e t h a t , o v e r a l l , t h e B a y e s a n d t h e k - n e a r e s t n e i g h b o r c l a s s i fi e r s p e r f o r m e d s i m i l a r l y f o r t h e 5 0 / 5 0 c r o s s - v a l i d a t i o n t e s t i n g . W h e n t e s t e d o n t h e i n d e p e n d e n t d a t a s e t , h o w e v e r , t h e B a y e s c l a s s i fi e r a c h i e v e d 1 . 5 % b e t t e r c l a s s i fi c a t i o n a c c u r a c y f o r t h e t w o - c l a s s p r o b l e m , w h i l e t h e y p e r f o r m e d e q u a l l y f o r t h e f o u r - c l a s s p r o b l e m . N o t e b o t h c l a s s i fi e r s a c h i e v e d o n l y 8 8 % c o r r e c t c l a s s i fi c a t i o n f o r t h e f o u r - c l a s s p r o b l e m . T h e s u p p o r t v e c t o r m a c h i n e p e r f o r m e d w o r s e i n a l l o f t h e t e s t s . T h e s u p p o r t v e c t o r m a c h i n e , h o w e v e r , h a s n u m e r o u s t u n i n g v a r i a b l e s , a n d a v a r i e t y o f k e r n e l f u n c t i o n s , w h i c h i f t h o r o u g h l y e x p e r i m e n t e d w i t h , m a y h a v e r e s u l t e d i n b e t t e r p e r f o r m a n c e . F o r a p p l i c a t i o n s s u c h a s o u r a i r b a g s u p p r e s s i o n a p p l i c a t i o n , w o r k i n g w i t h c l a s s i fi e r s w i t h m i n i m a l fl e e p a r a m e t e r s a l l o w e d u s t o c o n c e n t r a t e o n t h e m a n y o t h e r d i f fi c u l t a s p e c t s o f t h e p r o b l e m , w i t h o u t e x t e n s i v e e x p e r i m e n t a t i o n b e i n g r e q u i r e d f o r t h i s s i n g l e s u b s y s t e m . R e c a l l , t h e N H T S A s p e c i fi c a t i o n c a l l s f o r 1 0 0 % c o r r e c t c l a s s i fi c a t i o n o n t h e s e t e s t s e t s , a n d c l e a r l y , w i t h t h e f o u r - c l a s s p r o b l e m a p p r o a c h , w e a r e f a r fl o m m e e t i n g t h a t g o a l . N o t i c e , t h a t t h e a r e a s w i t h t h e g r e a t e s t d i f fi c u l t y a r e t h e c h i l d r e n - i n f a n t c o n f u s i o n a n d t h e e m p t y s e a t c l a s s i fi c a t i o n . B o t h o f t h e s e a r e n o t a c t u a l l y c r i t i c a l b o u n d a r i e s f o r t h e N H T S A t e s t i n g . T h e o v e r a l l p e r f o r m a n c e o f t h e s y s t e m c a n b e i m p r o v e d t h r o u g h t h e f o l l o w i n g t w o s t e p s : ( i ) c o m b i n e t h e c h i l d r e n a n d i n f a n t c l a s s e s ( s i n c e t h e y a r e b o t h s u p p r e s s c o n d i t i o n s i n t h e f o u r - c l a s s a p p r o a c h ) , a n d ( i i ) i g n o r e t h e e m p t y s e a t c l a s s ( a s s u m i n g w e w i l l u s e a n o t h e r m e t h o d f o r e m p t y s e a t d e t e c t i o n ) . W e n o w s e e t h a t t h e c l a s s i fi c a t i o n a c c u r a c y i n c r e a s e s t o 9 8 . 1 % , w h i c h i s a p p r o a c h i n g 2 1 1 t h e N H T S A r e q u i r e m e n t . F o r t h e t w o - c l a s s p r o b l e m , w e a r e a l s o a t 9 8 . 2 % a c c u r a c y , w h i c h i s a l s o c l o s e t o t h e s p e c i fi c a t i o n . W h i l e t h e p e r f o r m a n c e o f t h e B a y e s a n d t h e k - N N a r e c l o s e i n t e r m s o f c l a s s i fi c a t i o n a c c u r a c y , w e d e c i d e d t o u s e t h e k - N N c l a s s i fi e r f o r t h e i m p l e m e n t a t i o n o f t h e s y s t e m . A s w e h a v e m e n t i o n e d e a r l i e r , t h e k - N N a r c h i t e c t u r e i s p a r t i c u l a r l y w e l l s u i t e d f o r t h e D S P h a r d w a r e a r c h i t e c t u r e . A l s o , b y n o t p e r f o r m i n g t h e c o v a r i a n c e m a t r i x i n v e r s i o n , w e a r e s u r e t o m a i n t a i n r e a s o n a b l e d e m a n d s o n t h e a r i t h m e t i c p r e c i s i o n o f t h e o p e r a t i o n s . L a s t l y , w e b e l i e v e t h a t t h e k - N N a r c h i t e c t u r e h a s a s i g n i fi c a n t a d v a n t a g e w h e n fi e l d i n g o f t h e s y s t e m . T h e s y s t e m m u s t b e o p e r a t i o n a l f o r 1 5 y e a r s , w h i c h m e a n s t h e r e w i l l b e m a n y n e w m o d e l s o f c h i l d r e s t r a i n t p r o d u c e d d u r i n g t h i s t i m e fl a m e . I f s o m e o f t h e s e f u t u r e m o d e l s a r e c o n s i d e r a b l y d i f f e r e n t i n s h a p e a n d a p p e a r a n c e t h a n a n y o f t h e c u r r e n t m o d e l s , t h e n i t w o u l d b e v e r y e a s y t o fi e l d u p g r a d e s y s t e m s a t t h e v e h i c l e d e a l e r s h i p s w i t h t h e s e n e w m o d e l s , s i m p l y b y a p p e n d i n g t h e m t o t h e e x i s t i n g s e t o f s t o r e t r a i n i n g s a m p l e s . T h e s e r e s u l t s a r e f o r s t a t i o n a r y v e h i c l e t e s t i n g w h e r e t h e o c c u p a n t i s r e q u i r e d t o s i t i n p r o - s p e c i fi e d p o s i t i o n s . W e a l s o d e m o n s t r a t e d t h r o u g h u s i n g o u r c o n t e x t u a l p r o c e s s i n g t h a t w e a r e a b l e t o m a n a g e t h e i n c o m i n g s t r e a m o f c l a s s i fi c a t i o n r e s u l t s u s i n g e v i d e n t i a l r e a s o n i n g t o h a n d l e e r r o n e o u s c l a s s i fi c a t i o n r e s u l t s . C l a s s i fi c a t i o n r e s u l t s t h a t a r e u n r e l i a b l e d u e t o a b n o r m a l o c c u p a n t s e a t i n g p o s i t i o n s a r e h a n d l e d i n t e l l i g e n t l y , a n d a r e n o t a l l o w e d t o a f f e c t t h e fi n a l c l a s s i fi c a t i o n r e s u l t . W e d e m o n s t r a t e d t h e p e r f o r m a n c e o f t h e c o n t e x t u a l p r o c e s s i n g o n a r e a l - w o r l d s i t u a t i o n o f a n a d u l t s e a t e d n o r m a l l y , l e a n i n g f a r f o r w a r d , a n d t h e n r e t u r n i n g t o t h e u p r i g h t p o s i t i o n . I n t h e i n p u t c l a s s i fi c a t i o n s t r e a m , 9 o f t h e 3 2 i m a g e s i n t h e s e q u e n c e w e r e 2 1 2 m i s - c l a s s i fi e d , w h i l e a f t e r t h e D e m p s t e r - S h a f e r - b a s e d c o n t e x t u a l p r o c e s s i n g t h e r e w e r e n o e r r o r s . T h i s i s a d r a m a t i c i m p r o v e m e n t fl o m o n l y 7 1 . 8 % c o r r e c t c l a s s i fi c a t i o n t o 1 0 0 % c o r r e c t c l a s s i fi c a t i o n . W e a l s o s h o w e d t h e a b i l i t y o f o u r a l g o r i t h m b a s e d o n D e m p s t e r - S h a f e r t h e o r y o f e v i d e n t i a l r e a s o n i n g t o q u i c k l y r e t u r n t o t h e c o r r e c t c l a s s i fi c a t i o n , w h e n t h e i m a g e s t r e a m b e g i n s w i t h a n u n u s u a l i m a g e t h a t c a u s e s t h e c l a s s i fi c a t i o n s t r e a m t o b e g i n m i s - c l a s s i fi e d . I n t h i s e x a m p l e s c e n a r i o , t h e s y s t e m r e c o v e r e d w i t h i n t w o i m a g e fl a m e s t o p r o v i d e t h e p r o p e r c l a s s i fi c a t i o n , a n d t h e s y s t e m c o n t i n u e d t o p r o v i d e t h e c o r r e c t c l a s s i fi c a t i o n , e v e n w h e n s o m e n o i s e e v e n t s c a u s e d t w o s u b s e q u e n t m i s - c l a s s i fi c a t i o n s i n t h e d a t a s t r e a m . 2 1 3 m h . t w M a ‘ . v D . “ l a i . . . . n : u a u L z “ fi . . . fi . 1 n . 1 m 1 m t ‘ 3 1 ‘ } a g ‘ H fi , . 3 5 . $ « A . ; . . ” . a m V . m . . “ - . . . : £ . 4 % . . U K . . 3 4 4 3 : . . 1 1 ‘ \ , 0 ‘ r fi 3 " . 1 a " ‘ 1 3 a u . u ; I : , . I ; h a M i c N g a n S t a t U n i v e r s i t y P L A C E I N R E T U R N B O X t o r e m o v e t h i s c h e c k o u t f r o m y o u r r e c o r d . T O A V O I D F I N E S r e t u r n o n o r b e f o r e d a t e d u e . M A Y B E R E C A L L E D w i t h e a r l i e r d u e d a t e i f r e q u e s t e d . D A T E D U E D A T E D U E D A T E D U E 6 / 0 1 c : / C l R C / D a t e D u e . p 6 5 « p . 1 5 S E G M E N T A T I O N , C L A S S I F I C A T I O N , A N D T R A C K I N G O F H U M A N S F O R S M A R T A I R B A G A P P L I C A T I O N S V O L U M E 2 B y M i c h a e l E . F a r m e r A D I S S E R T A T I O N S u b m i t t e d t o M i c h i g a n S t a t e U n i v e r s i t y i n p a r t i a l f u l fi l l m e n t o f t h e r e q u i r e m e n t s f o r t h e d e g r e e o f D O C T O R O F P H I L O S O P H Y D e p a r t m e n t o f C o m p u t e r S c i e n c e & E n g i n e e r i n g 2 0 0 4 e x S h < t l a ‘ 3 l n d e C h a p t e r 6 . I n t e g r a t e d S e g m e n t a t i o n a n d C l a s s i fi c a t i o n T h e t r a d i t i o n a l p r o c e s s i n g fl o w o f s e g m e n t a t i o n f o l l o w e d b y c l a s s i fi c a t i o n a s s u m e s t h a t s e g m e n t a t i o n i s a b l e t o r e l i a b l y e x t r a c t t h e o b j e c t o f i n t e r e s t f r o m t h e i n p u t s c e n e . T h i s i s o p t i m i s t i c w i t h o u t a n y c o n t e x t a s t o w h a t o b j e c t i s b e i n g e x t r a c t e d f r o m t h e s c e n e . P a l a n d P a l c o m m e n t , “ a n y m a t h e m a t i c a l a l g o r i t h m u s u a l l y s h o u l d b e s u p p l e m e n t e d b y h e u r i s t i c s w h i c h i n v o l v e s e m a n t i c i n f o r m a t i o n a b o u t t h e c l a s s o f i m a g e s u n d e r c o n s i d e r a t i o n ” [ 8 2 ] . A d d i t i o n a l l y , t h e y c o m m e n t , “ t h e l i t e r a t u r e i s v e r y r i c h o n t h e m e t h o d s o f s e g m e n t a t i o n , b u t n o t m a n y a t t e m p t s h a v e b e e n m a d e f o r t h e o b j e c t i v e e v a l u a t i o n o f s e g m e n t e d o u t p u t s ” [ 8 2 ] . W e p r o p o s e a m e t h o d o f s e g m e n t a t i o n t h a t a d d r e s s e s b o t h o f t h e s e i s s u e s b y u s i n g t h e c l a s s i fi c a t i o n s u b s y s t e m a s a n i n t e g r a l p a r t o f t h e s e g m e n t a t i o n t o p r o v i d e : 1 ) “ s e m a n t i c i n f o r m a t i o n a b o u t t h e c l a s s o f i m a g e s u n d e r c o n s i d e r a t i o n ” b y f o c u s i n g t h e s e g r n e n t e r o n a g i v e n c l a s s a t a t i m e a n d t r y i n g t o fi n d t h e b e s t s e g m e n t a t i o n f o r t h a t c l a s s , a n d 2 ) “ t h e o b j e c t i v e e v a l u a t i o n o f s e g m e n t e d o u t p u t s ” b y u s i n g t h e p r o b a b i l i t y o f c o r r e c t c l a s s i fi c a t i o n a s t h e f u n d a m e n t a l m e t r i c t o d e t e r m i n e t h e s e g m e n t a t i o n q u a l i t y . T r a d i t i o n a l s e g m e n t a t i o n c a n b e v i e w e d a s a fi l t e r o p e r a t i n g o n t h e i m a g e t h a t i s i n d e p e n d e n t o f t h e s u b s e q u e n t c l a s s i fi e r . T h i s p a r a l l e l s t h e fi l t e r m e t h o d s f o r f e a t u r e s e l e c t i o n , w h e r e t h e o p t i m a l s u b s e t o f f e a t u r e s i s c h o s e n i n d e p e n d e n t l y o f t h e 2 1 4 c l a s s i fi c a t i o n . I n c o n t r a s t t o t h i s , w e p r o p o s e a p a r a d i g m f o r s e g m e n t a t i o n t h a t f o l l o w s t h e w r a p p e r m e t h o d s o f f e a t u r e s e l e c t i o n . R e c a l l F i g u r e 4 . 1 , w h e r e t h e c o m p a r i s o n o f fi l t e r v e r s u s w r a p p e r m e t h o d s f o r f e a t u r e s e l e c t i o n w a s s h o w n , a n d t h e n c o n s i d e r F i g u r e 6 . 1 0 w h e r e t r a d i t i o n a l i m a g e s e g m e n t a t i o n i s c o m p a r e d t o t h e p r o p o s e d w r a p p e r - b a s e d i m a g e s e g m e n t a t i o n . I n t h e w r a p p e r m e t h o d o f t h e f e a t u r e s e l e c t i o n , t h e c l a s s i fi e r i s a n i n t e g r a l p a r t o f t h e s e l e c t i o n p r o c e s s , a n d s e r v e s a s t h e g e n e r a t o r f o r t h e m e t r i c t h a t d e c i d e s t h e f e a t u r e s e t . I n t h e s a m e w a y , w e p r o p o s e w r a p p i n g t h e s e g m e n t a t i o n a n d t h e c l a s s i fi c a t i o n t o g e t h e r , a n d u s i n g t h e c l a s s i fi e r t o d e t e r m i n e t h e b e s t s e g m e n t a t i o n . O t h e r r e s e a r c h e r s h a v e p r o p o s e d u s i n g c l a s s i fi c a t i o n o u t p u t a s a m e t r i c f o r l o w - l e v e l i m a g e p r o c e s s i n g t a s k s s u c h a s i m a g e b i n a r i z a t i o n [ 9 4 ] . I n t h i s p a r t i c u l a r w o r k , t h e c l a s s i fi c a t i o n r e s u l t w a s u s e d t o a l l e v i a t e t h e p r o b l e m o f t h e a b s e n c e o f a c l e a r m e t r i c s f o r e v a l u a t i o n , b u t t h e y d i d n o t p r o p o s e a f r a m e w o r k f o r m a i n t a i n i n g t h e c l a s s i fi e r a s a n i n t e g r a l p a r t o f t h e l o w - l e v e l a l g o r i t h m s . O t h e r a p p r o a c h e s f o r i n t e g r a t i n g t h e s e g m e n t a t i o n a n d c l a s s i fi c a t i o n t a s k s h a v e b e e n d i r e c t e d a t d e v e l o p i n g s t r u c t u r a l m o d e l s o f t h e d e s i r e d o b j e c t , a n d b y u s i n g g r a p h t h e o r e t i c t e c h n i q u e s t o s e a r c h f o r r e g i o n s i n t h e i m a g e t h a t m a y c o r r e s p o n d t o t h e s e s u b s t r u c t u r e s [ 9 5 ] . T h i s h a s b e e n a p p l i e d t o s e g m e n t i n g h u m a n s i n a n i m a g e . T h e d r a w b a c k o f t h i s m e t h o d i s t h a t i t d e fi n e s a p a r t i c u l a r f o r m f o r t h e c l a s s i fi c a t i o n p r o b l e m , n a m e l y s t r u c t u r a l p a t t e r n r e c o g n i t i o n u s i n g g r a p h - d i s t a n c e s . O t h e r r e s e a r c h e r s h a v e s h o w n t h a t t h e s e m e t h o d s a r e s e n s i t i v e t o e r r o r s d u r i n g t h e l o w - l e v e l s e g m e n t a t i o n o f t h e s u b - r e g i o n s , a n d t h a t s t a t i s t i c a l p a t t e r n r e c o g n i t i o n m e t h o d s a r e g e n e r a l l y s u p e r i o r [ 2 7 ] . 2 1 5 c o m i n e B “ ’ e m e n s t t a " t i o n S e g m I o ‘ g A a A c S C i e l i fi s u l n n I l a l s m t t e e C n t a l a s s R l n c I m l m e g g A a A s l s g S C e l C l a s R s e o i o o m s m r a I n 1 fi r £ u i i g t a l c i n t e a a t t t 9 h t t h l i m S i m o ( n o a o e n g n ) m g s g t a . o e n r i o fi r i ( o b g ) g h t i t h i m t i m m o n E o v n a l u a t i o n i . . B e e n s t t a . . t i o n t i a t c i a t n S e g . F i g u r e 6 . 1 : R e p r e s e n t a t i o n o f a p p r o a c h e s t o s e g m e n t a t i o n . ( a ) t r a d i t i o n a l s e g m e n t a t i o n r e p r e s e n t e d a s a fi l t e r a p p r o a c h , a n d ( b ) i n t e g r a t e d s e g m e n t a t i o n r e p r e s e n t e d a s a w r a p p e r - b a s e d a p p r o a c h . O u r a p p r o a c h o f a w r a p p e r - b a s e d s e g m e n t e r h a s t h r e e s i g n i fi c a n t a d v a n t a g e s o v e r t h e t r a d i t i o n a l s e g m e n t a t i o n m e t h o d s f o l l o w e d b y a c l a s s i fi c a t i o n a l g o r i t h m : 1 ) O u r m e t h o d r e l a x e s t h e r e q u i r e m e n t s o n t h e i m a g e - l a b e l i n g a l g o r i t h m . O t h e r s e g m e n t a t i o n m e t h o d s a s s u m e t h e p i x e l s o n t h e o b j e c t s h a r e a c o m m o n s e t o f a t t r i b u t e s , t h e r e b y a l l o w i n g t h e o b j e c t t o b e e x t r a c t e d a s a s i n g l e e n t i t y . U n f o r t u n a t e l y , e v e n e x t r e m e l y s i m p l e i m a g e s m a y n o t s a t i s f y t h i s r e q u i r e m e n t , a s i s c e r t a i n l y t r u e f o r o u r a p p l i c a t i o n , a s i s s h o w n i n F i g u r e 6 . 2 . 2 1 6 2 ) T h e s e c o n d a d v a n t a g e o f o u r w r a p p e r - b a s e d s e g m e n t a t i o n a p p r o a c h i s t h a t i t b u i l d s o n t h e r i c h l i t e r a t u r e o n f e a t u r e s e l e c t i o n , w h i c h p r o v i d e s m a n y p r o v e n m e t h o d s f o r a d d r e s s i n g t h e s e l e c t i o n o f a s u b s e t o f f e a t u r e s f r o m a l a r g e r s e t . W e w i l l s h o w h o w t h e b l o b c o m b i n i n g p r o c e s s c a n e a s i l y b e m a p p e d i n t o t h i s f e a t u r e s e l e c t i o n f r a m e w o r k , t h e r e b y a l l o w i n g t h e s e e x i s t i n g a l g o r i t h m s f o r f e a t u r e s e l e c t i o n t o b e r e a d i l y a d a p t e d t o b l o b c o m b i n i n g . 3 T h e t h i r d a d v a n t a g e i s o u r fl e x i b i l i t y i n t h e c h o i c e o f t h e c l a s s i fi e r u s e d . A n y V c l a s s i fi c a t i o n a l g o r i t h m m a y b e u s e d i n t h i s w r a p p e r m e t h o d . T h i s a l l o w s t h e u s e r t o s e l e c t t h e c l a s s i fi e r t h a t i s b e s t s u i t e d f o r t h e i r p a r t i c u l a r a p p l i c a t i o n , w h i c h i s a t t r a c t i v e , s i n c e t h e r e i s n o u n i v e r s a l l y b e s t c l a s s i fi e r [ 4 6 ] . F i g u r e 6 . 2 : E x a m p l e s o f s i m p l e o b j e c t s t h a t c a n n o t b e s e g m e n t e d b a s e d o n a s i m p l e c o m m o n a t t r i b u t e . ( a ) i n f a n t i n c h i l d s e a t , a n d ( b ) a d u l t o n p a s s e n g e r s e a t . T h e r e i s a n a b u n d a n c e o f l i t e r a t u r e o n i m a g e s e g m e n t a t i o n , a n d a n u m b e r o f r e v i e w a r t i c l e s h i g h l i g h t i n g t h e m [ 8 0 ] [ 8 l ] [ 8 2 ] . T h e s e g m e n t a t i o n a p p r o a c h w e w i l l a d a p t f o r o u r w r a p p e r - b a s e d s e g m e n t e r i s t h e r e g i o n - b a s e d s e g m e n t a t i o n a l g o r i t h m . I n t h e i r t r a d i t i o n a l i m p l e m e n t a t i o n , t h e r e g i o n - b a s e d m e t h o d s a s s u m e t h e o b j e c t o f i n t e r e s t a n d t h e b a c k g r o u n d c a n b e s e p a r a t e d i n t o t w o c l e a r l y d i f f e r e n t i a b l e r e g i o n s . W e w i l l 2 1 7 r e l a x t h i s u n d e r l y i n g a s s u m p t i o n , a n d u s e t h e r e g i o n - b a s e d a l g o r i t h m t o d i v i d e t h e i m a g e i n t o a n u m b e r o f d i s t i n c t r e g i o n s b a s e d o n s o m e c o m m o n c h a r a c t e r i s t i c , s u c h a s g r a y s c a l e , c o l o r , t e x t u r e , e t c . W e m e r e l y u s e t h e s e a l g o r i t h m s t o d i v i d e t h e i n p u t i m a g e i n t o a s e t o f s m a l l e r i m a g e r e g i o n s , w h i c h a r e o f t e n c a l l e d “ b l o b s ” , a t e r m w e w i l l a d o p t h e r e [ 8 9 ] . I n o u r a p p r o a c h , w e d o n o t a s s u m e t h a t t h e o b j e c t o f i n t e r e s t m u s t b e s e g m e n t e d f r o m t h e b a c k g r o u n d a s a s i n g l e e n t i t y . O u r a p p r o a c h a c t u a l l y p r e f e r s t h a t t h e i m a g e b e o v e r - s e g m e n t e d , i n t h e s e n s e t h a t t h e o b j e c t i s d i v i d e d i n t o s o m e n u m b e r o f s m a l l e r l a b e l s [ 8 7 ] [ 8 9 ] . T h i s g r e a t l y r e l a x e s t h e p e r f o r m a n c e r e q u i r e m e n t o n t h e i m a g e - l a b e l i n g a l g o r i t h m , a n d i t a l l o w s n e a r l y a n y r e a s o n a b l e r e g i o n - l a b e l i n g a l g o r i t h m t o b e u s e d . O n c e t h e i m a g e i s f u l l y l a b e l e d i n t o b l o b s , t h e c l a s s i fi e r c o l l e c t s c o m b i n a t i o n s o f b l o b s , a n d t h e n d e t e r m i n e s t h e c o m b i n a t i o n o f b l o b s w i t h t h e h i g h e s t c l a s s i fi c a t i o n a c c u r a c y . 0 u r a p p r o a c h u s e s t h e c l a s s i fi e r t o i n t e l l i g e n t l y d e t e r m i n e t h e s u b s e t o f b l o b s c o r r e s p o n d i n g t o t h e a p p r o p r i a t e l y s e g m e n t e d o b j e c t . C o n s e q u e n t l y , o u r p r o p o s e d w r a p p e r m e t h o d c a n b e c o n s i d e r e d a f r a m e w o r k w i t h i n w h i c h a n y e x i s t i n g t r a d i t i o n a l i m a g e s e g m e n t a t i o n a l g o r i t h m s m a y b e e x e c u t e d t o i m p r o v e i t s p e r f o r m a n c e . T h e c l a s s i fi e r p r o v i d e s t h e r e q u i r e d c o n t e x t u a l i n f o r m a t i o n t o d i r e c t t h e s e g m e n t a t i o n . T h e fi v e s t a g e s t o t h i s s e g m e n t a t i o n p r o c e s s i n g a r e s h o w n i n F i g u r e 6 . 3 . 2 1 8 b l b i l f e r b l o ' P r o . _ L a b e l I n p u t P r e h m m a r y H P i x e l s & I m a g e — . S e g m e n t a t i o n I d e n t i f y F e a t u r e — > E x t r a c t i o n ( a ) B l o b s | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 I I : 1 b F e a t u r e C l a s s i fi c a t i o n + > O b j e c t I C B ( 1 2 ' — ' E x t r a c t i o n — ~ o f B l o b : C l a s s m c a m m ; ° m m e t ( b ) C o m b i n a t i o n s T r B r “ I T l S e g m e n t a t i o n I I : I I I t e r a t e o n b l o b I : c o m b i n a t i o n s : ” ' ' ' ' ' ' ’ ' ' ' ' w e r } E r - F } a i n 2 & 5 r fi " " " " " " F i g u r e 6 . 3 : W r a p p e r - b a s e d i m a g e s e g m e n t a t i o n . N o t i c e t h a t t h e f e a t u r e e x t r a c t i o n p r o c e s s i n g i s s h o w n i n t w o p o s s i b l e l o c a t i o n s , l a b e l e d ( a ) a n d ( b ) . I n t r a d i t i o n a l p a t t e r n r e c o g n i t i o n s y s t e m s , f e a t u r e e x t r a c t i o n f o l l o w s t h e s e g m e n t a t i o n , w h i c h p l a c e s t h i s f u n c t i o n a f t e r t h e b l o b c o m b i n e r ( l o c a t i o n ( b ) ) . T h i s i s a s u b - o p t i m a l l o c a t i o n f o r o u r w r a p p e r - b a s e d s e g m e n t a t i o n p r o c e s s i n g , s i n c e a c o m p l e t e s e t o f f e a t u r e s m u s t b e c a l c u l a t e d f o r e v e r y b l o b c o m b i n a t i o n . N o t e , h o w e v e r , t h a t m a n y c o m b i n a t i o n s o f b l o b s s h a r e c o m m o n b l o b s u b s e t s , w h i c h m e a n s s o m e o f t h e f e a t u r e e x t r a c t i o n c a l c u l a t i o n s m a y b e r e p e a t e d m a n y t i m e s . B y m o v i n g t h e f e a t u r e e x t r a c t i o n p r o c e s s i n g t o l o c a t i o n ( a ) i n t h e p r o c e s s i n g fl o w , w e c a n p r e — c o m p u t e t h e f e a t u r e s f o r e a c h b l o b a n d t h e n , a s t h e b l o b s a r e c o m b i n e d , w e m e r e l y a r i t h m e t i c a l l y a d d t h e f e a t u r e v e c t o r s t o g e t h e r . T h i s p r o v i d e s a s i g n i fi c a n t s p e e d u p , a n d a l l o w s f o r t h e p o s s i b i l i t y o f r e a l - t i m e o p e r a t i o n . 2 1 9 l l l d l ‘I' 6 . 1 P r e l i m i n a r y S e g m e n t a t i o n T h e g o a l o f t h e p r e l i m i n a r y s e g m e n t a t i o n i s t o r e m o v e a s m u c h o f t h e b a c k g r o u n d a s p o s s i b l e , p r i o r t o b l o b l a b e l i n g . T h i s s e r v e s t w o f u n c t i o n s : ( i ) r e m o v e a l a r g e n u m b e r o f p i x e l s f r o m t h e i m a g e p r i o r t o a s s i g n i n g t h e l a b e l s , a n d ( i i ) r e d u c e t h e n u m b e r o f b l o b s t h a t m u s t b e c o n s i d e r e d f o r t h e b l o b c o m b i n i n g . T h e m e t h o d w e u s e f o r p r e l i m i n a r y s e g m e n t a t i o n w a s d e fi n e d i n C h a p t e r 2 . A n e x a m p l e o f t h e p r e l i m i n a r y s e g m e n t a t i o n o u t p u t f o r t h e a i r b a g s u p p r e s s i o n a p p l i c a t i o n i s s h o w n i n F i g u r e 6 . 4 . N o t e t h a t i n o t h e r a p p l i c a t i o n s t h e r e m a y b e n o l o g i c a l m e c h a n i s m f o r p e r f o r m i n g t h i s p r e l i m i n a r y s e g m e n t a t i o n , i n w h i c h c a s e t h i s s t a g e m a y b e s k i p p e d . 6 . 2 P i x e l L a b e l i n g a n d B l o b I d e n t i fi c a t i o n T h e p u r p o s e o f t h e p i x e l l a b e l i n g a n d b l o b i d e n t i fi c a t i o n m o d u l e i s t o g r o u p t o g e t h e r p i x e l s o f c o m m o n g r a y s c a l e , t e x t u r e , e t c . i n t o c o n t i g u o u s r e g i o n s , o r b l o b s . T h e r e a r e m a n y m e c h a n i s m s p r o p o s e d f o r d e fi n i n g t h e s e ‘ c o m m o n c h a r a c t e r i s t i c s ’ , s u c h a s E M , n o r m a l i z e d c u t s ( a n d o t h e r e i g e n v a l u e - b a s e d m e t h o d s ) , r e l a x a t i o n m e t h o d s , r e g i o n g r o w i n g m e t h o d s , a n d s p l i t - a n d - m e r g e m e t h o d s [ 7 8 ] [ 7 9 ] [ 8 0 ] [ 8 1 ] [ 8 2 ] [ 8 3 ] [ 8 4 ] [ 8 7 ] [ 8 9 ] . T h e r e a r e t w o t y p e s o f o u t p u t s f r o m t h e s e a l g o r i t h m s . M e t h o d s , s u c h a s t h e r e g i o n g r o w i n g a n d t h e s p l i t a n d m e r g e a l g o r i t h m s , o u t p u t a c t u a l l a b e l e d r e g i o n s , w h i l e a l g o r i t h m s s u c h a s E M m e r e l y a s s i g n e a c h p i x e l i n d i v i d u a l l y t o a c l a s s . T h e s e l a b e l e d p i x e l s m u s t t h e n b e a g g r e g a t e d i n t o l a b e l e d r e g i o n s u s i n g a g r o u p i n g a l g o r i t h m . S i n c e t h e r e i s n o u n i v e r s a l l y b e s t a l g o r i t h m f o r 2 2 0 W i l t 8 H i l l " 1 1 8 ; ; r e g i o n l a b e l i n g , t h e s e l e c t i o n o f t h e a l g o r i t h m s h o u l d b e b a s e d o n t h e e a s e o f u s e a n d i t s fl e x i b i l i t y . W e w i l l n o w d e fi n e t h e t h r e e p r o c e s s i n g t a s k s t h a t w e m u s t p e r f o r m i n t h i s s t a g e : ( i ) p i x e l l a b e l i n g , ( i i ) s p e c u l a r i t y r e d u c t i o n , ( i i i ) p i x e l - g r o u p i n g a n d b l o b i d e n t i fi c a t i o n . F i g u r e 6 . 4 : P r e l i m i n a r y s e g m e n t a t i o n r e s u l t s , ( a ) i n p u t a d u l t i m a g e , ( b ) i n p u t R F I S i m a g e , ( c ) s e g m e n t e d a d u l t , a n d ( d ) s e g m e n t e d R F I S . 6 . 2 . 1 P i x e l L a b e l i n g W e w i l l m o d e ] t h i s p r o c e s s i n g s t a g e a s a n u n s u p e r v i s e d c l u s t e r i n g p r o c e s s , w h e r e t h e i n p u t p i x e l v a l u e s a r e t h e o b s e r v e d d a t a , a n d t h e y a r e c l u s t e r e d i n t o l a b e l e d e n t i t i e s a s s h o w n i n F i g u r e 6 . 5 . W e w i l l u s e t h e E M a l g o r i t h m , a n d m o d e l t h e i n p u t i m a g e g r a y s c a l e v a l u e s a s a m i x t u r e o f G a u s s i a n s [ 4 5 ] [ 9 0 ] . T h e E x p e c t a t i o n 2 2 1 M a x i m i z a t i o n ( E M ) a l g o r i t h m h a s b e e n u s e d f o r fi t t i n g a m i x t u r e o f G a u s s i a n d i s t r i b u t i o n s t o a d a t a s e t [ 9 0 ] . T h e d a t a s e t i n o u r c a s e i s t h e h i s t o g r a m o f t h e i m a g e g r a y s c a l e v a l u e s . W h i l e t h e E M a l g o r i t h m i s g u a r a n t e e d t o c o n v e r g e , i t i s n o t g u a r a n t e e d t o c o n v e r g e t o a g l o b a l m i n i m u m . W e u s e E M a s a c o a r s e i m a g e - l a b e l i n g a l g o r i t h m . F i n d i n g t h e g l o b a l l y o p t i m a l m i x t u r e i s n o t c r i t i c a l , s i n c e w e w i l l b e p e r f o r m i n g a d d i t i o n a l g r o u p i n g o f t h e b l o b s a s p a r t o f t h e s u b s e q u e n t b l o b c o m b i n i n g . Y - O b s e r v e d i m a g e c o n t a i n i n g f o u r d i s t t h t e x t u r e s X - U n o b s e r v e d fi e l d o o n t a i n i n g t h e c h m o f e a c h p i x e l F i g u r e 6 . 5 : U n o b s e r v e d l a b e l s f o r e a c h r e g i o n o f o b s e r v e d p i x e l v a l u e s [ 7 1 ] . F o r a n a s s u m e d m i x t u r e o f G a u s s i a n s , t h e E M p r o c e s s i n g i s b a s e d o n t h e i d e a t h a t t h e i m a g e i s c o m p r i s e d o f a w e i g h t e d - s u m o f G a u s s i a n d e n s i t i e s , a c c o r d i n g t o [ 9 0 ] : M p ( X I @ ) = z d i a m - 9 1 . ) , ( 6 . 1 ) i = 1 2 2 2 k z j i a k . p k ( x i l a y i ) w h e r e t h e a a r e t h e w e i g h t i n g f a c t o r s , a n d . 9 . a r e t h e m e a n a n d v a r i a n c e e s t i m a t e s 1 I f o r e a c h o f t h e u n d e r l y i n g G a u s s i a n s . T h e w e i g h t s , t h e m e a n s , a n d t h e v a r i a n c e s f o r t h e G a u s s i a n s a r e e s t i m a t e d i n a n i t e r a t i v e m a n n e r , a c c o r d i n g t o t h e f o l l o w i n g s t a n d a r d e q u a t i o n s [ 9 0 ] : N a y e ” = % z p ( l l x i . ® ) . ( 6 . 2 ) i = 1 N # 7 ” = i = 1 , , a n d ( 6 . 3 ) 2 p ( 1 | x , , ® ) i = 1 ' N T 2 p ( 1 I x i . ® ) - ( x i - # , ” " ’ W ) - ( x i - # , " " W ) 2 " ” = ‘ = ‘ . ( 6 . 4 ) l N Z p ( l l x i , ® ) i = 1 I n t h e s e e q u a t i o n s , t h e l i k e l i h o o d f u n c t i o n , M y : | x i , ® ) , i s c o m p u t e d a c c o r d i n g t o [ 9 0 ] : a y I - p @ _ i . V 0 9 1 9 . 1 . ) I ( 6 . 5 ) W e h a v e m o d e l e d t h e s e g m e n t e d i m a g e s i n o u r a u t o m o t i v e a i r b a g s u p p r e s s i o n s y s t e m w i t h o n e G a u s s i a n s e t t o z e r o m e a n a n d a v e r y s m a l l v a r i a n c e t o m o d e l a l l t h e p r e v i o u s l y r e m o v e d b a c k g r o u n d p i x e l s . A d d i t i o n a l G a u s s i a n c o m p o n e n t s a r e d i s t r i b u t e d a c r o s s t h e h i s t o g r a m t o m o d e l t h e a c t u a l d a t a o f i n t e r e s t . W e h a v e t w o 2 2 3 c l C I ; t o 1 1 0 1 c o n I m p C o m m e c h a n i s m s f o r p l a c i n g t h e s e G a u s s i a n c o m p o n e n t s b a s e d o n t h e r e l a t i v e u n i f o r m i t y o f t h e i n c o m i n g h i s t o g r a m . I f t h e n u m b e r o f p i x e l s i n t h e u p p e r o r l o w e r o n e t h i r d o f t h e g r a y s c a l e r a n g e e x c e e d s a t h r e s h o l d , w e p l a c e m o r e G a u s s i a n s i n t h a t t h i r d , o t h e r w i s e w e u n i f o r m l y d i s t r i b u t e t h e i n i t i a l G a u s s i a n c o m p o n e n t s . I n a d d i t i o n t o t h e p l a c e m e n t o f t h e G a u s s i a n c o m p o n e n t s a c r o s s t h e i n p u t h i s t o g r a m , w e m u s t a l s o d e t e r m i n e t h e n u m b e r o f G a u s s i a n c o m p o n e n t s t o u s e i n t h e m i x t u r e m o d e l . A n a u t o m a t e d m e t h o d f o r s e l e c t i n g t h e n u m b e r o f c o m p o n e n t s i n a m i x t u r e h a s b e e n p r o p o s e d , b u t t h i s m e t h o d i s b a s i c a l l y a g r e e d y s e a r c h m e t h o d , w h i c h p r o c e s s e s a b r o a d r a n g e o f m i x t u r e s , a n d t h e n s e l e c t s t h e n u m b e r o f c o m p o n e n t s t h a t p r o v i d e s t h e b e s t fi t t o t h e o r i g i n a l h i s t o g r a m [ 9 1 ] . T h i s a p p r o a c h i s c o m p u t a t i o n a l l y t o o i n t e n s i v e f o r o u r r e a l - t i m e a p p l i c a t i o n . I n s t e a d , w e b e g i n w i t h a fi x e d n u m b e r o f c o m p o n e n t s , a n d t h e n w e r e l y o n t h e c l a s s i fi c a t i o n a c c u r a c y t o d e t e r m i n e i f m o r e m i x t u r e c o m p o n e n t s a r e r e q u i r e d . I f t h e c l a s s i fi c a t i o n d i s t a n c e s f o r a l l o f t h e p o s s i b l e c l a s s e s a r e t o o h i g h , t h e n w e a s s u m e a n i n a d e q u a t e s e g m e n t a t i o n ( p a r t s o f t h e o c c u p a n t m a y s t i l l b e c o n n e c t e d t o t h e b a c k g r o u n d ) , a n d a t t h i s p o i n t w e h a v e t w o 0 p t i o n s : ( i ) o u t p u t a n u n k n o w n c l a s s i fi c a t i o n f o r t h e c u r r e n t i m a g e , a n d l e t t h e c o n t e x t u a l p r o c e s s i n g d e r i v e t h e c l a s s i fi c a t i o n , o r ( i i ) r e - e x e c u t e E M o n t h e c u r r e n t i m a g e w i t h a l a r g e r n u m b e r o f c o m p o n e n t s . I f , a fi e r m o d i f y i n g t h e E M p a r a m e t e r s , t h e c l a s s i fi c a t i o n r e s u l t s s t i l l d o n o t i m p r o v e , o r t h e y b e c o m e g l o b a l l y w o r s e , t h e n w e a s s u m e t h e i m a g e d o e s n o t c o n t a i n a n y o f t h e d e s i r e d o b j e c t s a n d o u t p u t t h e u n k n o w n c l a s s . I f t h e c h a n g e d o e s i m p r o v e t h e c l a s s i fi c a t i o n , t h e n w e o u t p u t t h i s n e w c l a s s i fi c a t i o n r e s u l t , a n d w e c o n t i n u e t o u s e t h i s n u m b e r o f m i x t u r e c o m p o n e n t s f o r p r o c e s s i n g f u t u r e i m a g e s . 2 2 4 b i 1 h : S p ; t h e r e d m e l F i e l W h i l e t h i s m e t h o d o f c o m p o n e n t n u m b e r s e l e c t i o n i s n o t a u n i v e r s a l l y u s e f u l a p p r o a c h , i t i s w e l l m a t c h e d t o o u r c o n c e p t o f d e v e l o p i n g a c l a s s i fi e r - d r i v e n s e g m e n t a t i o n a l g o r i t h m . F i g u r e 6 . 6 ( a ) s h o w s a s e g m e n t e d i m a g e t h a t i s f e d t o t h e E M a l g o r i t h m , a n d F i g u r e 6 . 6 ( b ) s h o w s i t s h i s t o g r a m . F i g u r e 6 . 6 ( c ) s h o w s t h e G a u s s i a n m i x t u r e t h a t b e s t m o d e l s t h i s h i s t o g r a m . F r o m t h e m i x t u r e d i s t r i b u t i o n i n F i g u r e 6 . 6 ( c ) , w e g e n e r a t e t h e l a b e l s c o r r e s p o n d i n g t o e a c h p i x e l i n t h e i m a g e . T h e m i x t u r e c o m p o n e n t w i t h t h e h i g h e s t p r o b a b i l i t y b e c o m e s t h e l a b e l f o r t h a t p i x e l . T h e o u t p u t o f t h e E M a l g o r i t h m i s t h e n i t s e l f a n i m a g e , w h e r e t h e a c t u a l p i x e l v a l u e s a r e r e p l a c e d b y t h e m e m b e r s h i p l a b e l i n d i c a t i n g t h e c o m p o n e n t t o w h i c h t h e p i x e l i s m o s t l i k e l y t o b e l o n g , a s s h o w n i n F i g u r e 6 . 6 ( d ) [ 9 0 ] . 6 . 2 . 2 S p e c u l a r i t y R e d u c t i o n A d d i t i o n a l p r o c e s s i n g m a y s o m e t i m e s b e n e e d e d t o r e d u c e t h e s p e c u l a r i t y o f t h e i m a g e , b e c a u s e E M l a b e l s t h e i n d i v i d u a l p i x e l s w i t h o u t a n y c o n s t r a i n t o n t h e s p a t i a l v a r i a t i o n o f t h e p i x e l l a b e l s . T h i s m a y c a u s e m a n y s m a l l r e g i o n s t o b e l a b e l e d i n t h e i m a g e a s c a n b e s e e n i n F i g u r e 6 . 6 ( d ) . I m p o s i n g a s m o o t h n e s s c o n s t r a i n t o n t h e o u t p u t i m a g e w i l l r e d u c e t h e n u m b e r o f v e r y s m a l l b l o b s t h a t a r e g e n e r a t e d , a n d r e d u c e t h e c o m p l e x i t y o f t h e s u b s e q u e n t b l o b c o m b i n i n g p r o c e s s i n g . A v e r y c o m m o n m e t h o d f o r i m p o s i n g a s m o o t h n e s s c o n s t r a i n t i s t h r o u g h t h e u s e o f M a r k o v R a n d o m F i e l d s [ 9 3 ] . 2 2 5 V F i g u r e 6 . 6 : E M p r o c e s s i n g s t a g e s , ( 3 ) i n p u t p r e - s e g m e n t e d i m a g e , ( b ) h i s t o g r a m o f t h i s i m a g e , ( c ) fi n a l G a u s s i a n m i x t u r e , a n d ( ( 1 ) fi n a l l a b e l e d i m a g e . W i t h i n t h e f r a m e w o r k o f M R F s , i t i s t h e n c o m m o n t o u s e M a x i m u m a p r i o r i P r o b a b i l i t y ( M A P ) e s t i m a t e s o f t h e a c t u a l p i x e l l a b e l s [ 9 3 ] . U n f o r t u n a t e l y , t h e r e a r e m a n y d i f fi c u l t i e s w i t h M R F s a n d M A P e s t i m a t i o n f o r s e g m e n t a t i o n , n a m e l y [ 9 3 ] : 1 ) M R F s c a n n o t e x p l a i n l a r g e s c a l e b e h a v i o r s , s i n c e t h e y p r o v i d e c o n s t r a i n t s o n l y o n a d j a c e n t p i x e l s , 2 V e s t i m a t i o n o f M R F p a r a m e t e r s i s d i f fi c u l t , 3 m a n y l o c a l m i n i m a o c c u r i n t h e M A P i n t h e s e a r c h s p a c e , a n d 4 ) M A P e s t i m a t e s t h e p r o b a b i l i t y o f c o r r e c t l a b e l f o r e a c h p i x e l , w h i c h i s o v e r l y c o n s e r v a t i v e s i n c e r e g i o n s a r e c o m p o s e d o f m a n y p i x e l s a t o n c e . 2 2 6 A d d i t i o n a l l y , M R F a n d M A P m e t h o d s a r e c o m p u t a t i o n a l l y q u i t e i n t e n s i v e . T h e p u r p o s e 0 f t h e w r a p p e r - b a s e d s e g r n e n t e r i s t o d i r e c t l a r g e - s c a l e g r o u p i n g o f p i x e l s t h r o u g h t h e c l a s s i fi e r . C o n s e q u e n t l y , w e a r e i n t e r e s t e d i n a s i m p l e m e t h o d f o r p e r f o r m i n g s o m e s p e c u l a r i t y r e d u c t i o n a t m i n i m u m p r o c e s s i n g e x p e n s e . H i s t o g r a m b a s e d b l o b s m o o t h i n g h a s b e e n u s e d f o r a s i m i l a r c o n t e n t - b a s e d r e t r i e v a l s y s t e m w i t h r e a s o n a b l e r e s u l t s , s o w e w i l l a d o p t a s i m i l a r m e t h o d h e r e [ 8 9 ] . T h e h i s t o g r a m - b a s e d b l o b s m o o t h i n g u s e s a s i m p l e m o d e fi l t e r w i t h a n N x N k e r n e l [ 8 9 ] . T h e l a b e l o f t h e p i x e l i n t h e c e n t e r o f t h e k e r n e l i s r e p l a c e d w i t h t h e l a b e l t h a t m o s t o f t e n o c c u r s i n t h e k e r n e l w i n d o w . T h e k e r n e l s i z e w e h a v e f o u n d t o b e t h e m o s t e f f e c t i v e i s 5 x 5 . F i g u r e 6 . 7 ( b ) s h o w s t h e o u t p u t o f t h e m o d e fi l t e r i n g f o r t h e l a b e l e d i m a g e i n F i g u r e 6 . 7 ( a ) . T h i s m o d e fi l t e r i s p r e f e r r e d o v e r o t h e r fi l t e r s ( s u c h a s m e d i a n o r m e a n fi l t e r i n g ) , s i n c e t h e o b j e c t s b e i n g fi l t e r e d a r e d i s c r e t e l a b e l v a l u e s r a t h e r t h a n g r a y s c a l e v a l u e s . T h e m o d e fi l t e r s e r v e s a s a v o t i n g fi l t e r , w h e r e t h e m o s t c o m m o n l y o c c u r r i n g l a b e l i n i t s n e i g h b o r h o o d r e p l a c e s a p i x e l ’ s l a b e l . F i g u r e 6 . 7 : O u t p u t o f s p e c u l a r i t y r e d u c t i o n , ( a ) o r i g i n a l E M l a b e l e d i m a g e , a n d ( b ) m o d e fi l t e r e d i m a g e . 2 2 7 6 . 2 . 3 B l o b I d e n t i fi c a t i o n T h e b l o b i d e n t i fi c a t i o n s t a g e g e n e r a t e s a l i s t o f b l o b s , a n d t h e i r s t a t i s t i c s , i n c l u d i n g , p i x e l c o u n t , m a x i m u m a n d m i n i m u m r o w a n d c o l u m n l o c a t i o n s , a n d a n I D t a g . T h e l a b e l e d p i x e l s a r e c o n v e r t e d i n t o c o n t i g u o u s b l o b s u s i n g a n 8 - w a y c o n n e c t e d c o m p o n e n t s r e g i o n - l a b e l i n g a l g o r i t h m [ 8 3 ] . T h e o u t p u t i m a g e f r o m t h e b l o b i d e n t i fi c a t i o n i s a n i m a g e w h e r e e a c h c o n t i g u o u s b l o b i n t h e i m a g e h a s i t s o w n u n i q u e I D v a l u e . 6 . 3 B l o b C o m b i n i n g A n a l o g o u s t o t h e w r a p p e r m e t h o d s f o r f e a t u r e s e l e c t i o n , e a c h o f t h e p o s s i b l e ' c o m b i n a t i o n s o f t h e b l o b s i s e v a l u a t e d b a s e d o n t h e p r o b a b i l i t y o f c o r r e c t c l a s s i fi c a t i o n o f t h e s e g m e n t a t i o n w i t h t h e l a t e s t b l o b a d d e d o r r e m o v e d . S i n c e i m a g e s e g m e n t a t i o n i s a s i t u a t i o n w h e r e w e d o n o t h a v e l a b e l e d s a m p l e s , i n c o n t r a s t t o t h e f e a t u r e s e l e c t i o n p r o b l e m , t h e s e g m e n t a t i o n i s a s s u m e d t o b e c o r r e c t w h e n a m i n i m u m d i s t a n c e b e t w e e n t h e t e s t s a m p l e a n d a k n o w n p a t t e r n c l a s s i s a t t a i n e d . T h e fi n a l c l a s s i fi c a t i o n d e c i s i o n i s t h e n t h e p a t t e r n c l a s s w i t h t h e l o w e s t o v e r a l l c l a s s i fi c a t i o n d i s t a n c e , a c r o s s a l l t h e a p r i o r i p a t t e r n c l a s s e s . T h e r e a r e a n u m b e r o f f e a t u r e s e l e c t i o n m e t h o d s t h a t c a n b e a d o p t e d f o r b l o b c o m b i n i n g , i n c l u d i n g s e q u e n t i a l s e a r c h , g r a d i e n t d e s c e n t , g r e e d y s e a r c h , g e n e t i c a l g o r i t h m s , e t c . S p e c i fi c a l l y , w e w i l l s h o w h o w t h e g r a d i e n t d e s c e n t , r a n d o m m u t a t i o n , a n d s e q u e n t i a l s e a r c h a l g o r i t h m s c a n b e a d a p t e d t o t h i s a p p l i c a t i o n . F o r 2 2 8 i n i t i a l l y d e m o n s t r a t i n g t h e m e c h a n i c s o f t h e a l g o r i t h m s , w e w i l l u s e t h e h a n d - s e g r n e n t e d i m a g e 0 f a 3 y e a r - o l d A T D i n a f o r w a r d f a c i n g c h i l d r e s t r a i n t , a n d t h e r e s u l t a n t b l o b l a b e l e d i m a g e s h o w n i n F i g u r e 6 . 8 . F i g u r e 6 . 8 : T e s t i m a g e o f a 3 y e a r - o l d c h i l d i n a f o r w a r d f a c i n g c h i l d r e s t r a i n t f o r d e m o n s t r a t i n g t h e b l o b - c o m b i n i n g a l g o r i t h m s , ( a ) h a n d s e g m e n t e d g r a y s c a l e i m a g e , . a n d ( b ) b l o b l a b e l e d i m a g e . 6 . 3 . 1 G r a d i e n t D e s c e n t I n t h e g r a d i e n t d e s c e n t a l g o r i t h m , b l o b s a r e c o m b i n e d b a s e d o n c h o o s i n g t h e b l o b t h a t p r o v i d e s t h e g r e a t e s t i m p r o v e m e n t i n t h e c l a s s i fi c a t i o n a c c u r a c y d u r i n g e a c h i t e r a t i o n . W e e x t e n d e d t h e b a s i c g r a d i e n t d e s c e n t a l g o r i t h m t o p r o v i d e s o m e a b i l i t y t o a v o i d l o c a l m i n i m a b y c h a n g i n g t h e fi t n e s s t e s t . R a t h e r t h a n u s i n g a n e l i t i s t s t r a t e g y , w h e r e t h e n e w b l o b s e t i s c h o s e n o n l y i f i t i s m o r e fi t t h a n t h e l a s t b l o b s e t , w e m o d i fi e d t h e o r i g i n a l a l g o r i t h m t o i n c l u d e t h e p o s s i b i l i t y o f c h o o s i n g a w o r s e fi t , a s i s a l s o p o s s i b l e i n s i m u l a t e d a n n e a l i n g [ 6 0 ] . R e c a l l i n s i m u l a t e d a n n e a l i n g , t h e r e a r e t w o c a s e s f o r c h o o s i n g a n e w s t a t e : ( i ) c h o o s e t h e s t a t e i f i t i m p r o v e s t h e o v e r a l l 2 2 9 fi t n e s s o f t h e s y s t e m , o r ( i i ) c h o o s e t h e n e w s t a t e w i t h s o m e r a n d o m i z a t i o n . T h e g r a d i e n t d e s c e n t b l o b - c o m b i n i n g a l g o r i t h m i s s h o w n i n T a b l e 6 . 1 . T a b l e 6 . 1 : A l g o r i t h m f o r g r a d i e n t d e s c e n t b l o b c o m b i n i n g . 1 ) F o r a g i v e n c l a s s C , c r e a t e a n i n i t i a l s e t o f b l o b s X o = ¢ , t h e e m p t y s e t . 2 ) F o r e a c h b l o b x k , c r e a t e t h e s e t { X k } = { X k _ , x k } , a n d c o m p u t e l P ( { X k } | C ) f o r i t e r a t i o n k . c l a s s 3 ) I n c l u d e t h e b l o b x k t h a t p r o v i d e s t h e g r e a t e s t i m p r o v e m e n t i n t h e c l a s s i fi c a t i o n a c c u r a c y . I f n o b l o b i m p r o v e s i t t h e n , w i t h p r o b a b i l i t y P , s e l e c t t h e b l o b w i t h t h e l e a s t n e g a t i v e i m p a c t t o t h e s e l e c t c l a s s i fi c a t i o n a c c u r a c y , a n d r e c o r d P 1 ( { X k } | Q . , C 0 5 3 4 ) R e t u r n t o ( 2 ) u n t i l a l l b l o b s a r e u s e d , o r u n t i l n o b l o b s a r e s e l e c t e d , a n d r e c o r d P 1 ( { X k } | C ) f o r e a c h s u b s e q u e n t s u b s e t o f b l o b s . C a s s T h e g r a d i e n t ( 1 e s c e n t a l g o r i t h m i s p e r f o r r n e d f o r e v e r y c l a s s , C , a n d , a t t h e c o m p l e t i o n o f t h e p r o c e s s i n g o f a l l t h e c a n d i d a t e c l a s s e s , w e s e l e c t t h e c l a s s C t h a t p r o v i d e s t h e h i g h e s t P , ( { X k } | C ) . T h e s e t { X k } t h e n d e fi n e s t h e b l o b c o m b i n a t i o n t h a t c o m p r i s e s t h e b e s t s e g m e n t a t i o n . F i g u r e 6 . 9 a n d F i g u r e 6 . 1 0 d e m o n s t r a t e t h e b e h a v i o r o f t h e c l a s s i fi c a t i o n d i s t a n c e a s b l o b s a r e a d d e d . N o t i c e t h a t a r o u n d t h e fi f t e e n t h i t e r a t i o n o f t h e a l g o r i t h m , a n e x t r e m e l y l a r g e l o c a l m i n i m u m w a s e n c o u n t e r e d f o r t h e i n f a n t c l a s s r a t h e r t h a n t h e c o r r e c t c h i l d c l a s s . W i t h o u t t h e a b i l i t y t o s e l e c t t h e s t a t e w i t h a s l i g h t l y w o r s e c l a s s i fi c a t i o n r e s u l t , t h e fi n a l s e g m e n t a t i o n w o u l d n o t h a v e b e e n p o s s i b l e . A d d i t i o n a l l y , g r a d i e n t d e s c e n t o n l y s e q u e n t i a l l y a d d s 2 3 0 b l o b s a n d c a r m o t r e m o v e b l o b s o n c e t h e y a r e a d d e d . W e w i l l s e e t h a t t h i s w i l l d r a m a t i c a l l y l i m i t t h e a b i l i t y o f t h e a l g o r i t h m t o c o n v e r g e t o a p r o p e r c l a s s i fi c a t i o n a n d s e g m e n t a t i o n . F i g u r e 6 . 9 : S e q u e n c e o f b l o b c o m b i n a t i o n s u s i n g t h e g r a d i e n t d e s c e n t a l g o r i t h m . 2 3 1 7 0 ; " « A : 3 4 r e n : - 8 5 0 ‘ - fl . ' g 4 0 — 6 — I n f a n t 3 ‘ 7 , ] ' 4 9 — C h i l d ' 5 " . 3 3 . 1 . — ~ — l — * — A d u l t n o 3 , . 3 3 5 “ 1 a 0 - . i 1 . ~ . , . . . L , . 1 r " ' D 5 , 1 0 1 5 2 D 2 5 I t e r a t i o n N u m b e r F i g u r e 6 . 1 0 : C l a s s i fi c a t i o n d i s t a n c e s v e r s u s b l o b a c c r u a l i t e r a t i o n f o r g r a d i e n t d e s c e n t p r o c e s s i n g . N o t e t h e d e e p l o c a l m i n i m a a r o u n d t h e fi f t e e n t h i t e r a t i o n w h e r e t h e s y s t e m w o u l d h a v e t h i s - c l a s s i fi e d t h e i m a g e a s a n i n f a n t r a t h e r t h a n a c h i l d . 6 . 3 . 2 F o w v a r d S e q u e n t i a l S e a r c h R e c a l l , t h e s e q u e n t i a l f e a t u r e s e l e c t i o n m e t h o d s c a n b e i m p l e m e n t e d e i t h e r i n t h e f o r w a r d s e l e c t i o n m o d e o r i n t h e b a c k w a r d s e l e c t i o n m o d e . F o r o u r b l o b c o m b i n i n g a p p l i c a t i o n , t h e f o r w a r d s e l e c t i o n m e t h o d w a s s e l e c t e d . T h e r e a r e n u m e r o u s v a r i a t i o n s o f t h e f o r w a r d s e l e c t i o n a l g o r i t h m a v a i l a b l e , a n d w e s e l e c t e d t h e i m p l e m e n t a t i o n c a l l e d t h e p l u s - L , m i n u s - R a l g o r i t h m . T h i s a l g o r i t h m b e g i n s w i t h a n i n i t i a l s e t o f b l o b s , { X 0 } , t h e n a d d s u p t o L b l o b s p e r i t e r a t i o n , a n d fi n a l l y s u b t r a c t s u p t o R b l o b s p e r i t e r a t i o n . T h e d e t a i l s o f t h e a l g o r i t h m a r e p r o v i d e d i n T a b l e 6 . 2 [ 6 2 ] . 2 3 2 . i s t h o f s t a g e . 1 8 a n e w s u b s e t { X k + 1 } _ — { { X k } , x k l ( + ) l ( 7 + - ) l , x k . . x ( k ) L + l } , T a b l e 6 . 2 : A l g o r i t h m f o r u s i n g t h e p l u s - L - m i n u s - R f o r w a r d s e q u e n t i a l s e a r c h f o r b l o b c o m b i n i n g . 1 ) 2 ) 3 ) 4 ) F o r a g i v e n c l a s s C , c r e a t e a n i n i t i a l s e t o f b l o b s X 0 = ¢ , t h e e m p t y s e t . B l o b A d d i t i o n : T e s t e a c h b l o b o f t h e u n s e l e c t e d b l o b s , a n d a d d b l o b x , i f P ( { X } + x | C ) 2 P ( { X } | C ) , w h e r e P ( { X } | C ) i s t h e c l a s s k 1 c l a s s I t c l a s s k c l a s s i fi c a t i o n a c c u r a c y f o r t h e b l o b s e t { X k } , g i v e n c l a s s C . T h e o u t p u t w h e r e x “ ) i s t h e b l o b w i t h t h e ( i ) t h b e s t i m p r o v e m e n t i n c l a s s i fi c a t i o n k + 1 a c c u r a c y , u p t o L b l o b s . B l o b R e m o v a l : T e s t e a c h b l o b i n t h e c u r r e n t s e l e c t e d b l o b s e t , { X k + 1 } , a n d r e m o v e e a c h b l o b x f r o m t h e s e t i f r ( { X k + 1 } - x r | C ) 2 P c l a s s ( { X k } | C ) , w h e r e P d m ( { X k } | C ) i s c l a s s t h e c l a s s i fi c a t i o n a c c u r a c y f o r t h e b l o b s e t { X k } g i v e n c l a s s C . C o n t i n u e t e s t i n g a n d r e m o v i n g b l o b s u n t i l a l l t h e b l o b s i n t h e c u r r e n t s u b s e t { X k } a r e t e s t e d , o r u n t i l R b l o b s h a v e b e e n r e m o v e d . R e c o r d t h e P l ( { X k } | C ) , a n d t h e c o r r e s p o n d i n g s u b s e t o f b l o b s C 0 3 5 { X a n d r e t u r n t o s t e p ( 2 ) , u n l e s s t h e l a s t b l o b h a s b e e n p r o c e s s e d . k } , T h i s a l g o r i t h m i s a l s o p e r f o r m e d f o r e v e r y c l a s s , C , a n d , a t t h e c o m p l e t i o n o f t h e p r o c e s s i n g o f a l l t h e c a n d i d a t e c l a s s e s , w e s e l e c t t h e c l a s s C t h a t p r o v i d e s t h e h i g h e s t P c l a s ( { X k } | C ) . A g a i n , t h e s e t { X k } d e fi n e s t h e b l o b c o m b i n a t i o n t h a t c o m p r i s e s t h e b e s t s e g m e n t a t i o n . T h e s e q u e n c e o f b l o b o p e r a t i o n s , w h e n L a n d R 2 3 3 a r e b o t h s e t t o o n e , i s p r o v i d e d i n F i g u r e 6 . 1 1 , a n d t h e s e q u e n c e o f d i s t a n c e m e a s u r e s f o r e a c h b l o b a d d i t i o n i s p r o v i d e d i n F i g u r e 6 . 1 2 . N o t i c e t h a t t h e d e e p l o c a l m i n i m a p r o b l e m s w e s a w i n t h e g r a d i e n t d e s c e n t a r e d r a m a t i c a l l y r e d u c e d , a n d t h e c o n v e r g e n c e o f t h e a l g o r i t h m t o t h e c o r r e c t s o l u t i o n i s m o r e r o b u s t t h a n f o r g r a d i e n t d e s c e n t . F i g u r e 6 . 1 1 : S e q u e n c e o f b l o b c o m b i n a t i o n s u s i n g t h e p l u s - L - m i n u s - R f o r w a r d s e q u e n t i a l s e a r c h a l g o r i t h m . U n f o r t u n a t e l y , t h e f o r w a r d s e q u e n t i a l s e a r c h a l g o r i t h m i s c o m p u t a t i o n a l l y v e r y i n t e n s i v e , d u e t o t h e t h o r o u g h n e s s o f i t s t e s t i n g o f b l o b c o m b i n a t i o n s . T h i s t h o r o u g h n e s s i s t h e s o u r c e o f i t s e f f e c t i v e n e s s , h o w e v e r , f o r a r e a l - t i m e a p p l i c a t i o n i t i s n e c e s s a r y t o a t t e m p t t o fi n d a f a s t e r a l g o r i t h m . T h e f o l l o w i n g a l g o r i t h m i s b a s e d 2 3 4 e c n a t s i D n o i t a c fi i s s a l C o n r a n d o m s e a r c h , w h i c h c a n b e f a s t i f t h e s e a r c h s p a c e i s r e l a t i v e l y w e l l b e h a v e d ( i . e . , f e w l o c a l m i n i m a ) . — 6 — I n f a n t - - 9 — C h i l d — — + — ~ A d u l t — I I — E m p t y ‘ , o ‘ 5 ’ ‘ 1 0 j 1 5 2 0 , - . 2 5 I t e r a t i o n N u m b e r F i g u r e 6 . 1 2 : B l o b c o m b i n i n g c l a s s i fi c a t i o n d i s t a n c e v e r s u s i t e r a t i o n n u m b e r f o r t h e p l u s - L - m i n u s - R f o r w a r d s e q u e n t i a l s e a r c h a l g o r i t h m . 6 . 3 . 3 R a n d o m M u t a t i o n H i l l C l i m b i n g R a n d o m m u t a t i o n h i l l c l i m b i n g i s a m e m b e r o f t h e f a m i l y o f r a n d o m s e a r c h o p t i m i z a t i o n t o o l s t h a t i n c l u d e s m e t h o d s s u c h a s s i m u l a t e d a n n e a l i n g [ 5 9 ] [ 6 0 ] . I t h a s p r o v e n u s e f u l i n t h e a r e a o f f e a t u r e s e l e c t i o n . F o r t h e r a n d o m m u t a t i o n a l g o r i t h m , t h e c o m p l e t e s e t o f b l o b s i s r e p r e s e n t e d a s a s t r i n g o f b i n a r y v a l u e s , w h e r e a b i t i n t h e s t r i n g i s s e t t o ‘ 1 ’ i f t h e b l o b i s t o b e k e p t i n t h e fi n a l s u b s e t , a n d s e t t o ‘ 0 ’ i f t h e b l o b i s t o b e d i s c a r d e d [ 5 9 ] . 2 3 5 l I l U l l l l l l l a i d m u t T a b c o n ] P r o x C O m i W e m a d e t h e s a m e m o d i fi c a t i o n s t h a t w e h a d m a d e w h e n a p p l y i n g r a n d o m m u t a t i o n h i l l c l i m b i n g t o t h e f e a t u r e s e l e c t i o n p r o b l e m : ( i ) w e a d d e d m u l t i p l e b l o b m u t a t i o n w i t h c o o l i n g , a n d ( i i ) w e a l l o w t h e s y s t e m t o c h o o s e a b l o b c o m b i n a t i o n w i t h a n i n f e r i o r c l a s s i fi c a t i o n a c c u r a c y , w i t h s o m e p r o b a b i l i t y , P . T h e r a n d o m m u t a t e m u t a t i o n a l g o r i t h m f o r b l o b c o m b i n i n g o p e r a t e s a s s h o w n i n T a b l e 6 . 3 . T a b l e 6 . 3 : A l g o r i t h m f o r u s i n g r a n d o m m u t a t i o n h i l l c l i m b i n g f o r b l o b c o m b i n i n g . 1 ) S e t t h e i n i t i a l v a l u e f o r M a n d c r e a t e a n i n i t i a l s e t o f b l o b s X o = 4 5 , t h e e m p t y s e t . 2 ) R a n d o m l y m u t a t e M b l o b s . 3 ) T e s t f o r fi t n e s s : C o m p u t e P d w ( { X k } | C ) , w h e r e t h e s e t { X k } i s t h e c u r r e n t b l o b s e t . I f P ( { X } I C ) 2 P ( { X } I C ) k e e p t h i s b l o b c l a s s k c l a s s k — - 1 s e t . I f n o t t h e n c h o o s e t h e n e w b l o b s e t a n y w a y w i t h a p r e - d e t e r m i n e d p r o b a b i l i t y P m u t a t e 4 ) R e t u r n t o s t e p ( 2 ) a n d c o n t i n u e u n t i l e i t h e r t h e fi t n e s s g o a l i s r e a c h e d o r t h e m a x i m u m n u m b e r o f i t e r a t i o n s i s r e a c h e d . A s b e f o r e , t h i s a l g o r i t h m i s p e r f o r m e d f o r e v e r y c l a s s , C , a n d , a t t h e c o m p l e t i o n o f t h e p r o c e s s i n g o f a l l t h e c a n d i d a t e c l a s s e s , s e l e c t s t h e c l a s s C t h a t p r o v i d e s t h e h i g h e s t P l ( { X k } | C ) , w h e r e t h e s e t { X k } d e fi n e s t h e b l o b s t h a t c o m p r i s e t h e b e s t s e g m e n t a t i o n . T h e b e h a v i o r o f t h e r a n d o m m u t a t i o n h i l l c l i m b i n g f o r a m u t a t e - 1 s t r a t e g y c a n b e s e e n i n F i g u r e 6 . 1 3 a n d F i g u r e 6 . 1 4 . N o t e t h e r e l a t i v e l y m o n o t o n i c b e h a v i o r o f t h e p e r f o r m a n c e v e r s u s b l o b s e l e c t i o n . 2 3 6 s a s s e s s a F i g u r e 6 . 1 3 : S e q u e n c e o f b l o b c o m b i n a t i o n s u s i n g t h e r a n d o m m u t a t i o n h i l l c l i m b i n g a l g o r i t h m 2 3 7 7 D 0 m U l . “ g i : . 9 2 E ? _ ‘ : c : : : : : : : : : : : : : : : - ¢ : : : : : a . . . ‘ ; . s . 5 1 0 ~ : 5 i , - 9 - C h i l d 0 ' 5 } j o ‘ . f : . _ . _ _ + _ _ . . . A d u l t ' 0 . _ ~ ’ ; 9 ‘ 5 ‘ 3 : - + E m p t y a _ 3 m h C 3 L ) _ 1 ‘ e : : : : : : : : : o fl a . , . l l . . # 1 ~ 1 , , o 5 1 0 1 5 i n 2 5 - ‘ 3 n * 1 . * 3 ' 5 " ~ m I t e r a t i o n N u m b e r F i g u r e 6 . 1 4 : B l o b c o m b i n i n g c l a s s i fi c a t i o n d i s t a n c e v e r s u s i t e r a t i o n n u m b e r f o r r a n d o m m u t a t i o n h i l l c l i m b i n g . 6 . 4 F e a t u r e E x t r a c t i o n R e c a l l f r o m C h a p t e r 3 t h a t t h e r e a r e n u m e r o u s c a n d i d a t e f e a t u r e s t h a t c a n b e u s e d t o r e p r e s e n t o b j e c t s h a p e s [ 2 3 ] [ 2 4 ] . T h e s h a p e c a n b e r e p r e s e n t e d e i t h e r a s a c o n t o u r o r a s a s o l i d i n t h i s s p a c e . T w o m e t h o d s t h a t h a v e b e e n w i d e l y u s e d i n a v a r i e t y o f s h a p e - b a s e d f e a t u r e e x t r a c t i o n a p p l i c a t i o n s a r e ( i ) m o m e n t s a n d ( i i ) F o u r i e r d e s c r i p t o r s [ 2 2 ] [ 2 3 ] [ 2 4 ] . S i n c e F o u r i e r d e s c r i p t o r s a r e c o m p u t e d o n t h e e n t i r e b o u n d a r y , t h e y c a n n o t s u p p o r t t h e p r e - c o m p u t a t i o n o f t h e f e a t u r e s f o r e a c h b l o b t h a t m o m e n t s c a n s u p p o r t , w h i c h i s c r i t i c a l t o a c h i e v i n g r e a l - t i m e p e r f o r m a n c e . 2 3 8 C o n s e q u e n t l y , t h e f e a t u r e s e t w e c h o s e i s t h e m o m e n t s o f t h e b i n a r y c o m b i n e d b l o b i m a g e s . 6 . 4 . 1 M o m e n t C o m p u t a t i o n T h e m o s t f u n d a m e n t a l g e o m e t r i c m o m e n t o f o r d e r ( m + n ) f o r a n K x N i m a g e , [ ( i , j ) , i s d e fi n e d b y t h e e q u a t i o n : M N M = Z Z I ( i , j ) - i m ~ j " , ( 6 . 6 ) m " i = l j = l a n d t h e c e n t r a l m o m e n t s a r e d e fi n e d b y : M N _ - n y = > : 2 1 ( i , j ) ' ( i - i ) ' " ° U - j ) . ( 6 . 7 ) m " i = 1 j = 1 w h e r e i = M / M a n d j = M / M . ( 6 . 8 ) 1 0 0 0 O l 0 0 R e c a l l t h a t o n e o f o u r o b j e c t i v e s i s t o p r e - c o m p u t e t h e m o m e n t s f o r e a c h b l o b , a n d t h e n m a t h e m a t i c a l l y a d d t h e m t o g e t h e r d u r i n g b l o b c o m b i n a t i o n t o e n h a n c e t h e r e a l - t i m e p e r f o r m a n c e . T h i s m e a n s t h e c e n t r a l m o m e n t s f o r e a c h b l o b c a n n o t b e p r e - c o m p u t e d , s i n c e t h e r e l a t i v e s p a t i a l i n f o r m a t i o n o f e a c h b l o b w i l l b e l o s t . T h e r e f o r e , i f t h e c e n t r a l m o m e n t s a r e t o b e u s e d , t h e n t h e g e o m e t r i c m o m e n t s f o r e a c h b l o b c a n b e p r e - c o m p u t e d . T h e s e m o m e n t s c a n t h e n b e c e n t r a l i z e d a f t e r t h e b l o b c o m b i n a t i o n t h r o u g h t h e e q u a t i o n : 2 3 9 Z O U M Q W O Y M ( 6 . 9 ) N o t e t h a t a s w i t h t h e b l o b c o m b i n i n g i t s e l f , t h i s i s m e r e l y a n a d d i t i v e w e i g h t e d c o m b i n a t i o n o f t h e m o m e n t s r a t h e r t h a n a c o m p l e t e r e - c o m p u t a t i o n . R e c a l l w e a l s o s h o w e d t h e b e n e fi t s o f u s i n g o r t h o g o n a l m o m e n t s f o r s h a p e a n a l y s i s . T h e s p e c i fi c s e t o f o r t h o g o n a l m o m e n t s w e c h o s e i s t h e L e g e n d r e m o m e n t r e p r e s e n t a t i o n o f t h e b i n a r y c o m b i n e d b l o b i m a g e s . L i k e g e o m e t r i c m o m e n t s , t h e L e g e n d r e m o m e n t s c a n b e p r o - c o m p u t e d o n e a c h b l o b a n d t h e n a d d e d t o g e t h e r . W e f o u n d t h e c e n t r a l L e g e n d r e m o m e n t s t o b e t h e v e r y e f f e c t i v e . T o c o m p u t e t h e s e , w e fi r s t p r e - c o m p u t e t h e g e o m e t r i c m o m e n t s . T h e n f o r e a c h b l o b c o m b i n a t i o n , w e c o m p u t e t h e c e n t r a l m o m e n t s , a n d t h e n c o n v e r t t h e m t o t h e L e g e n d r e m o m e n t s d e fi n e d e a r l i e r . S i n c e t h e s e c o n v e r s i o n s t o c e n t r a l a n d t h e n L e g e n d r e m o m e n t s o n l y d e p e n d o n t h e n u m b e r o f m o m e n t s , a n d d o n o t d e p e n d o n t h e n u m b e r o f p i x e l s i n t h e i m a g e , t h i s a l g o r i t h m i s s t i l l a m e n a b l e t o r e a l - t i m e e x e c u t i o n . 6 . 4 . 2 S p e e d - u p T e c h n i q u e s f o r M o m e n t C o m p u t a t i o n T h e fi r s t s p e e d u p m e c h a n i s m f o r f e a t u r e e x t r a c t i o n i s r e l a t e d t o t h e l i n e a r i t y o f t h e m o m e n t p r o c e s s i n g . I t w a s m o t i v a t e d b y t h e r e a l - t i m e i m p l e m e n t a t i o n o f m o m e n t c o m p u t a t i o n s p r o p o s e d b y S p i l i o t i s a n d M e r t z i o s , w h e r e t h e m o m e n t c o m p u t a t i o n i s d e c o m p o s e d i n t o a s u m m a t i o n o f t h e m o m e n t c a l c u l a t i o n s o v e r a s e t o f n o n - o v e r l a p p i n g r e c t a n g u l a r h o m o g e n o u s b l o c k s , a s s h o w n i n F i g u r e 6 . 1 5 ( a ) 2 4 0 b l O b c o m b i n a t i o n s w i t h a p r o c e s s i n g b u r d e n t h a t i s o n l y l i n e a r i n t h e n u m b e r o f b l o b s , [ 3 7 ] [ 3 8 ] . W e a b s t r a c t t h i s a p p r o a c h o n e s t e p f u r t h e r a n d , r a t h e r t h a n c o m p u t i n g t h e m o m e n t s o v e r r e c t a n g l e s , w e c o m p u t e t h e m o m e n t s o v e r o u r a r b i t r a r i l y s h a p e d , n o n - o v e r l a p p i n g b l o b s a s s h o w n i n F i g u r e 6 . 1 5 ( b ) . C o m p u t i n g t h e m o m e n t s o n t h e i n d i v i d u a l b l o b s a l l o w s u s t o p r e - c o m p u t e t h e m o m e n t s f o r e a c h b l o b , a n d t h e n s i m p l y a d d t h e m o m e n t s f o r e a c h b l o b t o g e t h e r , a s w e p e r f o r m t h e b l o b c o m b i n i n g . T h i s i s p o s s i b l e , s i n c e t h e i n p u t i m a g e i s m e r e l y a s u m m a t i o n o f a l l o f t h e b l o b s : K [ ( 1 3 1 ) = 2 1 % ; » . ( 6 . 1 0 ) k = 0 w h e r e I ( k ) ( i , j ) i s t h e p o r t i o n o f t h e i m a g e c o r r e s p o n d i n g t o b l o b k . F r o m t h i s w e c a n n o w r e w r i t e t h e m o m e n t e q u a t i o n : N M N M K M 1 1 : > 2 2 1 1 1 . j ) - i ’ - j " = > : > : 2 1 ( k ) ( i , 1 ) 1 ’ 1 " j = 0 i = 0 j = O i = O k = 0 ( 6 . 1 1 ) K N M K = z z 2 1 " ‘ ) ( i . j ) - i ’ - j " = 2 M 3 , ) . k = 0 j = 0 i = 0 k : W h e r e w e h a v e c h a n g e d t h e o r d e r o f t h e s u m m a t i o n s , a n d d e fi n e d M ’ ( n k n ) a s t h e m o m e n t o f o r d e r ( m + n ) c o r r e s p o n d i n g t o t h e k t h b l o b . T h u s , w e c a n p r e - c o m p u t e t h e m o m e n t s f o r e a c h b l o b , a n d t h e n w e n e e d t o o n l y a d d t h e f e a t u r e v e c t o r s t o c o m p u t e t h e m o m e n t s f o r a n y b l o b c o m b i n a t i o n . T h i s a l l o w s u s t o v e r y r a p i d l y t r y d i f f e r e n t 2 4 1 r a t h e r t h a n l i n e a r i n t h e n u m b e r o f p i x e l s . . F o r a n 8 0 x 1 0 0 i m a g e , i f w e a s s u m e t h e r e a r e 2 0 b l o b s , t h i s p r o d u c e s a s p e e d - u p o f 4 0 0 : 1 f o r e a c h m o m e n t c a l c u l a t e d . T h e s e c o n d s p e e d u p w a s a l s o m o t i v a t e d b y t h e w o r k o f S p i l i o t i s a n d M e r t z i o s [ 3 8 ] . W e a p p l y t h e i r r e s u l t s a n d c o m p u t e t h e m o m e n t s o n l y o v e r t h e b o u n d i n g r e c t a n g l e f o r e a c h b l o b . R e c a l l , w e r e c o r d e d t h e s t a r t a n d e n d p i x e l s f o r t h e r o w s a n d c o l u m n f o r e a c h b l o b , a n d n o w w e c a n u s e t h a t i n f o r m a t i o n t o c o m p u t e t h e g e o m e t r i c m o m e n t s f o r e a c h b l o b a c c o r d i n g t o : r c M y ; = i 2 2 1 ( k ) ( i . j ) i ’ " - j " , ( 6 . 1 2 ) . = r O = C J I ] l w h e r e r ] a n d r ; a r e t h e s t a r t a n d s t o p r o w s a n d c 1 a n d c ; a r e t h e s t a r t a n d s t o p c o l u m n s 1 0 0 f o r t h e b o u n d i n g r e c t a n g l e f o r b l o b k , a n d i s t h e i m a g e c o r r e s p o n d i n g t o b l o b k . F i g u r e 6 . 1 5 : C o m p a r i s o n o f f a s t m o m e n t c a l c u l a t i o n a l g o r i t h m s , ( a ) s h a p e d e c o m p o s i t i o n m e t h o d , a n d ( b ) o u r E M - b a s e d l a b e l e d b l o b s . R e d u c i n g t h e a r e a o f t h e i m a g e t o p r o c e s s c a n c o n s i d e r a b l y r e d u c e t h e p r o c e s s i n g l o a d r e q u i r e d b y t h e f o l l o w i n g r a t i o : 2 4 2 N - M ( r z - r . ) ' ( c z - C . ) ’ s p e e d u p = ( 6 . 1 3 ) w h e r e t h e i m a g e i s N r o w s b y M c o l u m n s . F o r a 1 0 x 1 0 r e g i o n e x t r a c t e d f r o m o u r 8 0 x 1 0 0 i m a g e s , t h i s p r o d u c e s a 8 0 : 1 s p e e d u p . T h u s , b y c o m b i n i n g b o t h s p e e d u p m e c h a n i s m s , w e a t t a i n n e a r l y a 3 - 1 0 4 r e d u c t i o n i n p r o c e s s i n g t i m e f o r e a c h m o m e n t c a l c u l a t e d . 6 . 5 C l a s s i fi c a t i o n o f B l o b C o m b i n a t i o n s T h e b l o b c o m b i n a t i o n s m u s t b e c l a s s i fi e d d u r i n g a l l i t e r a t i o n s o f t h i s w r a p p e r m e t h o d t o c r e a t e a m e t r i c f o r s e l e c t i n g t h e b e s t s e g m e n t a t i o n . T h i s i s a c c o m p l i s h e d t h r o u g h c l a s s i f y i n g t h e c u r r e n t b l o b c o m b i n a t i o n w i t h r e s p e c t t o e a c h c l a s s , a n d t h e n r e c o r d i n g t h e p r o b a b i l i t y o f c o r r e c t c l a s s i fi c a t i o n . T h i s m e t r i c i s t h e n u s e d i n t h e s u b s e q u e n t p r o c e s s i n g t o d e t e r m i n e t h e o v e r a l l b e s t s e g m e n t a t i o n a n d c l a s s i fi c a t i o n . T h e a l t e r n a t i v e k - n e a r e s t n e i g h b o r c l a s s i fi e r s c h e m e t h a t w a s d e fi n e d i n S e c t i o n 4 . 1 i s u s e d f o r t h i s a p p l i c a t i o n . T h e k - n e a r e s t n e i g h b o r c l a s s i fi e r w a s c h o s e n f o r t h e s a m e r e a s o n s d i s c u s s e d e a r l i e r a n d d u e t o i t s g o o d p e r f o r m a n c e o n t h e e d g e - b a s e d f e a t u r e s o f o u r a p p l i c a t i o n . T h e m o d i fi e d k - n e a r e s t n e i g h b o r w a s c h o s e n o v e r t h e t r a d i t i o n a l k - n e a r e s t n e i g h b o r , s i n c e t h e d i s t a n c e m e t r i c t h a t i t p r o d u c e s i s o f a fi n e r r e s o l u t i o n t h a n a m - o f — k v o t i n g s c h e m e , w i t h o u t m a k i n g k t o o l a r g e . T h i s d i s t a n c e m e t r i c i s , t h e r e f o r e , m o r e u s e f u l f o r o r d e r i n g t h e p o s s i b l e b l o b c o m b i n a t i o n s . 2 4 3 F o r e a c h a p r i o r i c l a s s , w e c o m p u t e t h e a v e r a g e d i s t a n c e o f t h e t e s t s a m p l e t o t h e k - n e a r e s t n e i g h b o r s f o r e a c h k n o w n p a t t e r n c l a s s . A s t h e c o m b i n a t i o n o f b l o b s i s m o d i fi e d , t h e c l a s s i fi c a t i o n d i s t a n c e s a r e r e c o m p u t e d a n d s t o r e d . F i g u r e 6 . 1 6 s h o w s a p l o t o f t h e c l a s s i fi c a t i o n d i s t a n c e s v e r s u s b l o b c o m b i n a t i o n f o r t h e t w o - c l a s s p r o b l e m o f a d u l t v e r s u s i n f a n t , u s i n g t h e F S S a l g o r i t h m w i t h L = 3 a n d R = 2 . m - 7 0 - ' c l a s s 1 O . = 1 . 3 . 2 5 0 r " s 9 ’ . . 1 : , . - \ 0 ° ' - “ A g + u “ r a . — 5 2 0 _ s t , c l a s s 2 1 0 - l “ i s b e s t c l a s s i f i c a t i o n ‘ X . _ 0 L l I l 1 l l 0 2 4 B B 1 0 1 2 1 4 I t e r a t i o n N u m b e r F i g u r e 6 . 1 6 : C l a s s i fi c a t i o n d i s t a n c e s f o r e a c h o f t h e a p r i o r i c l a s s a s s u m p t i o n s ; c l a s s 2 p r o v i d e s t h e b e s t c l a s s i fi c a t i o n v a l u e , a n d t h e b e s t s e g m e n t a t i o n c o r r e s p o n d s t o b l o b c o m b i n a t i o n # 1 4 . T h e c l a s s i fi c a t i o n d i s t a n c e c u r v e c o n t a i n i n g t h e m i n i m u m o v e r a l l d i s t a n c e f o r a l l c l a s s e s d e fi n e s t h e o u t p u t p a t t e r n c l a s s . T h e s e g m e n t a t i o n i s t h e n d e fi n e d b y t h e b l o b s e q u e n c e I D n u m b e r c o r r e s p o n d i n g t o t h a t m i n i m u m d i s t a n c e . T h e b o l d l i n e i n F i g u r e 6 . 1 6 s h o w s t h e b e s t c l a s s i fi c a t i o n o n t h e y — a x i s , a n d t h e l o c a t i o n o f t h e o c c u r r e n c e o f t h i s m i n i m u m a l o n g t h e x - a x i s d e fi n e s t h e i n d e x o f t h e r e s u l t a n t b e s t s e g m e n t a t i o n . T h e b l o b s e q u e n c e I D i s t h e i d e n t i fi c a t i o n o f t h e i t e r a t i o n i n t h e b l o b 2 4 4 c o m b i n i n g p r o c e s s a t w h i c h t h e b e s t c l a s s i fi c a t i o n w a s a t t a i n e d . B y m a i n t a i n i n g a l i s t o f t h e s p e c i fi c b l o b s t h a t w e r e i n c l u d e d d u r i n g a l l t h e i t e r a t i o n s i n t h e p r o c e s s i n g , t h e b e s t s e g m e n t a t i o n i s r e c o n s t r u c t e d . 6 . 6 R e s u l t s o f I n t e g r a t e d S e g m e n t a t i o n C l a s s i fi c a t i o n S y s t e m T o d e v e l o p a t r a i n i n g d a t a b a s e , w e h a n d - s e g m e n t e d n e a r l y 4 0 0 i m a g e s . S e p a r a t e d a t a b a s e s a r e u s e d f o r t r a i n i n g a n d t e s t i n g , a n d t h e b r e a k d o w n o f t r a i n i n g a n d t e s t i m a g e s c a n b e f o u n d i n T a b l e 6 . 4 . T h e f e a t u r e s e x t r a c t e d a r e t h e c e n t r a l L e g e n d r e m o m e n t s o f u p t o t h e 2 5 t h o r d e r . W e s e l e c t e d l o w e r o r d e r m o m e n t s h e r e t h a n f o r t h e e d g e - b a s e d c l a s s i fi c a t i o n , s i n c e t h e s i l h o u e t t e i m a g e c o n t a i n s l o w e r f r e q u e n c y i n f o r m a t i o n t h a n t h e e d g e - b a s e d i m a g e , a n d t h e r e f o r e c a n b e a d e q u a t e l y r e p r e s e n t e d w i t h l o w e r o r d e r m o m e n t s . T h i s w i l l h e l p u s m a i n t a i n a r e a s o n a b l e p r o c e s s i n g b u r d e n f o r c l a s s i f y i n g t h e b l o b c o m b i n a t i o n s . T h e c l a s s i fi c a t i o n i s p e r f o r m e d w i t h a l - n e a r e s t n e i g h b o r c l a s s i fi e r . T h e c l a s s i fi c a t i o n r e s u l t s f o r e a c h b l o b c o m b i n a t i o n a l g o r i t h m a r e p r o v i d e d a s a c o n f u s i o n m a t r i x a n d a c o r r e s p o n d i n g p r o b a b i l i t y o f c o r r e c t c l a s s i fi c a t i o n m a t r i x . T h e c l a s s i fi e r u s e s t h e r a w m o m e n t f e a t u r e s w i t h n o s u b s e q u e n t f e a t u r e s e t r e d u c t i o n , s i n c e w e a r e u s i n g t h e f e a t u r e s t o p e r f o r m s o m e l e v e l o f i m a g e r e c o n s t r u c t i o n a s w e t e s t t h e b l o b c o m b i n a t i o n s , r a t h e r t h a n s i m p l y c l a s s i fi c a t i o n . E x a m p l e s o f t h e c o r r e c t , a s w e l l a s i n c o r r e c t , s e g m e n t a t i o n s , g e n e r a t e d f o r t h e t w o c l a s s e s , a r e p r o v i d e d f o r e a c h a l g o r i t h m . 2 4 5 T a b l e 6 . 4 : B r e a k d o w n o f t r a i n i n g a n d t e s t d a t a s e t s f o r t e s t i n g t h e w r a p p e r - b a s e d s e g m e n t e r o n t h e t w o - c l a s s s u p p r e s s i o n p r o b l e m . P a t t e r n C l a s s N u m b e r o f I m a g e s N u m b e r o f I m a g e s i n T r a i n i n g S e t i n T e s t S e t I n f a n t 1 8 2 1 7 9 7 A d u l t 2 0 6 2 0 8 6 . 6 . 1 R e s u l t s f o r G r a d i e n t D e s c e n t B l o b C o m b i n i n g T h e c l a s s i fi c a t i o n r e s u l t s u s i n g t h e g r a d i e n t d e s c e n t m e t h o d o f b l o b c o m b i n i n g c a n b e f o u n d i n t h e f o r m o f a c o n f u s i o n m a t r i x i n T a b l e 6 . 7 a n d t h e r e s u l t a n t p r o b a b i l i t y o f c o r r e c t c l a s s i fi c a t i o n c a n b e f o u n d i n T a b l e 6 . 8 . N o t e t h e o v e r a l l a c c u r a c y o f t h e s y s t e m i s r o u g h l y 6 5 % . S i n c e t h i s a l g o r i t h m p e r f o r m e d s o p o o r l y , w e w i l l n o t s h o w e x a m p l e s e g m e n t a t i o n o u t p u t s . W e m u s t f i n d a n a l g o r i t h m t h a t p e r f o r m s b e t t e r t h a n 9 0 % i n o r d e r f o r i t t o w a r r a n t a n y f u r t h e r c o n s i d e r a t i o n . T a b l e 6 . 5 : C o n f u s i o n m a t r i x f o r t h e g r a d i e n t d e s c e n t b l o b c o m b i n i n g o n t h e t w o - c l a s s s u p p r e s s i o n p r o b l e m . C l a s s i fi e d a s I n f a n t C l a s s i fi e d a s A d u l t T r u e I n f a n t 1 0 2 2 4 2 1 T r u e A d u l t 7 9 1 2 9 2 4 6 T a b l e 6 . 6 : P e r c e n t a g e c o r r e c t c l a s s i fi c a t i o n f o r t h e g r a d i e n t d e s c e n t b l o b c o m b i n i n g o n t h e t w o - c l a s s s u p p r e s s i o n p r o b l e m . C l a s s i f i e d a s I n f a n t C l a s s i fi e d a s A d u l t T r u e I n f a n t 7 0 . 8 % 2 9 . 2 % T r u e A d u l t 3 8 . 0 % 6 2 . 0 % C l e a r l y , t h e c l a s s i fi c a t i o n r e s u l t s a r e n o t e n c o u r a g i n g f o r t h i s m e t h o d . I t s i n a b i l i t y t o r e m o v e b l o b s a f t e r t h e y a r e i n c l u d e d c l e a r l y h a s a n e g a t i v e i m p a c t o n t h e p e r f o r m a n c e . 6 . 6 . 2 R e s u l t s f o r P I u s - L - M i n u s - R F o r w a r d S e q u e n t i a l S e a r c h B l o b C o m b i n i n g T h e c l a s s i fi c a t i o n r e s u l t s u s i n g t h e f o r w a r d s e q u e n t i a l s e a r c h m e t h o d o f b l o b c o m b i n i n g c a n b e f o u n d i n t h e f o r m o f a c o n f u s i o n m a t r i x i n T a b l e 6 . 7 a n d t h e r e s u l t a n t p r o b a b i l i t y o f c o r r e c t c l a s s i fi c a t i o n c a n b e f o u n d i n T a b l e 6 . 8 . N o t e t h e o v e r a l l a c c u r a c y o f t h e s y s t e m i s r o u g h l y 9 1 % . S o m e e x a m p l e s o f t h e c o r r e c t s e g m e n t a t i o n s p e r f o r m e d b y t h e F S S a l g o r i t h m f o r t h e i n f a n t a n d a d u l t c l a s s e s a r e p r o v i d e d i n F i g u r e 6 . 1 7 t h r o u g h F i g u r e 6 . 2 2 . L i k e w i s e , s o m e o f t h e i n c o r r e c t s e g r n e n t a t i o n s a r e p r o v i d e d i n F i g u r e 6 . 2 3 a n d F i g u r e 6 . 2 4 . T h e s e i n c o r r e c t e x a m p l e s d e m o n s t r a t e t h e c o m m o n f a i l u r e m o d e s o f t h e s y s t e m . F i g u r e 6 . 2 3 s h o w s t h e c a s e w h e r e e r r o r s r e s u l t b e c a u s e t h e i n i t i a l s e g m e n t a t i o n r e m o v e d t o o m u c h o f t h e o c c u p a n t ( i n t h i s c a s e a l a r g e p o r t i o n o f t h e i n f a n t s e a t ) . F i g u r e 6 . 2 4 s h o w s a n o t h e r c a s e w h e r e t h e o c c u p a n t w a s m o v i n g f o r w a r d a n d w a s n o t i n t h e s t a n d a r d 5 e a t i n g p o s i t i o n . T h e r e s u l t s f o r t h i s c a s e c a n b e i m p r o v e d i n t w o w a y s : ( i ) t h r o u g h 2 4 7 a d d i t i o n a l t r a i n i n g w i t h o c c u p a n t s i n a b r o a d e r r a n g e o f p o s i t i o n s , a n d ( i i ) u s i n g t h e c o n t e x t u a l p r o c e s s i n g d e fi n e d e a r l i e r f o r p r o c e s s i n g t h e h i s t o r i c a l s t r e a m o f o c c u p a n t c l a s s i fi c a t i o n s . T a b l e 6 . 7 : C o n f u s i o n m a t r i x f o r t h e p l u s - L - m i n u s - R f o r w a r d s e q u e n t i a l s e a r c h b l o b c o m b i n i n g o n t h e t w o - c l a s s s u p p r e s s i o n p r o b l e m . C l a s s i fi e d a s I n f a n t C l a s s i fi e d a s A d u l t T r u e I n f a n t 1 6 3 1 1 6 6 T r u e A d u l t 1 9 l 8 9 T a b l e 6 . 8 : P e r c e n t a g e c o r r e c t c l a s s i fi c a t i o n f o r t h e p l u s - L — m i n u s - R f o r w a r d s e q u e n t i a l s e a r c h b l o b c o m b i n i n g o n t h e t w o - c l a s s s u p p r e s s i o n p r o b l e m . C l a s s i fi e d a s I n f a n t C l a s s i fi e d a s A d u l t T r u e I n f a n t 9 0 . 8 % 9 . 2 % T r u e A d u l t 9 . 1 % 9 0 . 9 % ( C ) F i g u r e 6 . 1 7 : E x a m p l e o f c o r r e c t i n f a n t s e g m e n t a t i o n , ( a ) r a w i m a g e , ( b ) p r e l i m i n a r y s e g m e n t a t i o n , a n d ( c ) fi n a l f o r w a r d s e q u e n t i a l s e a r c h s e g m e n t a t i o n o u t p u t . 2 4 8 F i g u r e 6 . 1 8 : E x a m p l e o f c o r r e c t i n f a n t s e g m e n t a t i o n , ( a ) r a w i m a g e , ( b ) p r e l i m i n a r y s e g m e n t a t i o n , a n d ( c ) fi n a l f o r w a r d s e q u e n t i a l s e a r c h s e g m e n t a t i o n o u t p u t . F i g u r e 6 . 1 9 : E x a m p l e o f c o r r e c t i n f a n t s e g m e n t a t i o n , ( a ) r a w i m a g e , ( b ) p r e l i m i n a r y s e g m e n t a t i o n , a n d ( c ) fi n a l f o r w a r d s e q u e n t i a l s e a r c h s e g m e n t a t i o n o u t p u t . ( C ) F i g u r e 6 . 2 0 : E x a m p l e o f c o r r e c t a d u l t s e g m e n t a t i o n , ( a ) r a w i m a g e , ( b ) p r e l i m i n a r y s e g m e n t a t i o n , a n d ( c ) fi n a l f o r w a r d s e q u e n t i a l s e a r c h s e g m e n t a t i o n o u t p u t . 2 4 9 F i g u r e 6 . 2 1 : E x a m p l e o f c o r r e c t a d u l t s e g m e n t a t i o n , ( a ) r a w i m a g e , ( b ) p r e l i m i n a r y s e g m e n t a t i o n , a n d ( c ) fi n a l f o r w a r d s e q u e n t i a l s e a r c h s e g m e n t a t i o n o u t p u t . ( C ) F i g u r e 6 . 2 2 : E x a m p l e o f c o r r e c t a d u l t s e g m e n t a t i o n , ( a ) r a w i m a g e , ( b ) p r e l i m i n a r y s e g m e n t a t i o n , a n d ( c ) fi n a l f o r w a r d s e q u e n t i a l s e a r c h s e g m e n t a t i o n o u t p u t . F i g u r e 6 . 2 3 : E x a m p l e o f i n c o r r e c t s e g m e n t a t i o n , ( a ) r a w i m a g e , ( b ) p r e l i m i n a r y s e g m e n t a t i o n , a n d ( c ) fi n a l f o r w a r d s e q u e n t i a l s e a r c h s e g m e n t a t i o n o u t p u t . 2 5 0 ( b ) ( c ) F i g u r e 6 . 2 4 : E x a m p l e o f i n c o r r e c t s e g m e n t a t i o n , ( a ) r a w i m a g e , ( b ) p r e l i m i n a r y s e g m e n t a t i o n , a n d ( c ) fi n a l f o r w a r d s e q u e n t i a l s e a r c h s e g m e n t a t i o n o u t p u t . 6 . 6 . 3 R e s u l t s f o r R a n d o m M u t a t i o n B l o b C o m b i n i n g T h e c l a s s i fi c a t i o n r e s u l t s u s i n g t h e r a n d o m m u t a t i o n m e t h o d o f b l o b c o m b i n i n g c a n b e f o u n d i n t h e f o r m o f a c o n f u s i o n m a t r i x i n T a b l e 6 . 9 a n d t h e r e s u l t a n t p r o b a b i l i t y o f c o r r e c t c l a s s i fi c a t i o n c a n b e f o u n d i n T a b l e 6 . 1 0 . N o t e t h e o v e r a l l a c c u r a c y o f t h e s y s t e m i s r o u g h l y 7 5 % . S o m e e x a m p l e s o f t h e c o r r e c t s e g m e n t a t i o n s p e r f o r m e d b y t h e r a n d o m m u t a t i o n a l g o r i t h m f o r t h e i n f a n t a n d a d u l t c l a s s e s a r e p r o v i d e d i n F i g u r e 6 . 2 5 t h r o u g h F i g u r e 6 . 2 8 . L i k e w i s e , s o m e o f t h e i n c o r r e c t s e g r n e n t a t i o n s a r e p r o v i d e d i n F i g u r e 6 . 2 9 a n d F i g u r e 6 . 3 0 . T a b l e 6 . 9 : C o n fi i s i o n m a t r i x f o r r a n d o m m u t a t i o n b l o b c o m b i n i n g o n t h e t w o - c l a s s s u p p r e s s i o n p r o b l e m . C l a s s i fi e d a s I n f a n t C l a s s i fi e d a s A d u l t T r u e I n f a n t 1 3 0 7 4 9 0 T r u e A d u l t 4 9 1 5 9 2 5 1 T a b l e 6 . 1 0 : P e r c e n t a g e c o r r e c t c l a s s i fi c a t i o n f o r r a n d o m m u t a t i o n b l o b c o m b i n i n g o n t h e t w o - c l a s s s u p p r e s s i o n p r o b l e m . C l a s s i fi e d a s I n f a n t C l a s s i fi e d a s A d u l t T r u e I n f a n t 7 2 . 7 % 2 7 . 3 % T r u e A d u l t 2 3 . 6 % 7 6 . 4 % C l e a r l y , t h e r e s u l t s f o r t h e r a n d o m m u t a t i o n a l g o r i t h m a r e n o t a s e n c o u r a g i n g a s t h e r e s u l t s f o r t h e F S S a l g o r i t h m f o r b l o b c o m b i n i n g . W h e n w e r e f e r t o t h e m i s - c l a s s i fi e d i m a g e s , w e s e e t h a t t h e r e a r e m a n y h i g h l y r a n d o m a n d d i s c o n n e c t e d r e s u l t s t h a t w e r e n o t p r e s e n t i n t h e F S S r e s u l t s . W h i l e t h e r a n d o m m u t a t i o n w o r k e d n e a r l y a s w e l l a s t h e F S S f o r f e a t u r e s e l e c t i o n , w e s e e a s i g n i fi c a n t r e d u c t i o n i n p e r f o r m a n c e h e r e . W e b e l i e v e i t i s b e c a u s e i n b l o b s e l e c t i o n , t h e i n c l u s i o n o r e x c l u s i o n o f a n y i n d i v i d u a l b l o b c a n h a v e a d r a m a t i c e f f e c t o n t h e r e s u l t a n t c l a s s i fi c a t i o n . T h i s m a k e s b l o b c o m b i n i n g m o r e s e n s i t i v e t o r a n d o m c h a n g e s . I n f e a t u r e s e l e c t i o n , o n t h e o t h e r h a n d , i n c l u s i o n o f a n y s i n g l e f e a t u r e d o e s n o t h a v e a d r a m a t i c e f f e c t o n t h e c l a s s i fi c a t i o n a c c u r a c y . R e c a l l , F i g u r e 4 . 3 s h o w e d t h e r a n k e d M a n n - W h i t n e y Z - s t a t i s t i c s . I n t h i s fi g u r e , t h e r e w a s a v e r y g r a d u a l a n d m o n o t o n i c d e c r e a s e i n f e a t u r e d i s c r i m i n a b i l i t y v e r s u s f e a t u r e r a n k , w h i c h r e i n f o r c e s t h i s b e l i e f t h a t t h e i m p a c t 0 f a n y s i n g l e f e a t u r e i s n o t d r a m a t i c . T h e i n t e r a c t i o n b e t w e e n t h e b l o b s i s m o r e c r i t i c a l f o r b l o b c o m b i n i n g t h a n f o r t h e f e a t u r e s e l e c t i o n . I n b l o b c o m b i n i n g t h e r e i s a s t r o n g c o r r e l a t i o n i n t h e b l o b s d u e t o t h e i r r e l a t i v e s p a t i a l l o c a t i o n t h a t m a y n o t b e f o u n d w i t h t h e r a n d o m s e a r c h m e t h o d , w h i l e t h e m o r e m e t h o d i c a l F S S a l g o r i t h m i s a b l e t o d i s c o v e r t h e p r o p e r c o m b i n a t i o n . 2 5 2 F i g u r e 6 . 2 5 : E x a m p l e o f c o r r e c t i n f a n t s e g m e n t a t i o n , ( a ) r a w i m a g e , ( b ) p r e l i m i n a r y s e g m e n t a t i o n , a n d ( c ) fi n a l r a n d o m m u t a t i o n b l o b c o m b i n i n g s e g m e n t a t i o n o u t p u t . F i g u r e 6 . 2 6 : E x a m p l e o f c o r r e c t i n f a n t s e g m e n t a t i o n , ( a ) r a w i m a g e , ( b ) p r e l i m i n a r y s e g m e n t a t i o n , a n d ( c ) fi n a l r a n d o m m u t a t i o n b l o b c o m b i n i n g s e g m e n t a t i o n o u t p u t . ( b ) ( c ) F i g u r e 6 . 2 7 : E x a m p l e o f c o r r e c t a d u l t s e g m e n t a t i o n , ( a ) r a w i m a g e , ( b ) p r e l i m i n a r y s e g m e n t a t i o n , a n d ( c ) fi n a l r a n d o m m u t a t i o n b l o b c o m b i n i n g s e g m e n t a t i o n o u t p u t . 2 5 3 F i g u r e 6 . 2 8 : E x a m p l e o f c o r r e c t a d u l t s e g m e n t a t i o n , ( a ) r a w i m a g e , ( b ) p r e l i m i n a r y s e g m e n t a t i o n , a n d ( c ) fi n a l r a n d o m m u t a t i o n b l o b c o m b i n i n g s e g m e n t a t i o n o u t p u t . ( C ) F i g u r e 6 . 2 9 : E x a m p l e o f i n — c o r r e c t i n f a n t s e g m e n t a t i o n , ( a ) r a w i m a g e , ( b ) p r e l i m i n a r y s e g m e n t a t i o n , a n d ( c ) fi n a l r a n d o m m u t a t i o n b l o b c o m b i n i n g s e g m e n t a t i o n o u t p u t . ( C ) F i g u r e 6 . 3 0 : E x a m p l e o f i n - c o r r e c t a d u l t s e g m e n t a t i o n , ( a ) r a w i m a g e , ( b ) p r e l i m i n a r y s e g m e n t a t i o n , a n d ( c ) fi n a l r a n d o m m u t a t i o n b l o b c o m b i n i n g s e g m e n t a t i o n o u t p u t . 2 5 4 p r 1 W I s e , 1 h r V B c o : d e l c l a P I C 6 . 7 S u m m a r y W e h a v e d e v e l o p e d a u n i q u e m e c h a n i s m f o r o v e r c o m i n g t h e s e m a n t i c g a p p r e s e n t i n p e r f o r m i n g u n s u p e r v i s e d i m a g e s e g m e n t a t i o n . W e h a v e a d a p t e d t h e w r a p p e r f o r m a l i s m f r o m f e a t u r e s e l e c t i o n t o i m a g e s e g m e n t a t i o n . O u r n e w a p p r o a c h u n i q u e l y i n t e g r a t e s t h e c l a s s i fi c a t i o n a n d t h e s e g m e n t a t i o n p r o c e s s e s . C o n s e q u e n t l y , t h e p a r t i c u l a r o b j e c t c l a s s b e i n g c o n s i d e r e d n o w g u i d e s t h e s e g m e n t a t i o n . A d d i t i o n a l l y , t h e r e s u l t a n t c l a s s i fi c a t i o n a c c u r a c y w i t h i n t h a t c l a s s p r o v i d e s u s w i t h a m e t r i c f o r d e t e r m i n i n g t h e b e s t s e g m e n t a t i o n f o r t h a t c l a s s . O u r a p p r o a c h p r o v i d e s t w o b e n e fi t s t o i m a g e s e g m e n t a t i o n : ( i ) i t p r o v i d e s t h e c o n t e x t n e e d e d t o s u p p o r t s e g m e n t a t i o n i n c o m p l e x b a c k g r o u n d e n v i r o n m e n t s , a n d ( i i ) i t p r o v i d e s a m e a s u r e f o r t h e q u a l i t y o f t h e s e g m e n t a t i o n b a s e d o n t h e r e s u l t a n t c l a s s i fi c a t i o n a c c u r a c y . T h e r e s u l t s f o r o u r a i r b a g s u p p r e s s i o n a p p l i c a t i o n s h o w t h a t t h e a p p r o a c h i s v e r y r o b u s t t o b a c k g r o u n d i l l u m i n a t i o n a n d c l u t t e r , a n d a l s o t o t h e n a t u r a l v a r i a t i o n s i n t h e s h a p e a n d g r a y s c a l e d i s t r i b u t i o n o f t h e o c c u p a n t . T h e a l g o r i t h m p r o v i d e d g r e a t e r t h a n 9 0 % c o r r e c t c l a s s i fi c a t i o n o n t h e t w o - c l a s s s u p p r e s s i o n p r o b l e m u s i n g a t e s t d a t a b a s e o f n e a r l y 2 , 0 0 0 i m a g e s . A d d i t i o n a l l y , t h e r e s u l t a n t s e g m e n t a t i o n s a r e o f c o m p a r a b l e q u a l i t y t o h a n d s e g m e n t a t i o n s , i n m a n y i n s t a n c e s . O u r r e s u l t s d e m o n s t r a t e t h e p o w e r o f c o m b i n i n g t h e t a s k o f i m a g e s e g m e n t a t i o n w i t h o b j e c t c l a s s i fi c a t i o n . A s p a r t o f o u r f u t u r e w o r k , w e w i l l t e s t t h i s a l g o r i t h m o n t h e f o u r — c l a s s p r o b l e m a s w e l l . W e s h o w e d t h a t u s i n g t h e p l u s - L - m i n u s - R f o r w a r d s e q u e n t i a l s e a r c h m e t h o d a d a p t e d t o b l o b c o m b i n i n g p r o v i d e d t h e b e s t r e s u l t s . T h e r a n d o m m u t a t i o n w a s 2 5 5 s e c o n d a n d t h e g r a d i e n t d e s c e n t p e r f o r m e d t h e w o r s t . T h e r e i s a p o t e n t i a l f o r f u t u r e w o r k i n t h i s a r e a f o r i m p r o v i n g t h e r e s u l t s o f r a n d o m m e t h o d s o f b l o b c o m b i n a t i o n t h r o u g h t h e u s e o f g e n e t i c a l g o r i t h m s . O v e r a l l , o u r w r a p p e r - b a s e d s e g m e n t a t i o n a l g o r i t h m p r o v i d e s t h e u s e r a c o n s i d e r a b l e fl e x i b i l i t y i n i m p l e m e n t i n g a s o l u t i o n t h a t b e s t m a t c h e s h i s a p p l i c a t i o n , b y p r o v i d i n g : 1 ) t h e a b i l i t y t o u s e a n y r e a s o n a b l e i m a g e l a b e l i n g a l g o r i t h m , 2 ) a l a r g e n u m b e r o f e x i s t i n g f e a t u r e s e l e c t i o n a l g o r i t h m s t h a t c a n b e a d a p t e d t o t h e b l o b c o m b i n i n g a p p l i c a t i o n , a n d 3 ) t h e a b i l i t y t o u s e t h e c l a s s i fi c a t i o n a l g o r i t h m t h a t i s b e s t s u i t e d f o r t h e u s e r ’ s p a r t i c u l a r a p p l i c a t i o n . 2 5 6 C l p r o f r o : d i f o b j a v ; a i r a c c a r e C O ' 1 3 L C h a p t e r 7 . S e g m e n t a t i o n M e t h o d s f o r I m a g e S e q u e n c e s T h e h u m a n m o t i o n t r a c k i n g a n d p r e d i c t i o n p r o b l e m c o n s i s t s o f t h r e e k e y p r o c e s s i n g s t e p s s h o w n i n F i g u r e 7 . 1 . T h e s e g m e n t a t i o n s t a g e e x t r a c t s t h e h u m a n f r o m t h e b a c k g r o u n d s c e n e . S e g m e n t a t i o n f o r i m a g e s e q u e n c e s h a s t w o k e y d i f f e r e n c e s f r o m s i n g l e f r a m e s e g m e n t a t i o n f o r c l a s s i fi c a t i o n : ( i ) t h e m o t i o n o f t h e o b j e c t o f i n t e r e s t c a n b e u s e d a s a n a d d i t i o n a l c u e f o r s e g m e n t a t i o n t h a t i s n o t a v a i l a b l e i n i n d i v i d u a l f r a m e s , a n d ( i i ) f o r m a n y a p p l i c a t i o n s , s u c h a s t h e c u r r e n t a i r b a g s u p p r e s s i o n a p p l i c a t i o n , t h e s e g m e n t a t i o n o f i m a g e s e q u e n c e s m u s t b e a c c o m p l i s h e d a t a c o n s i d e r a b l y f a s t e r r a t e t h a n f o r s i n g l e f r a m e s e g m e n t a t i o n . T h e r e a r e n u m e r o u s a p p r o a c h e s t o m o t i o n - b a s e d s e g m e n t a t i o n , a n d t w o o f t h e m o r e c o m m o n p a r a d i g m s a r e : ( 1 ) t e m p l a t e m a t c h i n g a n d ( i i ) o p t i c a l fl o w [ 1 2 7 ] [ 1 2 8 ] [ 1 2 9 ] [ 1 4 1 ] . F i g u r e 7 . 1 : O c c u p a n t t r a c k e r p r o c e s s i n g . T e m p l a t e - b a s e d s e g m e n t a t i o n d o e s n o t r e l y o n t h e a c t u a l m o t i o n i n t h e i m a g e , b u t r a t h e r a t t e m p t s t o fi n d a k n o w n t e m p l a t e o f t h e o b j e c t b e i n g t r a c k e d i n s u c c e s s i v e 2 5 7 i m a g e f r a m e s . A f t e r t h e d e t e c t i o n o f a t e m p l a t e i n a p a r t i c u l a r f r a m e , i t i s c o m m o n t o u p d a t e t h e s h a p e o f t h e t e m p l a t e t o p r o v i d e s o m e r o b u s t n e s s t o t r a n s f o r m a t i o n s o f t h e o b j e c t s h a p e d u e t o 3 - D m o t i o n s . T h e r e a r e t w o p r i m a r y b e n e fi t s t o t e m p l a t e m a t c h i n g : ( i ) w h e n t h e o b j e c t s t o p s m o v i n g i t i s s t i l l d e t e c t e d i n t h e i m a g e , a n d ( i i ) t e m p l a t e m a t c h i n g p r o v i d e s v e r y a c c u r a t e e s t i m a t e s o f t h e b o u n d a r y o f t h e o b j e c t b e i n g t r a c k e d . T h e r e a r e a l s o t h r e e d r a w b a c k s t o t e m p l a t e m a t c h i n g : ( i ) t h e y a r e p r o n e t o e r r o r w h e n t h e o b j e c t i s h i g h l y t e x t u r e d o r t h e b a c k g r o u n d i s h i g h l y c l u t t e r e d , ( i i ) t h e t e m p l a t e m u s t b e i n i t i a l i z e d w i t h a k n o w n o r p r e s u m e d i n i t i a l t e m p l a t e , a n d ( i i i ) t e m p l a t e m a t c h i n g h a s d i f fi c u l t y w i t h l a r g e a m o u n t s o f m o t i o n b e t w e e n f r a m e s , o r l a r g e a m o u n t s o f m o t i o n p e r p e n d i c u l a r t o t h e i m a g e p l a n e [ 1 4 1 ] . O p t i c a l fl o w m e t h o d s s p e c i fi c a l l y r e l y o n t h e m o t i o n o f t h e o b j e c t r e l a t i v e t o t h e b a c k g r o u n d i n o r d e r t o s e g m e n t t h e o b j e c t . C o n s e q u e n t l y , o p t i c a l fl o w t e c h n i q u e s a r e a b l e t o e s t i m a t e t h e m o t i o n o f r e g i o n s o f t h e i m a g e q u i t e a c c u r a t e l y , b u t d o n o t , n e c e s s a r i l y , p r o v i d e a n a c c u r a t e b o u n d a r y o f t h e o b j e c t [ 1 4 1 ] . T h e k e y b e n e fi t s o f t h e o p t i c a l fl o w t e c h n i q u e s a r e : ( i ) t h e y d o n o t r e q u i r e a n y i n i t i a l i z a t i o n , ( i i ) t h e y a r e n o t s e n s i t i v e t o b a c k g r o u n d c l u t t e r o r o b j e c t t e x t u r e , a n d ( i i i ) t h e y c a n d i s t i n g u i s h m u l t i p l e m o t i o n s s i m u l t a n e o u s l y . T h e d r a w b a c k s o f o p t i c a l fl o w p r o c e s s i n g a r e : ( i ) t h e y t r a d i t i o n a l l y r e l y o n t h e p r i n c i p l e o f i m a g e c o n s t a n c y ; n a m e l y , a n y c h a n g e s i n t h e i n t e n s i t y l e v e l o f a g i v e n p i x e l a r e d u e t o m o t i o n a n d n o t i l l u m i n a t i o n c h a n g e s , ( i i ) i f t h e o b j e c t s t o p s m o v i n g , o r i f t h e o b j e c t i s m o v i n g a t t h e s a m e r e l a t i v e s p e e d a s t h e b a c k g r o u n d , t h e n i t b e c o m e s i n d i s t i n g u i s h a b l e f r o m t h e b a c k g r o u n d [ 1 3 3 ] [ 1 3 4 ] [ l 3 5 ] . W h i l e t h e i m a g e c o n s t a n c y c o n s t r a i n t h a s b e e n s o m e w h a t r e l a x e d i n r e c e n t i m p l e m e n t a t i o n s , i l l u m i n a t i o n c h a n g e s c a n s t i l l b e a c h a l l e n g e [ 1 3 3 ] [ 1 3 4 ] [ l 3 5 ] . F o r 2 5 8 t h e a i r b a g s u p p r e s s i o n a p p l i c a t i o n , l a c k o f r e l a t i v e m o t i o n i s t y p i c a l l y n o t a p r o b l e m , p a r t i c u l a r l y d u r i n g a p r e - c r a s h b r a k i n g e v e n t . I n t h e s e e v e n t s , t h e o c c u p a n t i s m o v i n g i n t h e o p p o s i t e d i r e c t i o n f r o m t h e o b j e c t s o u t s i d e t h e v e h i c l e ( t h e c a r i s m o v i n g f o r w a r d s o t h e b a c k g r o u n d i s m o v i n g r e a r w a r d ) , w h i l e t h e o c c u p a n t i s b e i n g a c c e l e r a t e d f o r w a r d . S i n c e t h e r e i s n o c l e a r a d v a n t a g e o f o n e m e t h o d o v e r t h e o t h e r , w e w i l l i n v e s t i g a t e b o t h t e m p l a t e m a t c h i n g a n d o p t i c a l fl o w . 7 . 1 T e m p l a t e - b a s e d M o t i o n S e g m e n t a t i o n T h e g e n e r a l p r o c e s s i n g fl o w f o r a t e m p l a t e - b a s e d m o t i o n s e g m e n t a t i o n a l g o r i t h m i s p r o v i d e d i n F i g u r e 7 . 2 . W e w i l l a d d r e s s t h e t h r e e k e y p r o c e s s i n g s t a g e s f o r t e m p l a t e - b a s e d m o t i o n s e g m e n t a t i o n , n a m e l y : 1 ) t e m p l a t e i n i t i a l i z a t i o n , 2 ) t e m p l a t e m a t c h i n g , a n d 3 ) t e m p l a t e u p d a t i n g . T h e m e t h o d s f o r t e m p l a t e m a t c h i n g w e r e d e fi n e d i n C h a p t e r 3 . A t a x o n o m y o f t h e s e m e t h o d s c a n b e d e fi n e d t o i n c l u d e : 1 ) 2 - D t e m p l a t e , 2 ) l i n e t e m p l a t e , a n d 3 ) p o i n t - s e t t e m p l a t e . 2 5 9 I n p u t I m a g e P r e - p r o c e s s A T e m p l a t e U p d a t e I m a g e M a t c h i n g T e m p l a t e I n i t i a l i z e T e m p l a t e F i g u r e 7 . 2 : T e m p l a t e - b a s e d m o t i o n s e g m e n t a t i o n p r o c e s s i n g . 2 - D t e m p l a t e s a t t e m p t t o p e r f o r m a 2 - D c o r r e l a t i o n b e t w e e n a p a t t e r n a n d t h e i m a g e t o t r y t o fi n d t h e c u r r e n t l o c a t i o n o f t h e o b j e c t o f i n t e r e s t . R e f e r t o C h a p t e r 3 f o r t h e m a t h e m a t i c a l d e t a i l s o f c o r r e l a t i o n p r o c e s s i n g . F o r m o s t r e a l - t i m e a p p l i c a t i o n s , t h e u s e o f 2 - D t e m p l a t e s f o r m o t i o n t r a c k i n g i s n o t f e a s i b l e , d u e t o t h e i n t e n s e p r o c e s s i n g l o a d a s s o c i a t e d w i t h 2 — D c o r r e l a t i o n . A d d i t i o n a l l y , t e m p l a t e u p d a t i n g c a n b e c o m p u t a t i o n a l l y i n t e n s i v e , s i n c e a t r a n s f o r m a t i o n m u s t b e a p p l i e d i n a p i x e l - w i s e m a n n e r o n t h e e n t i r e s t o r e d t e m p l a t e . H e n c e w e w i l l n o t c o n s i d e r i t f o r o u r a p p l i c a t i o n . L i n e - b a s e d t e m p l a t e m a t c h i n g r e p r e s e n t s t h e o b j e c t a s a c o l l e c t i o n o f l i n e s e g m e n t s , a n d a t t e m p t s t o t r a c k t h e s e s e g m e n t s o v e r t i m e . S i n c e t h e p r o c e s s i n g a t t e m p t s t o o n l y fi n d l i n e s , i t i s n a t u r a l i n t h i s m e t h o d t o p e r f o r m e d g e d e t e c t i o n a s a p r e p r o c e s s i n g s t a g e . T h e r e s u l t a n t e d g e i m a g e s a r e t h e n a n a l y z e d t o d e t e c t a n d t r a c k t h e l i n e s e g m e n t s . A s m e n t i o n e d i n C h a p t e r 3 , t h e m o s t p o p u l a r m e t h o d f o r t h i s 2 6 0 p r o c e s s i n g i s t h e H o u g h t r a n s f o r m . F o r t h e a i r b a g s u p p r e s s i o n a p p l i c a t i o n , w h e r e w e a r e t r a c k i n g h u m a n s , a l i n e s e g m e n t - b a s e d r e p r e s e n t a t i o n i s n e i t h e r o p t i m a l , n o r n a t u r a l , s i n c e t h e h u m a n c o n t o u r c a n n o t b e e a s i l y m o d e l e d w i t h a c l o s e d - f o r e x p r e s s i o n . C o n s e q u e n t l y , w e w i l l n o t c o n s i d e r l i n e t e m p l a t e s , e i t h e r . P o i n t - b a s e d m a t c h i n g r e d u c e s t h e i m a g e t o a s u b s e t o f p o i n t s , a n d t h e n t r a c k s t h i s s e t o f p o i n t s a n d t h e i r l o c a t i o n s r e l a t i v e t o e a c h o t h e r o v e r t i m e . T o r e d u c e t h e i m a g e t o p o i n t s , i t i s c o m m o n t o p e r f o r m e d g e d e t e c t i o n o r c o m e r d e t e c t i o n a s p r e - p r o c e s s i n g s t e p s . C o m e r s a r e m o r e r e l i a b l y t r a c k e d i n t w o d i m e n s i o n s w i t h o u t a n y a m b i g u i t y , b u t f o r t h e a i r b a g s u p p r e s s i o n p r o b l e m t h e h u m a n o c c u p a n t d o e s n o t n e c e s s a r i l y c o n t a i n c o r n e r s [ 1 5 6 ] . D u e t o t h e s i m p l i c i t y o f t h e r e p r e s e n t a t i o n , a n d t h e a b i l i t y t o e a s i l y r e d u c e t h e n u m b e r o f p o i n t s i n t h e t e m p l a t e , p o i n t - b a s e d t e m p l a t e m a t c h i n g w i l l b e u s e d f o r t h e o c c u p a n t m o t i o n e s t i m a t i o n p r o c e s s i n g . T h e fi r s t s t a g e o f p r o c e s s i n g i s t h e i m a g e p r e - p r o c e s s i n g . F o r o u r a p p l i c a t i o n , t h e p r e - p r o c e s s i n g w i l l c o n s i s t o f t h e f o l l o w i n g s t e p s : 1 ) c o m p u t e t h e e d g e i m a g e a n d t h e d i f f e r e n c e i m a g e w i t h t h e l a s t f r a m e , 2 ) c o m b i n e t h e m t o e l i m i n a t e e d g e s t h a t a r e n o t m o v i n g , 3 ) c o m p u t e b o u n d i n g e l l i p s e o f e d g e - d i f f e r e n c e i m a g e r e s u l t s , a n d 4 ) g e n e r a t e s p o k e s e v e r y 1 9 d e g r e e s , a n d r e c o r d p o i n t s o f i n t e r s e c t i o n b e t w e e n t h e t e m p l a t e a n d t h e i n p u t i m a g e . T h e o u t p u t s o f s t e p s ( 3 ) a n d ( 4 ) c a n b e s e e n i n F i g u r e 7 . 3 . 2 6 1 S E 1 6 W C C p r l l ) F i g u r e 7 . 3 : M e c h a n i s m f o r d e fi n i n g p o i n t s t o b e t r a c k e d f o r t e m p l a t e - b a s e d m o t i o n s e g m e n t a t i o n , ( a ) s p o k e a r r a n g e m e n t , a n d ( b ) r e s u l t a n t p o i n t s . 7 . 1 . 1 T e m p l a t e I n i t i a l i z a t i o n T h e fi r s t s t e p i n t e m p l a t e - b a s e d m o t i o n s e g m e n t a t i o n i s t e m p l a t e i n i t i a l i z a t i o n . T h i s i s p a r t i c u l a r l y d i f fi c u l t f o r t h e a i r b a g s u p p r e s s i o n a p p l i c a t i o n , b e c a u s e w e c a n n o t u s e a p r e - s t o r e d c o m m o n o b j e c t t e m p l a t e , s i n c e m a n y d i f f e r e n t o c c u p a n t s m a y e n t e r t h e v e h i c l e , r a n g i n g f r o m c h i l d r e n t o v e r y l a r g e a d u l t s . O n e p o s s i b l e s o l u t i o n i s t o u s e t h e s e g m e n t a t i o n f r o m t h e c l a s s i fi c a t i o n p r o c e s s i n g a s t h e i n i t i a l t e m p l a t e . U n f o r t u n a t e l y , s i n c e t h e o c c u p a n t a n d t h e s e a t a r e s e g m e n t e d a s a s i n g l e e n t i t y , t h e t e m p l a t e w o u l d i n c l u d e m o r e t h a n j u s t t h e o c c u p a n t . S u b s e q u e n t t e m p l a t e m a t c h i n g w o u l d b e c o r r u p t e d b y t h e i n c l u s i o n o f t h e s e a t a n d w o u l d l e a d t o e x t r e m e l y p o o r c o n t o u r m a t c h e s t h a t w o u l d n o t p r o p e r l y r e p r e s e n t t h e o c c u p a n t . T h i s w o u l d a l s o h a v e a n e g a t i v e i m p a c t o n t h e r e s u l t a n t t r a c k e s t i m a t i o n s a n d A S Z i n t r u s i o n p r e d i c t i o n s . T h i s i n i t i a l i z a t i o n p r o b l e m c a n b e o v e r c o m e , h o w e v e r , t h r o u g h t h e u s e o f t h e w r a p p e r - b a s e d s e g m e n t a t i o n m e t h o d w e h a v e d e fi n e d i n C h a p t e r 6 . I n o u r w r a p p e r - 2 6 2 b a s e d s e g m e n t a t i o n , t h e o c c u p a n t i s s u c c e s s fi i l l y r e m o v e d f r o m t h e s e a t , a n d t h i s s e g m e n t a t i o n c a n t h e n s e r v e a s t h e s o u r c e o f t h e i n i t i a l t e m p l a t e . N o t e t h a t w i t h o u t t h e d e v e l o p m e n t o f t h e w r a p p e r - b a s e d s e g m e n t a t i o n a l g o r i t h m , t h e u s e o f t e m p l a t e s f o r m o t i o n e s t i m a t i o n w o u l d h a v e o n l y b e e n f e a s i b l e f o r a d u l t s , w h i c h i m p l i e s t h e 4 - c l a s s p r o b l e m . R e c a l l f r o m C h a p t e r 5 , h o w e v e r , t h a t t h e r e s u l t s f o r t h e 4 - c l a s s c l a s s i fi c a t i o n d i d n o t a p p e a r t o b e g e n e r a l i z a b l e , a n d t h a t t h e 2 - c l a s s s y s t e m o f i n f a n t s v e r s u s a d u l t s w a s m u c h m o r e r o b u s t . T h i s 2 - c l a s s a p p r o a c h , h o w e v e r , r e q u i r e s t r a c k i n g c h i l d r e n . F i g u r e 7 . 4 : D e m o n s t r a t i o n o f d i f fi c u l t y o f i n i t i a l i z i n g t e m p l a t e s f r o m c l a s s i fi e r - b a s e d s e g m e n t a t i o n , ( a ) o r i g i n a l i m a g e , ( b ) s e g m e n t e d i m a g e w i t h r e s u l t a n t i n i t i a l t e m p l a t e c o n t o u r , a n d ( c ) t r u e c o n t o u r r e q u i r e d f o r t r a c k i n g o c c u p a n t . 7 . 1 . 2 T e m p l a t e M a t c h i n g T h e r e a r e t w o c o m m o n m e c h a n i s m s f o r p o i n t - s e t m a t c h i n g : ( 1 ) d e f o r m a b l e t e m p l a t e s a n d ( i i ) H a u s d o r f f d i s t a n c e . I n e a c h o f t h e s e a p p r o a c h e s a s e t 0 f p o i n t s f r o m t h e t e m p l a t e a r e m a t c h e d t o a s e t o f p o i n t s f r o m t h e i m a g e . T h e p o s i t i o n o f t h e b e s t m a t c h i s t h e n c o n s i d e r e d t h e n e w o b j e c t l o c a t i o n . T h e c r i t i c a l d i f f e r e n c e 2 6 3 b e t w e e n t h e t w o m e t h o d s i s t h a t d e f o r m a b l e t e m p l a t e s p e r f o r m p o i n t - b y - p o i n t m a t c h i n g , w h i l e t h e H a u s d o r f f d i s t a n c e p e r f o r m s s e t - l e v e l m a t c h i n g , w h i c h d o e s n o t r e q u i r e p o i n t - b y — p o i n t c o r r e s p o n d e n c e . T h e l i m i t a t i o n o f p o i n t - b y — p o i n t m a t c h i n g i s t h a t i f t h e r e a r e g a p s i n t h e i m a g e c o n t o u r , t h e n t h e a l g o r i t h m w i l l f a i l t o fi n d p r o p e r p o i n t m a t c h e s a n d m a y n o t c o n v e r g e p r o p e r l y . G a p s i n t h e c o n t o u r a r e m o s t o fi e n c a u s e d b y o b j e c t o c c l u s i o n s a n d i l l u m i n a t i o n v a r i a t i o n s , b o t h o f w h i c h a r e v e r y c o m m o n i n o u r a p p l i c a t i o n . O c c l u s i o n s o c c u r a s t h e o c c u p a n t t u r n s h e r h e a d o r m o v e s h e r h a n d s t o w a r d s h e r h e a d , a n d i l l u m i n a t i o n v a r i a t i o n s a r e c o n s t a n t l y p r e s e n t i n t h i s e n v i r o n m e n t . F i g u r e 7 . 5 s h o w s a t y p i c a l s e q u e n c e ( r o u g h l y e v e r y 6 0 f r a m e s ) o f a n a d u l t o c c u p a n t m o v i n g w i t h i n t h e v e h i c l e . N o t e t h e o b v i o u s d i f fi c u l t y i n fi n d i n g p o i n t - b y - p o i n t a s s o c i a t i o n s t h r o u g h o u t t h i s i m a g e s e q u e n c e . C o n s e q u e n t l y , w e w i l l u s e p o i n t - s e t m a t c h i n g ( i . e . t h e H a u s d o r f f d i s t a n c e ) , f o r o u r a p p l i c a t i o n , . 1 ( l F i g u r e 7 . 5 : D e m o n s t r a t i o n o f d i f fi c u l t i e s i n fi n d i n g p o i n t - t o - p o i n t m a t c h i n g i n o c c u p a n t t e m p l a t e . R e c a l l , t h e H a u s d o r f f d i s t a n c e m e t r i c d o e s n o t r e q u i r e t h e s a m e n u m b e r o f p o i n t s i n t h e t e m p l a t e a s i n t h e i n p u t i m a g e . T h e H a u s d o r f f d i s t a n c e i s d e fi n e d f o r a fi x e d s e t o f p o i n t s i n s e t A r e l a t i v e t o a fi x e d s e t o f p o i n t s i n s e t B . T h e H a u s d o r f f d i s t a n c e c a n a l s o b e u s e d t o fi n d t h e b e s t m a t c h i n g s e t o f p o i n t s i n s e t A r e l a t i v e t o a t r a n s f o r m e d s e t o f p o i n t s i n s e t B b y d e fi n i n g [ 4 3 ] : 2 6 4 H ( A , B ) = m i n H ( A , g o B ) , ( 7 . 1 ) G g e G w h e r e G i s a g r o u p o f t r a n s f o r m a t i o n s . T h e g r o u p G i s t h e s e t o f a l l t r a n s l a t i o n s i f H ~ I I i n e q u a t i o n ( 7 . 1 ) i s a n y n o r m , a n d t h e g r o u p G i s t h e s e t o f a l l r i g i d m o t i o n s i f [ I ' H i s t h e E u c l i d e a n n o r m [ 4 3 ] . F o r a p p l i c a t i o n s w h e r e t h e m o t i o n r e m a i n s i n t h e i m a g e p l a n e , t r a n s l a t i o n a n d r o t a t i o n e s t i m a t e s a r e s u f fi c i e n t t o m a t c h t h e t e m p l a t e . F o r a p p l i c a t i o n s w i t h w e a k p e r s p e c t i v e , a f fi n e t r a n s f o r m a t i o n s c a n a d e q u a t e l y m o d e l t h e c h a n g e s i n t h e t e m p l a t e [ 1 4 1 ] . A 2 - D a f fi n e t r a n s f o r m a t i o n i s d e fi n e d b y [ 1 4 0 ] : x - s y o s l d _ , 2 x T < x . y ) — M N d . . ( 7 . 2 ) 2 , 1 2 , 2 y w h e r e d a n d d d e fi n e t h e 2 - d i m e n s i o n a l t r a n s l a t i o n s , a n d t h e s u b - m a t r i x x y s s 1 ’ 1 1 ’ 2 d e fi n e s a r o t a t i o n i f i t i s o r t h o - n o r m a l , o t h e r w i s e i t d e fi n e s a c o m b i n a t i o n 3 2 , 1 S 2 , 2 o f r o t a t i o n , s c a l e , a n d s k e w i n t h e i m a g e . I n t h e a i r b a g s u p p r e s s i o n a p p l i c a t i o n t h e d e f o r m a t i o n s i n t h e o b j e c t t e m p l a t e a r e d u e t o t h e m o t i o n s o f o c c u p a n t w i t h i n t h e v e h i c l e r e l a t i v e t o t h e c a m e r a , a s s h o w n i n F i g u r e 7 . 6 , a n d e v e n m o r e d r a m a t i c a l l y a s s h o w n i n F i g u r e 7 . 5 . T h e s e o c c u p a n t m o t i o n s c a n s o m e t i m e s r e s u l t i n d r a m a t i c c h a n g e s i n t h e s h a p e o f t h e o c c u p a n t d u e t o t h e c l o s e p r o x i m i t y o f t h e o c c u p a n t t o t h e c a m e r a , w h i c h c a u s e s g r e a t e r t h a n p a r a - p e r s p e c t i v e e f f e c t s . F o r s i m p l i c i t y , h o w e v e r , a n d a s s u m i n g a f a s t e n o u g h c a m e r a 2 6 5 u p d a t e r a t e , t h e a s s u m p t i o n o f p a r a - p e r s p e c t i v e i s m a n a g e a b l e . N o t e , h o w e v e r , t h a t t h i s s t i l l c a l l s f o r u s t o fi n d t h e b e s t t e m p l a t e m a t c h b y a t t e m p t i n g t o m a t c h a t e m p l a t e t h a t i s t r a n s f o r m e d b y t h e m a t r i x i n E q u a t i o n ( 7 . 2 ) f o r e a c h c a m e r a fi ' a m e . T y p i c a l l y t h e t e m p l a t e m a t c h i n g i s p e r f o r m e d b y : ( i ) d e fi n i n g t h e p o s s i b l e v a r i a t i o n l i m i t a t i o n s i n e a c h o f t h e p a r a m e t e r s , a n d ( i i ) i t e r a t i n g t h r o u g h a l l c o m b i n a t i o n s o f t h e s e v a r i a t i o n s , w h i c h c a n b e c o m p u t a t i o n a l l y p r o h i b i t i v e f o r a r e a l - t i m e s y s t e m . A l s o , a s t h e n u m b e r o f p a r a m e t e r s , a n d t h e a m o u n t o f a l l o w e d d e f o r m a t i o n i n t h e i m a g e s i n c r e a s e s , t h e p r o b a b i l i t y o f f a l s e m a t c h e s i n c r e a s e s . ( C ) F i g u r e 7 . 6 : T y p i c a l a d u l t m o t i o n i n a v e h i c l e , ( a ) s e a t e d n o r m a l l y , ( b ) s i t t i n g u p a n d t u r n i n g s l i g h t l y , a n d ( c ) l e a n i n g f a r f o r w a r d . I n l i g h t o f o u r r e a l - t i m e r e q u i r e m e n t s , a n d t h e i n c r e a s e d c h a n c e s o f e r r o n e o u s m a t c h i n g , w e w i l l l i m i t t h e m o t i o n v a r i a t i o n s t o b e t h e s e t o f r i g i d t r a n s l a t i o n s a n d r o t a t i o n s . T h i s l i m i t a t i o n g r e a t l y r e d u c e s 0 u r s e a r c h s p a c e t o o n l y t w o d e g r e e s 0 f f r e e d o m , r a t h e r t h a n s i x . A t e a c h t i m e i n s t a n c e , w e a l l o w t h e t e m p l a t e t o b e t r a n s l a t e d b y M p i x e l s h o r i z o n t a l l y a n d r o t a t e d b y s o m e a n g l e , 1 9 . S i n c e t h e o c c u p a n t c a n o n l y m o v e a fi n i t e d i s t a n c e b e t w e e n f r a m e s , w e s e t t h e m a x i m u m r a n g e f o r e a c h o f t h e s e v a l u e s t o b e 5 - 1 0 p i x e l s i n t r a n s l a t i o n a n d 2 - 5 d e g r e e s i n r o t a t i o n . O n c e t h e b e s t m a t c h o f t h e t e m p l a t e i s d e fi n e d , t h e n e w t e m p l a t e i s u p d a t e d , a n d t h e n t h e p o i n t 2 6 6 s e t t h a t c o m p r i s e s t h e c u r r e n t t e m p l a t e i s s e n t t o t h e e l l i p s e fi t t i n g s t a g e o f t h e p r o c e s s i n g . 7 . 1 . 3 T e m p l a t e U p d a t i n g O n c e t h e m a t c h i n g i s p e r f o r m e d , t h e t e m p l a t e m u s t b e u p d a t e d t o a c c o u n t f o r a n y d e f o r m a t i o n s i n t h e o b j e c t o v e r t i m e . F o r m o s t a p p l i c a t i o n s , i t i s n o t s u f fi c i e n t t o s i m p l y r e p l a c e t h e m o s t r e c e n t t e m p l a t e w i t h t h e t r a n s f o r m e d v e r s i o n o f t h e l a s t t e m p l a t e , s i n c e w e k n o w o u r m o d e l o f d e f o r m a t i o n i s o n l y a n a p p r o x i m a t i o n . I f w e d i d n o t u p d a t e t h e t e m p l a t e w i t h n e w p i x e l i n f o r m a t i o n , t h e c o n t o u r o f t h e o c c u p a n t w o u l d e v e n t u a l l y d e f o r m t o a s h a p e t h a t c a n n o l o n g e r b e m a t c h e d . T h e r e f o r e , i t i s p r e f e r a b l e t o i m p l e m e n t t e m p l a t e u p d a t i n g a s a p r o c e s s t h a t i n t e g r a t e s t h e n e w r a w o c c u p a n t c o n t o u r i n f o r m a t i o n w i t h t r a n s f o r m e d v e r s i o n o f t h e l a s t t e m p l a t e u s e d . T h e i s s u e i n i n t e g r a t i n g r a w c o n t o u r i n f o r m a t i o n i s t h a t t h e d e t e c t e d c o n t o u r s a r e o f t e n v e r y n o i s y a n d m a y a l s o b e c o n t a m i n a t e d w i t h e x t r a n e o u s m o t i o n s a s s h o w n i n F i g u r e 7 . 7 . F o r o u r i n i t i a l i m p l e m e n t a t i o n o f t e m p l a t e m a t c h i n g w e w i l l u s e t h e s i m p l e r e p l a c e m e n t s t r a t e g y f o r t h e t e m p l a t e u p d a t i n g . I f t h e i n i t i a l r e s u l t s f o r t h e t e m p l a t e m a t c h i n g a p p r o a c h a r e n o t f a v o r a b l e , w e w i l l t h e n i n v e s t i g a t e a l t e r n a t i v e t e m p l a t e u p d a t i n g s t r a t e g i e s . 2 6 7 F i g u r e 7 . 7 : D e m o n s t r a t i o n o f d i f fi c u l t y i n m a i n t a i n i n g a t e m p l a t e w i t h o u t c o n t r o l l i n g a l l o w a b l e d e f o r m a t i o n s , ( a ) p e r s o n s e a t e d n o r m a l l y , a n d ( b ) s a m e p e r s o n b e g i m r i n g t o p u t o n a s w e a t e r . 7 . 2 O p t i c a l F l o w - b a s e d M o t i o n S e g m e n t a t i o n T h e g e n e r a l p r o c e s s i n g fl o w f o r a n o p t i c a l fl o w - b a s e d m o t i o n s e g m e n t a t i o n a l g o r i t h m i s p r o v i d e d i n F i g u r e 7 . 8 . T h e t h r e e m e t h o d s w e w i l l i n v e s t i g a t e f o r . c o m p u t i n g t h e o p t i c a l fl o w s a r e : ( i ) p h a s e - b a s e d , ( i i ) g r a d i e n t - b a s e d , a n d ( i i i ) c o r r e l a t i o n - b a s e d . O u r r e s u l t s w i l l c o n fi r m w h a t o t h e r r e s e a r c h e r s h a v e f o u n d t h a t n o n e o f t h e s e m e t h o d s a r e u n i v e r s a l l y b e t t e r [ 1 2 7 ] [ 1 2 8 ] [ 1 2 9 ] . C o n s e q u e n t l y , w e w i l l a l s o i n v e s t i g a t e f u s i o n m e t h o d s f o r c o m b i n i n g t h e r e s u l t s o f e a c h o f t h e s e a l g o r i t h m s . T h e m e t h o d f o r c l u s t e r i n g t h e o p t i c a l fl o w w i l l t h e n b e d i s c u s s e d , a s w e l l . L a s t l y , w e w i l l d e s c r i b e a n a l t e r n a t i v e m e t h o d f o r m o t i o n e s t i m a t i o n b a s e d o n m u t u a l i n f o r m a t i o n , a n d w e w i l l s h o w h o w i t c a n b e a p p l i e d t o t h e a i r b a g s u p p r e s s i o n p r o b l e m . 2 6 8 I n p u t I m a g e C t C l u s t e r E x t r a c t o m p u e - O p t i c a l O c c u p a n t O p t i c a l F I O W F I O W C l u s t e r F i g u r e 7 . 8 : P r o c e s s i n g f o r o p t i c a l fl o w - b a s e d m o t i o n s e g m e n t a t i o n . 7 . 2 . 1 C o m p u t e O p t i c a l F l o w T h e fi r s t s t a g e o f t h e p r o c e s s i n g i s t o c o m p u t e t h e o p t i c a l fl o w fi e l d s . T h e fl o w fi e l d s a r e t h e U ( h o r i z o n t a l ) a n d V ( v e r t i c a l ) c o m p o n e n t v e l o c i t y f i e l d s . T h e v e l o c i t y v e c t o r i n t e r m s o f t h e U a n d V c o m p o n e n t i s c o m p u t e d f o r e v e r y p i x e l i n t h e i n p u t i m a g e , b a s e d o n s o m e n u m b e r o f p r e v i o u s i n p u t i m a g e f r a m e s . A P h a s e - b a s e d M e t h o d s W h i l e m a n y o p t i c a l fl o w e s t i m a t i o n t e c h n i q u e s h a v e b e e n p r o p o s e d , t h e p h a s e - b a s e d m e t h o d h a s b e e n s h o w n t o t y p i c a l l y p r o d u c e m o r e a c c u r a t e r e s u l t s [ 1 2 7 ] [ 1 2 9 ] [ 1 3 0 ] . F l e e t a n d J e p s o n d e fi n e d t h e c o m p o n e n t v e l o c i t y i n t e r m s o f t h e g r a d i e n t o f t h e p h a s e o u t p u t o f i n d i v i d u a l v e l o c i t y - t u n e d l i n e a r fi l t e r s ( G a b o r fi l t e r s ) 2 6 9 [ 1 3 0 ] . T h e y u s e d a 3 - d i m e n s i o n a l G a b o r fi l t e r ( t w o s p a t i a l d i m e n s i o n s a n d o n e t e m p o r a l d i m e n s i o n ) , a s d e fi n e d b y : G a b o r ( x , t ; k 0 , c o 0 , C ) = e x p ( i ( x , t ) - ( k 0 , a ) O ) b ( x , t ; C ) , ( 7 . 3 ) w h e r e G ( x , t ; C ) i s a 3 - d i m e n s i o n a l G a u s s i a n k e r n e l w i t h c o v a r i a n c e C . T h e s e fi l t e r s a r e u s e d t o d e t e c t m o t i o n i n t h e i n p u t i m a g e s e q u e n c e b a s e d o n t h e s c a l e , s p e e d a n d o r i e n t a t i o n o f t h e m o t i o n . T h e fi l t e r e d r e s u l t , R ( x , t ) , i s c o m p l e x v a l u e d a n d d e fi n e d a s [ 1 3 0 ] : R ( x , t ) = p ( x , t ) e i ¢ ( x ’ t ) , ( 7 . 4 ) w h e r e p ( x , t ) a n d ¢ ( x , t ) r e p r e s e n t t h e a m p l i t u d e a n d p h a s e c o m p o n e n t o f R ( x , t ) . T h e l o c a l p h a s e g r a d i e n t i s t h e n m e a s u r e d f r o m t h e o u t p u t o f t h e i n d i v i d u a l fi l t e r s t o e s t i m a t e t h e c o m p o n e n t v e l o c i t y v , , [ 1 3 2 ] : v = — ¢ ( x . t ) — V - ‘ “ i ’ ) — 2 . ( 7 . 5 ) " ’ " w e a l w h e r e V ¢ ( x , t ) = I m [ R ( x . t ) V § ( x , t ) ] ( 7 . 6 ) I R ( x , t ) i s t h e s p a t i a l d e r i v a t i v e , a n d w h e r e ¢ t ( x , t ) i s t h e t e m p o r a l d e r i v a t i v e o f t h e p h a s e . A l s o , R ’ ( x , t ) d e n o t e s t h e c o m p l e x c o n j u g a t e o f R ( x , t ) , V R ( x , t ) r e p r e s e n t s t h e g r a d i e n t o f R ( x , t ) , a n d I m [ ~ ] e x t r a c t s t h e i m a g i n a r y p a r t o f t h e c o m p l e x r e s u l t . 2 7 0 T h e u s e o f p h a s e i n f o r m a t i o n c a n g e n e r a t e m o r e r o b u s t e s t i m a t e s o f c o m p o n e n t v e l o c i t y t h a n a m p l i t u d e i n f o r m a t i o n , a s s h o w n i n F i g u r e 7 . 9 [ 1 3 0 ] . N o t i c e t h e n e a r - p e r f e c t r e p r o d u c t i o n o f t h e p h a s e c o n t o u r s i n t h i s i m a g e r e l a t i v e t o t h e o r i g i n a l i m a g e i n F i g u r e 7 . 9 ( f ) a n d , t h e n c o m p a r e t h e m t o t h e p o o r l y r e p r o d u c e d a m p l i t u d e c o n t o u r s i n F i g u r e 7 . 9 ( e ) . I n s t e a d o f s p a t i o - t e m p o r a l l y fi l t e r i n g t h e i m a g e s w i t h 3 - d i m e n s i o n a l G a b o r f i l t e r s , G a u t a m a a n d H u l l e u s e a b a n k o f 2 - d i m e n s i o n a l G a b o r fi l t e r s t o o n l y s p a t i a l l y fi l t e r t h e i m a g e s [ 1 3 2 ] . I t i s a p r o d u c t o f a G a u s s i a n k e r n e l a n d a c o m p l e x p l a n e w a v e . I t s s p a t i a l f o r m i s e x p r e s s e d a s [ 1 3 2 ] . G a b o r ( x ; k 0 , C ) = e x p l i x - k O b ( x ; C ) . ( 7 . 7 ) T h e G a b o r fi l t e r s a r e u s e d t o e s t i m a t e t h e p h a s e r e s p o n s e s o f e a c h i m a g e i n t h e i m a g e s e q u e n c e i n d i v i d u a l l y . E x p a n d i n g a s i g n a l u s i n g t h i s b a s i s s e t o f d i r e c t i o n a l l y a n d s p a t i a l l y t u n e d fi l t e r s p r o v i d e s a l o c a l i z e d f r e q u e n c y d e s c r i p t i o n o f e a c h i m a g e i n t h e s e q u e n c e . F i g u r e 7 . 1 0 s h o w s G a b o r fi l t e r s w i t h f o u r d i f f e r e n t o r i e n t a t i o n s a n d t h r e e d i f f e r e n t s p a t i a l s c a l e s [ 1 3 2 ] . T h e o u t p u t o f t h e G a b o r fi l t e r i n g i s a p h a s e r e s p o n s e a t e a c h p o i n t i n t h e i m a g e f o r e a c h G a b o r f i l t e r a t e a c h t i m e i n t h e i m a g e 5 e q u e n c e . F r o m t h i s 5 e t 0 f p h a s e h i s t o r i e s f o r e a c h p o i n t i n t h e i m a g e , a l e a s t s q u a r e s l i n e fi t t h r o u g h t h i s s e q u e n c e o f p h a s e s o v e r t i m e i s u s e d t o e s t i m a t e t h e p h a s e g r a d i e n t f o r e a c h G a b o r fi l t e r , d e fi n e d a s : ‘ 1 5 ; _ ( x ) [ 1 3 2 ] . R e c a l l t h a t t h e g r a d i e n t o f t h e p h a s e h i s t o r y i s t h e f r e q u e n c y o f a s i g n a l , a n d , t h e r e f o r e , i t d e fi n e s t h e v e l o c i t y a t t h a t p o i n t . T h i s t e m p o r a l g r a d i e n t i s n o w c o m p u t e d t o e s t i m a t e t h e v e l o c i t y c o m p o n e n t , v ( x ) , i n c , 1 2 7 1 t h e d i r e c t i o n o r t h o g o n a l t o t h e c o r r e s p o n d i n g G a b o r fi l t e r o r i e n t a t i o n , a c c o r d i n g t o [ 1 3 2 ] : ( 7 . 8 ) F i g u r e 7 . 9 : D e m o n s t r a t i o n o f i m p r o v e d v e l o c i t y d e t e c t i o n , ( a ) t i m e v a r y i n g 1 - D ' i m a g e ' w i t h a d d i t i v e G a u s s i a n n o i s e ( t i m e o n t h e v e r t i c a l a x i s ) , ( b ) t u n e d G a b o r fi l t e r , ( c ) a m p l i t u d e r e s p o n s e o f fi l t e r , ( ( 1 ) p h a s e r e s p o n s e o f fi l t e r , ( 6 ) i s o - a m p l i t u d e l i n e s , a n d ( f ) i s o - p h a s e l i n e s [ 1 3 0 ] . 2 7 2 T h e fi l I I v e l o c i t y i s e s t i m a t e d f r o m t h e s e c o m p o n e n t v e l o c i t i e s a t e a c h s p a t i a l l o c a t i o n i n t h e i m a g e . T h e y a l s o e s t i m a t e t h e p h a s e n o n - l i n e a r i t y , w h i c h c a n b e u s e d a s a c o n fi d e n c e m e a s u r e f o r r e j e c t i n g u n r e l i a b l e c o m p o n e n t v e l o c i t y e s t i m a t e s [ 1 3 2 ] . E a c h c o m p o n e n t v e l o c i t y , v i , c o n s t r a i n s t h e f u l l v e l o c i t y v e c t o r , v , t o l i e o n a c o n s t r a i n t l i n e , L i , i n t h e m u l t i - d i m e n s i o n a l v e l o c i t y s p a c e , w i t h o r i e n t a t i o n o r t h o g o n a l t o v , - [ 1 3 8 ] . T h i s l i n e i s d e fi n e d a s : V ' V . _ ( 7 . 9 ) 1 L . c c 1 . l ( a ) ( b ) F i g u r e 7 . 1 0 : G a b o r fi l t e r s w i t h 3 s c a l e s a n d 4 o r i e n t a t i o n s , ( a ) r e a l p a r t , a n d ( b ) i m a g i n a r y p a r t [ 1 3 2 ] . T h e c o m p l e t e v e l o c i t y v e c t o r i s g e n e r a t e d b y t h e i n t e r s e c t i o n o f t h e c o r r e s p o n d i n g c o n s t r a i n t l i n e s . G a u t a m a a n d H u l l e f o r m u l a t e d t h e c o n s t r a i n t l i n e c l u s t e r i n g i n t o a g o a l - p r o g r a m m i n g p r o b l e m , w h i c h i s s o l v e d b y t h e r e c u r r e n t n e u r a l n e t w o r k [ 1 3 2 ] . F i g u r e 7 . 1 1 s h o w s t h e c o m p o n e n t v e l o c i t y i m a g e s g e n e r a t e d f r o m e a c h o f t h e d i r e c t i o n a l G a b o r fi l t e r s . T h e r e s u l t a n t c l u s t e r i n g o f t h e c o m p o n e n t 2 7 3 v e l o c i t i e s i s r e d u c e d i n t o t r a d i t i o n a l U a n d V ( h o r i z o n t a l a n d v e r t i c a l ) v e l o c i t y c o m p o n e n t s a s s h o w n i n F i g u r e 7 . 1 2 . T h e m a j o r d r a w b a c k o f t h e p h a s e - b a s e d m e t h o d i s t h e n u m b e r o f i m a g e f r a m e s t h a t a r e n e e d e d t o a d e q u a t e l y e s t i m a t e t h e p h a s e g r a d i e n t , ¢ . ( x ) , s i n c e i t i s [ , 1 c o m p u t e d b y p e r f o r m i n g a l e a s t s q u a r e s fi t f o r e a c h i m a g e p o i n t o v e r t i m e . W e f o u n d t h a t a n i m a g e p h a s e h i s t o r y o f b e t w e e n 1 0 a n d 2 0 f r a m e s i s r e q u i r e d f o r r e l i a b l e e s t i m a t i o n , a n d t h i s n u m b e r o f f r a m e s i s s i m i l a r t o w h a t h a s b e e n u s e d b y G a u t a m a a n d H u l l e [ 1 3 2 ] . T h i s d e e p h i s t o r y b u f f e r c r e a t e s t w o s i g n i fi c a n t p r o b l e m s f o r o u r a i r b a g s u p p r e s s i o n a p p l i c a t i o n : ( i ) t h e s i g n i fi c a n t t i m e d e l a y r e s u l t i n g f r o m s u c h a d e e p i m a g e b u f f e r , a n d ( i i ) t h e a m o u n t o f s y s t e m m e m o r y r e q u i r e d t o s t o r e a l l o f t h e s e p h a s e i m a g e s . 5 0 1 % 1 5 0 F i g u r e 7 . 1 1 : R e s u l t a n t c o m p o n e n t v e l o c i t i e s f o r v a r i o u s d i r e c t i o n s o f G a b o r fi l t e r s . 2 7 4 u c o m p o n e n t i t c o m p o n e m 2 0 4 0 6 0 8 0 1 m 1 2 0 1 4 0 1 6 0 2 0 4 0 8 0 8 0 1 0 0 1 2 0 1 4 0 1 6 0 ( a ) ( b ) F i g u r e 7 . 1 2 : C o m b i n e d m o t i o n f r o m G a b o r fi l t e r s , ( a ) U d i r e c t i o n , a n d ( b ) V d i r e c t i o n . B G r a d i e n t M e t h o d s W h i l e t h e p h a s e - b a s e d m e t h o d s c a n p r o v i d e s u p e r i o r a c c u r a c y i n e s t i m a t i n g t h e a c t u a l m o t i o n v a l u e s , t h e y t e n d t o b e s e n s i t i v e t o l i g h t i n g v a r i a t i o n s [ 1 3 4 ] [ 1 3 5 ] . T h e c o n c e p t o f i m a g e c o n s t a n c y i s c r i t i c a l t o t h e i r o p e r a t i o n , w h i c h s t a t e s t h a t a n y c h a n g e s i n t h e i n t e n s i t y o f a p a r t i c u l a r p i x e l i s d u e s o l e l y t o t h e fl o w o f i n t e n s i t y i n t o t h a t p i x e l f r o m s u r r o u n d i n g p i x e l s . T h e o r i g i n a l g r a d i e n t - b a s e d m e t h o d s h a d a l s o a s s u m e d i m a g e c o n s t a n c y , a n d t h e y w e r e b a s e d o n t h e e q u a t i o n [ 1 2 7 ] [ 1 2 9 ] : 3 1 + » g r a d ( f ( x , y , t ) ) = 0 , ( 7 . 1 0 ) w h e r e f ( x , y , t ) i s t h e b r i g h t n e s s d i s t r i b u t i o n o v e r a s e q u e n c e o f i m a g e s a n d v i s t h e v e l o c i t y v e c t o r a t e a c h p o i n t i n t h e i m a g e . T h i s e q u a t i o n h a s b e e n e x t e n d e d t o h a n d l e l i g h t i n g b y g e n e r a l i z i n g t h i s m o d e l t o [ 1 3 4 ] [ 1 3 5 ] : % = — f ( x , y , t ) - d i v ( v ) — v - g r a d ( f ( x , y , t ) ) + ¢ , ( 7 - 1 1 ) 2 7 5 w h e r e ( 1 1 r e p r e s e n t s t h e r a t e o f c r e a t i o n o f b r i g h t n e s s a t e a c h p i x e l ( i l l u m i n a t i o n c h a n g e ) . I f a r i g i d b o d y o b j e c t i s a s s u m e d , w h e r e t h e m o t i o n l i e s i n t h e i m a g i n g p l a n e , t h e n t h e t e r m d i v ( v ) i s z e r o . T h e t e r m ¢ p r o v i d e s t h e c o n s t r a i n t s o n t h e i l l u m i n a t i o n v a r i a t i o n s i n t h e i m a g e . T h e r e a r e t w o t y p e s o f i l l u m i n a t i o n v a r i a t i o n t h a t m u s t b e c o n s i d e r e d : ( i ) c h a n g e s i n i l l u m i n a t i o n d u e t o c h a n g e s i n r e fl e c t a n c e o r d i f f u s e s h a d o w i n g ( m o d e l e d a s a m u l t i p l i c a t i v e f a c t o r ) , a n d ( i i ) c h a n g e s i n i l l u m i n a t i o n d u e t o i l l u m i n a t i o n h i g h l i g h t i n g ( m o d e l e d a s a n a d d i t i v e f a c t o r ) [ 1 3 4 ] . T h e t e r m ( 1 5 i s t h e n [ 1 3 4 ] : 8 7 7 1 6 0 = . _ + _ . , 7 . 1 2 1 1 5 f a t a t ( ) 6 m . 6 w h e r e 3 - c o r r e s p o n d s t o t h e c h a n g e i n r e fl e c t a n c e a n d ‘ 6 2 c o r r e s p o n d s t o t h e t t i l l u m i n a t i o n h i g h l i g h t i n g [ 1 3 4 ] . T h e a c t u a l m o t i o n a n d i l l u m i n a t i o n fi e l d v a l u e s a r e t h e n c o m p u t e d b y s o l v i n g t h e f o l l o w i n g l e a s t s q u a r e s p r o b l e m [ 1 3 4 ] : " 1 , 3 1 , 1 , — 1 , 1 — 1 , ' " a ; ' - 1 , 1 , ‘ 1 , 1 , 1 % — 1 y 1 — 1 y 5 y _ — 1 y 1 , ; - I , 1 — 1 , 1 1 2 I ' a m — ; 1 , 1 ’ ( 7 ' 1 3 ) — 1 , — 1 y 1 1 _ _ 6 c _ [ 1 , _ w h e r e t h e s u m m a t i o n i s o v e r a l o c a l w i n d o w W a b o u t e a c h p i x e l i n t h e i m a g e . T h e e x p l i c i t m o d e l i n g o f t h e e f f e c t s o f i l l u m i n a t i o n c a n d r a m a t i c a l l y i m p r o v e t h e m o t i o n e s t i m a t i o n , a s c a n b e s e e n i n F i g u r e 7 . 1 3 . N o t e , p a r t i c u l a r l y i n F i g u r e 7 . 1 3 ( 6 ) , t h e r e 2 7 6 i s s i g n i fi c a n t l y m o r e e r r o n e o u s m o t i o n c a u s e d b y i l l u m i n a t i o n c h a n g e s o n t h e o c c u p a n t s l e g s , c o m p a r e d t o F i g u r e 7 . 1 3 ( f ) w h e r e t h e s e i l l u m i n a t i o n e f f e c t s w e r e c o r r e c t l y m o d e l e d , a n d o n l y t h e t r u e m o t i o n i s l e f t . F i g u r e 7 . 1 3 : S t a n d a r d v e r s u s e x t e n d e d g r a d i e n t o p t i c a l fl o w , ( a ) fi r s t i m a g e , ( b ) s e c o n d i m a g e , ( c ) U - c o m p o n e n t f o r t h e b a s i c g r a d i e n t m e t h o d s , ( ( 1 ) U - c o m p o n e n t f o r t h e i l l u m i n a t i o n - e n h a n c e d g r a d i e n t m e t h o d , ( e ) V - c o m p o n e n t f o r t h e b a s i c g r a d i e n t m e t h o d , a n d ( f ) V - c o m p o n e n t f o r t h e i l l u m i n a t i o n - e n h a n c e d g r a d i e n t m e t h o d . T h i s i m p r o v e d g r a d i e n t a p p r o a c h a l s o h a s a m e c h a n i s m f o r i n f e r r i n g t h e q u a l i t y o f t h e m o t i o n e s t i m a t i o n s b a s e d o n t h e r e l a t i v e c o n t r i b u t i o n s o f m o t i o n - b a s e d 2 7 7 o p t i c a l fl o w a n d i l l u m i n a t i o n b a s e d o p t i c a l fl o w . T h e m o t i o n - b a s e d c o n t r i b u t i o n i s d e fi n e d b y [ 1 3 4 ] : o p t = § x - I + 6 y - I . ( 7 . 1 4 ) x y m o t i o n T h e c o n t r i b u t i o n s d u e t o i l l u m i n a t i o n c h a n g e s a r e d e fi n e d b y : o p t = 5 m - I + 6 c , ( 7 . 1 5 ) i l l u m w h e r e d a n d y a r e t h e v e l o c i t y e s t i m a t e s a t a p a r t i c u l a r p i x e l , a n d 6 m , 6 c a r e t h e m u l t i p l i c a t i v e a n d a d d i t i v e i l l u m i n a t i o n c o n t r i b u t i o n s a t t h a t p i x e l . R e g i o n s o f r e l i a b l e o p t i c a l fl o w o c c u r i n r e g i o n s w h e r e t h e f o l l o w i n g r a t i o i s l a r g e : o p t q u a l i t y = M . ( 7 . 1 6 ) O p t i l l u m C C o r r e l a t i o n - b a s e d M e t h o d T h e fi n a l m e t h o d c o n s i d e r e d f o r p e r f o r m i n g o p t i c a l fl o w - b a s e d m o t i o n e s t i m a t i o n i s b a s e d o n s e q u e n t i a l i m a g e i n t e n s i t y c o r r e l a t i o n . T h e c o r r e l a t i o n - b a s e d m e t h o d i s l e s s s e n s i t i v e t o t h e p r e s e n c e o r a b s e n c e o f s i g n i fi c a n t i m a g e f e a t u r e s t h a n g r a d i e n t m e t h o d s , w h e r e s i g n i fi c a n t i m a g e f e a t u r e s a r e d e fi n e d a s r e g i o n s o f h i g h g r a d i e n t s . T h e c o r r e l a t i o n - b a s e d m e t h o d i s l e s s s e n s i t i v e t o t h e s e d i s c r e t e p o i n t s s i n c e i t o p e r a t e s o n a p a t c h i n t h e i m a g e a t a t i m e [ 1 2 8 ] . A d d i t i o n a l l y , a s w i t h t h e g r a d i e n t m e t h o d s , i t c a n b e f o r m u l a t e d w i t h a d d i t i o n a l c o n s t r a i n t s t h a t w i l l s u p p o r t 2 7 8 l D f ( x + m , a y + m 2 J - 1 ) - ( m 3 - f ( x . y . t ) + m 4 ) d x . ( 7 . 1 8 ) t h e t w o t y p e s o f i l l u m i n a t i o n e f f e c t s d e fi n e d e a r l i e r . L e t f ( x , y , t ) a n d f ( x , y , t - 1 ) d e n o t e t w o s e q u e n t i a l i m a g e s , t h e n t h e r e l a t i o n s h i p b e t w e e n t h e m c a n b e m o d e l e d a s [ 1 2 8 ] : m 3 - f ( x , y , t ) + m 4 = f ( x + m l , y + m 2 , t — l ) , ( 7 . 1 7 ) w h e r e m 1 a n d m 2 d e n o t e t h e t r a n s l a t i o n s i n x a n d y , a n d m 3 a n d m 4 r e p r e s e n t t h e a d d i t i v e a n d m u l t i p l i c a t i v e c o m p o n e n t s o f t h e i l l u m i n a t i o n v a r i a t i o n d e fi n e d e a r l i e r . T h e c o r r e l a t i o n b e t w e e n t h e i m a g e s , f ( x , y , t ) a n d f ( x , y , t - I ) , i s d e fi n e d a s [ 1 4 0 ] : w h e r e D i s a r e g i o n o f t h e i m a g e . N o t e t h a t w e c a n c o m p u t e t h e m i n i m u m o f t h e m e a n s q u a r e d e r r o r ( M S E ) i n s t e a d o f t h e m a x i m u m o f t h e c o r r e l a t i o n , s i n c e t h e M S E c a l c u l a t i o n i n c l u d e s t h e c o r r e l a t i o n a s a c o m p o n e n t , a n d i t i s e a s i e r t o c o m p u t e . S o , t h e t a r g e t f u n c t i o n t o b e m i n i m i z e d i s d e fi n e d a s [ 1 2 8 ] [ 1 4 0 ] : E ( m ) : L ( m 3 - f ( x , y , t ) + m 4 — f ( x + m ] , y + m 2 , t — l ) ) 2 d x , ( 7 . 1 9 ) w h e r e m = ( m l , m 2 , m 3 , m 4 ) T . U s i n g a fi r s t - o r d e r t r u n c a t e d T a y l o r s e r i e s e x p a n s i o n , w e g e t t h e a p p r o x i m a t e d f o r m o f E ( m ) [ 1 3 3 ] : E ( m ) z L ( m 3 - f ( x , y , t ) + m 4 — ( 7 . 2 0 ) [ f ( x . y , t ) + m l - f x ( x . y . t ) + m 2 - f y ( x . y , t ) - f t ( x . y . t > 1 ) 2 d x 2 7 9 = L ( [ f ; ( x , y , t ) - f ( x , y a t ) l — ( 7 . 2 1 ) [ m l - f x ( x , y , t ) + m 2 - f y ( x , y , t ) — m 3 - f ( x . y , t ) — m , 1 ) 2 d x = L U t - C T - m ) 2 d x , ( 7 . 2 2 ) w h e r e k = f , ( x , y , t ) — / ( x . y , t ) . ( 7 . 2 3 ) a n d c = [ f x ( x , y . t ) , f y ( x , y , t ) , - f ( x . y , t ) . - 1 1 T . ( 7 . 2 4 ) T h e d i s c r e t e f o r m o f E ( m ) i s [ 1 3 3 ] : . E l ’ " ) = 2 1 k — c T « ) 2 . ( 7 . 2 5 ) x , y e D E q u a t i o n ( 7 . 2 1 ) c a n n o w b e m i n i m i z e d b y d i f f e r e n t i a t i n g w i t h r e s p e c t t o m , y i e l d i n g [ 1 3 3 ] : d a m ) : Z — 2 - c - ( k — c T - m ) . ( 7 . 2 6 ) d m x , y e D S e t t i n g t h i s r e s u l t e q u a l t o z e r o , a n d s o l v i n g f o r m , y i e l d s t h e M S E e s t i m a t e f o r m [ 1 3 3 ] : - 1 m = [ Z c - c r ] [ Z a k ] . ( 7 . 2 7 ) x , y E D x , y e D 2 8 0 T h e s i z e o f t h e n e i g h b o r h o o d , D , m u s t b e c h o s e n l a r g e e n o u g h t o g u a r a n t e e t h e fi r s t t e r m i s i n v e r t i b l e , b u t n o t t o o l a r g e a s t o b r e a k t h e a s s u m p t i o n o f t h e c o h e r e n c e o f a n o v e r t h e r e g i o n [ 1 3 3 ] . A g a i n , w e m u s t n o t e t h a t E q u a t i o n ( 7 . 1 9 ) o n l y m o d e l s s i m p l e t r a n s l a t i o n s , n o t e v e n r o t a t i o n s . T h e u n d e r l y i n g a s s u m p t i o n m a d e i n E q u a t i o n ( 7 . 1 9 ) i s t h a t c o m p l e x t r a n s f o r m a t i o n s o f a n o b j e c t m a y a p p e a r a s s i m p l e t r a n s l a t i o n s , w h e n o n l y s m a l l r e g i o n s o n t h e o b j e c t a r e c o n s i d e r e d i n d i v i d u a l l y . N o t e , h o w e v e r , t h a t r e g i o n s m a y e x p e r i e n c e m o r e c o m p l i c a t e d d i s t o r t i o n s i n t h e s e q u e n t i a l i m a g e s a s w e h a d s e e n e a r l i e r i n F i g u r e 7 . 5 t h r o u g h F i g u r e 7 . 7 . S u t t o n [ 1 3 8 ] a n d K a l i v a s [ 1 4 0 ] p r o p o s e d a l t e r n a t e c o r r e l a t i o n m e t h o d s t o a c c o u n t f o r d e f o r m a t i o n s o f t h e o b j e c t s t o a l l o w f o r m o r e c o m p l e x m o t i o n s t o b e m o d e l e d , b u t t h e i m p a c t i s t h a t t h e n u m b e r o f p a r a m e t e r s , m , t o e s t i m a t e w i l l i n c r e a s e a c c o r d i n g l y , a s w e s a w w h e n m o d e l i n g m o r e c o m p l e x t r a n s f o r m a t i o n s o f t h e t e m p l a t e s i n t h e H a u s d o r f f t e m p l a t e m a t c h i n g . 7 . 2 . 2 M o t i o n C l u s t e r i n g o f t h e O p t i c a l F l o w F i e l d s M o t i o n c l u s t e r i n g p r o v i d e s e s t i m a t e s o f t h e e x t e n t o f t h e r e g i o n s i n t h e m o t i o n fi e l d s t h a t c o r r e s p o n d t o p o s s i b l e o b j e c t s . N o t e t h a t c l u s t e r i n g i s n o t r e q u i r e d i n t h e t e m p l a t e - b a s e d m o t i o n s e g m e n t a t i o n a p p r o a c h e s , s i n c e t h e t e m p l a t e u p d a t i n g a u t o m a t i c a l l y p r o v i d e s a n e s t i m a t e o f t h e c u r r e n t o b j e c t b o u n d a r y . I n m o s t r e a l - w o r l d m o t i o n e s t i m a t i o n p r o b l e m s t h e r e a r e o f t e n m u l t i p l e m o v i n g o b j e c t s i n t h e i m a g e . T h i s i s c l e a r l y t h e c a s e i n t h e a u t o m o t i v e a i r b a g s u p p r e s s i o n a p p l i c a t i o n , w h e r e t h e r e i s o f t e n m o t i o n o u t s i d e t h e w i n d o w , a s w e l l a s t h e o c c u p a n t m o t i o n . T h i s c a u s e s 2 8 1 d i s c o n t i n u i t i e s i n t h e m o t i o n fi e l d , a s t h e m u l t i p l e o b j e c t s m o v e p a s t e a c h o t h e r i n s p a c e , a n d g e n e r a t e a d i s t i n c t s e t o f m o t i o n s i n t h e i m a g i n g p l a n e [ 1 3 6 ] . E a c h o f t h e m o t i o n s c a n b e c o n s i d e r e d a d i s t i n c t c l u s t e r w i t h i n t h e m o t i o n fi e l d i m a g e . T h e p r o b a b i l i t y d i s t r i b u t i o n f o r a n o p t i c a l fl o w m o t i o n e s t i m a t e c a n b e w e l l m o d e l e d b y a G a u s s i a n d i s t r i b u t i o n [ 1 4 2 ] . T h e r e f o r e , i t i s r e a s o n a b l e t o m o d e l t h e m o t i o n fi e l d a s a m i x t u r e o f G a u s s i a n s c o m p o n e n t s . R e c a l l , t h e E M a l g o r i t h m i s v e r y e f f e c t i v e i n d e t e r m i n i n g t h e p a r a m e t e r s o f a m i x t u r e o f G a u s s i a n s , a n d w i l l b e u s e d f o r t h i s a p p l i c a t i o n [ 4 5 ] [ 1 3 6 ] . W e u s e t h e U a n d V v e l o c i t y c o m p o n e n t s a s a 2 - d i m e n s i o n a l s p a c e , w i t h i n w h i c h w e w i l l p e r f o r m c l u s t e r i n g u s i n g E M . J e p s o n a n d B l a c k [ 1 3 6 ] h a v e a l s o u s e d E M f o r m o t i o n e s t i m a t i o n , h o w e v e r , t h e y a p p l y E M o n a s e t o f l i n e a r c o n s t r a i n t s o n . t h e p h a s e : s p a c e , r a t h e r t h a n d i r e c t l y o n t h e U a n d V c o m p o n e n t m o t i o n fi e l d s . W e m o d e l t h e a c t u a l v e l o c i t y e s t i m a t e f o r e a c h p i x e l a s a b e i n g a s s o c i a t e d w i t h a G a u s s i a n c o m p o n e n t , a n d t h e n t h e m u l t i p l e m o t i o n s a r e m o d e l e d a s a m i x t u r e o f t h e s e G a u s s i a n c o m p o n e n t s . 7 . 2 . 3 O p t i c a l F l o w F u s i o n E a c h o f t h e o p t i c a l fl o w m e t h o d s m a y h a v e a n a d v a n t a g e i n a p a r t i c u l a r m o t i o n e n v i r o n m e n t , b u t n o n e h a v e b e e n s h o w n t o b e c o n s i s t e n t l y m o r e r o b u s t . W h e n t h e a d d e d c o m p l e x i t y o f v a r y i n g i l l u m i n a t i o n i s a d d e d , i t b e c o m e s e v e n l e s s c l e a r i f t h e r e i s a s i n g l e b e s t a p p r o a c h . T h e l a c k o f a u n i v e r s a l l y b e s t a p p r o a c h i m p l i e s t h a t b e n e fi t s c a n b e d e r i v e d i f m u l t i p l e a p p r o a c h e s a r e c o m b i n e d o r fi i s e d 2 8 2 t o g e t h e r . T h i s m a y p r o v i d e r o b u s t m o t i o n s e g m e n t a t i o n , s i n c e e a c h a l g o r i t h m i s m o r e r e l i a b l e f o r d i f f e r e n t m o t i o n c o n d i t i o n s . T h e r e a r e t h r e e k e y d e s i g n d e c i s i o n s t h a t m u s t b e a d d r e s s e d i n a n y d a t a f u s i o n p r o b l e m : ( i ) a t w h a t l e v e l o f a b s t r a c t i o n w i l l t h e d a t a b e c o m b i n e d , ( i i ) w h a t m e c h a n i s m w i l l b e u s e d t o c o m b i n e t h e i n f o r m a t i o n , a n d ( i i i ) h o w c a n t h e c o m p l e x i t y o f t h e p r o b l e m b e m a n a g e d [ 1 0 2 ] . F o r m o t i o n s e g m e n t a t i o n , t h e r e i s a r a n g e o f d a t a a b s t r a c t i o n s f o r p e r f o r m i n g f u s i o n i n c l u d i n g [ 1 0 2 ] : l ) p i x e l - l e v e l f u s i o n o f t h e v e l o c i t y i n f o r m a t i o n , 2 ) r e g i o n - l e v e l f u s i o n o f r e g i o n s o f c o m m o n v e l o c i t y , a n d 3 ) o b j e c t - l e v e l f u s i o n , w h e r e t h e m o t i o n e s t i m a t e s a r e a b s t r a c t e d t o o b j e c t s a n d t h e n c o m b i n e d . W e w i l l c o n c e n t r a t e o n c o m b i n i n g t h e i n f o r m a t i o n a t t h e p i x e l l e v e l o f t h e d i r e c t i o n a l fl o w fi e l d s f r o m e a c h a l g o r i t h m , w h e r e t h e d a t a i s a t o u r l o w e s t l e v e l o f a b s t r a c t i o n . G e n e r a l l y , o p e r a t i n g a t l o w e r l e v e l s o f a b s t r a c t i o n i m p l i e s t h a t f e w e r c o n s t r a i n t s h a v e b e e n p l a c e d o n t h e o u t p u t s a n d f e w e r a s s u m p t i o n s h a v e b e e n m a d e r e g a r d i n g t h e d a t a , t h e r e b y m i n i m i z i n g t h e e r r o r p r o p a g a t i o n . S i n c e w e h a v e s u c c e s s f u l l y a p p l i e d E M t o t h e m o t i o n fi e l d f r o m a s i n g l e m o t i o n e s t i m a t i o n a l g o r i t h m , i t i s n a t u r a l t h e n t o a p p l y E M t o c o m b i n a t i o n s o f t h e o u t p u t s f r o m t h e v a r i o u s m o t i o n s e g m e n t a t i o n a l g o r i t h m s . I n t h e p r o b l e m o f m o t i o n fi e l d f u s i o n , m a n a g i n g t h e c o m p l e x i t y o f t h e p r o b l e m i s i m p o r t a n t , s i n c e t h e c o l l e c t i o n o f m o t i o n fi e l d s f r o m t h e v a r i o u s s e g m e n t a t i o n t e c h n i q u e s g e n e r a t e s a h i g h - d i m e n s i o n a l d a t a s p a c e . S i n c e e a c h m o t i o n s e g m e n t a t i o n a l g o r i t h m g e n e r a t e s a t l e a s t a 2 — d i m e n s i o n a l s p a c e c o n t a i n i n g v e l o c i t y v e c t o r s f o r e a c h p i x e l i n t h e i m a g e , t h e m i n i m u m d a t a s p a c e i s 6 - d i m e n s i o n a l . T h e r e 2 8 3 a r e t h r e e i s s u e s i n u s i n g s u c h a h i g h d i m e n s i o n a l s p a c e f o r f u s i o n w i t h t h e E M a l g o r i t h m : 1 ) t h e n u m b e r o f p a r a m e t e r s t h a t m u s t b e e s t i m a t e d ( w h e n u s i n g E M , t h e n u m b e r o f f r e e p a r a m e t e r s i n c r e a s e s a s d 2 , w h e r e d i s t h e d a t a d i m e n s i o n a l i t y ) , 2 ) t h e r e a l - t i m e p r o c e s s i n g t h r o u g h p u t a n d m e m o r y r e q u i r e m e n t s f o r s u c h a h i g h d i m e n s i o n a l s p a c e c o n s i s t i n g o f s u c h a l a r g e n u m b e r o f d a t a p o i n t s , a n d 3 ) t h e q u a l i t y o f i n f o r m a t i o n f r o m a l l t h e m o t i o n p l a n e s i s n o t e q u a l a n d s o m e p l a n e s m a y p r o v i d e n o u s e fi r l i n f o r m a t i o n . I s s u e ( 3 ) c a n b e a d d r e s s e d b y a p p l y i n g a n i n f o r m a t i o n t h e o r e t i c a p p r o a c h t o c o m p r e s s i n g t h e o p t i c a l f l o w d a t a , w h i c h m a y g i v e i n s i g h t i n t o t h e t r u e i n f o r m a t i o n c o n t e n t , w h i l e m i n i m i z i n g t h e e f f e c t s o f t h e n o i s e . F i g u r e 7 . 1 4 ( a ) a n d ( b ) s h o w t h e U a n d V c o m p o n e n t i m a g e s . F i g u r e 7 . 1 4 ( c ) a n d ( d ) s h o w t h e h i s t o g r a m s f o r t h e U a n d V i m a g e s , r e s p e c t i v e l y . T h e s e h i s t o g r a m s s h o w t h a t t h e r e i s c o n s i d e r a b l y m o r e i n f o r m a t i o n ( d i s p e r s i o n ) i n t h e U c o m p o n e n t . T h e r e f o r e , t h e i n f o r m a t i o n i n t h e U - c o m p o n e n t i m a g e s h o u l d b e c o n s i d e r e d m o r e s i g n i fi c a n t t h a n t h e i n f o r m a t i o n i n t h e V - c o m p o n e n t i m a g e . W e w i l l u s e p r i n c i p a l c o m p o n e n t s a n a l y s i s ( P C A ) , s i n c e o u r g o a l i s t o d e t e r m i n e t h e d i r e c t i o n s i n t h e s p a c e o f m o t i o n fi e l d s t h a t p r o v i d e t h e g r e a t e s t i n f o r m a t i o n [ 4 5 ] . L e t X = ( 1 1 1 , 1 1 , . . . , x N ) r e p r e s e n t t h e n x N d a t a m a t r i x , w h e r e 2 e a c h x i i s a n i m a g e v e c t o r o f d i m e n s i o n n , a n d N i s t h e n u m b e r o f i m a g e s i n t h e 2 8 4 t r a i n i n g s e t . T h e m e a n v e c t o r o f t h e t r a i n i n g s a m p l e s , 1 1 = 2 , ” : , x i , i s s u b t r a c t e d f r o m e a c h s a m p l e v e c t o r . P C A i s a l i n e a r t r a n s f o r m a t i o n f r o m t h e o r i g i n a l n x N d a t a s p a c e t o a d x N d a t a s p a c e , w i t h d < n , a c c o r d i n g t o [ 4 5 ] : Y = W ; C A X , ( 7 . 2 8 ) w h e r e W P C A i s t h e t r a n s f o r m a t i o n m a t r i x . T h i s m a t r i x W P C A h o l d s t h e b a s i s v e c t o r s o f t h e P C A s u b s p a c e . T h e s e b a s i s v e c t o r s a r e g e n e r a t e d f r o m t h e e i g e n v e c t o r s o f t h e s c a t t e r m a t r i x , S T [ 4 5 ] : N 7 S T = 2 ( x i - I I ) ( X ‘ . - I I ) - ( 7 - 2 9 ) i = I ( C ) ( d ) F i g u r e 7 . 1 4 : F l o w fi e l d s a n d h i s t o g r a m s , ( a ) U - c o m p o n e n t i m a g e , ( b ) V — c o m p o n e n t i m a g e , ( c ) h i s t o g r a m o f U - c o m p o n e n t , a n d ( d ) h i s t o g r a m o f V - c o m p o n e n t ( n o t e l a c k o f s t r u c t u r e b e y o n d s i n g l e G a u s s i a n ) . 2 8 5 T h e t r a n s f o r m a t i o n m a t r i x W P C A i s c o m p o s e d o f a s u b s e t o f t h e e i g e n v e c t o r s o f S T , c o r r e s p o n d i n g t o t h e d l a r g e s t e i g e n v a l u e s . A f t e r a p p l y i n g t h e p r o j e c t i o n , t h e n - d i m e n s i o n a l i n p u t s p a c e i s r e d u c e d t o a d — d i m e n s i o n a l s u b s p a c e . 7 . 3 I n f o r m a t i o n T h e o r e t i c M e t h o d s f o r M o t i o n S e g m e n t a t i o n I n m a n y p r o b l e m s , t h e k e y t o s u c c e s s i s t o fi n d a p r o p e r s p a c e i n w h i c h t o i n t e r p r e t t h e i n c o m i n g d a t a s t r e a m . I n p a t t e r n r e c o g n i t i o n , w e d e fi n e a f e a t u r e s p a c e t h a t w i l l p r o v i d e t h e b e s t d i s c r i m i n a t i o n b e t w e e n t h e v a r i o u s c l a s s e s [ 4 5 ] . I n o p t i c a l fl o w b a s e d m o t i o n e s t i m a t i o n , t h e d o m a i n o f a n a l y s i s i s t h e o r i g i n a l g r a y s c a l e i m a g e . T h e d a t a i n t h i s s p a c e i s g e n e r a t e d b y a c o m p l e x i n t e r a c t i o n b e t w e e n t h e 3 - D s h a p e o f t h e b o d y o f i n t e r e s t , i t s s u r f a c e c h a r a c t e r i s t i c s , a n d t h e i l l u m i n a t i o n p a t t e r n [ 1 3 3 ] [ 1 3 4 ] [ l 3 5 ] . U n f o r t u n a t e l y , i n o u r a i r b a g s u p p r e s s i o n a p p l i c a t i o n , n o n e o f t h e s e u n d e r l y i n g c h a r a c t e r i s t i c s a r e k n o w n . I n o t h e r w o r d s , w e h a v e u n k n o w n o b j e c t s , c o v e r e d i n u n k n o w n m a t e r i a l s , m o v i n g i n a n u n k n o w n m a n n e r , a n d i n u n k n o w n l i g h t i n g c o n d i t i o n s . C o n s e q u e n t l y , t h e r e i s a n i n h e r e n t u n c e r t a i n t y r e g a r d i n g w h e t h e r t h e c h a n g e i n t h e i m a g e w a s d u e t o m o t i o n o f t h e o b j e c t o r d u e t o c h a n g e s i n t h e i l l u m i n a t i o n . E v e n w h e n t h e i m a g e i s t r a n s f o r m e d i n t o t h e e d g e d o m a i n , t h e r e s u l t s a r e s t i l l s e n s i t i v e t o l i g h t i n g , s i n c e c o n t r a s t i s d e p e n d e n t o n t h e l i g h t i n g l e v e l s , w h i c h i m p a c t s t h e a b i l i t y o f t h e s y s t e m t o d e t e c t e d g e s . W h a t i s r e q u i r e d i s t o d e fi n e a n a l t e r n a t i v e 2 8 6 d a t a s p a c e t h a t c a p t u r e s t h e m e a n i n g fi i l e l e m e n t s o f t h e i m a g e r y , w h i l e i g n o r i n g ( o r a t l e a s t g r e a t l y r e d u c i n g ) t h e e f f e c t s o f i l l u m i n a t i o n . L e t u s l o o k a t t h e p r o b l e m o f o b j e c t s m o v i n g i n a s c e n e , n o t a s t h e m o v e m e n t o f a c t u a l o b j e c t s , a n d n o t a s t h e m o t i o n o f g r a y s c a l e i n t e n s i t i e s , b u t r a t h e r a s t h e t r a n s f e r o f i n f o r m a t i o n a c r o s s t h e i m a g e fi e l d o f v i e w o v e r t i m e . E l e m e n t s o f i n f o r m a t i o n t h e o r y m a y p r o v i d e m o r e m e a n i n g f u l d a t a r e p r e s e n t a t i o n s . I n f o r m a t i o n t h e o r y h a s r e c e n t l y b e e n a p p l i e d t o a n u m b e r o f i m a g e p r o c e s s i n g a n d p a t t e r n r e c o g n i t i o n a p p l i c a t i o n s r a n g i n g f r o m i m a g e r e g i s t r a t i o n t o f e a t u r e s e l e c t i o n i n c l a s s i fi c a t i o n [ l 4 3 ] [ 1 4 5 ] [ 1 4 6 ] [ 1 4 7 ] . T h e r e a r e t w o m e t h o d s w e h a v e i n v e s t i g a t e d f o r e s t i m a t i n g o p t i c a l fl o w u s i n g i n f o r m a t i o n t h e o r e t i c m e t h o d s : ( i ) e n t r o p y - b a s e d fl o w a n d ( i i ) m u t u a l i n f o r m a t i o n - b a s e d fl o w . 7 . 3 . 1 E n t r o p y - b a s e d M o t i o n S e g m e n t a t i o n O n e s t a n d a r d m e a s u r e f r o m i n f o r m a t i o n t h e o r y i s t h e e n t r o p y . T h e e n t r o p y o f a s i g n a l i s d e fi n e d a s [ 1 4 3 ] [ 1 4 6 ] : 1 1 : 2 1 ) , - l o g — 1 — — . ( 7 . 3 0 ) . 1 p ' 1 T h e e n t r o p y o f a s i g n a l c a n h a v e t h r e e d i f f e r e n t m e a n i n g s [ 1 4 6 ] : 1 ) a m o u n t o f i n f o r m a t i o n a n e v e n t p r o v i d e s , 2 ) u n c e r t a i n t y i n t h e o u t c o m e o f a n e v e n t , a n d 3 ) d i s p e r s i o n i n t h e p r o b a b i l i t y d i s t r i b u t i o n f u n c t i o n ( v i s i b l e i n t h e h i s t o g r a m ) . 2 8 7 S i n c e a n a d d i t i v e a n d a m u l t i p l i c a t i v e t e r m c a n m o d e l t h e i l l u m i n a t i o n e f f e c t s i n i m a g e r y , w e m u s t a n a l y z e t h e i m p a c t o f t h e s e t w o e f f e c t s o n t h e i m a g e e n t r o p y [ 1 3 4 ] [ 1 4 3 ] . F i g u r e 7 . 1 5 ( a ) s h o w s a r e g i o n e x t r a c t e d fi o m a n i m a g e f r o m o u r a p p l i c a t i o n , a n d F i g u r e 7 . 1 5 ( c ) s h o w s i t s h i s t o g r a m . F i g u r e 7 . 1 5 ( b ) s h o w s t h e s a m e i m a g e r e g i o n w i t h a d d i t i v e i l l u m i n a t i o n i n c l u d e d , a n d F i g u r e 7 . 1 5 ( ( 1 ) s h o w s t h e r e s u l t a n t h i s t o g r a m . N o t e t h e s t r u c t u r e o f t h e h i s t o g r a m i s p r e s e r v e d ( i t i s m e r e l y s h i fi e d ) , a s s u m i n g m i n i m a l i m a g e s a t u r a t i o n . T h i s i m p l i e s t h a t d e fi n i t i o n ( 3 ) w i l l p r o v e t o b e t h e m o s t u s e f u l f o r m o t i o n s e g m e n t a t i o n , s i n c e t h e d i s p e r s i o n s i n t h e h i s t o g r a m s a r e i d e n t i c a l , t h e r e b y m a k i n g t h e e n t r o p y i n t h e t w o fi g u r e s e q u a l . T h i s m e a n s t h a t , b y t r a c k i n g o b j e c t s i n t h e e n t r o p y d o m a i n , t h e e f f e c t s o f a d d i t i v e i l l u m i n a t i o n c a n b e c o m p l e t e l y r e m o v e d . 2 8 8 , ' _ . . i l 1 1 s o 1 1 1 3 1 5 1 1 a m a l s o a n : I i " ( C ) F i g u r e 7 . 1 5 : E f f e c t s o f a d d i t i v e i l l u m i n a t i o n , ( 3 ) o r i g i n a l i m a g e , ( b ) m o d i fi e d i m a g e , ( c ) h i s t o g r a m o f o r i g i n a l i m a g e , a n d ( d ) h i s t o g r a m o f m o d i fi e d i m a g e . F i g u r e 7 . 1 6 ( b ) s h o w s t h e s a m e r e g i o n o f t h e i m a g e , b u t n o w m o d i fi e d w i t h m u l t i p l i c a t i v e i l l u m i n a t i o n e f f e c t s . N o t i c e t h a t t h e g e n e r a l s t r u c t u r e o f t h e h i s t o g r a m i s s t i l l p r e s e r v e d , b u t t h e t o t a l d i s p e r s i o n i n t h e h i s t o g r a m h a s c h a n g e d , s i n c e t h e r e i s a n e t c o m p r e s s i o n i n i t s o v e r a l l s h a p e . T h i s r e s u l t s i n a c h a n g e i n t h e i m a g e e n t r o p y . W h i l e t h e r e s u l t a n t c h a n g e i n t h e h i s t o g r a m a n d i t s e n t r o p y i s s t i l l m i n o r , i t e n c o u r a g e s u s t o e x p e r i m e n t w i t h s l i g h t l y m o r e c o m p l i c a t e d i l l u m i n a t i o n c o n d i t i o n s t o f u r t h e r t e s t i t s r o b u s t n e s s . 2 8 9 . e n t ' r o p y , = : 1 4 . ‘ 5 8 W W I ? i t } ? ~ ( a ) . a ? ) _ ” L I I 3 & 3 . - l . . ‘ 1 1 1 . . . . . . l | ‘ E 1 I I I ' 1 1 1 1 1 1 1 1 1 . 1 1 1 1 1 1 1 1 1 1 . 1 1 1 1 n s o t o o 1 5 1 1 2 m 2 5 1 3 a m 1 3 5 0 1 0 1 1 1 5 0 1 2 1 1 0 7 2 5 0 3 0 1 3 ( c ) _ ( d ) F i g u r e 7 . 1 6 : E f f e c t s o f m u l t i p l i c a t i v e i l l u m i n a t i o n , ( a ) o r i g i n a l i m a g e , ( b ) m o d i fi e d i m a g e , ( c ) h i s t o g r a m o f o r i g i n a l i m a g e , a n d ( d ) h i s t o g r a m o f m o d i fi e d i m a g e . F i g u r e 7 . 1 7 ( b ) s h o w s a m o r e c o m p l e x s c e n a r i o , w h e r e m u l t i p l i c a t i v e i l l u m i n a t i o n o c c u r s o n o n l y a p o r t i o n o f t h e i m a g e . T h i s w o u l d b e e q u i v a l e n t t o a s h a d o w c a s t a c r o s s t h e s u b j e c t f r o m a n o b j e c t m o v i n g b e t w e e n t h e s u b j e c t a n d t h e l i g h t i n g s o u r c e , o r t o d i f f e r e n t r e g i o n s i n t h e i m a g e h a v i n g d i f f e r e n t c o e f fi c i e n t s o f r e fl e c t i o n d u e t o t w o t y p e s o f c l o t h i n g m a t e r i a l s . I n t h i s c a s e , t h e e f f e c t s o n t h e s t r u c t u r e a n d t h e d i s p e r s i o n o f t h e h i s t o g r a m a r e d r a m a t i c , a n d t h e r e i s a c o r r e s p o n d i n g c h a n g e i n t h e e n t r o p y o f t h e i m a g e , a s s h o w n i n F i g u r e 7 . 1 7 ( c ) a n d ( d ) . 2 9 0 e n t r o p y = 4 1 5 6 1 e n t r o p y = ' 4 . 7 4 ( * 0 ( b ) ( c ) ( d ) F i g u r e 7 . 1 7 : E f f e c t s o f p a r t i a l m u l t i p l i c a t i v e i l l u m i n a t i o n , ( a ) o r i g i n a l i m a g e , ( b ) m o d i fi e d i m a g e , ( c ) h i s t o g r a m o f o r i g i n a l i m a g e , a n d ( d ) h i s t o g r a m o f m o d i fi e d i m a g e . T h e d r a m a t i c c h a n g e i n t h e h i s t o g r a m a n d t h e c o r r e s p o n d i n g c h a n g e i n e n t r o p y i m p l y t h a t e n t r o p y a l o n e i s n o t a s t r o n g e n o u g h m e a s u r e o f i n f o r m a t i o n c o n t e n t i n t h e i m a g e t o a d e q u a t e l y o v e r c o m e t h e i l l u m i n a t i o n e f f e c t s . C o n s e q u e n t l y , a m o r e p o w e r f u l m e a s u r e o f t h e i n f o r m a t i o n c o n t e n t i n a n i m a g e i s r e q u i r e d . S i n c e w e a r e i n t e r e s t e d i n t h e r e l a t i v e c h a n g e s i n a n i m a g e f r o m o n e f r a m e t o t h e n e x t , t h e u s e o f a c o m p a r a t i v e i n f o r m a t i o n m e t r i c m a y p r o v e u s e f u l . T h e m u t u a l i n f o r m a t i o n i s s u c h a m e a s u r e , a n d w i l l b e i n v e s t i g a t e d a s a p o s s i b l e m o t i o n e s t i m a t i o n m e t r i c . 2 9 1 7 . 3 . 2 M u t u a l I n f o r m a t i o n f o r M o t i o n E s t i m a t i o n M u t u a l i n f o r m a t i o n h a s s u c c e s s f u l l y b e e n a p p l i e d t o a n u m b e r o f i m a g e p r o c e s s i n g d o m a i n s [ l 4 3 ] [ 1 4 5 ] [ 1 4 6 ] [ 1 4 7 ] . R e c a l l f r o m C h a p t e r 4 t h a t i t c a n b e d e fi n e d i n o n e o f t h r e e w a y s [ 1 4 3 ] : 1 ) I ( A ; B ) = H ( B ) - H ( B I A ) = H ( A ) - H ( A I B ) , 2 ) I ( A ; B ) = H ( A ) + H ( B ) - H ( A , B ) , a n d ( 7 . 3 1 ) 3 I A ; B = , b - l M ] . > ( ) a s b p t a ) ° g l p ( a ) p ( b ) w h e r e p ( a ) a n d p ( b ) a r e t h e i n d i v i d u a l d i s t r i b u t i o n s o f d a t a s e t s A a n d B , a n d p ( a , b ) i s t h e j o i n t d i s t r i b u t i o n o f d a t a s e t s A a n d B , a n d a i s a v a l u e i n d a t a s e t A a n d b i s a v a l u e i n d a t a s e t B . . A l s o , H ( A ) i s t h e e n t r o p y o f d a t a s e t A , a n d H ( A , B ) a n d H ( A I B ) a r e j o i n t a n d c o n d i t i o n a l e n t r o p i e s , r e s p e c t i v e l y . N o t i c e t h a t m u t u a l i n f o r m a t i o n i n c l u d e s n o t o n l y t h e r e l a t i v e e n t r o p y b e t w e e n t h e t w o s i g n a l s , b u t a l s o t h e e n t r o p y c o n t a i n e d w i t h i n e a c h o f t h e s i g n a l s . M u t u a l i n f o r m a t i o n h a s t h e f o l l o w i n g u s e f u l p r o p e r t i e s [ 1 4 3 ] [ 1 4 5 ] : 1 ) S y m m e t r y : I ( A , B ) = I ( B , A ) 2 ) I ( A , A ) = H ( A ) 3 ) I ( A , B ) < = H ( A ) ; t h i s i m p l i e s t h e i n f o r m a t i o n t h a t e a c h i m a g e A c o n t a i n s a b o u t a n o t h e r i m a g e B c a n n o t b e g r e a t e r t h a n t h e i n f o r m a t i o n t h a t i m a g e A c o n t a i n s a b o u t i t s e l f . 4 ) I ( A , B ) > = 0 ; C a n n o t i n c r e a s e u n c e r t a i n t y i n A b y k n o w i n g B 2 9 2 5 ) I f A , B a r e i n d e p e n d e n t t h e n I ( A , B ) = 0 6 ) I f A , B a r e G a u s s i a n t h e n : I ( A . B ) = - § - I o g ( 1 — p 2 ) . ( 7 . 3 2 ) w h e r e p i s t h e s t a n d a r d c r o s s - c o r r e l a t i o n b e t w e e n t h e t w o s i g n a l s A a n d B . A P h e n o m e n o l o g y o f M u t u a l I n f o r m a t i o n i n M o t i o n - b a s e d S e g m e n t a t i o n F o r i m a g i n g a p p l i c a t i o n s , t h e m u t u a l i n f o r m a t i o n i s b e s t c a l c u l a t e d u s i n g e i t h e r t h e s e c o n d o r t h i r d d e fi n i t i o n i n E q u a t i o n ( 7 . 2 9 ) , w h e r e t h e j o i n t p r o b a b i l i t y d e n s i t y c a n b e u s e d t o c o m p u t e t h e j o i n t e n t r o p y , u s i n g [ 1 4 3 ] : H ( A B ) = - Z 1 2 0 3 j ) - 1 0 g [ p ( i , 1 ) ] - ( 7 . 3 3 ) 1 . 1 A s a b a s e l i n e f o r c o m p a r i s o n , t h e j o i n t d e n s i t y f u n c t i o n o f a n i m a g e w i t h i t s e l f i s s h o w n i n F i g u r e 7 . 1 8 . N o t e t h a t w h e n a n i m a g e i s c o m p a r e d t o i t s e l f , t h e j o i n t d e n s i t y f u n c t i o n i s a s i m p l e s t r a i g h t l i n e o f u n i t s l o p e a n d i n t e r c e p t z e r o . A l s o n o t e t h a t t h e m u t u a l i n f o r m a t i o n i s e q u a l t o t h e e n t r o p y o f t h e i m a g e i n t h i s c a s e . 2 9 3 ( b ) F i g u r e 7 . 1 8 : P h e n o m e n o l o g y o f t h e j o i n t P D F , ( a ) i n c o m i n g i m a g e , a n d ( b ) t h e j o i n t d e n s i t y f u n c t i o n o f t h e i m a g e w i t h i t s e l f . T h e e f f e c t s o f i l l u m i n a t i o n c h a n g e s o n t h e m u t u a l i n f o r m a t i o n a n d t h e j o i n t d e n s i t y f u n c t i o n m u s t n o w b e d e t e r m i n e d . T h e e f f e c t s o n t h e j o i n t d e n s i t y fi r n c t i o n o f t h e t h r e e p r e v i o u s l y s h o w n i l l u m i n a t i o n c o n d i t i o n s a r e p r o v i d e d i n F i g u r e 7 . 1 9 . F i g u r e 7 . 1 9 ( b ) ( u n i f o r m a d d i t i v e i l l u m i n a t i o n ) s h o w s t h a t t h e j o i n t P D F m a i n t a i n s t h e w e l l - f o c u s e d c h a r a c t e r i s t i c s o f a l i n e , b u t t h e Y - i n t e r c e p t c h a n g e d . I n F i g u r e 7 . 1 9 ( c ) ( u n i f o r m m u l t i p l i c a t i v e i l l u m i n a t i o n ) t h e j o i n t P D F a g a i n m a i n t a i n s t h e w e l l - f o c u s e d c h a r a c t e r i s t i c s o f a l i n e , b u t n o w i t s s l o p e h a s c h a n g e d . I n b o t h o f t h e s e c a s e s , t h e j o i n t P D F m a i n t a i n s a w e l l - f o c u s e d l i n e w i t h n o d i s p e r s i o n o r d i s t o r t i o n . F i n a l l y , F i g u r e 7 . 1 9 ( d ) s h o w s t h e e f f e c t s o f p a r t i a l m u l t i p l i c a t i v e i l l u m i n a t i o n o n t h e c h a r a c t e r i s t i c s o f t h e j o i n t P D F . T h e r e a r e n o w t w o c l e a r l y d i s t i n g u i s h e d l i n e s i n t h e j o i n t P D F , o n e c o r r e s p o n d i n g t o t h e r e g i o n i n t h e i m a g e w i t h a m b i e n t i l l u m i n a t i o n a n d s e c o n d l i n e , w i t h a d i f f e r e n t s l o p e , c o r r e s p o n d i n g t o t h e r e g i o n o f t h e i m a g e e f f e c t e d b y t h e m u l t i p l i c a t i v e i l l u m i n a t i o n . G i v e n t h a t t h e e f f e c t s o f t h e s e i l l u m i n a t i o n c o n d i t i o n s o n t h e m u t u a l i n f o r m a t i o n a r e s o w e l l d e fi n e d a n d d e t e c t a b l e , w e m u s t n o w a n a l y z e t h e e f f e c t o f t h e o c c u p a n t m o t i o n o n t h e m u t u a l i n f o r m a t i o n . F i g u r e 7 . 2 0 s h o w s t h e e f f e c t s o f t h e 2 9 4 o c c u p a n t ’ s m o t i o n o n t h e m u t u a l i n f o r m a t i o n b e t w e e n s u c c e s s i v e i m a g e f r a m e s . N o t e t h e l i n e i s n o w b l u r r e d d u e t o t h e r e l a t i v e m o t i o n , b u t t h e y - i n t e r c e p t a n d t h e s l o p e o f t h e l i n e a r e p r e s e r v e d . T h i s m e a n s t h e r e s u l t a n t e f f e c t o n t h e m u t u a l i n f o r m a t i o n d u e t o o c c u p a n t m o t i o n c a n v e r y c l e a r l y b e s e p a r a t e d f r o m t h e e f f e c t s d u e t o i l l u m i n a t i o n . ( a ) ( b ) ( C ) ( ( 1 ) F i g u r e 7 . 1 9 : J o i n t d e n s i t y f u n c t i o n s f o r v a r i o u s i l l u m i n a t i o n s , ( a ) f o r a n i m a g e w i t h i t s e l f , ( b ) f o r a n i m a g e w i t h a v e r s i o n o f i t s e l f w i t h a d d i t i v e i l l u m i n a t i o n , ( c ) f o r a n i m a g e w i t h a v e r s i o n o f i t s e l f w i t h m u l t i p l i c a t i v e i l l u m i n a t i o n , a n d ( d ) f o r a n i m a g e w i t h a v e r s i o n o f i t s e l f w i t h o n l y a r e g i o n w i t h m u l t i p l i c a t i v e i l l u m i n a t i o n . ( C ) F i g u r e 7 . 2 0 : E f f e c t s o f s m a l l o c c u p a n t m o t i o n s o n j o i n t d e n s i t y f u n c t i o n , ( a ) fi r s t i m a g e , ( b ) i m a g e t o b e c o m p a r e d w i t h fi r s t i m a g e , ( c ) d i f f e r e n c e i m a g e o f i m a g e ( a ) a n d i m a g e ( b ) , a n d ( d ) j o i n t d e n s i t y f u n c t i o n . 2 9 6 ( d ) F i g u r e 7 . 2 1 : E f f e c t s o f l a r g e o c c u p a n t m o t i o n s o n j o i n t d e n s i t y f u n c t i o n , ( a ) fi r s t i m a g e , ( b ) i m a g e t o b e c o m p a r e d w i t h fi r s t i m a g e , ( c ) d i f f e r e n c e i m a g e o f i m a g e ( a ) a n d i m a g e ( b ) , a n d ( d ) j o i n t d e n s i t y f u n c t i o n . 7 . 4 D a t a C o l l e c t i o n f o r O c c u p a n t T r a c k i n g T h e r e a r e t w o o b j e c t i v e s f o r t h e d a t a c o l l e c t i o n f o r t h e o c c u p a n t m o t i o n s e g m e n t a t i o n a n d t r a c k i n g a n a l y s i s : I ) v e r i f y t r a c k i n g o f h u m a n o c c u p a n t s d u r i n g n o r m a l b e h a v i o r u n d e r v a r i o u s d r i v i n g c o n d i t i o n s , a n d 2 ) v e r i f y t r a c k i n g o f o c c u p a n t s d u r i n g p r o - c r a s h b r a k i n g e v e n t s a n d t h e r e s u l t a n t p e r f o r m a n c e o f A S Z i n t r u s i o n d e t e c t i o n . O b j e c t i v e ( 1 ) i s e a s i l y p e r f o r m e d u s i n g r e a l h u m a n s u b j e c t s , h o w e v e r , o b j e c t i v e ( 2 ) c a n n o t s a f e l y b e m e t u s i n g h u m a n s u b j e c t s . A m e c h a n i c a l c r a s h t e s t d u m m y m u s t b e 2 9 7 u s e d f o r t h e s e t e s t s . W e w i l l d e s c r i b e t h e c o l l e c t i o n p r o c e s s t o s u p p o r t e a c h o f t h e s e r e q u i r e m e n t s i n t h e f o l l o w i n g s u b s e c t i o n s . 7 . 4 . 1 D a t a C o l l e c t i o n U s i n g V e h i c l e D r i v e s T h e 0 b j e c t i v e o f t h e v e h i c l e d r i v e t e s t i n g i s t o c o l l e c t i m a g e s 0 f o c c u p a n t s p e r f o r m i n g t y p i c a l m o t i o n s , u n d e r a v a r i e t y o f d r i v i n g a n d i l l u m i n a t i o n c o n d i t i o n s . A s e g m e n t o f a t y p i c a l i n p u t i m a g e s e q u e n c e f o r t h i s t y p e o f c o l l e c t i o n i s s h o w n i n F i g u r e 7 . 2 2 . T h e i m a g e s a r e c o l l e c t e d a t t h e f u l l 3 0 H z v i d e o r a t e o f t h e c a m e r a . T h e i m a g e s a r e s t o r e d a s a s e q u e n c e o f b i t r n a p f i l e s , w h e r e e a c h f i l e i s a s i n g l e i m a g e f r a m e f r o m t h e c a m e r a . T h e t y p e s o f e n v i r o n m e n t a l a n d s i t u a t i o n a l c o n d i t i o n s t h a t h a v e b e e n c o l l e c t e d , i n c l u d e d r i v i n g : 1 ) a t n i g h t , 2 ) i n m o d e s t s u n l i g h t , 3 ) i n h a r s h u n o b s t r u c t e d s u n l i g h t , 4 ) i n h a r s h s u n l i g h t t h r o u g h t r e e l i n e s ( t o g e n e r a t e m o v i n g s h a d o w b a n d s ) , 5 ) t h r o u g h f r e e w a y t u n n e l s a n d u n d e r p a s s e s ( t o g e n e r a t e g l o b a l l i g h t i n g v a r i a t i o n o v e r t i m e ) , 6 ) i n p a r k i n g l o t s a n d a l o n g b u i l d i n g s ( t o g e n e r a t e s t r u c t u r e d b a c k g r o u n d c l u t t e r f r o m t h e p a r k e d v e h i c l e s a n d t h e b u i l d i n g s ) , a n d 7 ) o n m u l t i - l a n e r o a d s ( t o h a v e c a r s m o v i n g o u t s i d e t h e p a s s e n g e r w i n d o w a t d i f f e r e n t s p e e d s a n d d i r e c t i o n s ) . 2 9 8 A s i d e f r o m t h e s e e n v i r o n m e n t a l a n d s i t u a t i o n a l c o n d i t i o n s , i m a g e s a r e c o l l e c t e d f o r m u l t i p l e o c c u p a n t s i n a v a r i e t y o f c l o t h i n g t o g e n e r a t e l a r g e v a r i a t i o n s i n t h e i m a g e s . F i g u r e 7 . 2 2 : P a r t o f t h e s e q u e n c e o f h u m a n m o t i o n d u r i n g a v e h i c l e d r i v e t e s t u s e d f o r t e s t i n g t h e m o t i o n e s t i m a t i o n a l g o r i t h m s . 7 . 4 . 2 D a t a C o l l e c t i o n U s i n g t h e R o b o t i c T e s t F i x t u r e T h e r o b o t i c t e s t fi x t u r e w a s d e s i g n e d t o s u p p o r t c o n t i n u o u s t e s t i n g o f t h e t r a c k i n g s u b s y s t e m f o r v e r i f y i n g t h e t i m e d e l a y o f t h e d e t e c t i o n o f a n i n t r u s i o n i n t o t h e A u t o m a t i c S u p p r e s s i o n Z o n e ( A S Z ) . T h e k n o w n i n t r u s i o n t i m e i s d e t e r m i n e d fi o m a n L E D l i g h t b e a m , w h i c h i s b r o k e n b y t h e d u m m y , a s i t e n t e r s t h e A S Z . T h e l i g h t b e a m i s o r i e n t e d a l o n g t h e A S Z b o u n d a r y , a n d a s t h e d u m m y c r o s s e s t h e l i g h t b e a m , i t t r i g g e r s t h e i n t r u s i o n a l e r t . T h e r e l a t i v e t i m e d i f f e r e n c e b e t w e e n t h e a c t u a l i n t r u s i o n e v e n t a n d w h e n t h e t r a c k e r p r e d i c t s a n i n t r u s i o n i s r e c o r d e d . T h e 2 9 9 e x p e r i m e n t c a n b e r u n f o r t h o u s a n d s o f i t e r a t i o n s . T h e r o b o t i c t e s t fi x t u r e i s s h o w n i n F i g u r e 7 . 2 3 . A m a n n e q u i n i s u s e d i n p l a c e o f a n a c t u a l A n t h r o p o m o r p h i c T e s t D u m m y ( A T D ) t o r e d u c e t h e w e i g h t l o a d t h a t i s m o v e d b y t h e r o b o t i c a r m . T h e s y s t e m c a n m o v e t h e d u m m y u s i n g b o t h a c o n s t a n t v e l o c i t y a n d a c o n s t a n t a c c e l e r a t i o n m o t i o n p r o fi l e . W e u s e c o n s t a n t a c c e l e r a t i o n , s i n c e i t b e t t e r m a t c h e s t h e d y n a m i c s p r o fi l e o f a c t u a l v e h i c l e b r a k i n g . T h e s t a r t p o i n t o f t h e d u m m y c a n a l s o b e v a r i e d , a s w e l l a s t h e p e a k s o f t h e a c c e l e r a t i o n p r o fi l e s . T h e s y s t e m c a n s i m u l a t e a n y o f t h e f o l l o w i n g m o t i o n p r o fi l e s : 1 ) p u r e t r a n s l a t i o n a l m o t i o n ( s i m u l a t e s a n u n b e l t e d o c c u p a n t ) , 2 ) p u r e r o t a t i o n a l m o t i o n ( s i m u l a t e s a n o c c u p a n t w i t h o n l y t h e w a i s t b e l t u s e d ) , a n d 3 ) t r a n s l a t i o n a l m o t i o n f o l l o w e d b y r o t a t i o n a l m o t i o n ( s i m u l a t e s a n o c c u p a n t w i t h o n l y a l o o s e l y b e l t e d w a i s t b e l t ) . T h e s e p r o fi l e s a l l o w t h e d u m m y t o s i m u l a t e a l l o f t h e i n t e r e s t i n g o c c u p a n t d y n a m i c s c o n d i t i o n s . A n o c c u p a n t t h a t i s p r o p e r l y b e l t e d i s n o t s i m u l a t e d , s i n c e t h e o c c u p a n t m o v e s v e r y l i t t l e i n a p r e - c r a s h e v e n t , a n d h e i s n o t l i k e l y t o b e p l a c e d a t r i s k b y t h e a i r b a g d e p l o y m e n t . 3 0 0 F i g u r e 7 . 2 3 : R o b o t i c t e s t fi x t u r e f o r t e s t i n g A S Z i n t r u s i o n t i m e , ( a ) v i e w t h r o u g h d r i v e r ’ s s i d e r e a r d o o r , a n d ( b ) v i e w t h r o u g h s u n r o o f . 7 . 5 R e s u l t s o f S e g m e n t a t i o n M e t h o d s f o r I m a g e S e q u e n c e s U s i n g t h e d a t a c o l l e c t e d d u r i n g t h e v e h i c l e d r i v e s , w e w i l l t e s t t h e m o t i o n s e g m e n t a t i o n a l g o r i t h m s o n a v a r i e t y o f r e a l - w o r l d d r i v i n g c o n d i t i o n s . T h e s e i m a g e s p r o v i d e e x c e l l e n t e x a m p l e s o f c o m b i n e d f o r e g r o u n d a n d b a c k g r o u n d m o t i o n s , c o m p l e x m o t i o n s o f t h e o c c u p a n t s ( l i m b s m o v i n g , h e a d t u r n i n g , e t c . ) , a n d v a r i e d i l l u m i n a t i o n c o n d i t i o n s . W e p r o v i d e a s e r i e s o f o u t p u t e x a m p l e i m a g e s f o r e a c h o f t h e m e t h o d s d e fi n e d . T h i s w i l l a l l o w a q u a l i t a t i v e c o m p a r i s o n o f t h e a l g o r i t h m s . T h e s a m e m o t i o n s e q u e n c e i s p r o c e s s e d u s i n g a l l t h e m e t h o d s p r o p o s e d . T h e i n p u t i m a g e s e q u e n c e f o r t h e m o t i o n p r o c e s s i n g w a s s h o w n i n F i g u r e 7 . 2 2 . 7 . 5 . 1 R e s u l t s o f T e m p l a t e M a t c h i n g - b a s e d M o t i o n S e g m e n t a t i o n T h e r e s u l t s o f a p p l y i n g t h e H a u s d o r f f - b a s e d m o t i o n s e g m e n t a t i o n a l g o r i t h m s o n t h e s e q u e n c e i n F i g u r e 7 . 2 2 a r e p r o v i d e d i n F i g u r e 7 . 2 5 a n d F i g u r e 7 . 2 6 . F i g u r e 3 0 1 E i g i F i g u r e l h r e s l l 7 . 2 4 p r o v i d e s t h e e x a c t f r a m e f o r w h i c h t h e c u r r e n t H a u s d o r f f d i s t a n c e - b a s e d p o i n t s e t m a t c h i n g i s p e r f o r m e d . F i g u r e 7 . 2 5 s h o w s t y p i c a l r e s u l t s f o r t h e p r e - p r o c e s s i n g s t a g e s o f t h e H a u s d o r f f p r o c e s s i n g . N o t e t h e i n c o m i n g i m a g e a n d t h e l a s t i m a g e a r e s u b t r a c t e d t o o b t a i n t h e d i f f e r e n c e i m a g e , F i g u r e 7 . 2 5 ( a ) , a n d t h e n t h i s i m a g e i s fi l t e r e d u s i n g t h e g r a d i e n t i m a g e 0 f t h e c u r r e n t f r a m e , r e g i o n l i m i t e d b a s e d o n t h e o c c u p a n t d y n a m i c s f r o m t h e t r a c k e r , a n d t h e n t h r e s h o l d e d . T h i s s e t o f t h r e s h o l d e d p o i n t s i n F i g u r e 7 . 2 5 ( b ) i s t h e n c o m p a r e d t o t h e c u r r e n t o c c u p a n t t e m p l a t e , a n d t h e s e t o f p o i n t s w i t h t h e l o w e s t H a u s d o r f f d i s t a n c e i s t h e n c o m p u t e d . T h e s e r e s u l t s a r e s h o w n i n F i g u r e 7 . 2 6 . ( a ) F i g u r e 7 . 2 5 : R e s u l t s o f H a u s d o r f f p r e — p r o c e s s i n g , ( a ) d i f f e r e n c e i m a g e , a n d ( b ) t h r e s h o l d e d a n d r e g i o n l i m i t e d d i f f e r e n c e i m a g e . 3 0 2 W e a l s o p r o c e s s e d t h e t e m p l a t e - m a t c h i n g a l g o r i t h m o n a m o r e d i f fi c u l t s e q u e n c e , w h e r e t h e r e i s c o n s i d e r a b l e m o t i o n o u t o f t h e i m a g e p l a n e ( t o w a r d s t h e c a m e r a ) , r e s u l t i n g i n c o n s i d e r a b l e p e r s p e c t i v e - b a s e d d i s t o r t i o n s . F i g u r e 7 . 2 7 s h o w s a s e g m e n t o f t h e m o t i o n s e q u e n c e w e a r e a n a l y z i n g , a n d F i g u r e 7 . 2 8 s h o w s t h e e x a c t i m a g e i n t h i s s e q u e n c e w h e n t h e H a u s d o r f f d i s t a n c e f a i l s . F i g u r e 7 . 2 9 s h o w s t h e r e s u l t s o f t h e p r e — p r o c e s s i n g r e q u i r e d f o r H a u s d o r f f p o i n t - s e t m a t c h i n g . F i g u r e 7 . 3 0 s h o w s t h e fi n a l r e s u l t s o f t h e a t t e m p t e d m a t c h , w i t h t h e t e m p l a t e p o i n t s fl o m t h e b e s t p o i n t - s e t m a t c h i n t h e l a s t i m a g e fl a m e ( s q u a r e s i n t h e i m a g e ) a n d t h e b e s t p o i n t - s e t m a t c h i n t h e c u r r e n t i m a g e fl a m e ( c i r c l e s i n t h e i m a g e ) . N o t i c e t h a t t h e H a u s d o r f f a l g o r i t h m c o u l d o n l y fi n d b a c k g r o u n d p o i n t s ( s e e c i r c l e s ) a s t h e n e a r e s t m a t c h , a n d t h e p o i n t - s e t m a t c h i n g c o m p l e t e l y m i s s e d t h e a c t u a l o c c u p a n t . T h e d e f o r m a t i o n s i n t h e s h a p e o f t h e o c c u p a n t w e r e t o o s e v e r e t o a l l o w t h e a l g o r i t h m t o fi n d a p o i n t - s e t m a t c h o n t h e a c t u a l o c c u p a n t . 1 . 1 . 1 1 1 F i g u r e 7 . 2 6 : F i n a l H a u s d o r f f o u t p u t fl o m t w o c o n s e c u t i v e fl a m e s ; c i r c l e s a r e fl o m t h e c u r r e n t fl a m e a n d s q u a r e s a r e fl o m t h e p r e v i o u s f r a m e . 3 0 3 R e c a l l , s o m e o f t h e u n d e r l y i n g a s s u m p t i o n s f o r t e m p l a t e m a t c h i n g w e r e : ( i ) t h e o b j e c t s h o u l d n o t m o v e t o o m u c h b e t w e e n fl a m e s , a n d ( i i ) t h e o b j e c t ’ s s h a p e s h o u l d n o t c h a n g e t o o d r a m a t i c a l l y b e t w e e n fl a m e s . C l e a r l y , i n t h i s e x a m p l e s e q u e n c e fl o m o u r a i r b a g s u p p r e s s i o n a p p l i c a t i o n , b o t h o f t h e s e r e q u i r e m e n t s w e r e v i o l a t e d . T h e r e s u l t s a r e t h a t t h e o b j e c t i s c o m p l e t e l y l o s t i n t h e m a t c h i n g p r o c e s s . F i g u r e 7 . 2 7 : S e g m e n t o f m o t i o n s e q u e n c e w h e r e t h e H a u s d o r f f t e m p l a t e m a t c h i n g f a i l s . F i g u r e 7 . 2 8 : E x a c t i m a g e fl o m t h e s e q u e n c e s h o w n i n F i g u r e 7 . 2 8 w i t h c o n s i d e r a b l e o u t o f t h e i m a g e p l a n e m o t i o n w h e r e t e m p l a t e m a t c h i n g f a i l s . 3 0 4 ( b ) F i g u r e 7 . 2 9 : 1 m a g e s f o r H a u s d o r f f p r e - p r o c e s s i n g , ( a ) d i f f e r e n c e i m a g e , a n d ( b ) t h r e s h o l d e d a n d r e g i o n l i m i t e d d i f f e r e n c e i m a g e . F i g u r e 7 . 3 0 : F i n a l H a u s d o r f f o u t p u t f o r f a i l e d i m a g e s e q u e n c e fl o m t w o c o n s e c u t i v e fl a m e s ; c i r c l e s a r e fl o m t h e c u r r e n t fl a m e a n d s q u a r e s a r e fl o m t h e p r e v i o u s f r a m e . 7 . 5 . 2 R e s u l t s o f O p t i c a l F l o w - b a s e d M o t i o n S e g m e n t a t i o n T h e r e s u l t s f o r t h e o p t i c a l fl o w - b a s e d m o t i o n s e g m e n t a t i o n a r e g e n e r a t e d f o r t h e p h a s e , g r a d i e n t , a n d c o r r e l a t i o n m e t h o d s . T h e y a r e g e n e r a t e d f r o m t h e s a m e s e q u e n c e i n F i g u r e 7 . 2 2 . 3 0 5 A P h a s e - b a s e d R e s u l t s T h e r e s u l t s o f a p p l y i n g t h e p h a s e - b a s e d m o t i o n s e g m e n t a t i o n a l g o r i t h m s o n a r e p r o v i d e d i n F i g u r e 7 . 3 1 a n d F i g u r e 7 . 3 2 . F i g u r e 7 . 3 1 s h o w s t h e r e s u l t a n t U a n d V c o m p o n e n t fi e l d s i n s u b - fi g u r e s ( a ) a n d ( b ) , a n d t h e r e s u l t a n t v e c t o r r e p r e s e n t a t i o n o f t h e m o t i o n fi e l d i s p r o v i d e d i n s u b - fi g u r e ( c ) . F i g u r e 7 . 3 1 : P h a s e - b a s e d m o t i o n e s t i m a t i o n r e s u l t s . ( a ) U - c o m p o n e n t i m a g e , ( b ) V - c o m p o n e n t i m a g e , a n d ( c ) r e s u l t a n t fl o w fi e l d w i t h v e l o c i t y v e c t o r s s h o w n . R e c a l l , w e a r e u s i n g t h e m o t i o n fi e l d s t o p e r f o r m o c c u p a n t s e g m e n t a t i o n , a n d n o t a c t u a l m o t i o n e s t i m a t i o n ( s i n c e t h i s i s p e r f o r m e d b y t h e t r a c k e r d e fi n e d i n C h a p t e r 9 ) . T h e r e f o r e , w e a r e i n t e r e s t e d i n a n a l y z i n g t h e c l u s t e r i n g t h a t r e s u l t s fl o m 3 0 6 t h e m o t i o n e s t i m a t i o n p r o c e s s i n g , w h i c h r e c a l l i s p e r f o r m e d u s i n g t h e E M a l g o r i t h m . W e p e r f o r m e d t h e E M c l u s t e r i n g u s i n g a m i x t u r e o f t h r e e G a u s s i a n c o m p o n e n t s . W e c h o s e t h r e e c o m p o n e n t s , w h e r e o n e c o m p o n e n t i s f o r t h e s t a t i o n a r y b a c k g r o u n d , o n e i s f o r t h e o c c u p a n t , a n d t h e l a s t i s f o r t h e m o t i o n o u t s i d e o f t h e w i n d o w . W e r e t a i n t h e h i g h e s t s p e e d c o m p o n e n t o f t h i s m i x t u r e , w h i c h i s s h o w n i n F i g u r e 7 . 3 2 ( c ) . F i g u r e 7 . 3 2 ( d ) p r o v i d e s t h i s E M c l u s t e r o v e r l a i d o n t h e o r i g i n a l i m a g e , s h o w i n g t h e r e g i o n t h a t w o u l d b e e x t r a c t e d b y t h e a l g o r i t h m . N o t i c e t h e c o n s i d e r a b l e a m o u n t o f t h e r e g i o n o u t s i d e t h e w i n d o w t h a t w a s e x t r a c t e d w i t h t h e o c c u p a n t . F i g u r e 7 . 3 2 : E M c l u s t e r i n g f o r p h a s e d - b a s e d m o t i o n e s t i m a t e s . ( a ) U - c o m p o n e n t , ( b ) V - c o m p o n e n t , ( c ) E M c l u s t e r r e s u l t , a n d ( ( 1 ) E M c l u s t e r r e s u l t o v e r l a i d o n t h e o r i g i n a l i m a g e . 3 0 7 B _ G r a d i e n t - b a s e d R e s u l t s T h e r e s u l t s 0 f a p p l y i n g t h e g r a d i e n t - b a s e d m o t i o n e s t i m a t i o n a l g o r i t h m s 0 n t h e s e q u e n c e i n F i g u r e 7 . 2 2 a r e p r o v i d e d i n F i g u r e 7 . 3 3 a n d F i g u r e 7 . 3 4 . F i g u r e 7 . 3 3 s h o w s t h e r e s u l t a n t U a n d V c o m p o n e n t fi e l d s i n s u b - fi g u r e s ( a ) a n d ( b ) , a n d t h e r e s u l t a n t v e c t o r r e p r e s e n t a t i o n o f t h e m o t i o n fi e l d i s p r o v i d e d i n s u b - fi g u r e ( c ) . F i g u r e 7 . 3 3 : G r a d i e n t - b a s e d m o t i o n e s t i m a t i o n r e s u l t s . ( a ) U - c o m p o n e n t i m a g e , ( b ) V - c o m p o n e n t i m a g e , a n d ( c ) r e s u l t a n t fl o w fi e l d w i t h v e l o c i t y v e c t o r s s h o w n . A s w i t h t h e p h a s e - b a s e d p r o c e s s i n g , w e p e r f o r m e d t h e E M c l u s t e r i n g u s i n g a m i x t u r e o f t h r e e G a u s s i a n c o m p o n e n t s . W e r e t a i n t h e h i g h e s t s p e e d c o m p o n e n t o f 3 0 8 t h i s m i x t u r e , w h i c h i s s h o w n i n F i g u r e 7 . 3 4 ( c ) . F i g u r e 7 . 3 4 ( d ) p r o v i d e s t h i s E M m i x t u r e o v e r l a i d o n t h e o r i g i n a l i m a g e , s h o w i n g t h e r e g i o n t h a t w o u l d b e e x t r a c t e d b y t h e a l g o r i t h m . N o t i c e t h e a m o u n t o f t h e r e g i o n o u t s i d e t h e w i n d o w t h a t w a s e x t r a c t e d w i t h t h e o c c u p a n t i s c o n s i d e r a b l y l e s s t h a n f o r t h e p h a s e - b a s e d m e t h o d s ( r e c a l l F i g u r e 7 . 3 2 ( d ) ) . T h i s i s t o b e e x p e c t e d s i n c e t h e c h a n g e i n i l l u m i n a t i o n i s n o w e x p l i c i t l y m o d e l e d , a n d t h e r e f o r e c a n b e r e m o v e d . F i g u r e 7 . 3 4 : E M c l u s t e r i n g f o r g r a d i e n t - b a s e d m o t i o n e s t i m a t e s . ( a ) U - c o m p o n e n t , ( b ) V - c o m p o n e n t , ( 0 ) E M c l u s t e r r e s u l t , a n d ( ( 1 ) E M c l u s t e r r e s u l t o v e r l a i d o n t h e o r i g i n a l i m a g e . 3 0 9 C C o r r e l a t i o n - b a s e d R e s u l t s T h e r e s u l t s 0 f a p p l y i n g t h e g r a d i e n t - b a s e d m o t i o n e s t i m a t i o n a l g o r i t h m s o n t h e s e q u e n c e i n F i g u r e 7 . 2 2 a r e p r o v i d e d i n F i g u r e 7 . 3 5 a n d F i g u r e 7 . 3 6 . F i g u r e 7 . 3 5 s h o w s t h e r e s u l t a n t U a n d V c o m p o n e n t fi e l d s i n s u b - fi g u r e s ( a ) a n d ( b ) , a n d t h e r e s u l t a n t v e c t o r r e p r e s e n t a t i o n o f t h e m o t i o n fi e l d i s p r o v i d e d i n s u b - fi g u r e ( c ) . O n c e a g a i n , n o t e t h e r e s u l t s i n F i g u r e 7 . 3 6 ( c ) , w h e r e t h e fi n a l c l u s t e r i s o v e r l a i d o n t h e o r i g i n a l i m a g e , s h o w i n g t h e r e g i o n t h a t w o u l d b e e x t r a c t e d b y t h e a l g o r i t h m . F i g u r e 7 . 3 5 : C o r r e l a t i o n - b a s e d m o t i o n e s t i m a t i o n r e s u l t s . ( a ) U - c o m p o n e n t i m a g e , ( b ) V - c o m p o n e n t i m a g e , a n d ( c ) r e s u l t a n t fl o w fi e l d w i t h v e l o c i t y v e c t o r s s h o w n . 3 1 0 N o t i c e t h a t w h e n w e c o m p a r e F i g u r e 7 . 3 6 ( d ) f o r t h e c o r r e l a t i o n p r o c e s s i n g w i t h F i g u r e 7 . 3 4 ( d ) f o r t h e g r a d i e n t p r o c e s s i n g , t h e r e i s v e r y l i t t l e o v e r l a p i n t h e e x a c t p i x e l s d e fi n e d i n t h e s e g r n e n t a t i o n s ( s h o w n a s t h e o v e r l a y ) . T h i s c l e a r l y s h o w s t h a t o u r h y p o t h e s i s t h a t m o t i o n 5 e g r n e n t a t i o n c o u l d b e n e fi t f r o m f u s i o n p r o c e s s i n g m a y b e v a l i d . I t i s a l s o i n t e r e s t i n g t h a t p r o c e s s i n g t h e s a m e d a t a t h r o u g h t w o a l g o r i t h m s , w h i c h a r e d e s i g n e d t o e x t r a c t t h e s a m e i n f o r m a t i o n , c a n h a v e s u c h a p p a r e n t l y o r t h o g o n a l r e s u l t s . ( C ) F i g u r e 7 . 3 6 : E M c l u s t e r i n g f o r c o r r e l a t i o n - b a s e d m o t i o n e s t i m a t e s . ( a ) U - c o m p o n e n t , ( b ) V - c o m p o n e n t , ( c ) E M c l u s t e r r e s u l t , a n d ( d ) E M c l u s t e r r e s u l t o v e r l a i d o n t h e o r i g i n a l i m a g e . 3 1 1 D D e m o n s t r a t i o n o f O p t i c a l F l o w o n S e q u e n c e t h a t C a u s e s H a u s d o r f f A l g o r i t h m F a i l u r e R e c a l l t h a t F i g u r e 7 . 2 8 s h o w s a n i m a g e fl o m a s e q u e n c e f o r w h i c h t h e H a u s d o r f f d i s t a n c e - b a s e d t e m p l a t e - m a t c h i n g a l g o r i t h m f a i l s . F i g u r e 7 . 3 0 s h o w s t h e r e s u l t s o f t h e H a u s d o r f f t e m p l a t e - m a t c h , a n d i t i s c l e a r t h a t t h e a l g o r i t h m c o m p l e t e l y m i s s e d t h e o c c u p a n t , a n d f o u n d o n l y b a c k g r o u n d c l u t t e r p o i n t s a s t h e c l o s e s t m a t c h i n g . W e w i l l c o m p a r e t h e s e r e s u l t s w i t h t h e r e s u l t s u s i n g t h e g r a d i e n t - b a s e d o p t i c a l fl o w a l g o r i t h m w i t h t h e i l l u m i n a t i o n e f f e c t s m o d e l e d t o d e t e r m i n e i f o p t i c a l fl o w m a y b e m o r e r o b u s t t o o u t - o f - p l a n e m o t i o n s . I n t h i s d i f fi c u l t m o t i o n s e q u e n c e s h o w n i n F i g u r e 7 . 2 8 , a l l o f t h e a s s u m p t i o n s f o r t h e o p t i c a l fl o w c a l c u l a t i o n s a r e n o t m e t . I n p a r t i c u l a r , t h i s s e q u e n c e h a s n e a r l y a l l o f t h e o c c u p a n t m o t i o n o u t o f t h e i m a g i n g p l a n e . T h e r e f o r e t h e a s s u m p t i o n s u s e d f o r t h e d e v e l o p m e n t o f t h e g r a d i e n t - b a s e d o p t i c a l fl o w a l g o r i t h m h a v e n o t b e e n m e t . R e c a l l t h e g r a d i e n t a l g o r i t h m : 3 ’ ; = — f ( x , y , t ) - d i v e ) — v - g r a d ( f ( x . 1 1 . 1 ) ) + 1 . ( 7 . 3 4 ) w h e r e w e r e l i e d o n t h e a s s u m p t i o n t h a t t h e m o t i o n o f t h e o b j e c t i s r e s t r i c t e d t o t h e i m a g i n g p l a n e , w h i c h l e d t o t h e t e r m d i v ( v ) b e i n g z e r o , w h i c h i s c o n s e q u e n t l y n o t v a l i d . N o t i c e i n F i g u r e 7 . 3 7 ( c ) t h a t t h e v e c t o r s c o m p u t e d f o r t h e o p t i c a l fl o w a r e n e a r l y r a n d o m l y o r i e n t e d . T h i s i s d u e t o t h e f a c t t h a t t h e o p t i c a l fl o w i n t h e i m a g e w a s d u e t o t h e fi r s t t e r m i n E q u a t i o n ( 7 . 3 4 ) r a t h e r t h a n t h e a s s u m e d s e c o n d t e r m . T h e r e f o r e , i f w e w e r e u s i n g t h i s a l g o r i t h m f o r a c c u r a t e m o t i o n e s t i m a t i o n , i t w o u l d 3 1 2 h a v e f a i l e d . I n F i g u r e 7 . 3 7 ( a ) , ( b ) , a n d ( c ) t h e m o t i o n s e g m e n t a t i o n o f t h e o c c u p a n t fl o m t h e b a c k g r o u n d i s s t i l l q u i t e c o m p l e t e , e v e n t h o u g h t h e a c t u a l e s t i m a t e s a r e w r o n g . T h i s v a l i d a t e s o u r e a r l i e r a s s u m p t i o n s t h a t , b y u s i n g t h e o p t i c a l fl o w f o r m o t i o n - b a s e d s e g m e n t a t i o n , r a t h e r t h a n m o t i o n e s t i m a t i o n , w e m a y b e a b l e t o r e l a x s o m e o f t h e a s s u m p t i o n s . C l e a r l y , F i g u r e 7 . 3 7 ( c ) p r o v i d e s a v e r y g o o d s e g m e n t a t i o n o f t h e o c c u p a n t , w h i c h i s i n s t a r k c o n t r a s t t o t h e t e m p l a t e - b a s e d a p p r o a c h , s h o w n i n F i g u r e 7 . 3 0 w h e r e t h e o u t p u t p r o v i d e d n o u s e f u l i n f o r m a t i o n r e g a r d i n g t h e s e g m e n t a t i o n o f t h e o c c u p a n t . F i g u r e 7 . 3 7 : O p t i c a l fl o w - b a s e d m o t i o n s e g m e n t a t i o n f o r s e q u e n c e w h e r e H a u s d o r f f d i s t a n c e f a i l e d t o p e r f o r m , ( a ) U - c o m p o n e n t i m a g e , ( b ) V - c o m p o n e n t i m a g e , a n d ( c ) r e s u l t a n t fl o w fi e l d w i t h v e l o c i t y v e c t o r s s h o w n . 3 1 3 I t i s i m p o r t a n t t o r e v i s i t t h e u n d e r l y i n g a s s u m p t i o n s r e g a r d i n g t h e m o t i o n o f t h e o c c u p a n t , i n o r d e r t o d e t e r m i n e w h i c h a p p r o a c h i s p o t e n t i a l l y m o r e a p p r o p r i a t e f o r a i r b a g s u p p r e s s i o n . R e c a l l , fl o m o u r e a r l i e r d i s c u s s i o n s , r e g a r d i n g t h e t e m p l a t e - m a t c h i n g a p p r o a c h , t h a t w e c a n n o t a s s u m e t h e o c c u p a n t m o t i o n l i e s w i t h i n t h e i m a g e p l a n e . T h i s i s s u e h i g h l i g h t s a s i g n i fi c a n t d i f f e r e n c e b e t w e e n t h e t e m p l a t e a p p r o a c h a n d t h e o p t i c a l fl o w a p p r o a c h . T h e o p t i c a l fl o w e q u a t i o n s a t t e m p t t o a c c u r a t e l y e s t i m a t e t h e m o t i o n v e c t o r s f o r e v e r y p i x e l i n t h e i m a g e . I n o u r a p p l i c a t i o n , h o w e v e r , w e a r e u s i n g o p t i c a l fl o w f o r a s e g m e n t a t i o n c u e , r a t h e r t h a n a s a n a c c u r a t e m o t i o n e s t i m a t o r . I f t h e e q u a t i o n s a r e u s e d a s a n a c c u r a t e e s t i m a t o r , t h e n v i o l a t i n g t h e u n d e r l y i n g a s s u m p t i o n s r e s u l t s i n e r r o n e o u s e s t i m a t e s o f t h e m o t i o n v e c t o r s . I f , h o w e v e r , w e a r e o n l y i n t e r e s t e d i n s e g m e n t a t i o n , t h e n t h e o p t i c a l fl o w e q u a t i o n s s t i l l r e s u l t i n m o t i o n v e c t o r s o n t h e o c c u p a n t b e i n g d i f f e r e n t t h a n o n t h e b a c k g r o u n d . I n t e m p l a t e m a t c h i n g , h o w e v e r , w e n e e d t o a c c u r a t e l y e s t i m a t e t h e t r a n s f o r m a t i o n t h e o c c u p a n t g o e s t h r o u g h , i n o r d e r t o p r o p e r l y u p d a t e t h e t e m p l a t e . I f t h e u n d e r l y i n g a s s u m p t i o n s d e v i a t e t o o f a r fl o m r e a l i t y , t h e n t h e m a t c h i n g o f t h e t e m p l a t e w i l l e v e n t u a l l y d e g r a d e t o t h e p o i n t w h e r e a m a t c h i s n o l o n g e r p o s s i b l e , a n d t h e o c c u p a n t i s l o s t . A d d i t i o n a l l y , s i n c e t h e o p t i c a l fl o w a l g o r i t h m s a r e a p p l i e d o n w i n d o w s w i t h i n t h e i m a g e , r a t h e r t h a n a s g l o b a l o p e r a t o r s a c r o s s t h e i m a g e , m o t i o n s t h a t g e n e r a l l y v i o l a t e t h e i n - p l a n e c o n s t r a i n t , m a y s t i l l p r o d u c e l o c a l c h a n g e s i n t h e i m a g e t h a t c a n a p p r o x i m a t e t h e i n — p l a n e a s s u m p t i o n . T h i s m e a n s t h a t v i o l a t i o n s o f t h e a s s u m p t i o n 3 1 4 o f i n - p l a n e m o t i o n w i l l b e l e s s s e v e r e f o r t h e o p t i c a l fl o w t h a n f o r t e m p l a t e m a t c h i n g , s i n c e t e m p l a t e m a t c h i n g i s a g l o b a l o p e r a t i o n . 7 . 5 . 3 R e s u l t s o f M o t i o n F i e l d F u s i o n W e w i l l i n i t i a l l y s h o w t h e r e s u l t s o f c o m b i n i n g a l l o f t h e c o m p o n e n t v e l o c i t i e s fl o m t h e t h r e e m o t i o n e s t i m a t i o n a l g o r i t h m s . R e c a l l , i n t h e r e s u l t s i n S e c t i o n 7 . 5 . 2 , w e a p p l i e d t h e E M a l g o r i t h m t o t h e i n d i v i d u a l U a n d V c o m p o n e n t fi e l d s t o d e r i v e t h e m o t i o n c l u s t e r e s t i m a t e s . N o w w e w i l l a p p l y t h e E M a l g o r i t h m o n t h e c o m p l e t e s e t o f i m a g e s ( i . e . , t h e U a n d V v e l o c i t y c o m p o n e n t fl o m a l l o f t h e c a n d i d a t e a l g o r i t h m s ) , g e n e r a t i n g a t o t a l o f 6 i m a g e p l a n e s . I n o r d e r t o r e d u c e t h e c o m p u t a t i o n a l b u r d e n o f p e r f o r m i n g t h e f u s i o n t a s k , w e w i l l p e r f o r m d i m e n s i o n a l i t y r e d u c t i o n o n t h i s s i x d i m e n s i o n a l s p a c e , a n d d e t e r m i n e t h e e f f e c t o n t h e fi n a l o c c u p a n t s e g m e n t a t i o n . A R e s u l t s o f E M o n C o m b i n e d M o t i o n F l o w F i e l d s T h e E M a l g o r i t h m r e s u l t s o n t h e c o m b i n e d m o t i o n e s t i m a t i o n a r e p r o v i d e d i n F i g u r e 7 . 3 8 . F i g u r e 7 . 3 8 ( a ) i s t h e E M c l u s t e r i n g a n d F i g u r e 7 . 3 8 ( b ) s h o w s t h e c u r r e n t g r a y s c a l e i m a g e fl a m e o v e r l a i d o n t h e s e g m e n t a t i o n r e s u l t s . N o t e t h e s i g n i fi c a n t i m p r o v e m e n t o v e r a n y o f t h e i n d i v i d u a l m e t h o d s i n d e t e c t i n g t h e c o m p l e t e e x t e n t o f t h e o c c u p a n t . I n p a r t i c u l a r , n o t i c e i n F i g u r e 7 . 3 8 ( b ) t h a t t h e r e i s n o m o t i o n d e t e c t e d o u t s i d e t h e r e a r w i n d o w , a n d v e r y l i t t l e m o t i o n i s d e t e c t e d o u t s i d e t h e 3 1 5 p a s s e n g e r w i n d o w a s w e l l . T h e d r a w b a c k i s t h a t n o w w e m u s t p e r f o r m t h e E M a l g o r i t h m i n a 6 - d i m e n s i o n a l s p a c e . ( a ) F i g u r e 7 . 3 8 : E M c l u s t e r i n g r e s u l t s b a s e d o n t h e 6 U a n d V fi e l d s d e r i v e d fl o m t h e m u l t i p l e m e t h o d s ( p h a s e - b a s e d , c o r r e l a t i o n - b a s e d , a n d g r a d i e n t - b a s e d ) , ( a ) B M c l u s t e r i n g , a n d ( b ) E M c l u s t e r i n g o v e r l a i d o n t h e o r i g i n a l i m a g e . B R e s u l t s o f D i m e n s i o n a l i t y R e d u c t i o n o n C o m b i n e d M o t i o n F i e l d s W e p r o c e s s e d a l l o f t h e i n p u t i m a g e s t h r o u g h t h e p r i n c i p a l c o m p o n e n t s a n a l y s i s a l g o r i t h m . W e e x p e r i m e n t e d w i t h t h e n u m b e r o f p r i n c i p a l c o m p o n e n t s t h a t w e r e r e q u i r e d t o p r o v i d e a r e a s o n a b l e s e g m e n t a t i o n o f t h e o c c u p a n t . T h e r e l a t i v e v a l u e s o f t h e e i g e n v a l u e s w i l l s h o w u s t h e a d d i t i o n a l i n f o r m a t i o n c o n t e n t p r e s e r v e d w i t h e a c h a d d i t i o n a l p r i n c i p a l c o m p o n e n t . T h e o r d e r e d e i g e n v a l u e s a r e p l o t t e d i n F i g u r e 7 . 3 9 , a n d T a b l e 7 . 1 s h o w s t h e p e r c e n t a g e s o f i n f o r m a t i o n c a p t u r e d w i t h e a c h i n c r e a s i n g e i g e n v a l u e . N o t e t h a t 8 2 % o f t h e i n f o r m a t i o n i n t h e d a t a s e t i s c o n t a i n e d w i t h i n t h e fi r s t t w o e i g e n v a l u e s , a n d t h e h i g h e s t e i g e n v a l u e a l o n e c a p t u r e s o v e r 6 0 % o f t h e i n f o r m a t i o n . F i g u r e 7 . 4 0 ( b ) s h o w s t h e s e g m e n t a t i o n r e s u l t s m a i n t a i n i n g o n l y 3 1 6 t h e t o p e i g e n v a l u e f o r g e n e r a t i n g t h e f u s e d m o t i o n s e g m e n t a t i o n o u t p u t . L i k e w i s e , F i g u r e 7 . 4 0 ( ( 1 ) s h o w s t h e r e s u l t a n t s e g m e n t a t i o n fl o m u s i n g t h e t o p t w o e i g e n v a l u e s . T h e t o p t w o p r i n c i p a l c o m p o n e n t s p r o v i d e a v e r y g o o d s e g m e n t a t i o n t h a t i s c o m p a r a b l e i n q u a l i t y t o t h e s e g m e n t a t i o n f r o m t h e E M p r o c e s s i n g o f t h e c o m p l e t e s e t o f s i x c o m p o n e n t v e l o c i t y i m a g e s , w i t h c o n s i d e r a b l y l e s s p r o c e s s i n g . 4 5 0 0 1 1 1 1 4 0 0 0 3 5 0 0 3 0 0 0 2 5 0 0 2 0 0 0 1 5 0 0 1 0 0 0 5 0 0 0 I l l I 1 2 3 4 5 6 F i g u r e 7 . 3 9 : O r d e r e d e i g e n v a l u e s o f P C A o n 6 ( U a n d V ) c o m p o n e n t m o t i o n fi e l d s . 3 1 7 T a b l e 7 . 1 : F r a c t i o n o f i n f o r m a t i o n c a p t u r e d b y m a i n t a i n i n g p r i n c i p a l c o m p o n e n t s u p t o t h e m a x i m u m n u m b e r . P r i n c i p a l F r a c t i o n o f I n f o r m a t i o n 1 ( C ) F i g u r e 7 . 4 0 : S e g m e n t a t i o n r e s u l t s o f E M a p p l i e d o n t h e P C A p r o j e c t i o n s o f o p t i c a l fl o w s , ( a ) E M c l u s t e r i n g o f l a r g e s t e i g e n v a l u e , ( b ) o v e r l a i d o n t h e o r i g i n a l i m a g e , ( c ) E M c l u s t e r i n g o f t w o l a r g e s t e i g e n v a l u e s , a n d ( d ) o v e r l a i d o n t h e o r i g i n a l i m a g e . 3 1 8 7 . 6 S u m m a r y W e h a v e s h o w n t h e r e s u l t s fl o m a n u m b e r o f m o t i o n s e g m e n t a t i o n a l g o r i t h m s f r o m t w o c o m p e t i n g f o r m a l i s m s : ( i ) t e m p l a t e m a t c h i n g , a n d ( i i ) o p t i c a l fl o w . I n t e m p l a t e m a t c h i n g w e f o u n d t h a t t h e m a t c h i n g a n d t e m p l a t e u p d a t i n g a l g o r i t h m s a r e l i m i t e d i n t h e a m o u n t o f o c c u p a n t m o t i o n a l l o w e d i n t h e d i r e c t i o n o f t h e c a m e r a . I n o u r a p p l i c a t i o n t h e r e a r e c o n s i d e r a b l e p e r s p e c t i v e e f f e c t s t h a t c a n m a k e i t v e r y d i f fi c u l t t o m a t c h t h e t e m p l a t e fl o m o n e fl a m e t o t h e n e x t , w i t h o u t a l l o w i n g c o n s i d e r a b l e d e f o r m a t i o n o f t h e t e m p l a t e . T h e r e a r e t w o d r a w b a c k s t o a l l o w i n g l a r g e d e f o r m a t i o n s : ( i ) t h e c o m p u t a t i o n a l t i m e r e q u i r e d f o r s e a r c h i n g t h e h i g h d i m e n s i o n a l p a r a m e t e r s p a c e m a y b e p r o h i b i t i v e , a n d ( i i ) w h e n s u c h l a r g e d e f o r m a t i o n s a r e a l l o w e d , t h e a l g o r i t h m c a n e a s i l y m a t c h t o e r r o n e o u s o b j e c t s i n t h e i m a g e a n d c o m p l e t e l y m i s s t h e o c c u p a n t . T h e o p t i c a l fl o w a l g o r i t h m s h a v e b e e n s h o w n t o s t i l l b e e f f e c t i v e f o r m o t i o n s e g m e n t a t i o n , w h e n t h e o c c u p a n t m o t i o n c o n t a i n s a c o m p o n e n t n o r m a l t o t h e i m a g i n g p l a n e . T h i s w o u l d n o t b e t h e c a s e i f w e w e r e t r y i n g t o a c t u a l l y e s t i m a t e t h e m o t i o n v e c t o r s i n t h e i m a g e , b u t r e c a l l w e a r e m e r e l y u s i n g t h e o c c u p a n t ’ s m o t i o n t o s e g m e n t h e r fl o m t h e v e h i c l e b a c k g r o u n d i n t e r i o r . O f t h e O p t i c a l fl o w a l g o r i t h m s , t h e c o r r e l a t i o n m e t h o d p e r f o r m e d t h e b e s t , i n t e r m s m a x i m i z i n g t h e a m o u n t o f t h e o c c u p a n t t h a t w a s i n c l u d e d i n t h e s e g m e n t a t i o n w h i l e . m i n i m i z i n g t h e a m o u n t o f t h e b a c k g r o u n d t h a t w a s i n c l u d e d d u e t o i l l u m i n a t i o n e f f e c t s . B y p e r f o r m i n g t h e c o r r e l a t i o n o n b l o c k s o f p i x e l s , r a t h e r t h a n r e l y i n g o n t h e c a l c u l a t i o n o f t h e g r a d i e n t a t e a c h p i x e l , t h e a l g o r i t h m i s e f f e c t i v e l y i n c r e a s i n g t h e a v a i l a b l e s i g n a l t o n o i s e r a t i o , a n d t h e r e f o r e d e r i v i n g a b e t t e r m o t i o n e s t i m a t e . T h e d r a w b a c k o f c o r r e l a t i o n 3 1 9 m e t h o d s i s t h e r e d u c t i o n i n t h e a c c u r a c y o f t h e a c t u a l b o u n d a r y o f t h e o b j e c t b e i n g s e g m e n t e d , b u t f o r o u r a p p l i c a t i o n t h e a c t u a l b o u n d a r y i s n o t o v e r l y c r i t i c a l . W e a l s o d e m o n s t r a t e d t h e b e n e fi t s o f c o m b i n i n g t h e o u t p u t s o f t h e t h r e e o p t i c a l f l o w a l g o r i t h m s , a n d p e r f o r m i n g i n f o r m a t i o n f u s i o n 0 n t h e c o m p l e t e s e t 0 f c o m p o n e n t v e c t o r fi e l d s . T h e f u s i o n w a s a c c o m p a n i e d b y d i m e n s i o n a l i t y r e d u c t i o n , u s i n g P C A t o r e d u c e t h e n u m b e r o f fl e e v a r i a b l e s e s t i m a t e d , i n o r d e r t o r e d u c e t h e c o m p u t a t i o n a l c o m p l e x i t y a n d t h e e f f e c t s o f n o i s e . W h i l e t h e a d d e d c o m p u t a t i o n a l c o s t o f r u n n i n g m u l t i p l e m o t i o n s e g m e n t a t i o n a l g o r i t h m s i s p r o b a b l y n o t f e a s i b l e f o r o u r a p p l i c a t i o n , t h e r e s e a r c h i n m o t i o n f u s i o n d i d r e i n f o r c e t h e f a c t t h a t t h e r e i s n o s i n g l e b e s t a l g o r i t h m f o r m o t i o n s e g m e n t a t i o n , a n d w h e n c o m b i n e d t o g e t h e r t h e r e s u l t w a s s u p e r i o r t o a n y o f t h e i n d i v i d u a l m e t h o d s . T h i s i s p a r t i c u l a r l y i n t e r e s t i n g s i n c e , i n t h e o r y , a l l t h r e e a l g o r i t h m s a r e p r o v i d i n g r e d u n d a n t i n f o r m a t i o n ( e s t i m a t e s o f t h e U a n d V fi e l d s ) . I n r e a l i t y , h o w e v e r , t h e y e a c h a r e p r o v i d i n g d i f f e r e n t i n f o r m a t i o n o n t h e m o t i o n v e c t o r fi e l d d u e t o t h e d i f f e r e n t m e t h o d s u s e d i n t h e c o m p u t a t i o n . A n i n t e r e s t i n g a r e a o f f u t u r e r e s e a r c h w o u l d b e t o i n v e s t i g a t e m c a n s t o r e d u c e t h e c o m p u t a t i o n a l b u r d e n o f t h e m u l t i p l e a l g o r i t h m s , p o s s i b l y t h r o u g h r e d u c i n g t h e i m a g e r e s o l u t i o n , i n o r d e r t o o f f s e t t h e a d d e d c o m p u t a t i o n a l b u r d e n o f t h e f u s i o n p r o c e s s i n g . T h i s i s s i m i l a r i n p h i l o s o p h y t o t h e i d e a o f c o m b i n a t i o n s o f m u l t i p l e w e a k c l a s s i fi e r s t o b u i l d a s t r o n g c l a s s i fi c a t i o n s y s t e m [ 4 7 ] . T h e r e m a y a l s o b e a b e n e fi t fl o m u s i n g a d d i t i o n a l i n p u t s , s u c h a s t h e i n p u t g r a y s c a l e i m a g e , t o p r o v i d e a d d i t i o n a l c o n s t r a i n t s o n t h e E M m o d e l i n g . T h i s c o n c e p t o f i n t e g r a t i n g a d d i t i o n a l , n o n - m o t i o n r e l a t e d d a t a , i n t o t h e E M p r o c e s s i n g i s a n i n t e r e s t i n g a r e a f o r f u t u r e r e s e a r c h . 3 2 0 L a s t l y , w e i n t r o d u c e d t h e u s e o f m u t u a l i n f o r m a t i o n a s a m e c h a n i s m f o r r e f o r m u l a t i n g t h e o p t i c a l fl o w p r o b l e m , f r o m t h e t r a d i t i o n p a r a d i g m o f t h e fl o w o f g r a y s c a l e v a l u e s t h r o u g h t h e i m a g e s e q u e n c e , t o a p a r a d i g m o f t h e fl o w o f i n f o r m a t i o n t h r o u g h t h e i m a g e s e q u e n c e . B y r e f o r m u l a t i n g t h e p r o b l e m i n t o t h i s n e w r e p r e s e n t a t i o n , w e w e r e a b l e t o d e m o n s t r a t e a d e c o u p l i n g o f t h e e f f e c t s o f i l l u m i n a t i o n a n d t h e e f f e c t s o f m o t i o n i n a n i m a g e s e q u e n c e . W h i l e t h e t r a d i t i o n a l a l g o r i t h m s t e n d t o c o n fi i s e t h e s e t w o s o u r c e s o f i m a g e c h a n g e , t h e m e a s u r e m e n t o f t h e m u t u a l i n f o r m a t i o n b e t w e e n s u c c e s s i v e i m a g e fl a m e s s h o w s a d i s t i n c t p h e n o m e n o l o g i c a l d i f f e r e n c e b e t w e e n t h e t w o s o u r c e s o f i m a g e c h a n g e . A n i n t e r e s t i n g d i r e c t i o n o f f u t u r e w o r k w i l l b e i n t h e a r e a o f d e v e l o p i n g a l g o r i t h m s f o r m o t i o n s e g m e n t a t i o n t h a t a r e b a s e d o n m u t u a l i n f o r m a t i o n . 3 2 1 C h a p t e r 8 . O c c u p a n t R e p r e s e n t a t i o n f o r T r a c k i n g T h e o b j e c t i v e o f o c c u p a n t r e p r e s e n t a t i o n i s t o d e fi n e a m o d e l o f t h e o c c u p a n t t h a t e n a b l e s e f fi c i e n t t r a c k i n g . T h e r e a r e t w o t y p e s o f r e p r e s e n t a t i o n r e q u i r e d f o r c o m p l e t e l y d e fi n i n g a t r a c k i n g s y s t e m f o r a n o b j e c t : ( i ) s h a p e r e p r e s e n t a t i o n , a n d ( i i ) m o t i o n r e p r e s e n t a t i o n . 8 . 1 O c c u p a n t S h a p e R e p r e s e n t a t i o n T h e r e a r e t h r e e c o m m o n m e t h o d s u s e d f o r m o d e l i n g t h e s h a p e o f a h u m a n i n a n i m a g e s c e n e : ( i ) c o n t o u r - l e v e l m o d e l i n g , ( i i ) b l o b - l e v e l m o d e l i n g , a n d ( i i i ) w h o l e - b o d y m o d e l i n g ( s i l h o u e t t e s ) [ 1 0 8 ] [ 1 1 7 ] [ 1 1 7 ] . T h e s e a p p r o a c h e s n e a r l y s p a n t h e e n t i r e s e t o f m o d e l i n g p o s s i b i l i t i e s , fl o m t h e fi n e s t t o t h e c o a r s e s t r e s o l u t i o n s . P i x e l - l e v e l p r o c e s s i n g i s n o t c o n s i d e r e d , s i n c e i t w o u l d r e q u i r e t r a c k i n g t h e o c c u p a n t a t t o o a l o w l e v e l t o b e p r a c t i c a l . 8 . 1 . 1 C o n t o u r - L e v e l M o d e l s C o n t o u r - l e v e l p r o c e s s i n g m o d e l s t h e h u m a n c o n t o u r a s a s e t o f c u r v e s e g m e n t s , m o s t c o m m o n l y a c c o m p l i s h e d u s i n g B - S p l i n e s [ 1 0 8 ] [ 1 1 7 ] . F i g u r e 8 . 1 3 2 2 p r o v i d e s t h e g r a p h i c a l r e p r e s e n t a t i o n f o r t h i s m o d e l . T h e s y s t e m t r a c k s h i g h c o n t r a s t p o i n t s a l o n g t h e c o n t o u r b y s e a r c h i n g a l o n g v e c t o r s n o r m a l t o t h e c o n t o u r , a t e q u a l l y s p a c e d s a m p l e p o i n t s . T h e s y s t e m c a n t h e n m o d e l t w o t y p e s 0 f e v o l u t i o n 0 f t h e c o n t o u r : ( i ) t r a n s l a t i o n a l a n d r o t a t i o n a l m o t i o n o f t h e e n t i r e c o n t o u r , a n d ( i i ) d e f o r m a t i o n s o f t h e c o n t o u r . 8 . 1 . 2 B l o b L e v e l M o d e l s T h e b l o b - l e v e l p r o c e s s i n g d e fi n e s t h e h u m a n b y a s e t o f c o n n e c t e d , b u t s e p a r a t e l y b e h a v i n g c o m p o n e n t s , t y p i c a l l y b a s e d o n t h e j o i n t l o c a t i o n s i n t h e h u m a n , a s s h o w n i n F i g u r e 8 . 2 [ 1 1 7 ] . T h e o v e r a l l s t r u c t u r e o f t h e h u m a n i s m a i n t a i n e d t h r o u g h h a r d c o n s t r a i n t s , w h i c h f o r c e t h e b l o b s t o r e m a i n c o n n e c t e d , a s s h o w n i n F i g u r e 8 . 2 ( g ) . T h i s t y p e o f r e p r e s e n t a t i o n i s v e r y n a t u r a l f o r s y s t e m s t h a t u s e m o t i o n b a s e d s e g m e n t a t i o n , s i n c e e v e r y s e g m e n t o f t h e h u m a n b o d y w o u l d h a v e a d i f f e r e n t m o t i o n [ 1 1 7 ] . F o r e x a m p l e , F i g u r e 8 . 2 ( c ) t h r o u g h ( i ) s h o w t h e b l o b s c o r r e s p o n d i n g t o t h e d i f f e r e n t m o t i o n s d e t e c t e d f o r t h e v a r i o u s p a r t s o f t h e a r m . S i n c e d i f f e r e n t b o d y c o m p o n e n t s a r e n a t u r a l l y m o d e l e d i n t h i s a p p r o a c h , i t i s s t r a i g h t f o r w a r d t o p e r f o r m b o d y p a r t t r a c k i n g . 8 . 1 . 3 W h o l e - B o d y M o d e l s T h e w h o l e - b o d y r e p r e s e n t a t i o n c a n b e c o n s i d e r e d a l i m i t i n g c o n d i t i o n o f t h e b l o b r e p r e s e n t a t i o n , w h e r e t h e h u m a n i s m o d e l e d b y a s i n g l e b l o b o r s i l h o u e t t e . T h i s 3 2 3 r e p r e s e n t a t i o n i s s h o w n i n F i g u r e 8 . 3 [ 1 1 5 ] . T h e o v e r a l l p o s t u r e o f t h e h u m a n i s d e t e r m i n e d b a s e d o n t h e o r i e n t a t i o n a n d s h a p e o f t h e s i l h o u e t t e . A s t a n d i n g h u m a n h a s a d r a m a t i c a l l y d i f f e r e n t s i l h o u e t t e t h a n a s i t t i n g , o r b e n d i n g , h u m a n . F r o m p o s t u r e a n a l y s i s , t h e p r o b a b l e l o c a t i o n s o f t h e v a r i o u s b o d y p a r t s m a y b e d e t e c t e d a n d t r a c k e d . T h e c o m p l e t e s i l h o u e t t e c a n b e u s e d t o p e r f o r m o t h e r f u n c t i o n s , s u c h a s s y m m e t r y a n d p e r i o d i c i t y a n a l y s i s [ 1 1 5 ] . T h e s y m m e t r y a n a l y s i s c a n b e u s e d t o d e t e r m i n e i f t h e h u m a n i s c a r r y i n g a n o b j e c t , s u c h a s a b a g o r a b o x . P e r i o d i c a n a l y s i s c a n b e u s e d t o i d e n t i f y b o d y p a r t s . F o r e x a m p l e , t h e m o t i o n o f t h e l e g s w i l l h a v e a p e r i o d i c n a t u r e t o t h e m , a n d h e n c e c a n b e i s o l a t e d fl o m t h e s i l h o u e t t e . L i k e w i s e , a r e g i o n t h a t d o e s n o t e x h i b i t t h e p e r i o d i c n a t u r e m a y c o r r e s p o n d t o t h e t o r s o . F i g u r e 8 . 1 : C o n t o u r - l e v e l r e p r e s e n t a t i o n o f h u m a n s t r u c t u r e [ 1 0 8 ] . F o r t h e a i r b a g s u p p r e s s i o n a p p l i c a t i o n , t h e w h o l e b o d y r e p r e s e n t a t i o n i s t h e m o s t l o g i c a l . W e a r e n o t i n t e r e s t e d i n t r a c k i n g l i m b s , s i n c e o n l y t h e l o c a t i o n s o f t h e 3 2 4 h e a d a n d t o r s o a r e u s e d f o r s u p p r e s s i n g t h e a i r b a g . W e w i l l f u r t h e r s i m p l i f y t h e w h o l e b o d y r e p r e s e n t a t i o n b y d e fi n i n g a b o u n d i n g e l l i p s e a r o u n d t h e o c c u p a n t . ( 8 ) F i g u r e 8 . 2 : B l o b r e p r e s e n t a t i o n o f t h e h u m a n d u r i n g m o t i o n s h o w i n g t h e m o d e l i n g o f t h e v a r i o u s m o v i n g b o d y p a r t s a s d i s t i n c t b l o b s . ( a ) i n i t i a l r a w i m a g e , ( b ) r a w i m a g e a t n e x t t i m e i n s t a n c e , ( c ) b l o b f o r t h e u p p e r a r m , ( ( 1 ) b l o b f o r t h e h a n d , ( e ) b l o b f o r t h e e l b o w , ( f ) b l o b f o r t h e f o r e a r m , a n d ( g ) d e fi n i t i o n o f t w o b l o b s a n d t h e i r i n t e r a c t i o n p o i n t [ 1 1 7 ] . 3 2 5 ( b ) F i g u r e 8 . 3 : W h o l e b o d y r e p r e s e n t a t i o n o f h u m a n s d u r i n g m o t i o n , ( a ) r a w i m a g e s c e n e , a n d ( b ) s e g m e n t e d i m a g e s h o w i n g t w o d i s t i n c t w h o l e - b o d y b l o b s [ 1 1 5 ] . 8 . 1 . 4 E l l i p s e M o d e l o f O c c u p a n t T h e e l l i p s e m o d e l o f t h e o c c u p a n t f o c u s e s o n t h e h e a d a n d t o r s o m o t i o n . T h e m o t i o n o f t h e l i m b s i s n o t o f c o n c e r n , a n d c a n a c t u a l l y b e c o n s i d e r e d f o r e g r o u n d c l u t t e r t h a t s h o u l d b e i g n o r e d , s i n c e a h a n d i n t h e A S Z i s n o t t o b e c o n s i d e r e d a n i n t r u s i o n . T h e t w o u n d e r l y i n g a s s u m p t i o n s f o r o u r a p p r o a c h t o o c c u p a n t m o d e l i n g f o r d y n a m i c s u p p r e s s i o n a r e : ( i ) t h e o c c u p a n t c a n b e m o d e l e d u s i n g a b o u n d i n g e l l i p s e , a n d ( i i ) t h e m o t i o n o f t h i s e l l i p s e c a n b e r e l i a b l y t r a c k e d t o p r e d i c t w h e n t h e o c c u p a n t ’ s h e a d o r t o r s o m a y e n t e r t h e a u t o m a t i c s u p p r e s s i o n z o n e ( A S Z ) . F i g u r e 8 . 4 s h o w s t h e g e o m e t r y o f t h i s f u n d a m e n t a l a s s u m p t i o n . T h e e l l i p t i c a l m o d e l p r o v i d e s a c o n s i d e r a b l e r e d u c t i o n i n t h e c o m p l e x i t y o f t h e m o t i o n t r a c k i n g p r o b l e m , a n d a l l o w s u s t o o n l y t r a c k t h e f o l l o w i n g p a r a m e t e r s : 1 ) c o o r d i n a t e s f o r x a n d y c e n t r o i d , 2 ) m a j o r a n d m i n o r a x e s , a n d 3 2 6 3 ) i n - p l a n e r o t a t i o n , 1 9 . Y - a x i s B o u n d i n g E l l i p s e o f 4 H e a d a n d T o r s o o c c u p a n t X - a x i s ( a ) ( b ) F i g u r e 8 . 4 : H u m a n r e p r e s e n t a t i o n g e o m e t r y f o r t r a c k i n g , ( a ) d e fi n i t i o n o f e l l i p s e p a r a m e t e r s , a n d ( b ) e l l i p s e fi t t o t h e h u m a n o c c u p a n t . T h e s e p a r a m e t e r s s e r v e a s t h e i n p u t m e a s u r e m e n t v e c t o r f o r t h e s u b s e q u e n t o c c u p a n t t r a c k i n g . A d d i t i o n a l l y , t h i s s i m p l i f y i n g a s s u m p t i o n p r o v i d e s i n c r e a s e d r o b u s t n e s s a g a i n s t e x t r a n e o u s m o t i o n , s u c h a s t h a t f o u n d o u t s i d e t h e p a s s e n g e r w i n d o w o r fl o m t h e m o t i o n o f t h e o c c u p a n t ’ s a r m s . T h e r e a r e t w o m e t h o d s f o r c o m p u t i n g t h e e l l i p s e , d e p e n d i n g o n w h e t h e r a t e m p l a t e - b a s e d a p p r o a c h o r a n o p t i c a l fl o w - b a s e d a p p r o a c h i s u s e d f o r m o t i o n s e g m e n t a t i o n . l ) f o r t h e t e m p l a t e - b a s e d s e g m e n t a t i o n , t h e e l l i p s e i s c o m p u t e d fl o m a s e t o f p o i n t s c o r r e s p o n d i n g t o t h e o c c u p a n t ’ s b o u n d a r y , o r 3 2 7 2 ) f o r t h e o p t i c a l fl o w - b a s e d s e g m e n t a t i o n , t h e e l l i p s e i s c o m p u t e d fl o m t h e b i n a r y r e g i o n c o r r e s p o n d i n g t o t h e e n t i r e o c c u p a n t . F i g u r e 8 . 5 s h o w s t h e c h a r a c t e r i s t i c s o f t h e s e t w o d a t a s e t s . F o r t h e c o n t o u r - b a s e d s e g m e n t a t i o n , t h e e l l i p s e - fi t t i n g a p p r o a c h i s b a s e d o n l e a s t s q u a r e s fi t t i n g . F o r t h e m o t i o n - b a s e d s e g m e n t a t i o n , t h e e l l i p s e - fi t t i n g a p p r o a c h i s b a s e d o n m o m e n t a n a l y s i s . F i g u r e 8 . 5 : E l l i p s e fi t t i n g p r o b l e m d e fi n i t i o n , ( a ) t e m p l a t e m a t c h i n g - b a s e d s e g m e n t a t i o n a s i n p u t , a n d ( b ) o p t i c a l fl o w - b a s e d s e g m e n t a t i o n a s i n p u t . A D i r e c t L e a s t S q u a r e s E l l i p s e F i t T h e r e a r e t w o m e t h o d s f o r e s t i m a t i n g t h e b e s t - fi t e l l i p s e t o a c o n t o u r s u c h a s s h o w n i n F i g u r e 8 . 5 ( a ) : ( i ) H o u g h t r a n s f o r m , a n d ( i i ) l e a s t s q u a r e s fi t t i n g [ 4 1 ] . T h e H o u g h t r a n s f o r m m e t h o d h a s t h e a d v a n t a g e s o f b e i n g v e r y r o b u s t t o n o i s e a n d o c c l u s i o n , a n d a l s o a l w a y s g e n e r a t i n g a n e l l i p s e . T h e d i s a d v a n t a g e o f t h e H o u g h t r a n s f o r m i s t h a t i t i s c o m p u t a t i o n a l i n t e n s i v e , w h i c h i s a c r i t i c a l i s s u e i n t h e a i r b a g s u p p r e s s i o n a p p l i c a t i o n . T h e l e a s t s q u a r e s m e t h o d h a s t h e a d v a n t a g e o f a l o w e r p r o c e s s i n g b u r d e n , b u t a g e n e r a l l e a s t s q u a r e s fi t t i n g o f c o n i c s d o e s n o t n e c e s s a r i l y 3 2 8 g e n e r a t e e l l i p s e s , a s i s s h o w n i n F i g u r e 8 . 6 . T h i s fi g u r e s h o w s t h e d e v i a t i o n fl o m a p e r f e c t e l l i p s e f o r f o u r d a t a s e t s o f i n c r e a s i n g d i s t o r t i o n [ 4 1 ] . T h e r e s u l t s d e m o n s t r a t e d i n t h i s s e t o f i m a g e s a r e c r i t i c a l f o r t h e a i r b a g s u p p r e s s i o n a p p l i c a t i o n , w h e r e t h e e l l i p s e m o d e l i s a c t u a l l y a s i m p l i f y i n g a s s u m p t i o n t o t h e t r u e u n d e r l y i n g f o r m o f t h e h u m a n b o d y . R e c a l l f r o m F i g u r e 8 . 5 ( a ) t h a t t h e a c t u a l c o n t o u r d a t a e x t r a c t e d f r o m a n i m a g e t o r e p r e s e n t a n a d u l t o c c u p a n t , w h i c h i s f a r fl o m a p e r f e c t e l l i p s e . T h e r e f o r e o u r a p p l i c a t i o n w i l l b e v e r y s e n s i t i v e t o t h e r o b u s t n e s s o f t h e e l l i p s e - fi t t i n g a l g o r i t h m . R a t h e r t h a n p e r f o r m i n g t h e l e a s t s q u a r e s fi t t o a s i m p l e c o n i c , w e w i l l n e e d t o e x p l i c i t l y a s s u m e a n e l l i p t i c a l f o r m [ 4 0 ] . R e c a l l a g e n e r a l c o n i c i s o f t h e f o r m [ 4 0 ] : f ( a , x ) = a x 2 + b x y + c y 2 + d x + e y + f , ( 8 . 1 ) w h e r e w e c a n w r i t e : a = [ a b c d e f ] a n d x = | : x 2 x y y 2 x y 1 ] . W e d e fi n e f ( a , x . ) = D , a s t h e d i s t a n c e f r o m a p a r t i c u l a r p o i n t , x . t o t h e c o n i c d e fi n e d b y l l f ( a , x . ) = 0 . T h e p r o b l e m o f fi t t i n g a n i n p u t s e t o f d a t a p o i n t s t o t h e c u r v e i n 1 E q u a t i o n ( 8 . 1 ) c a n t h e n b e f o r m u l a t e d a s m i n i m i z i n g t h e t o t a l d i s t a n c e t o a l l t h e p o i n t s i n t h e l e a s t s q u a r e d e r r o r s e n s e [ 4 0 ] : a = a r g m i n { § : f ( a , x , ) 2 } . ( 8 . 2 ) 3 i = 1 ' S p e c i fi c c o n s t r a i n t s m u s t b e i m p o s e d o n a t o e n s u r e a u n i q u e a n d e l l i p t i c a l s o l u t i o n . T h e c o n s t r a i n t s e n s u r e t h a t t h e e l l i p s e i s o f t h e f o r m : b 2 - 4 a c < 0 . T h i s 3 2 9 _ _ _ _ 1 . g f ( a , x i ) . ( 8 . 3 ) q u a d r a t i c c o n s t r a i n t c a n b e e n f o r c e d o n E q u a t i o n ( 8 . 2 ) b y m i n i m i z i n g t h e c o s t f u n c t i o n [ 4 1 ] : ( C ) ( ( 1 ) F i g u r e 8 . 6 : E x a m p l e s o f c o n i c l e a s t s q u a r e s fi t t i n g , ( a ) p e r f e c t s e t o f e l l i p s e p o i n t s , ( b ) e l l i p s e p o i n t - s e t w i t h l a r g e a m o u n t o f o c c l u s i o n , ( c ) S - s h a p e d p o i n t s e t , a n d ( ( 1 ) p a r a l l e l C - s h a p e d p o i n t s e t . T h i s c a n b e f o r m u l a t e d a s a n e i g e n v a l u e p r o b l e m b y d e fi n i n g t h e c o n s t r a i n t e q u a t i o n i n m a t r i x f o r m a s [ 4 0 ] : 3 3 0 O 0 — 2 0 0 0 0 l 0 0 0 0 b — 4 a c = a a = a ' C a < 0 . ( 8 . 4 ) 0 0 0 0 O 0 0 O 0 0 0 0 L O 0 0 O O 0 ‘ I f w e a l s o d e fi n e a d e s i g n m a t r i x a n d a s c a t t e r m a t r i x b y [ 4 1 ] : D z l r r l x - - - l e 7 , a n d S = ’ D T D , ( 8 . 5 ) 2 t h e n t h e e i g e n v a l u e p r o b l e m c a n b e w r i t t e n a s [ 4 1 ] : S a = 2 C a a n d ( 8 . 6 ) a T C a = 1 . F o r t h e c o n s t r a i n t d e fi n e d b y E q u a t i o n ( 8 . 4 ) , t h e r e w i l l b e o n l y o n e p o s i t i v e e i g e n v a l u e , a n d t h i s e i g e n v a l u e d e fi n e s t h e s o l u t i o n t o t h e e l l i p s e - s p e c i fi c l e a s t s q u a r e s fi t p r o b l e m . T h e c o r r e s p o n d i n g e i g e n - v e c t o r c o r r e s p o n d s t o t h e v e c t o r o f t h e e l l i p s e - fi t p a r a m e t e r s : a = [ a b c d e f ] [ 4 1 ] . 3 3 1 M o m e n t s - b a s e d E l l i p s e F i t T h e b o u n d i n g e l l i p s e s h a p e p a r a m e t e r s c a n b e c a l c u l a t e d f r o m t h e c e n t r a l m o m e n t s o f t h e s e g m e n t e d , N x M b i n a r y i m a g e i n F i g u r e 8 . 5 ( b ) . T h e s e c o n d o r d e r c e n t r a l m o m e n t s a r e c o m p u t e d a c c o r d i n g t o : N M 2 = 4 2 M a r i o — 1 1 , 1 2 . m = x x o o i l j = l 1 N M . . z = — z 2 1 ( 1 . 1 ) - < x - 1 1 1 0 1 — 1 1 ) . X ) ’ m . . x y 0 0 1 = 1 1 = I 1 N M . . 2 = — > : 2 1 ( 1 . 1 ) - ( y — p ) 2 , W m . . y 0 0 1 = l j = l w h e r e t h e l o w e r o r d e r m o m e n t s a r e : N M m o o : ) 3 2 1 0 , 1 ) , i = l j = l 1 N M . . 1 N M . . 1 1 = — Z 2 1 0 1 1 ) ) : a n d 1 1 = — Z 2 1 0 , 1 ) » x m . _ . _ y m . _ . _ O o l — I j — I O O r - I j — I N o w t h e p a r a m e t e r s o f t h e e l l i p s e a r e d e fi n e d t o b e : c e n t r o i d = , u a n d c e n t r o i d = , u , X X y y w i t h . — l - ( > : + 2 ) + m a j o r 2 x x W 1 . n g + 2 2 — 2 . z - > : + 4 . 2 : 2 2 W x x x x y y 2 3 1 3 3 2 ( 8 . 7 ) ( 8 . 8 ) ( 8 . 9 ) ( 8 . 1 0 ) ( 8 . 1 1 ) ( 8 . 1 2 ) ( 8 . 1 3 ) = l - ( z + 2 ) — 2 x x ) m i n o r y . ( 8 . 1 4 ) l - 2 2 + 2 2 — 2 - > : - 2 + 4 2 2 2 W x x x x y y x y a n d L . — 2 S l o p e z t a n “ " ‘ 3 ’ ; x x ( 8 . 1 5 ) x y 8 . 2 O c c u p a n t M o t i o n R e p r e s e n t a t i o n T h e m o t i o n o f t h e h u m a n i n t h e v e h i c l e c a n b e m o d e l e d a s a s e q u e n c e o f d i s t i n c t m o t i o n e v e n t s . F o r e x a m p l e , t h e o c c u p a n t c a n b e s i t t i n g s t i l l , a n d t h e n m o v e f o r w a r d t o o p e n t h e g l o v e b o x o r t h e o c c u p a n t c a n b e m o v i n g n o r m a l l y , a n d t h e n b e s u d d e n l y p r o p e l l e d f o r w a r d d u e t o a p r e - c r a s h b r a k i n g e v e n t . T h i s s t r u c t u r e o f a s e q u e n c e o f m o t i o n t y p e s c a n b e a d d r e s s e d i n t h e fl a m e w o r k o f t h e h u m a n a c t i v i t y c l a s s i fi c a t i o n / r e c o g n i t i o n p r o b l e m . A p o s s i b l e t a x o n o m y o f t h e m e t h o d s a v a i l a b l e t o s o l v e t h i s c l a s s o f p r o b l e m i s p r o v i d e d i n F i g u r e 8 . 7 [ 1 1 2 ] . T h e t w o g e n e r a l a p p r o a c h e s a r e : ( i ) t e m p l a t e m a t c h i n g , a n d ( i i ) s t a t e s p a c e a n a l y s i s . T h e s t a t e s p a c e m e t h o d i s m o r e c o m m o n l y u s e d t h a n t e m p l a t e m a t c h i n g d u e t o i t s fl e x i b i l i t y [ l l 6 ] [ 1 1 7 ] [ 1 2 l ] [ 1 2 2 ] . T r a d i t i o n a l l y , s t a t e s p a c e r e p r e s e n t a t i o n s o f h u m a n m o t i o n a r e f o c u s e d o n p o s t u r e s t a t e s o f t h e s u b j e c t . W i t h i n t h e s t a t e - s p a c e m e t h o d s , h o w e v e r , w e p r o p o s a f u r t h e r s u b d i v i s i o n i n t o t w o m e t h o d s : ( i ) p o s t u r e - b a s e d m e t h o d s , a n d ( i i ) d y n a m i c s - b a s e d m e t h o d s . T h e p o s t u r e - b a s e d a p p r o a c h m o n i t o r s t h e t r a n s i t i o n s fl o m o n e p o s t u r e t o t h e n e x t i n a n 3 3 3 i m a g e s e q u e n c e [ 1 l 3 ] [ 1 1 4 ] . T h e d y n a m i c s - b a s e d a p p r o a c h m o n i t o r s t h e t r a n s i t i o n s b e t w e e n d y n a m i c s m o d e l s d u r i n g t h e i m a g e s e q u e n c e [ 1 1 6 ] [ 1 1 7 ] [ l l 8 ] . F i g u r e 8 . 7 : S t r u c t u r e o f h u m a n m o t i o n a n a l y s i s p r o b l e m . F o r t h e a i r b a g s u p p r e s s i o n a p p l i c a t i o n , i t i s n a t u r a l t o u s e t h e d y n a r r r i c s m o d e l f o r s t a t e s p a c e a n a l y s i s , s i n c e t h e p o s t u r e o f t h e o c c u p a n t i s f u n d a m e n t a l l y n o n - c h a n g i n g . T h e o c c u p a n t ’ s m o t i o n w i t h i n t h e v e h i c l e , a n d p a r t i c u l a r l y h i s m o t i o n t o w a r d s t h e a i r b a g , i s t h e c r i t i c a l b e h a v i o r t h a t m u s t b e m o d e l e d . O u r p r o p o s e d s t a t e s p a c e f o r t h e o c c u p a n t c o n s i s t s o f t h r e e p o s s i b l e s t a t e s : 1 ) S t a t i o n a r y ( n o m o t i o n ) , 2 ) H u m a n m o t i o n ( r o u g h l y 0 . 1 g a c c e l e r a t i o n ) , a n d 3 ) P r e - c r a s h b r a k i n g m o t i o n ( r o u g h l y 1 . 0 g a c c e l e r a t i o n ) . 3 3 4 C o m p l e x d y n a m i c s c a n b e m o d e l e d i n a s t a t e s p a c e p a r a d i g m b y s e q u e n c e s o f a t o m i c d y n a m i c s e v e n t s , s o m e t i m e s r e f e r r e d t o a s “ M o v e m e s ” i n [ 1 2 2 ] , o r a l t e r n a t i v e l y , e l e m e n t s i n a m o t i o n a l p h a b e t i n [ 1 1 7 ] . I n t h e s t a t e s p a c e m o d e l , t h e d y n a m i c s o f t h e o c c u p a n t o v e r t i m e c a n b e m o d e l e d b y a s e t o f a t o m i c s t a t e s , d e fi n e d b y s p e c i fi c d y n a m i c s a n d d u r a t i o n s . T h i s t y p e o f m o d e l , w i t h t h e s e s t a t e s o f v a r y i n g d u r a t i o n , i s n a t u r a l l y a d d r e s s e d b y H i d d e n M a r k o v M o d e l s ( H M M s ) , a n d i s u s e d i n t h e m a j o r i t y o f r e s e a r c h o n t h i s t o p i c [ 1 1 6 ] [ 1 1 7 ] [ 1 2 2 ] [ 1 2 5 ] . W h e n u s i n g H M M s t o m o d e l d a t a s t r e a m s , t h e r e a r e t w o u n d e r l y i n g a s s u m p t i o n s t h a t a r e r a r e l y c o n fi r m e d w h e n a p p l y i n g t h e t e c h n o l o g y , n a m e l y [ 9 2 ] : 1 ) t h e t r a n s i t i o n b e t w e e n s t a t e s i s i n s t a n t a n e o u s , a n d 2 ) t h e r e i s o n l y o n e s t a t e i n o p e r a t i o n a t a t i m e . C o n s e q u e n t l y , w i t h H M M s , h u m a n m o t i o n i s m o d e l e d a s a c o n c a t e n a t e d s e q u e n c e o f a t o m i c m o t i o n s , o r p o s t u r e s , w i t h a n i n s t a n t a n e o u s t r a n s i t i o n b e t w e e n s t a t e s [ 1 1 7 ] [ 1 2 5 ] [ 1 2 6 ] . W e b e l i e v e t h a t t h e s e a s s u m p t i o n s a r e o f t e n n o t m e t i n h u m a n m o t i o n a n a l y s i s u s i n g r e a l - t i m e v i d e o , a n d , w h i l e t h e y h a v e h a d s o m e s u c c e s s i n t h e r e s e a r c h c o m m u n i t y , a n o t h e r m e c h a n i s m m a y b e m o r e e f f e c t i v e a t m o d e l i n g t h e c o m p l e x i t y o f h u m a n m o t i o n d y n a m i c s . R e c a l l t h a t H M M s w e r e o r i g i n a l l y u s e d f o r m o d e l i n g s e q u e n c e s o f p h o n e m e s i n h u m a n s p e e c h [ 1 2 3 ] . I n t h e s p e e c h a p p l i c a t i o n , t h e r e q u i r e m e n t o f i n s t a n t a n e o u s t r a n s i t i o n s a n d n o n - s i m u l t a n e i t y o f s t a t e s i s m e t . T h e h u m a n v o c a l t r a c k c a n o n l y p r o d u c e a s i n g l e s o u n d a t a t i m e , d u e t o i t s p h y s i c a l l i m i t a t i o n s . A l s o t h e t r a n s i t i o n s b e t w e e n p h o n e m e s i n a h u m a n s p e e c h s e q u e n c e a r e q u i t e r a p i d i n r e l a t i o n t o t h e d u r a t i o n o f m a n y o f t h e p h o n e m e s [ 1 0 2 ] . 3 3 5 H o w e v e r , w h e n m o d e l i n g t h e e n t i r e h u m a n b o d y , i t i s p o s s i b l e t o b e i n t w o s t a t e s a t t h e s a m e t i m e , w h e n t h e m o t i o n i s v i e w e d w i t h i n t h e c o n t e x t o f a r e a l - t i m e s e q u e n c e o f v i d e o i m a g e s . N o t e t h a t m o s t c o m m e r c i a l c a m e r a s g e n e r a t e 3 0 i m a g e fl a m e s p e r s e c o n d , w h i l e t h e f a s t e s t h u m a n r e fl e x m o t i o n i s r o u g h l y 1 0 H e r t z , a n d m o s t t y p i c a l g r o s s h u m a n m o t o r e v e n t s a r e t y p i c a l l y i n t h e 0 . 1 — 1 . 0 H e r t z f r e q u e n c y r a n g e . F o r e x a m p l e , t h e s i m p l e m o t i o n s e q u e n c e o f a h u m a n g e t t i n g o u t o f a c h a i r m a y a c t u a l l y b e b e t t e r m o d e l e d a s a s e q u e n c e o f t h e c o m b i n a t i o n o f t h e s i t t i n g a n d s t a n d i n g s t a t e s , w h e r e t h e p r o b a b i l i t y o f b e i n g i n s i t t i n g v e r s u s s t a n d i n g s t a t e s g r a c e f u l l y e v o l v e s o v e r t i m e . F i g u r e 8 . 8 p r o v i d e s a s e g m e n t o f a r e a l - t i m e v i d e o s e q u e n c e , w h e r e a n o c c u p a n t i s s l o w l y m o v i n g i n h i s s e a t , p e r f o r m i n g n o r m a l h u m a n m o t i o n s . L i k e w i s e , F i g u r e 8 . 9 p r o v i d e s a t i m e h i s t o r y o f t h e l i k e l i h o o d t h a t t h e d y n a m i c s o f t h e o c c u p a n t c o r r e s p o n d s t o o n e 0 f t h e t h r e e ( I y n a m i c s s t a t e s ( I e fi n e d e a r l i e r . N o t i c e t h a t w h i l e t h e r e a r e p e r i o d s i n t h e m o t i o n s t r e a m w h e r e t h e o c c u p a n t i s m o r e c l e a r l y i n a m o v i n g v e r s u s a s t a t i o n a r y s t a t e , t h e r e a r e m a n y t r a n s i t o r y s t a g e s w h e r e t h e r e i s n o c l e a r d e c i s i o n p o s s i b l e , a n d t h e d y n a m i c s w o u l d b e s t b e r e p r e s e n t e d a s a w e i g h t e d a v e r a g e o f t h e t w o m o s t l i k e l y s t a t e s . I n g e n e r a l , i t i s e x t r e m e l y a r t i fi c i a l t o c o n s i d e r t h e o c c u p a n t ’ s m o t i o n t o b e r e p r e s e n t e d b y s e q u e n c e s o f t h e o c c u p a n t b e i n g s t a t i o n a r y a n d b e i n g s t o p p e d , w i t h o u t fi r s t t r a n s i t i o n i n g b e t w e e n i n t e r m e d i a t e s t a t e s . I n t h e s e c a s e s i t i s d i f fi c u l t t o d e fi n e e x a c t l y w h i c h o f t h e m o d e l s s h o u l d b e u s e d i n a n H M M a r c h i t e c t u r e . 3 3 6 fl ? " ‘ 1 i 5 . 5 F i g u r e 8 . 8 : S e q u e n c e o f a n a d u l t o c c u p a n t m o v i n g n o r m a l l y i n a v e h i c l e . 3 3 7 2 0 F r a m e p r o b ( s t a t i o n a r y ) p r o b ( h u m a n ] p r o b j c r a s m F i g u r e 8 . 9 : V a r i a t i o n s i n t h e m o d e l l i k e l i h o o d s f o r e a c h O f t h e m o t i o n m o d e l s d u r i n g n o r m a l h u m a n m o t i o n . A n a l t e r n a t i v e m e c h a n i s m f o r m o d e l i n g h u m a n m o t i o n i n v i d e o s e q u e n c e s , c a l l e d t h e i n t e r a c t i n g m u l t i p l e m o d e l s ( I M M ) t r a c k i n g , i s o n e w h e r e t h e s y s t e m s i m u l t a n e o u s l y g e n e r a t e s t r a c k s f o r a l l t h e p o s s i b l e m o t i o n s t a t e s , a n d t h e n g e n e r a t e s a fi n a l s t a t e b y m i x i n g t h e s e a t o m i c t r a c k s t o g e t h e r . T h e m i x i n g i s a c c o m p l i s h e d u s i n g t h e a n a l y s i s o f t h e d e v i a t i o n b e t w e e n t h e p r e d i c t e d t r a c k a n d t h e n e x t t r a c k e s t i m a t e t o g e n e r a t e t h e l i k e l i h o o d o f e a c h o f t h e t r a c k m o d e l s . 3 3 8 8 . 2 . 1 S e q u e n t i a l D y n a m i c s M o d e l i n g U s i n g H M M s T h e b a s i c f o r m u l a t i o n o f H M M , i s t h a t a t i m e s e q u e n t i a l s y s t e m c a n b e m o d e l e d a s a s e q u e n c e o f i n d i v i d u a l a t o m i c s t a t e s , w h o s e e x i s t e n c e o n l y d e p e n d s o n t h e i m m e d i a t e p r e v i o u s s t a t e . T h e t r a n s i t i o n b e t w e e n s t a t e s i s d r i v e n b y a m a t r i x o f p r o b a b i l i t i e s , d e fi n i n g t h e l i k e l i h o o d o f t h e v a r i o u s s t a t e - t o - s t a t e t r a n s i t i o n s [ 1 2 3 ] [ 9 2 ] . T h e h i d d e n c o m p o n e n t o f t h e H M M c o r r e s p o n d s t o t h e f a c t t h a t t h e a c t u a l s t a t e o f t h e h u m a n i s n o t o b s e r v e d , b u t r a t h e r i t i s a r a n d o m v a r i a b l e d e fi n i n g t h e o b s e r v e d m o t i o n . T h e t y p i c a l a r c h i t e c t u r e o f t h e H I V I M i s s h o w n i n F i g u r e 8 . 1 0 [ 9 2 ] . T h e r e a r e t w o t a s k s t h a t m u s t b e p e r f o r m e d f o r u s i n g t h e H M M s : ( i ) c o m p u t i n g t h e p r o b a b i l i t y o f a n o b s e r v e d s e q u e n c e , g i v e n t h e m o d e l p a r a m e t e r s ( c o m p u t e P ( 0 | m o d e l ) , a n d ( i i ) c h o o s i n g t h e s e q u e n c e o f h i d d e n s t a t e s t h a t i s o p t i m a l , g i v e n a n o b s e r v a t i o n s e q u e n c e ( c o m p u t e P ( S | 0 ) ) [ 9 2 ] [ 1 2 3 ] . C o m p u t i n g P ( O l m o d e l ) i s p e r f o r m e d u s i n g t h e f o r w a r d - b a c k w a r d a l g o r i t h m ( a c t u a l l y o n l y t h e f o r w a r d p a r t i s n e e d e d ) [ 1 2 3 ] [ 9 2 ] . I n t h i s a l g o r i t h m , w e d e fi n e t h e f o r w a r d v a r i a b l e t o b e [ 1 2 3 ] : “ 1 ( ’ ) = P ( 0 1 0 2 - - - 0 , 1 q , = 8 1 2 ) , ( 8 . 1 6 ) w h e r e 0 i s t h e o b s e r v a t i o n s e q u e n c e , q = S i s t h e d e fi n i t i o n o f t h e s t a t e a t t i m e t , a n d A i s t h e m o d e l p a r a m e t e r . 3 3 9 F i g u r e 8 . 1 0 : H i d d e n M a r k o v M o d e l ( H M M ) a r c h i t e c t u r e [ 1 4 3 ] . T h e a l g o r i t h m i s i n i t i a l i z e d b y [ 1 2 3 ] : 0 1 1 ( 1 ) : 7 1 1 6 3 0 1 ) , ( 8 . 1 7 ) w h e r e 7 r , = P ( q l = S _ ) , a n d b , ( 0 1 ) = P [ 0 l I q = S , ] . R e c a l l , q r e p r e s e n t s t h e h i d d e n | I l . l s t a t e s , 0 r e p r e s e n t s t h e o b s e r v a t i o n s , a n d b i s t h e c o n d i t i o n a l p r o b a b i l i t y t h a t w e o b s e r v e 0 g i v e n t h e s y s t e m i s i n s t a t e q . T h e s e c o n d s t e p o f t h e a l g o r i t h m f o r c o m p u t i n g P ( 0 | m o d e l ) i s t o c o m p u t e t h e v a l u e f o r a t 1 g i v e n a t . T h i s i s a c c o m p l i s h e d t h r o u g h t h e i t e r a t i o n o f t h e f o l l o w i n g + e q u a t i o n [ 1 2 3 ] : N a 1 + 1 ( j ) = [ 2 a t ( i ) - a i j ] b j ( 0 t + l ) f o r j = 1 , . . . , N , ( 8 . 1 8 ) i = 1 w h e r e a _ _ , t h e s t a t e t r a n s i t i o n p r o b a b i l i t y fl o m s t a t e i t o s t a t e j , i s d e fi n e d b y [ 1 2 3 ] : 1 } a . . = P [ q = S . | q = S . ] - ( 8 . 1 9 ) 1 ] 1 + 1 j t 1 3 4 0 T h e a l g o r i t h m t h e n t e r m i n a t e s w h e n t h e a t i s c o m p u t e d f o r a l l t i m e i n s t a n c e s , a n d t h e fi n a l p r o b a b i l i t y o f t h e o b s e r v a t i o n s , g i v e n t h e m o d e l , i s d e fi n e d b y [ 1 2 3 ] : N P ( 0 | 2 ) = z a T ( 1 ' ) . ( 8 . 2 0 ) i = 1 O n c e t h e p r o b a b i l i t y f o r t h e o b s e r v a t i o n s e q u e n c e , P ( 0 | 2 ) , i s c o m p u t e d , t h e o p t i m a l s t a t e s e q u e n c e g i v e n t h e o b s e r v a t i o n s a n d t h e m o d e l , P ( S | 0 ) c a n b e d e r i v e d v i a [ 1 2 3 ] : T P s l p s l ( 0 1 ) . n p s t ( 0 1 ) P ( S t l S t - l ) P ( S | 0 ) = ’ = 2 1 9 ( 0 ) . ( 8 . 2 1 ) 8 . 2 . 2 S e q u e n t i a l D y n a m i c s M o d e l i n g U s i n g I M M s T h e c o n c e p t b e h i n d t h e I M M t r a c k i n g i s t h a t t h e d y n a m i c s o f a t r a c k e d o b j e c t c a n b e m o d e l e d a s t h e w e i g h t e d c o m b i n a t i o n o f a s e t o f t r a c k s , c o r r e s p o n d i n g t o m u l t i p l e s i m u l t a n e o u s m o d e l s o f t h e o b s e r v e d s y s t e m . E a c h o f t h e s e t r a c k e r s i s c h a r a c t e r i z e d b y a d i f f e r e n t a s s u m p t i o n o f m o t i o n , i . e . a d i f f e r e n t ( I y n a m i c s m o d e l [ 1 8 ] [ 1 0 3 ] [ 1 0 4 ] . T h e t r u e m o t i o n o f t h e s y s t e m i s t h e n e s t i m a t e d b y c o m b i n i n g t h e s e a t o m i c t r a c k s . T h e k e y t o u s i n g t h e I M M f r a m e w o r k i s t o d e fi n e m o t i o n m o d e l s f o r e a c h p o s s i b l e s e t o f d y n a m i c s t h e s y s t e m m a y e x p e r i e n c e , a n d t h e n d e fi n e t h e m e c h a n i s m f o r t r a n s i t i o n i n g b e t w e e n t h e s e m o d e l s . T h e d y n a m i c s m o d e l b e g i n s w i t h 3 4 1 t h e s t a t e v e c t o r f o r a s y s t e m x ( t ) a t t i m e t . I n t h e I M M f r a m e w o r k t h e r e i s n o w a d i f f e r e n t s t a t e v e c t o r f o r e a c h p o s s i b l e m o d e l , x ( t | m o d e l i ) . T h e i n t e r a c t i o n b e t w e e n t h e m o d e l s d e p e n d s o n t h e a p r i o r i d e fi n e d s w i t c h i n g p r o b a b i l i t i e s b e t w e e n e a c h o f t h e m o d e l s , a s s h o w n i n F i g u r e 8 . 1 1 , a n d i s c a p t u r e d i n a m a t r i x d e fi n i n g t h e p r o b a b i l i t i e s o f t r a n s i t i o n s b e t w e e n a l l t h e m o d e l s , p ( m o d e l i l m o d e l j ) . W e m u s t a l s o d e fi n e t h e l i k e l i h o o d t h a t t h e s y s t e m w i l l b e i n a p a r t i c u l a r m o d e l , g i v e n t h e c u r r e n t s e n s o r m e a s u r e m e n t s a n d t h e c u r r e n t s t a t e v e c t o r , L ( m o d e l i | z , x ( t | m o d e l i ) ) , w h e r e z i s t h e c u r r e n t m e a s u r e m e n t . T h e s e l i k e l i h o o d s a n d t r a n s i t i o n p r o b a b i l i t i e s , f o r e a c h a t o m i c m o d e l , a r e t h e n u s e d t o c o m p u t e t w o s e t s o f m i x i n g w e i g h t s : ( i ) t o d e t e r m i n e t h e c u r r e n t s t a t e v e c t o r f o r e a c h m o d e l b a s e d o n t h e c o n t r i b u t i o n s fl o m a l l t h e m o d e l s , a n d ( i i ) t o d e t e r m i n e t h e fi n a l e s t i m a t e o f t h e s y s t e m s t a t e b y c o m p u t i n g a w e i g h t e d s u m o f a l l o f t h e a t o m i c m o d e l s t a t e e s t i m a t e s [ 1 8 ] [ 1 0 3 ] [ 1 0 4 ] . P ( 2 | 2 ) P ( 1 l 1 ) F ’ ( 1 l 2 ) P ( 2 H ) P ( 2 l 3 ) P ( 3 | ? ) P ( 1 l 3 ) P ( 3 | 1 ) P ( 3 l 3 ) F i g u r e 8 . 1 1 : S t a t e t r a n s i t i o n d i a g r a m f o r a 3 - m o d e l I M M s y s t e m . 3 4 2 T h e m i x i n g s t e p i s t h e c r i t i c a l d i f f e r e n c e b e t w e e n H M M s a n d M M S . I - [ M M S d o n o t a s s u m e t h e fi n a l s t a t e o f t h e s y s t e m c a n b e a m i x t u r e o f t h e a t o m i c s t a t e s , b u t r a t h e r i n s i s t t h e s y s t e m l i e s i n o n l y o n e o f t h e s t a t e s , t h a t i s s e l e c t e d b a s e d o n w h i c h s t a t e i s t h e m o s t l i k e l y . 8 . 3 S u m m a r y W e h a v e d e fi n e d t w o m o d e l s f o r r e p r e s e n t i n g t h e o c c u p a n t f o r t r a c k i n g , o n e m o d e l f o r t h e s h a p e o f t h e o c c u p a n t o v e r t i m e , a n d o n e f o r t h e d y n a m i c s o f t h e o c c u p a n t . T h e s h a p e r e p r e s e n t a t i o n f o r t h e o c c u p a n t u s e s a w h o l e b o d y m o d e l , w h e r e t h e o c c u p a n t i s m o d e l e d b y a n e l l i p s e . T h i s i s e f f e c t i v e f o r o u r a p p l i c a t i o n , s i n c e t h e o c c u p a n t i s a l w a y s s e a t e d , a n d t h e r e f o r e t h e h e a d a n d t o r s o a r e t h e c o m p o n e n t s t h a t w e a r e m o d e l i n g . A l s o w e w a n t t o i g n o r e t h e a r m s a n d h a n d s , s i n c e , i f t h e y a r e t r a c k e d , w e m a y a c c i d e n t a l l y d i s a b l e t h e a i r b a g . F o r t h e d y n a m i c s m o d e l i n g , w e h a v e r e v i e w e d t h e u s e o f t h e t w o c o m m o n m e t h o d s , n a m e l y t e m p l a t e m a t c h i n g a n d s t a t e s p a c e a n a l y s i s . W e h a v e a l s o e x t e n d e d t h e c o m m o n d e fi n i t i o n o f s t a t e s p a c e m e t h o d s t o i n c l u d e d y n a m i c s s e q u e n c e s , r a t h e r t h a n j u s t p o s t u r e s e q u e n c e s . F o r s t a t e s p a c e m o d e l i n g , w e h a v e r e v i e w e d t h e c o m m o n u s e o f H M M s t o m o d e l h u m a n m o t i o n i n v i d e o s e q u e n c e s . W e h a v e s h o w e n t h a t f o r h u m a n m o t i o n s e q u e n c e s , t h e t r a n s i t i o n t i m e s b e t w e e n s t a t e s i s r e l a t i v e l y s l o w , a n d t h i s r e s u l t s i n r e g i o n s o f a m b i g u i t y , w h e r e o n e i s a r t i fi c i a l l y c h o o s i n g a s i n g l e m o d e l i n t h e H M M p a r a d i g m . T o c o u n t e r t h i s , w e i n t r o d u c e d a n a l t e r n a t i v e m o d e l c a l l e d t h e I n t e r a c t i n g M u l t i p l e M o d e l s ( I M M ) t r a c k e r t h a t h a s b e e n 3 4 3 d e v e l o p e d f o r t a r g e t t r a c k i n g i n s u r v e i l l a n c e a p p l i c a t i o n s . I n t h i s m o d e l w e s i m u l t a n e o u s l y c o n s i d e r a l l d y n a m i c s m o d e l s t o b e a c t i v e a t t h e s a m e t i m e , a n d t h e n w e m i x t h e m t o g e t h e r t o d e v i s e a c o m p o s i t e m o d e l . W h i l e w e o n l y p r o p o s e d t h i s m o d e l f o r d y n a m i c s , w e b e l i e v e a n i n t e r e s t i n g a r e a o f f u t u r e r e s e a r c h w o u l d b e t o a p p l y t h i s m o d e l t o p o s t u r e - b a s e d s t a t e s p a c e a n a l y s i s a s w e l l , w h e r e a p e r s o n r i s i n g f r o m a c h a i r i s n o t s i t t i n g a n d t h e n s t a n d i n g , b u t r a t h e r i s t r a n s i t i o n i n g s m o o t h l y b e t w e e n t h e s e t w o s t a t e s w i t h a s m o o t h l y v a r y i n g p r o b a b i l i t y o f b e i n g i n e a c h o f t h e p o s t u r e s . 3 4 4 C h a p t e r 9 . O c c u p a n t T r a c k i n g T h e o c c u p a n t t r a c k e r i s r e s p o n s i b l e f o r d e t e r m i n i n g w h e n a n o c c u p a n t m a y e n t e r t h e A u t o m a t i c S u p p r e s s i o n Z o n e ( A S Z ) o f t h e a i r b a g . T h e A S Z l o c a t i o n i s u n i q u e f o r e a c h v e h i c l e a n d f o r e a c h a i r b a g c o n fi g u r a t i o n . T h e t r a c k e r g e n e r a t e s e s t i m a t e s a n d p r e d i c t i o n s f o r : 1 ) t h e m o t i o n o f t h e o c c u p a n t ( w h e r e t h e h u m a n s h o u l d a p p e a r i n t h e n e x t c a m e r a fl a m e ) , a n d 2 ) t h e s h a p e o f t h e o c c u p a n t ( w h a t i s t h e s h a p e o f t h e b o u n d i n g e l l i p s e o f o c c u p a n t i n t h e n e x t c a m e r a fl a m e ) . T h i s i m p l i e s t h e r e i s a n a t u r a l s p l i t i n t h e p r o c e s s i n g t h a t s e p a r a t e s t h e p r o b l e m i n t o p o s i t i o n t r a c k i n g ( m o t i o n t r a c k i n g ) a n d s h a p e t r a c k i n g , a s s h o w n i n F i g u r e 9 . 1 [ 1 8 ] . T h e o c c u p a n t t r a c k e r u s e s t h e p o s i t i o n m e a s u r e m e n t s o f t h e b o u n d i n g e l l i p s e a s i n p u t s , a n d g e n e r a t e s e s t i m a t e s o f t h e c u r r e n t p o s i t i o n , a s w e l l a s p r e d i c t i o n s o f f u t u r e p o s i t i o n s . T h e m e a s u r e m e n t s t h a t t h e t r a c k e r s u b s y s t e m u s e s a r e t h e fi v e k e y p a r a m e t e r s f o r d e fi n i n g a n e l l i p s e , i n a p l a n e { x _ , y , , 6 , l . , l , } . T h e o u t p u t s o f c e n t r o r d c e n t r o r d m a j o r m 1 n o r t h e t r a c k e r a r e t h e n t h e c o m p l e t e 3 - d i m e n s i o n a l r e p r e s e n t a t i o n o f t h e b o u n d i n g e l l i p s o i d { x , 6 , ¢ , I I } , w h e r e w e a s s u m e a n e l l i p s o i d o f . . , . c e n t r o r d m a j o r m i n o r y c e n t r o i d ’ r o t a t i o n . 3 4 5 M a j o r A x i s M i n o r A x i s M E I " A x i s Y c e n t r o i d M n o r A x i s O n t - o f - p l a n e a n g l e Y C e n t r o i d S h a p e ‘ . . T r a c k e r M o t i o n E l l i p s e S e g m e n t e r F i t . M o t i o n , x C e n t r o i d T r a c k “ x c i d A n g l e t o w a r d s I P m t o l w a r o d s I P F i g u r e 9 . 1 : O c c u p a n t t r a c k e r s h o w i n g t h e p a r a l l e l m o t i o n a n d s h a p e t r a c k i n g f u n c t i o n s . T h e s u b s e t o f p a r a m e t e r s m a i n t a i n e d b y t h e m o t i o n t r a c k e r i s t h o s e t h a t i s i n fl u e n c e d b y t h e v e h i c l e d y n a m i c s , { x 6 } . T h e a c c e l e r a t i o n s t h e s e p a r a m e t e r s c e n t r o i d ’ e x p e r i e n c e , w h i c h i n c l u d e t h e p r e - c r a s h b r a k i n g a c c e l e r a t i o n s , c a n c a u s e t h e o c c u p a n t t o b e t h r u s t f o r w a r d i n t h e x - d i r e c t i o n . L i k e w i s e , t h e e l l i p s e w i l l t i l t f o r w a r d i n t h e 6 d i r e c t i o n , d u e t o t h e s e p r e - c r a s h b r a k i n g d y n a m i c s , i f t h e o c c u p a n t i s n o t u s i n g a s h o u l d e r h a r n e s s . T h e r e m a i n i n g e l l i p s e p a r a m e t e r s , { y , , , I , , I , } , a r e c e n t r o r d m a j o r m i n o r o n l y i n fl u e n c e d b y t h e m o t i o n s o f t h e o c c u p a n t a n d n o t t h e m o t i o n s o f t h e v e h i c l e . C o n s e q u e n t l y , t h e s h a p e t r a c k e r p r o c e s s e s t h e s e p a r a m e t e r s . I t w i l l b e s h o w n i n s u b s e q u e n t s e c t i o n s t h a t t h i s d i v i s i o n o f 3 - d i m e n s i o n a l o b j e c t t r a c k i n g i n t o d i s t i n c t m o t i o n a n d s t r u c t u r e c o m p o n e n t s i s c o m m o n , a n d i s e x p l o i t e d i n o t h e r a l g o r i t h m s , s u c h a s t h e f a c t o r i z a t i o n m e t h o d , f o r e s t i m a t i n g s h a p e f r o m m o t i o n [ 1 5 1 ] . T h e m o s t c o m m o n l y u s e d m e t h o d o f t r a c k i n g a n y g e n e r a l o b j e c t i s t h e K a l m a n fi l t e r [ 9 8 ] [ 1 0 0 ] [ 1 0 1 ] [ 1 0 2 ] . T h e K a l m a n fi l t e r i s o p t i m a l i f t h e e x p e c t e d u n d e r l y i n g d y n a m i c s o f t h e o b j e c t b e i n g t r a c k e d a r e k n o w n , a n d i f t h e n o i s e 3 4 6 c o r r u p t i n g t h e m e a s u r e m e n t s i s G a u s s i a n [ 9 8 ] [ 1 0 8 ] . H o w e v e r , r e c a l l fl o m C h a p t e r 8 t h a t t h e m o t i o n o f t h e o c c u p a n t c a n b e m o d e l e d b y t h r e e u n i q u e d y n a m i c s s t a t e s . T h e t r a n s i t i o n s b e t w e e n t h e s e v a r i o u s m o d e l s h a v e b e e n r e f e r r e d t o a s k i n e m a t i c d i s c o n t i n u i t i e s t h a t m u s t b e a c c o u n t e d f o r t o m i n i m i z e t h e p r e d i c t i o n e r r o r s [ 1 1 1 ] . D e u t s c h e r e t a l . h a s a l s o s h o w n t h a t e v e n e x t e n d e d K a l m a n fi l t e r a l o n e i s u n a b l e t o a c c o u n t f o r t h e s e t r a n s i t i o n s [ 1 1 1 ] . T h i s i s e x p e c t e d s i n c e t h e e x t e n d e d K a l m a n fi l t e r c a n l i n e a r i z e n o n - l i n e a r d y n a m i c s m o d e l s , b u t s t i l l r e l i e s o n a fi x e d u n d e r l y i n g n o i s e m o d e l t h a t c a n n o t s u p p o r t t h e s e d i s c o n t i n u i t i e s [ 9 8 ] [ 9 9 ] . I n C h a p t e r 8 w e p r o p o s e d u s i n g i n t e r a c t i n g m u l t i p l e m o d e l s ( I l V fl V I ) fi l t e r i n g f o r t r a c k i n g t h e o c c u p a n t t h r o u g h t h e s e v a r i o u s m o d e l t r a n s i t i o n s [ 1 0 3 ] [ 1 0 4 ] . T h e I M M fi l t e r i s n a t u r a l l y a b l e t o h a n d l e t h e s e k i n e m a t i c d i s c o n t i n u i t i e s . O n c e t h e m o t i o n o f t h e o c c u p a n t i s p r o p e r l y t r a c k e d , t h e s h a p e o f t h e o c c u p a n t m u s t a l s o b e e s t i m a t e d . S i n c e t h e c a m e r a s y s t e m g e n e r a t e s o n l y a 2 - D r e p r e s e n t a t i o n o f t h e o c c u p a n t , t h e s h a p e t r a c k e r m u s t b e c a p a b l e o f i n f e r r i n g t h e 3 r d d i m e n s i o n o f t h e o c c u p a n t . A s e t o f c o m m o n s h a p e - fl o m - X p r o c e s s i n g m e t h o d s w i l l b e d e s c r i b e d , a n d w i l l s e r v e a s a n i n t r o d u c t i o n t o o u r n e w m e t h o d , c a l l e d s h a p e fi o m d e f o r m a t i o n , w h i c h i s b a s e d o n a u n i q u e u t i l i z a t i o n o f t h e I M M K a l m a n fi l t e r . 9 . 1 M o t i o n T r a c k i n g T h e m o t i o n t r a c k e r t a k e s , a s i n p u t s , t h e m e a s u r e m e n t s { x t , d , 6 } o f t h e C 6 1 1 I ' O l o c c u p a n t , a n d g e n e r a t e s s m o o t h e d e s t i m a t e s a n d p r e d i c t i o n s o f t h e s e v a l u e s , a s s h o w n i n F i g u r e 9 . 1 . T h e s y s t e m u s e s t h e s e i n p u t s t o e s t i m a t e t h e c u r r e n t p o s i t i o n o f t h e 3 4 7 o c c u p a n t , a n d t o p r e d i c t w h e r e t h e h u m a n s h o u l d a p p e a r i n t h e n e x t c a m e r a fl a m e . T h e m o t i o n t r a c k e r r e c u r s i v e l y i n t e g r a t e s t h i s t i m e s e r i e s o f n o i s y m e a s u r e m e n t s i n t o a s m o o t h e s t i m a t e o f t h e t r a j e c t o r y o f t h e h u m a n o c c u p a n t t o a c c u r a t e l y p r e d i c t t h e p o s i t i o n o f t h e o c c u p a n t a t f u t u r e t i m e s . R e c a l l t h a t t h e u n d e r l y i n g a s s u m p t i o n o f t h e K a l m a n fi l t e r i s t h a t t h e m e a s u r e m e n t s o f a s y s t e m a r e c o r r u p t e d b y z e r o - m e a n , G a u s s i a n n o i s e . S i n c e o u r m e a s u r e m e n t s a r e g e n e r a t e d fl o m t h e i n t e g r a t i o n e i t h e r t h r o u g h m o m e n t s a n a l y s i s , o r t h r o u g h l e a s t s q u a r e s fi t t i n g , o f a l a r g e n u m b e r o f p i x e l v a l u e s , i t i s r e a s o n a b l e , t h r o u g h t h e w e a k l a w o f l a r g e n u m b e r s , t o a s s u m e t h a t t h e e r r o r s a s s o c i a t e d w i t h t h e s e m e a s u r e m e n t s a r e G a u s s i a n . 9 . 1 . 1 U n d e r l y i n g T e c h n o l o g i e s f o r M o t i o n T r a c k i n g T h e r e a r e f o u r r e l a t e d t e c h n o l o g i e s a s s o c i a t e d w i t h a p p l y i n g t h e K a l m a n fi l t e r t o t h e a i r b a g s u p p r e s s i o n a p p l i c a t i o n , n a m e l y : 1 ) b a s i c K a l m a n fi l t e r i n g , 2 ) e x t e n d e d K a l m a n fi l t e r i n g , 3 ) m o d e l i n g t h e o c c u p a n t d y n a m i c s t o o p t i m i z e t h e K a l m a n fi l t e r , a n d 4 ) i n t e r a c t i n g m u l t i p l e m o d e l s ( I M M ) K a l m a n fi l t e r i n g . A O v e r v i e w o f t h e B a s i c K a l m a n F i l t e r T h e t w o b a s i c e q u a t i o n s f o r t h e K a l m a n fi l t e r a r e t h e d y n a m i c s e q u a t i o n a n d t h e m e a s u r e m e n t e q u a t i o n . T h e d y n a m i c s e q u a t i o n d e fi n e s t h e m e c h a n i s m b y w h i c h 3 4 8 t h e s y s t e m e v o l v e s t h r o u g h t i m e , a n d t h e m e a s u r e m e n t e q u a t i o n d e fi n e s t h e m e c h a n i s m b y w h i c h t h e t r a c k e d s t a t e a n d t h e m e a s u r e m e n t s i n t e r a c t . M a t h e m a t i c a l l y , t h e y a r e d e fi n e d , r e s p e c t i v e l y , t o b e [ 9 8 ] [ 1 0 0 ] [ 1 0 1 ] : x ( k ) = d > ( k — l ) * x ( k — 1 ) + v ( k — 1 ) ( 9 . 1 ) a n d z ( k ) = M ( k ) * x ( k ) + w ( k ) , ( 9 . 2 ) w h e r e d > i s t h e s t a t e t r a n s i t i o n m a t r i x , x i s t h e s t a t e v e c t o r , v i s t h e p r o c e s s n o i s e , 2 i s t h e m e a s u r e m e n t v a l u e , M i s t h e m e a s u r e m e n t m a t r i x , a n d w i s t h e m e a s u r e m e n t n o i s e [ 9 8 ] [ 1 0 0 ] ] [ 1 0 1 ] . T h e s t a t e v e c t o r d e fi n e s t h e e x t e n t o f t h e d y n a m i c s r e q u i r e d t o b e e s t i m a t e d f o r t h e p a r t i c u l a r a p p l i c a t i o n . F o r o u r a p p l i c a t i o n , t h e s t a t e v e c t o r w i l l b e : x ( k ) = [ x , i t , i t ] , c o n s i s t i n g o f t h e p o s i t i o n , ' v e 1 0 0 i t y , a n d a c c e l e r a t i o n o f t h e p a r t i c u l a r v a r i a b l e . T h e d y n a m i c s e q u a t i o n , ( 9 . 1 ) , i s c o m p o s e d o f t w o t e r m s : ( 1 ) t h e s t a t e p r o p a g a t i o n t e r m , ( I ) ( k — l ) * x ( k - l ) , a n d ( i i ) t h e p r o c e s s n o i s e t e r m , v ( k — l ) . T h e s t a t e p r o p a g a t i o n t e r m d e fi n e s h o w t h e s t a t e v e c t o r , a t t h e t i m e k - I o f t h e l a s t m e a s u r e m e n t , i s p r o p a g a t e d f o r w a r d t o a fi i t u r e t i m e . I t a c c o m p l i s h e s t h i s t h r o u g h t h e s t a t e t r a n s i t i o n m a t r i x , w h i c h d e fi n e s t h e N e w t o n i a n m e c h a n i c s t h a t a r e i n v o l v e d d u r i n g t h e t r a n s i t i o n s fl o m t i m e k - I t o t i m e k . T h e s t a t e t r a n s i t i o n m a t r i x f o r a s y s t e m t h a t m o d e l s p o s i t i o n , v e l o c i t y , a n d a c c e l e r a t i o n i s p r o v i d e d b e l o w [ 9 8 ] [ 1 0 0 ] [ 1 0 1 ] : 1 A t 1 3 1 2 / 2 @ ( k ) = 0 1 A t , ( 9 . 3 ) 0 O I 3 4 9 w h e r e A t i s t h e t i m e b e t w e e n t h e t w o u p d a t e s , k - I a n d k . N o t e t h a t t h i s t r a n s i t i o n m a t r i x r e p r e s e n t s t h e c l a s s i c a l N e w t o n i a n e q u a t i o n s o f m o t i o n f o r a s y s t e m u n d e r g o i n g v e l o c i t y a n d a c c e l e r a t i o n , x ( t ) = x ( t — 1 ) + v ( t — 1 ) * A t + a ( t — 1 ) * A t z / 2 . ( 9 . 4 ) T h e s e c o n d t e r m i n t h e d y n a m i c s e q u a t i o n , E q u a t i o n ( 9 . 1 ) , i s t h e p r o c e s s n o i s e t e r m . I t m o d e l s t h e w h i t e - n o i s e p r o c e s s t h a t d r i v e s t h e u n d e r l y i n g d y n a m i c s m o d e l . I n t h e s e b a s i c K a l m a n e q u a t i o n s , t h e p r o c e s s n o i s e i s a s s u m e d t o b e z e r o - m e a n G a u s s i a n a n d w h i t e ( i . e . , u n c o r r e l a t e d i n t i m e ) . T h e p r o c e s s n o i s e c o v a r i a n c e i s t h e n d e fi n e d b y [ 1 0 5 ] [ 1 0 6 ] : C o v v a c . » = 1 3 1 1 / 0 1 ) - 1 4 1 ) } = Q ( k ) - 6 0 1 . 1 ) . _ ( 9 . 5 ) w h e r e 6 ( k , j ) i s t h e K r o n n e k e r d e l t a f u n c t i o n , w h i c h d e fi n e s a d i a g o n a l m a t r i x w i t h p a r a m e t e r s Q ( k ) d e fi n i n g t h e c o r r e l a t i o n f o r t h e p o s i t i o n , v e l o c i t y , a n d a c c e l e r a t i o n s i n d e p e n d e n t l y . T h e m e a s u r e m e n t e q u a t i o n , ( 9 . 2 ) , d e fi n e s t h e t r a n s f o r m a t i o n t h r o u g h w h i c h t h e t r a c k e d s t a t e a n d t h e a c t u a l s e n s o r m e a s u r e m e n t s i n t e r a c t . R e c a l l , i n o u r a i r b a g s u p p r e s s i o n a p p l i c a t i o n , t h e m e a s u r e m e n t s a r e { x “ d , 6 } w h i l e o u r s t a t e v e c t o r i s C C T I I I ' O I x ( k ) = [ x , f r , i t ] . T h e m e a s u r e m e n t m a t r i x , M , i s t h e n d e fi n e d t o e x t r a c t t h e p o s i t i o n v a l u e fl o m t h e s t a t e v e c t o r , p r i o r t o w h e n w e c o m b i n e t h e s t a t e w i t h t h e i n c o m i n g m e a s u r e m e n t , a c c o r d i n g t o [ 9 8 ] [ 1 0 0 ] [ 1 0 1 ] : 3 5 0 M ( k ) = [ 1 0 0 ] . ( 9 . 6 ) T h e d y n a m i c s e q u a t i o n a n d t h e m e a s u r e m e n t e q u a t i o n a r e r e a l i z e d i n t h e K a l m a n fi l t e r i m p l e m e n t a t i o n v i a t h e s t a t e p r e d i c t i o n e q u a t i o n a n d t h e s t a t e e s t i m a t i o n e q u a t i o n , w h i c h a r e r e s p e c t i v e l y d e fi n e d t o b e [ 9 8 ] [ 1 0 0 ] [ 1 0 1 ] : x ( k l k — 1 ) = < I > ( k — 1 ) * x ( k — l l k — l ) , ( 9 . 7 ) a n d x ( k | k ) = x ( k | k - 1 ) + G ( k ) * Z ( k ) , ( 9 . 8 ) w h e r e Z ( k ) = z ( k ) — M ( k ) * x ( k | k — 1 ) , ( 9 . 9 ) w h e r e G i s c a l l e d t h e g a i n o f t h e K a l m a n fi l t e r , a n d Z ( k ) i s c a l l e d t h e i n n o v a t i o n o r r e s i d u a l o f t h e fi l t e r . N o t e t h a t Z ( k ) m e a s u r e s t h e d i f f e r e n c e b e t w e e n t h e e x p e c t e d m e a s u r e m e n t a n d t h e a c t u a l m e a s u r e m e n t . A l s o t h e t e r m x ( k - I | k - 1 ) i s t h e v a l u e o f t h e s t a t e v e c t o r a t t i m e i n s t a n c e k - I g i v e n a l l t h e m e a s u r e m e n t s u p t o t i m e k — I , a n d x ( k l k - 1 ) a n d x ( k l k ) f o l l o w t h e s a m e c o n v e n t i o n r e g a r d i n g t i m e . T h e e q u a t i o n s f o r t h e g a i n , G , a n d t h e c o v a r i a n c e m a t r i x f o r t h e p r e d i c t i o n s , P , a r e t h e n , r e s p e c t i v e l y [ 9 8 ] [ 1 0 0 ] [ 1 0 1 ] : G ( k ) = P ( k | k — l ) * M ( k ) T * ( M ( k ) * P ( k | k - l ) * M ( k ) T + R ( k ) ) ‘ 1 , ( 9 . 1 0 ) a n d P ( k l k — l ) = < I ) ( k — 1 ) * P ( k — l | k — 1 ) * < b ( k — 1 ) + Q ( k — 1 ) , ( 9 . 1 1 ) w h e r e Q ( k ) i s t h e p r o c e s s n o i s e , R ( k ) i s t h e m e a s u r e m e n t n o i s e , M ( k ) i s t h e m e a s u r e m e n t m a t r i x , a n d ( P ( k ) i s t h e s t a t e t r a n s i t i o n m a t r i x . 3 5 1 R e c a l l , t h e i n n o v a t i o n t e r m i s t h e d i f f e r e n c e b e t w e e n t h e i n p u t m e a s u r e m e n t a n d t h e n e x t p r e d i c t e d m e a s u r e m e n t . I f t h e d y n a m i c s o f t h e s y s t e m h a s b e e n p r o p e r l y m o d e l e d , t h i s t e r m s h o u l d b e a z e r o - m e a n , u n c o r r e l a t e d G a u s s i a n [ 9 8 ] [ 1 0 0 ] [ 1 0 3 ] [ 1 0 4 ] . I f t h e s e q u e n c e o f i n n o v a t i o n s o v e r t i m e i s e i t h e r c o r r e l a t e d , o r n o t z e r o - m e a n , o r b o t h , t h e n t h e K a l m a n fi l t e r e q u a t i o n s a r e n o t p r o p e r l y m o d e l i n g t h e u n d e r l y i n g d y n a m i c s [ 1 0 3 ] [ 1 0 4 ] . T h e b e h a v i o r o f t h i s s e q u e n c e o f i n n o v a t i o n t e r m s w i l l b e c r i t i c a l t o t h e o p e r a t i o n o f t h e I M M K a l m a n fi l t e r i n g . B T h e E x t e n d e d K a l m a n F i l t e r T h e b a s i c K a l m a n fi l t e r e q u a t i o n s a s s u m e a l i n e a r d y n a m i c s m o d e l f o r t h e s y s t e m . I n o t h e r w o r d s , t h e s t a t e t r a n s i t i o n m a t r i x a n d t h e m e a s u r e m e n t m a t r i x c a n b e i m p l e m e n t e d a s s i m p l e m a t r i x m u l t i p l i c a t i o n s . I f e a c h o f t h e s e m a t r i c e s i s r e p l a c e d b y a g e n e r a l f u n c t i o n d e fi n i n g t h e d y n a m i c s , t h e n w e m u s t d e fi n e t h e e x t e n d e d K a l m a n fi l t e r . T h e e x t e n d e d K a l m a n fi l t e r a l l o w s u s t o m o d e l m u c h m o r e c o m p l i c a t e d s y s t e m b e h a v i o r s . T h e d y n a m i c s e q u a t i o n a n d t h e m e a s u r e m e n t e q u a t i o n s o f t h e K a l m a n fi l t e r , p r e v i o u s l y d e fi n e d i n E q u a t i o n s ( 9 . 1 ) a n d ( 9 . 2 ) , a r e n o w r e s p e c t i v e l y d e fi n e d t o b e [ 9 8 ] [ 1 0 0 ] [ 1 0 1 ] : x ( k ) = f [ x ( k — 1 ) ] + v ( k — l ) , ( 9 . 1 2 ) a n d z ( k ) = h [ x ( k ) ] + w ( k ) , ( 9 . 1 3 ) w h e r e t h e f u n c t i o n s f [ - ] a n d h [ ~ ] c a n m o d e l a n y d e s i r e d d y n a m i c s . T h e p r o c e s s n o i s e a n d m e a s u r e m e n t n o i s e t e r m s m a i n t a i n t h e s a m e f o r m a s f o r t h e b a s i c K a h n a n 3 5 2 i m p l e m e n t a t i o n , w h i l e t h e p r e d i c t i o n a n d e s t i m a t e o f t h e s t a t e v e c t o r b e c o m e [ 9 8 ] [ 1 0 0 ] [ 1 0 1 ] : x ( k a — 1 ) = f [ x ( k — l | k — l ) ] , ( 9 . 1 4 ) a n d x ( k l k ) = x ( k | k — 1 ) + G ( k ) * Z ( k ) , ( 9 . 1 5 ) w h e r e n o w t h e i n n o v a t i o n t e r m i s : Z ( k ) = z ( k ) — h [ x ( k | k — 1 ) ] . ( 9 . 1 6 ) R e c a l l t h a t i n E q u a t i o n s ( 9 . 1 0 ) a n d ( 9 . 1 1 ) t h a t t h e g a i n a n d c o v a r i a n c e m a t r i c e s a l s o d e p e n d o n ( P ( k ) a n d M , w h i c h h a v e n o w b e e n r e p l a c e d b y f [ - ] a n d h [ - ] . I n o r d e r t o s i m p l i f y t h e c a l c u l a t i o n s o f t h e K a l m a n fi l t e r , w e l i n e a r i z e t h e s t a t e t r a n s i t i o n a n d m e a s u r e m e n t f u n c t i o n s , u s i n g t h e J a c o b i a n o f t h e s e f u n c t i o n s , fl ] a n d h [ - ] , a c c o r d i n g t o [ 9 8 ] [ 1 0 0 ] [ 1 0 1 ] : M k ~ d h 9 1 7 ( ) z - ( E ( x ) l x = x ( k | k _ 1 ) ’ ( ' ) a n d ( b k ~ 1 9 1 8 ( ) z d x f ( x ) l x : x ( k _ 1 | k _ l ) ' ( ‘ ) T h e g a i n a n d c o v a r i a n c e m a t r i c e s c a n n o w b e c o m p u t e d u s i n g ( I > ( k ) a n d M ( k ) i n s t e a d o f ( I > ( k ) a n d M . 3 5 3 ‘ f O r t h e o b j e c t b e i n g t r a c k e d . C l e a r l y , f o r o u r o c c u p a n t t r a c k i n g a p p l i c a t i o n , w e a r e C M o d e l i n g t h e D y n a m i c s i n t h e K a l m a n F i l t e r T h e d y n a m i c s m o d e l o f t h e s y s t e m i s c h a r a c t e r i z e d b y t h e p r o c e s s n o i s e . T h e p r o c e s s n o i s e a p p e a r s i n t h e f o l l o w i n g t h r e e t e r m s : ( i ) c o v a r i a n c e m a t r i x f o r t h e p r e d i c t i o n s , ( i i ) t h e g a i n m a t r i x , a n d ( i i i ) t h e s t a t e t r a n s i t i o n m a t r i x . T h e f o r m o f t h e p r o c e s s n o i s e c a n a c c o m m o d a t e a v a r i e t y o f p o s s i b l e d y n a m i c s m o d e l s , i n c l u d i n g [ 1 0 5 ] [ 1 0 6 ] : 1 ) c o n s t a n t p o s i t i o n , 2 ) c o n s t a n t v e l o c i t y , 3 ) c o n s t a n t a c c e l e r a t i o n , a n d 4 ) t i m e - c o r r e l a t e d a c c e l e r a t i o n . T h e c h o i c e o f t h e m o d e l u s e d d e p e n d s o n t h e c o m p l e x i t y o f t h e d y n a m i c s e x p e c t e d n o t d e a l i n g w i t h e i t h e r c o n s t a n t p o s i t i o n o r c o n s t a n t v e l o c i t y o b j e c t s . O c c u p a n t s i n t h e v e h i c l e c a n s t a r t a n d s t o p m o v i n g a t a n y t i m e . L i k e w i s e , a c o n s t a n t a c c e l e r a t i o n m o d e l i s n o t o p t i m a l , s i n c e w e k n o w t h e d y n a m i c s o f h u m a n s c a n b e m o d e l e d a s a c o n c a t e n a t e d s e r i e s o f d i f f e r e n t m o t i o n s , a s s h o w n i n C h a p t e r 8 . T h e r e f o r e , t h e m o d e l t h a t i s m o s t a t t r a c t i v e i s t h e t i m e - c o r r e l a t e d a c c e l e r a t i o n m o d e l . I n t h i s m o d e l , t h e a c c e l e r a t i o n t h a t a n o b j e c t e x p e r i e n c e s i s a s s u m e d c o r r e l a t e d o v e r t i m e . F o r e x a m p l e , t h e s e q u e n c e o f a n o c c u p a n t fi r s t s i t t i n g s t i l l , t h e n m o v i n g f o r w a r d , a n d fi n a l l y s t o p p i n g , i s n o t a s e r i e s o f i n s t a n t a n e o u s t r a n s i t i o n s , b u t r a t h e r i s a s e t o f c o r r e l a t e d t r a n s i t i o n s b a s e d o n t h e m u s c l e r e a c t i o n t i m e o f t h e o c c u p a n t a n d t h e o c c u p a n t ’ s i n e r t i a . T h i s s e q u e n c e o f m o t i o n s c a n b e m o d e l e d b y a 3 5 4 t i m e - c o r r e l a t e d h i s t o r y o f a c c e l e r a t i o n s a n d d e c e l e r a t i o n s . A v e r y c o m m o n m o d e ] , r e f e r r e d t o a s t h e S i n g e r m o d e l , u s e s e x p o n e n t i a l l y c o r r e l a t e d a c c e l e r a t i o n s , w h e r e t h e a c c e l e r a t i o n s , a r e d e fi n e d b y [ 1 0 5 ] [ 1 0 6 ] : r a ( r ) = E { v ( t ) . v ( : + r ) } = a : . e ( ‘ “ " ' ) , ( 9 . 1 9 ) w h e r e 0 ' 2 i s t h e v a r i a n c e , a n d a i s t h e e x p o n e n t i a l d e c a y c o e f fi c i e n t o f t h e e x p e c t e d a a c c e l e r a t i o n s . R e c a l l , t h e c o r r e l a t i o n s o f t h e a c c e l e r a t i o n a r e e x p l i c i t l y r e p r e s e n t e d i n t h e p r o c e s s n o i s e a n d s t a t e t r a n s i t i o n m a t r i c e s , Q a n d @ ( k ) . T h e s t a t e t r a n s i t i o n m a t r i x c a n n o w b e d e fi n e d b y [ 1 0 5 ] [ 1 0 6 ] : 1 A T ; 2 [ e x p ( — a A T ) + a A T — 1 ] a m t ) : o 1 i [ 1 — e x p ( — a A T ) ] . ( 9 . 2 0 ) O 0 e x p ( — a A T ) N o t e t h a t i n t h e l i m i t o f a — > 0 ( i . e . , i n fi n i t e l y c o r r e l a t e d o r c o n s t a n t a c c e l e r a t i o n s ) , t h e s t a t e t r a n s i t i o n m a t r i x r e d u c e s t o t h e c o n v e n t i o n a l N e w t o n i a n m e c h a n i c s m o d e l . R e c a l l t h e c o v a r i a n c e o f t h e p r o c e s s n o i s e i n t h e b a s i c K a l m a n e q u a t i o n s w a s a d i a g o n a l m a t r i x o f c o n s t a n t v a r i a n c e s , w h i l e i t n o w b e c o m e s [ 1 0 5 ] [ 1 0 6 ] : q l , l q l , 2 q l , 3 ( 9 . 2 1 ) U = 2 Q 2 6 1 0 ' , " q 1 , 2 q 2 , 2 q 2 , 3 _ q 1 , 3 ( 7 2 , 3 q 3 , 3 _ 3 5 5 w h e r e t h e q t e r m s a r e g i v e n b y [ 1 0 5 ] [ 1 0 6 ] : q 1 1 = # 5 . [ 1 — e x p ( — 2 a A T ) + 2 a A T + 3 a 3 A r 3 - 2 6 2 2 M 2 - 4 a A T e x p ( — a A T ) ] , 3 2 a q 1 2 = J : - [ e x p ( — 2 a A T ) + 1 + 2 ( a A T - 1 ) e x p ( — a A T ) — 2 a A T + a z A T z ] , 2 a q l 3 = — — l ; - [ 1 — e x p ( — 2 a A T ) — Z a A T e x p ( — a A T ) ] , 2 a ( 9 . 2 2 ) q 2 2 = 4 3 — - [ 4 e x p ( — a A T ) — 3 — e x p ( — 2 a A T ) + 2 a A T ] , 2 a q 2 3 = — ] - - [ e x p ( — — 2 a A T ) + 1 - 2 e x p ( — a A T ) ] , a n d 2 a 2 1 q 3 3 = 2 ; - [ 1 — e x p ( — 2 a A T ) 1 I n o r d e r t o i m p l e m e n t t h e s e m o t i o n m o d e l s , w e d e fi n e a m e t h o d f o r c o m p u t i n g t h e d e c a y c o n s t a n t a n d v a r i a n c e t e r m s , a a n d a ; , a c c o r d i n g t o [ 1 0 5 ] [ 1 0 6 ] : a = 1 , ( 9 . 2 3 ) a v e r a g e t i m e d u r a t i o n o f a m a n e u v e r a n d A a Z = — m — w ‘ — - ( 1 + 4 - P — P ) , ( 9 . 2 4 ) m 3 m a x 0 3 5 6 . | | a w h e r e A i s t h e m a x i m u m a c c e l e r a t i o n e x p e r i e n c e d b y t h e s y s t e m . T h i s m a x i m u m m a x a c c e l e r a t i o n o c c u r s w i t h p r o b a b i l i t y P , w h i l e P O i s t h e p r o b a b i l i t y t h e s y s t e m m a x e x p e r i e n c e s z e r o a c c e l e r a t i o n . T h e p r o b a b i l i t y d e n s i t y f u n c t i o n f o r t h e s y s t e m a c c e l e r a t i o n i s s h o w n g r a p h i c a l l y i n F i g u r e 9 . 2 [ 1 0 5 ] [ 1 0 6 ] . I t c o n s i s t s o f t h e p r o b a b i l i t y p e a k s a t P a n d P 0 , a n d a u n i f o r m d i s t r i b u t i o n f o r a l l t h e r e m a i n i n g m a x a c c e l e r a t i o n s . - A _ _ r n a x 0 A _ m a x F i g u r e 9 . 2 : P r o b a b i l i t y d e n s i t y f u n c t i o n f o r t h e a c c e l e r a t i o n s i n t h e e x p o n e n t i a l l y c o r r e l a t e d a c c e l e r a t i o n d y n a m i c s m o d e l . D I n t e r a c t i n g M u l t i p l e M o d e l s ( I M M ) K a l m a n F i l t e r i n g R e c a l l t h e I M M K a l m a n fi l t e r i s b a s e d o n p r o c e s s i n g t r a c k s a s s o c i a t e d m u l t i p l e p o s s i b l e m o t i o n m o d e l s i n p a r a l l e l . F o r t h e I M M i m p l e m e n t a t i o n , t h e r e i s a c o m p l e t e s e t o f K a l m a n e q u a t i o n s , n a m e l y E q u a t i o n s ( 9 . 7 ) t h r o u g h ( 9 . 1 1 ) , f o r e a c h m o d e l . T h e s e m o d e l s a r e d e fi n e d b y t h e p o s s i b l e d y n a m i c s t h a t t h e y a l l o w , a n d t h e y 3 5 7 J - - - - - - - - — - - - - ‘ - - - - - _ - ' - - - - - - - - - - - - - - - - — - - - - a r e i m p l e m e n t e d b y t u n i n g t h e p r o c e s s n o i s e s t h a t m o d e l t h e s e d y n a m i c s . I n K a l m a n fi l t e r i n g , t h e i n n o v a t i o n s ( t h e d i f f e r e n c e b e t w e e n t h e p r e d i c t e d s t a t e a n d t h e m e a s u r e d s t a t e ) a r e a z e r o - m e a n G a u s s i a n p r o c e s s , i f t h e p o s s i b l e d y n a m i c s o f t h e s y s t e m h a v e b e e n p r o p e r l y m o d e l e d [ 9 8 ] [ 1 0 0 ] [ 1 0 1 ] . I n t h e I M M i m p l e m e n t a t i o n o f t h e K a l m a n fi l t e r , t h e s y s t e m u s e s t h e d e v i a t i o n o f t h e i n n o v a t i o n s fi ' o m a z e r o - m e a n G a u s s i a n p r o c e s s t o g e n e r a t e w e i g h t s f o r t h e c o n t r i b u t i o n s o f e a c h o f t h e u n d e r l y i n g m o d e l s [ 1 0 3 ] [ 1 0 4 ] . T h e a r c h i t e c t u r e o f t h e [ M M K a l m a n fi l t e r i s p r o v i d e d i n F i g u r e 9 . 3 . I M M T r a c k e r I n n o v a t i o n s 1 I n n o v a t i o n s 2 F i g u r e 9 . 3 : A r c h i t e c t u r e o f t h e I n t e r a c t i n g M u l t i p l e M o d e l ( I M M ) T r a c k e r . T h e i n n o v a t i o n s o f t h e t r a c k f o r e a c h m o d e l m , f o r m o d e l s m = 1 , . . . , N , a r e d e fi n e d t o b e [ 9 8 ] [ 9 9 ] [ 1 0 0 ] [ 1 0 1 ] : Z m ( k ) = z ( k ) - M ( k ) * ( l > m ( k — 1 ) * x m ( k — 1 | k — 1 ) , ( 9 . 2 5 ) 3 5 8 w h e r e M i s t h e m e a s u r e m e n t m a t r i x , ( 1 ) , " ( k — 1 ) i s t h e s t a t e t r a n s i t i o n m a t r i x f o r m o d e l m , a n d x m ( k — 1 | k — 1 ) i s t h e s t a t e v e c t o r f o r m o d e l m . T h e i n n o v a t i o n s f o r e a c h m o d e l a r e t h e n u s e d t o d e r i v e t h e l i k e l i h o o d o f t h a t m o d e l , a c c o r d i n g t o [ 9 9 ] [ 1 0 3 ] [ 1 0 4 ] : L m ( k ) = N [ Z m ( k ) ; 0 , c o v m ( k ) ] , ( 9 . 2 6 ) w h e r e t h i s e q u a t i o n i s t h e e v a l u a t i o n o f a z e r o - m e a n G a u s s i a n a t t h e p o i n t Z m ( k ) . W e m u s t a l s o c o m p u t e t w o m o d e l p r o b a b i l i t i e s : ( i ) , u I ( k — l ) , t h e S m p r o b a b i l i t y o f m o d e l 5 i s c o r r e c t a t t i m e k , g i v e n t h a t m o d e l m w a s c o r r e c t a t t i m e k - I , a n d ( i i ) t h e o v e r a l l m o d e l p r o b a b i l i t y , , u ( k — l ) . T h e s e a r e c o m p u t e d b y m [ 9 9 ] [ 1 0 3 ] [ 1 0 4 ] : fi s l m U c - l ) : N 1 * p ( s | m ) * p m ( k — 1 ) . ( 9 . 2 7 ) z p ( s l m ) * # m ( k - 1 ) 5 : 1 a n d N # m ( k ) = K * L m ( k ) * Z P ( S l t ) * # s ( k - 1 ) , ( 9 2 8 ) 5 : ] w h e r e 1 K : , ( 9 . 2 9 ) N N z L s ( k ) * z p ( s l t ) * # t ( k - 1 ) 5 : ] ( : 1 3 5 9 K n o r m a l i z e s t h e p r o b a b i l i t y t o o n e , p ( s | m ) i s t h e s t a t e t r a n s i t i o n p r o b a b i l i t y ( i . e . , t h e p r o b a b i l i t y o f t r a n s i t i o n i n g f r o m s t a t e m i n t o s t a t e s a t a n y g i v e n t i m e ) , a n d L ( k ) i s t h e l i k e l i h o o d o f t h e m o d e l d e fi n e d b y E q u a t i o n ( 9 . 2 8 ) . O n c e t h e p r o b a b i l i t i e s o f e a c h m o d e l a r e c o m p u t e d , i t i s p o s s i b l e t o c o m p u t e t h e e s t i m a t e o f t h e s t a t e v e c t o r f o r e a c h m o d e l . T h e s t a t e v e c t o r f o r e a c h m o d e l i s a w e i g h t e d c o m b i n a t i o n o f t h e s t a t e v e c t o r s f o r a l l o f t h e m o d e l s , w e i g h t e d b y t h e p r o b a b i l i t y o f t h e c u r r e n t m o d e l b e i n g v a l i d , g i v e n t h a t a n o t h e r m o d e l w a s v a l i d a t t h e l a s t t i m e i n s t a n c e . T h e s t a t e v e c t o r s f o r e a c h m o d e l a r e c o m p u t e d a c c o r d i n g t o [ 9 9 ] [ 1 0 3 ] [ 1 0 4 ] : x m ( k — 1 | k — l ) = g x s ( k — 1 | k — 1 ) * , u m | s ( k — 1 ) . ( 9 . 3 0 ) 3 : ] T h e s t a t e v e c t o r f o r e a c h m o d e l m u s t n o w b e p r o p a g a t e d f o r w a r d i n t i m e t o t h e n e x t s e n s o r i n p u t t i m e , u s i n g t h e s t a t e t r a n s i t i o n m a t r i x d e fi n e d f o r e a c h d y n a m i c s m o d e l : x m ( k l k — l ) = < D , , , ( k — 1 ) * x m ( k — 1 | k — 1 ) . ( 9 . 3 1 ) T h i s p r e d i c t i o n c a n n o w b e u p d a t e d t o t h e c u r r e n t t i m e i n s t a n c e , u s i n g t h e m o s t r e c e n t m e a s u r e m e n t : x m 1 k 1 k ) = x . . . ( k I k — 1 ) + G . . ( k ) * 2 m m . ( 9 . 3 2 ) w h e r e G m ( k ) i s t h e g a i n o f t h e fi l t e r f o r m o d e l 1 1 1 , a n d Z m ( k ) i s t h e i n n o v a t i o n s f o r m o d e l m , t h a t w a s d e fi n e d i n E q u a t i o n ( 9 . 2 6 ) . T h e fi n a l o u t p u t s t a t e v e c t o r o f t h e s y s t e m i s a c o m b i n a t i o n o f t h e s t a t e v e c t o r s f o r e a c h o f t h e m o d e l s . I t i s a w e i g h t h 3 6 0 s u m o f t h e s t a t e v e c t o r s f o r e a c h o f t h e m o d e l s , w e i g h t e d b y t h e i r c u r r e n t m o d e l p r o b a b i l i t i e s , a c c o r d i n g t o [ 9 9 ] [ 1 0 3 ] [ 1 0 4 ] : 1 v X ( k | k ) = Z X s ( k | k ) * # s ( k ) - ( 9 . 3 3 ) 5 : ] T h e c o r r e s p o n d i n g c o v a r i a n c e m a t r i x f o r t h i s s t a t e v e c t o r i s t h e n t h e w e i g h t e d s u m o f t h e c o v a r i a n c e m a t r i c e s f o r e a c h m o d e l , p l u s t h e c o v a r i a n c e b e t w e e n t h e m i x e d s t a t e v e c t o r a n d t h e i n d i v i d u a l m o d e l s t a t e v e c t o r s , a c c o r d i n g t o [ 9 9 ] [ 1 0 3 ] [ 1 0 4 ] : N P ( k I k ) = z y s ( k ) * { P s ( k l k ) + [ x 5 1 k I k ) — x ( k I k ) ] [ x s ( k I k ) — x ( k a n T } . ( 9 . 3 4 ) 3 : ] E q u a t i o n ( 9 . 3 5 ) i d e n t i fi e s a c r i t i c a l d i f f e r e n c e b e t w e e n c o v a r i a n c e o f t h e fi n a l s t a t e p r e d i c t i o n s f o r a n I M M fi l t e r a n d t h e t r a d i t i o n a l K a l m a n fi l t e r . I n t h e t r a d i t i o n a l K a l m a n fi l t e r , t h e c o v a r i a n c e o f t h e p r e d i c t i o n s i s i n d e p e n d e n t o f t h e s t a t e v e c t o r , ( r e c a l l e q u a t i o n ( 9 . 1 1 ) ) . N o w , f o r t h e I M M t r a c k e r , t h e r e i s a n e x p l i c i t d e p e n d e n c e o n t h e s t a t e v e c t o r , w h i c h i m p l i e s a d e p e n d e n c e o n t h e i n c o m i n g m e a s u r e m e n t s t r e a m . 3 6 1 9 . 1 . 2 I m p l e m e n t a t i o n o f M o t i o n T r a c k e r W e m u s t n o w d e fi n e t h e k e y K a l m a n fi l t e r a n d [ M M p a r a m e t e r s f o r t h e m o t i o n t r a c k e r v a r i a b l e s x t . d a n d 6 , f o r t h e t h r e e d y n a m i c s m o d e l s : ( i ) c e n l ' O l s t a t i o n a r y , ( i i ) n o r m a l h u m a n d y n a m i c s , a n d ( i i i ) p r e - c r a s h b r a k i n g d y n a m i c s . F i r s t , w e n e e d t o d e c i d e w h e t h e r w e c a n t r a c k x U , a n d I 9 s e p a r a t e l y , o r w h e t h e r C C “ 0 1 t h e r e m a y b e a n y i n t e r a c t i o n s b e t w e e n t h e v a r i a b l e s . T h e a d v a n t a g e o f t r e a t i n g t h e m i n d e p e n d e n t l y i s t h a t t h e s t a t e t r a n s i t i o n m a t r i x r e d u c e s f r o m a 6 x 6 m a t r i x i n t o t w o 3 x 3 m a t r i c e s , w h e n p r o c e s s i n g t h e p o s i t i o n , v e l o c i t y , a n d a c c e l e r a t i o n t e r m s . T w o d i f f e r e n t a n d m u t u a l l y e x c l u s i v e , p r o c e s s e s i n fl u e n c e t h e d y n a m i c s f o r c e n t r o i d a n d 1 9 . T h e m o t i o n o f t h e u n b e l t e d o c c u p a n t i n fl u e n c e s , t h e d y n a m i c s o f x t d , a s t h e o c c u p a n t i s p r o p e l l e d i n t o t h e A S Z d u r i n g a p r e - c r a s h b r a k i n g e v e n t . C 8 " r 0 1 , . . T h e d y n a m i c s o f t h e t i l t a n g l e , 1 9 , i s i n fl u e n c e d b y t h e b e l t e d o c c u p a n t w h o i s t i l t e d f o r w a r d i n a p r e - c r a s h b r a k i n g e v e n t , w h e n t h e i r s h o u l d e r r e s t r a i n t i s n o t l a t c h e d , a n d t h e i r l a p - b e l t i s h o l d i n g t h e i r h i p s i n p l a c e . T h e r e f o r e , s i n c e t w o s e p a r a t e e x t e r n a l p r o c e s s e s d r i v e t h e s e t w o v a r i a b l e s , w e c a n t r a c k t h e m s e p a r a t e l y . F o r e a c h o f t h e s e t r a c k e r s , w e w i l l i m p l e m e n t t h e I M M K a l m a n fi l t e r , w h i c h r e q u i r e s u s t o d e fi n e t h e f o l l o w i n g p a r a m e t e r s f o r e a c h o f t h e m m o d e l s , a n d f o r b o t h x _ a n d 6 : c c n t r o r d l ) , u ( 0 ) , t h e p r o b a b i l i t y o f t h e s y s t e m b e i n g i n m o d e l m a t t h e i n i t i a l t i m e . 2 ) p J r ( s | m ) a n d p g ( 3 | m ) , t h e m o d e l t r a n s i t i o n p r o b a b i l i t i e s . 3 6 2 M S I m ) = p . ( 9 . 3 6 ) 3 ) a m a n d 0 ' 2 , t h e e x p o n e n t i a l d e c a y a n d v a r i a n c e m 4 ) U p d a t e r a t e o f t h e i n p u t s a n d t h e o u t p u t s o f t h e t r a c k e r . T h e i n i t i a l m o d e l p r o b a b i l i t i e s f o r t h r e e d y n a m i c s m o d e l f o r x t . a n d 0 t r a c k e r s C 8 ” r 0 1 a r e a s s u m e d t o b e t h e s a m e . T h e e v e n t u a l b e h a v i o r o f t h e s y s t e m o v e r t i m e i s n o t o v e r l y d e p e n d e n t o n t h e s e p a r a m e t e r s , s i n c e t h e t r a c k e r w i l l b e o p e r a t i n g f o r v e r y l o n g p e r i o d s o f t i m e w h e n d r i v i n g . W e w i l l d e fi n e t h e m t o b e : = . 4 , u s t a t ( O ) O 9 5 ’ ' u h u m a n ( 0 ) = 0 . 4 9 5 , a n d ( 9 . 3 5 ) = . 0 1 . ' u c r a s h ( 0 ) 0 W e m u s t n e x t d e fi n e t h e m a t r i x f o r t h e m o d e l t r a n s i t i o n p r o b a b i l i t i e s , p x ( s | m ) a n d p 6 ( s l m ) = P P s t a t | s t a t s t a t | h u m a n s t a t I c r a s h h u m a n I s t a t p h u m a n | h u m a n p h u m a n I c r a s h c r a s h I s t a t c r a s h I h u m a n c r a s h I c r a s h N o s i m p l e e q u a t i o n s e x i s t f o r c o m p u t i n g e a c h o f t h e s e m o d e l t r a n s i t i o n p r o b a b i l i t i e s . F o r t h e s e w e e m p i r i c a l l y t e s t e d a r a n g e o f v a l u e s , a n d u s e d t h e v a l u e s t h a t m i n i m i z e t h e t r a c k i n g e r r o r f o r a s e t o f t r a i n i n g c r a s h v i d e o s e q u e n c e s c a p t u r e d w i t h o u r A S Z t e s t e r d e fi n e d i n C h a p t e r 7 . A d d i t i o n a l l y , w e i m p o s e d n o n - s y m m e t r y i n t h e 3 6 3 p r o b a b i l i t i e s t o a n d fi ‘ o m t h e p r o - c r a s h b r a k i n g m o d e l . O u r p h i l o s o p h y b e h i n d t h i s n o n - s y m m e t r y i s t h a t o n c e t h e s y s t e m i s i n a p r e - c r a s h b r a k i n g d y n a m i c s , t h e r e i s a h i g h p r o b a b i l i t y t h a t t h e r e w i l l b e a d d i t i o n a l h i g h a c c e l e r a t i o n m a n e u v e r s ( e . g . , a m i l d c r a s h , a s e t o f c o n c a t e n a t e d m i n o r c r a s h e s , o r t h e o c c u p a n t r e b o u n d i n g i n t o t h e s e a t b a c k ) . T h e r e f o r e , w e l e a v e t h e s y s t e m i n t h e p r e - c r a s h b r a k i n g s t a t e , u n t i l t h e r e i s a n o v e r w h e l m i n g a m o u n t 0 f e v i d e n c e t h a t t h e s y s t e m i s n 0 l o n g e r i n t h a t m o d e l , a n d t h e n t r a n s i t i o n t h e s y s t e m b a c k t o t h e s t a t i o n a r y o r t h e h u m a n m o t i o n s t a t e s . F i g u r e 9 . 4 d e m o n s t r a t e s t h e ‘ h y s t e r e s i s ’ t h a t i s b u i l t i n t o t h e p r e — c r a s h b r a k i n g t r a n s i t i o n p r o b a b i l i t i e s . C r a s h 0 . 8 - 0 5 m . S t a t i o n a r y { 1 4 ’ H u m a n 0 . 2 ~ I D I F i g u r e 9 . 4 : M o d e l p r o b a b i l i t i e s d u r i n g a p r e - c r a s h b r a k i n g m o t i o n s e q u e n c e . 1 0 2 0 3 0 4 D 5 0 5 0 W e u s e t h e s a m e m o d e l t r a n s i t i o n p r o b a b i l i t i e s f o r b o t h x . a n d 6 c e n t r o z d t r a c k e r s , a n d t h e e l e m e n t s o f p ( s | m ) a r e : 3 6 4 = 0 . 7 5 , s t a t I s t a t = 0 . 2 4 5 , s t a t I h u m a n = 0 . 0 0 5 , s t a t I c r a s h = 0 . 2 4 5 , h u m a n I s t a t = 0 . 7 5 , ( 9 . 3 7 ) h u m a n I h u m a n = 0 . 0 0 5 , h u m a n I c r a s h = 0 . 0 0 0 5 , c r a s h I s t a t p = 0 . 0 0 0 5 , a n d c r a s h I h u m a n = 0 . 9 9 9 . c r a s h I c r a s h N o t e t h a t f o r e a c h m o d e l , t r a n s i t i o n p r o b a b i l i t i e s , t h e s u m o f t h e p r o b a b i l i t i e s i n t o t h a t m o d e l s t a t e m u s t s u m t o o n e , t o e n s u r e t h a t a l l p o s s i b l e s y s t e m t r a n s i t i o n s f r o m o n e m o d e l t o a n o t h e r a r e c o n s i d e r e d , i . e . : = 1 . ( 9 . 3 8 ) + P + P s t a t I s t a t s t a t | h u m a n s t a t I c r a s h T h e t h i r d s e t o f p a r a m e t e r s t h a t w e m u s t d e fi n e i s a m a n d 0 ' 2 . T h e s e a r e m e a s i l y c o m p u t e d f o r e a c h o f t h e m o d e l s o f d y n a m i c s u s i n g t h e e q u a t i o n s i n ( 9 . 2 4 ) a n d ( 9 . 2 5 ) . F o r t h e s e t i m e c o n s t a n t s w e u s e t h e s a m e v a l u e s f o r t h e c e n t r o i d a n d t h e a n g l e , s i n c e t h e c o r r e l a t i o n c h a r a c t e r i s t i c s o f t h e m o t i o n s s h o u l d b e s i m i l a r , s i n c e t h e y a r e d r i v e n b y t h e s a m e u n d e r l y i n g d y n a m i c s , a n d t h e y a r e : 3 6 5 a = 0 . 0 1 , s t a t a = 0 . 1 , a n d ( 9 . 3 9 ) h u m a n c r a s h L i k e w i s e , t h e v a l u e s f o r v a r i a n c e s f o r t h e s y s t e m p r o c e s s n o i s e f o r e a c h m o d e l f o r x a r e t h e n : c e n t r o i d 0 . 0 0 1 , < 9 : u m a n ( x ) 0 . 0 3 , a n d ( 9 . 4 0 ) 2 _ 2 . 5 . a c r a s h ( x ) _ T h e v a l u e s f o r v a r i a n c e s f o r t h e s y s t e m p r o c e s s n o i s e f o r 0 a r e s l i g h t l y l a r g e r , d u e t o l o w e r s e n s i t i v i t y i n t h e a n g u l a r d i r e c t i o n c o m p a r e d w i t h t h e l a t e r a l d i r e c t i o n . T h e y a r e m e a s u r e d i n d e g r e e s , a n d a r e : 0 2 ( 6 ) = 0 . 1 , s t a t 0 2 ( 9 ) : 1 . 0 , a n d ( 9 4 1 ) h u m a n 0 2 ( 6 ) = 5 . 0 . c r a s h 3 6 6 T h e s e v a l u e s w e r e i n i t i a l l y e s t i m a t e d b a s e d o n E q u a t i o n ( 9 . 2 5 ) , a n d t h e n o p t i m i z e d b a s e d o n e m p i r i c a l d a t a r e g a r d i n g p r e d i c t e d v e r s u s a c t u a l A S Z i n t r u s i o n t i m e s u s i n g t h e t e s t fi x t u r e d e fi n e d i n C h a p t e r 7 . T h e f o u r t h p a r a m e t e r t o d e fi n e i s t h e i n p u t r a t e f o r t h e t r a c k e r . I t i s s i m p l y t h e u p d a t e r a t e o f t h e c a m e r a , w h i c h i s 3 0 H z ( 3 3 m i l l i s e c o n d s p e r f r a m e ) . T h e o u t p u t r a t e o f t h e t r a c k e r c a n b e d i f f e r e n t t h a n t h e i n p u t r a t e , a n d a c t u a l l y m u s t b e d i f f e r e n t f o r t h e a i r b a g s u p p r e s s i o n a p p l i c a t i o n t o a l l o w t h e s y s t e m t o d e t e c t a n A S Z i n t r u s i o n w i t h i n 1 0 m i l l i s e c o n d s , w h i c h i s r o u g h l y a t h r e e t i m e s f a s t e r r a t e t h a n t h e i n p u t m e a s u r e m e n t s . T h i s r e q u i r e s u s t o d e fi n e t w o d i f f e r e n t s t a t e t r a n s i t i o n m a t r i c e s : ( i ) ( 1 ) : ? ” ( k ) f o r t r a n s i t i o n i n g t h e s t a t e v e c t o r t o t h e t i m e o f t h e n e x t s e n s o r i n p u t , a n d ( i i ) ( D a m p “ ’ ( k ) f o r t r a n s i t i o n i n g t h e s t a t e v e c t o r a t a d a t a r a t e t h a t w i l l s u p p o r t p r e d i c t i n g w h e n t h e o c c u p a n t m a y e n t e r t h e A S Z . W e h a v e d e s i g n e d t h e o u t p u t r a t e o f t h e m o t i o n t r a c k e r t o b e 5 m i l l i s e c o n d s , w h i c h g i v e s u s a m a r g i n o f e r r o r . T h i s u p d a t e r a t e e q u a t e s t o r o u g h l y s i x u p d a t e s p e r i n p u t i m a g e f r a m e . W e a l s o n e e d t o p r o v i d e s o m e p r e d i c t i o n c a p a b i l i t y a h e a d o f t h e n e x t f r a m e . T h e r e f o r e , w e e x t r a p o l a t e t h e p o s i t i o n o f t h e o c c u p a n t 8 h i g h - s p e e d o u t p u t s a h e a d , w h i c h a l l o w s u s t o e x t r a p o l a t e i n t o t h e m i d d l e o f t h e n e x t i m a g e f r a m e . T h e p o s i t i o n p r e d i c t i o n s p r o v i d e d f o r e a c h i n p u t f r a m e a r e g r a p h i c a l l y s h o w n i n F i g u r e 9 . 5 . 3 6 7 s e g m e n t e d i m a g e 5 0 1 0 3 1 5 0 2 1 1 3 2 5 0 3 0 0 3 5 0 F i g u r e 9 . 5 : S e q u e n c e o f p r e d i c t e d p o s i t i o n s f o r o n e s e n s o r i n p u t f o r t h e m o t i o n t r a c k e r . E l l i p s e s s h o w t h e s e t o f h i g h r a t e u p d a t e s f o r a s i n g l e i m a g e i n p u t . 9 . 2 S h a p e T r a c k i n g I f a s y s t e m d o e s n o t u s e a n a c t i v e r a n g i n g m e c h a n i s m , t h e n t h e 3 - d i m e n s i o n a l d e fi n i t i o n o f t h e s h a p e a n d o r i e n t a t i o n o f t h e o b j e c t m u s t b e i n f e r r e d f r o m 2 - d i m e n s i o n a l i m a g e r y . T h e r e a r e f o u r m e c h a n i s m s f o r i n f e r r i n g 3 - d i m e n s i o n a l s h a p e a n d o r i e n t a t i o n f r o m 2 - d i m e n s i o n a l i m a g e s , n a m e l y [ 1 4 8 ] [ 1 6 6 ] : l ) s h a p e f r o m s t e r e o , 2 ) s h a p e f r o m s h a d i n g , 3 ) s h a p e f r o m d e f o c u s , a n d 4 ) s h a p e f r o m m o t i o n . 3 6 8 E x a m p l e s o f e a c h o f t h e s e m e t h o d s a r e p r o v i d e d i n F i g u r e 9 . 6 . S i n c e w e a r e l i m i t e d t o a s i n g l e c a m e r a f o r t h i s s y s t e m , s h a p e f r o m s t e r e o w a s n o t c o n s i d e r e d . S h a p e f r o m s h a d i n g w a s n o t c o n s i d e r e d f o r t h e f o l l o w i n g t w o r e a s o n s : ( i ) o c c u p a n t s c a n h a v e a n y t y p e o f c l o t h i n g , a n d i l l u m i n a t i o n c o n d i t i o n s a r e u n c o n t r o l l e d ( e i t h e r d i r e c t i o n o r i n t e n s i t y ) . S h a p e f r o m f o c u s w a s a l s o c o n s i d e r e d i n f e a s i b l e d u e t o t h e w i d e fi e l d o f v i e w r e q u i r e d f o r t h e c a m e r a . W i d e fi e l d - o f - v i e w c a m e r a s t e n d t o h a v e a v e r y d e e p d e p t h - o f - f o c u s , a n d t h i s g r e a t l y l i m i t s t h e i r a b i l i t y t o p e r f o r m s h a p e f r o m d e f o c u s . S i n c e a l l t h e o t h e r m e t h o d s w e r e d i s c o u n t e d , w e t h e n m u s t r e l y o n t h e fi n a l m e t h o d , s h a p e f r o m m o t i o n . 9 . 2 . 1 O v e r v i e w o f M e t h o d s f o r 3 - D S h a p e / P o s e f r o m M o t i o n E s t i m a t i o n T h e t e c h n i q u e s o f s h a p e f r o m m o t i o n ( S F M ) a r e w e l l e s t a b l i s h e d i n t h e fi e l d s o f p h o t o g r a m m e t r y a n d 3 - D i m a g e r e c o n s t r u c t i o n [ 1 4 8 ] . T h e s e t e c h n i q u e s a l l r e l y o n p o i n t c o r r e s p o n d e n c e s o f f e a t u r e s t h a t a r e d e e m e d t o b e r e l i a b l e . R e l i a b l e f e a t u r e s a r e t h o s e t h a t h a v e t h e f o l l o w i n g c h a r a c t e r i s t i c s [ 1 5 6 ] : 1 ) t h e y a p p e a r c o n t i n u o u s l y i n t h e i m a g e s e q u e n c e ( n o o c c l u s i o n ) , 2 ) t h e y a r e u n i q u e l y d e fi n e d i n t w o d i r e c t i o n s ( s t r a i g h t e d g e s , f o r e x a m p l e , a r e o n l y u n i q u e l y d e fi n e d i n t h e d i r e c t i o n p e r p e n d i c u l a r t o t h e i r o r i e n t a t i o n , w h i c h m e a n s c o m e r f e a t u r e s a r e t h e b e s t t o t r a c k ) , a n d 3 ) t h e y d o n o t c h a n g e s h a p e d r a m a t i c a l l y i n t h e i m a g e s e q u e n c e ( m i n i m a l d e f o r m a t i o n ) . 3 6 9 O b j e c t D e p t h M a p , c F i g u r e 9 . 6 : T h e f o u r b a ( s i : m e t h o d s o f d e r i v i n g 3 - D s t r u c t u r e f r o m 2 - D i m a g e r y , ( a ) s t e r e o , ( b ) s h a p e f r o m d e - f o c u s , ( c ) s h a p e f r o m s h a d i n g , a n d ( d ) s h a p e f r o m m o t i o n [ 2 8 ] . A n o t h e r c o m m o n r e q u i r e m e n t o f S F M a l g o r i t h m s i s t h a t t h e o b j e c t b e i n g i m a g e d m u s t b e a r i g i d b o d y . D e f o r m a t i o n s i n t h e b o d y o f i n t e r e s t w i l l r e s u l t i n e r r o r s i n t h e p o i n t c o r r e s p o n d e n c e p r o b l e m . T h e r e a r e a s e r i e s o f e s t a b l i s h e d a l g o r i t h m i c a p p r o a c h e s t o s o l v i n g t h e s h a p e f r o m m o t i o n p r o b l e m , i n c l u d i n g [ 1 4 8 ] : 1 ) O p t i m i z a t i o n A p p r o a c h e s — O p t i m i z a t i o n a p p r o a c h e s c r e a t e ‘ o p t i m a l ’ r e c o n s t r u c t i o n s b y m i n i m i z i n g s o m e c r i t e r i o n f u n c t i o n , t y p i c a l l y t h e l e a s t s q u a r e s i m a g e e r r o r . T h e y t e n d t o s o l v e t h e S F M p r o b l e m w i t h n o a p r i o r i k n o w l e d g e o f t h e i m a g i n g p h e n o m e n o n , b u t r a t h e r a p p l y b r u t e f o r c e 3 7 0 2 ) 3 ) o p t i m i z a t i o n a l g o r i t h m s . T h e y s u f f e r f r o m t h e c l a s s i c p r o b l e m s a s s o c i a t e d w i t h g e n e r a l o p t i m i z a t i o n m e t h o d s , n a m e l y r e c o g n i z i n g g l o b a l m i n i m a f r o m l o c a l m i n i m a , s i n c e t h e y h a v e n o u n d e r l y i n g p h e n o m e n o l o g y t o t e s t t h e t r u e g o o d n e s s o f c a n d i d a t e m i n i m a . F u s i n g / K a l m a n F i l t e r i n g A p p r o a c h e s — F u s i o n a p p r o a c h e s a r e t h e c l a s s o f r e c o n s t r u c t i o n a l g o r i t h m s t h a t u s e s u b s e t s o f i n p u t i m a g e s t o e s t i m a t e a s o l u t i o n t o t h e r e c o n s t r u c t i o n , a n d t h e n i t e r a t i v e l y i m p r o v e t h e s o l u t i o n b y i n t e g r a t i n g a d d i t i o n a l i m a g e d a t a . T h e m a i n d r a w b a c k o f f u s i o n i s t h a t t h e fi n a l r e s u l t i s l i m i t e d b y t h e q u a l i t y o f t h e i n t e r m e d i a t e r e c o n s t r u c t i o n s . T o p r o p e r l y p e r f o r m t h e f u s i o n , o n e m u s t b e a b l e t o c a l c u l a t e t h e q u a l i t y o f e a c h i n t e r m e d i a t e r e c o n s t r u c t i o n , a n d t h e n d e t e r m i n e t h e p r o p e r w e i g h t i n g t h a t i t s h o u l d b e g i v e n . I f e a c h o f t h e s u b - e s t i m a t e s a r e a s s u m e d t o h a v e b e e n c o r r u p t e d b y G a u s s i a n e r r o r s , t h e n t h e K a l m a n fi l t e r c a n b e u s e d a s a n o p t i m a l m e a n s o f p e r f o r m i n g t h e f u s i o n t a s k . P r o j e c t i v e / E u c l i d e a n R e c o n s t r u c t i o n A p p r o a c h e s — P r o j e c t i v e r e c o n s t r u c t i o n u s e s u n - c a l i b r a t e d c a m e r a s , w h i l e t h e E u c l i d e a n r e c o n s t r u c t i o n u s e s c a l i b r a t e d c a m e r a s . I n p r o j e c t i v e r e c o n s t r u c t i o n , n o t o n l y i s t h e c a m e r a c a l i b r a t i o n a s s u m e d u n k n o w n , b u t i t i s a l s o a l l o w e d t o b e a r b i t r a r i l y d i f f e r e n t f o r e a c h i m a g e u s e d i n t h e r e c o n s t r u c t i o n s e q u e n c e . C l e a r l y , t h i s i s n o t t r u e f o r t h e a i r b a g s u p p r e s s i o n a p p l i c a t i o n , w h e r e w e a r e u s i n g t h e i m a g e s t r e a m f r o m a s i n g l e c a m e r a , s o w e w i l l d e fi n e t h e E u c l i d e a n a p p r o a c h . T h e b a s i c p r o b l e m o f r e c o n s t r u c t i o n i s t o s o l v e t h e e q u a t i o n [ 1 4 8 ] : I = M - S , ( 9 . 4 2 ) 3 7 1 4 ) w h e r e I i s a m a t r i x o f t h e a c t u a l 2 - d i m e n s i o n a l i m a g e p o i n t s i n h o m o g e n e o u s c o o r d i n a t e s , M i s t h e c a m e r a m a t r i x , a n d S i s t h e s t r u c t u r e m a t r i x . T h e s t r u c t u r e m a t r i x i s t h e d e s i r e d m a t r i x o f t h e a c t u a l o b j e c t p o i n t s d e fi n e d i n a 3 - d i m e n s i o n a l s p a c e . T h e c a m e r a m a t r i x , M , c o n t a i n s t h e c a l i b r a t i o n p a r a m e t e r s o f t h e c a m e r a . I t h a s t h e s a m e f o r m a s t h e g e n e r a l 3 - d i m e n s i o n a l a f fi n e t r a n s f o r m a t i o n [ 1 5 9 ] : ' 7 x - s y . s z - s d 1 9 ] 1 , 2 1 , 3 I M ( x , y ) = - 2 ] y - s 2 2 2 3 ( 9 . 4 3 ) [ x o s 3 , 1 y ' 3 3 , 2 3 , 3 F o r E u c l i d e a n r e c o n s t r u c t i o n , - t h e f o l l o w i n g s u b - m a t r i x i s e x t r a c t e d f r o m e q u a t i o n ( 9 . 3 6 ) : ' I s s s . 1 , 1 1 , 2 1 , 3 S = s s s , ( 9 . 4 4 ) 2 , 1 2 , 2 2 , 3 S S S _ 3 , 1 3 , 2 3 , 3 _ w h e r e S i s a s i m p l e o r t h o g o n a l r o t a t i o n m a t r i x . T h e u s e o f a v a r i a t i o n o f E q u a t i o n , ( 9 . 4 3 ) i s a l s o t h e c o r e i d e a b e h i n d t h e f a c t o r i z a t i o n m e t h o d s d e fi n e d b e l o w . I n v a r i a n t s - b a s e d A p p r o a c h e s - I n t h e s e m e t h o d s p o l y n o m i a l c o n s t r a i n t s o n t h e i m a g e b e h a v i o r fi ' o m o n e f r a m e t o t h e n e x t a r e d e fi n e d . T h e n o n e a l g e b r a i c a l l y e l i m i n a t e s s o m e s e t o f u n k n o w n s , a n d s o l v e s f o r t h e r e m a i n i n g 3 7 2 v a l u e s [ 1 4 8 ] . I n v a r i a n t s - b a s e d a p p r o a c h e s t y p i c a l l y f o l l o w a t h r e e - s t a g e p r o c e s s c o n s i s t i n g o f : ( i ) e s t i m a t e t h e e s s e n t i a l m a t r i x , ( i i ) u s e t h e e s s e n t i a l m a t r i x t o r e c o v e r t h e m o t i o n p a r a m e t e r s , a n d ( i i i ) c o m p u t e t h e a c t u a l s t r u c t u r e p a r a m e t e r s . T h e s e a l g o r i t h m s t y p i c a l l y d o n o t u s e t h e e n t i r e i m a g e s t r e a m , b u t r a t h e r u s e o n l y t w o o r t h r e e f r a m e s . A d d i t i o n a l d a t a fl o m a n i m a g e s t r e a m m u s t b e i n c o r p o r a t e d v i a a n o t h e r p r o c e s s , s u c h a s a f u s i o n a l g o r i t h m d e fi n e d a b o v e [ 1 4 8 ] W h i l e t h e r e a r e m a n y s t r u c t u r e fl o m m o t i o n a l g o r i t h m s , t h e f a c t o r i z a t i o n m e t h o d w i l l b e r e v i e w e d h e r e s i n c e i t s o l v e s t h e p r o b l e m u s i n g a s i m i l a r p h i l o s o p h y , n a m e l y b y d e c o m p o s i n g t h e i m a g e e f f e c t s i n t o c a m e r a ( o r s u b j e c t ) m o t i o n a n d s u b j e c t s t r u c t u r e . I t i s a l s o v e r y f l e x i b l e i n t e r m s o f t h e n u m b e r , o f i m a g e fl a m e s a n d t h e n u m b e r o f o b j e c t p o i n t s p e r i m a g e f r a m e t h a t a r e u t i l i z e d . T h e b a s i c p r o b l e m a d d r e s s e d b y t h e f a c t o r i z a t i o n m e t h o d i s t o s o l v e t h e i m a g i n g e q u a t i o n [ 1 4 8 ] : l e - S , ( 9 . 4 5 ) w h e r e l i s a m a t r i x o f t h e a c t u a l 2 - d i m e n s i o n a l i m a g e p o i n t s i n h o m o g e n e o u s c o o r d i n a t e s , M i s t h e c a m e r a m a t r i x , a n d S i s t h e s t r u c t u r e m a t r i x . T h e f a c t o r i z a t i o n m e t h o d i s c a p a b l e o f s i m u l t a n e o u s l y e x t r a c t i n g t h e s t r u c t u r e a n d t h e m o t i o n i n a n i m a g e [ 1 4 9 ] [ 1 5 0 ] [ 1 5 1 ] . V a r i a n t s o f t h e a l g o r i t h m h a v e b e e n d e v e l o p e d f o r i m a g e s c o l l e c t e d u n d e r a v a r i e t y o f i m a g i n g g e o m e t r i e s , i n c l u d i n g [ 1 4 9 ] [ 1 5 0 ] [ 1 5 1 ] : 1 ) p e r s p e c t i v e , 2 ) p a r a - p e r s p e c t i v e , 3 ) w e a k p e r s p e c t i v e , 3 7 3 4 ) o r t h o g r a p h i c p r o j e c t i o n , a n d 5 ) s c a l e d - o r t h o g r a p h i c p r o j e c t i o n . F o r a l l o f t h e s e g e o m e t r i c a l m o d e l s t h e r e i s a n u p p e r a n d l o w e r b o u n d o n t h e a m o u n t o f i m a g e m o t i o n t h a t i s a l l o w e d . T h e c a m e r a ( o r o b j e c t ) m o t i o n m u s t b e l a r g e e n o u g h t o o v e r c o m e n o i s e i s s u e s i n m e a s u r i n g t h e c o r r e s p o n d e n c e s , w h i l e t h e m o t i o n m u s t n o t b e s o l a r g e a s t o c a u s e e i t h e r : ( i ) d r a m a t i c c h a n g e s i n p o i n t s t h a t m a k e t h e p o i n t c o r r e s p o n d e n c e d i f fi c u l t , o r ( i i ) o c c l u s i o n o f s o m e o f t h e p o i n t s b e i n g t r a c k e d . T h e a p p r o a c h o f t h e f a c t o r i z a t i o n m e t h o d i s t o t r a c k P f e a t u r e p o i n t s o v e r a s e q u e n c e o f F i m a g e fl a m e s , t h e r e b y g e n e r a t i n g a n a r r a y o f t h e f o r m [ 1 5 1 ] : { ( u , v ) | f = l , . . . , F ; p = 1 , . . . , P } , ( 9 . 4 6 ) [ p f p w h e r e u i s t h e h o r i z o n t a l l o c a t i o n a n d v i s t h e v e r t i c a l l o c a t i o n o f t h e f e a t u r e p o i n t s i n t h e i m a g e . N o t e t h a t t h i s l i s t o n l y c o n t a i n s p o i n t s t h a t h a v e b e e n t r a c k e d t h r o u g h t h e e n t i r e i m a g e s t r e a m . A n y p o i n t s t h a t a r e l o s t d u e t o o c c l u s i o n o r p o o r c o r r e s p o n d e n c e q u a l i t y a r e d r o p p e d fl o m t h e e n t i r e s t r e a m o f d a t a p o i n t s . T h e i m a g e s a r e a l i g n e d ( o n l y u p t o a s i m p l e i n - p l a n e t r a n s l a t i o n ) , b y s u b t r a c t i n g t h e m e a n s o f t h e u a n d v c o o r d i n a t e s , t h r o u g h [ 1 5 l ] : u = u ' — 2 7 a n d v = v ' — 1 7 , ( 9 . 4 7 ) f t ) [ P f [ 0 f } ? f w h e r e P . 2 v . ( 9 . 4 8 ) 3 7 4 F r o m t h i s d a t a a r r a y , a p a i r o f m a t r i c e s i s p r o d u c e d . O n e m a t r i x c o n t a i n s a l l t h e u - v a l u e s , a n d t h e o t h e r m a t r i x c o n t a i n s a l l o f t h e v - v a l u e s o f t h e i m a g e p o i n t s . T h e s e t w o m a t r i c e s a r e t h e n s t a c k e d o n t o p o f e a c h o t h e r t o g e n e r a t e t h e m e a s u r e m e n t m a t r i x ( n o t t o b e c o n f u s e d w i t h t h e m e a s u r e m e n t m a t r i x i n K a h n a n fi l t e r i n g ) , w h i c h t a k e s o n t h e f o r m [ 1 5 1 ] : U . W = — — ’ " ‘ " ’ " ‘ . ( 9 . 4 9 ) V . m a t r r x A t a n y i m a g e fl a m e , f , t h e c a m e r a p o i n t i n g - a n g l e c a n b e m o d e l e d a s a C a r t e s i a n u n i t v e c t o r , i f , i f , a n d k f , i n s o m e fi x e d g l o b a l c o o r d i n a t e s y s t e m . T h e n t h e r e l a t i v e m o t i o n b e t w e e n t h e c a m e r a a n d t h e o b j e c t c a n b e r e p r e s e n t e d b y a s e r i e s o f u n i t v e c t o r s , w h i c h w i l l c a p t u r e o n l y t h e r e l a t i v e m o t i o n i n t h e i f a n d j f c o o r d i n a t e s . T h e s e v a l u e s a r e t h e n c a p t u r e d i n a m o t i o n m a t r i x , M , w h i c h i s o f t h e f o r m [ 1 5 0 ] : i T 1 . i T M : f ( 9 . 5 0 ) j T 1 - . T J L . f 3 N o t e t h a t t h i s m o d e l a s s u m e s a n o r t h o g r a p h i c , o r v e r y w e a k - p e r s p e c t i v e , p r o j e c t i o n 3 7 5 z s = 0 . ( 9 . 5 2 ) s y s t e m , w h i c h a s s u m e s v e r y l i t t l e c h a n g e i n t h e k f d i r e c t i o n ( d e p t h ) o f t h e r e a l o b j e c t p o i n t s . N o w t h e l o c a t i o n s o f e a c h f e a t u r e p o i n t c a n b e r e p r e s e n t e d b y a u n i t v e c t o r , s _ , i n t h i s s a m e c o o r d i n a t e s y s t e m , b y a s t r u c t u r e m a t r i x , S , o f t h e f o r m [ 1 5 0 ] : l S = [ s l , . . . , s ( 9 . 5 1 ) # - S i n c e w e h a d p r e v i o u s l y r e m o v e d t h e m e a n s fl o m a l l o f t h e u a n d v c o o r d i n a t e s , t h e f o l l o w i n g c o n s t r a i n t w i l l a l s o h o l d [ 1 5 0 ] : T h e m e a s u r e m e n t m a t r i x c a n n o w b e w r i t t e n a s t h e p r o d u c t o f t h e m o t i o n a n d s t r u c t u r e m a t r i c e s [ 1 5 0 ] : W = M - S . ( 9 . 5 3 ) N o t e t h a t t h e m o t i o n m a t r i x , M , i s o f s i z e ( 2 x F ) x 3 , a n d t h e s t r u c t u r e m a t r i x , S , i s o f s i z e 3 x P , w h i c h i m p l i e s t h a t t h e m a t r i x W i s a t m o s t a r a n k 3 m a t r i x ( i . e . , d e fi n a b l e b y t h r e e u n i q u e e i g e n - v e c t o r s ) [ 1 5 0 ] [ 1 5 1 ] . T h e f a c t o r i z a t i o n a l g o r i t h m t h e n r e p r e s e n t s t h e m a t r i x W a s a p r o d u c t o f t h r e e m a t r i c e s o f s p e c i a l f o r m , r a t h e r t h a n t h e t w o g e n e r a l m a t r i c e s , a c c o r d i n g t o [ 1 5 0 ] [ 1 5 1 ] : W = L - 2 - R , ( 9 . 5 4 ) w h e r e 2 ‘ . i s t h e m a t r i x w h o s e d i a g o n a l e l e m e n t s a r e t h e s i n g u l a r v a l u e s , a n d L a n d R a r e t h e m a t r i c e s c o n t a i n i n g t h e l e fi a n d r i g h t e i g e n - v e c t o r s , r e s p e c t i v e l y . S i n c e t h e 3 7 6 r a n k o f W i s t h r e e , a l l o f t h e r e l e v a n t i n f o r m a t i o n r e g a r d i n g t h e s t r u c t u r e a n d m o t i o n o f t h e i m a g e s e q u e n c e i s c o n t a i n e d i n t h e t o p t h r e e s i n g u l a r v a l u e s a n d t h e i r c o r r e s p o n d i n g l e f t a n d r i g h t e i g e n v e c t o r s [ 1 5 0 ] [ 1 5 1 ] . A n e w a p p r o x i m a t e m e a s u r e m e n t m a t r i x i s t h e n c o m p u t e d f r o m t h e s e t o p t h r e e s i n g u l a r v a l u e s , g i v i n g [ 1 5 0 ] [ 1 5 1 ] : w a s . ( 9 . 5 5 ) T h i s r e p r e s e n t a t i o n , h o w e v e r , i s o n l y u n i q u e u p t o a n a f fi n e t r a n s f o r m a t i o n . T h e s e c o n d c o m p o n e n t o f t h e f a c t o r i z a t i o n m e t h o d a l g o r i t h m d e r i v e s t h e t r a n s f o r m a t i o n m a t r i x , w h i c h t r a n s f o r m s t h e M a n d S i n t o t h e t r u e m o t i o n a n d s t r u c t u r e m a t r i c e s , M a n d S , v i a [ 1 5 0 ] [ 1 5 1 ] : M = M - A , a n d ( 9 . 5 6 ) S = A " - S . T h e m a t r i x A c a n b e c a l c u l a t e d fl o m a s e t o f c o n s t r a i n t s , c a l l e d t h e m e t r i c c o n s t r a i n t s , w h i c h a r e o f t h e f o r m [ 1 5 0 ] [ 1 5 1 ] : i - A - A T - i = 1 , f f " ° - A . A T - " = 1 , 9 . 5 7 i f i f ( ) i - A - A T - j = 0 . f f 3 7 7 O n c e A i s c o m p u t e d , t h e t r u e s t r u c t u r e m a t r i x c a n b e d e r i v e d , a n d t h e 3 - d i m e n s i o n a l g l o b a l l o c a t i o n s o f a l l t h e t r a c k e d f e a t u r e p o i n t s h a v e b e e n c o m p u t e d . 9 . 2 . 2 S h a p e f r o m D e f o r m a t i o n T h e a l g o r i t h m s d e fi n e d i n S e c t i o n 9 . 2 . 1 t o d e r i v e s h a p e fl o m m o t i o n r e l i e d o n p o i n t c o r r e s p o n d e n c e s b e t w e e n i m a g e f r a m e s . T h e 3 - d i m e n s i o n a l s t r u c t u r e i s c o m p u t e d fl o m t h e r e l a t i v e m o t i o n s o f t h e s e p o i n t s , a s t h e v i e w i n g a n g l e i s c h a n g e d . C o n s e q u e n t l y , i t i s i m p e r a t i v e t o d e fi n e i m a g e p o i n t s t h a t a r e s u i t a b l e f o r t r a c k i n g [ 1 5 6 ] . R e c a l l t h e r e s u l t s o f t h e H a u s d o r f f p o i n t - s e t m a t c h i n g f o r m o t i o n e s t i m a t i o n t h a t w e r e p r e s e n t e d i n C h a p t e r 7 . W e s a w t h a t d u r i n g s e v e r e 3 - d i m e n s i o n a l m o t i o n , t h e p o i n t — s e t m a t c h i n g a p p r o a c h f a i l e d t o fi n d p o i n t c o r r e s p o n d e n c e s , e v e n o n a p o i n t - s e t l e v e l . T h e s t r u c t u r e f r o m m o t i o n a l g o r i t h m r e q u i r e s p o i n t - t o - p o i n t m a t c h i n g w h i c h i s e v e n m o r e d i f fi c u l t , d u e t o t h e s e v e r e d e f o r m a t i o n s i n t h e o b j e c t b e i n g m a t c h e d . F o r o u r a p p l i c a t i o n , w e n e e d t o d e v e l o p a n a l g o r i t h m t h a t w i l l b e a b l e t o o p e r a t e t h r o u g h t h e s e e x t r e m e d e f o r m a t i o n s . T h e r e h a s r e c e n t l y b e e n r e s e a r c h w o r k o n u s i n g t h e d e f o r m a t i o n s i n a n i m a g e s e q u e n c e t o i n f e r t h e d i r e c t i o n o f m o t i o n o f a n o b j e c t [ 1 5 1 ] . U n f o r t u n a t e l y , a s i n t h e t r a d i t i o n a l S F M a l g o r i t h m s , t h i s d e f o r m a t i o n - b a s e d a p p r o a c h s t i l l r e l i e s o n p o i n t t r a c k i n g t o d e fi n e t h e d e f o r m a t i o n s . D u e t o t h e u n i q u e p o s i t i o n o f t h e c a m e r a r e l a t i v e t o t h e o b j e c t o f i n t e r e s t ( t h e o c c u p a n t ) i n t h e a i r b a g s u p p r e s s i o n a p p l i c a t i o n , d r a m a t i c c h a n g e s a r e w i t n e s s e d i n t h e i m a g e , a s t h e o c c u p a n t m o v e s i n t h e v e h i c l e . 3 7 8 O f p a r t i c u l a r i n t e r e s t i s t h e b e h a v i o r o f t h e b o u n d i n g e l l i p s e o f t h e o c c u p a n t , a s s h e l e a n s i n t h e d i r e c t i o n t o w a r d s o r a w a y fl o m t h e c a m e r a ( i n t o a n d o u t o f t h e i m a g e p l a n e ) . A s s h o w n i n F i g u r e 9 . 7 , m o t i o n i n t h e d i r e c t i o n p e r p e n d i c u l a r t o t h e i m a g e p l a n e ( t o w a r d t h e c a m e r a ) c a u s e s s i g r r i fi c a n t d e f o r r n a t i o n s i n t h e b o u n d i n g e l l i p s e . S p e c i fi c a l l y , t h e e l l i p s e a t t a i n s m a x i m u m e c c e n t r i c i t y w h e n t h e o c c u p a n t i s l e a n i n g t o w a r d t h e w i n d o w , w h i c h , d u e t o o u r c a m e r a a n g l e , i s w h e n t h e m a j o r a x i s o f t h e o c c u p a n t i s n e a r l y a l i g n e d w i t h i n t h e i m a g i n g p l a n e o f t h e c a m e r a . T h e e l l i p s e a t t a i n s m i n i m u m e c c e n t r i c i t y ( b e c o m e s a c i r c l e ) w h e n t h e o c c u p a n t i s l e a n i n g t o w a r d s t h e c a m e r a , a n d h e n c e t h e m a j o r a x i s o f t h e o c c u p a n t i s o r i e n t e d n e a r l y p e r p e n d i c u l a r t o t h e i m a g i n g p l a n e . N o t e a l s o t h a t t h e t u r n i n g o f t h e o c c u p a n t ’ s h e a d h a s n o n e t e f f e c t o n t h e e l l i p s e s h a p e . T h i s c a n b e s e e n w h e n c o m p a r i n g t h e fi r s t a n d t h e l a s t i m a g e i n t h e s e q u e n c e i n F i g u r e 9 . 7 . T h e o c c u p a n t ’ s h e a d i s s l i g h t l y t u r n e d t o w a r d s t h e d r i v e r , b u t t h e r e i s n o n e t e f f e c t i n t h e b o u n d i n g e l l i p s e . H o w e v e r , t h i s t y p e o f m o t i o n w o u l d h a v e a d r a m a t i c e f f e c t i f p o i n t f e a t u r e c o r r e s p o n d e n c e s h a d b e e n u s e d . I t h a s b e e n r e c o m m e n d e d t h a t t h e a p p r o a c h t a k e n w h e n d e s i g n i n g r e c o n s t r u c t i o n a l g o r i t h m s s h o u l d b e b a s e d o n p h e n o m e n o l o g i c a l a n a l y s i s [ 1 4 8 ] . I t i s a l s o r e c o m m e n d e d t h a t o n e s h o u l d “ d e s i g n [ S F M ] a l g o r i t h m s s p e c i fi c a l l y f o r t h e i r p r o b l e m d o m a i n s ” [ 1 4 8 ] . I n l i g h t o f t h i s r e c o m m e n d a t i o n , w e s p e c i fi c a l l y u t i l i z e t h e o b s e r v e d p h e n o m e n o l o g y o f t h e o c c u p a n t a i r b a g s u p p r e s s i o n p r o b l e m t h a t w a s s h o w n i n F i g u r e 9 . 7 . B a s e d o n t h e d e f o r m a t i o n s o f t h e b o u n d i n g e l l i p s e o f t h e o c c u p a n t , w e p r o p o s e a n e w m e t h o d , c a l l e d s t r u c t u r e f r o m d e f o r m a t i o n . T h e p o w e r o f o u r s t r u c t u r e fl o m d e f o r m a t i o n a l g o r i t h m l i e s i n t h e f a c t t h a t i t d o e s n o t r e q u i r e f e a t u r e - 3 7 9 l e v e l t r a c k i n g a n d p o i n t c o r r e s p o n d e n c e s , b u t r a t h e r w o r k s o n t h e g l o b a l d e f o r m a t i o n s o f t h e o c c u p a n t a s s h e m o v e s w i t h i n t h e v e h i c l e . F i g u r e 9 . 7 : D e m o n s t r a t i o n o f t h e e f f e c t s o f e l l i p s e d e f o r m a t i o n r e s u l t a n t fl o m o u t - o f - p l a n e r o t a t i o n s o f t h e o c c u p a n t . T h e s h a p e fl o m d e f o r m a t i o n a l g o r i t h m t h a t w e h a v e d e fi n e d u s e s t h e f a c t t h a t , a s t h e o c c u p a n t m o v e s i n a n d o u t o f t h e i m a g e p l a n e 0 f t h e c a m e r a , t h e p r o j e c t e d e l l i p s e o f t h e o c c u p a n t c h a n g e s s h a p e . T h e r e a r e t h r e e k e y t e c h n i c a l e l e m e n t s t h a t m u s t b e d e v e l o p e d t o s u p p o r t t h e s h a p e fl o m d e f o r m a t i o n a l g o r i t h m : 1 ) m a t h e m a t i c a l r e p r e s e n t a t i o n o f t h e p r o j e c t i v e e f f e c t s i n t h e i m a g e r y , 2 ) d e v e l o p i n g a n I M M K a l m a n fi l t e r i m p l e m e n t a t i o n t o d e s c r i b e t h e o u t - o f - p l a n e m o t i o n s , a n d 3 ) d e fi n i n g t h e e x t e n d e d K a l m a n fi l t e r m a t h e m a t i c s t o s u p p o r t t h e I M M t r a c k i n g . 3 8 0 A t t h i s p o i n t i n o u r r e s e a r c h w e w i l l d e fi n e t h e [ M M a r c h i t e c t u r e , a n d p r o p o s e t h e o t h e r t w o a l g o r i t h m s f o r a f u t u r e r e s e a r c h e f f o r t . A I M M M o d e l i n g o f t h e S h a p e fl o m D e f o r m a t i o n P r o b l e m T h e g o a l o f t h e I M M p r o c e s s i n g f o r t h e s h a p e t r a c k e r i s t o i n f e r t h e o u t - o f - p l a n e a n g l e o f t h e o c c u p a n t . T h e a i r b a g s u p p r e s s i o n s y s t e m u s e s t h r e e s t a t e s t o e x p l a i n t h e p o s s i b l e 3 - d i m e n s i o n a 1 o r i e n t a t i o n o f t h e o c c u p a n t , n a m e l y : 1 ) l e a n i n g l e f t ( t o w a r d d r i v e r ) , 2 ) l e a n i n g r i g h t ( t o w a r d w i n d o w ) , a n d 3 ) s i t t i n g u p r i g h t ( n o l e a n i n g ) . T h i s i m p l i e s t h a t t h e m a t r i x f o r t h e s t a t e t r a n s i t i o n p r o b a b i l i t i e s f o r t h e o u t - o f - p l a n e a n g l e w i l l b e a 3 x 3 m a t r i x : p l e f t I l e f t p l e f t I c e n t e r p l e f t I r i g h t p ( s | m ) = p p p - ( 9 . 5 8 ) c e n t e r I l e f t c e n t e r I c e n t e r c e n t e r I r i g h t r i g h t I l e fl p r i g h t I c e n t e r p r i g h t I r i g h t _ N o t e t h a t u n l i k e i n t h e c a s e o f t h e m o t i o n t r a c k e r , t h e r e a r e s o m e t r a n s i t i o n s t h a t a r e n o t p o s s i b l e f o r t h e s h a p e t r a c k e r . T h e 0 c c u p a n t c a n n o t t r a n s i t i o n f r o m a l e a n i n g - l e f t t o a l e a n i n g - r i g h t o r i e n t a t i o n , w i t h o u t fi r s t t r a n s i t i o n i n g t h r o u g h t h e c e n t e r o r i e n t a t i o n . T h e r e f o r e , t h e s t a t e t r a n s i t i o n m a t r i x f o r t h e s h a p e t r a c k e r r e d u c e s t o : 3 8 1 p l e f t I l e f t p l e f t | c e n t e r 0 p ( s I m ) = p - ( 9 - 5 9 ) c e n t e r I l e f t p c e n t e r I c e n t e r p c e n t e r I r i g h t 0 r i g h t I c e n t e r r i g h t I r i g h t - A s w i t h t h e m o t i o n t r a c k e r , t h e r e a r e n o s i m p l e e q u a t i o n s f o r c o m p u t i n g e a c h o f t h e s e s t a t e t r a n s i t i o n p r o b a b i l i t i e s . F o r t h e s e w e e m p i r i c a l l y t e s t a r a n g e o f v a l u e s , a n d u s e t h e v a l u e s t o m i n i m i z e t h e o r i e n t a t i o n e r r o r f o r a s e t o f t r a i n i n g c r a s h v i d e o s e q u e n c e s . 9 . 2 . 3 P r e d i c t i o n o f I n t r u s i o n i n t o t h e A S Z T h e fi n a l t a s k o f t h e t r a c k i n g S u b s y s t e m i s t o p r e d i c t p o t e n t i a l i n t r u s i o n s i n t o t h e A u t o m a t i c S u p p r e s s i o n Z o n e ( A S Z ) b y t h e o c c u p a n t ’ s h e a d o r t o r s o . T h e m o t i o n t r a c k e r p r o v i d e s t h e p r e d i c t i o n s o f t h e 0 c c u p a n t ’ s c e n t e r 0 f m a s s t h r o u g h t h e s t a t e v a r i a b l e x t . d , a n d h i s a n g u l a r t i l t f o r w a r d t o w a r d s t h e a i r b a g t h r o u g h t h e s t a t e c e n T O I v a r i a b l e 6 . I n o r d e r t o p r e d i c t t h e t i m e o f t h e i n t r u s i o n i n t o t h e A S Z , t w o t a s k s m u s t b e p e r f o r m e d : ( i ) p r o v i d e p r e d i c t i o n s o f t h e o c c u p a n t ’ s p o s i t i o n a n d o r i e n t a t i o n o f h i s b o u n d i n g e l l i p s e a t a n o u t p u t r a t e o f 5 m i l l i s e c o n d s , a n d ( i i ) d e t e c t i f t h e f o r w a r d - m o s t e d g e o f h i s b o u n d i n g e l l i p s e h a s e n t e r e d t h e A S Z . S i n c e t h e s h a p e o f t h e e l l i p s e i s d e fi n e d b y t h e o c c u p a n t ’ s m o t i o n , t h e d y n a m i c s o c c u r a t a m u c h s l o w e r r a t e . T h e r e f o r e , f o r t h e p u r p o s e o f A S Z i n t r u s i o n d e t e c t i o n , w e m a i n t a i n t h e s h a p e o f t h e e l l i p s e t o b e c o n s t a n t b e t w e e n c a m e r a fl a m e s . A s t h e t e s t r e s u l t s w i l l s h o w , t h i s w a s a r e a s o n a b l e s i m p l i f y i n g a s s u m p t i o n . 3 8 2 A H i g h S p e e d E l l i p s e P r e d i c t i o n T h e p r e d i c t i o n o f t h e p o s i t i o n a n d o r i e n t a t i o n o f t h e b o u n d i n g e l l i p s e a t t h e h i g h o u t p u t d a t a r a t e i s r e l a t i v e l y s t r a i g h t f o r w a r d . R e c a l l , t h e s t a t e v e c t o r p r e d i c t i o n e q u a t i o n : N X ( k | k ) = Z X s ( k | k ) * # s ( k ) , ( 9 - 6 0 ) s = l w h e r e t h e t e r m x ( k I k ) i s t h e s t a t e v e c t o r f o r d y n a m i c s m o d e l s , a n d t h e fi n a l s t a t e S v e c t o r i s t h e o u t p u t o f t h e w e i g h t e d c o n t r i b u t i o n o f a l l o f t h e s t a t e s . I n o r d e r t o d e t e r m i n e t h e p o s i t i o n o f t h e e l l i p s e a t e a c h i n t e r m e d i a t e p o i n t , w e m u s t u s e t h e I M M p r e d i c t i o n e q u a t i o n : x m t k I k - I ) = 9 ; “ ” ’ “ ’ ( k — 1 ) * x m ( k — 1 I k — I ) . ( 9 . 6 1 ) w h e r e n o w t h e t i m e b e t w e e n k - I a n d k i s 5 m i l l i s e c o n d s , w h i c h i s f a c t o r e d i n t o t h e o u t p u t s t a t e t r a n s i t i o n m a t r i x , < 1 ) ? a n " ' ( k — - 1 ) . A t e a c h o f t h e s e u p d a t e s , w e m u s t c o m p u t e i f t h e f o r w a r d - m o s t p o i n t o f t h e e l l i p s e h a s c r o s s e d t h e A S Z b o u n d a r y . B C a l c u l a t i o n o f E l l i p s e I n t e r s e c t i o n w i t h t h e A S Z R e c a l l t h a t a v e r t i c a l p l a n e i n fl o n t o f t h e a i r b a g d e fi n e s t h e A S Z b o u n d a r y . U n f o r t u n a t e l y , a v e r t i c a l l i n e i n t h e v e h i c l e i s w a r p e d i n t o a l i n e w i t h a s l o p e i n t h e i m a g e o f t h e i n t e r i o r o f t h e v e h i c l e d u e t o t h e p e r s p e c t i v e e f f e c t s o f t h e c a m e r a , a s s h o w n i n F i g u r e 9 . 8 . T h e r e f o r e , w e m u s t c o m p u t e t h e i n t e r s e c t i o n o f a n e l l i p s e a t 3 8 3 s o m e o r i e n t a t i o n a n g l e , 1 9 , w i t h a l i n e o f a p r e - d e fi n e d s l o p e . R e c a l l t h e e q u a t i o n f o r a n e l l i p s e a t s o m e o r i e n t a t i o n 0 i s : ( x c o s ( 1 9 ) + y s i n ( t 9 ) ) 2 + ( y c o s ( e ) — x s i n ( 6 ) ) 2 a 2 b 2 — f ( x , y ) = 0 = 1 , ( 9 . 6 2 ) w h e r e a a n d b a r e t h e m a j o r a n d m i n o r a x e s , a n d H i s t h e o r i e n t a t i o n a n g l e o f t h e e l l i p s e . N o w w e m u s t s o l v e t h i s e q u a t i o n f o r y , c o m p u t e t h e s l o p e d y / d x , a n d d e t e r m i n e t h e p o i n t a l o n g t h e e l l i p s e t h a t h a s t h e s a m e s l o p e . W e w a n t t o fi n d t h e p o i n t 0 f e q u a l s l o p e s , b e c a u s e t h i s w o u l d b e t h e v e r y fi r s t p o i n t t o c r o s s t h e A $ 2 b o u n d a r y l i n e o n t h e e l l i p s e , a s s h o w n i n F i g u r e 9 . 9 . F i g u r e 9 . 8 : D e f o r m a t i o n o f t h e v e r t i c a l A S Z b o u n d a r y d u e t o c a m e r a p e r s p e c t i v e e f f e c t , ( a ) A S Z a s v e r t i c a l l i n e i n t h e ‘ r e a l - w o r l d ’ v i e w , a n d ( b ) t h e A S Z l i n e s l o p e d d u e t o p e r s p e c t i v e . 3 8 4 F i g u r e 9 . 9 : G e o m e t r y o f o c c u p a n t e l l i p s e a n d A S Z b o u n d a r y i n t e r s e c t i o n , w i t h i n t e r s e c t i o n p o i n t h i g h l i g h t e d b y a c i r c l e . F i r s t , d e fi n e t h e e l l i p s e a s a f u n c t i o n y ( x ) a s f o l l o w s : 1 2 . y ( x ) = - { 2 b . x . c o s ( 1 9 ) s m ( e ) = 2 ( a 2 - S i n ( 6 ) 2 — b 2 - s i n ( t 9 ) 2 — a 2 ) 2 a 2 - x - c o s ( e ) s i n ( t 9 ) + 2 [ b 4 - x 2 . c o s ( i 9 ) 2 s i n ( I 9 ) 2 - 2 - b 2 . a 2 - x 2 ~ c o s ( t 9 ) 2 s i n ( 0 ) 2 + a 4 - x 2 - c o s ( 6 ) 2 s i n ( 1 9 ) 2 - ( 9 6 3 ) 4 a 4 . b 2 - s i n ( t 9 ) 2 + a 2 . 1 ; 2 - x 2 . s i n ( i 9 ) 2 — 2 - a 2 . b 2 - x 2 . s i n ( t 9 ) 4 + a 4 - x 2 . s i n ( e ) ‘ + a 2 ~ b ‘ . s i n ( 1 9 ) 2 - 1 5 4 - x 2 - s i n ( 1 9 ) 2 + b “ - x 2 . s i n ( t 9 ) 4 + a 4 - b 2 — a 2 - b 2 - x 2 — a 4 - x 2 - s i n ( t 9 ) 4 ] l / 2 } . N o w t h e v a l u e o f x o n t h e e l l i p s e w h e r e t h e s l o p e o f t h e e l l i p s e i s e q u a l t o t h e s l o p e o f t h e l i n e i s d e fi n e d b y t h e e q u a t i o n : 3 8 5 [ b 2 2 s _ - . 2 l o a b 2 2 0 ° p 9 e 2 _ b - - - 2 o o 9 ) s s ( 5 b I l 2 . s p p - l e e s s o i i p n n e p 1 n 1 e ( 2 1 6 0 l 9 ) - ) a 2 + 2 ] 1 + ’ s 2 s l o p l a p e 2 . e . a 7 - . . b 2 s i n ( - t s 9 i ) n 2 ( 9 ) 2 + _ n ( l ( - 6 o t l c p ) — s 9 ) o e b + ( s l 2 6 ) - a 2 o $ i / . ] s s i n ( 9 ) ‘ b 2 } 3 s ) ~ c c o o s s ( ( 6 t 9 ) + s i ) s a n i 2 ( ( 6 6 ) ) 2 — - c o s ( 6 x ( d — y = s l o p e ) = — [ a 2 . s i n ( 6 ) 2 — s l o p e 2 - a 2 ~ s i n ( 9 ) z — d x ( 9 . 6 4 ) { — a 2 . s i n ( i 9 ) 2 + s l o p e 2 . a 2 . 5 1 1 1 ( 0 ) 2 + 2 - a 2 . s l o p e - C O S ( 6 ) s i n ( t 9 ) — s l o p e 2 - a 2 + b 2 - s i n ( t 9 ) 2 - s l o p e 2 - b 2 - s i n ( 6 ) 2 w h e r e s l o p e i s t h e s l o p e o f t h e A S Z b o u n d a r y l i n e i n t h e i m a g e . W e w i l l d e fi n e x f o m a r d _ m 0 5 , = x ( % = s l o p e ) , a n d w e m u s t n o w o f f s e t t h i s p o s i t i o n b y t h e c e n t r o i d o f t h e e l l i p s e b y : x f o r w a r d _ m o s t = x c e n t r o i d — x f o r w a r d _ m o s t ' ( 9 6 5 ) L a s t l y , w e m u s t n o w c o m p u t e t h e y - v a l u e o n t h e e l l i p s e u s i n g E q u a t i o n ( 9 . 7 5 ) a b o v e , y f o r w a , d _ , , , 0 5 , = y ( x f o r w a r d _ m o s , ) . T h e n w e n e e d t o o f f s e t t h i s y - v a l u e b y i t s c e n t r o i d a c c o r d i n g t o : y f o r w a r d _ m o s t = y f o r w a r d _ m o s t + y c e n t r o i d ' ( 9 6 6 ) O n c e w e h a v e c o m p u t e d t h i s l o c a t i o n , ( x f o r w a r d ” , 0 “ , y f o r w a r d m o “ ) , o n t h e b o u n d i n g e l l i p s e o f t h e o c c u p a n t , w e c a n d e t e r m i n e i f t h i s p o i n t i s t o t h e r i g h t o r t o t h e l e f t o f t h e l i n e d e fi n i n g t h e A S Z , b y : x A S Z : C A S Z ( 1 ) * y f o r w a r d _ m o s t + C A S Z ( 2 ) 3 ( 9 6 7 ) 3 8 6 w h e r e C A 5 2 ( 1 ) a n d C A 5 2 ( 2 ) a r e t h e t w o c o e f fi c i e n t s t o d e fi n e t h e A S Z l i n e . N o w i f x f o r w a r d _ m o s , S x A 5 2 t h e n w e d e c l a r e a n A S Z i n t r u s i o n . 9 . 3 T r a c k i n g R e s u l t s T h e t r a c k i n g r e s u l t s f o c u s o n t h e p e r f o r m a n c e o f t h e m o t i o n - t r a c k i n g c o m p o n e n t f o r t h e a i r b a g s u p p r e s s i o n a p p l i c a t i o n . T h e r e s u l t s f o r t h e m o t i o n t r a c k i n g a r e d i v i d e d i n t o t w o c a t e g o r i e s : ( i ) r e s u l t s f o r t h e m o d e l s w i t c h i n g b e h a v i o r o f t h e s y s t e m , a n d ( i i ) r e s u l t s f o r t h e t i m e d e l a y i n d e t e c t i n g i n t r u s i o n s i n t o t h e A S Z . T h e r e s u l t s f o r e a c h o f t h e s e k e y p e r f o r m a n c e m e t r i c s a r e p r e s e n t e d i n t h e n e x t t w o s u b s e c t i o n s . T h e t r a c k e r s u b s y s t e m i s t e s t e d i n t w o d i f f e r e n t m e t h o d s : ( i ) a h i g h l y r e p e a t a b l e a n d q u a n t i t a t i v e m e t h o d b a s e d o n u s i n g o u r A S Z t e s t e r , a n d ( i i ) a m o r e v a r i a b l e a n d q u a l i t a t i v e m e t h o d i n v o l v i n g a c t u a l d r i v e t e s t i n g . T h e q u a n t i t a t i v e t e s t i n g a l l o w s t h e i n t r u s i o n d e t e c t i o n c a p a b i l i t y t o b e r i g o r o u s l y t e s t e d a g a i n s t a k n o w n t a r g e t m o t i o n p a t h . T h e q u a l i t a t i v e m e t h o d i n v o l v e s u s i n g r e a l p e o p l e i n d r i v e t e s t s a n d m o n i t o r i n g t h e o v e r a l l q u a l i t y o f t h e e l l i p s e fi t a b o u t t h e o c c u p a n t , a n d a l s o m o n i t o r i n g t h e b e h a v i o r o f t h e e l l i p s e a s t h e o c c u p a n t m o v e s w i t h i n t h e v e h i c l e . 3 8 7 9 . 3 . 1 R e s u l t s o f M o d e l T r a n s i t i o n i n g i n I M M F i g u r e 9 . 1 0 s h o w s t h e m o d e l p r o b a b i l i t i e s f o r t h e c r a s h fl o m a v i d e o s e q u e n c e fl o m t h e r o b o t i c t e s t fi x t u r e t h a t s i m u l a t e s a c o n s t a n t a c c e l e r a t i o n p r e - c r a s h b r a k i n g e v e n t a t 0 . 8 6 g . R e c a l l fl o m C h a p t e r 1 t h a t 0 . 8 6 g i s a t y p i c a l d e c e l e r a t i o n r a t e f o r p r e - c r a s h b r a k i n g . I n t h i s s e q u e n c e , t h e d u m m y i s s t a t i o n a r y f o r t h e fi r s t t w o fl a m e s , a n d t h e n b e g i n s i t s m o t i o n p r o fi l e . A f t e r t h e s e i n i t i a l fl a m e s , t h e t r a c k e r q u i c k l y t r a n s i t i o n s t o h u m a n m o t i o n , a s t h e d u m m y i s i n i t i a l l y m o v e d i n t h e c r a s h s e q u e n c e . A f t e r 0 n l y t w o a d d i t i o n a l f r a m e s , t h e t r a c k e r d e t e r r n i n e s t h a t t h e d y n a m i c s e x c e e d w h a t i s e x p e c t e d f o r n a t u r a l h u m a n m o t i o n , a n d t h e s y s t e m t r a n s i t i o n s t o p r e - c r a s h m o d e l . T h e s y s t e m r e m a i n s i n t h e p r e - c r a s h m o d e l t h r o u g h t h e c r a s h e v e n t , a n d f o r a f e w m o m e n t s a f t e r w a r d s , a s i s e x p e c t e d fl o m t h e i n t e n t i o n a l c r a s h m o d e l h y s t e r e s i s d i s c u s s e d e a r l i e r . . + 1 5 ' 4 : C r a s h 0 . 3 . . 0 . 5 ? / , _ . _ . _ S t a t i o n a r y 0 . 4 - f H u m a n 6 5 . , / , I I - - . . - . . 1 9 2 0 : . 3 3 4 U ' 5 9 g . 5 1 3 F i g u r e 9 . 1 0 : V a r i a t i o n s i n t h e m o d e l l i k e l i h o o d s f o r e a c h o f t h e m o t i o n t y p e s t h r o u g h a p r e - c r a s h b r a k i n g s e q u e n c e . 3 8 8 F i g u r e 9 . 1 1 s h o w s t h e s a r n e m o d e l p r o b a b i l i t i e s p l o t f o r a h u m a n o c c u p a n t m o v i n g i n t h e s e a t a t n o r m a l h u m a n m o t i o n r a t e s , a n d a l s o s i t t i n g s t i l l f o r p e r i o d s o f t i m e . N o t e t h e t r a n s i t i o n s ( e . g . , fl a m e 1 5 ) fl o m t h e h u m a n m o d e l t o t h e s t a t i o n a r y m o d e l d u r i n g t h e s e i n t e r v a l s . A l s o , n o t e t h a t t h e r e i s n o h y s t e r e s i s d u r i n g t h e t r a n s i t i o n s b e t w e e n t h e s e 3 t a t e s . T h e u s e 0 f t h e I M M a r c h i t e c t u r e , r a t h e r t h a n t h e H M M m o d e l , i s p a r t i c u l a r l y u s e f u l i n t h i s s e q u e n c e . 1 P 0 . 8 I 0 5 . . ’ / “ ‘ - - . f ' I . i ' , 1 . l . ‘ 1 , I I ‘ l 0 ‘ . 4 , 1 0 ' 4 i l “ I " I r " . ’ ‘ 1 ‘ l ’ I I 1 ’ . 1 . . 1 , 1 ' ' . . . . . ; 0 . 2 ’ \ ‘ l I : \ w . ’ I ' 1 ’ ; ‘ v 1 . } I ) - o 1 k I . O 1 0 2 0 3 0 4 0 F r a m e p r o b t s t a t i o n a r y ) p r o b t h u ’ n a n ) w 1 1 p r o b j c r a s l ' g ) F i g u r e 9 . 1 1 : V a r i a t i o n s i n t h e m o d e l l i k e l i h o o d s f o r e a c h o f t h e m o t i o n m o d e l s d u r i n g n o r m a l h u m a n m o t i o n . I n t h e i n t e r v a l fl o m r o u g h l y f r a m e 1 5 t o f r a m e 2 2 , t h e r e i s o n l y a s l i g h t l y h i g h e r p r o b a b i l i t y t h a t t h e o c c u p a n t i s s t a t i o n a r y . T h i s i s b e c a u s e t h e o c c u p a n t i s m o v i n g v e r y s l o w l y t h r o u g h a p e r i o d o f t r a n s i t i o n i n g f r o m m o v i n g i n o n e d i r e c t i o n , s t o p p i n g , a n d t h e n r e v e r s i n g d i r e c t i o n . T h e l a c k o f a c l e a r t r a n s i t i o n t o s t a t i o n a r y s t a t e s h o w s w h y t h e I M M a r c h i t e c t u r e i s s u p e r i o r t o t h e H M M a r c h i t e c t u r e . T h e m i x i n g o f t h e s t a t i o n a r y a n d h u m a n m o t i o n s t a t e s i n t o a fi n a l s t a t e a l l o w s u s t o m o d e l 3 8 9 i n t e r m e d i a t e d y n a m i c s t a t e s s m o o t h l y , a n d w i t h o u t a n y a r t i f a c t s , fl o m t h e d i s c r e t i z a t i o n o f t h e m o t i o n s . 9 . 3 . 2 R e s u l t s o f I n t r u s i o n T i m e a n d P o s i t i o n a l A c c u r a c i e s T h e r e s u l t s f o r t h e i n t r u s i o n p r e d i c t i o n t i m e e r r o r s a r e p r o v i d e d i n F i g u r e 9 . 1 2 . N o t e t h e r e l a t i v e G a u s s i a n d i s t r i b u t i o n o f t h e i n t r u s i o n d e t e c t i o n s , a n d t h e f a c t t h a t t h e r e a r e n e g a t i v e t i m e e r r o r s . T h i s i s d u e t o t h e f a c t t h a t t h e t r a c k e r s y s t e m i s a c t u a l l y p r e d i c t i n g a h e a d i n t i m e , w h e n t h e i n t r u s i o n i s t o o c c u r . W h e n t h e t r a c k e r p r e d i c t s t h a t t h e i n t r u s i o n w i l l b e s o o n e r t h a n i t a c t u a l l y o c c u r s , a n e g a t i v e i n t r u s i o n t i m e e r r o r i s r e c o r d e d . F i g u r e 9 . 1 3 s h o w s t h e r e s u l t a n t t r a c k a c c u r a c i e s d u r i n g t h e e n t i r e c r a s h e v e n t . T h e w o r s t - c a s e e r r o r s w e r e o n t h e o r d e r o f l e s s t h a n : i : 5 p i x e l s d u r i n g a s e q u e n c e t h a t i n c l u d e s a t r a n s i t i o n fl o m f u l l y s t a t i o n a r y s t a t e t o t h e h i g h - s p e e d p r e - c r a s h b r a k i n g s t a t e . 3 9 0 F r e q u e n c y 1 0 O . 2 0 ' - 1 0 o 1 0 2 0 A S Z D e t e c t i o n D e l a y ( i n m i l l i s e c o n d s ) F i g u r e 9 . 1 2 : N u m b e r o f t h e t i m e s t h a t t h e t r a c k e r c o m p u t e d a n A S Z i n t r u s i o n c o m p a r e d t o t h e t r u e t i m e o f i n t r u s i o n . x c e n t r o i d e r r o r 1 0 1 a 5 ' o . 5 Q - . E D N 5 h ' 5 ' - 1 D ' ' ' ' ' l 1 U 2 0 3 0 4 C ] 5 0 6 0 I m a g e F r a m e N u m b e r F i g u r e 9 . 1 3 : E r r o r o f t h e t r a c k e r i n t h e p o s i t i o n o f t h e d u m m y d u r i n g a p r e - c r a s h b r a k i n g s e q u e n c e i n t h e d i r e c t i o n t o w a r d s t h e a i r b a g ( u n i t s a r e i n p i x e l s ) . 3 9 1 A l s o n o t e fl o m F i g u r e 9 . 1 2 t h a t t h e s y s t e m h a s a m e a n i n t r u s i o n d e l a y o f 0 m i l l i s e c o n d s , a n d t h e s t a n d a r d d e v i a t i o n o f t h e i n t r u s i o n s i s r o u g h l y 7 m i l l i s e c o n d s . A d d i t i o n a l l y , v e r y f e w o f t h e i n t r u s i o n d e l a y s e v e r e x c e e d e d t h e N H T S A m a n d a t e o f 2 0 m i l l i s e c o n d s . T h u s , w e h a v e b e e n a b l e t o s u c c e s s f u l l y d e m o n s t r a t e a s y s t e m c a p a b l e o f t y p i c a l l y d e t e c t i n g t h e i n t r u s i o n o f t h e o c c u p a n t w i t h i n 1 0 m i l l i s e c o n d s , a n d r a r e l y w o r s e t h a n 2 0 m i l l i s e c o n d s , w h i l e o p e r a t i n g a s e n s o r s y s t e m t h a t o n l y p r o v i d e s u p d a t e s e v e r y 3 3 m i l l i s e c o n d s . T h i s w a s a c c o m p l i s h e d b y u s i n g a n e f f e c t i v e p r e d i c t i v e d y n a m i c s m o d e l . A l s o n o t e t h a t b y u s i n g t h e I M M a r c h i t e c t u r e , w e h a v e b e e n a b l e t o s i m u l t a n e o u s l y m i n i m i z e t h e t r a c k l a g ( t h e p o s i t i v e d e l a y i n t h e i n t r u s i o n d e t e c t i o n ) , a s w e l l a s t h e t r a c k j i t t e r ( t h e n e g a t i v e d e l a y i n i n t r u s i o n d e t e c t i o n d u e t o t h e t r a c k e r b e i n g t o o s e n s i t i v e ) . 9 . 4 S u m m a r y O u r r e s e a r c h o n o c c u p a n t t r a c k i n g h a s b e e n f o c u s e d i n t w o a r e a s : ( i ) d e fi n i n g a m o t i o n t r a c k i n g s y s t e m c a p a b l e o f a c c u r a t e l y p r e d i c t i n g t h e i n t r u s i o n o f t h e o c c u p a n t i n t o t h e a t r i s k z o n e o f t h e a i r b a g , a n d ( i i ) a s h a p e t r a c k i n g s y s t e m t h a t c a n p r e d i c t t h e t h r e e - d i m e n s i o n a l m o t i o n s o f a n o c c u p a n t f r o m a s t r e a m o f t w o - d i m e n s i o n a l i m a g e s . F o r t h e m o t i o n t r a c k i n g , w e h a v e s h o w n t h a t u s i n g t h e i n t e r a c t i n g m u l t i p l e m o d e l ( I M M ) a r c h i t e c t u r e f o r t r a c k i n g t h e o c c u p a n t s p r o v i d e s e x c e l l e n t r e s u l t s i n t e r m s o f p r e d i c t i o n o f i n t r u s i o n i n t o t h e a t r i s k z o n e . T h e t r a c k e r s i m u l t a n e o u s l y m i n i m i z e s t h e e f f e c t s d u e t o t r a c k l a g ( d e l a y i n e s t i m a t e d i n t r u s i o n ) 3 9 2 a n d t r a c k j i t t e r ( f a l s e a l a r m s o f i n t r u s i o n ) . T h e t r a c k e r w a s a l s o s h o w n t o b e c a p a b l e o f m e e t i n g t h e 2 0 m i l l i s e c o n d s i n t r u s i o n d e t e c t i o n t i m e m a n d a t e d b y N H T S A . I n t h e s h a p e t r a c k i n g , w e h a v e p r o p o s e d a n e w m e c h a n i s m f o r i n f e r r i n g t h r e e - d i m e n s i o n a l s h a p e , c a l l e d s h a p e fl o m d e f o r m a t i o n . W e d e m o n s t r a t e d t h e e f f e c t s o n t h e b o u n d i n g e l l i p s e d u e t o t h e o c c u p a n t p e r f o r m i n g t h r e e - d i m e n s i o n a l m o t i o n s o f t h e o c c u p a n t . T h e p l a c e m e n t o f t h e c a m e r a s y s t e m a n d t h e m o d e l i n g o f t h e o c c u p a n t b y t h e b o u n d i n g e l l i p s e m o d e l a l l o w u s t o u s e t h i s u n i q u e p o s e e s t i m a t i o n a l g o r i t h m . T h e p h e n o m e n o l o g y o f t h e s h a p e fl o m d e f o r m a t i o n w a s d e m o n s t r a t e d , a n d t h e a r c h i t e c t u r e f o r u s i n g i t f o r d e r i v i n g e s t i m a t e s o f t h e 3 - D p o s e o f t h e o c c u p a n t w a s i n t r o d u c e d . A s a n a r e a o f f u t u r e r e s e a r c h , t h e a c t u a l m a t h e m a t i c s o f t h e s h a p e fl o m d e f o r m a t i o n w i l l b e s t u d i e d a n d f o r m a l i z e d . 3 9 3 C h a p t e r 1 0 . C o n c l u s i o n s a n d F u t u r e W o r k W e h a v e p r o v i d e d t h e s y s t e m a r c h i t e c t u r e f o r a r e a l - t i m e o c c u p a n t c l a s s i fi c a t i o n a n d t r a c k i n g s y s t e m f o r s m a r t a i r b a g s u p p r e s s i o n . W e h a v e d e v e l o p e d t h e t h e o r y a n d p r o v i d e d r e s u l t s f o r e a c h o f t h e c r i t i c a l s u b s y s t e m s t h a t c o m p r i s e t h i s s m a r t a i r b a g s y s t e m . W e w i l l r e v i e w t h e c o n t r i b u t i o n s t o p a t t e r n r e c o g n i t i o n a n d h u m a n m o t i o n t r a c k i n g t h a t a r o s e t h r o u g h t h i s r e s e a r c h . W e w i l l a l s o o u t l i n e a r e a s o f i n t e r e s t f o r f u t u r e r e s e a r c h . 1 0 . 1 R e s e a r c h C o n t r i b u t i o n s T h e fi e l d o f a u t o m a t i c s u p p r e s s i o n o f a i r b a g s i s r e l a t i v e l y n e w . T o d a t e t h e s e s y s t e m s h a v e p e r f o r m e d s t a t i c s u p p r e s s i o n w h e r e t h e c l a s s i fi c a t i o n o f t h e o c c u p a n t i s d e t e r m i n e d b y a c o n t a c t - b a s e d s e n s o r s u c h a s a s e a t w e i g h t s e n s o r . T h e a p p l i c a t i o n o f c o m p u t e r v i s i o n t o t h i s a p p l i c a t i o n i s v e r y n e w , a n d h a s a l s o b e e n f o c u s e d p r i m a r i l y o n p e r f o r m i n g o c c u p a n t c l a s s i fi c a t i o n . M a c h i n e v i s i o n s y s t e m s h a v e b e e n s u c c e s s f u l l y a p p l i e d t o r e l a t i v e l y c o n t r o l l e d e n v i r o n m e n t s , s u c h a s f o r m a n u f a c t u r i n g . I n u n c o n t r o l l e d e n v i r o n m e n t s , s u c h a s f o r s u r v e i l l a n c e , v i s i o n s y s t e m s g e n e r a l l y h a v e a h u m a n i n t h e l o o p t o m o n i t o r t h e p e r f o r m a n c e o f t h e s y s t e m . T h e a i r b a g s u p p r e s s i o n a p p l i c a t i o n i s u n i q u e i n t h a t i t a t t e m p t s t o u s e c o m p u t e r v i s i o n i n a n 3 9 4 a p p l i c a t i o n t h a t i s n e i t h e r i n a c o n t r o l l e d e n v i r o n m e n t , n o r h a s a h u m a n o p e r a t o r t o a s s i s t i n d e c i s i o n - m a k i n g . I n t h i s t h e s i s w e h a v e d e v e l o p e d a c o m p u t e r v i s i o n - b a s e d a p p r o a c h t o a i r b a g s u p p r e s s i o n t h a t p r o v i d e s t h e r o b u s t n e s s r e q u i r e d f o r a n a u t o n o m o u s s y s t e m fi e l d e d i n a r e l a t i v e l y u n c o n t r o l l e d e n v i r o n m e n t . T h e s y s t e m u t i l i z e s t h e a v a i l a b l e c o n s t r a i n i n g i n f o r m a t i o n i n m u l t i p l e w a y s , s u c h a s t h e k n o w n v e h i c l e i n t e r i o r , t h e k n o w l e d g e o f t h e t y p e s o f o c c u p a n t s w e m u s t d e t e c t , t h e m o d e l o f t h e t y p e s o f m o t i o n a n o c c u p a n t c a n e x p e r i e n c e , a n d l a s t l y t h e c o n t e x t u a l i n f o r m a t i o n d e r i v e d fl o m t h e r e a l - t i m e i m a g e s e q u e n c e o f t h e o c c u p a n t i n t h e v e h i c l e . I n t h i s l a s t l e v e l o f c o n t e x t u a l p r o c e s s i n g , t h e r e a l - t i m e v i d e o i n f o r m a t i o n p r o v i d e s a n e s t i m a t e o f t h e o c c u p a n t ’ s d y n a m i c s , a s w e l l a s a c o n t e x t u a l fl a m e w o r k f o r i m p r o v i n g t h e c l a s s i fi c a t i o n a c c u r a c y o v e r t i m e . T h i s i s a c c o m p l i s h e d t h r o u g h t h e t e m p o r a l f u s i o n o f t h e s e q u e n c e o f c l a s s i fi c a t i o n r e s u l t s fl o m m u l t i p l e fl a m e s . T h e k n o w l e d g e o f t h e v e h i c l e i s u s e d i n t h e i m a g e s e g m e n t a t i o n p r o c e s s i n g t o e x t r a c t t h e o c c u p a n t fl o m t h e v e h i c l e i n t e r i o r . T h i s i s i m p l e m e n t e d a s a b a c k g r o u n d c o r r e l a t i o n t e s t t h a t u s e s l o c a l c o r r e l a t i o n i n f o r m a t i o n t o i d e n t i f y t h e o c c u p a n t . I t w a s s h o w n t o p r o v i d e s u p e r i o r p e r f o r m a n c e o v e r o t h e r b a c k g r o u n d s u b t r a c t i o n m e t h o d s , s u c h a s e i g e n - i m a g e r e p r e s e n t a t i o n . T o fi r r t h e r e n h a n c e t h e s e g m e n t a t i o n , w e d e v e l o p e d a c o n t e x t u a l s e g m e n t a t i o n a l g o r i t h m b a s e d o n t h e w r a p p e r m e t h o d s f o r f e a t u r e s e l e c t i o n . I n t h e p r o p o s e d w r a p p e r - b a s e d s e g m e n t a t i o n , w e l a b e l t h e o u t p u t o f t h e b a c k g r o u n d c o r r e l a t i o n i n t o b l o b s o f c o m m o n g r a y s c a l e u s i n g t h e E M a l g o r i t h m . W e t h e n u s e t h e f o r w a r d s e q u e n t i a l s e a r c h f e a t u r e s e l e c t i o n m e t h o d t o c h o o s e t h e 3 9 5 g r o u p i n g o f t h e s e b l o b s t h a t p r o v i d e s t h e h i g h e s t c l a s s i fi c a t i o n a c c u r a c y f o r e a c h o f t h e k n o w n c l a s s e s w e a r e d e t e c t i n g . T h i s a l g o r i t h m w a s s h o w n t o p r o v i d e s e g r n e n t a t i o n s a s a c c u r a t e a s h u m a n h a n d s e g m e n t a t i o n . S i n c e i t u s e s t h e f u l l c o n t e x t u a l i n f o r m a t i o n o f t h e o b j e c t b e i n g s e g m e n t e d , t h e c l a s s i fi e r i s u s e d t o p r o v i d e t h e m e t r i c f o r t h e q u a l i t y o f t h e s e g m e n t a t i o n . T h e i n t e r a c t i n g m u l t i p l e m o d e l s ( I M M ) t r a c k e r c a p t u r e s t h e t y p e 0 f m o t i o n e x p e r i e n c e d b y t h e o c c u p a n t . I t i s s i m i l a r t o t h e H M M m o d e l i n g t h a t i s c o m m o n i n h u m a n m o t i o n a n a l y s i s , b u t d i f f e r s c r i t i c a l l y i n t h a t t h e fi n a l s t a t e o f t h e o c c u p a n t i s n o t l i m i t e d t o o n e o f t h e k n o w n s t a t e s o f t h e H M M , b u t c a n b e a p r o b a b i l i s t i c c o m b i n a t i o n o f s t a t e s . W e m o d e l t h e o c c u p a n t a s b e i n g c a p a b l e o f s t a t i o n a r y , h u m a n , o r p r e - c r a s h b r a k i n g m o t i o n d y n a m i c s . T h e fi n a l m o t i o n p r e d i c t e d b y t h e t r a c k e r i s t h e n a l i n e a r c o m b i n a t i o n o f t h e p r e d i c t i o n s o f e a c h o f t h e s e s t a t e s o f m o t i o n . T h e I M M m e c h a n i s m w a s s h o w n t o b e c a p a b l e ‘ o f m e e t i n g t h e v e r y s t r i c t N H T S A r e q u i r e m e n t o f 2 0 m i l l i s e c o n d s r e a c t i o n t i m e , w h i l e m i n i m i z i n g f a l s e s u p p r e s s i o n s . W e a l s o d e r i v e d c o n s i d e r a b l e c o n t e x t u a l i n f o r m a t i o n t o b e fl o m t h e r e a l - t i m e i m a g e s e q u e n c e o f t h e o c c u p a n t . B y r e c o g n i z i n g t h e f a c t t h a t t h e v e h i c l e h a s b e e n i n m o t i o n , a n d t h a t t h e d o o r h a s n o t b e e n o p e n e d , t h e n i t i s h i g h l y u n l i k e l y t h a t t h e t r u e o c c u p a n t c l a s s h a s c h a n g e d . W h i l e w e c a n n o t k n o w f o r s u r e a t a n y t i m e w h a t t h e t r u e c l a s s i s , w e h a v e d e v e l o p e d a m e c h a n i s m , b a s e d o n b e l i e f r e v i s i o n fl o m t h e t h e o r y o f e v i d e n t i a l r e a s o n i n g , t o o p t i m a l l y i n t e g r a t e t h e t e m p o r a l s t r e a m o f c l a s s i fi c a t i o n r e s u l t s . T h i s s t r e a m o f c l a s s i fi c a t i o n r e s u l t s i s i n t e g r a t e d u s i n g t h e D e m p s t e r - S h a f e r r u l e s o f b e l i e f r e v i s i o n , w h i c h a l l o w s u s t o c l a s s i f y t h e o c c u p a n t t o a l e v e l o f a b s t r a c t i o n s u p p o r t e d b y t h e i m a g e i n f o r m a t i o n , r a t h e r t h a n t o t h e a p r i o r i a t o m i c 3 9 6 c l a s s e s . T h i s m e t h o d o f c o n t e x t u a l p r o c e s s i n g w a s s h o w n t o p r o v i d e e x c e l l e n t r e s u l t s f o r o u r c h a l l e n g i n g a p p l i c a t i o n , w h e r e t h e t r u e c l a s s o f t h e o c c u p a n t i s n o t c h a n g i n g , b u t t h e i r m o t i o n s a n d s e q u e n c e o f p o s t u r e s c a n m a k e t h e m a p p e a r a s a d i f f e r e n t c l a s s . T o e n h a n c e t h e p e r f o r m a n c e o f t h e c l a s s i fi c a t i o n s y s t e m a g a i n s t t h e v a r i o u s i l l u m i n a t i o n e f f e c t s , w e i n v e s t i g a t e d n u m e r o u s f e a t u r e s p a c e s a n d c h o s e t h e e d g e - b a s e d r e p r e s e n t a t i o n s w i t h a n a d d i t i o n a l c o n s t a n t - f a l s e a l a r m r a t e e d g e d e t e c t o r . W e a l s o d e v e l o p e d a t w o - s t a g e fi l t e r - b a s e d f e a t u r e s e l e c t i o n a l g o r i t h m t h a t r a n k s f e a t u r e s b a s e d o n t h e i r d i s c r i m i n a t i o n a b i l i t y u s i n g t h e M a n n - W h i t n e y t e s t , a n d t h e n s e l e c t s f e a t u r e s b a s e d o n m i n i m i z i n g t h e c o r r e l a t i o n b e t w e e n t h e fi n a l f e a t u r e s e t u s i n g t h e S p e a r m a n - R t e s t . T h i s a l g o r i t h m w a s t e s t e d i n c o m p a r i s o n t o a n u m b e r o f e x i s t i n g fi l t e r a n d w r a p p e r m e t h o d s f o r f e a t u r e s e l e c t i o n , a n d w a s s h o w n t o p r o v i d e e q u i v a l e n t o r s u p e r i o r p e r f o r m a n c e , w i t h a d r a m a t i c a l l y r e d u c e d c o m p u t a t i o n a l b u r d e n . T o e n h a n c e t h e i n f o r m a t i o n d e r i v e d fl o m t h e c l a s s i fi c a t i o n p r o c e s s , w e d e fi n e d a n a d a p t a t i o n o f t h e k - n e a r e s t n e i g h b o r r u l e t h a t u s e s t h e k - n e a r e s t d i s t a n c e s t o e a c h o f t h e c l a s s e s t o p r o v i d e a c o n t i n u o u s m e t r i c o f c l a s s i fi c a t i o n q u a l i t y , r a t h e r t h a n t h e s i m p l e v o t i n g m e c h a n i s m p r o v i d e d b y t h e t r a d i t i o n a l k - n e a r e s t n e i g h b o r d e c i s i o n r u l e . T h i s p r o v i d e s c l a s s i fi c a t i o n i n f o r m a t i o n a t a m u c h fi n e r r e s o l u t i o n t h a n i s p o s s i b l e w i t h s i m p l e v o t i n g , w h i c h i s u s e f u l f o r b o t h t h e t e m p o r a l c o n t e x t u a l p r o c e s s i n g a n d t h e i n t e g r a t e d c l a s s i fi e r \ s e g m e n t e r . W e a l s o d e fi n e d a n e w m e c h a n i s m f o r m o t i o n s e g m e n t a t i o n b a s e d o n m u t u a l i n f o r m a t i o n . I n t h i s m e t h o d w e p r o p o s e a n a l y z i n g i m a g e s t r e a m s b a s e d o n t h e fl o w o f i n f o r m a t i o n i n t h e i m a g e , r a t h e r t h a n b a s e d o n t h e fl o w o f g r a y s c a l e v a l u e s , a s i n 3 9 7 t r a d i t i o n a l 0 p t i c a l f l o w . T h e i n i t i a l a n a l y s i s o f t h e a p p r o a c h s h o w s t h a t i t m a y b e i n h e r e n t l y i m m u n e t o i l l u m i n a t i o n c h a n g e s . L a s t l y , w e d e v e l o p e d a m o d e l o f t h e o c c u p a n t f o r t r a c k i n g b a s e d o n fi t t i n g t h e h e a d a n d t o r s o o f t h e o c c u p a n t t o a b o u n d i n g e l l i p s o i d . T h i s m o d e l p r o v i d e d a s i m p l i fi c a t i o n o f t h e o c c u p a n t t h a t a l l o w s t h e m o t i o n t r a c k e r t o b e r e l a t i v e l y i m m u n e t o h a n d a n d a r m m o t i o n s t h a t m a y c o n f u s e a s y s t e m i n t o t h i n k i n g t h e o c c u p a n t i s t o o c l o s e t o t h e a i r b a g . A d d i t i o n a l l y , w e h a v e d e fi n e d a n e w m e c h a n i s m f o r i n f e r r i n g t h e 3 - d i m e n s i o n a l p o s e o f t h e o c c u p a n t b a s e d o n t h e r e l a t i v e d e f o r m a t i o n s o f t h e e l l i p s e o v e r t i m e , a n d h a v e r e f e r r e d t o t h i s n e w a p p r o a c h a s s h a p e fl o m d e f o r m a t i o n . 1 0 . 2 F u t u r e R e s e a r c h W h i l e t h e s y s t e m w e h a v e d e v e l o p e d t o d a t e p r o v i d e s e x c e l l e n t p e r f o r m a n c e , t h e r e i s a l w a y s r o o m f o r a d d i t i o n a l i m p r o v e m e n t , s i n c e t h e s y s t e m i s s a f e t y r e l a t e d , a n d 1 0 0 p e r c e n t p r o t e c t i o n o f a l l o c c u p a n t s i s a l w a y s a g o a l t o b e r e a c h e d . S i n c e t h i s i s a s y s t e m w h e r e t h e r e i s n o p o s s i b i l i t y f o r a r e j e c t o p t i o n , w e m u s t c o n t i n u e t o fi n d w a y s o f e n s u r i n g t h e p r o p e r d e p l o y m e n t a t a l l t i m e s , e i t h e r t h r o u g h s t a t i c o r d y n a m i c s u p p r e s s i o n a l g o r i t h m s , o r t h r o u g h a c o m b i n a t i o n o f b o t h . W e c o n c l u d e t h i s t h e s i s b y i d e n t i f y i n g s o m e o f t h e a r e a s w h e r e c o n t i n u e d r e s e a r c h i s p o s s i b l e , a n d w e a l s o i d e n t i f y o t h e r a r e a s o f r e s e a r c h , w h e r e s o m e o f t h e t e c h n o l o g i e s w e h a v e d e v e l o p e d m a y b e a p p l i e d . T h e a r e a s o f r e s e a r c h t h a t m a y i m p r o v e t h e o v e r a l l s y s t e m p e r f o r m a n c e i n c l u d e : 3 9 8 i ) i i i ) I n o c c u p a n t s e g m e n t a t i o n a n d c l a s s i fi c a t i o n w e s h o w e d e x c e l l e n t r e s u l t s f o r t h e s t a n d - a l o n e c l a s s i fi c a t i o n s y s t e m . H o w e v e r , i n o r d e r t o e n s u r e g e n e r a l i z a b i l i t y t o a l l i l l u m i n a t i o n c o n d i t i o n s , t h e i n t e g r a t e d w r a p p e r - b a s e d s e g m e n t e r / c l a s s i fi e r m a y b e t h e p r e f e r r e d s y s t e m . T o i m p r o v e t h e p e r f o r m a n c e o f t h e w r a p p e r a p p r o a c h , w e p r o p o s e t o i n v e s t i g a t e m e a n s f o r i n c l u d i n g a d d i t i o n a l i n f o r m a t i o n , s u c h a s t h e i n t e r i o r e d g e f e a t u r e s t h a t w e r e u s e d f o r t h e s t a n d - a l o n e c l a s s i fi e r t o s u p p l e m e n t t h e s i l h o u e t t e f e a t u r e s c u r r e n t l y u s e d . I n a d d i t i o n , w e p r o p o s e i n v e s t i g a t i n g o t h e r r a n d o m b l o b c o m b i n a t i o n m e c h a n i s m s , s u c h a s g e n e t i c a l g o r i t h m s t h a t m a y p e r f o r m a s w e l l a s t h e F S S m e t h o d , b u t w i t h r e d u c e d c o m p u t a t i o n a l c o m p l e x i t y . F o r o c c u p a n t t r a c k i n g t h e fi r s t a r e a o f c o n t i n u e d r e s e a r c h i s i n t h e u t i l i z a t i o n o f m u t u a l i n f o r m a t i o n f o r m o t i o n s e g m e n t a t i o n . T h e p h e n o m e n o l o g y w e d e m o n s t r a t e d i n t h i s t h e s i s s h o w s t h i s m e t h o d h o l d s c o n s i d e r a b l e p o t e n t i a l i n d e v e l o p i n g a m e t h o d o f m o t i o n s e g m e n t a t i o n t h a t i s i n h e r e n t l y i m m u n e t o i l l u m i n a t i o n e f f e c t s . S p e c i fi c a l g o r i t h m s f o r u t i l i z i n g t h i s m e a s u r e m u s t b e i n v e s t i g a t e d , a n d t h e n t h e m e t h o d m u s t b e c o m p a r e d a g a i n s t e x i s t i n g m e t h o d s . A s e c o n d a r e a 0 f r e s e a r c h i n o c c u p a n t t r a c k i n g i s t h e c o n t i n u a t i o n o f t h e r e s e a r c h i n t h e s h a p e fl o m d e f o r m a t i o n m e t h o d . A g a i n , t h e p h e n o m e n o l o g y o f t h e a p p r o a c h w a s d e m o n s t r a t e d i n t h i s t h e s i s , a n d n o w t h e s p e c i fi c i m p l e m e n t a t i o n s o f t h e e x t e n d e d K a l m a n fi l t e r m u s t b e d e v e l o p e d t o h a n d l e t h e v a r i e t y o f p e r s p e c t i v e m o d e l s , i n c l u d i n g E u c l i d e a n , p a r a - p e r s p e c t i v e , a n d f u l l p e r s p e c t i v e . 3 9 9 I n a d d i t i o n t o t h e s e r e s e a r c h a r e a s w i t h i n a i r b a g s u p p r e s s i o n , t h e r e a r e a n u m b e r o f i n t e r e s t i n g a r e a s w h e r e s o m e o f t h e t e c h n o l o g i e s d e v e l o p e d i n t h i s t h e s i s m a y b e a p p l i e d . T h e s e r e s e a r c h a r e a s o f i n t e r e s t i n c l u d e : i ) i i i ) A p p l i c a t i o n o f t h e M a n n - W h i t n e y a n d f e a t u r e c o r r e l a t i o n p r o c e s s i n g t o m a s s i v e - s c a l e f e a t u r e s e l e c t i o n p r o b l e m s . W e d e m o n s t r a t e d a s i g n i fi c a n t s p e e d i m p r o v e m e n t f o r t h i s m e t h o d o v e r w r a p p e r m e t h o d s . I t w o u l d n o w b e i n t e r e s t i n g t o a p p l y t h e p r o p o s e d m e t h o d t o s o m e e x i s t i n g l a r g e a n d m a s s i v e s c a l e f e a t u r e s e l e c t i o n p r o b l e m s ( > 1 0 0 0 f e a t u r e s ) t o d e t e r m i n e t h e p e r f o r m a n c e . T h e s e l a r g e f e a t u r e s p a c e s a r e c o m m o n i n d a t a m i n i n g a p p l i c a t i o n s , w h i c h i s c u r r e n t l y a v e r y p o p u l a r a r e a o f r e s e a r c h . T h e a p p l i c a t i o n o f t h e w r a p p e r - b a s e d s e g m e n t e r / c l a s s i fi e r t o i m a g e d a t a b a s e q u e r y a n d r e t r i e v a l . I m a g e d a t a b a s e r e t r i e v a l i s a l s o c u r r e n t l y a v e r y i m p o r t a n t r e s e a r c h a r e a , a n d t h e w r a p p e r m e t h o d p r o v i d e s a s i g n i fi c a n t a d v a n t a g e o v e r e x i s t i n g m e t h o d s o f r e t r i e v a l , s i n c e i t a l l o w s t h e s i m u l t a n e o u s s e g m e n t a t i o n a n d r e c o g n i t i o n o f t h e o b j e c t s o f i n t e r e s t . T h e a p p l i c a t i o n o f t h e c o n c e p t s o f e v i d e n t i a l r e a s o n i n g , a n d i t s s e t t h e o r e t i c c o n c e p t s t o c l a s s i fi e r c o m b i n a t i o n , i s a n o t h e r a r e a o f p o t e n t i a l i n t e r e s t . T h e a p p r o a c h w o r k e d w e l l f o r t h e t e m p o r a l i n t e g r a t i o n o f i n f o r m a t i o n , a n d i t s u n d e r l y i n g s e t t h e o r y a p p r o a c h m a y p r o v e p o w e r fi r l f o r i n t e g r a t i n g c l a s s i fi e r s t h a t p r o v i d e o b j e c t c l a s s i fi c a t i o n a t d i f f e r e n t l e v e l s o f a b s t r a c t i o n . T h e c o n c e p t s o f t h e I M M fl a m e w o r k c a n b e u s e d t o p e r f o r m t a s k s s u c h a s h u m a n g a i t a n a l y s i s , s i n c e i t i s c a p a b l e o f p r o v i d i n g a d e t a i l e d t e m p o r a l m o d e l o f t h e t r a n s i t i o n s b e t w e e n s t a t e s , r a t h e r t h a n o n l y a n i d e n t i fi c a t i o n o f 4 0 0 t h e s e q u e n c e o f s t a t e s . T h i s f e a t u r e m a y p r o v i d e a n a d d i t i o n a l c u e t o m a k e g a i t r e c o g n i t i o n m o r e r o b u s t . L a s t l y , t h e c o n c e p t s b e h i n d t h e s h a p e fl o m d e f o r m a t i o n a l g o r i t h m m a y b e a p p l i c a b l e t o t h e m o r e g e n e r a l p r o b l e m o f h u m a n m o t i o n a n a l y s i s , s i n c e t r a d i t i o n a l m e t h o d s f o r p o s e e s t i m a t i o n r e q u i r e r i g i d b o d i e s , w h i l e o u r m e t h o d a c t u a l l y u s e s t h e d e f o r m a t i o n s o f t h e b o d y t o i n f e r t h e p o s t u r e o f t h e s u b j e c t . 4 0 1 B I B L I O G R A P H Y [ l ] P . M e n g e l , G . D o e m e n s , a n d L . L i s t l , “ F a s t r a n g e i m a g i n g b y C M O S s e n s o r a r r a y t h r o u g h m u l t i p l e d o u b l e s h o r t t i m e i n t e g r a t i o n ( M D S I ) ” , P r o c . I E E E I n t e r n a t i o n a l C o n f e r e n c e o n I m a g e P r o c e s s i n g , p p . 1 6 9 - 1 7 2 , 2 0 0 1 . [ 2 ] A P . C o r r a d o , S . D e c k e r , a n d P . B e n b o w , “ A u t o m o t i v e o c c u p a n t s e n s o r s y s t e m a n d m e t h o d o f o p e r a t i o n b y s e n s o r f u s i o n ” , U S P a t e n t 5 4 8 2 3 1 4 . [ 3 ] 1 H . S e m c h e n a , E . F a i g l e , R . T h o m p s o n , J . M a z u r , a n d C . S t e f f e n s J r . , “ A p p a r a t u s a n d m e t h o d f o r c o n t r o l l i n g a n o c c u p a n t r e s t r a i n t s y s t e m ” , U S P a t e n t 5 5 3 1 4 7 2 . [ 4 ] L . E i s e n m a n n , Y . L u , S . S a u e r , a n d C . M a r s c h n e r , “ P r o c e s s f o r t h e c a p a c i t i v e o b j e c t d e t e c t i o n i n t h e c a s e o f v e h i c l e s ” , U S P a t e n t 6 4 4 2 4 6 4 . [ 5 ] V . C . P a t e l , T . T h u e n , J . K . H a n n i n e n , a n d H . T . K u i s m a , “ F o r c e s e n s o r a s s e m b l y ” , U S P a t e n t 6 0 8 9 1 0 6 . [ 6 ] P B . B l a k e s l e y , “ V e h i c l e s e a t w e i g h t s e n s o r ” , U S P a t e n t 6 4 0 7 3 4 7 . [ 7 ] D i s c u s s i o n s w i t h f e l l o w e n g i n e e r s w h i l e a u t h o r w a s e m p l o y e d a t T a k a t a , I n c . , 1 9 9 5 - 1 9 9 9 . [ 8 ] J . K r u m m a n d G . K i r k , “ V i d e o o c c u p a n t d e t e c t i o n f o r a i r b a g d e p l o y m e n t , ” P r o c . I E E E W o r k s h o p o n A p p l i c a t i o n s o f C o m p u t e r V i s i o n , p p . 3 0 — 3 5 , 1 9 9 8 . [ 9 ] Y . O w e c h k o , N . S r i n i v a s a , S . M e d a s a n i , a n d R . B o s c o l o , " V i s i o n - b a s e d f u s i o n s y s t e m f o r s m a r t a i r b a g a p p l i c a t i o n s " , I E E E I n t e l l i g e n t V e h i c l e S y m p o s i u m , 2 0 0 2 . [ 1 0 ] h t t p : / / w w w . u s p t o . g o v / p a t fl / i n d e x . h t m l ( U S P T O p a t e n t s e a r c h w e b s i t e ) [ 1 l ] h t t p : / / w w w . h i g h w a y s a f e t y . o r g / s a f e t y _ f a c t s / q a n d a / a i r b a g s . h t m [ 1 2 ] N a t i o n a l H i g h w a y T r a n s p o r t a t i o n & S a f e t y A d m i n i s t r a t i o n , F e d e r a l M o t o r V e h i c l e S a f e t y S t a n d a r d # 2 0 8 , D e c 2 0 0 1 . [ 1 3 ] G e n e r a l A c c o u n t i n g O f fi c e , “ V e h i c l e S a f e t y - T e c h n o l o g i e s , C h a l l e n g e s , a n d R e s e a r c h a n d D e v e l o p m e n t E x p e n d i t u r e s f o r A d v a n c e d A i r B a g s ” , J u n e 2 0 0 1 . [ 1 4 ] N a t i o n a l H i g h w a y T r a n s p o r t a t i o n & S a f e t y A d m i n i s t r a t i o n , 1 9 9 8 M o t o r V e h i c l e O c c u p a n t S a f e t y S u r v e y , V o l u m e 3 , C h i l d S a f e t y S e a t R e p o r t , J u l y , 2 0 0 0 . 4 0 2 [ 1 5 ] h t t p : / / w w w . n h t s a . d o t . g o v . I 1 6 ] h t t p : / / w w w . e x p o n e n t . c o m / p r a c t i c e s / v e h i c l e s / T E C . [ 1 7 ] E a t o n C o r p o r a t i o n , T h e N H T S A P o s i t i o n i n g a n d O r i e n t a t i o n o f t h e F r o n t O u t b o a r d P a s s e n g e r S e a t O c c u p a n t , 2 0 0 2 . [ 1 8 ] M . F a r m e r , R . L . H s u , a n d A . J a i n , “ I n t e r a c t i n g m u l t i p l e m o d e l s ( I M M ) K a l m a n fi l t e r f o r r o b u s t h i g h s p e e d h u m a n m o t i o n t r a c k i n g ” , P r o c . I E E E I n t e r n a t i o n a l C o n f e r e n c e o n P a t t e r n R e c o g n i t i o n , v o l . 2 , p p . 2 0 - 2 3 , 2 0 0 2 . [ 1 9 ] M . F a r m e r a n d A . J a i n , “ O c c u p a n t c l a s s i fi c a t i o n s y s t e m f o r a u t o m o t i v e a i r b a g s u p p r e s s i o n ” , P r o c . I E E E C o n f e r e n c e o n C o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n , p p . 7 5 6 - 7 6 1 , 2 0 0 3 . [ 2 0 ] M . F a r m e r a n d A . J a i n , “ I n t e g r a t e d s e g m e n t a t i o n a n d c l a s s i fi c a t i o n f o r a u t o m o t i v e a i r b a g s u p p r e s s i o n ” , P r o c . I E E E I n t e r n a t i o n a l C o n f e r e n c e o n I m a g e P r o c e s s i n g , v o l . 3 , p p . 1 0 5 3 - 1 0 5 6 , 2 0 0 3 . [ 2 1 ] A K . J a i n a n d C . D o r a i , “ P r a c t i c i n g v i s i o n : I n t e g r a t i o n , e v a l u a t i o n a n d a p p l i c a t i o n s ” , P a t t e r n R e c o g n i t i o n , v o l . 3 0 , n o . 2 , p p . 1 8 3 - 1 9 6 , 1 9 9 7 . [ 2 2 ] O . D . T r i e r , A . K . J a i n a n d T . T a x t , “ F e a t u r e e x t r a c t i o n m e t h o d s f o r c h a r a c t e r r e c o g n i t i o n - A s u r v e y ” , P a t t e r n R e c o g n i t i o n , v o l . 2 9 , n o . 4 , p p . 6 4 1 - 6 6 2 , 1 9 9 6 . [ 2 3 ] R C . V e l t k a m p a n d M . H a g e d o m , “ S t a t e - o f - t h e - a r t i n s h a p e m a t c h i n g ” , I n P r i n c i p l e s o f V i s u a l I n f o r m a t i o n R e t r i e v a l . p p . 8 7 - 1 1 9 , S p r i n g e r , 2 0 0 1 . [ 2 4 ] S . L o n c a r i c , “ A s u r v e y o f s h a p e a n a l y s i s t e c h n i q u e s ” , P a t t e r n R e c o g n i t i o n , v o l . 3 1 , n o . 8 , p p . 9 8 3 - 1 0 0 1 , 1 9 9 8 . [ 2 5 ] M . S a f a r , C . S h a b a b i , a n d X . S u n , “ I m a g e r e t r i e v a l b y s h a p e : A c o m p a r a t i v e s t u d y ” , P r o c . I E E E I n t e r n a t i o n a l C o n f e r e n c e o n M u l t i m e d i a a n d E x p o s i t i o n p p . 1 4 1 - 1 4 4 , 2 0 0 0 . [ 2 6 ] M . S a f a r , C . S h a b a b i , a n d C . T a n , “ R e s i l i e n c y a n d r o b u s t n e s s o f a l t e r n a t i v e s h a p e - b a s e d i m a g e r e t r i e v a l t e c h n i q u e s ” , P r o c . I E E E I n t e r n a t i o n a l D a t a b a s e E n g i n e e r i n g a n d A p p l i c a t i o n s S y m p o s i u m , p p . 3 3 7 - 3 4 8 , 2 0 0 0 . [ 2 7 ] A K . J a i n , R . P . W . D u i n , a n d J . M a o , “ S t a t i s t i c a l p a t t e r n r e c o g n i t i o n : A r e v i e w ” , I E E E T r a n s . o n P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , v o l . 2 2 , n o . 1 , p p . 4 - 3 7 , 2 0 0 0 . [ 2 8 ] A K . J a i n . I m a g e P r o c e s s i n g a n d P a t t e r n R e c o g n i t i o n , 2 - d a y c l a s s p r e s e n t e d t o E a t o n C o r p o r a t i o n , A p r i l 2 0 0 3 . 4 0 3 [ 2 9 ] M R . T e a g u e , “ I m a g e a n a l y s i s v i a t h e g e n e r a l t h e o r y o f m o m e n t s ” , J . O p t . S o c . A m e r . v o l . 7 0 , n o . 8 , p p . 9 2 0 - 9 3 0 , 1 9 8 0 . [ 3 0 ] R . M u k u n d a n , S . H . O n g , a n d R A . L e e , “ I m a g e a n a l y s i s b y T c h e b i c h e f m o m e n t s ” , I E E E T r a n s . o n I m a g e P r o c e s s i n g , v o l . 1 0 , n o . 9 , p p . 1 3 5 7 - 1 3 6 4 , 2 0 0 1 . [ 3 1 ] C - H T e h a n d R T . C h e n , “ O n i m a g e a n a l y s i s b y m e t h o d s o f m o m e n t s ” , I E E E T r a n s . o n P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , v o l . 1 0 , n o . 4 , p p . 4 9 6 - 5 1 2 , 1 9 8 8 . [ 3 2 ] G . A r fl ( e n , M a t h e m a t i c a l M e t h o d s f o r P h y s i c i s t s , A c a d e m i c P r e s s , 1 9 7 0 . [ 3 3 ] R . M u k u n d a n a n d K R . R a m a k r i s h n a n , M o m e n t F u n c t i o n s i n I m a g e A n a l y s i s , W o r l d S c i e n t i fi c , 1 9 9 8 . [ 3 4 ] R R . B a i l e y a n d M . S r i n a t l r , “ O r t h o g o n a l m o m e n t f e a t u r e s f o r u s e w i t h p a r a m e t r i c a n d n o n - p a r a m e t r i c c l a s s i fi e r s ” , I E E E T r a n s . o n P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , v o l . 1 8 , n o . 4 , p p . 3 8 9 - 3 9 8 , 1 9 9 6 . [ 3 5 ] M . T u c e r y a n , “ M o m e n t b a s e d t e x t u r e s e g m e n t a t i o n ” , P a t t e r n R e c o g n i t i o n L e t t e r s , v o l . 1 5 , n o . 7 , p p . 6 5 9 - 6 6 8 , J u l y 1 9 9 4 . [ 3 6 ] Q . L u a n d K . H . L e e , “ R e c o g n i t i o n o f C h i n e s e c h a r a c t e r s b y m o m e n t f e a t u r e e x t r a c t i o n I E E E I n t e r n a t i o n a l C o n f e r e n c e o n C o m p u t e r P r o c e s s i n g o f O r i e n t a l L a n g u a g e s , p p . 5 6 6 - 5 7 1 , 1 9 9 7 . [ 3 7 ] J . F l u s s e r a n d T . S u k , “ O n t h e c a l c u l a t i o n o f i m a g e m o m e n t s ” , R e s e a r c h R e p o r t # 1 9 4 6 , I n s t i t u t e f o r I n f o r m a t i o n T h e o r y a n d A u t o m a t i o n , A c a d e m y o f S c i e n c e s o f t h e C z e c h R e p u b l i c , 1 9 9 9 . [ 3 8 ] I . M . S p i l i o t i s a n d B . G . M e r t z i o s , “ R e a l - t i m e c o m p u t a t i o n o f t w o - d i m e n s i o n a l m o m e n t s o n b i n a r y i m a g e s u s i n g i m a g e b l o c k r e p r e s e n t a t i o n ” , I E E E T r a n s . I m a g e P r o c e s s i n g , v o l . 7 , n o . 1 1 , p p 1 6 0 9 - 1 6 1 5 , 1 9 9 8 . [ 3 9 ] I . P i t a s , a n d A . V e n e t s a n o p u l i o s , “ M o r p h o l o g i c a l s h a p e d e c o m p o s i t i o n ” , I E E E T r a n s . o n P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , v o l . 1 2 , n o . 1 , p p . 3 8 - 4 5 , 1 9 9 0 . [ 4 0 ] M . P i l u , A . W . F i t z g i b b o n , a n d R B . F i s h e r , “ E l l i p s e - s p e c i fi c d i r e c t l e a s t - s q u a r e fi t t i n g ” , P r o c . I E E E I n t e r n a t i o n a l C o n f O n I m a g e P r o c e s s i n g , 1 9 9 6 . [ 4 1 ] A . W . F i t z g i b b o n , M . P i l u , a n d R B . F i s h e r , “ D i r e c t l e a s t - s q u a r e fi t t i n g o f e l l i p s e s ” , P r o c . I E E E I n t e r n a t i o n a l C o n f O n I m a g e P r o c e s s i n g , 1 9 9 6 . 4 0 4 [ 4 2 ] C . L e e , M . E d e n a n d M . U n s e r , “ H i g h - q u a l i t y i m a g e r e s i z i n g u s i n g o b l i q u e p r o j e c t i o n o p e r a t o r s ” , I E E E T r a n s . I m a g e P r o c e s s i n g , v o l . 7 , n o . 5 , p p . 6 7 9 - 6 9 2 , 1 9 9 8 . [ 4 3 ] D P . H u t t e n l o c h e r , G . A . K l a n d e r m a n , a n d W J . R u c k l i d g e , “ C o m p a r i n g i m a g e s u s i n g t h e H a u s d o r f f d i s t a n c e ” , I E E E T r a n s . o n P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , v o l . 1 5 , n o . 9 , p p . 8 5 0 - 8 6 3 , 1 9 9 3 . [ 4 4 ] H . V i n c e n t P o o r , A n I n t r o d u c t i o n t o S i g n a l D e t e c t i o n a n d E s t i m a t i o n , S p r i n g e r , 1 9 9 4 . [ 4 5 ] R C . D u d a , P . E . H a r t , a n d D . G . S t o r k , P a t t e r n C l a s s i f i c a t i o n , 2 n d e d i t i o n , W i l e y , N e w Y o r k , 2 0 0 0 . [ 4 6 ] R . P . W . D u i n , “ A n o t e o n c o m p a r i n g c l a s s i fi e r s , ” P a t t e r n R e c o g n i t i o n L e t t e r s , v o l . 1 7 , n o . 5 , p p . 5 2 9 - 5 3 6 , 1 9 9 6 . [ 4 7 ] J . K i t t l e r , M . H a t e f , R . D u i n , a n d J . M a t a s , “ O n c o m b i n i n g c l a s s i fi e r s , ” I E E E T r a n s . o n P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , v o l . 2 0 , n o . 3 , p p . 2 2 6 — 2 3 9 , M a r . 1 9 9 8 . [ 4 8 ] E . P e k a l s k a a n d R . P . W . D u i n , “ P r o t o t y p e s e l e c t i o n f o r fi n d i n g e f fi c i e n t r e p r e s e n t a t i o n s o f d i s s i m i l a r i t y d a t a , ” P r o c . I E E E I n t e r n a t i o n a l C o n f e r e n c e o n P a t t e r n R e c o g n i t i o n , p p . 3 7 - 4 0 . 2 0 0 2 . [ 4 9 ] J . C . B u r g e s , “ A t u t o r i a l o n s u p p o r t v e c t o r m a c h i n e s f o r p a t t e r n r e c o g n i t i o n ” , D a t a M i n i n g a n d K n o w l e d g e D i s c o v e r y 2 , p p . 1 2 1 - 1 6 7 , 1 9 9 8 . [ 5 0 ] J . S h a w e - T a y l o r a n d N . C r i s t i a n i n i , A n I n t r o d u c t i o n t o S u p p o r t V e c t o r M a c h i n e s a n d O t h e r K e r n e l - B a s e d L e a r n i n g M e t h o d s , C a m b r i d g e U n i v e r s i t y P r e s s , 2 0 0 0 . [ 5 1 ] D . C o o k , D . C a r a g e a , a n d V . H o n a v a r , “ V i s u a l i z a t i o n f o r c l a s s i fi c a t i o n p r o b l e m s , w i t h e x a m p l e s u s i n g s u p p o r t v e c t o r m a c h i n e s ” , h t t p : / / w w w . p u b l i c . i a s t a t e . e d u / ~ d i c o o k / L i m n / s v m / p a p e r . p d f [ 5 2 ] H t t p : / / s v m l i g h t . j o a c h i m s . o r g / [ 5 3 ] R . P . W . D u i n a n d D . T a x , “ E x p e r i m e n t s w i t h c l a s s i fi e r c o m b i n i n g r u l e s ” , P r o c . M u l t i p l e C l a s s i f i e r S y s t e m s 2 0 0 0 , L N C S 1 8 5 7 , S p r i n g e r , p p . 1 6 - 2 9 , 2 0 0 0 . [ 5 4 ] S . B a y , “ C o m b i n i n g n e a r e s t n e i g h b o r c l a s s i fi e r s t h r o u g h m u l t i p l e f e a t u r e s u b s e t s ” , P r o c . F i f t e e n t h I n t e r n a t i o n a l C o n f e r e n c e o n M a c h i n e L e a r n i n g , M o r g a n K a u fl n a n n , p p . 3 7 - 4 5 , 1 9 9 8 . 4 0 5 [ 5 5 ] L L K u n c h e v a a n d L C . J a i n , “ N e a r e s t n e i g h b o r c l a s s i fi e r : S i m u l t a n e o u s e d i t i n g a n d f e a t u r e s e l e c t i o n ” , P a t t e r n R e c o g n i t i o n L e t t e r s , v o l . 2 0 , n o . 1 1 , p p . 1 1 4 9 - 1 1 5 6 , 1 9 9 9 . [ 5 6 ] A K . J a i n a n d D . Z o n g k e r , “ F e a t u r e s e l e c t i o n : E v a l u a t i o n , a p p l i c a t i o n , a n d s m a l l s a m p l e p e r f o r m a n c e ” , I E E E T r a n s . o n P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , v o l . 1 9 , n o . 2 , p p . 1 5 3 - 1 5 8 , F e b . 1 9 9 7 . [ 5 7 ] M . D a s h a n d H . L i u , “ F e a t u r e s e l e c t i o n f o r c l a s s i fi c a t i o n ” , I n t e l l i g e n t D a t a A n a l y s i s , v o l . 1 , p p . 1 3 1 - 1 5 6 , 1 9 9 7 . [ 5 8 ] E M . B i c i c i , “ A t u t o r i a l o n f e a t u r e s e l e c t i o n ” , h t t p : / / w w w 4 . n c s u . e d u / ~ e m b i c i c i / A c a d e m i c / A _ t u r o r i a 1 _ o n _ f e a t u r e _ s e l e c t i o n . h t r n , 2 0 0 1 . [ 5 9 ] D . B . S k a l a k , “ P r o t o t y p e a n d f e a t u r e s e l e c t i o n b y s a m p l i n g a n d r a n d o m m u t a t i o n h i l l c l i m b i n g a l g o r i t h m s ” , P r o c . E l e v e n t h I n t e r n a t i o n a l C o n f e r e n c e o n M a c h i n e L e a r n i n g , p p . 2 9 3 - 3 0 1 , 1 9 9 4 . [ 6 0 ] K . K i r k p a t r i c k , C . D . G e l a t t , a n d M P . V e c c h i , “ O p t i m i z a t i o n b y s i m u l a t e d a n n e a l i n g ” , S c i e n c e , v o l . 2 2 0 , n o . 4 5 9 8 , M a y 1 9 8 3 . [ 6 1 ] A L . B l u m a n d P . L a n g l e y , “ S e l e c t i o n o f r e l e v a n t f e a t u r e s a n d e x a m p l e s i n m a c h i n e l e a r n i n g ” , A r t i f i c i a l I n t e l l i g e n c e , v o l . 2 0 , p p . 2 4 5 - 2 7 2 , 1 9 9 7 . [ 6 2 ] P . P u d i l , J . N o v o v i c o v a , a n d J . K i t t l e r , “ F l o a t i n g s e a r c h m e t h o d s i n f e a t u r e s e l e c t i o n ” , P a t t e r n R e c o g n i t i o n L e t t e r s , v o l . 1 5 , n o . 1 1 , p p . 1 1 1 9 - 1 1 2 5 , N o v 1 9 9 4 . [ 6 3 ] P . S o m o l , P . P u d i l , J . N o v o v i c o v a , a n d P . P a c l i k , “ A d a p t i v e fl o a t i n g s e a r c h m e t h o d s i n f e a t u r e s e l e c t i o n ” , P a t t e r n R e c o g n i t i o n L e t t e r s , v o l . 2 0 , n o . 1 1 - 1 3 , p p . 1 1 5 7 - 1 1 6 3 , 1 9 9 9 . [ 6 4 ] D . K o l l e r a n d M . S a h a m i , “ T o w a r d o p t i m a l f e a t u r e s e l e c t i o n ” , P r o c . 1 3 " ’ I n t e r n a t i o n a l C o n f e r e n c e o n M a c h i n e L e a r n i n g , M o r g a n K a u f m a n , p p . 1 9 7 - 2 4 3 , 1 9 9 6 . [ 6 5 ] D . W . A h a a n d R . L . B a n k e r t , “ A c o m p a r a t i v e e v a l u a t i o n o f s e q u e n t i a l f e a t u r e s e l e c t i o n a l g o r i t h m s ” , i n L e a r n i n g f r o m D a t a : A ] a n d S t a t i s t i c s , S p r i n g e r - V e r l a g , 1 9 9 6 . [ 6 6 ] R . K o h a v i a n d G . H . J o h n , “ T h e w r a p p e r a p p r o a c h ” , I n F e a t u r e E x t r a c t i o n , C o n s t r u c t i o n a n d S e l e c t i o n : A D a t a M i n i n g P e r s p e c t i v e , K l u w e r A c a d e m i c , p p . 3 3 - 5 0 , 1 9 9 8 . 4 0 6 [ 6 7 ] M . K u d o a n d J . S k l a n s k y , “ C l a s s i fi e r - i n d e p e n d e n t f e a t u r e s e l e c t i o n f o r t w o - s t a g e f e a t u r e s e l e c t i o n ” , L e c t u r e N o t e s i n C o m p u t e r S c i e n c e , v o l . 1 4 5 1 , p p . 5 4 8 - 5 5 4 , 2 0 0 0 . [ 6 8 ] J . B i n s a n d B A . D r a p e r , “ F e a t u r e s e l e c t i o n fl o m h u g e f e a t u r e s e t s ” , P r o c . I E E E I n t e r n a t i o n a l . C o n f e r e n c e o n C o m p u t e r V i s i o n , v o l . 2 , p p . 1 5 9 - 1 6 5 , 2 0 0 1 . [ 6 9 ] F . J . F e r r i , P . P u d i l , M . H a t e f , a n d J . K i t t l e r , “ C o m p a r a t i v e s t u d y o f t e c h n i q u e s f o r l a r g e - s c a l e f e a t u r e s e l e c t i o n ” , I n P a t t e r n R e c o g n i t i o n i n P r a c t i c e , v o l . 4 , p p . 4 0 3 - 4 1 3 , E l s e v i e r , 1 9 9 4 . [ 7 0 ] K . T o r k k o l a , “ O n f e a t u r e e x t r a c t i o n b y m u t u a l i n f o r m a t i o n m a x i r n i z a t i o n ” , P r o c . I E E E I n t e r n a t i o n a l C o n f e r e n c e o n A c o u s t i c s , S p e e c h , a n d S i g n a l P r o c e s s i n g , p p . 8 2 1 - 8 2 4 , 2 0 0 2 . [ 7 1 ] D . P . W . E l l i s a n d J . A . B i h n e s , “ U s i n g m u t u a l i n f o r m a t i o n t o d e s i g n f e a t u r e c o m b i n a t i o n s ” , P r o c . I n t . C o n f o n S p o k e n L a n g u a g e P r o c e s s i n g , v o l . 3 p p . 7 9 - 8 2 , 2 0 0 0 . [ 7 2 ] M . K u d o a n d J . S k l a n s k y , “ C o m p a r i s o n o f a l g o r i t h m s t h a t s e l e c t f e a t u r e s f o r p a t t e r n c l a s s i fi e r s ” , P a t t e r n R e c o g n i t i o n , v o l . 3 3 , n o . 1 , p p . 2 5 - 4 1 , 2 0 0 0 . [ 7 3 ] R . L o w r y , V a s s a r S t a t s : W e b S i t e . f o r S t a t i s t i c a l C o m p u t a t i o n , h t t p : / / f a c u l t y . v a s s a r . e d u / l o w r y / V a s s a r S t a t s h t m l . [ 7 4 ] D . Q . A a n d E T H o n g , “ S t a t i s t i c a l d a t a a n a l y s i s ” , h t t p : / / w w w . n e t n a m . v n / u n e s c o c o u r s e / s t a t i s t i c s / s t a t _ fl m . h t r n . [ 7 5 ] R . J . L a r s e n a n d M L . M a r x , A n I n t r o d u c t i o n t o M a t h e m a t i c a l S t a t i s t i c s a n d i t s A p p l i c a t i o n s , P r e n t i c e - H i l l , 1 9 8 6 . [ 7 6 ] K . J . H a n a n d A H . T e w fi k , “ E i g e n — i m a g e b a s e d v i d e o s e g m e n t a t i o n a n d i n d e x i n g ” , P r o c . I E E E I n t e r n a t i o n a l C o n f e r e n c e o n I m a g e P r o c e s s i n g , p p . 1 4 7 - 1 5 1 , 1 9 9 9 . [ 7 7 ] K . O h b a a n d K . I k e u c h i , “ D e t e c t a b i l i t y , u n i q u e n e s s , a n d r e l i a b i l i t y o f e i g e n w i n d o w s f o r s t a b l e v e r i fi c a t i o n o f p a r t i a l l y o c c l u d e d o b j e c t s ” , I E E E T r a n s . o n P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , v o l . l 9 , n o . 9 , p p . 1 0 4 3 - 1 0 4 8 , 1 9 9 7 . [ 7 8 ] Y . W e i s s , “ S e g m e n t a t i o n u s i n g e i g e n v e c t o r s : a u n i f y i n g v i e w ” , P r o c . I E E E I n t e r n a t i o n a l C o n f e r e n c e o n C o m p u t e r V i s i o n , p p . 9 7 5 - 9 8 2 , 1 9 9 9 . [ 7 9 ] K . T o y a m a , J . K r u m m , B . B r u m i t t , a n d B . M e y e r s , “ W a l l fl o w e r : P r i n c i p l e s a n d p r a c t i c e o f b a c k g r o u n d m a i n t e n a n c e ” , P r o c . I E E E I n t e r n a t i o n a l C o n f e r e n c e o n C o m p u t e r V i s i o n , p p . 2 5 5 - 2 6 1 , 1 9 9 9 . 4 0 7 [ 8 0 ] K S . F u a n d J . K . M u i , “ A s u r v e y o f i m a g e s e g m e n t a t i o n ” , P a t t e r n R e c o g n i t i o n , v o l . 1 3 , p p . 3 - 1 6 , 1 9 8 1 . [ 8 1 ] R M . H a r a l i c k a n d L G . S h a p i r o , “ S u r v e y : I m a g e s e g m e n t a t i o n t e c h n i q u e s ” , C o m p u t e r V i s i o n , G r a p h i c s , a n d I m a g e P r o c e s s i n g , v o l . 2 9 , p p . 1 0 0 - 1 3 2 , 1 9 8 5 . [ 8 2 ] N . R . P a ] a n d S . K . P a l , “ A r e v i e w o f i m a g e s e g m e n t a t i o n t e c h n i q u e s ” , P a t t e r n R e c o g n i t i o n , v o l . 2 6 , n o . 9 , p p . 1 2 7 7 - 1 2 9 4 , 1 9 9 3 . [ 8 3 ] L . S h a p i r o a n d G . S t o c k m a n , C o m p u t e r V i s i o n , P r e n t i c e H a l l , 2 0 0 1 . [ 8 4 ] J . B . T . M . R o e r d i n k a n d A . M e i j s t e r , “ A W a t e r s h e d t r a n s f o n n : d e fi n i t i o n s , a l g o r i t h m s , a n d p a r a l l e l i z a t i o n s t r a t e g i e s ” , F u n d a m e n t a I n f o r m a t i c a e , v o l . 4 1 , p p . 1 8 7 - 2 2 8 , 2 0 0 0 . [ 8 5 ] S . B e u c h e r , “ T h e w a t e r s h e d t r a n s f o r m a t i o n a p p l i e d t o i m a g e s e g m e n t a t i o n ” , S c a n n i n g M i c r o s c o p y I n t e r n a t i o n a l , s u p p l . 6 , p p . 2 9 9 - 3 1 4 , 1 9 9 2 . [ 8 6 ] J . S e r r a , “ I n t r o d u c t i o n t o m a t h e m a t i c a l m o r p h o l o g y ” , C o m p u t e r V i s i o n , G r a p h i c s , a n d I m a g e P r o c e s s i n g , v o l . 3 5 , p p . 2 8 3 - 3 0 5 , 1 9 8 6 . [ 8 7 ] J . S h i a n d J . M a l i k , “ N o r m a l i z e d c u t s a n d i m a g e s e g m e n t a t i o n ” , I E E E T r a n s . o n P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , v o l 2 2 , n o . 8 , p p . 8 8 8 - 9 0 5 , A u g . 2 0 0 0 . - . [ 8 8 ] S . B e l o n g i e , C . C a r s o n , H . G r e e n s p a n , a n d J . M a l i k , “ C o l o r a n d t e x t u r e - b a s e d i m a g e s e g m e n t a t i o n u s i n g E M a n d i t s a p p l i c a t i o n t o c o n t e n t - b a s e d i m a g e r e t r i e v a l ” , P r o c . I E E E I n t e r n a t i o n a l C o n f e r e n c e o n C o m p u t e r V i s i o n , p p . 6 7 5 - 6 8 3 , 1 9 9 7 . [ 8 9 ] C . C a r s o n , M . T h o m a s , S . B e l o n g i e , J . H . H e l l e r s t e i n , a n d J . M a l i k , “ B l o b w o r l d : A s y s t e m f o r r e g i o n - b a s e d i m a g e i n d e x i n g a n d r e t r i e v a l ” , P r o c . I n t e r n a t i o n a l C o n f e r e n c e o n V i s u a l I n f o r m a t i o n S y s t e m s , 1 9 9 9 . [ 9 0 ] J . A . B l i m e s , “ A g e n t l e t u t o r i a l o f t h e E M a l g o r i t h m a n d i t s a p p l i c a t i o n t o p a r a m e t e r e s t i m a t i o n f o r g a u s s i a n m i x t u r e a n d h i d d e n m a r k o v m o d e l s ” , T e c h R e p o r t T R - 9 7 - 0 2 1 , D e p t . o f E l e c t r i c a l E n g i n e e r i n g a n d C o m p u t e r S c i e n c e , U n i v . o f W a s h i n g t o n , A p r i l 1 9 9 8 . [ 9 1 ] M . A . T . F i g u e i r e d o a n d A K . J a i n , “ U n s u p e r v i s e d l e a r n i n g o f fi n i t e m i x t u r e m o d e l s ” , I E E E T r a n s . o n P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , v o l 2 4 , n o . 3 , p p . 3 8 1 - 3 9 6 , M a r . 2 0 0 2 . [ 9 2 ] J . B i l m e s , “ W h a t H M M s c a n d o ” , T e c h n i c a l R e p o r t U W E E T R - 2 0 0 2 - 0 0 0 3 , D e p t . o f E l e c t r i c a l E n g i n e e r i n g , U n i v . o f W a s h i n g t o n , 2 0 0 2 . 4 0 8 [ 9 3 ] C A . B o u m a n a n d M . S h a p i r o , “ A m u l t i - s c a l e r a n d o m fi e l d m o d e l f o r b a y e s i a n i m a g e s e g m e n t a t i o n , ” I E E E T r a n s . o n I m a g e P r o c e s s i n g , v o l . 3 , n o . 2 , p p . 1 6 2 - 1 7 7 , M a r . 1 9 9 4 . [ 9 4 ] O D . T r i e r a n d A K . J a i n , “ G o a l - d i r e c t e d e v a l u a t i o n o f b i n a r i z a t i o n m e t h o d s ” , I E E E T r a n s . P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , v o l . 1 7 , n o . 1 2 , p p . 1 1 9 1 - 1 2 0 1 , l 9 9 5 . [ 9 5 ] S . X . Y u , R . G r o s s , a n d J . S h i , “ C o n c u r r e n t o b j e c t r e c o g n i t i o n a n d s e g m e n t a t i o n b y g r a p h p a r t i t i o n i n g ” , A d v a n c e s i n N e u r a l I n f o r m a t i o n P r o c e s s i n g S y s t e m s 1 5 , 2 0 0 2 . [ 9 6 ] J . L u o a n d C . G u o , “ P e r c e p t u a l g r o u p i n g o f s e g m e n t e d r e g i o n s i n c o l o r i m a g e s ” , P a t t e r n R e c o g n i t i o n , v o l . 3 6 , p p . 2 7 8 1 - 2 7 9 2 , 2 0 0 3 . [ 9 7 ] N . S p r a g u e a n d J . L u o , “ C l o t h e d p e o p l e d e t e c t i o n i n s t i l l i m a g e s ” , P r o c . I E E E I n t e r n a t i o n a l C o n f e r e n c e o n C o m p u t e r V i s i o n , v o l . 3 , p p . 5 8 5 - 5 8 9 , 2 0 0 2 . [ 9 8 ] A . G e l b , A p p l i e d O p t i m a l E s t i m a t i o n , M I T P r e s s , 1 9 7 4 . [ 9 9 ] M . P e k k a r i n e n , “ M u l t i p l e m o d e l a p p r o a c h e s t o m u l t i s e n s o r t r a c k i n g ” , M a s t e r s T h e s i s , T a r n p e r e U n i v e r s i t y o f T e c h n o l o g y , 1 9 9 9 . [ 1 0 0 ] G . W e l c h a n d G . B i s h o p , “ A n i n t r o d u c t i o n t o t h e K a l m a n fi l t e r ” , T R - 9 5 - 0 4 1 , D e p t . o f C o m p u t e r S c i e n c e , U n i v e r s i t y o f N o r t h C a r o l i n a , 2 0 0 2 . [ 1 0 1 ] K . M i l l e r a n d D . L e s k i w , A n I n t r o d u c t i o n t o K a l m a n F i l t e r i n g w i t h A p p l i c a t i o n s , R o b e r t E . K r e i g e r P u b l i s h i n g , 1 9 8 7 . [ 1 0 2 ] Y . B a r - S h a l o m , M u l t i t a r g e t - M u l t i s e n s o r T r a c k i n g , A r t e c h H o u s e , 1 9 9 0 . [ 1 0 3 ] H . A . P B l o m , a n d Y . B a r - S h a l o m , “ T h e i n t e r a c t i n g m u l t i p l e m o d e l a l g o r i t h m f o r s y s t e m s w i t h m a r k o v i a n s w i t c h i n g c o e f fi c i e n t s ” , I E E E T r a n s . A u t o m a t i c C o n t r o l , v o l . 3 3 , n o . 8 , p p . 7 8 0 - 7 8 3 , A u g . 1 9 8 8 . [ 1 0 4 ] E . M a z o r , A . A v e r b u c h , Y . B a r - S h a l o m , a n d J . D a y a n , “ I n t e r a c t i n g m u l t i p l e m o d e l m e t h o d s i n t a r g e t t r a c k i n g : A s u r v e y ” , I E E E T r a n s . o n A e r o s p a c e a n d E l e c t r o n i c s , v o l . 3 4 , n o . 1 , p p . 1 0 3 - 1 2 2 , J a n u a r y 1 9 9 8 . [ 1 0 5 ] R A . S i n g e r , “ E s t i m a t i n g o p t i m a l t r a c k i n g fi l t e r p e r f o r m a n c e f o r m a n n e d m a n e u v e r i n g t a r g e t s ” , I E E E T r a n s . o n A e r o s p a c e a n d E l e c t r o n i c S y s t e m s , v o l . A B S - 6 , n o . 4 , p p . 4 7 3 - 4 8 3 , 1 9 7 0 . [ 1 0 6 ] M . M o o r e a n d J . W a n g , “ A n e x t e n d e d d y n a m i c m o d e l f o r k i n e m a t i c p o s i t i o n ” , J o u r n a l o f N a v i g a t i o n , v o l . 5 6 , p p . 7 9 - 8 8 , 2 0 0 3 . 4 0 9 [ 1 0 7 ] M . V i n c z e , “ R o b u s t t r a c k i n g o f e l l i p s e s a t fl a m e r a t e ” , P a t t e r n R e c o g n i t i o n , v o l . 3 4 , n o . 2 , p p . 4 8 7 - 4 9 8 , 2 0 0 1 . [ 1 0 8 ] M . I s a r d a n d A . B l a k e , “ C O N D E N S A T I O N - c o n d i t i o n a l d e n s i t y p r o p a g a t i o n f o r v i s u a l t r a c k i n g ” , I n t . J o u r n a l C o m p u t e r V i s i o n , v o l . 2 9 , n o . 1 , p p . 5 - 2 8 , 1 9 9 8 . [ 1 0 9 ] M . I s a r d a n d A . B l a k e , “ A m i x e d - s t a t e c o n d e n s a t i o n t r a c k e r w i t h a u t o m a t i c m o d e l - s w i t c h i n g ” , P r o c . I E E E I n t e r n a t i o n a l C o n f e r e n c e o n C o m p u t e r V i s i o n , p p . 1 0 7 - 1 1 2 , J a n . 1 9 9 8 . [ 1 1 0 ] A . B l a k e a n d M . I s a r d , A c t i v e C o n t o u r s : T h e A p p l i c a t i o n o f T e c h n i q u e s f r o m G r a p h i c s , C o n t r o l T h e o r y & S t a t i s t i c s t o V i s u a l T r a c k i n g o f S h a p e s i n M o t i o n , S p r i n g e r - V e r l a g , 1 9 9 8 . [ 1 1 1 ] J . B . N . D e u t s c h e r , B . B a s c l e , a n d A . B l a k e , “ T r a c k i n g t h r o u g h s i n g u l a r i t i e s a n d d i s c o n t i n u i t i e s b y r a n d o m s a m p l i n g ” , P r o c . I E E E I n t e r n a t i o n a l C o n f e r e n c e o n C o m p u t e r V i s i o n , v o l . 2 , p p . 1 1 4 4 - 1 1 4 9 , 1 9 9 9 . [ 1 1 2 ] J . K . A g g a r w a l a n d Q . C a i , “ H u m a n m o t i o n a n a l y s i s : A r e v i e w ” , C o m p u t e r V i s i o n a n d I m a g e U n d e r s t a n d i n g , v o l . 7 3 , n o 3 , p p . 4 2 8 - 4 4 0 , M a r c h 1 9 9 9 . [ 1 1 3 ] C . B r e g l e r , “ L e a r n i n g a n d r e c o g n i z i n g h u m a n d y n a m i c s i n v i d e o s e q u e n c e s ” , P r o c . I E E E C o n f e r e n c e o n C o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n , p p . 5 6 8 - 5 7 4 , 1 9 9 7 . ‘ [ 1 1 4 ] S . W a c h t e r a n d H . N a g e l , “ T r a c k i n g o f p e r s o n s i n m o n o c u l a r i m a g e s e q u e n c e s ” , P r o c . I E E E N o n - R i g i d a n d A r t i c u l a t e d M o t i o n W o r k s h o p , p p . 1 - 9 , 1 9 9 7 . [ 1 1 5 ] I . H a r i t a o g l u , D . H a r w o o d , a n d L a r r y S . D a v i s , “ W 4 : R e a l - t i m e s u r v e i l l a n c e o f p e o p l e a n d t h e i r a c t i v i t i e s ” , I E E E T r a n s . o n P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , v o l . 2 2 , n o 8 , p p . 8 0 9 - 8 3 0 , A u g 2 0 0 0 . [ 1 1 6 ] N . O l i v e r , B . R o s a r i o , a n d A . P e n t l a n d , “ A B a y e s i a n c o m p u t e r v i s i o n s y s t e m f o r m o d e l i n g h u m a n i n t e r a c t i o n s ” , I E E E T r a n s . o n P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , v o l . 2 2 , n o . 8 , p p . 8 3 1 - 8 4 3 , A u g 2 0 0 0 . [ 1 1 7 ] C R . W r e n a n d A P . P e n t l a n d , “ U n d e r s t a n d i n g p u r p o s e f u l h u m a n m o t i o n ” , P r o c . I E E E I n t e r n a t i o n a l W o r k s h o p o n M o d e l i n g P e o p l e ( M P E O P L E ) , p p . 1 9 - 2 5 , 1 9 9 9 . [ 1 1 8 ] J . R i t t s c h e r a n d A . B l a k e , “ C l a s s i fi c a t i o n o f h u m a n b o d y m o t i o n ” , P r o c . I E E E I n t e r n a t i o n a l C o n f e r e n c e o n C o m p u t e r V i s i o n , p p . 6 3 4 - 6 3 9 , 1 9 9 9 . [ 1 1 9 ] K . R o h r , “ H u m a n m o v e m e n t a n a l y s i s b a s e d o n e x p l i c i t m o t i o n m o d e l s ” , I n M o t i o n - b a s e d R e c o g n i t i o n , K l u w e r A c a d e m i c , p p . 1 7 1 - 1 9 8 , 1 9 9 7 . 4 1 0 [ 1 2 0 ] D . M . G a v r i l a , “ T h e v i s u a l a n a l y s i s o f h u m a n m o v e m e n t : A s u r v e y ” , C o m p u t e r V i s i o n a n d I m a g e U n d e r s t a n d i n g , v o l . 7 3 , n o . 1 , p p . 8 2 - 9 8 , 1 9 9 9 . [ 1 2 1 ] A . P e n t l a n d a n d A . L i u , “ M o d e l i n g a n d p r e d i c t i o n o f h u m a n b e h a v i o r ” , P e r c e p t u a l C o m p u t i n g T e c h n i c a l R e p o r t N o . 4 3 3 , M e d i a L a b , M I T , 1 9 9 5 . [ 1 2 2 ] C . B r e g l e r , “ P r o b a b i l i s t i c r e c o g n i t i o n o f h u m a n a c t i o n s ” , T e c h n i c a l R e p o r t , D e p t . o f C o m p u t e r S c i e n c e , U n i v . o f C a l i f o r n i a - B e r k e l e y , 1 9 9 6 . [ 1 2 3 ] C . W r e n , A . A z a r b a y e j a n i , T . D a r r e l , a n d A . P e n t l a n d , “ P fi n d e r : R e a l - t i m e t r a c k i n g o f t h e h u m a n b o d y ” , I E E E T r a n s . o n P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , v o l . 1 9 , n o . 7 , p p . 7 8 0 - 7 8 5 , 1 9 9 7 . [ 1 2 4 ] L . R . R a b i n e r , “ A t u t o r i a l o n h i d d e n m a r k o v m o d e l s a n d s e l e c t e d a p p l i c a t i o n s i n s p e e c h r e c o g n i t i o n ” , I n R e a d i n g s i n S p e e c h R e c o g n i t i o n , S c i e n c e & T e c h n o l o g y B o o k s , 1 9 8 9 . [ 1 2 5 ] J . Y a m a t o , J . O h y a , a n d K . I s h i i , “ R e c o g n i z i n g h u m a n a c t i o n s i n t i r n e - s e q u e n t i a l i m a g e s u s i n g h i d d e n m a r k o v m o d e l s ” , P r o c . I E E E C o n f e r e n c e o n C o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n , p p . 3 7 9 - 3 8 5 , 1 9 9 2 . [ 1 2 6 ] A . W i t k i n , M . G l e i c h e r , a n d W . W e l c h , “ I n t e r a c t i v e d y n a m i c s ” , I n A C M S I G G r a p h , C o m p u t e r G r a p h i c s , v o l . 2 4 , n o . 2 , p p . 2 - 1 1 , M a r c h 1 9 9 0 . [ 1 2 7 ] S . B e a u c h e r r r i n a n d J . B a r r o n , “ T h e c o m p u t a t i o n o f o p t i c a l fl o w , ” A C M C o m p u t i n g S u r v e y s , v o l . 2 7 , n o . 3 , p p . 4 3 3 - 4 6 7 , 1 9 9 6 . [ 1 2 8 ] B . H o r n a n d B . S c h u n c k , “ D e t e r m i n i n g o p t i c fl o w , ” A r t i f i c i a l I n t e l l i g e n c e , v o l . 1 7 , p p . 1 8 5 - 2 0 4 , 1 9 8 1 . [ 1 2 9 ] J . B a r r o n , D . F l e e t a n d S . B e a u c h e m i n , “ P e r f o r m a n c e o f o p t i c a l fl o w t e c h n i q u e s , ” I n t e r n a t i o n a l J o u r n a l o f C o m p u t e r V i s i o n , v o l . 1 2 , n o . 1 , p p . 4 3 - 7 7 , 1 9 9 4 . [ 1 3 0 ] D . F l e e t a n d A . J e p s o n , “ C o m p u t a t i o n o f c o m p o n e n t i m a g e v e l o c i t y fl o m l o c a l p h a s e i n f o r m a t i o n , ” I n t e r n a t i o n a l J o u r n a l o f C o m p u t e r V i s i o n , v o l . 5 , n o . 1 , p p . 7 7 - 1 0 4 , 1 9 9 0 . [ 1 3 1 ] M . J . B l a c k , D . J . F l e e t , a n d Y . Y a c o o b , “ R o b u s t l y e s t i m a t i n g c h a n g e s i n i m a g e a p p e a r a n c e ” , C o m p u t e r V i s i o n a n d I m a g e U n d e r s t a n d i n g , v o l . 7 8 , n o . 1 , p p . 8 - 3 1 , 2 0 0 0 . [ 1 3 2 ] T . G a u t a m a a n d M . H u l l e , “ A P h a s e - b a s e d a p p r o a c h t o t h e e s t i m a t i o n o f t h e o p t i c a l fl o w fi e l d u s i n g s p a t i a l fi l t e r i n g , ” I E E E T r a n s . o n N e u r a l N e t w o r k s , v o l . 1 3 , n o . 5 , p p . 1 1 2 7 - 1 1 3 6 , 2 0 0 2 . 4 1 1 [ 1 3 3 ] S . P e r i a s w a m y a n d H . F a r i d , “ E l a s t i c r e g i s t r a t i o n i n t h e p r e s e n c e o f i n t e n s i t y v a r i a t i o n s , ” I E E E T r a n s . o n M e d i c a l I m a g i n g , i n p r e s s , 2 0 0 3 . [ 1 3 4 ] S . N e g a h d a r i p o u r , “ R e v i s e d d e fi n i t i o n o f o p t i c a l fl o w : I n t e g r a t i o n o f r a d i o m e t r i c a n d g e o m e t r i c c u e s f o r d y n a m i c s c e n e a n a l y s i s ” , I E E E T r a n s . o n P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , v o l . 2 0 n o . 9 , p p . 9 6 1 - 9 7 9 , S e p t 1 9 9 8 . [ 1 3 5 ] L . Z h a n g , T . S a k u r a i , a n d H . M i i k e , “ D e t e c t i o n o f m o t i o n fi e l d s u n d e r s p a t i o - t e m p o r a l n o n - u n i f o r m i l l u m i n a t i o n ” , I m a g e a n d V i s i o n C o m p u t i n g , v o l . 1 7 , n o . 3 - 4 , p p . 3 0 9 - 3 2 0 , 1 9 9 9 . [ 1 3 6 ] A . J e p s o n a n d M . B l a c k , “ M i x t u r e m o d e l s f o r o p t i c a l fl o w c o m p u t a t i o n ” , T e c h R e p R B C V - T R - 9 3 - 4 4 , U n i v e r s i t y o f T o r o n t o , D e p t o f C o m p u t e r S c i e n c e , 1 9 9 3 . [ 1 3 7 ] Y . W e i s s a n d E H . A d e l s o n , “ A u n i fi e d m i x t u r e fl a m e w o r k f o r m o t i o n s e g m e n t a t i o n : i n c o r p o r a t i n g s p a t i a l c o h e r e n c e a n d e s t i m a t i n g t h e n u m b e r o f m o d e l s ” P r o c . I E E E C o n f e r e n c e 0 n C o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n , p p . 3 2 1 - 3 2 6 , 1 9 9 6 . [ 1 3 8 ] C L . F e n n e m a a n d W . B . T h o m p s o n , “ V e l o c i t y d e t e r m i n a t i o n i n s c e n e s c o n t a i n i n g s e v e r a l m o v i n g i m a g e s , ” C o m p u t e r G r a p h i c s a n d I m a g e P r o c e s s i n g , v o l . 9 , p p . 3 0 1 - 3 1 5 , 1 9 7 9 . [ 1 3 9 ] M . A . S u t t o n , W . J . W a l t e r s , W . H . P e t e r s , W . F . R a n s o n , a n d S R . M c N e i l , “ D e t e r m i n a t i o n o f d i s p l a c e m e n t u s i n g a n i m p r o v e d d i g i t a l c o r r e l a t i o n m e t h o d ” , I m a g e a n d V i s i o n C o m p u t i n g , v o l . 1 , n o . 3 , p p . 1 3 3 - 1 3 9 , 1 9 8 3 . [ 1 4 0 ] D . S . K a l i v a s a n d A A . S a w c h u k , “ A r e g i o n m a t c h i n g m o t i o n e s t i m a t i o n a l g o r i t h m ” , C o m p u t e r V i s i o n G r a p h i c s a n d I m a g e P r o c e s s i n g , v o l . 5 4 , n o . 2 , p p . 2 7 5 - 2 8 8 , 1 9 9 1 . [ 1 4 1 ] B . B a s c l e , P . B o u t h e m y , R . D e r i c h e , a n d F . M e y e r , “ T r a c k i n g c o m p l e x p r i m i t i v e s i n a n i m a g e s e q u e n c e ” , T e c h n i c a l R e p o r t # 2 4 2 8 , I N R I A , 1 9 9 4 . [ 1 4 2 ] R P . S i m o n c e l l i , E . H . A d e l s o n , a n d D J . H e e g e r , “ P r o b a b i l i t y d i s t r i b u t i o n s o f o p t i c a l fl o w ” , P r o c . I E E E C o n f e r e n c e o n C o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n , p p . 3 1 0 - 3 1 5 , 1 9 9 1 . [ 1 4 3 ] J . P . W . P l u i m , J . B . A . M a i n t z , a n d M . A . V i e r g e v e r , “ M u t u a l i n f o r m a t i o n b a s e d r e g i s t r a t i o n o f m e d i c a l i m a g e s : A s u r v e y ” , I E E E T r a n s . M e d i c a l I m a g i n g , v o l . 2 2 , p p . 9 8 6 - 1 0 0 4 , 2 0 0 3 . [ 1 4 4 ] M . D . E s t e b a n a n d D . M o r a l e s , “ A s u m m a r y o f e n t r o p y s t a t i s t i c s ” , K y b e r n e t i k a , v o l . 3 1 , n o . 4 , p p . 3 3 7 - 3 4 6 , 1 9 9 5 . 4 1 2 [ 1 4 5 ] G A . T o u r a s s i , E . D . F r e d e r i c k , M . K . M a r k e y , a n d C E . F l o y d , “ A p p l i c a t i o n o f t h e m u t u a l i n f o r m a t i o n c r i t e r i o n f o r f e a t u r e s e l e c t i o n i n c o m p u t e r - a i d e d d i a g n o s i s ” , M e d i c a l P h y s i c s , v o l . 2 8 , n o . 1 2 , p p . 2 3 9 4 - 2 4 0 2 , D e c . 2 0 0 1 . [ 1 4 6 ] M . F e r r a r o , G . B o c c i g r r o n e , a n d T . C a e l l i , “ E n t r o p y b a s e d r e p r e s e n t a t i o n o f i m a g e i n f o r m a t i o n ” , P a t t e r n R e c o g n i t i o n L e t t e r s , v o l . 2 3 , n o . 1 2 , p p . 1 3 9 1 - 1 3 9 8 , 2 0 0 2 . [ 1 4 7 ] P . V i o l a , “ A l i g n m e n t b y m a x i m i z a t i o n o f m u t u a l i n f o r m a t i o n ” , A . I . T e c h R e p o r t N o . 1 5 4 8 , A r t i fi c i a l I n t e l l i g e n c e L a b o r a t o r y , M I T , J u n e 1 9 9 5 . [ 1 4 8 ] J . O l i e n s i s , “ A c r i t i q u e o f s t r u c t u r e - fl o m - m o t i o n a l g o r i t h m s ” , C o m p u t e r V i s i o n a n d I m a g e U n d e r s t a n d i n g , v o l . 8 0 , p p . 1 7 2 - 2 1 4 , 2 0 0 0 . [ 1 4 9 ] S . C h r i s t y a n d R . H o r a u d , “ E u c l i d e a n s h a p e a n d m o t i o n fl o m m u l t i p l e p e r s p e c t i v e v i e w s b y a f fi n e i t e r a t i o n s ” , I E E E T r a n s . o n P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , v o l . 1 8 n o . 1 0 , p p . 1 0 9 8 - 1 1 0 4 , 1 9 9 6 . [ 1 5 0 ] T . M o r i t a a n d T . K a n a d e , “ A s e q u e n t i a l f a c t o r i z a t i o n m e t h o d f o r r e c o v e r i n g s h a p e a n d m o t i o n fl o m i m a g e s t r e a m s ” , I E E E T r a n s . o n P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , v o l . 1 9 , n o . 8 , p p . 8 5 8 - 8 6 7 , 1 9 9 7 . [ 1 5 1 ] C . T o m a s i a n d T . K a n a d e , “ S h a p e a n d m o t i o n fl o m i m a g e s t r e a m s : a f a c t o r i z a t i o n m e t h o d ” , C M U - C S - 9 1 - 1 0 5 , S c h o o l o f C o m p u t e r S c i e n c e , C a r n e g i e M e l l o n U n i v e r s i t y , J a n 1 9 9 1 . [ 1 5 2 ] R . H a r t l e y , “ I n d e f e n s e o f t h e e i g h t - p o i n t a l g o r i t h m ” , I E E E T r a n s . o n P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , v o l . 1 9 , n o . 6 , p p . 5 8 0 - 5 9 3 , 1 9 9 7 . [ 1 5 3 ] R . H a r t l e y , “ P r o j e c t i v e r e c o n s t r u c t i o n a n d i n v a r i a n t s fl o m m u l t i p l e i m a g e s ” , I E E E T r a n s . o n P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , v o l . 1 6 , n o . 1 0 , p p . 1 0 3 6 - 1 0 4 1 , 1 9 9 4 . [ 1 5 4 ] H O L o n g u e t - H i g g i n s , “ A c o m p u t e r a l g o r i t h m f o r r e c o n s t r u c t i n g a s c e n e fl o m t w o p r o j e c t i o n s ” , N a t u r e , v o l . 2 9 3 , n o . 1 0 , p p . 1 3 3 - 1 3 5 , S e p t 1 9 8 1 . [ 1 5 5 ] R . M o h r a n d B . T r i g g s , “ P r o j e c t i v e g e o m e t r y f o r i m a g e a n a l y s i s ” , T u t o r i a l g i v e n a t I n t e r n a t i o n a l S o c i e t y o f P h o t o g r a m m e t r y a n d R e m o t e S e n s i n g , J u n e 1 9 9 6 . [ 1 5 6 ] J . S h i a n d C . T o m a s i , “ G o o d f e a t u r e s t o t r a c k ” , P r o c . I E E E C o n f e r e n c e o n C o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n , p p . 5 9 3 - 6 0 0 , J u n e 1 9 9 4 . 4 1 3 r ” t - [ 1 5 7 ] C . T o m a s i a n d J . S h i , “ D i r e c t i o n o f h e a d i n g fl o m i m a g e d e f o r m a t i o n s ” , P r o c . I E E E C o n f e r e n c e o n C o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n , p p . 4 3 2 6 - 4 3 3 3 , J u n e 1 9 9 3 . [ 1 5 8 ] O . F a u g e r a s , T h r e e - D i m e n s i o n a l C o m p u t e r V i s i o n , M I T P r e s s , 1 9 9 3 . [ 1 5 9 ] E . T r u c c o a n d A . V e r r i , I n t r o d u c t o r y T e c h n i q u e s f o r 3 - D C o m p u t e r V i s i o n , P r e n t i c e H a l l , 1 9 9 8 . [ 1 6 0 ] J . K o h l a s , “ M a t h e m a t i c a l f o u n d a t i o n s o f e v i d e n c e t h e o r y — A t h e o r y o f r e a s o n i n g w i t h U n c e r t a i n A r g u m e n t s ” , L e c t u r e s P r e s e n t e d a t t h e I n t e r n a t i o n a l S c h o o l o f M a t h e m a t i c s , E r i c e , S i c i l y , J u n e 1 9 - 2 5 , 1 9 9 4 . [ 1 6 1 ] C . L a r g o u e t a n d M . C o r d i e r , “ C o m b i n i n g o b s e r v a t i o n s a n d e x p e c t a t i o n s : a p p l i c a t i o n t o t h e r e fi n e m e n t o f a n i m a g e s e q u e n c e c l a s s i fi c a t i o n ” , W o r k s h o p o n F u s i o n o f D o m a i n K n o w l e d g e w i t h D a t a f o r D e c i s i o n S u p p o r t , U A I - 2 0 0 0 , J u n e 2 0 0 0 . [ 1 6 2 ] G . S h a f e r , A M a t h e m a t i c a l T h e o r y o f E v i d e n c e , P r i n c e t o n U n i v e r s i t y P r e s s , 1 9 7 6 . [ 1 6 3 ] P . S m e t s , “ W h a t i s D e m p s t e r - S h a f e r ’ s m o d e l ” , A d v a n c e s i n t h e D e m p s t e r - S h a f e r T h e o r y o f E v i d e n c e , W i l e y , p p . 5 - 3 4 , 1 9 9 4 . [ 1 6 4 ] C . C a s t e ] , L . C h a u d r o n , a n d C . T e s s i e r , “ W h a t i s g o i n g o n h e r e ? A h i g h l e v e l i n t e r p r e t a t i o n o f s e q u e n c e s o f i m a g e s ” , 4 t h E u r o p e a n C o n f e r e n c e o n C o m p u t e r v i s i o n , W o r k s h o p o n C o n c e p t u a l D e s c r i p t i o n s f r o m I m a g e s , p p . 1 3 - 2 7 , 1 9 9 6 . [ 1 6 5 ] J . G i a r r a t a n o a n d G . R i l e y , E x p e r t S y s t e m s P r i n c i p l e s a n d P r o g r a m m i n g , P W S P u b l i s h i n g C o . , 1 9 9 3 . [ 1 6 6 ] w w w . v i s i o n 3 d . c o m / s t e r e o . h t m 1 [ 1 6 7 ] S . B a p n a , D i s c u s s i o n s w h i l e w o r k i n g t o g e t h e r a t E a t o n C o r p . [ 1 6 8 ] M . T r a j k o v i c , D i s c u s s i o n s w h i l e w o r k i n g t o g e t h e r a t E a t o n C o r p . [ 1 6 9 ] M . D e l l ’ E v a , D i s c u s s i o n s w h i l e w o r k i n g t o g e t h e r a t E a t o n C o r p . [ 1 7 0 ] Y . N i e v e r g e l t , W a v e l e t s M a d e E a s y , B i r k h a u s e r , 1 9 9 9 . [ 1 7 1 ] B . B . H u b b a r d , T h e W o r l d A c c o r d i n g t o W a v e l e t s , A . K . P e t e r s , 1 9 9 8 . [ 1 7 2 ] S . M a l l a t , “ W a v e l e t s f o r a v i s i o n ” , P r o c . o f I E E E , v o l . 8 4 , n o . 4 , A p r i l 1 9 9 6 . 4 1 4 [ 1 7 3 ] P . M a a s s a n d H - G . S t a r k , “ W a v e l e t s a n d d i g i t a l i m a g e p r o c e s s i n g ” , S u r v . M a t h . I n d . , v o l . 4 , p p . 1 9 5 - 2 3 5 , 1 9 9 4 . [ 1 7 4 ] D . S h e n a n d H . H . S . I p , “ D i s c r i m i n a t i v e w a v e l e t s h a p e d e s c r i p t o r s f o r r e c o g n i t i o n o f 2 - D p a t t e r n s ” , P a t t e r n R e c o g n i t i o n , v o l . 3 2 , p p . 1 5 1 - 1 6 5 , 1 9 9 9 . 4 1 5 I I I I I I I I I I I I I I I I I I I I I I I I I